CN114067441B - 摄录行为检测方法及系统 - Google Patents
摄录行为检测方法及系统 Download PDFInfo
- Publication number
- CN114067441B CN114067441B CN202210039810.2A CN202210039810A CN114067441B CN 114067441 B CN114067441 B CN 114067441B CN 202210039810 A CN202210039810 A CN 202210039810A CN 114067441 B CN114067441 B CN 114067441B
- Authority
- CN
- China
- Prior art keywords
- probability
- target
- camera
- behavior detection
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明特别涉及一种摄录行为检测方法,包括如下步骤:S100、拍摄待监测区域图像或视频;S200、对待监测区域的图像或视频进行摄像头及其关联目标识别得到图像或视频中出现摄像头的概率以及出现其关联目标的概率;S300、根据下列公式计算图像或视频中出现偷拍现象的概率:,式中,是取最小值,是通过计算得到的影响因子,。通过对摄像头和关联目标进行目标识别得到这些目标出现的概率,然后根据概率值计算出现偷拍现象的概率,实现起来非常的方便,在进行目标识别时,无需得到精准的边框,且概率值也不用非常精确,通过影响因子进行修正后,一方面可以提高偷拍现象识别的准确率,另一方面还能降低误判率,实时性和准确性都得到有效提高。
Description
技术领域
本发明涉及信息安全技术领域,特别涉及一种摄录行为检测方法及系统。
背景技术
在信息化发展的潮流下,电子化处理事务的便捷性得到了越来越多私企、事业单位、国企的认可,不仅提高了办公效率,也为日后的维护查询等操作提供了高效的入口。对于一些涉密单位下的机密文件的管控保密,传统的网络安全公司主要是通过物理隔离的方式以及多重认证等途径进行管控的。比如,对于电脑中机密文件限制网络传输以及U盘等传输介质传播。
随着安防行业的软硬件的快速发展,手机或者微型摄像头等具有摄像拍照功能的电子设备不断更新和发展。对于电子化办公场景下,电脑屏幕中一些涉密单位的涉密文件、涉密信息可能通过拍照等方式被窃取,从而导致数据泄密,比如,一些大型的手机厂商,发布新手机之间的UI设计图案等。传统网络安全通过限制网络传输和管控U盘等传输介质的方式,对这种泄露方式无能为力。
目前市场中,防范屏幕等显示设备被拍照窃取的产品相对稀缺,且不成熟,技术有待突破。更多的技术应用是通过一些数字水印(明水印、隐形水印)的技术手段来追溯泄密者,但对于已经发生的涉密事件无法挽回,现有的技术手段在防范显示设备的涉密信息被拍摄问题上呈现明显的不足。
发明内容
本发明的第一个目的在于提供一种基于目标识别的行为检测方法,可以利用目标检测算法针对某个区域中的行为进行分析检测。
为实现以上目的,本发明采用的技术方案为:一种基于目标识别的行为检测方法,包括如下步骤:A、分析待检测行为中的主要目标和关联目标;B、拍摄待监测区域图像或视频;C、对图像或视频进行主要目标和关联目标识别得到主要目标和关联目标的位置和概率信息;D、根据关联目标的位置和概率信息对主要目标的概率进行修正得到待检测行为的出现概率。
与现有技术相比,本发明存在以下技术效果:行为的分析检测一直是一个比较难的点,这里通过分析与行为相关的主要目标和关联目标,然后通过对目标的识别来实现行为检测,目前识别目标的算法有很多且非常成熟,在此基础上,通过概率修改实现行为检测,本方案对行为的识别较为准确、且识别速度快。
本发明的第二个目的在于提供一种摄录行为检测方法,可以快速准确的识别出是否有人在进行摄录。
为实现以上目的,本发明采用的技术方案为:一种摄录行为检测方法,包括如下步骤:S100、拍摄待监测区域图像或视频;S200、对待监测区域的图像或视频进行摄像头及其关联目标识别得到图像或视频中出现摄像头的概率以及出现其关联目标的概率;S300、根据下列公式计算图像或视频中出现偷拍现象的概率:,式中,是取最小值,是通过计算得到的影响因子,。
本发明的第三个目的在于提供一种摄录行为检测系统,可以快速准确的识别出是否有人在进行摄录。
为实现以上目的,本发明采用的技术方案为:一种摄录行为检测系统,包括摄像模块,用于拍摄待监测区域图像或视频;识别模块,其内存储有训练好的目标识别网络模型,用于对摄像模块拍摄的图像或视频进行识别得到摄像头的概率以及其关联目标的概率;处理模块,用于接收识别模块输出的概率数据并对其进行计算得到出现偷拍现象的概率,计算公式为:,式中,是取最小值,是通过计算得到的影响因子,;控制模块,用于根据出现偷拍现象的概率驱动显示器打开或关闭或显示告警画面。
与现有技术相比,本发明存在以下技术效果:通过对摄像头和关联目标进行目标识别得到这些目标出现的概率,然后根据概率值计算出现偷拍现象的概率,实现起来非常的方便,同时,在进行目标识别时,无需得到精准的边框,且概率值也不用非常精确,我们通过影响因子进行修正后,一方面可以提高偷拍现象识别的准确率,另一方面还能降低误判率,并且,实时性和准确性都得到有效提高。
附图说明
图1是行为检测方法的流程示意图;
图2是摄录行为检测方法的流程示意图;
图3是PP-PicoDet网络模型结构;
图4是摄录行为检测系统的结构框图。
具体实施方式
下面结合图1至图4,对本发明做进一步详细叙述。
参阅图1,本发明公开了一种基于目标识别的行为检测方法,包括如下步骤:A、分析待检测行为中的主要目标和关联目标;B、拍摄待监测区域图像或视频;C、对图像或视频进行主要目标和关联目标识别得到主要目标和关联目标的位置和概率信息;D、根据关联目标的位置和概率信息对主要目标的概率进行修正得到待检测行为的出现概率。行为的分析检测一直是一个比较难的点,这里通过分析与行为相关的主要目标和关联目标,然后通过对目标的识别来实现行为检测,目前识别目标的算法有很多且非常成熟,在此基础上,通过概率修改实现行为检测,本方案对行为的识别较为准确、且识别速度快。
在这里,我们将行为检测和目标识别进行了关联,通过分析待检测行为中的主要目标和关联目标,将行为检测转化成目标检测,针对目标检测的算法有很多,且非常成熟,因而基于目标识别可以方便的实现行为检测。
进一步地,所述的关联目标包括正相关目标和负相关目标,经正相关目标修正后待检测行为的出现概率大于主要目标概率,经负相关目标修正后待检测行为的出现概率小于主要目标概率。通过直接对概率进行修正来获得待检测行为出现的概率,计算起来非常的方便和快速。
上面这种方法具有很多的应用场景,下面针对其中一种应用场景进行详细的阐述,需要说明的是,行为检测方法不仅仅适用于以下场景,还可以适用于其他合适的场合,限于篇幅所限,本案未对其他场景做过多描述。
参阅图2,一种摄录行为检测方法,包括如下步骤:S100、拍摄待监测区域图像或视频;S200、对待监测区域的图像或视频进行摄像头及其关联目标识别得到图像或视频中出现摄像头的概率以及出现其关联目标的概率;S300、根据下列公式计算图像或视频中出现偷拍现象的概率:,式中,是取最小值,是通过计算得到的影响因子,。通过对摄像头和关联目标进行目标识别得到这些目标出现的概率,然后根据概率值计算出现偷拍现象的概率,实现起来非常的方便,同时,在进行目标识别时,无需得到精准的边框,且概率值也不用非常精确,我们通过影响因子进行修正后,一方面可以提高偷拍现象识别的准确率,另一方面还能降低误判率,并且,实时性和准确性都得到有效提高。
进一步地,所述的关联目标为人手、人体、人脸、自拍杆中的一种或多种。窃拍行为发生的前提,大部分需要有人为参与,比如我们选择人手作为关联目标,就说明,当人手和摄像头同时出现在画面中时,进行摄像或录像的可能性比较大,而仅出现摄像头时,说明可能是误识别。
进行目标识别的算法有很多,本发明中优选使用基于深度学习的神经网络模型来实现目标识别,优选地,所述的步骤S200中,通过训练好的神经网络对摄像头及其关联目标进行识别,神经网络训练步骤如下:S210、构建模型所需的训练样本和测试样本,主要是通过公开数据集以及网络爬虫去收集含有目标对象的数据集,同时在特定场合下模拟窃拍场景来采集扩充样本,对采集后样本进行清洗(筛选掉一些不合格的样本,如模糊、目标缺失不完整、目标像素过小等),然后进行标注,对于手机目标而言,可以将手机背面的摄像头作为目标中心。S220、搭建深度学习神经网络;S230、确定损失函数;S240、将训练样本带入神经网络中进行训练,并根据损失函数不断优化神经网络的参数;S250、利用测试样本对优化后的神经网络进行测试,若满足测试要求,则将当前的神经网络参数保存,若不满足测试要求,返回步骤S210重新构建样本。使用训练好的神经网络来对目标进行识别,使用起来很方便。
同样地,神经网络模型有很多,本发明中优选地,所述的步骤S220中,深度学习神经网络为PP-PicoDet,该网络结构参考的是《PP-PicoDet: A Better Real-Time ObjectDetector on Mobile Devices》论文中的结构,其网络结构如图3所示,该网络组合了一些较好的模块以及组件,在移动端达到了算法性能效果和速度之间的均衡。
常见的检测排序策略是目标分类得分和基于IOU定位得分结合之后进行的,但这种排序方式会降低检测性能。本方法的损失函数借鉴论文《VarifocalNet: An IoU-awareDense Object Detector》采用变焦损失Varifocal Loss,引入了IOU感知的分类得分损失(IACS)来表示目标物体存在的置信度和定位精度,从而能够在密集的物体检测器中产生更准确的检测效果。因此,步骤S230中,损失函数公式如下:
其中,p是网络输出预测的IACS得分,q是目标IOU得分,IOU的全称为交并比(Intersection over Union),它是一种测量在特定数据集中检测相应物体准确度的一个标准,对于正样本的区域,q为预测的bounding box四边形和标签bounding box四边形之间的IOU,而负样本区域,q均为0。为了平衡正样本和负样本之间的损失贡献比例,对负样本引入可调节的比例因子;为了增大困难样本对损失的权重,负样本引入了参数,p的次方对损失进行缩放调节。
以上的PP-PicoDet神经网络结构和损失函数都是采用现有技术中的方案实现的,下面优选的实施方式,对上述方案进行了局部的修改,从而进一步提高神经网络模型的性能。
进一步地,所述的步骤S210中,训练样本和测试样本中,所标注的目标区域为圆形,通过圆心位置和半径进行目标标注,采用这种方案进行标注,工作量相对较小。步骤S220中,神经网络输出的参数包括坐标参数和类别概率,坐标参数为中心点横坐标x、中心点纵坐标y、半径r,类别概率即前述坐标参数对应区域属于摄像头、手或背景的概率;步骤S230中,q按如下公式计算得到:
式中,在训练初期,A、B分别是标记圆和检测圆的最小外接矩形,在训练后期,A、B分别是标记圆和检测圆的最大内接矩形。以目标中心点为圆点,半径为超参数r的圆形代替bounding box四边形,对同一个样本,不同训练阶段下标记圆和检测圆之间的IOU的面积计算有所不同,训练初期,以两个圆的最小外接矩形的重叠面积近似作为IOU,训练后期,以两个圆的最大内接矩形近似作为IOU的面积,不仅避免不同分辨率下目标的长宽比的变化对训练造成的干扰,也可以提高模型训练的收敛速度和稳定性。
参阅图3,具体地,所述的PP-PicoDet网络模型包括基准网络模块ESNet,用于对输入的图像进行处理得到三个不同尺度下的特征图集合;CSP-PAN网络,用于相邻特征映射之间的特征拼接和融合并获得四种不同尺度下的特征图集合;检测头结构,由深度可分离卷积和5×5卷积构成,用于对上述输出的特征图进行扩展接收域得到四种不同的检测器,每个检测器产生7个值:3个坐标、3个类别概率和1个置信度,这3个坐标即中心点横坐标x、中心点纵坐标y以及半径r,3个类别概率对应上述区域属于摄像头、手以及背景的概率。虽然图3与现有技术中的附图一致,但两者输出的参数向量有所不同,现有技术中的坐标有4个参数,分别对应矩形框左上角的横坐标、纵坐标以及矩形框的宽和高。
参阅图4,进一步地,一种摄录行为检测系统,包括摄像模块,用于拍摄待监测区域图像或视频;识别模块,其内存储有训练好的目标识别网络模型,用于对摄像模块拍摄的图像或视频进行识别得到摄像头的概率以及其关联目标的概率;处理模块,用于接收识别模块输出的概率数据并对其进行计算得到出现偷拍现象的概率,计算公式为:,式中,是取最小值,是通过计算得到的影响因子,;控制模块,用于根据出现偷拍现象的概率驱动显示器打开或关闭或显示告警画面。通过该装置,可以方便的实现摄录行为检测,当检测到有人偷拍或录屏,我们可以在显示器上显示默认的告警画面或者直接关闭显示器等,这样就能方便的实现摄录行为检测,在实际设置时,这些模块可以封装在一个盒子里,放在显示器的前方;也可以直接集成在显示器内部构成安全显示器。
Claims (8)
2.如权利要求1所述的摄录行为检测方法,其特征在于:所述的关联目标为人手、人体、人脸、自拍杆中的一种或多种。
4.如权利要求1、2或3所述的摄录行为检测方法,其特征在于:所述的步骤S200中,通过训练好的神经网络对摄像头及其关联目标进行识别,神经网络训练步骤如下:
S210、构建模型所需的训练样本和测试样本;
S220、搭建深度学习神经网络;
S230、确定损失函数;
S240、将训练样本带入神经网络中进行训练,并根据损失函数不断优化神经网络的参数;
S250、利用测试样本对优化后的神经网络进行测试,若满足测试要求,则将当前的神经网络参数保存,若不满足测试要求,返回步骤S210重新构建样本。
7.如权利要求5所述的摄录行为检测方法,其特征在于:所述的PP-PicoDet网络模型包括
基准网络模块ESNet,用于对输入的图像进行处理得到三个不同尺度下的特征图集合;
CSP-PAN网络,用于相邻特征映射之间的特征拼接和融合并获得四种不同尺度下的特征图集合;
检测头结构,由深度可分离卷积和5×5卷积构成,用于对上述输出的特征图进行扩展接收域得到四种不同的检测器,每个检测器产生7个值:3个坐标、3个类别概率和1个置信度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210039810.2A CN114067441B (zh) | 2022-01-14 | 2022-01-14 | 摄录行为检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210039810.2A CN114067441B (zh) | 2022-01-14 | 2022-01-14 | 摄录行为检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114067441A CN114067441A (zh) | 2022-02-18 |
CN114067441B true CN114067441B (zh) | 2022-04-08 |
Family
ID=80230865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210039810.2A Active CN114067441B (zh) | 2022-01-14 | 2022-01-14 | 摄录行为检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114067441B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764100A (zh) * | 2018-05-22 | 2018-11-06 | 全球能源互联网研究院有限公司 | 一种目标行为检测方法及服务器 |
CN110287862A (zh) * | 2019-06-21 | 2019-09-27 | 西安电子科技大学 | 基于深度学习的防偷拍检测方法 |
CN111581679A (zh) * | 2020-05-06 | 2020-08-25 | 台州智必安科技有限责任公司 | 一种基于深度网络的防范屏幕拍照方法 |
CN112329719A (zh) * | 2020-11-25 | 2021-02-05 | 江苏云从曦和人工智能有限公司 | 行为识别方法、装置以及计算机可读存储介质 |
CN112883755A (zh) * | 2019-11-29 | 2021-06-01 | 武汉科技大学 | 一种基于深度学习与行为先验的吸烟和打电话检测方法 |
CN113486850A (zh) * | 2021-07-27 | 2021-10-08 | 浙江商汤科技开发有限公司 | 一种交通行为识别方法及装置、电子设备和存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011180172A (ja) * | 2010-02-26 | 2011-09-15 | Sharp Corp | 撮像防止装置、撮像防止方法および映像表示システム |
US9516215B1 (en) * | 2014-09-16 | 2016-12-06 | Isaac Datikashvili | System and method for deterring the ability of a person to capture a screen presented on a handheld electronic device |
CN108182396B (zh) * | 2017-12-25 | 2022-06-28 | 中国电子科技集团公司电子科学研究院 | 一种自动识别拍照行为的方法及装置 |
CN111200781B (zh) * | 2018-11-19 | 2021-09-14 | 林桦 | 基于计算机视觉及无线电测向定位的防拍照方法及系统 |
CN110113535A (zh) * | 2019-05-14 | 2019-08-09 | 软通智慧科技有限公司 | 终端信息溯源方法、装置、终端和介质 |
CN110443136A (zh) * | 2019-07-04 | 2019-11-12 | 北京九天翱翔科技有限公司 | 一种全智能电脑显示屏防手机偷拍系统 |
CN111985331B (zh) * | 2020-07-20 | 2024-05-10 | 中电天奥有限公司 | 预防商业秘密被窃照的检测方法及装置 |
CN113536980A (zh) * | 2021-06-28 | 2021-10-22 | 浙江大华技术股份有限公司 | 拍摄行为检测方法、装置、电子装置和存储介质 |
-
2022
- 2022-01-14 CN CN202210039810.2A patent/CN114067441B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764100A (zh) * | 2018-05-22 | 2018-11-06 | 全球能源互联网研究院有限公司 | 一种目标行为检测方法及服务器 |
CN110287862A (zh) * | 2019-06-21 | 2019-09-27 | 西安电子科技大学 | 基于深度学习的防偷拍检测方法 |
CN112883755A (zh) * | 2019-11-29 | 2021-06-01 | 武汉科技大学 | 一种基于深度学习与行为先验的吸烟和打电话检测方法 |
CN111581679A (zh) * | 2020-05-06 | 2020-08-25 | 台州智必安科技有限责任公司 | 一种基于深度网络的防范屏幕拍照方法 |
CN112329719A (zh) * | 2020-11-25 | 2021-02-05 | 江苏云从曦和人工智能有限公司 | 行为识别方法、装置以及计算机可读存储介质 |
CN113486850A (zh) * | 2021-07-27 | 2021-10-08 | 浙江商汤科技开发有限公司 | 一种交通行为识别方法及装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114067441A (zh) | 2022-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109284733B (zh) | 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法 | |
CN110880172A (zh) | 基于循环卷积神经网络的视频人脸篡改检测方法及系统 | |
US20080137919A1 (en) | Face image processing apparatus and method | |
CN106874826A (zh) | 人脸关键点跟踪方法和装置 | |
CN112001886A (zh) | 一种温度检测方法、装置、终端及可读存储介质 | |
CN103530638A (zh) | 多摄像头下的行人匹配方法 | |
CN112541403B (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
WO2023093086A1 (zh) | 目标跟踪及相关模型的训练方法、装置、设备、介质、计算机程序产品 | |
WO2023123924A1 (zh) | 目标识别方法、装置、电子设备及存储介质 | |
CN111581679A (zh) | 一种基于深度网络的防范屏幕拍照方法 | |
CN110046568A (zh) | 一种基于时间感知结构的视频动作识别方法 | |
Gündüz et al. | A new YOLO-based method for social distancing from real-time videos | |
CN115147705A (zh) | 人脸翻拍检测方法、装置、电子设备及存储介质 | |
CN103607558A (zh) | 一种视频监控系统及其目标匹配方法和装置 | |
CN111881740A (zh) | 人脸识别方法、装置、电子设备及介质 | |
CN116824641B (zh) | 姿态分类方法、装置、设备和计算机存储介质 | |
CN114067441B (zh) | 摄录行为检测方法及系统 | |
CN108564053A (zh) | 基于FaceNet的多摄像头动态人脸识别系统与方法 | |
US11012613B2 (en) | Flat surface detection in photographs | |
CN114550032A (zh) | 一种端到端三维卷积目标检测网络的视频烟雾检测方法 | |
Sun et al. | YOLOv7-FIRE: A tiny-fire identification and detection method applied on UAV | |
CN107341457A (zh) | 人脸检测方法及装置 | |
CN113111888A (zh) | 一种图片判别方法及装置 | |
CN113269730A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
Sun et al. | Lecture video automatic summarization system based on DBNet and Kalman filtering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |