一种基于视觉的会议防偷拍方法、装置、存储介质及终端
技术领域
本发明涉及计算机技术领域,特别涉及一种基于视觉的会议防偷拍方法、装置、存储介质及终端。
背景技术
随着智能手机的普及和其拍照性能的提升,人们可以随时随地的拍照、摄影、分享自己感兴趣或者需要记录的内容。但是,在一些涉及隐私或安全的会议上,为了防止信息外漏,常常会有禁止拍照摄影的要求。
目前,为了禁止参会人员拍摄不想被拍摄的内容,通常对参会人员没收手机或者安排现场管理人员进行监督,若发现有人拍照,现场要求删除内容并警告。这种监督方式存在以下问题:(1)直接没收手机的方式过于不友好,很容易引起与会者的抵触,从而引发矛盾,造成不好的体验。(2)安排管理员监管的方式费神费力,很难到达面面俱到的效果,经常会有拍照而未被发现的漏网之鱼。
发明内容
本申请实施例提供了一种基于视觉的会议防偷拍方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
第一方面,本申请实施例提供了一种基于视觉的会议防偷拍方法,所述方法包括:
利用摄像头采集会场区域视频数据;
将所述会场区域视频数据输入预设防拍照检测模型中进行会议防偷拍检测;
当检测到所述会场区域视频数据中的拍照姿势保持时间大于阈值时,生成警告信息进行提示;
当所示警告信息提示结束时,恢复会议展示的内容。
可选的,所述利用摄像头采集会场区域视频数据之前,还包括:
创建防拍照检测模型;
采集会场视频数据作为第一训练数据;
对所述第一训练数据增加所述防拍照检测模型的鲁棒性,生成第二训练数据;
利用所述第二训练数据对所述防拍照检测模型进行训练,生成训练后的防拍照检测模型,将所述训练后的防拍照检测模型确定为预设防拍照检测模型。
可选的,所述生成警告信息进行提示之后,还包括:
获取偷拍信息;
获取偷拍用户的人脸图像信息;
利用所述人脸图像信息匹配历史偷拍警报库;
当匹配成功时,将所述偷拍信息保存至所述偷拍用户的偷拍警报档案中。
可选的,所述增加所述防拍照检测模型的鲁棒性包括添加噪声、改变亮度、改变对比度。
可选的,所述会议防偷拍检测方式包括闪光灯检测和拍照姿势检测,所述闪光灯检测采用光敏传感器来检测,所述拍照姿势检测通过将视觉传感器采集到的视频流输入提前训练好的模型来检测是否有拍照的动作。
可选的,所述第一训练数据包括偷拍的数据和无偷拍数据,所述偷拍数据和所述无偷拍数据的数量相等。
第二方面,本申请实施例提供了一种基于视觉的会议防偷拍装置,所述装置包括:
会议机器人、光敏传感器和外接摄像头,所述会议机器人包括深度摄像头、控制计算机、激光投影设备、无线通信模块。
第三方面,本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供一种终端,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果:
在本申请实施例中,用户终端首先利用摄像头采集会场区域视频数据,然后将所述会场区域视频数据输入预设防拍照检测模型中进行会议防偷拍检测,当检测到所述会场区域视频数据中的拍照姿势保持时间大于阈值时,生成警告信息进行提示,最后当所示警告信息提示结束时,恢复会议展示的内容。由于本方案在当会议涉及隐私或安全而不准拍照时,能够在做到防拍照的同时不需要强制性没收手机,也不需要专门安排现场管理人员对会议现场进行监督,确保会议安全有效进行,从而节省了成本,提高了监督效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种基于视觉的会议防偷拍方法的流程示意图;
图2是本申请实施例提供的一种防偷拍检测模型训练的流程示意图;
图3是本申请实施例提供的一种基于视觉的会议防偷拍方法的处理逻辑流程示意图;
图4是本申请实施例提供的另一种基于视觉的会议防偷拍方法的流程示意图;
图5是本申请实施例提供的一种基于视觉的会议防偷拍装置的结构示意图;
图6是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。此外,在本发明的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
到目前为止,对于会议防止偷拍的方式,目前采用的方式是通常对参会人员没收手机或者安排现场管理人员进行监督,若发现有人拍照,现场要求删除内容并警告。这种监督方式存在以下问题:(1)直接没收手机的方式过于不友好,很容易引起与会者的抵触,从而引发矛盾,造成不好的体验。(2)安排管理员监管的方式费神费力,很难到达面面俱到的效果,经常会有拍照而未被发现的漏网之鱼。为此,本申请提供了一种基于视觉的会议防偷拍方法、装置、存储介质及终端,以解决上述相关技术问题中存在的问题。本申请提供的技术方案中,由于本方案在当会议涉及隐私或安全而不准拍照时,能够在做到防拍照的同时不需要强制性没收手机,也不需要专门安排现场管理人员对会议现场进行监督,确保会议安全有效进行,从而节省了成本,提高了监督效率,下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图4,对本申请实施例提供的基于视觉的会议防偷拍方法进行详细介绍。该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的基于视觉的会议防偷拍装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。其中,本申请实施例中的基于视觉的会议防偷拍装置可以为用户终端,包括但不限于:个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称,例如:用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digitalassistant,PDA)、5G网络或未来演进网络中的终端设备等。
请参见图1,为本申请实施例提供了一种基于视觉的会议防偷拍方法的流程示意图。如图1所示,本申请实施例的所述方法可以包括以下步骤:
S101,利用摄像头采集会场区域视频数据;
其中,视频数据为摄像头实时采集的图像帧。
在一种可行的实现方式中,在利用摄像头采集会场区域视频数据之前还需要进行防拍照检测模型训练,利用训练后的防拍照模型实时监控。
具体的,首先创建防拍照检测模型,然后采集会场视频数据作为第一训练数据,再对所述第一训练数据增加所拍照检测模型的鲁棒性,生成第二训练数据,然后利用所述第二训练数据对所述防拍照检测模型进行训练,生成训练后的防拍照检测模型。
进一步地,例如图2所示,防拍照检测模型训练包括防拍照数据采集、防拍照数据预处理、防拍照模型训练和会议防拍照。在防拍照数据采集中,采集会场的视频数据作为防拍照检测模型的训练数据,其中,摄像头布置在投影幕布的正上方,角度稍向下倾斜对准会场,采集帧率为10fps,采集3万个偷拍的数据和3万个无偷拍的数据。在防拍照数据预处理中,对采集到的的数据进一步处理,对训练数据做如下处理以扩充数据集、增加模型的鲁棒性:添加噪声、改变亮度、改变对比度。在防拍照检测模型训练中,利用已有的数据训练出高鲁棒性、高效率的模型,其中,根据已有的模型调整各项超参数、finetune训练出多个模型,最终选择一个最优的结果。在会议防拍照中,将训练好的模型投入到现实的场景中去。例如,将模型部署在Ubuntu的主机上,采用GPU加速,基本实现实时、准确的检测。
当模型训练完成并部署在Ubuntu的主机上,由于会议机器人的摄像头需要布置在投影幕布的正上方,所以需要外接摄像头,将外接摄像头连接在树莓派上,当会议进行时,通过外接摄像头采集会场区域视频数据,然后将采集的会场区域视频数据通过有线或者无线发送至主机(会议机器人)上。其中外接摄像头角度稍向下倾斜对准会场,采集帧率为10fps。
S102,将所述会场区域视频数据输入预设防拍照检测模型中进行会议防偷拍检测;
在一种可行的实现方式中,采用两种检测方式来确定是否存在偷拍,这两种方式分别是闪光灯检测和拍照姿势检测。闪光灯检测采用光敏传感器来检测,拍照姿势检测通过将视觉传感器采集到的视频流输入提前训练好的模型来检测是否有拍照的动作。例如,当发现会场有上光灯出现或拍照姿势持续一秒以上时,则检测为拍照。
S103,当检测到所述会场区域视频数据中的拍照姿势保持时间大于阈值时,生成警告信息进行提示;
在本申请实施例中,基于步骤S102可进行会议防偷拍检测,检测到有偷拍时,会议机器人会在屏幕上投放“请勿拍照”四个大字,同时查阅以往警报日志,是否有此人的警报信息,如果有则放出现场次人拍照的照片并伴随“哔哔”的警告声。对偷拍者进行人脸匹配,查看以往库中是否有此人信息,若有,则放在一起,否则新建偷拍警报档案,将偷拍信息保存至偷拍警报库。
S104,当所示警告信息提示结束时,恢复会议展示的内容。
在一种可行的实现方式中,在发出警告后恢复会议展示内容。警告停留3秒左右,然后自动消失,恢复为原来的幻灯片内容。
例如图3所示,首先摄像头采集会议现场数据,在利用计算机判定是否有偷拍,当没有偷拍行为时,继续进行摄像头采集会议现场数据,当有偷拍行为时,发出拍照警告,然后进行警告记录归档,最后会议内容复原。
在本申请实施例中,用户终端首先利用摄像头采集会场区域视频数据,然后将所述会场区域视频数据输入预设防拍照检测模型中进行会议防偷拍检测,当检测到所述会场区域视频数据中的拍照姿势保持时间大于阈值时,生成警告信息进行提示,最后当所示警告信息提示结束时,恢复会议展示的内容。由于本方案在当会议涉及隐私或安全而不准拍照时,能够在做到防拍照的同时不需要强制性没收手机,也不需要专门安排现场管理人员对会议现场进行监督,确保会议安全有效进行,从而节省了成本,提高了监督效率。
请参见图4,为本申请实施例提供的一种基于视觉的会议防偷拍的流程示意图。本实施例以基于视觉的会议防偷拍应用于用户终端中来举例说明。该基于视觉的会议防偷拍可以包括以下步骤:
S201,创建防拍照检测模型;
S202,采集会场视频数据作为第一训练数据;
S203,对所述第一训练数据增加所述防拍照检测模型的鲁棒性,生成第二训练数据;
S204,利用所述第二训练数据对所述防拍照检测模型进行训练,生成训练后的防拍照检测模型,将所述训练后的防拍照检测模型确定为预设防拍照检测模型;
S205,利用摄像头采集会场区域视频数据;
S206,将所述会场区域视频数据输入预设防拍照检测模型中进行会议防偷拍检测;
S207,当检测到所述会场区域视频数据中的拍照姿势保持时间大于阈值时,生成警告信息进行提示;
S208,获取偷拍信息;
S209,获取偷拍用户的人脸图像信息;
S210,利用所述人脸图像信息匹配历史偷拍警报库;
S211,当匹配成功时,将所述偷拍信息保存至所述偷拍用户的偷拍警报档案中;
S212,当所示警告信息提示结束时,恢复会议展示的内容。
在本申请实施例中,用户终端首先利用摄像头采集会场区域视频数据,然后将所述会场区域视频数据输入预设防拍照检测模型中进行会议防偷拍检测,当检测到所述会场区域视频数据中的拍照姿势保持时间大于阈值时,生成警告信息进行提示,最后当所示警告信息提示结束时,恢复会议展示的内容。由于本方案在当会议涉及隐私或安全而不准拍照时,能够在做到防拍照的同时不需要强制性没收手机,也不需要专门安排现场管理人员对会议现场进行监督,确保会议安全有效进行,从而节省了成本,提高了监督效率。
下述为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明方法实施例。
请参见图5,其示出了本发明一个示例性实施例提供的基于视觉的会议防偷拍装置的结构示意图。该基于视觉的会议防偷拍装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置包括会议机器人、光敏传感器和外接摄像头,所述会议机器人包括深度摄像头、控制计算机、激光投影设备、无线通信模块。
深度摄像头,用于采用深度摄像头采集会议场景下的RGB和深度数据。在本申请的一个实例中,会外接一个摄像头,不会使用到此摄像头。
控制计算机,用于处理摄像头和光敏传感器采集的数据、控制激光投影设备以及同外界的信息交互等。
激光投影设备,会议机器人内部集成有激光投影设备,不需要外接投影仪
无线通信模块,用于支持Wi-Fi、蓝牙等通信方式
外接摄像头模块,用于采集会场图像信息。在本申请的一个实例中,外接摄像头连接至树莓派上,然后通过树莓派通过http通信将数据传输至会议机器人。
光敏传感器,用于采集会场光强信息。当拍摄设备打开闪光灯拍照时,此光敏传感模块会检测到异常值,并将其发送给会议机器人。
需要说明的是,上述实施例提供的基于视觉的会议防偷拍装置在执行基于视觉的会议防偷拍方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的基于视觉的会议防偷拍装置与基于视觉的会议防偷拍方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请实施例中,用户终端首先利用摄像头采集会场区域视频数据,然后将所述会场区域视频数据输入预设防拍照检测模型中进行会议防偷拍检测,当检测到所述会场区域视频数据中的拍照姿势保持时间大于阈值时,生成警告信息进行提示,最后当所示警告信息提示结束时,恢复会议展示的内容。由于本方案在当会议涉及隐私或安全而不准拍照时,能够在做到防拍照的同时不需要强制性没收手机,也不需要专门安排现场管理人员对会议现场进行监督,确保会议安全有效进行,从而节省了成本,提高了监督效率。
本发明还提供一种计算机可读介质,其上存储有程序指令,该程序指令被处理器执行时实现上述各个方法实施例提供的基于视觉的会议防偷拍方法。
本发明还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各个方法实施例所述的基于视觉的会议防偷拍方法。
请参见图6,为本申请实施例提供了一种终端的结构示意图。如图6所示,所述终端1000可以包括:至少一个处理器1001,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。
其中,通信总线1002用于实现这些组件之间的连接通信。
其中,用户接口1003可以包括显示屏(Display)、摄像头(Camera),可选用户接口1003还可以包括标准的有线接口、无线接口。
其中,网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分,通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集,以及调用存储在存储器1005内的数据,执行电子设备1000的各种功能和处理数据。可选的,处理器1001可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1001中,单独通过一块芯片进行实现。
其中,存储器1005可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于视觉的会议防偷拍应用程序。
在图6所示的终端1000中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;而处理器1001可以用于调用存储器1005中存储的基于视觉的会议防偷拍应用程序,并具体执行以下操作:
利用摄像头采集会场区域视频数据;
将所述会场区域视频数据输入预设防拍照检测模型中进行会议防偷拍检测;
当检测到所述会场区域视频数据中的拍照姿势保持时间大于阈值时,生成警告信息进行提示;
当所示警告信息提示结束时,恢复会议展示的内容。
在一个实施例中,所述处理器1001在执行所述利用摄像头采集会场区域视频数据之前时,还执行以下操作:
创建防拍照检测模型;
采集会场视频数据作为第一训练数据;
对所述第一训练数据增加所述防拍照检测模型的鲁棒性,生成第二训练数据;
利用所述第二训练数据对所述防拍照检测模型进行训练,生成训练后的防拍照检测模型,将所述训练后的防拍照检测模型确定为预设防拍照检测模型。
在一个实施例中,所述处理器1001在执行所述生成警告信息进行提示之后时,还执行以下操作:
获取偷拍信息;
获取偷拍用户的人脸图像信息;
利用所述人脸图像信息匹配历史偷拍警报库;
当匹配成功时,将所述偷拍信息保存至所述偷拍用户的偷拍警报档案中。
在本申请实施例中,用户终端首先利用摄像头采集会场区域视频数据,然后将所述会场区域视频数据输入预设防拍照检测模型中进行会议防偷拍检测,当检测到所述会场区域视频数据中的拍照姿势保持时间大于阈值时,生成警告信息进行提示,最后当所示警告信息提示结束时,恢复会议展示的内容。由于本方案在当会议涉及隐私或安全而不准拍照时,能够在做到防拍照的同时不需要强制性没收手机,也不需要专门安排现场管理人员对会议现场进行监督,确保会议安全有效进行,从而节省了成本,提高了监督效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。