CN110955912A - 基于图像识别的隐私保护方法、装置、设备及其存储介质 - Google Patents

基于图像识别的隐私保护方法、装置、设备及其存储介质 Download PDF

Info

Publication number
CN110955912A
CN110955912A CN201911037532.1A CN201911037532A CN110955912A CN 110955912 A CN110955912 A CN 110955912A CN 201911037532 A CN201911037532 A CN 201911037532A CN 110955912 A CN110955912 A CN 110955912A
Authority
CN
China
Prior art keywords
face
image
privacy
faces
strange
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911037532.1A
Other languages
English (en)
Other versions
CN110955912B (zh
Inventor
毛润欣
周超勇
刘玉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201911037532.1A priority Critical patent/CN110955912B/zh
Publication of CN110955912A publication Critical patent/CN110955912A/zh
Application granted granted Critical
Publication of CN110955912B publication Critical patent/CN110955912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像识别的隐私保护方法、装置、设备及其存储介质，所述方法通过获取并解帧摄像头拍摄的视频、并识别提取出视频中所有人脸图像，对将提取的人脸图像进行人脸识别、面部特点提取处理，将面部特征点进行定位等处理，结合三维标准模型得到人脸旋转角度、通过检测的人脸面积估计出陌生人人脸与终端所在平面的实际距离；通过判定在一预定时间内得到的参数是否同时超过设置阈值，进而判断是否有陌生人在偷窥并告知用户。本发明实施例可以有效判断是否有陌生人在偷窥用户隐私信息，可以防范用户隐私泄露，保护用户隐私安全，进而避免产生一些不必要的损失。

Description

基于图像识别的隐私保护方法、装置、设备及其存储介质
技术领域
本发明涉及图像识别技术，尤其涉及基于图像识别的隐私保护方法、装置、设备及其存储介质。
背景技术
智能移动终端作为人类重要的使用工具，储存着大量的隐私信息，与此同时，在公共场合使用智能移动终端而产生泄露用户隐私的问题也越来越严重。因此，对智能移动终端上的隐私信息进行保护显得非常重要。用户在使用手机等智能移动终端时，容易被周围的陌生人偷窥到智能移动终端上所展示的一些隐私信息，导致隐私信息泄漏。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种基于图像识别的隐私保护方法。
本发明的第二个目的在于提出一种基于图像识别的隐私保护装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种计算机存储介质。
为实现上述目的，第一方面，根据本发明实施例的隐私保护方法，所述方法包括：
获取由摄像头实时录取的视频流信息、并对所述视频流信息进行解帧得到多张图像；
检测并识别每一张所述图像中的人脸数目，当识别出某一张图像中人脸数目大于一个时，则将该张图像确定为待分析图像，记录所述待分析图像出现时间、并检测及记录所述待分析图像中所有人脸对应的人脸面积；
对所述待分析图像中所有人脸对应的人脸图像进行面部特征点定位及旋正对齐、并进行像素值调整处理；
将处理后得到的人脸图像采用深度残差网络识别、提取出所述人脸图像中所有人脸的面部特征点；
将所述人脸图像中识别出的陌生人脸的面积与机主人脸的面积进行大小对比，根据对比结果估计出所述陌生人脸与所述摄像头的实际距离；
通过三维标准模型PRNet对所述陌生人脸的面部特征点进行人脸三维模型构建、并对构建得到的人脸三维模型进行旋转处理得到人脸旋转角度，根据所述人脸旋转角度得到所述陌生人脸与所述摄像头所在平面的偏转角度；
根据所述待分析图像出现时间及解帧视频流信息的时间，确定所述陌生人脸在视频中出现的持续时间；
根据所述持续时间，判定在一预定时间内所述偏转角度以及所述实际距离是否均超过对应设置的阈值；若是则发出陌生人偷窥的信息告知机主。
第二方面，根据本发明实施例基于图像识别的隐私保护装置，包括：
视频流获取及解帧模块，用于获取由摄像头实时录取的视频流信息、并对所述视频流信息进行解帧得到多张图像；
检测识别及记录模块，用于检测并识别每一张所述图像中的人脸数目，当识别出某一张图像中人脸数目大于一个时，则将该张图像确定为待分析图像，记录所述待分析图像出现时间、并检测及记录所述待分析图像中所有人脸对应的人脸面积；
图像处理模块，用于对所述待分析图像中所有人脸对应的人脸图像进行面部特征点定位及旋正对齐、并进行像素值调整处理；
面部特征点提取模块，用于将处理后得到的人脸图像采用深度残差网络识别、提取出所述人脸图像中所有人脸的面部特征点；
人脸面积对比及实际距离获取模块，用于将所述人脸图像中识别出的陌生人脸的面积与机主人脸的面积进行大小对比，根据对比结果估计出所述陌生人脸与所述摄像头的实际距离；
偏转角度获取模块，用于通过三维标准模型PRNet对所述陌生人脸的面部特征点进行人脸三维模型构建、并对构建得到的人脸三维模型进行旋转处理得到人脸旋转角度，根据所述人脸旋转角度得到所述陌生人脸与所述摄像头所在平面的偏转角度；
持续时间获取模块，用于根据所述待分析图像出现时间及解帧视频流信息的时间，确定所述陌生人脸在视频中出现的持续时间；
判断及信息告知模块，用于根据所述持续时间，判定在一预定时间内所述偏转角度以及所述实际距离是否均超过对应设置的阈值；若是则发出陌生人偷窥的信息告知机主。
第三方面，根据本发明实施例的计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述基于图像识别的隐私保护方法。
第四方面，根据本发明实施例的计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述基于图像识别的隐私保护方法。
根据本发明实施例提供的基于图像识别的隐私保护方法、装置、设备及其存储介质，通过获取终端摄像头拍摄的视频、并识别提取出视频中所有人脸图像，对将提取的人脸图像进行人脸识别、面部特特点提取处理，将面部特征点进行定位等处理，结合三维标准模型得到人脸旋转角度、通过检测的人脸面积估计出陌生人人脸与终端所在平面的实际距离；通过判定在一预定时间内得到的参数是否同时超过设置阈值，进而判断是否有陌生人在偷窥并告知用户。本发明实施例可以有效判断是否有陌生人在偷窥用户隐私信息，可以防范用户隐私泄露，保护用户隐私安全，进而避免产生一些不必要的损失。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明基于图像识别的隐私保护方法实施例的流程图；
图2是本发明基于图像识别的隐私保护方法实施例中步骤S101的流程图；
图3是本发明基于图像识别的隐私保护方法实施例中步骤S104的流程图；
图4是本发明基于图像识别的隐私保护装置实施例的结构框图；
图5是本发明基于图像识别的隐私保护装置实施例中视频流获取及解帧模块的结构框图；
图6是本发明基于图像识别的隐私保护装置实施例中面部特征点提取模块的结构框图；
图7是本发明计算机设备一个实施例的结构框图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在现有技术中，人脸识别技术在人工智能、机器视觉识别等领域具有重要的应用，近年来发展非常迅速，在公开数据集上的人脸识别准确率越来越高，应用场景也越来越丰富。针对目前智能移动终端，如手机、平板、等记本电脑等终端，在公共场合经常出现的隐私信息被偷窥的问题。
本发明基于人脸识别技术提出一种保护智能移动终端的用户隐私保护方法，通过视频解帧、人脸检测、面部特征点定位、人脸旋正对齐、人脸识别等一系列技术判断是否有陌生人在偷窥手机；面部特征点定位结合三维标准模型可以得到人脸旋转角度；检测的人脸框大小可以估计陌生人人脸距离手机平面的距离；通过以上得到的参数，同时设置阈值，可以有效判断是否有陌生人在持续偷窥用户隐私信息，从而防范用户隐私泄露，保护用户隐私安全。
参照图1所示，图1示出了本发明基于图像识别的隐私保护方法实施例的流程图，为了便于描述，仅示出了与本发明实施例相关的部分。具体的，所述基于图像识别的隐私保护方法由安装有摄像头的智能移动终端或设备执行。
在本发明实施例中，该隐私保护方法包括：
S101、获取由摄像头实时录取的视频流信息、并对所述视频流信息进行解帧得到多张图像。
可选地，本发明的智能移动终端获取由其摄像头实时录取的视频流信息、并对所述视频流信息进行解帧得到对应图像。
可选地，参照图2所示，在步骤S101中，所述获取由摄像头实时录取的视频流信息之前还包括：
S201、预先录入允许隐私观看人的头像，构成底库图像。
所述允许隐私观看人的头像包括机主人脸对应头像以及其它允许隐私观看人的人脸对应头像。所述底库图像还包括经识别并提取的所述允许隐私观看人的人脸对应的面部特征。本发明中的面部特征至少包括人脸五官的面部特征点信息，与底库图像中的允许观看人的头像可以区分保存，以便于进行分开处理。
S202、接受用户操作开启防偷窥模式、并在开启防偷窥模式后触发打开摄像头。
即智能移动终端接收到用户操作后开启防偷窥模式，开启了防偷窥模式才能触发自动打开摄像头。本发明通过在底库图像中预先录入允许隐私观看人的头像，可以作为设备隐私观看人的记录，与摄像头录取得到人脸图像作为比较的依据。当进入人员较多的容易被陌生人偷窥隐私的公共场所时，用户可以手动开启公共场所防偷窥模式进行监控。
可选地，在步骤S101中，所述对所述视频流信息进行解帧得到对应图像之后还包括：使用图片质量评估模型对所述解帧得到对应图像的图片质量进行评估、并将评估出图片质量达不到要求的图像删除。
本发明该实施例通过将摄像头解帧出来的图片进行质量评估，将光照差、模糊、非正面、偏移角度过大等不合格的图像去掉，从而提高了在人脸图像中人脸识别、面部特征点提取的准确率，本发明具体实施时所使用的图片质量评估模型不作限定。
S102、检测并识别每一张所述图像中的人脸数目，当识别出某一张图像中人脸数目大于一个时，则将该张图像确定为待分析图像，记录所述待分析图像出现时间、并检测及记录所述待分析图像中所有人脸对应的人脸面积。
具体实施时，若识别出其中某一张图像中人脸数目只有一个或者为零时；则会跳过该张图像、继续对解帧得到的下一张图像进行识别。
S103、对所述待分析图像中所有人脸对应的人脸图像进行面部特征点定位及旋正对齐、并进行像素值调整处理。
具体实施时，人脸面部特征点定位算法可以使用人脸特征点定位算法paper，采用Inner points预测模型和Contour points预测模型，其中，Inner points预测模型主要用于人脸五官的特征点预测，Contour points预测模型用于预测人脸外轮廓的特征点。同时，进行旋正及像素值调整处理；譬如，将图像中人脸不正，即偏移正面角度过大的人脸图像，则进行旋正处理、使得人脸面部更加清晰更易于观察；将分辨率不高的图像进行增加像素值处理，得到较高分辨率的人脸图像、从而提高人脸图像清晰度，具体地可以使用opencv算法(Open Source Computer Vision Library，开源计算机视觉库)进行图像像素值增加或减少处理。经上述处理能得到清晰的人脸图像，以便于后续对清晰的人脸图像进行面部特征点提取等操作。
S104、将处理后得到的人脸图像采用深度残差网络识别、提取出所述人脸图像中所有人脸的面部特征点。
具体实施时，本发明将处理后得到的清晰的人脸图像输入残差神经网络50层模型，所述的残差神经网络50层模型、即深度残差网络ResNet；人脸图像经过神经网络输出即为面部特征点，从而实现实时人脸识别。
可选地，参照图3所示，在步骤S104之后还包括：
S301、将提取出所述人脸图像中所有人脸的面部特征与所述底库图像中提取的面部特征进行比对。
S302、比对相似度大于设定阈值的人脸判定为允许隐私观看人的人脸。比对相似度小于设定阈值的人脸判定为陌生人脸。
S303、将判定出的陌生人脸对应头像加入底库图像中，并与所述允许隐私观看人的头像进行区分保存。
本发明该实施例通过将提取出的面部特征点与底库图像中的头像的面部特征点进行比对、以判定出陌生人脸，并将陌人人脸加入底库图像中作存储、与其它的允许隐私观看人的头像区分开来，可以将陌生人脸图像进行保存、以供需要时追踪使用。
S105、将所述人脸图像中识别出的陌生人脸的面积与机主人脸的面积进行大小对比，根据对比结果估计出所述陌生人脸与所述摄像头的实际距离。
具体实施时，经识别可知该张图像中的陌生人脸和机主人脸，对检测记录得到的各自对应的人脸面积大小进行对比，可以大致估计出在机主使用智能移动终端环境周围中陌生人离智能移动终端的距离，具体的距离估计算法在此不作限定。
S106、通过三维标准模型PRNet对所述陌生人脸的面部特征点进行人脸三维模型构建、并对构建得到的人脸三维模型进行旋转处理得到人脸旋转角度，根据所述人脸旋转角度得到所述陌生人脸与所述摄像头所在平面的偏转角度。
可选地，在步骤S106中，所述对构建得到的人脸三维模型进行旋转处理得到人脸旋转角度具体包括：旋转所述人脸三维模型的角度，直到所述人脸三维模型的三维特征点对应的二维投影和所述陌生人脸的面部特征点重合，得到对应的人脸旋转角度。
具体实施时，通过三维标准模型PRNet(Reconstruction and Dense Alignmentwith Position Map Regression Network,人脸重构和密集人脸对齐，是一种人脸三维对齐算法)估计出人脸的三维特征点，以及三维关键点坐标投影到二维的情况，从而根据得到的面部特征点进行人脸三维模型构建。
由于人脸旋转角度由三部分构成,分别为pitch(俯仰角)、yaw(偏航角)、roll(滚转角)三种角度，分别代表上下翻转、左右翻转、平面内选择的角度，本发明采用人脸旋转角度中的偏航角,即左右旋转的角度；并进行旋转角度估计。具体地，并通过旋转所述人脸三维模型的角度，直到所述人脸三维模型的三维特征点对应的二维投影和所述陌生人脸的面部特征点重合，得到对应的人脸旋转角度，以此得出人脸旋转角度，从而根据所述人脸旋转角度取出其中的偏航角，即得到所述陌生人脸与所述摄像头所在平面的偏转角度。
S107、根据所述待分析图像出现时间及解帧视频流信息的时间，确定所述陌生人脸在视频中出现的持续时间。
由于本发明采用对摄像头边录取边解帧视频流信息的处理，以及已记录的该张图像出现时间，因而可以计算出该陌生人脸在摄像头拍摄区域内出现的持续时间。具体实施时，通过已记录的该张图像出现时间，可以知道该陌生人脸在摄像头摄像区域内出现的开始时间；又由于采取对摄像头边录取边解帧视频流信息的处理，这个处理过程的持续时间一直有在智能移动终端中进行记录，因此可以由所述开始时间、以及所述解帧视频流信息的处理过程的持续时间，通过所述解帧视频流信息的处理过程的持续时间减去所述开始时间之前的时间段，则可计算得出该陌生人脸在摄像头摄像区域内出现的持续时间。
S108、根据所述持续时间，判定在一预定时间内所述偏转角度以及所述实际距离是否均超过对应设置的阈值，若是则发出陌生人偷窥的信息告知机主。
具体实施时，由于知道陌生人脸在摄像头拍摄区域内出现的持续时间，可以在一预定时间内,譬如预定时间为2分钟，则在2分钟内，当判定出该陌生人脸与摄像头的偏转角度、以及与摄像头的实际距离都超过设置的阈值，则可以确定该陌生人正在偷窥，则发出陌生人偷窥的信息告知机主，以防止机主使用的智能移动终端中的隐私信息被该陌生人知道并泄露。
综上可知，本发明通过获取并解帧由终端摄像头拍摄的视频、并识别提取出视频中所有人脸图像，对将提取的人脸图像进行人脸识别、面部特特点提取处理，将面部特征点进行定位等处理，结合三维标准模型得到人脸旋转角度、通过检测的人脸面积估计出陌生人人脸与终端所在平面的实际距离；通过判定在一预定时间内得到的参数是否同时超过设置阈值，进而判断是否有陌生人在偷窥并告知用户。本发明可以有效判断是否有陌生人在偷窥用户隐私信息，可以防范用户隐私泄露，保护用户隐私安全。
参照图4所示，图4示出了本发明基于图像识别的隐私保护装置实施例的结构框图，为了便于描述，仅示出了与本发明实施例相关的部分。具体的，该隐私保护装置包括：
视频流获取及解帧模块11，用于获取由摄像头实时录取的视频流信息、并对所述视频流信息进行解帧得到多张图像。
检测识别及记录模块12，用于检测并识别每一张所述图像中的人脸数目，当识别出某一张图像中人脸数目大于一个时，则将该张图像确定为待分析图像，记录所述待分析图像出现时间、并检测及记录所述待分析图像中所有人脸对应的人脸面积。
图像处理模块13，用于对所述待分析图像中所有人脸对应的人脸图像进行面部特征点定位及旋正对齐、并进行像素值调整处理。
面部特征点提取模块14，用于将处理后得到的人脸图像采用深度残差网络识别、提取出所述人脸图像中所有人脸的面部特征点。
人脸面积对比及实际距离获取模块15，用于将所述人脸图像中识别出的陌生人脸的面积与机主人脸的面积进行大小对比，根据对比结果估计出所述陌生人脸与所述摄像头的实际距离。
偏转角度获取模块16，用于通过三维标准模型PRNet对所述陌生人脸的面部特征点进行人脸三维模型构建、并对构建得到的人脸三维模型进行旋转处理得到人脸旋转角度，根据所述人脸旋转角度得到所述陌生人脸与所述摄像头所在平面的偏转角度。
持续时间获取模块17，用于根据所述待分析图像出现时间及解帧视频流信息的时间，确定所述陌生人脸在视频中出现的持续时间。
判断及信息告知模块18，用于根据所述持续时间，判定在一预定时间内所述偏转角度以及所述实际距离是否均超过对应设置的阈值。若是则发出陌生人偷窥的信息告知机主。
进一步地，如图5所示，所述视频流获取及解帧模块还包括：
底库图像预先构成模块21，用于预先录入允许隐私观看人的头像，构成底库图像。所述允许隐私观看人的头像包括机主人脸对应头像以及其它允许隐私观看人的人脸对应头像。所述底库图像还包括经识别并提取的所述允许隐私观看人的人脸对应的面部特征。
防偷窃模式开启模块22，用于接受用户操作开启防偷窃模式、并在开启防偷窃模式后触发打开摄像头。
进一步地，所述装置还包括：
图片质量评估及删除模块，用于使用图片质量评估模型对所述解帧得到对应图像的图片质量进行评估、并将评估出图片质量达不到要求的图像删除。
进一步地，参照图6所示，所述面部特征点提取模块还包括：
面部特征比对模块31，用于将提取出所述人脸图像中所有人脸的面部特征与所述底库图像中提取的面部特征进行比对。
相似度判断模块32，用于比对相似度大于设定阈值的人脸判定为允许隐私观看人的人脸，比对相似度小于设定阈值的人脸判定为陌生人脸。
区分保存模块33，用于将判定出的陌生人脸对应头像加入底库图像中，并与所述允许隐私观看人的头像进行区分保存。
进一步地，所述偏转角度获取模块还包括：
旋转单元，用于旋转所述人脸三维模型的角度，直到所述人脸三维模型的三维特征点对应的二维投影和所述陌生人脸的面部特征点重合，得到对应的人脸旋转角度。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置或系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
参照图7所示，图7示出了本发明实施例提供的计算机设备实施例的结构框图，为了便于描述，仅示出了与本发明实施例相关的部分。具体的，该计算机设备700包括存储器702、处理器701以及存储在所述存储器702中并可在所述处理器701上运行的计算机程序7021，所述处理器701执行所述计算机程序时实现如上述实施例所述方法的步骤，例如图1所示的步骤S101至步骤S108。或者，所述处理器701执行所述计算机程序时实现上述实施例所述装置中的各模块/单元的功能，例如图4所示模块11至18的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器702中，并由所述处理器701执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述计算机设备700中的执行过程。例如，所述计算机程序可以被分割成视频流获取及解帧模块11、检测识别及记录模块12、图像处理模块13、面部特征点提取模块14、人脸面积对比及实际距离获取模块15、偏转角度获取模块16、持续时间获取模块17、判断及信息告知模块18。
所述计算机设备700可包括，但不仅限于处理器701、存储器702。本领域技术人员可以理解，图仅仅是计算机设备700的示例，并不构成对计算机设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备700还可以包括输入输出设备、网络接入设备、总线等。
所称处理器701可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器701、数字信号处理器701(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立预设硬件组件等。通用处理器701可以是微处理器701或者该处理器701也可以是任何常规的处理器701等。
所述存储器702可以是所述计算机设备700的内部存储单元，例如计算机设备700的硬盘或内存。所述存储器702也可以是所述计算机设备700的外部存储设备，例如所述计算机设备700上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器702还可以既包括所述计算机设备700的内部存储单元也包括外部存储设备。所述存储器702用于存储所述计算机程序7021以及所述计算机设备700所需的其他程序和数据。所述存储器702还可以用于暂时地存储已经输出或者将要输出的数据。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器701执行时实现如上述实施例中所述方法中的步骤，例如图1所示的步骤S101至步骤S108。或者，所述计算机程序被处理器701执行时实现上述实施例中所述装置中的各模块/单元的功能，例如图4所示的模块11至18的功能。
所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器701执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例系统中的模块或单元可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子预设硬件、或者计算机软件和电子预设硬件的结合来实现。这些功能究竟以预设硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明所提供的实施例中，应该理解到，所揭露的装置/计算机设备700和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备700实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像识别的隐私保护方法，其特征在于，包括：
获取由摄像头实时录取的视频流信息、并对所述视频流信息进行解帧得到多张图像；
检测并识别每一张所述图像中的人脸数目，当识别出某一张图像中人脸数目大于一个时，则将该张图像确定为待分析图像，记录所述待分析图像出现时间、并检测及记录所述待分析图像中所有人脸对应的人脸面积；
对所述待分析图像中所有人脸对应的人脸图像进行面部特征点定位及旋正对齐、并进行像素值调整处理；
将处理后得到的人脸图像采用深度残差网络识别、提取出所述人脸图像中人脸的面部特征点；
将所述待分析图像中识别出的陌生人脸的面积与机主人脸的面积进行大小对比，根据对比结果估计出所述陌生人脸与所述摄像头的实际距离；
通过三维标准模型PRNet对所述陌生人脸的面部特征点进行人脸三维模型构建、并对构建得到的人脸三维模型进行旋转处理得到人脸旋转角度，根据所述人脸旋转角度得到所述陌生人脸与所述摄像头所在平面的偏转角度；
根据所述待分析图像出现时间及解帧视频流信息的时间，确定所述陌生人脸出现的持续时间；
根据所述持续时间，判定在一预定时间内所述偏转角度以及所述实际距离是否均超过对应设置的阈值；若是则发出陌生人偷窥的信息告知机主。
2.根据权利要求1所述基于图像识别的隐私保护方法，其特征在于，所述获取由摄像头实时录取的视频流信息之前还包括：
预先录入允许隐私观看人的头像，构成底库图像；所述允许隐私观看人的头像包括机主人脸对应头像以及其它允许隐私观看人的人脸对应头像；所述底库图像还包括经识别并提取的所述允许隐私观看人的人脸对应的面部特征；
接受用户操作开启防偷窥模式、并在开启防偷窥模式后触发打开摄像头。
3.根据权利要求1所述基于图像识别的隐私保护方法，其特征在于，所述对所述视频流信息进行解帧得到对应图像之后还包括：
使用图片质量评估模型对所述解帧得到对应图像的图片质量进行评估、并将评估出图片质量达不到要求的图像删除。
4.根据权利要求2所述基于图像识别的隐私保护方法，其特征在于，所述将处理后得到的人脸图像采用深度残差网络识别、提取出所述人脸图像中人脸的面部特征点之后还包括：
将提取出所述人脸图像中人脸的面部特征与所述底库图像中提取的面部特征进行比对；
比对相似度大于设定阈值的人脸判定为允许隐私观看人的人脸；比对相似度小于设定阈值的人脸判定为陌生人脸；
将判定出的陌生人脸对应头像加入底库图像中，并与所述允许隐私观看人的头像进行区分保存。
5.根据权利要求4所述基于图像识别的隐私保护方法，其特征在于，所述对构建得到的人脸三维模型进行旋转处理得到人脸旋转角度具体包括：
旋转所述人脸三维模型的角度，直到所述人脸三维模型的三维特征点对应的二维投影和所述陌生人脸的面部特征点重合，得到对应的人脸旋转角度。
6.一种基于图像识别的隐私保护装置，其特征在于，包括：
视频流获取及解帧模块，用于获取由摄像头实时录取的视频流信息、并对所述视频流信息进行解帧得到多张图像；
检测识别及记录模块，用于检测并识别每一张所述图像中的人脸数目，当识别出某一张图像中人脸数目大于一个时，则将该张图像确定为待分析图像，记录所述待分析图像出现时间、并检测及记录所述待分析图像中所有人脸对应的人脸面积；
图像处理模块，用于对所述待分析图像中所有人脸对应的人脸图像进行面部特征点定位及旋正对齐、并进行像素值调整处理；
面部特征点提取模块，用于将处理后得到的人脸图像采用深度残差网络识别、提取出所述人脸图像中人脸的面部特征点；
人脸面积对比及实际距离获取模块，用于将所述待分析图像中识别出的陌生人脸的面积与机主人脸的面积进行大小对比，根据对比结果估计出所述陌生人脸与所述摄像头的实际距离；
偏转角度获取模块，用于通过三维标准模型PRNet对所述陌生人脸的面部特征点进行人脸三维模型构建、并对构建得到的人脸三维模型进行旋转处理得到人脸旋转角度，根据所述人脸旋转角度得到所述陌生人脸与所述摄像头所在平面的偏转角度；
持续时间获取模块，用于根据所述待分析图像出现时间及解帧视频流信息的时间，确定所述陌生人脸在视频中出现的持续时间；
判断及信息告知模块，用于根据所述持续时间，判定在一预定时间内所述偏转角度以及所述实际距离是否均超过对应设置的阈值；若是则发出陌生人偷窥的信息告知机主。
7.根据权利要求6所述基于图像识别的隐私保护装置，其特征在于，所述装置还包括：
底库图像预先构成模块，用于预先录入允许隐私观看人的头像，构成底库图像；所述允许隐私观看人的头像包括机主人脸对应头像以及其它允许隐私观看人的人脸对应头像；所述底库图像还包括经识别并提取的所述允许隐私观看人的人脸对应的面部特征；
防偷窥模式开启模块，用于接受用户操作开启防偷窥模式、并在开启防偷窥模式后触发打开摄像头。
8.根据权利要求6所述基于图像识别的隐私保护装置，其特征在于，所述装置还包括：
图片质量评估及删除模块，用于使用图片质量评估模型对所述解帧得到对应图像的图片质量进行评估、并将评估出图片质量达不到要求的图像删除。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任意一项所述基于图像识别的隐私保护方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至5任意一项所述基于图像识别的隐私保护方法。
CN201911037532.1A 2019-10-29 2019-10-29 基于图像识别的隐私保护方法、装置、设备及其存储介质 Active CN110955912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911037532.1A CN110955912B (zh) 2019-10-29 2019-10-29 基于图像识别的隐私保护方法、装置、设备及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911037532.1A CN110955912B (zh) 2019-10-29 2019-10-29 基于图像识别的隐私保护方法、装置、设备及其存储介质

Publications (2)

Publication Number Publication Date
CN110955912A true CN110955912A (zh) 2020-04-03
CN110955912B CN110955912B (zh) 2023-08-08

Family

ID=69976437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911037532.1A Active CN110955912B (zh) 2019-10-29 2019-10-29 基于图像识别的隐私保护方法、装置、设备及其存储介质

Country Status (1)

Country Link
CN (1) CN110955912B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586485A (zh) * 2020-05-29 2020-08-25 西安万像电子科技有限公司 显示屏的控制方法、控制装置、显示终端与存储介质
CN111881838A (zh) * 2020-07-29 2020-11-03 清华大学 具有隐私保护功能的运动障碍评估录像分析方法及设备
CN111985305A (zh) * 2020-07-03 2020-11-24 中国长城科技集团股份有限公司 防窥屏方法、装置及终端设备
CN112347849A (zh) * 2020-09-29 2021-02-09 咪咕视讯科技有限公司 视频会议处理方法、电子设备及存储介质
CN112632328A (zh) * 2020-12-07 2021-04-09 西安电子科技大学 一种vlog隐私泄漏度量评估方法、系统、介质及应用
CN112632510A (zh) * 2020-12-31 2021-04-09 深圳阜时科技有限公司 一种信息保护方法及存储介质
CN112784323A (zh) * 2020-12-31 2021-05-11 深圳阜时科技有限公司 一种信息保护装置及电子设备
CN113032760A (zh) * 2021-05-26 2021-06-25 湖南三湘银行股份有限公司 一种基于头部图像分析的交易安全监管系统
CN113154266A (zh) * 2020-12-28 2021-07-23 浙江大学 一种基于柔性传感器的主动检漏管道装置及主动检漏方法
CN113223043A (zh) * 2021-03-26 2021-08-06 西安闻泰信息技术有限公司 一种移动目标的检测方法、装置、设备及介质
CN113420616A (zh) * 2021-06-03 2021-09-21 青岛海信智慧生活科技股份有限公司 一种人脸识别方法、装置、设备及介质
CN113706789A (zh) * 2021-09-14 2021-11-26 北京源来善尚科技有限公司 一种服务咨询通信用监控设备
CN114509168A (zh) * 2020-10-29 2022-05-17 中移物联网有限公司 一种红外测温方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140023248A1 (en) * 2012-07-20 2014-01-23 Electronics And Telecommunications Research Institute Apparatus and method for protecting privacy information based on face recognition
US9396354B1 (en) * 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
CN107169329A (zh) * 2017-05-24 2017-09-15 维沃移动通信有限公司 一种隐私信息保护方法、移动终端及计算机可读存储介质
CN108133133A (zh) * 2018-01-26 2018-06-08 郑州云海信息技术有限公司 一种手机隐私保护方法
CN109376518A (zh) * 2018-10-18 2019-02-22 深圳壹账通智能科技有限公司 基于人脸识别的防止隐私泄露方法及相关设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140023248A1 (en) * 2012-07-20 2014-01-23 Electronics And Telecommunications Research Institute Apparatus and method for protecting privacy information based on face recognition
US9396354B1 (en) * 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
CN107169329A (zh) * 2017-05-24 2017-09-15 维沃移动通信有限公司 一种隐私信息保护方法、移动终端及计算机可读存储介质
CN108133133A (zh) * 2018-01-26 2018-06-08 郑州云海信息技术有限公司 一种手机隐私保护方法
CN109376518A (zh) * 2018-10-18 2019-02-22 深圳壹账通智能科技有限公司 基于人脸识别的防止隐私泄露方法及相关设备

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586485A (zh) * 2020-05-29 2020-08-25 西安万像电子科技有限公司 显示屏的控制方法、控制装置、显示终端与存储介质
CN111586485B (zh) * 2020-05-29 2022-06-24 重庆京像微电子有限公司 显示屏的控制方法、控制装置、显示终端与存储介质
CN111985305A (zh) * 2020-07-03 2020-11-24 中国长城科技集团股份有限公司 防窥屏方法、装置及终端设备
CN111881838A (zh) * 2020-07-29 2020-11-03 清华大学 具有隐私保护功能的运动障碍评估录像分析方法及设备
CN111881838B (zh) * 2020-07-29 2023-09-26 清华大学 具有隐私保护功能的运动障碍评估录像分析方法及设备
CN112347849A (zh) * 2020-09-29 2021-02-09 咪咕视讯科技有限公司 视频会议处理方法、电子设备及存储介质
CN112347849B (zh) * 2020-09-29 2024-03-26 咪咕视讯科技有限公司 视频会议处理方法、电子设备及存储介质
CN114509168A (zh) * 2020-10-29 2022-05-17 中移物联网有限公司 一种红外测温方法、装置和电子设备
CN112632328A (zh) * 2020-12-07 2021-04-09 西安电子科技大学 一种vlog隐私泄漏度量评估方法、系统、介质及应用
CN112632328B (zh) * 2020-12-07 2022-12-02 西安电子科技大学 一种vlog隐私泄漏度量评估方法、系统、介质及应用
CN113154266A (zh) * 2020-12-28 2021-07-23 浙江大学 一种基于柔性传感器的主动检漏管道装置及主动检漏方法
CN112784323A (zh) * 2020-12-31 2021-05-11 深圳阜时科技有限公司 一种信息保护装置及电子设备
CN112632510A (zh) * 2020-12-31 2021-04-09 深圳阜时科技有限公司 一种信息保护方法及存储介质
CN112784323B (zh) * 2020-12-31 2024-05-03 深圳阜时科技有限公司 一种信息保护装置及电子设备
CN113223043A (zh) * 2021-03-26 2021-08-06 西安闻泰信息技术有限公司 一种移动目标的检测方法、装置、设备及介质
CN113032760B (zh) * 2021-05-26 2021-08-10 湖南三湘银行股份有限公司 一种基于头部图像分析的交易安全监管系统
CN113032760A (zh) * 2021-05-26 2021-06-25 湖南三湘银行股份有限公司 一种基于头部图像分析的交易安全监管系统
CN113420616A (zh) * 2021-06-03 2021-09-21 青岛海信智慧生活科技股份有限公司 一种人脸识别方法、装置、设备及介质
CN113706789A (zh) * 2021-09-14 2021-11-26 北京源来善尚科技有限公司 一种服务咨询通信用监控设备

Also Published As

Publication number Publication date
CN110955912B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN110955912B (zh) 基于图像识别的隐私保护方法、装置、设备及其存储介质
CN108197586B (zh) 脸部识别方法和装置
EP2866170B1 (en) Image processing device and image processing method
JP6134825B2 (ja) コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法
US11995916B2 (en) Electronic device capable of identifying ineligible object
US8995728B1 (en) Visual security mechanism for a device with a front-facing camera
CN107294915A (zh) 图像采集方法、系统及终端
CN110619239A (zh) 应用界面处理方法、装置、存储介质及终端
US20140369553A1 (en) Method for triggering signal and in-vehicle electronic apparatus
US20220171889A1 (en) Controlling display devices based on viewing angles
CN113302907B (zh) 拍摄方法、装置、设备及计算机可读存储介质
WO2003036555A1 (en) Method and apparatus for encoding a video image and identifying an operator
CN103873834A (zh) 图像采集方法及相应图像采集单元
CN112257123A (zh) 图像的处理方法及系统
CN113132801A (zh) 视频播放的控制方法、装置、终端及存储介质
CN113077354B (zh) 一种电子设备的投保校验方法和装置
CN113850211A (zh) 注入视频攻击检测方法和装置
CN108334761B (zh) 一种用户权限的识别方法与装置
CN117037270A (zh) 基于图像处理的屏幕防拍摄系统及方法
CN110163164B (zh) 一种指纹检测的方法及装置
KR101925799B1 (ko) 디스플레이 장치에서 표시되는 정보의 유출을 방지하기 위한 컴퓨터 프로그램과 이를 이용한 보안 서비스 제공 방법
CN115359539A (zh) 办公场所信息安全检测方法、装置、设备和存储介质
KR101080066B1 (ko) 차량 번호판 식별 방법 및 차량 번호판 식별 장치
CN109040420B (zh) 终端设备解锁方法、装置、电子设备及存储介质
US11810399B2 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant