CN111866600B - 用于保护隐私的方法、装置和系统 - Google Patents

用于保护隐私的方法、装置和系统 Download PDF

Info

Publication number
CN111866600B
CN111866600B CN202010523734.3A CN202010523734A CN111866600B CN 111866600 B CN111866600 B CN 111866600B CN 202010523734 A CN202010523734 A CN 202010523734A CN 111866600 B CN111866600 B CN 111866600B
Authority
CN
China
Prior art keywords
video frame
user terminal
frame
information
masked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010523734.3A
Other languages
English (en)
Other versions
CN111866600A (zh
Inventor
栗鸿宇
申作军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Shangke Information Technology Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Shangke Information Technology Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Shangke Information Technology Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Shangke Information Technology Co Ltd
Priority to CN202010523734.3A priority Critical patent/CN111866600B/zh
Publication of CN111866600A publication Critical patent/CN111866600A/zh
Priority to PCT/CN2021/095806 priority patent/WO2021249181A1/zh
Priority to KR1020237000625A priority patent/KR20230066544A/ko
Priority to JP2022565897A priority patent/JP2023536383A/ja
Priority to US17/906,939 priority patent/US20230143063A1/en
Application granted granted Critical
Publication of CN111866600B publication Critical patent/CN111866600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0822—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using key encryption key
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3263—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving certificates, e.g. public key certificate [PKC] or attribute certificate [AC]; Public key infrastructure [PKI] arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25816—Management of client data involving client authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26613—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for generating or managing keys in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6334—Control signals issued by server directed to the network components or client directed to client for authorisation, e.g. by transmitting a key
    • H04N21/63345—Control signals issued by server directed to the network components or client directed to client for authorisation, e.g. by transmitting a key by transmitting keys
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/04—Masking or blinding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供一种用于保护隐私的方法、装置和系统。边缘设备获取由摄像头采集的视频信息；对视频信息进行视频分割处理，以得到原始视频帧；检测原始视频帧中是否包括隐私信息；若原始视频帧中包括隐私信息，则对原始视频帧中包括隐私信息的区域进行掩模处理以生成被掩模帧，并将被掩模帧作为输出视频帧；若原始视频帧中不包括隐私信息，则将原始视频帧作为输出视频帧。边缘设备在检测到视频帧中包括隐私信息的情况下，对包括隐私信息的区域进行掩模处理，从而有效实现对隐私信息的保护。

Description

用于保护隐私的方法、装置和系统
技术领域
本公开涉及安全领域，特别涉及一种用于保护隐私的方法、装置和系统。
背景技术
随着人们对安全问题的日益关注，越来越多的监控录像设备被安装到各类公共场所中。目前大约有2.45亿个监控摄像头正在全球范围内运行。虽然大多数公众在遏制犯罪方面对密集监控行为持赞成态度，但人们普遍不接受对其私人生活进行侵入性监控。目前，无论人们走到哪里，无论他们是否意识到，他们都在被无数双眼睛观察着，因此这种情况在侵犯个人隐私方面引起了广泛的关注。
发明内容
发明人通过研究发现，随着技术的发展，监控摄像头的功能越强大，它们也越有可能被滥用以收集隐私信息。被授权负责监控系统的安全人员可能会滥用摄像头进行偷窥、网络跟踪，以及在未经授权的情况下收集个人的活动或行为数据。被操控的摄像头(如云台摄像头(PTZ))可能会被用来摄录私人住所以进行监视。由于目前在监控摄像系统中没有设置隐私保护机制，因此无法有效地实现隐私保护。
据此，本公开提供一种隐私保护方案，使得监控系统具有隐私感知能力。
根据本公开实施例的第一方面，提供一种用于保护隐私的方法，由边缘设备执行，包括：获取由摄像头采集的视频信息；对所述视频信息进行视频分割处理，以得到原始视频帧；检测所述原始视频帧中是否包括隐私信息；若所述原始视频帧中包括所述隐私信息，则对所述原始视频帧中包括所述隐私信息的区域进行掩模处理以生成被掩模帧，并将所述被掩模帧作为输出视频帧；若所述原始视频帧中不包括隐私信息，则将所述原始视频帧作为输出视频帧。
在一些实施例中，上述方法还包括：检测所述被掩模帧中是否包括预设行为信息；若所述被掩模帧中包括预设行为信息，则将所述被掩模帧发送给对应的区块链节点，以便所述区块链节点将所述被掩模帧存储到存储服务器中。
在一些实施例中，对所述原始视频帧中包括所述隐私信息的区域进行掩模处理包括：利用预先生成的公钥生成图像掩模；利用所述图像掩模遮挡所述原始视频帧中包括所述隐私信息的区域，以生成被掩模帧；将与所述公钥相对应的私钥发送给区块链节点。
在一些实施例中，上述方法还包括：在接收到用户终端通过区块链网络发送的访问请求后，从所述访问请求中提取出证书，其中区块链节点在所述用户终端通过身份验证后，给所述用户终端发布所述证书；根据所述证书判断所述用户终端是否具有访问权限；若根据所述证书判断所述用户终端具有访问权限，则将所述输出视频帧提供给所述用户终端进行播放。
在一些实施例中，上述方法还包括：若接收到所述用户终端提供的私钥，则利用所述私钥去除所述输出视频帧中的被掩模帧的图像掩模，以得到不包括图像掩模的视频帧，其中所述用户终端从区块链节点获取所述私钥；将所述不包括图像掩模的视频帧提供给所述用户终端进行播放。
在一些实施例中，上述方法还包括：在将所述输出视频帧提供给所述用户终端的过程中，检测所生成的被掩模帧的数量；若所生成的被掩模帧的数量大于预设门限，则中断所述边缘设备与所述区块链网络的连接。
在一些实施例中，上述方法还包括：在将所述输出视频帧提供给所述用户终端的过程中，根据所述用户终端发送的中断指示，中断所述边缘设备与所述区块链网络的连接。
根据本公开实施例的第二方面，提供一种用于保护隐私的边缘设备，包括：信息获取模块，被配置为获取由摄像头采集的视频信息；信息处理模块，被配置为对所述视频信息进行视频分割处理，以得到原始视频帧；隐私检测模块，被配置为检测所述原始视频帧中是否包括隐私信息；保护模块，被配置为若所述原始视频帧中包括所述隐私信息，则对所述原始视频帧中包括所述隐私信息的区域进行掩模处理以得到被掩模帧，并将所述被掩模帧作为输出视频帧，若所述原始视频帧中不包括隐私信息，则将所述原始视频帧作为输出视频帧。
根据本公开实施例的第三方面，提供一种用于保护隐私的边缘设备，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。
根据本公开实施例的第四方面，提供一种视频处理装置，包括：摄像头，被配置为采集视频信息；边缘设备，为上述任一实施例所述的用于保护隐私的边缘设备。
根据本公开实施例的第五方面，提供一种用于保护隐私的系统，包括：如上述任一实施例所述的视频处理装置；设置在区块链网络中的区块链节点，被配置为将所述视频处理装置发送的被掩模帧存储到存储服务器中，记录所述被掩模帧的访问信息和验证信息，并将所述被掩模帧的访问信息和验证信息发送给区块链网络中的其它区块链节点；存储服务器，被配置为存储区块链节点发送的被掩模帧。
在一些实施例中，区块链节点被配置为在接收到用户终端发送的访问请求后，对所述用户终端进行身份验证，在身份验证通过后给所述用户终端发布证书，以便所述用户终端利用所述证书获取指定视频处理装置的输出视频帧，或者获取存储服务器中的指定被掩模帧。
在一些实施例中，存储服务器被配置为若接收到所述用户终端提供的私钥，则利用所述私钥去除所述指定被掩模帧中的图像掩模，以得到不包括图像掩模的视频帧，将所述不包括图像掩模的视频帧提供给所述用户终端进行播放，其中所述用户终端从区块链节点获取所述私钥。
根据本公开实施例的第六方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例涉及的方法。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开一个实施例的用于保护隐私的方法的流程示意图；
图2为本公开另一个实施例的用于保护隐私的方法的流程示意图；
图3为本公开一个实施例的用于保护隐私的边缘设备的结构示意图；
图4为本公开另一个实施例的用于保护隐私的边缘设备的结构示意图；
图5为本公开一个实施例的视频处理装置的结构示意图；
图6为本公开一个实施例的用于保护隐私的系统的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本公开一个实施例的用于保护隐私的方法的流程示意图。在一些实施例中，下列的用于保护隐私的方法步骤由边缘设备执行。
在步骤101，获取由摄像头采集的视频信息。
在步骤102，对视频信息进行视频分割处理，以得到原始视频帧。
在步骤103，检测原始视频帧中是否包括隐私信息。
在一些实施例中，在边缘设备上安装单片机(Single board computer，SBC)，以便在边缘设备上部署和运行经过训练的目标检测算法，完成视频分析、信息提取、对象检测等功能，极大的减少了带宽消耗。
例如，通过在边缘设备上加载经过训练的神经网络模型，根据预设的隐私策略对原始视频帧进行检测，以确定该原始视频帧中是否包括隐私信息。
若原始视频帧中包括隐私信息，则执行步骤104；若原始视频帧中不包括隐私信息，则执行步骤105。
在步骤104，对原始视频帧中包括隐私信息的区域进行掩模处理以生成被掩模帧，并将被掩模帧作为输出视频帧。
在一些实施例中，利用预先生成的公钥生成图像掩模，利用图像掩模遮挡原始视频帧中包括隐私信息的区域，以生成被掩模帧，并将与公钥相对应的私钥发送给区块链节点进行存储。
由于在输出视频帧中，就已经在包括隐私信息的区域进行了掩模处理，因此可有效避免隐私信息的泄露。
在步骤105，将原始视频帧作为输出视频帧。
在本公开上述实施例提供的用于保护隐私的方法中，边缘设备在检测到视频帧中包括隐私信息的情况下，对包括隐私信息的区域进行掩模处理，从而有效实现对隐私信息的保护。
在一些实施例中，当边缘设备的计算资源受限，不足以满足实时视频分析的需求时，可以将边缘计算与雾计算进行混合，将至少一部分计算任务加载到其近场的雾节点中，例如基站、笔记本电脑、平板电脑、智能手机等。
在一些实施例中，边缘设备还进一步检测被掩模帧中是否包括预设行为信息，若被掩模帧中包括预设行为信息，则将被掩模帧发送给对应的区块链节点，以便区块链节点将被掩模帧存储到存储服务器中。
例如，预设行为可以是违法犯罪行为，通过将这些被掩模帧存储到存储服务器中，可对日后的相关工作提供帮助。
这里需要说明的是，区块链节点仅存储与所存储的视频帧相关联的地址信息、验证信息(例如散列、摘要等)和相关访问信息等。例如，区块链网络中的某个区块链节点在接收到边缘设备发送的视频帧后，计算该视频帧的散列。在将该视频帧存储到存储服务器后，存储相应的散列和地址信息，并将所存储的散列和地址信息向区块链网络中的其它区块链节点进行泛洪传播。接收到该信息的区块链节点通过访问该视频帧，并计算该视频帧的散列。通过将计算出的散列和所接收到的散列进行比较，以确保该视频帧的完整性，有效确保该视频帧不被篡改。
图2为本公开另一个实施例的用于保护隐私的方法的流程示意图。在一些实施例中，下列的用于保护隐私的方法步骤由边缘设备执行。
在步骤201，在接收到用户终端通过区块链网络发送的访问请求后，从访问请求中提取出证书。
这里需要说明的是，用户终端在访问区块链节点时，区块链节点对用户终端进行身份验证，在身份验证通过后给用户终端发布相应的证书。
在步骤202，根据证书判断用户终端是否具有访问权限。
在步骤203，若根据证书判断用户终端具有访问权限，则将输出视频帧提供给用户终端进行播放。
也就是说，若证书表明用户终端具有访问边缘设备的权限，则用户终端通过接入边缘设备，以便用户观看边缘设备输出的实时视频。由于边缘设备将不涉及隐私信息的视频帧直接输出，因此用户看到的是没有掩模的清晰帧。此外，边缘设备给涉及隐私信息的视频帧添加图像掩模，因此用户看到的是被掩模帧。
在一些实施例中，若用户希望观看不带图像掩模的视频帧，则利用用户终端向区块链节点发送私钥请求。区块链节点在对用户终端的权限进行验证后，将用户终端所接入的边缘设备相关联的私钥发送给用户终端。边缘设备在接收到用户终端提供的私钥后，则利用私钥去除输出视频帧中的被掩模帧的图像掩模，以得到不包括图像掩模的视频帧。由此用户观看到的视频帧均不包括图像掩模。
在一些实施例中，边缘设备在将输出视频帧提供给用户终端的过程中，检测所生成的被掩模帧的数量。若所生成的被掩模帧的数量大于预设门限，则中断边缘设备与区块链网络的连接。
例如，授权用户通过区块链网络访问边缘设备，观看某个公共区域的实时视频信息。若在这个过程中，该用户通过操控摄像头的方向以拍摄居民住房，并通过房屋窗户偷窥用户隐私。由此边缘设备就会生成大量的被掩模帧。在这种情况下，触发边缘设备退出区块链网络，从而有效避免用户逾越授权范围以偷窥用户隐私的情况发生。
在一些实施例中，在将输出视频帧提供给用户终端的过程中，根据用户终端发送的中断指示，中断边缘设备与区块链网络的连接。
例如，设置有上述边缘设备的无人机在某些场景下，会拍摄到较多的用户隐私，边缘设备会生成大量的被掩模帧。在这种情况下，授权用户给边缘设备发送指示，以触发边缘设备退出区块链网络，从而确保边缘设备尽可能少地涉及用户隐私信息。
图3为本公开一个实施例的用于保护隐私的边缘设备的结构示意图。如图3所示，边缘设备包括信息获取模块31、信息处理模块32、隐私检测模块33和保护模块34。
信息获取模块31被配置为获取由摄像头采集的视频信息。
信息处理模块32被配置为对视频信息进行视频分割处理，以得到原始视频帧。
隐私检测模块33被配置为检测原始视频帧中是否包括隐私信息。
例如，通过在边缘设备上加载经过训练的神经网络模型，根据预设的隐私策略对原始视频帧进行检测，以确定该原始视频帧中是否包括隐私信息。
保护模块34被配置为若原始视频帧中包括隐私信息，则对原始视频帧中包括隐私信息的区域进行掩模处理以得到被掩模帧，并将被掩模帧作为输出视频帧。
在一些实施例中，保护模块34利用预先生成的公钥生成图像掩模，利用图像掩模遮挡原始视频帧中包括隐私信息的区域，以生成被掩模帧，并将与公钥相对应的私钥发送给区块链节点进行存储。
保护模块34还被配置为若原始视频帧中不包括隐私信息，则将原始视频帧作为输出视频帧。
在本公开上述实施例提供的用于保护隐私的方法中，边缘设备在检测到视频帧中包括隐私信息的情况下，对包括隐私信息的区域进行掩模处理，从而有效实现对隐私信息的保护。
在一些实施例中，当边缘设备的计算资源受限，不足以满足实时视频分析的需求时，可以将边缘计算与雾计算进行混合，将至少一部分计算任务加载到其近场的雾节点中，例如基站、笔记本电脑、平板电脑、智能手机等。
在一些实施例中，保护模块34还进一步检测被掩模帧中是否包括预设行为信息，若被掩模帧中包括预设行为信息，则将被掩模帧发送给对应的区块链节点，以便区块链节点将被掩模帧存储到存储服务器中。
例如，预设行为可以是违法犯罪行为，通过将这些被掩模帧存储到存储服务器中，可对日后的相关工作提供帮助。
在一些实施例中，保护模块34在接收到用户终端通过区块链网络发送的访问请求后，从访问请求中提取出证书。根据证书判断用户终端是否具有访问权限。若根据证书判断用户终端具有访问权限，则将输出视频帧提供给用户终端进行播放。
也就是说，若证书表明用户终端具有访问边缘设备的权限，则用户终端通过接入边缘设备，以便用户观看边缘设备输出的实时视频。由于边缘设备将不涉及隐私信息的视频帧直接输出，因此用户看到的是没有掩模的清晰帧。此外，边缘设备给涉及隐私信息的视频帧添加图像掩模，因此用户看到的是被掩模帧。
在一些实施例中，若用户希望观看不带图像掩模的视频帧，则利用用户终端向区块链节点发送私钥请求。区块链节点在对用户终端的权限进行验证后，将用户终端所接入的边缘设备相关联的私钥发送给用户终端。保护模块34在接收到用户终端提供的私钥后，则利用私钥去除输出视频帧中的被掩模帧的图像掩模，以得到不包括图像掩模的视频帧。由此用户观看到的视频帧均不包括图像掩模。
在一些实施例中，保护模块34在将输出视频帧提供给用户终端的过程中，检测所生成的被掩模帧的数量。若所生成的被掩模帧的数量大于预设门限，则中断边缘设备与区块链网络的连接。
在一些实施例中，保护模块34在将输出视频帧提供给用户终端的过程中，根据用户终端发送的中断指示，中断边缘设备与区块链网络的连接。
图4为本公开另一个实施例的用于保护隐私的边缘设备的结构示意图。如图4所示，边缘设备包括存储器41和处理器42。
存储器41用于存储指令，处理器42耦合到存储器41，处理器42被配置为基于存储器存储的指令执行实现如图1或图2中任一实施例涉及的方法。
如图4所示，该装置还包括通信接口43，用于与其它设备进行信息交互。同时，该装置还包括总线44，处理器42、通信接口43、以及存储器41通过总线44完成相互间的通信。
存储器41可以包含高速RAM存储器，也可还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器41也可以是存储器阵列。存储器41还可能被分块，并且块可按一定的规则组合成虚拟卷。
此外，处理器42可以是一个中央处理器CPU，或者可以是专用集成电路ASIC，或是被配置成实施本公开实施例的一个或多个集成电路。
本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图1或图2中任一实施例涉及的方法。
图5为本公开一个实施例的视频处理装置的结构示意图。如图5所示，视频处理装置包括摄像头51和边缘设备52。边缘设备52为图3或图4中任一实施例涉及的边缘设备。
图6为本公开一个实施例的用于保护隐私的系统的结构示意图。如图6所示，该系统包括设置在区块链网络60中的区块链节点61、视频处理装置62、存储服务器63。这里需要说明的是，区块链节点61、视频处理装置62、存储服务器63的数量可根据需要进行调整。视频处理装置62为图5中任一实施例涉及的视频处理装置。
区块链节点61被配置为将视频处理装置62发送的被掩模帧存储到存储服务器63中，记录被掩模帧的访问信息和验证信息，并将被掩模帧的访问信息和验证信息发送给区块链网络60中的其它区块链节点。
存储服务器63被配置为存储区块链节点发送的被掩模帧。
在一些实施例中，区块链节点61被配置为在接收到用户终端发送的访问请求后，对用户终端进行身份验证，在身份验证通过后给用户终端发布证书，以便用户终端利用证书获取指定视频处理装置62的输出视频帧，或者获取存储服务器63中的指定被掩模帧。
用户终端通过身份验证后，利用区块链节点发布的证书访问指定视频处理装置，以便用户观看实时视频信息，实时视频信息中包括没有图像掩模的视频帧和具有图像掩模式的视频帧。此外，用户终端通过身份验证后，还能利用区块链节点发布的证书访问存储服务器中的指定视频帧被掩模帧。
这里需要说明的是，存储服务器63中存在的视频帧均为被掩模帧。若用户希望观看不带图像掩模的视频帧，则利用用户终端向区块链节点61发送私钥请求。区块链节点61在对用户终端的权限进行验证后，将与指定被掩模帧相关联的私钥发送给用户终端。存储服务器63在接收到用户终端提供的私钥后，则利用私钥去除指定被掩模帧中的图像掩模，以得到不包括图像掩模的视频帧。由此用户观看到的视频帧均不包括图像掩模。
在一些实施例中，在上面所描述的功能单元模块可以实现为用于执行本公开所描述功能的通用处理器、可编程逻辑控制器(Programmable Logic Controller，简称：PLC)、数字信号处理器(Digital Signal Processor，简称：DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称：ASIC)、现场可编程门阵列(Field-ProgrammableGate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (11)

1.一种用于保护隐私的方法，由边缘设备执行，包括：
获取由摄像头采集的视频信息；
对所述视频信息进行视频分割处理，以得到原始视频帧；
检测所述原始视频帧中是否包括隐私信息；
若所述原始视频帧中包括所述隐私信息，则对所述原始视频帧中包括所述隐私信息的区域进行掩模处理以生成被掩模帧，并将所述被掩模帧作为输出视频帧；
若所述原始视频帧中不包括隐私信息，则将所述原始视频帧作为输出视频帧；
检测所述被掩模帧中是否包括预设行为信息；
若所述被掩模帧中包括预设行为信息，则将所述被掩模帧发送给对应的区块链节点，以便所述区块链节点将所述被掩模帧存储到存储服务器中；
在接收到用户终端通过区块链网络发送的访问请求后，从所述访问请求中提取出证书，其中区块链节点在所述用户终端通过身份验证后，给所述用户终端发布所述证书；
根据所述证书判断所述用户终端是否具有访问权限；
若根据所述证书判断所述用户终端具有访问权限，则将所述输出视频帧提供给所述用户终端进行播放；
在将所述输出视频帧提供给所述用户终端的过程中，检测所生成的被掩模帧的数量；
若所生成的被掩模帧的数量大于预设门限，则中断所述边缘设备与所述区块链网络的连接。
2.根据权利要求1所述的方法，其中，对所述原始视频帧中包括所述隐私信息的区域进行掩模处理包括：
利用预先生成的公钥生成图像掩模；
利用所述图像掩模遮挡所述原始视频帧中包括所述隐私信息的区域，以生成被掩模帧；
将与所述公钥相对应的私钥发送给区块链节点。
3.根据权利要求1或2所述的方法，还包括：
若接收到所述用户终端提供的私钥，则利用所述私钥去除所述输出视频帧中的被掩模帧的图像掩模，以得到不包括图像掩模的视频帧，其中所述用户终端从区块链节点获取所述私钥；
将所述不包括图像掩模的视频帧提供给所述用户终端进行播放。
4.根据权利要求1或2所述的方法，还包括：
在将所述输出视频帧提供给所述用户终端的过程中，根据所述用户终端发送的中断指示，中断所述边缘设备与所述区块链网络的连接。
5.一种用于保护隐私的边缘设备，包括：
信息获取模块，被配置为获取由摄像头采集的视频信息；
信息处理模块，被配置为对所述视频信息进行视频分割处理，以得到原始视频帧；
隐私检测模块，被配置为检测所述原始视频帧中是否包括隐私信息；
保护模块，被配置为若所述原始视频帧中包括所述隐私信息，则对所述原始视频帧中包括所述隐私信息的区域进行掩模处理以得到被掩模帧，并将所述被掩模帧作为输出视频帧，若所述原始视频帧中不包括隐私信息，则将所述原始视频帧作为输出视频帧；还被配置为检测所述被掩模帧中是否包括预设行为信息，若所述被掩模帧中包括预设行为信息，则将所述被掩模帧发送给对应的区块链节点，以便所述区块链节点将所述被掩模帧存储到存储服务器中；还被配置为在接收到用户终端通过区块链网络发送的访问请求后，从所述访问请求中提取出证书，其中区块链节点在所述用户终端通过身份验证后，给所述用户终端发布所述证书，根据所述证书判断所述用户终端是否具有访问权限，若根据所述证书判断所述用户终端具有访问权限，则将所述输出视频帧提供给所述用户终端进行播放，在将所述输出视频帧提供给所述用户终端的过程中，检测所生成的被掩模帧的数量，若所生成的被掩模帧的数量大于预设门限，则中断所述边缘设备与所述区块链网络的连接。
6.一种用于保护隐私的边缘设备，包括：
存储器，被配置为存储指令；
处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如权利要求1-4所述的方法。
7.一种视频处理装置，包括：
摄像头，被配置为采集视频信息；
边缘设备，为权利要求5或6所述的用于保护隐私的边缘设备。
8.一种用于保护隐私的系统，包括：
如权利要求7所述的视频处理装置；
设置在区块链网络中的区块链节点，被配置为将所述视频处理装置发送的被掩模帧存储到存储服务器中，记录所述被掩模帧的访问信息和验证信息，并将所述被掩模帧的访问信息和验证信息发送给区块链网络中的其它区块链节点；
存储服务器，被配置为存储区块链节点发送的被掩模帧。
9.根据权利要求8所述的系统，其中，
区块链节点被配置为在接收到用户终端发送的访问请求后，对所述用户终端进行身份验证，在身份验证通过后给所述用户终端发布证书，以便所述用户终端利用所述证书获取指定视频处理装置的输出视频帧，或者获取存储服务器中的指定被掩模帧。
10.根据权利要求9所述的系统，其中，
存储服务器被配置为若接收到所述用户终端提供的私钥，则利用所述私钥去除所述指定被掩模帧中的图像掩模，以得到不包括图像掩模的视频帧，将所述不包括图像掩模的视频帧提供给所述用户终端进行播放，其中所述用户终端从区块链节点获取所述私钥。
11.一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如权利要求1-4中任一项所述的方法。
CN202010523734.3A 2020-06-10 2020-06-10 用于保护隐私的方法、装置和系统 Active CN111866600B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010523734.3A CN111866600B (zh) 2020-06-10 2020-06-10 用于保护隐私的方法、装置和系统
PCT/CN2021/095806 WO2021249181A1 (zh) 2020-06-10 2021-05-25 用于保护隐私的方法、装置和系统
KR1020237000625A KR20230066544A (ko) 2020-06-10 2021-05-25 프라이버시를 보호하기 위한 방법, 디바이스 및 시스템
JP2022565897A JP2023536383A (ja) 2020-06-10 2021-05-25 プライバシーを保護するための方法、デバイス、およびシステム
US17/906,939 US20230143063A1 (en) 2020-06-10 2021-05-25 Method, device and system for protecting privacy

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010523734.3A CN111866600B (zh) 2020-06-10 2020-06-10 用于保护隐私的方法、装置和系统

Publications (2)

Publication Number Publication Date
CN111866600A CN111866600A (zh) 2020-10-30
CN111866600B true CN111866600B (zh) 2021-10-15

Family

ID=72987586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010523734.3A Active CN111866600B (zh) 2020-06-10 2020-06-10 用于保护隐私的方法、装置和系统

Country Status (5)

Country Link
US (1) US20230143063A1 (zh)
JP (1) JP2023536383A (zh)
KR (1) KR20230066544A (zh)
CN (1) CN111866600B (zh)
WO (1) WO2021249181A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866600B (zh) * 2020-06-10 2021-10-15 北京沃东天骏信息技术有限公司 用于保护隐私的方法、装置和系统
US11928187B1 (en) * 2021-02-17 2024-03-12 Bank Of America Corporation Media hosting system employing a secured video stream
CN113890991A (zh) * 2021-09-08 2022-01-04 浙江大华技术股份有限公司 一种应用于高空抛物检测的隐私保护方法及装置
CN114025173A (zh) * 2021-11-17 2022-02-08 浙江大华技术股份有限公司 一种图像处理方法、终端及计算机可读存储介质
CN116456127B (zh) * 2023-06-19 2023-08-11 中信建投证券股份有限公司 一种视频处理系统、方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957001A (zh) * 2016-04-18 2016-09-21 深圳感官密码科技有限公司 一种隐私保护方法及装置
CN106778343A (zh) * 2016-12-12 2017-05-31 武汉优聘科技有限公司 一种基于区块链的涉及隐私数据的数据共享方法
US10192061B2 (en) * 2017-01-24 2019-01-29 Wipro Limited Method and a computing device for providing privacy control in a surveillance video
CN106803930A (zh) * 2017-02-10 2017-06-06 上海斐讯数据通信技术有限公司 一种基于路由器的智能视频监控方法及智能路由器
CN108012122A (zh) * 2017-12-15 2018-05-08 北京奇虎科技有限公司 监控视频的处理方法、装置和服务器
CN110516464A (zh) * 2019-09-02 2019-11-29 深圳市网心科技有限公司 基于神经网络计算的数据保护方法及相关设备
CN110719176A (zh) * 2019-10-22 2020-01-21 黑龙江工业学院 基于区块链的物流隐私保护方法、系统和可读存储介质
CN111866600B (zh) * 2020-06-10 2021-10-15 北京沃东天骏信息技术有限公司 用于保护隐私的方法、装置和系统

Also Published As

Publication number Publication date
CN111866600A (zh) 2020-10-30
US20230143063A1 (en) 2023-05-11
KR20230066544A (ko) 2023-05-16
WO2021249181A1 (zh) 2021-12-16
JP2023536383A (ja) 2023-08-25

Similar Documents

Publication Publication Date Title
CN111866600B (zh) 用于保护隐私的方法、装置和系统
TW201926948A (zh) 監控裝置、方法及其電腦程式產品
Sikora et al. Artificial intelligence-based surveillance system for railway crossing traffic
CN103312770B (zh) 一种云平台资源审核的方法
KR101626546B1 (ko) 개인정보 보호를 지원하는 영상정보 처리기기 및 방법
CN113076859A (zh) 人脸识别的安全监控方法及系统、电子设备、存储介质
WO2023173785A1 (zh) 准入权限的验证方法、装置、系统和身份认证终端
CN109831695A (zh) 直播控制方法、装置、电子设备及存储介质
KR101879444B1 (ko) Cctv 구동 방법 및 시스템
CN110689694B (zh) 基于图像处理的智能监控系统及方法
CN114048504A (zh) 文件处理方法及装置、电子设备和存储介质
KR102365589B1 (ko) Cctv 통합 관리 시스템에서 로그 정보 기반의 오남용 검출 방법 및 장치
Liu et al. Fits: Matching camera fingerprints subject to software noise pollution
CN106162083B (zh) 一种高清视频叠加处理系统及其进行安全认证的方法
TWI822309B (zh) 生物特徵識別方法、伺服器、客戶端、生成對抗樣本的方法、電腦儲存媒體及電腦程式產品
CN115359539A (zh) 办公场所信息安全检测方法、装置、设备和存储介质
JP6665590B2 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
KR102576651B1 (ko) 피보호자에 대한 인공지능 기반의 영상 내 위험 상황 발생 감지 및 알림 서비스 제공 방법, 장치 및 컴퓨터-판독 가능 기록 매체
CN106162053A (zh) 视频监控设备及其网络客户端
CN115767025B (zh) 防止数据泄露的方法、装置、电子设备和存储介质
CN105959329A (zh) 一种高清视频叠加处理系统
WO2021084895A1 (en) A method, an apparatus and a system for managing an event to generate an alert indicating a subject is likely to be unauthorized
Ahluwalia et al. Camera Nerve Center: A Modern CCTV Surveillance System
CN115048666A (zh) 一种安全控制方法及装置
CN115544589A (zh) I/o端口的防控方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant