CN115242548A - 一种隐私数据定向加密方法、装置、电子设备及存储介质 - Google Patents
一种隐私数据定向加密方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115242548A CN115242548A CN202211146231.4A CN202211146231A CN115242548A CN 115242548 A CN115242548 A CN 115242548A CN 202211146231 A CN202211146231 A CN 202211146231A CN 115242548 A CN115242548 A CN 115242548A
- Authority
- CN
- China
- Prior art keywords
- data
- byte
- paragraph
- matrix
- specified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000011159 matrix material Substances 0.000 claims abstract description 117
- 238000012545 processing Methods 0.000 claims abstract description 109
- 238000010276 construction Methods 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 16
- 238000005336 cracking Methods 0.000 abstract description 12
- 238000006243 chemical reaction Methods 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 description 23
- 238000012544 monitoring process Methods 0.000 description 14
- 239000002609 medium Substances 0.000 description 13
- 238000012549 training Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
- H04L63/205—Network architectures or network communication protocols for network security for managing network security; network security policies in general involving negotiation or determination of the one or more network security mechanisms to be used, e.g. by negotiation between the client and the server or between peers or by selection according to the capabilities of the entities involved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
- H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
- H04N21/23476—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Storage Device Security (AREA)
Abstract
本申请公开了一种隐私数据定向加密方法、装置、电子设备及存储介质。本申请实施例提供的技术方案，通过定位隐私数据段落的指定字节位置，提取指定字节位置的字节数据，得到目标字节段落；基于目标字节段落使用设定矩阵构建规则构建第一矩阵，并按照设定矩阵变换规则转换得到第二矩阵，将第二矩阵转换成变换字节段落，按照字节顺序将变换字节段落的各个字节数据替换数据段落中指定字节位置的各个字节数据，得到第一定向处理数据；将变换字节段落作为填充数据，结合设定字节填充规则处理第一定向处理数据，得到第二定向处理数据。采用上述技术手段，能够增加用户隐私数据的破解难度，提升隐私数据存储、传输的安全性，避免用户隐私泄露。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种隐私数据定向加密方法、装置、电子设备及存储介质。
背景技术
目前，在生活中随处可见的区域安装了监控摄像头，以实时监控对应区域发生的事情。用户可以在私人生活区域安装监控摄像头，监控摄像头将采集到的视频、音频传输至用户的手机，实现用户对私人生活区域的远程管控。
但是，传统的视频流、音频流处理方式一般都是采用简单的对称或者非对称加密算法分别进行加密，由于视频、音频等监控数据中可能涉及到用户的隐私信息，简单的数据加密方式容易导致数据被轻易破解窃取。影响监控数据传输、存储的安全性，造成用户隐私泄露的情况。
发明内容
本申请提供一种隐私数据定向加密方法、装置、电子设备及存储介质，能够增加用户隐私数据的破解难度，提升隐私数据存储、传输的安全性，避免用户隐私泄露，解决现有监控数据容易被破解导致用户隐私泄露的技术问题。
在第一方面，本申请提供了一种隐私数据定向加密方法，包括：
获取待处理数据，识别所述待处理数据，确定包含指定特征的数据段落，定位所述数据段落的指定字节位置，提取所述指定字节位置的字节数据，得到目标字节段落；
基于所述目标字节段落使用设定矩阵构建规则构建第一矩阵，并按照设定矩阵变换规则处理所述第一矩阵，得到第二矩阵，基于所述设定矩阵构建规则将所述第二矩阵转换成变换字节段落，按照字节顺序将所述变换字节段落的各个字节数据替换所述数据段落中所述指定字节位置的各个字节数据，得到第一定向处理数据；
将所述变换字节段落作为填充数据，结合设定字节填充规则处理所述第一定向处理数据，得到第二定向处理数据。
进一步地，所述定位所述数据段落的指定字节位置，提取所述指定字节位置的字节数据，包括：
定位所述数据段落中每一帧数据的指定字节位置，按照时间戳顺序提取所述指定字节位置的字节数据。
进一步地，每一帧数据的所述指定字节位置为一个或者多个，在一帧数据包含多个所述指定字节位置的情况下，所述指定字节位置以设定间隔位置分布。
进一步地，在一帧数据包含多个所述指定字节位置的情况下，所述提取所述指定字节位置的字节数据，得到目标字节段落，包括：
按照所述指定字节位置在一帧数据中的排列位置顺序或者设定字节提取顺序提取字节数据，得到字节子段落；
按照所述时间戳顺序串联各个所述字节子段落，生成目标字节段落。
进一步地，所述设定字节填充规则为多个；
所述结合设定字节填充规则处理所述第一定向处理数据，包括：
根据所述数据段落的数据量选择对应的所述设定字节填充规则处理所述第一定向处理数据。
进一步地，所述指定特征包括用户人脸特征和用户声纹特征。
进一步地，所述识别所述待处理数据，包括：
基于人脸识别算法识别所述待处理数据的视频流，基于声纹识别算法识别所述待处理数据的音频流。
在第二方面，本申请提供了一种隐私数据定向加密装置，包括：
定位模块，用于获取待处理数据，识别所述待处理数据，确定包含指定特征的数据段落，定位所述数据段落的指定字节位置，提取所述指定字节位置的字节数据，得到目标字节段落；
第一处理模块，用于基于所述目标字节段落使用设定矩阵构建规则构建第一矩阵，并按照设定矩阵变换规则处理所述第一矩阵，得到第二矩阵，基于所述设定矩阵构建规则将所述第二矩阵转换成变换字节段落，按照字节顺序将所述变换字节段落的各个字节数据替换所述数据段落中所述指定字节位置的各个字节数据，得到第一定向处理数据；
第二处理模块，用于将所述变换字节段落作为填充数据，结合设定字节填充规则处理所述第一定向处理数据，得到第二定向处理数据。
在第三方面，本申请提供了一种电子设备，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的隐私数据定向加密方法。
在第四方面，本申请提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的隐私数据定向加密方法。
本申请通过获取待处理数据，识别待处理数据，确定包含指定特征的数据段落，定位数据段落的指定字节位置，提取指定字节位置的字节数据，得到目标字节段落；基于目标字节段落使用设定矩阵构建规则构建第一矩阵，并按照设定矩阵变换规则处理第一矩阵，得到第二矩阵，基于设定矩阵构建规则将第二矩阵转换成变换字节段落，按照字节顺序将变换字节段落的各个字节数据替换数据段落中指定字节位置的各个字节数据，得到第一定向处理数据；将变换字节段落作为填充数据，结合设定字节填充规则处理第一定向处理数据，得到第二定向处理数据。采用上述技术手段，能够增加用户隐私数据的破解难度，提升隐私数据存储、传输的安全性，避免用户隐私泄露。
附图说明
图1是本申请实施例一提供的一种隐私数据定向加密方法的流程图；
图2是本申请实施例一中数据段落的加密处理示意图；
图3是本申请实施例一中目标字节段落的生成流程图；
图4是本申请实施例一中的矩阵变换示意图；
图5是本申请实施例的字节替换示意图；
图6是本申请实施例二提供的一种隐私数据定向加密装置的结构示意图；
图7是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作（或步骤）描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一：
图1给出了本申请实施例一提供的一种隐私数据定向加密方法的流程图，本实施例中提供的隐私数据定向加密方法可以由隐私数据定向加密设备执行，该隐私数据定向加密设备可以通过软件和/或硬件的方式实现，该隐私数据定向加密设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该隐私数据定向加密设备可以是服务器主机、编码设备、电脑等流媒体数据处理设备。
下述以该隐私数据定向加密设备为执行隐私数据定向加密方法的主体为例，进行描述。参照图1，该隐私数据定向加密方法具体包括：
S110、获取待处理数据，识别所述待处理数据，确定包含指定特征的数据段落，定位所述数据段落的指定字节位置，提取所述指定字节位置的字节数据，得到目标字节段落。
具体地，参照图2，本申请实施例的隐私数据定向加密方法，旨在通过对监控摄像头采集的监控视频流或者音频流进行检测识别，判断待处理的监控数据是否包含用户的隐私信息。若是，则截取出包含隐私信息的数据段落。进而提取数据段落中各帧数据中相应的字节数据，生成目标字节段落。通过矩阵变换生成变换字节段落，以将变换字节段落的字节数据替换原始隐私数据中指定字节位置的字节数据，得到第一定向处理数据。并通过字节数据填充的方式，结合该变换字节段落，以进一步加密第一定向处理数据，得到第二定向处理数据。以此实现监控视频流、音频流中隐私数据的安全加密，增大隐私数据的破解难度。在监控数据存储、传输场景中，保障用户隐私数据的存储、传输安全性，避免用户隐私信息被轻易窃取。
在监控场景中，对于需要传输或者存储的音频流、视频流，定义这部分视频流或者音频流为待处理数据。待处理数据在进行加密处理时，首先判断其是否包含用户隐私信息，对于包含用户隐私信息的数据段落，可以采用本申请实施例的隐私数据定向加密方法，以保障用户隐私信息的存储、传输安全性。此外，对于不包含用户隐私的数据段落，则可以采用常规的信息加密机制，避免增加太多的信息加密成本，在保障信息加密处理效率的同时提升了信息处理的安全性。
示例性地，在实际监控数据存储、传输场景中，监控数据指当前设备准备存储、传输的监控视频流或者音频流。例如，监控摄像头采集到视频流、音频流后，将视频流、音频流发送至设备处理器，设备处理器对视频流、音频流进行加密处理后存储至本地数据库或者传输给目标设备。并且，在监控数据中包含有用户隐私信息（即用户人脸特征、声纹特征）的情况下，采用隐私数据定向加密方法进行隐私信息的定向加密，保障信息存储、传输的安全性，避免信息被轻易破解窃取，导致用户隐私泄露的情况。
基于此，在存储、传输待处理数据的情况下，首先识别其是否包含用户隐私信息。其中，根据待处理数据的类型（视频流或者音频流），基于人脸识别算法识别待处理数据中的视频流，基于声纹识别算法识别待处理数据的音频流。设备端预先配置用户人脸特征和用户声纹特征，定义这部分用户特征数据为指定特征。用户通过上传自身的人脸信息、声纹信息，将这部分人脸信息、声纹信息作为指定特征数据配置至隐私数据定向加密设备，以用于后续存储、传输待处理数据时，对其中包含的用户隐私信息的进行识别。
可以理解的是，对于包含用户人脸特征和/或声纹特征的视频流或者音频流，由于其涉及用户隐私信息。为了保护用户隐私信息，本实施例通过对待处理数据中包含有隐私信息数据段落进行相对更安全的加密机制，以提高隐私信息的破解难度，进而提高隐私信息加密存储、传输的安全性，降低用户隐私泄露的风险。
具体地，若待处理数据为音频流，在识别音频流时，则使用指定特征数据的声纹特征进行检测匹配；若待处理数据为视频流，在识别视频流的情况下，则使用指定特征数据的人脸特征进行检测匹配。
对于声纹特征的识别，通过音频流提取的声纹特征与指定特征数据的声纹比对，两者匹配即可确定该音频流包含指定特征，即用户隐私信息。
在人脸识别视频流时，将视频流输入预构建的目标检测模型检测，基于目标检测模型的输出结果判断视频流是否包含指定特征。目标检测模型预先根据指定特征数据的人脸特征构建的训练数据集进行训练构建。
目标检测模型可以采用YOLOv3目标检测模型等神经网络模型。在训练目标检测模型时，通过收集包含用户人脸特征（即用户肖像）的图像数据构建训练数据集。进一步设计目标检测模型的神经网络结构和损失函数，使用标注了指定目标的训练数据集训练目标检测模型的网络参数。在模型训练完成之后，保存模型结构和参数，以用于后续进行指定目标检测，确定用户人脸特征。
YOLOv3目标检测模型主要由卷积层和池化层构成，网络中层的命名规则由其类别和在网络中第几次出现的编号构成，例如conv8表示网络中的第8个卷积层，upsamplling表示网络中的上采样层，网络中每层的输出特征图尺寸表示为“分辨率宽×分辨率高×通道数”，经过多层卷积层级池化层，最终得到图像中各个目标的矩形框及分类，以完成目标的检测。池化层是一种图像下采样操作，虽然会减少卷积特征层的参数，加快模型运算速度，但是会对上一层的卷积特征图造成语义信息的损失。YOLOv3目标检测网络考虑到计算资源问题，在本申请实施例中的YOLOv3目标检测网络的基础骨架为tiny-darknet，其参数只有4M，体量小适合落地。
基于该目标检测模型的检测结果，即可确定视频流是否包含用户人脸特征，即是否包含用户隐私信息。进而根据检测结果，在确定视频流包含用户人脸特征的情况下，即可适应性选择相应的加密机制加密处理检测到的包含用户隐私信息部分的数据段落。
需要说明的是，本申请实施例在处理视频流或者音频流时，通过识别用户隐私信息，确定包含隐私信息的数据段落，定向对数据段落使用本申请实施例的隐私数据定向加密方法进行加密。而对于部分不包含用户隐私信息的待处理数据，则无需采用定向加密方法进行加密。以此可以在保障待处理数据的处理效率的情况下，提升隐私信息定向加密的安全性。
可选地，在一个实施例中，在视频流包含用户人脸的情况下，还将视频流更新至训练数据集，基于更新后的训练数据集迭代训练目标检测模型。
可以理解的是，对于识别到用户人脸特征的视频流，由于该视频流包含用户人脸特征，为了使目标检测模型更精准、快速地识别检测用户人脸特征，则通过将该视频流加入训练数据集进行目标检测模型的迭代训练，可以进一步提升目标检测模型的检测精度和效率，优化监控视频流的加密传输效率。
之后，在识别到视频流或者音频流包含指定特征的情况下，首先截取出这部分包含隐私信息的数据段落，进而进行字节数据的定位和提取，以用于后续进行待处理数据中字节数据的替换加密。
由于音频流或者视频流在进行加密处理时，会通过数字编码技术逐帧转换成二进制字符串形式的数字编码数据。每一帧视频帧和音频帧包含对应的时间戳信息，以便于确定各帧数据之间的顺序。相应地，在加密处理视频流或者音频流等待处理数据时，为了便于后续按照时间戳顺序逐帧数据进行指定字节位置的字节数据的替换，本申请实施例通过定位所述数据段落中每一帧数据的指定字节位置，按照时间戳顺序提取所述指定字节位置的字节数据。
其中，在采集数据段落的字节数据时，通过定位数据段落中每一帧数据的指定字节位置，该指定字节位置根据实际需求预先选定。可以理解的是，视频帧、音频帧编码后以二进制字符串的形式存储，通过选择二进制字符串上的指定字节位置，即可提取该位置上的字节数据。例如，以第N个字节位置为指定字节位置，在提取字节数据时，从一帧数据的二进制字符串中按照字节顺序找到第N个字节位置，以此提取到该位置的字节数据。以此类推，逐个数据帧提取字节数据，进而按照各帧数据的时间戳顺序将提取到的字节数据串联成字符串，定义为目标字节段落。
可选地，每一帧数据的所述指定字节位置为一个或者多个，在一帧数据包含多个所述指定字节位置的情况下，所述指定字节位置以设定间隔位置分布。
具体地，若指定字节位置为一个，则参照上述字节数据采集方式采集字节数据。若指定字节位置为多个，则在采集字节数据过程中，按照一帧数据中字符串的字节位置顺序，逐一从各个指定字节位置提取字节数据。需要说明的是，通过间隔分布设置指定字节位置，可以使得提取到的字节数据更加分散、多样，以此进行字节交叉加密，可以提升数据交叉加密的复杂度，提升加密数据被破解的难度。
进一步地，如图3所示，在一帧数据包含多个所述指定字节位置的情况下，所述提取所述指定字节位置的字节数据，得到目标字节段落，包括：
S1101、按照所述指定字节位置在一帧数据中的排列位置顺序或者设定字节提取顺序提取字节数据，得到字节子段落；
S1102、按照所述时间戳顺序串联各个所述字节子段落，生成目标字节段落。
对于一帧数据包含多个指定字节位置的情况，可以按照各个字节数据在字符串中的排列位置顺序提取字节数据，将提取到的字节数据串联为字节子段落。也可以按照设定字节提取顺序，如倒序提取，先提取奇数位置再提取偶数位置等字节数据提取顺序，依序提取字节数据并串联为字节子段落。进而对于每帧数据提取到的字节子段落，将其按照时间戳顺序串联为目标字节段落。通过设定不同字节提取顺序提取字节数据生成字节子段落，可以使得提取到的字节数据更加分散、多样，以此进行字节交叉加密，可以提升数据交叉加密的复杂度，提升加密数据被破解的难度。
S120、基于所述目标字节段落使用设定矩阵构建规则构建第一矩阵，并按照设定矩阵变换规则处理所述第一矩阵，得到第二矩阵，基于所述设定矩阵构建规则将所述第二矩阵转换成变换字节段落，按照字节顺序将所述变换字节段落的各个字节数据替换所述数据段落中所述指定字节位置的各个字节数据，得到第一定向处理数据。
之后，对于提取到的目标字节段落，通过矩阵变换处理目标字节段落，即可用于包含用户隐私信息的数据段落的字节替换加密处理。其中，如图2所示，对于从数据段落中的各帧数据提取到的目标字节段落，通过矩阵变换为变换字节段落，将变换字节段落的各个字节数据按照时间戳顺序替换数据段落中各帧数据上指定字节位置的字节数据，以此得到加密处理后的第一定向处理数据。可以理解的是，由于数据段落中各帧数据按照时间戳顺序排序，以此提取到的字节数据的数量与指定字节位置的数量相同。因此，在定向处理数据段落时，对于变换字节段落中的字节数据，按顺序提取并替换数据段落中一帧数据的指定字节位置的字节数据，以此完成一帧数据的字节替换加密。以此类推，按照时间戳顺序逐帧处理数据段落，将变换字节段落上的字节数据按顺序替换至数据段落中对应数据帧的指定字节位置上，完成数据段落的字节替换加密。
需要说明的是，本申请实施例在对目标字节段落进行矩阵变换时，并不会减少字节数据数量，因此，可以确保字节替换加密时，变换字节段落的字节数据刚好提供给指定字节位置。
具体地，在将目标字节段落转换为变换字节段落时，通过将目标字节段落转换为第一矩阵，第一矩阵通过矩阵变换为第二矩阵，最终将第二矩阵转换为该变换字节段落。
其中，本申请实施例通过将目标字节段落平均拆分成设定数量个子段落，每一个子段落为第一矩阵的一行，以此构成设定数量行数的矩阵。并且，由于目标字节段落在平均拆分的时候，可能存在取余部分不够平均分配的情况，此时可以采用设定字节数据补充，以保障矩阵的完整构建。
进一步地，对于已构建的第一矩阵，本申请实施例使用设定矩阵变换规则进行第一矩阵的变换处理。矩阵变换规则根据实际需要设定，具体可以是将矩阵中各行元素对调位置，将矩阵与另一个矩阵相乘，或者将矩阵乘以某一个常数等方式。本申请实施例对具体的矩阵变换规则不做固定限制，在此不多赘述。
示例性地，如图4所示，对第一矩阵的矩阵变换进行示例性描述。假设目标字节段落为“a1,a2,a3,b1,b2,b3,c1,c2,c3”，将其按照时间戳顺序拆分为三段“a1,a2,a3”、“b1,b2,b3”和“c1,c2,c3”，将其按照时间戳顺序排序构建矩阵P，进而将矩阵P中的元素沿着对角线对调的矩阵变换规则进行变换，得到矩阵P´，以此完成第一矩阵向第二矩阵的变换。进而基于该第二矩阵，按照原来的矩阵构建规则拆分矩阵，即可得到变换字节段落为“c3，c2,c1,b3,b2,b1,a3,a2,a1”。
则基于该变换字节段落，在进行字节替换加密时，通过变换字节段落的逐个字节数据替换至数据段落各帧数据的指定直接位置。其中，假设在数据段落上各个数据帧的指定字节位置提取到的目标字节段落为“a1,a2,a3,b1,b2,b3,c1,c2,c3”，则按照上述矩阵变换方式，可以得到变换字节段落“c3，c2,c1,b3,b2,b1,a3,a2,a1”。进而在数据段落加密时，依序提取变换字节段落“c3，c2,c1,b3,b2,b1,a3,a2,a1”上的各个字节数据替换数据段落上各个数据帧的指定字节位置的字节数据。
例如，参照图5，在数据段落第1帧数据帧N的指定字节位置N4上提取到字节数据a1,结合其余数据帧提取的字节数据构成目标字节段落为“a1,a2,a3,b1,b2,b3,c1,c2,c3”。目标字节段落通过矩阵变换得到变换字节段落为“c3，c2,c1,b3,b2,b1,a3,a2,a1”。进而在字节替换加密时，按照时间戳顺序，将变换字节段落第1个字节位置的字节数据“c3”替换至数据段落第1帧数据帧N的指定字节位置N4上，得到字节替换加密后的数据帧N´。以此类推，即可实现数据段落中各帧数据的字节替换加密，将数据段落通过字节替换加密转换为第一定向处理数据。
至此，通过替换字节数据，使得数据段落的各帧数据的字节得到加密修改，以此来提升隐私信息的破解难度，提升隐私信息的传输、存储的安全性。
S130、将所述变换字节段落作为填充数据，结合设定字节填充规则处理所述第一定向处理数据，得到第二定向处理数据。
进一步地，为了提升隐私信息的破解难度，本申请实施例还将变换字节段落作为填充数据，基于该填充数据，使用设定的字节填充规则将其填充至第一定向处理数据，得到最终的第二定向处理数据。以此来通过双重加密机制，实现用户隐私信息的双重加密，进一步保障隐私信息的安全性。
具体地，通过依序提取填充数据的一个字节数据并按照时间戳顺序填充至第一定向处理数据中各帧数据的目标字节位置中，每一帧数据填充一个字节数据，以此类推，完成第一定向处理数据的填充处理。
本申请实施例对具体的填充方式不做固定限制，在此不多赘述。需要说明的是，上述目标字节位置根据实际填充需求设置，其可以是代表一帧数据的字符串上的任意位置。
可选地，在填充处理第一定向处理数据时，还可以将填充数据完整填充至第一定向处理数据的每一帧数据的目标字节位置中。不同于上述使用一个填充数据处理第一定向处理数据的所有帧数据，此处对于第一定向处理数据的每一帧数据，均使用完整的填充数据进行填充处理。即对于第一定向处理数据的每一帧视频帧数据，将填充数据上的各个字节数据填充至其目标字节位置。其中，目标字节位置为一个，则将填充数据的所有数据均填充至该目标字节位置。若目标字节位置为多个，则将填充数据拆分为对应的多个分段数据，逐个分段数据填充至对应的目标字节位置。以此可以使得填充加密得到的帧数据更为复杂，更加难以破解，提升数据加密安全性。
至此，基于该变换字节段落填充数据，结合字节填充规则填充处理第一定向处理数据后，即可得到最终的第二定向处理数据。以此通过双重的加密机制加密得到的第二定向处理数据，可以进一步提升用户隐私信息的破解难度，保障用户隐私的安全性。
在一个实施例中，所述设定字节填充规则为多个；所述结合设定字节填充规则处理所述第一定向处理数据，包括：根据所述数据段落的数据量选择对应的所述设定字节填充规则处理所述第一定向处理数据。
为了进一步提升数据破解难度，本申请实施例还根据数据段落的数据量，适应性选择设定字节填充规则以填充处理对应的第一定向处理数据。可以理解的是，对于用户隐私信息数据量较小的数据段落，使用较复杂的字节填充规则会增大数据加密处理时长，降低数据处理效率。而对于数据量较大的数据段落，使用简单的字节填充规则会导致数据被轻易破解，影响数据处理的安全性。基于此，本申请实施例根据不同的数据量区间设定相应的字节填充规则，当视数据段落的数据量达到对应数据量区间时，则适应该数据量区间对应的字节填充规则进行数据的填充处理，以此在保障数据处理效率的同时，提升数据加密的安全性。
之后，基于上述加密得到的第二定向处理数据，后续在数据存储、传输场景中需要对其进行解密时，则基于上述字节填充规则解密第二定向处理数据，得到第一定向处理数据和对应填充数据（变换字节段落）。进而提取第一定向处理数据上指定字节位置的字节数据，得到变换字节段落。基于变换字节段落和设定矩阵构建规则生成第二矩阵，第二矩阵通过逆矩阵变换还原为第一矩阵。基于第一矩阵和设定矩阵构建规则还原得到目标字节段落，将目标字节段落替换第一定向处理数据指定字节位置上的字节数据，还原第一定向处理数据得到原始数据段落的各帧数据，以此完成用户隐私数据段落的解密还原。
上述，通过获取待处理数据，识别待处理数据，确定包含指定特征的数据段落，定位数据段落的指定字节位置，提取指定字节位置的字节数据，得到目标字节段落；基于目标字节段落使用设定矩阵构建规则构建第一矩阵，并按照设定矩阵变换规则处理第一矩阵，得到第二矩阵，基于设定矩阵构建规则将第二矩阵转换成变换字节段落，按照字节顺序将变换字节段落的各个字节数据替换数据段落中指定字节位置的各个字节数据，得到第一定向处理数据；将变换字节段落作为填充数据，结合设定字节填充规则处理第一定向处理数据，得到第二定向处理数据。采用上述技术手段，能够增加用户隐私数据的破解难度，提升隐私数据存储、传输的安全性，避免用户隐私泄露。
实施例二：
在上述实施例的基础上，图6为本申请实施例二提供的一种隐私数据定向加密装置的结构示意图。参考图6，本实施例提供的隐私数据定向加密装置具体包括：定位模块21、第一处理模块22和第二处理模块23。
其中，定位模块21用于获取待处理数据，识别所述待处理数据，确定包含指定特征的数据段落，定位所述数据段落的指定字节位置，提取所述指定字节位置的字节数据，得到目标字节段落；
第一处理模块22用于基于所述目标字节段落使用设定矩阵构建规则构建第一矩阵，并按照设定矩阵变换规则处理所述第一矩阵，得到第二矩阵，基于所述设定矩阵构建规则将所述第二矩阵转换成变换字节段落，按照字节顺序将所述变换字节段落的各个字节数据替换所述数据段落中所述指定字节位置的各个字节数据，得到第一定向处理数据；
第二处理模块23用于将所述变换字节段落作为填充数据，结合设定字节填充规则处理所述第一定向处理数据，得到第二定向处理数据。
具体地，定位模块21用于定位所述数据段落中每一帧数据的指定字节位置，按照时间戳顺序提取所述指定字节位置的字节数据。
其中，每一帧数据的所述指定字节位置为一个或者多个，在一帧数据包含多个所述指定字节位置的情况下，所述指定字节位置以设定间隔位置分布。
在一帧数据包含多个所述指定字节位置的情况下，定位模块21用于按照所述指定字节位置在一帧数据中的排列位置顺序或者设定字节提取顺序提取字节数据，得到字节子段落；按照所述时间戳顺序串联各个所述字节子段落，生成目标字节段落。
具体地，所述设定字节填充规则为多个；第二处理模块23用于根据所述数据段落的数据量选择对应的所述设定字节填充规则处理所述第一定向处理数据。
具体地，所述指定特征包括用户人脸特征和用户声纹特征。
具体地，第一处理模块22用于基于人脸识别算法识别所述待处理数据的视频流，基于声纹识别算法识别所述待处理数据的音频流。
上述，通过获取待处理数据，识别待处理数据，确定包含指定特征的数据段落，定位数据段落的指定字节位置，提取指定字节位置的字节数据，得到目标字节段落；基于目标字节段落使用设定矩阵构建规则构建第一矩阵，并按照设定矩阵变换规则处理第一矩阵，得到第二矩阵，基于设定矩阵构建规则将第二矩阵转换成变换字节段落，按照字节顺序将变换字节段落的各个字节数据替换数据段落中指定字节位置的各个字节数据，得到第一定向处理数据；将变换字节段落作为填充数据，结合设定字节填充规则处理第一定向处理数据，得到第二定向处理数据。采用上述技术手段，能够增加用户隐私数据的破解难度，提升隐私数据存储、传输的安全性，避免用户隐私泄露。
本申请实施例二提供的隐私数据定向加密装置可以用于执行上述实施例一提供的隐私数据定向加密方法，具备相应的功能和有益效果。
实施例三：
本申请实施例三提供了一种电子设备，参照图7，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的隐私数据定向加密方法对应的程序指令/模块（例如，隐私数据定向加密装置中的定位模块、第一处理模块和第二处理模块）。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块33用于进行数据传输。
处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的隐私数据定向加密方法。
输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
上述提供的电子设备可用于执行上述实施例一提供的隐私数据定向加密方法，具备相应的功能和有益效果。
实施例四：
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种隐私数据定向加密方法，该隐私数据定向加密方法包括：获取待处理数据，识别所述待处理数据，确定包含指定特征的数据段落，定位所述数据段落的指定字节位置，提取所述指定字节位置的字节数据，得到目标字节段落；基于所述目标字节段落使用设定矩阵构建规则构建第一矩阵，并按照设定矩阵变换规则处理所述第一矩阵，得到第二矩阵，基于所述设定矩阵构建规则将所述第二矩阵转换成变换字节段落，按照字节顺序将所述变换字节段落的各个字节数据替换所述数据段落中所述指定字节位置的各个字节数据，得到第一定向处理数据；将所述变换字节段落作为填充数据，结合设定字节填充规则处理所述第一定向处理数据，得到第二定向处理数据。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的隐私数据定向加密方法，还可以执行本申请任意实施例所提供的隐私数据定向加密方法中的相关操作。
上述实施例中提供的隐私数据定向加密装置、存储介质及电子设备可执行本申请任意实施例所提供的隐私数据定向加密方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的隐私数据定向加密方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。
Claims (10)
1.一种隐私数据定向加密方法，其特征在于，包括：
获取待处理数据，识别所述待处理数据，确定包含指定特征的数据段落，定位所述数据段落的指定字节位置，提取所述指定字节位置的字节数据，得到目标字节段落；
基于所述目标字节段落使用设定矩阵构建规则构建第一矩阵，并按照设定矩阵变换规则处理所述第一矩阵，得到第二矩阵，基于所述设定矩阵构建规则将所述第二矩阵转换成变换字节段落，按照字节顺序将所述变换字节段落的各个字节数据替换所述数据段落中所述指定字节位置的各个字节数据，得到第一定向处理数据；
将所述变换字节段落作为填充数据，结合设定字节填充规则处理所述第一定向处理数据，得到第二定向处理数据。
2.根据权利要求1所述的隐私数据定向加密方法，其特征在于，所述定位所述数据段落的指定字节位置，提取所述指定字节位置的字节数据，包括：
定位所述数据段落中每一帧数据的指定字节位置，按照时间戳顺序提取所述指定字节位置的字节数据。
3.根据权利要求2所述的隐私数据定向加密方法，其特征在于，每一帧数据的所述指定字节位置为一个或者多个，在一帧数据包含多个所述指定字节位置的情况下，所述指定字节位置以设定间隔位置分布。
4.根据权利要求3所述的隐私数据定向加密方法，其特征在于，在一帧数据包含多个所述指定字节位置的情况下，所述提取所述指定字节位置的字节数据，得到目标字节段落，包括：
按照所述指定字节位置在一帧数据中的排列位置顺序或者设定字节提取顺序提取字节数据，得到字节子段落；
按照所述时间戳顺序串联各个所述字节子段落，生成目标字节段落。
5.根据权利要求1所述的隐私数据定向加密方法，其特征在于，所述设定字节填充规则为多个；
所述结合设定字节填充规则处理所述第一定向处理数据，包括：
根据所述数据段落的数据量选择对应的所述设定字节填充规则处理所述第一定向处理数据。
6.根据权利要求1所述的隐私数据定向加密方法，其特征在于，所述指定特征包括用户人脸特征和用户声纹特征。
7.根据权利要求6所述的隐私数据定向加密方法，其特征在于，所述识别所述待处理数据，包括：
基于人脸识别算法识别所述待处理数据的视频流，基于声纹识别算法识别所述待处理数据的音频流。
8.一种隐私数据定向加密装置，其特征在于，包括：
定位模块，用于获取待处理数据，识别所述待处理数据，确定包含指定特征的数据段落，定位所述数据段落的指定字节位置，提取所述指定字节位置的字节数据，得到目标字节段落；
第一处理模块，用于基于所述目标字节段落使用设定矩阵构建规则构建第一矩阵，并按照设定矩阵变换规则处理所述第一矩阵，得到第二矩阵，基于所述设定矩阵构建规则将所述第二矩阵转换成变换字节段落，按照字节顺序将所述变换字节段落的各个字节数据替换所述数据段落中所述指定字节位置的各个字节数据，得到第一定向处理数据；
第二处理模块，用于将所述变换字节段落作为填充数据，结合设定字节填充规则处理所述第一定向处理数据，得到第二定向处理数据。
9.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的隐私数据定向加密方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的隐私数据定向加密方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211146231.4A CN115242548B (zh) | 2022-09-20 | 2022-09-20 | 一种隐私数据定向加密方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211146231.4A CN115242548B (zh) | 2022-09-20 | 2022-09-20 | 一种隐私数据定向加密方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115242548A true CN115242548A (zh) | 2022-10-25 |
| CN115242548B CN115242548B (zh) | 2022-12-20 |
Family
ID=83681885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211146231.4A Active CN115242548B (zh) | 2022-09-20 | 2022-09-20 | 一种隐私数据定向加密方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115242548B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998005142A1 (en) * | 1996-07-26 | 1998-02-05 | Ernst Erich Schnoor | Multi matrix encryption for private transmission of data |
| US20050249349A1 (en) * | 2004-05-04 | 2005-11-10 | International Business Machines Corporation | Matrix encryption method and system |
| CN101882995A (zh) * | 2009-05-06 | 2010-11-10 | 中兴通讯股份有限公司 | 数据发送、接收和传输方法及装置 |
| CN102915519A (zh) * | 2012-09-12 | 2013-02-06 | 东北林业大学 | 基于混沌映射与数列变换的图像加密算法 |
| CN106454409A (zh) * | 2016-12-12 | 2017-02-22 | Tcl集团股份有限公司 | 多媒体文件的加密方法及装置 |
| CN109245881A (zh) * | 2018-09-14 | 2019-01-18 | 杭州嘀嗒科技有限公司 | 一种照片视频云端加密存储方法 |
| WO2021227349A1 (zh) * | 2020-05-11 | 2021-11-18 | 华南理工大学 | 一种生物特征隐私保护的前端人像加密与识别方法 |
| CN114286129A (zh) * | 2021-12-02 | 2022-04-05 | 赛轮集团股份有限公司 | 一种音视频数据加密、解密方法及装置 |
| CN114915805A (zh) * | 2022-07-18 | 2022-08-16 | 广州万协通信息技术有限公司 | 基于双重加密机制的视频流传输方法及安全芯片装置 |
-
2022
- 2022-09-20 CN CN202211146231.4A patent/CN115242548B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998005142A1 (en) * | 1996-07-26 | 1998-02-05 | Ernst Erich Schnoor | Multi matrix encryption for private transmission of data |
| US20050249349A1 (en) * | 2004-05-04 | 2005-11-10 | International Business Machines Corporation | Matrix encryption method and system |
| CN101882995A (zh) * | 2009-05-06 | 2010-11-10 | 中兴通讯股份有限公司 | 数据发送、接收和传输方法及装置 |
| CN102915519A (zh) * | 2012-09-12 | 2013-02-06 | 东北林业大学 | 基于混沌映射与数列变换的图像加密算法 |
| CN106454409A (zh) * | 2016-12-12 | 2017-02-22 | Tcl集团股份有限公司 | 多媒体文件的加密方法及装置 |
| CN109245881A (zh) * | 2018-09-14 | 2019-01-18 | 杭州嘀嗒科技有限公司 | 一种照片视频云端加密存储方法 |
| WO2021227349A1 (zh) * | 2020-05-11 | 2021-11-18 | 华南理工大学 | 一种生物特征隐私保护的前端人像加密与识别方法 |
| CN114286129A (zh) * | 2021-12-02 | 2022-04-05 | 赛轮集团股份有限公司 | 一种音视频数据加密、解密方法及装置 |
| CN114915805A (zh) * | 2022-07-18 | 2022-08-16 | 广州万协通信息技术有限公司 | 基于双重加密机制的视频流传输方法及安全芯片装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李旭锋: "一个高分辨率视频的创新加密算法", 《现代计算机》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115242548B (zh) | 2022-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114915805B (zh) | 基于双重加密机制的视频流传输方法及安全芯片装置 | |
| US11604893B2 (en) | Privacy-preserving image distribution | |
| US20230327848A1 (en) | Enhanced encryption for face-related data | |
| CN115563650A (zh) | 基于联邦学习实现医疗数据的隐私保护系统 | |
| WO2022001092A1 (zh) | 一种数据处理方法、装置及设备 | |
| US11676418B1 (en) | Enhanced storage and data retrieval for face-related data | |
| CN113240129A (zh) | 一种面向多类型任务图像分析的联邦学习系统 | |
| CN115134080B (zh) | 基于安全加密芯片的数据传输方法及装置 | |
| CN115242548B (zh) | 一种隐私数据定向加密方法、装置、电子设备及存储介质 | |
| CN117058088A (zh) | 一种基于智能合约和自注意力的covid-19病灶预测系统 | |
| CN115114667A (zh) | 一种安全芯片的隐私信息处理分类方法及装置 | |
| CN115225869B (zh) | 一种监控数据的定向处理方法及装置 | |
| CN115086718A (zh) | 一种视频流加密方法及装置 | |
| CN114268468A (zh) | 网络流量处理系统、方法、装置、计算机设备和存储介质 | |
| CN112702623A (zh) | 视频处理方法、装置、设备及存储介质 | |
| CN112580011A (zh) | 一种面向生物特征隐私保护的人像加解密系统 | |
| CN115225935B (zh) | 一种视频流、音频流字节交叉加密方法及装置 | |
| CN115134176B (zh) | 一种基于不完全监督的暗网加密流量分类方法 | |
| KR102651303B1 (ko) | 얼굴 이미지 비식별화 및 복원 장치 및 방법 | |
| CN117009999B (zh) | 智慧园区数据存储方法、装置、设备和计算机可读介质 | |
| Guo et al. | AISM: An Adaptable Image Steganography Model with User Customization | |
| CN117993515A (zh) | 联邦学习方法和装置 | |
| CN117313897A (zh) | 群组特征的联邦学习的数据处理方法、系统及相关装置 | |
| CN114943073A (zh) | 加密流量的通用对称加密协议脱壳方法 | |
| Meeraa et al. | AN INTELLIGENT EMBEDDED SYSTEM FOR PAY PHONES TO DETECT CYBER CRIMES |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |