CN115134080A - 基于安全加密芯片的数据传输方法及装置 - Google Patents
基于安全加密芯片的数据传输方法及装置 Download PDFInfo
- Publication number
- CN115134080A CN115134080A CN202211023071.4A CN202211023071A CN115134080A CN 115134080 A CN115134080 A CN 115134080A CN 202211023071 A CN202211023071 A CN 202211023071A CN 115134080 A CN115134080 A CN 115134080A
- Authority
- CN
- China
- Prior art keywords
- video stream
- target video
- filling
- target
- coding sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 48
- 108091026890 Coding region Proteins 0.000 claims abstract description 75
- 238000012544 monitoring process Methods 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 16
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000005336 cracking Methods 0.000 abstract description 9
- 239000002609 medium Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
- H04L9/0894—Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
- H04L9/0897—Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage involving additional devices, e.g. trusted platform module [TPM], smartcard or USB
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
- H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
- H04L9/0866—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving user or device identifiers, e.g. serial number, physical or biometrical information, DNA, hand-signature or measurable physical characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开了一种基于安全加密芯片的数据传输方法及装置。本申请实施例提供的技术方案，通过在确定目标视频流包含指定人脸特征的情况下，基于指定人脸特征转换的第一特征编码序列，使用设定的乱码填充算法处理目标视频流，得到加密视频数据包，将加密视频数据包发送至对应的请求端；进而通过请求端接收用户输入的人脸信息，判断人脸信息是否与指定人脸特征匹配，若是，将指定人脸特征转换为第二特征编码序列，基于对应乱码填充算法的乱码解密算法以及第二特征编码序列解密加密视频数据包，得到目标视频流。采用上述技术手段，通过用户人脸特征结合乱码填充加密，能够增加监控视频流的破解难度，提升数据传输的安全性，避免用户隐私泄露。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种基于安全加密芯片的数据传输方法及装置。
背景技术
目前，随着监控系统的快速发展，生活中随处可见的区域安装了监控摄像头，以实时监控对应区域发生的事情。例如，用户可以在私人生活区域安装监控摄像头，监控摄像头将采集到的视频传输至用户的手机，实现用户对私人生活区域的远程管控。
但是，传统的监控视频传输方法一般都是采用简单的加密算法进行视频帧加密，由于视频帧中可能涉及到用户的隐私信息，简单的数据加密方式容易倒是视频帧数据被轻易破解，导致视频数据被盗。无法保证视频数据传输的安全性，造成用户隐私泄露。
发明内容
本申请提供一种基于安全加密芯片的数据传输方法及装置，能够能够增加监控视频流的破解难度，提升数据传输的安全性，避免用户隐私泄露，解决现有监控视频流容易被破解导致用户隐私泄露的技术问题。
在第一方面，本申请提供了一种基于安全加密芯片的数据传输方法，包括：
监控端提取目标视频流，基于人脸检测算法识别所述目标视频流的各个视频帧，判断所述目标视频流是否包含指定人脸特征，所述指定人脸特征由请求端预先配置至所述监控端；
在确定所述目标视频流包含所述指定人脸特征的情况下，基于所述指定人脸特征转换的第一特征编码序列，使用设定的乱码填充算法处理所述目标视频流，将所述第一特征编码序列和所述目标视频流的编码序列通过所述乱码填充算法的编码填充规则进行合并，得到加密视频数据包，将所述加密视频数据包发送至对应的所述请求端；
所述请求端接收用户输入的人脸信息，判断所述人脸信息是否与所述指定人脸特征匹配，若是，将所述指定人脸特征转换为第二特征编码序列，基于对应所述乱码填充算法的乱码解密算法以及所述第二特征编码序列解密所述加密视频数据包，得到所述目标视频流。
进一步地，所述编码填充规则为多个，所述将所述第一特征编码序列和所述目标视频流的编码序列通过所述乱码填充算法的编码填充规则进行合并，包括：
从多个所述编码填充规则中选择目标填充规则，基于所述目标填充规则将所述第一特征编码序列和所述目标视频流的编码序列进行合并；或者，
使用多个所述编码填充规则将所述第一特征编码序列和所述目标视频流的编码序列进行合并。
进一步地，所述使用多个所述编码填充规则将所述第一特征编码序列和所述目标视频流的编码序列进行合并，包括：
按照所述目标视频流中各个视频帧的时间戳顺序，为对应时间戳顺序的视频帧配置相应的编码填充规则；
根据当前视频帧的时间戳顺序选择对应的编码填充规则将当前视频帧的编码序列和所述第一特征编码序列进行合并。
进一步地，还包括：
所述监控端周期性更新所述编码填充规则，在更新所述编码填充规则之后，向所述请求端发送更新指令以使所述请求端根据所述更新指令更新所述乱码解密算法的编码解密规则。
进一步地，所述基于人脸检测算法识别所述目标视频流的各个视频帧，判断所述目标视频流是否包含指定人脸特征，包括：
将所述目标视频流的每一个视频帧输入预构建的目标检测模型检测，基于所述目标检测模型的输出结果判断所述目标视频流是否包含指定人脸特征，所述目标检测模型预先根据所述指定人脸特征构建的训练数据集进行训练构建。
进一步地，在确定所述目标视频流包含所述指定人脸特征之后，还包括：
将所述目标视频流更新至所述训练数据集，基于更新后的所述训练数据集迭代训练所述目标检测模型。
在第二方面，本申请提供了一种基于安全加密芯片的数据传输装置，包括：
识别模块，用于通过监控端提取目标视频流，基于人脸检测算法识别所述目标视频流的各个视频帧，判断所述目标视频流是否包含指定人脸特征，所述指定人脸特征由请求端预先配置至所述监控端；
加密模块，用于在确定所述目标视频流包含所述指定人脸特征的情况下，基于所述指定人脸特征转换的第一特征编码序列，使用设定的乱码填充算法处理所述目标视频流，将所述第一特征编码序列和所述目标视频流的编码序列通过所述乱码填充算法的编码填充规则进行合并，得到加密视频数据包，将所述加密视频数据包发送至对应的所述请求端；
解密模块，用于通过所述请求端接收用户输入的人脸信息，判断所述人脸信息是否与所述指定人脸特征匹配，若是，将所述指定人脸特征转换为第二特征编码序列，基于对应所述乱码填充算法的乱码解密算法以及所述第二特征编码序列解密所述加密视频数据包，得到所述目标视频流。
进一步地，所述编码填充规则为多个，所述加密模块具体用于：
从多个所述编码填充规则中选择目标填充规则，基于所述目标填充规则将所述第一特征编码序列和所述目标视频流的编码序列进行合并；或者，
使用多个所述编码填充规则将所述第一特征编码序列和所述目标视频流的编码序列进行合并。
在第三方面，本申请提供了一种电子设备，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于安全加密芯片的数据传输方法。
在第四方面，本申请提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于安全加密芯片的数据传输方法。
本申请通过监控端提取目标视频流，基于人脸检测算法识别目标视频流的各个视频帧，判断目标视频流是否包含指定人脸特征，指定人脸特征由请求端预先配置至监控端；在确定目标视频流包含指定人脸特征的情况下，基于指定人脸特征转换的第一特征编码序列，使用设定的乱码填充算法处理目标视频流，将第一特征编码序列和目标视频流的编码序列通过乱码填充算法的编码填充规则进行合并，得到加密视频数据包，将加密视频数据包发送至对应的请求端；进而通过请求端接收用户输入的人脸信息，判断人脸信息是否与指定人脸特征匹配，若是，将指定人脸特征转换为第二特征编码序列，基于对应乱码填充算法的乱码解密算法以及第二特征编码序列解密加密视频数据包，得到目标视频流。采用上述技术手段，通过用户人脸特征结合乱码填充加密，能够增加监控视频流的破解难度，提升数据传输的安全性，避免用户隐私泄露。
附图说明
图1是本申请实施例一提供的一种基于安全加密芯片的数据传输方法的流程图；
图2是本申请实施例一中的目标视频流的乱码填充加密流程图；
图3是本申请实施例一中的加密视频数据包的传输示意图；
图4是本申请实施例一中目标视频流的处理流程图；
图5是本申请实施例二提供的一种基于安全加密芯片的数据传输装置的结构示意图；
图6是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作（或步骤）描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一：
图1给出了本申请实施例一提供的一种基于安全加密芯片的数据传输方法的流程图，本实施例中提供的基于安全加密芯片的数据传输方法可以由基于安全加密芯片的数据传输设备执行，该基于安全加密芯片的数据传输设备可以通过软件和/或硬件的方式实现，该基于安全加密芯片的数据传输设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该基于安全加密芯片的数据传输设备可以是视频监控系统等设备。
下述以该基于安全加密芯片的数据传输设备为执行基于安全加密芯片的数据传输方法的主体为例，进行描述。参照图1，该基于安全加密芯片的数据传输方法具体包括：
S110、监控端提取目标视频流，基于人脸检测算法识别所述目标视频流的各个视频帧，判断所述目标视频流是否包含指定人脸特征，所述指定人脸特征由请求端预先配置至所述监控端。
本申请实施例的一种基于安全加密芯片的数据传输方法，旨在通过对待传输监控视频流进行检测识别，判断待传输监控视频流是否包含用户的隐私信息，若是，则采用用户人脸特征结合乱码填充算法进行视频流加密，提供更为安全的数据加密传输机制，以增大视频数据被破解窃取的难度，保障用户隐私安全。而对于不包含用户隐私的视频流，则可以采用常规的视频加密传输机制，避免增加太多的视频加密成本，在保障视频流传输效率的同时提升了视频流传输的安全性。
示例性地，在实际目标视频流传输场景中，目标视频流指当前监控端准备发送至用户的手机客户端的视频流。例如，监控摄像头采集到视频流后将视频流发送至处理器，处理器对视频流进行加密处理后传输至用户的手机客户端。并且，在目标视频流中包含有指定人脸特征的情况下，采用用户人脸特征结合乱码填充算法进行视频流加密，保障视频流传输至用户客户端的安全性，避免视频流被轻易破解，导致用户隐私泄露的情况。
其中，指定人脸特征为请求端（即用户客户端）预先配置至监控端的包含用户人脸信息的特征数据。在搭建监控系统时，用户通过手机等客户端与监控端搭建物联网传输链路。通过上传自身、家人等人脸信息，将这部分人脸信息作为指定人脸特征配置至监控端，以用于后续向监控端请求目标视频流时，进行视频流的加密和鉴权验证。
可以理解的是，对于包含指定人脸特征的目标视频流，由于其涉及用户及家人的隐私信息画面，为了保护用户隐私信息，本实施例通过对包含有隐私画面的目标视频流进行相对更安全的加密传输机制，以提高目标视频流的破解难度，进而提高目标视频流加密传输的安全性，降低用户隐私泄露的风险。
具体地，在识别目标视频流是否包含指定人脸特征时，通过将所述目标视频流的每一个视频帧输入预构建的目标检测模型检测，基于所述目标检测模型的输出结果判断所述目标视频流是否包含指定人脸特征，所述目标检测模型预先根据所述指定人脸特征构建的训练数据集进行训练构建。
目标检测模型可以采用YOLOv3目标检测模型等神经网络模型。在训练目标检测模型时，通过收集包含指定人脸特征（即用户肖像）的图像数据构建训练数据集。进一步设计目标检测模型的神经网络结构和损失函数，使用标注了指定目标的训练数据集训练目标检测模型的网络参数。在模型训练完成之后，保存模型结构和参数，以用于后续进行指定目标检测，确定指定人脸特征。
YOLOv3目标检测模型主要由卷积层和池化层构成，网络中层的命名规则由其类别和在网络中第几次出现的编号构成，例如conv8表示网络中的第8个卷积层，upsamplling表示网络中的上采样层，网络中每层的输出特征图尺寸表示为“分辨率宽×分辨率高×通道数”，经过多层卷积层级池化层，最终得到图像中各个目标的矩形框及分类，以完成目标的检测。池化层是一种图像下采样操作，虽然会减少卷积特征层的参数，加快模型运算速度，但是会对上一层的卷积特征图造成语义信息的损失。YOLOv3目标检测网络考虑到计算资源问题，在本申请实施例中的YOLOv3目标检测网络的基础骨架为tiny-darknet，其参数只有4M，体量小适合落地。
基于该目标检测模型的检测结果，即可确定目标视频流是否包含指定人脸特征指定人脸特征，即是否包含指定的用户隐私信息。进而根据检测结果，在确定目标视频流包含指定人脸特征的情况下，适应性选择相应的加密机制加密传输监控视频流。
基于YOLOv3目标检测模型即可快速检测待传输监控视频流中每一张视频帧，确定视频帧中是否包含有指定人脸特征。相较于其他目标检测算法，YOLOv3目标检测模型的检测速度快，由于本方案只用确定视频帧中是否包含有指定人脸特征，而无需确定指定人脸特征在视频帧中的位置，因此通过YOLO可快速检测视频帧中的指定人脸特征，进而快速筛选出视频流中的指定人脸特征，以提高目标视频流的加密处理效率。
可选地，在一个实施例中，在确定所述目标视频流包含所述指定人脸特征的情况下，还将所述目标视频流更新至所述训练数据集，基于更新后的所述训练数据集迭代训练所述目标检测模型。
可以理解的是，对于识别到指定人脸特征的目标视频流，由于该目标视频流包含指定人脸特征，为了使目标检测模型更精准、快速地识别检测指定人脸特征，则通过将目标视频流加入训练数据集进行目标检测模型的迭代训练，可以进一步提升目标检测模型的检测精度和效率，优化监控视频流的加密传输效率。
S120、在确定所述目标视频流包含所述指定人脸特征的情况下，基于所述指定人脸特征转换的第一特征编码序列，使用设定的乱码填充算法处理所述目标视频流，将所述第一特征编码序列和所述目标视频流的编码序列通过所述乱码填充算法的编码填充规则进行合并，得到加密视频数据包，将所述加密视频数据包发送至对应的所述请求端。
进一步地，基于上述目标检测模型，若确定目标视频流包含指定人脸特征，则通过指定人脸特征结合乱码填充算法进行目标视频流加密。由于使用简单的加密方式加密目标视频流，一旦密钥信息被破解，数据传输链路就会出现数据泄露的情况，会导致数据内容轻易被窃取，影响数据传输的安全性。因此，监控端在发送包含用户隐私信息的目标视频流时，首先会对目标视频流进行乱码填充加密，以提升目标视频流的传输安全性。
具体地，乱码填充算法用于打乱目标视频流的编码字符序列，乱码处理后的目标视频帧需要通过对应的乱码解密算法才能查看目标视频流，以此来提高目标视频流的破解难度，降低隐私画面被泄露的风险。
乱码填充算法包括填充字符信息和编码填充规则，填充字符信息是指填充至目标视频流的编码序列中的字符信息，编码填充规则是指将填充字符信息填充至视频字符信息中的规则，如字符首尾拼接，字符交叉填充等。示例性的，假设填充字符信息为100，编码序列为011，编码填充规则为字符首尾拼接，则乱码处理后编码序列为100011。如果编码填充规则为字符交叉填充，则乱码处理后编码序列为100101。乱码填充算法对应的乱码解密算法可根据填充字符信息和编码填充规则对应确定。因此当用户的手机客户端接收到乱码填充处理后加密视频数据包时，可基于填充字符信息和编码填充规则确定乱码解密算法，并通过乱码解密算法获取目标视频流。需要说明的，上述的填充字符信息和编码填充规则只是示例，本实施例不对具体的填充字符信息和编码填充规则进行限定。
可以理解的是，目标视频流编码为数字信号时，对于每一帧视频帧，都是以一串二进制编码序列的形式传输的。则同样的，本申请实施例的监控端在加密目标视频流时，若目标视频流包含指定人脸特征，则将预先配置得到指定人脸特征转换为二进制序列，定义该二进制序列为第一特征编码序列，然后以第一特征编码序列作为填充字符信息，使用乱码填充算法的编码填充规则对目标视频流进行乱码填充加密。
需要说明的是，实际加密场景中，可以基于第一特征编码序列，按照编码填充规则对目标视频流的每个视频帧进行乱码填充加密。也可以将第一特征编码序列的所有字符按照字符顺序平均分配给各个视频帧，然后根据各个视频帧分配的字符序列按照编码填充规则进行乱码填充加密。本申请实施例对具体的乱码填充加密方案不做固定限制，在此不多赘述。
在一实施例中，乱码填充算法预先配置有一种编码填充规则，通过该编码填充规则对目标视频流进行加密，得到乱码处理后的加密视频数据包。
在另一实施例中，所述编码填充规则为多个，所述将所述第一特征编码序列和所述目标视频流的编码序列通过所述乱码填充算法的编码填充规则进行合并，包括：
从多个所述编码填充规则中选择目标填充规则，基于所述目标填充规则将所述第一特征编码序列和所述目标视频流的编码序列进行合并；或者，使用多个所述编码填充规则将所述第一特征编码序列和所述目标视频流的编码序列进行合并。
在编码填充规则为多个的情况下，则可以从中选择一个或者多个编码填充规则进行乱码填充加密。
其中，在选择一个编码填充规则进行乱码填充加密时，定义该为编码填充规则为目标填充规则，通过该目标填充规则对目标视频流进行加密，得到乱码处理后的加密视频数据包。
在选择多个编码填充规则进行乱码填充加密时，则通过将选择的多个编码填充规则构建规则列表，在加密目标视频流时，遍历规则列表获取编码填充规则进行目标视频流的乱码填充加密。
具体地，参照图2，在选择多个编码填充规则进行乱码填充加密的情况选，目标视频流的乱码填充加密流程包括：
S1201、按照所述目标视频流中各个视频帧的时间戳顺序，为对应时间戳顺序的视频帧配置相应的编码填充规则；
S1202、根据当前视频帧的时间戳顺序选择对应的编码填充规则将当前视频帧的编码序列和所述第一特征编码序列进行合并。
其中，参照下表1，提供本申请实施例的规则列表。
表1
| 序列号 | 字符填充规则 |
| ① | 字符首尾连接 |
| ② | 字符交叉合并 |
参考表1，根据该多个编码填充规则，按照目标视频流中各个视频帧的时间戳顺序，为对应时间戳顺序的视频帧配置相应的编码填充规则。例如，将目标视频流前一半的视频帧使用填充规则“字符首尾连接”，对目标视频流后一半视频帧使用字符填充规则“字符交叉合并”。以此分别对不同时间戳顺序的视频帧进行乱码填充加密，进而得到加密视频数据包。
需要说明的是，上述编码填充规则仅为本申请实施例的一个示例，实际应用中，根据数据加密需求，可以适应性选择各种复杂的编码填充规则进行视频数据加密。本申请实施例对具体的编码填充规则不做固定限制，在此不多赘述。
可选地，在一个实施例中，基于选择的多个编码填充规则，在进行目标视频流加密时，可以采用迭代加密的方式进行视频流的加密。对于目标视频的编码序列和第一特征编码序列，首先使用第一个编码填充规则进行乱码填充加密得到加密数据。进而在加密数据的基础上，使用第二个编码填充规则，结合第一特征编码序列进一步进行加密数据的乱码填充作业。以此类推，通过使用第一特征编码序列结合不同的编码填充规则进行加密数据的迭代乱码填充加密，得到最终的加密视频数据包。通过迭代乱码填充加密，可以提供更为安全、复杂的数据加密方案，提升视频流传输安全性。
在一个实施例中，所述监控端周期性更新所述编码填充规则，在更新所述编码填充规则之后，向所述请求端发送更新指令以使所述请求端根据所述更新指令更新所述乱码解密算法的编码解密规则。
通过定时更新编码填充规则，可以进一步增大数据破解难度。可以理解的是，长期使用同一编码填充规则会增大编码填充规则被破解的几率。因此，通过周期性更新编码填充规则，来提升编码填充规则破解的难度，以此来增大数据被窃取的难度，提升视频数据传输的安全性。
具体地，通过更新指令可以提示请求端按照更新后的编码填充规则来更新乱码解密算法的编码解密规则。以使得请求端的乱码解密算法与监控端的乱码加密算法保持同步。
完成上述目标视频流的乱码填充加密处理后，如图3所示，监控端11将以此生成的加密视频数据包发送至请求端12。
可选地，对于不包含指定人脸特征的目标视频流，由于这部分视频流对用户隐私的保护需求性较低，则为了减少视频加密成本，提升视频流传输效率，可以直接使用设定的加密信息进行目标视频流的加密，得到加密视频数据包。根据目标视频流的视频内容是否涉及用户隐私情况，适应性选择不同的加密传输机制，可以在保障用户隐私不轻易泄露，提升用户隐私安全性的同时，提升视频加密传输效率和灵活性。
S130、所述请求端接收用户输入的人脸信息，判断所述人脸信息是否与所述指定人脸特征匹配，若是，将所述指定人脸特征转换为第二特征编码序列，基于对应所述乱码填充算法的乱码解密算法以及所述第二特征编码序列解密所述加密视频数据包，得到所述目标视频流。
进一步地，在将加密视频数据包传输至请求端。对于请求端一端，为了避免不相关的人员查看到包含用户隐私信息的目标视频流，则本申请通过人脸特征匹配的方式，获取当前用户输入的人脸信息，将人脸信息与预存的指定人脸特征匹配，鉴权当前用户是否具备目标视频流的查看权限。在确定当前用户具备查看权限的情况下，对加密视频数据包进行解密。
实际应用中，用户使用手机等客户端向监控端请求目标视频流，通过用户人脸特征匹配完成鉴权后，接收监控端发送的加密视频数据包，进而对加密视频数据包进行解密，展示给当前用户。
在解密加密视频数据包时，将指定人脸特征转换为二进制序列的数字信号，定义该数字信号为第二特征编码序列，基于该第二特征编码序列和对应乱码解密算法的乱码解密规则，即可解密加密视频数据包吗，得到最终的目标视频流。
上述，参照图4，通过监控端提取目标视频流，基于人脸检测算法识别目标视频流的各个视频帧，判断目标视频流是否包含指定人脸特征，指定人脸特征由请求端预先配置至监控端；在确定目标视频流包含指定人脸特征的情况下，基于指定人脸特征转换的第一特征编码序列，使用设定的乱码填充算法处理目标视频流，将第一特征编码序列和目标视频流的编码序列通过乱码填充算法的编码填充规则进行合并，得到加密视频数据包，将加密视频数据包发送至对应的请求端；进而通过请求端接收用户输入的人脸信息，判断人脸信息是否与指定人脸特征匹配，若是，将指定人脸特征转换为第二特征编码序列，基于对应乱码填充算法的乱码解密算法以及第二特征编码序列解密加密视频数据包，得到目标视频流。采用上述技术手段，通过用户人脸特征结合乱码填充加密，能够增加监控视频流的破解难度，提升数据传输的安全性，避免用户隐私泄露。并且，对于不包含指定人脸特征的视频流，可以采用正常加密信息进行加密即可。通过对不包含用户隐私信息的视频流采用常规的加密传输方式，不会增加太多的视频加密成本，在保障视频流传输效率的同时提升了视频流传输的安全性。
实施例二：
在上述实施例的基础上，图5为本申请实施例二提供的一种基于安全加密芯片的数据传输装置的结构示意图。参考图5，本实施例提供的基于安全加密芯片的数据传输装置具体包括：识别模块21、加密模块22和解密模块23。
其中，识别模块21用于通过监控端提取目标视频流，基于人脸检测算法识别所述目标视频流的各个视频帧，判断所述目标视频流是否包含指定人脸特征，所述指定人脸特征由请求端预先配置至所述监控端；
加密模块22用于在确定所述目标视频流包含所述指定人脸特征的情况下，基于所述指定人脸特征转换的第一特征编码序列，使用设定的乱码填充算法处理所述目标视频流，将所述第一特征编码序列和所述目标视频流的编码序列通过所述乱码填充算法的编码填充规则进行合并，得到加密视频数据包，将所述加密视频数据包发送至对应的所述请求端；
解密模块23用于通过所述请求端接收用户输入的人脸信息，判断所述人脸信息是否与所述指定人脸特征匹配，若是，将所述指定人脸特征转换为第二特征编码序列，基于对应所述乱码填充算法的乱码解密算法以及所述第二特征编码序列解密所述加密视频数据包，得到所述目标视频流。
具体地，所述编码填充规则为多个，所述加密模块22具体用于：
从多个所述编码填充规则中选择目标填充规则，基于所述目标填充规则将所述第一特征编码序列和所述目标视频流的编码序列进行合并；或者，
使用多个所述编码填充规则将所述第一特征编码序列和所述目标视频流的编码序列进行合并。
具体地，所述加密模块22按照所述目标视频流中各个视频帧的时间戳顺序，为对应时间戳顺序的视频帧配置相应的编码填充规则；
根据当前视频帧的时间戳顺序选择对应的编码填充规则将当前视频帧的编码序列和所述第一特征编码序列进行合并。
具体地，该基于安全加密芯片的数据传输装置还包括：
通过所述监控端周期性更新所述编码填充规则，在更新所述编码填充规则之后，向所述请求端发送更新指令以使所述请求端根据所述更新指令更新所述乱码解密算法的编码解密规则。
具体地，识别模块21用于将所述目标视频流的每一个视频帧输入预构建的目标检测模型检测，基于所述目标检测模型的输出结果判断所述目标视频流是否包含指定人脸特征，所述目标检测模型预先根据所述指定人脸特征构建的训练数据集进行训练构建。
具体地，识别模块21还用于将所述指定人脸特征更新至所述训练数据集，基于更新后的所述训练数据集迭代训练所述目标检测模型。
上述，通过监控端提取目标视频流，基于人脸检测算法识别目标视频流的各个视频帧，判断目标视频流是否包含指定人脸特征，指定人脸特征由请求端预先配置至监控端；在确定目标视频流包含指定人脸特征的情况下，基于指定人脸特征转换的第一特征编码序列，使用设定的乱码填充算法处理目标视频流，将第一特征编码序列和目标视频流的编码序列通过乱码填充算法的编码填充规则进行合并，得到加密视频数据包，将加密视频数据包发送至对应的请求端；进而通过请求端接收用户输入的人脸信息，判断人脸信息是否与指定人脸特征匹配，若是，将指定人脸特征转换为第二特征编码序列，基于对应乱码填充算法的乱码解密算法以及第二特征编码序列解密加密视频数据包，得到目标视频流。采用上述技术手段，通过用户人脸特征结合乱码填充加密，能够增加监控视频流的破解难度，提升数据传输的安全性，避免用户隐私泄露。
本申请实施例二提供的基于安全加密芯片的数据传输装置可以用于执行上述实施例一提供的基于安全加密芯片的数据传输方法，具备相应的功能和有益效果。
实施例三：
本申请实施例三提供了一种电子设备，参照图6，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的基于安全加密芯片的数据传输方法对应的程序指令/模块（例如，基于安全加密芯片的数据传输装置中的识别模块、加密模块和解密模块）。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块33用于进行数据传输。
处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于安全加密芯片的数据传输方法。
输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
上述提供的电子设备可用于执行上述实施例一提供的基于安全加密芯片的数据传输方法，具备相应的功能和有益效果。
实施例四：
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于安全加密芯片的数据传输方法，该基于安全加密芯片的数据传输方法包括：监控端提取目标视频流，基于人脸检测算法识别所述目标视频流的各个视频帧，判断所述目标视频流是否包含指定人脸特征，所述指定人脸特征由请求端预先配置至所述监控端；在确定所述目标视频流包含所述指定人脸特征的情况下，基于所述指定人脸特征转换的第一特征编码序列，使用设定的乱码填充算法处理所述目标视频流，将所述第一特征编码序列和所述目标视频流的编码序列通过所述乱码填充算法的编码填充规则进行合并，得到加密视频数据包，将所述加密视频数据包发送至对应的所述请求端；所述请求端接收用户输入的人脸信息，判断所述人脸信息是否与所述指定人脸特征匹配，若是，将所述指定人脸特征转换为第二特征编码序列，基于对应所述乱码填充算法的乱码解密算法以及所述第二特征编码序列解密所述加密视频数据包，得到所述目标视频流。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于安全加密芯片的数据传输方法，还可以执行本申请任意实施例所提供的基于安全加密芯片的数据传输方法中的相关操作。
上述实施例中提供的基于安全加密芯片的数据传输装置、存储介质及电子设备可执行本申请任意实施例所提供的基于安全加密芯片的数据传输方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的基于安全加密芯片的数据传输方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。
Claims (10)
1.一种基于安全加密芯片的数据传输方法，其特征在于，包括：
监控端提取目标视频流，基于人脸检测算法识别所述目标视频流的各个视频帧，判断所述目标视频流是否包含指定人脸特征，所述指定人脸特征由请求端预先配置至所述监控端；
在确定所述目标视频流包含所述指定人脸特征的情况下，基于所述指定人脸特征转换的第一特征编码序列，使用设定的乱码填充算法处理所述目标视频流，将所述第一特征编码序列和所述目标视频流的编码序列通过所述乱码填充算法的编码填充规则进行合并，得到加密视频数据包，将所述加密视频数据包发送至对应的所述请求端；
所述请求端接收用户输入的人脸信息，判断所述人脸信息是否与所述指定人脸特征匹配，若是，将所述指定人脸特征转换为第二特征编码序列，基于对应所述乱码填充算法的乱码解密算法以及所述第二特征编码序列解密所述加密视频数据包，得到所述目标视频流。
2.根据权利要求1所述的基于安全加密芯片的数据传输方法，其特征在于，所述编码填充规则为多个，所述将所述第一特征编码序列和所述目标视频流的编码序列通过所述乱码填充算法的编码填充规则进行合并，包括：
从多个所述编码填充规则中选择目标填充规则，基于所述目标填充规则将所述第一特征编码序列和所述目标视频流的编码序列进行合并；或者，
使用多个所述编码填充规则将所述第一特征编码序列和所述目标视频流的编码序列进行合并。
3.根据权利要求2所述的基于安全加密芯片的数据传输方法，其特征在于，所述使用多个所述编码填充规则将所述第一特征编码序列和所述目标视频流的编码序列进行合并，包括：
按照所述目标视频流中各个视频帧的时间戳顺序，为对应时间戳顺序的视频帧配置相应的编码填充规则；
根据当前视频帧的时间戳顺序选择对应的编码填充规则将当前视频帧的编码序列和所述第一特征编码序列进行合并。
4.根据权利要求1所述的基于安全加密芯片的数据传输方法，其特征在于，还包括：
所述监控端周期性更新所述编码填充规则，在更新所述编码填充规则之后，向所述请求端发送更新指令以使所述请求端根据所述更新指令更新所述乱码解密算法的编码解密规则。
5.根据权利要求1所述的基于安全加密芯片的数据传输方法，其特征在于，所述基于人脸检测算法识别所述目标视频流的各个视频帧，判断所述目标视频流是否包含指定人脸特征，包括：
将所述目标视频流的每一个视频帧输入预构建的目标检测模型检测，基于所述目标检测模型的输出结果判断所述目标视频流是否包含指定人脸特征，所述目标检测模型预先根据所述指定人脸特征构建的训练数据集进行训练构建。
6.根据权利要求5所述的基于安全加密芯片的数据传输方法，其特征在于，在确定所述目标视频流包含所述指定人脸特征之后，还包括：
将所述目标视频流更新至所述训练数据集，基于更新后的所述训练数据集迭代训练所述目标检测模型。
7.一种基于安全加密芯片的数据传输装置，其特征在于，包括：
识别模块，用于通过监控端提取目标视频流，基于人脸检测算法识别所述目标视频流的各个视频帧，判断所述目标视频流是否包含指定人脸特征，所述指定人脸特征由请求端预先配置至所述监控端；
加密模块，用于在确定所述目标视频流包含所述指定人脸特征的情况下，基于所述指定人脸特征转换的第一特征编码序列，使用设定的乱码填充算法处理所述目标视频流，将所述第一特征编码序列和所述目标视频流的编码序列通过所述乱码填充算法的编码填充规则进行合并，得到加密视频数据包，将所述加密视频数据包发送至对应的所述请求端；
解密模块，用于通过所述请求端接收用户输入的人脸信息，判断所述人脸信息是否与所述指定人脸特征匹配，若是，将所述指定人脸特征转换为第二特征编码序列，基于对应所述乱码填充算法的乱码解密算法以及所述第二特征编码序列解密所述加密视频数据包，得到所述目标视频流。
8.根据权利要求7所述的基于安全加密芯片的数据传输装置，其特征在于，所述编码填充规则为多个，所述加密模块具体用于：
从多个所述编码填充规则中选择目标填充规则，基于所述目标填充规则将所述第一特征编码序列和所述目标视频流的编码序列进行合并；或者，
使用多个所述编码填充规则将所述第一特征编码序列和所述目标视频流的编码序列进行合并。
9.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一所述的基于安全加密芯片的数据传输方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6任一所述的基于安全加密芯片的数据传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211023071.4A CN115134080B (zh) | 2022-08-25 | 2022-08-25 | 基于安全加密芯片的数据传输方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211023071.4A CN115134080B (zh) | 2022-08-25 | 2022-08-25 | 基于安全加密芯片的数据传输方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115134080A true CN115134080A (zh) | 2022-09-30 |
| CN115134080B CN115134080B (zh) | 2022-12-20 |
Family
ID=83387730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211023071.4A Active CN115134080B (zh) | 2022-08-25 | 2022-08-25 | 基于安全加密芯片的数据传输方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115134080B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115361239A (zh) * | 2022-10-20 | 2022-11-18 | 广州万协通信息技术有限公司 | 一种行车存储数据上传方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103152556A (zh) * | 2013-03-15 | 2013-06-12 | 云南大学 | 一种用于隐私保护的监控视频加密方法 |
| US20130156185A1 (en) * | 2011-12-14 | 2013-06-20 | Electronics And Telecommunications Research Institute | Surveillance video transmission apparatus and method and surveillance video receiving apparatus and method |
| CN108711208A (zh) * | 2018-05-21 | 2018-10-26 | 中兴智能视觉大数据技术（湖北）有限公司 | 一种大数据门禁管理系统及其管理方法 |
| CN109615256A (zh) * | 2018-12-17 | 2019-04-12 | 武汉烽火信息集成技术有限公司 | 智慧园区安防风险控制方法、存储介质、电子设备及系统 |
| CN110620891A (zh) * | 2019-09-27 | 2019-12-27 | 上海依图网络科技有限公司 | 摄像系统以及视频处理方法 |
| EP3767872A1 (fr) * | 2019-07-18 | 2021-01-20 | In-Idt | Procede de generation de cle privee a partir de caracteristiques biometriques |
| US20210099433A1 (en) * | 2019-09-26 | 2021-04-01 | At&T Intellectual Property I, L.P. | Video communication data security |
| US20210392116A1 (en) * | 2018-10-02 | 2021-12-16 | Ncs Pte. Ltd. | Privacy Protection Camera |
| CN114915805A (zh) * | 2022-07-18 | 2022-08-16 | 广州万协通信息技术有限公司 | 基于双重加密机制的视频流传输方法及安全芯片装置 |
| CN114938465A (zh) * | 2022-07-25 | 2022-08-23 | 广州万协通信息技术有限公司 | 一种基于特征序列的加密数据传输方法及装置 |
-
2022
- 2022-08-25 CN CN202211023071.4A patent/CN115134080B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130156185A1 (en) * | 2011-12-14 | 2013-06-20 | Electronics And Telecommunications Research Institute | Surveillance video transmission apparatus and method and surveillance video receiving apparatus and method |
| CN103152556A (zh) * | 2013-03-15 | 2013-06-12 | 云南大学 | 一种用于隐私保护的监控视频加密方法 |
| CN108711208A (zh) * | 2018-05-21 | 2018-10-26 | 中兴智能视觉大数据技术（湖北）有限公司 | 一种大数据门禁管理系统及其管理方法 |
| US20210392116A1 (en) * | 2018-10-02 | 2021-12-16 | Ncs Pte. Ltd. | Privacy Protection Camera |
| CN109615256A (zh) * | 2018-12-17 | 2019-04-12 | 武汉烽火信息集成技术有限公司 | 智慧园区安防风险控制方法、存储介质、电子设备及系统 |
| EP3767872A1 (fr) * | 2019-07-18 | 2021-01-20 | In-Idt | Procede de generation de cle privee a partir de caracteristiques biometriques |
| US20210099433A1 (en) * | 2019-09-26 | 2021-04-01 | At&T Intellectual Property I, L.P. | Video communication data security |
| CN110620891A (zh) * | 2019-09-27 | 2019-12-27 | 上海依图网络科技有限公司 | 摄像系统以及视频处理方法 |
| CN114915805A (zh) * | 2022-07-18 | 2022-08-16 | 广州万协通信息技术有限公司 | 基于双重加密机制的视频流传输方法及安全芯片装置 |
| CN114938465A (zh) * | 2022-07-25 | 2022-08-23 | 广州万协通信息技术有限公司 | 一种基于特征序列的加密数据传输方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115361239A (zh) * | 2022-10-20 | 2022-11-18 | 广州万协通信息技术有限公司 | 一种行车存储数据上传方法、装置、设备及存储介质 |
| CN115361239B (zh) * | 2022-10-20 | 2023-01-10 | 广州万协通信息技术有限公司 | 一种行车存储数据上传方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115134080B (zh) | 2022-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109218825B (zh) | 一种视频加密系统 | |
| CN109151508B (zh) | 一种视频加密方法 | |
| CN114915805B (zh) | 基于双重加密机制的视频流传输方法及安全芯片装置 | |
| CN112949545B (zh) | 识别人脸图像的方法、装置、计算设备和介质 | |
| KR20110067257A (ko) | 보안관제서버 및 보안관제서버의 영상데이터 관리 방법 | |
| US20230229805A1 (en) | Privacy-Preserving Image Distribution | |
| CN105812366A (zh) | 服务器、反爬虫系统和反爬虫验证方法 | |
| CN111245783A (zh) | 一种基于数字加密技术的隔离环境数据传递装置及方法 | |
| CN115134080B (zh) | 基于安全加密芯片的数据传输方法及装置 | |
| KR101338341B1 (ko) | Ｃｃｔｖ 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법 | |
| US20200329039A1 (en) | Securing digital data transmission in a communication network | |
| KR101331201B1 (ko) | Ｃｃｔｖ 카메라 촬영 영상의 보안 전송 시스템 및 그 방법 | |
| CN114500064A (zh) | 一种通信安全验证方法、装置、存储介质及电子设备 | |
| CN115114667A (zh) | 一种安全芯片的隐私信息处理分类方法及装置 | |
| KR102038217B1 (ko) | 경량암호 알고리즘 기반의 스마트 기기 내의 개인정보 및 콘텐츠 암복호화를 통한 정보 보안 시스템, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 | |
| CN115086718A (zh) | 一种视频流加密方法及装置 | |
| CN115426189A (zh) | 一种基于大数据的信息安全防护方法和系统 | |
| CN109788249B (zh) | 基于工业互联网操作系统的视频监控控制方法 | |
| CN109120589B (zh) | 一种基于加密密码的终端信息保护方法和装置 | |
| CN112702623A (zh) | 视频处理方法、装置、设备及存储介质 | |
| CN113052044A (zh) | 识别虹膜图像的方法、装置、计算设备和介质 | |
| Choi et al. | A distributed cloud based video storage system with privacy protection | |
| CN115242548B (zh) | 一种隐私数据定向加密方法、装置、电子设备及存储介质 | |
| CN115225869B (zh) | 一种监控数据的定向处理方法及装置 | |
| CN116456127B (zh) | 一种视频处理系统、方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |