CN109089084A - 视频线传输数据在线提取与隐形存储控制装置及其工作方法 - Google Patents
视频线传输数据在线提取与隐形存储控制装置及其工作方法 Download PDFInfo
- Publication number
- CN109089084A CN109089084A CN201811101563.4A CN201811101563A CN109089084A CN 109089084 A CN109089084 A CN 109089084A CN 201811101563 A CN201811101563 A CN 201811101563A CN 109089084 A CN109089084 A CN 109089084A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- video
- control module
- usb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种视频线传输数据在线提取与隐形存储控制装置及其工作方法,涉及视频控制技术领域。本发明提供的一种视频线传输数据在线提取与隐形存储控制装置,采用视频信息旁路透传技术、视频线数据在线捕获与定时提取技术、后背电源与时间戳技术、嵌入式图像压缩与文件系统管理技术、USB接口访问与隐形存储控制技术等,通过嵌入式微控制器综合调度,实现了视频数据的旁路透传、受控提取和隐形存储,并保证了隐形存储数据具有事件溯源功能。
Description
技术领域
本发明涉及视频控制技术领域,具体涉及一种视频线传输数据在线提取与隐形存储控制装置及其工作方法。
背景技术
情报搜集、信息监控始终是企事业单位在维护自身利益、追求事业发展、获取竞争优势中,所采取的必要手段,以信息攻防为特征的信息战、贸易战,本身就是一场没有硝烟的战争。为此,国内外纷纷开展可信计算、信息加密、安全控制等技术,提高信息系统的防护能力。但是,对于大量敏感、涉密信息的视频输出路径和窗口,除了采取电磁屏蔽、低辐射等技术手段外,缺乏其他必要的安全防护措施,这就为以信息搜集为使命的情报部门提供了切实可行的技术途径。同时,基于视频输出,采取相关技术措施,进行信息监控、事件追踪,可以更为隐蔽,消除操作人员对视频监控等外部监控手段的敏感性和抵触情绪。
目前,针对视频信号或视频内容,采取的主要视频控制措施如下。
视频采集与压缩。通过视频信号采集装置、计算机等,对显示的视频数据进行采集、提取、压缩和转发。采集过程实时连续、直接转发,一般不在本地存储。
视频监控。采用摄像头装置监控现场环境的视频信息,并通过网络传输等,将现场视频采集内容存储于本地存储系统,或通过网络传输至网络终端或云端。
多屏显示控制。通过视频输出接口扩展、软件驱动控制、虚拟化等技术,将视频信息输出至多个显示终端,或在同一终端显示多个视频窗口。
屏幕直接捕获和存储。采用软件抓屏、图像拷贝、外部摄录等方式,获取视频信息并存储。
由此可见,现有视频控制技术,无法满足情报搜集、信息监控等应用需求。因此,如何针对情报搜集等应用需求,基于通用视频输出线,设计小型化、强隐蔽装置,提供视频输出信息的在线监控、定时提取和隐形存储功能,满足情报部门信息搜集、信息监控,以及涉密部门事件审计、事后追溯等应用需求,成为了亟待解决的技术问题。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是:如何如何针对情报搜集等应用需求,基于通用视频输出线,设计小型化、强隐蔽装置,提供视频输出信息的在线监控、定时提取和隐形存储功能。
(二)技术方案
为了解决上述技术问题,本发明提供了一种视频线传输数据在线提取与隐形存储控制装置,包括视频输入接口1、视频透传模块2、视频数据在线提取与存储控制模块3、视频输出接口4和USB消隐控制模块5;其中,视频数据在线提取与存储控制模块3是整个控制装置的核心控制部分,包括VGA/DVI模数转换模块6、HDMI/DVI数字接收模块7、视频数据缓存模块8、微处理器控制模块9、后备电源与实时控制模块10、参数控制模块11、图像帧提取模块12、图像处理模块13、文件处理模块14、存储模块15和USB接口控制模块16;
其中,该控制装置在工作时,视频输入接口1与外部主机图形适配卡等视频输出设备直接相连,视频输出接口4与外部显示器等视频显示设备直接相连,并通过USB消隐控制模块5或USB接口控制模块16与外部主机USB接口互连;其中,视频线传输数据在线提取与隐形存储控制装置通过USB接口控制模块16直接与外部主机USB接口连接时,由USB主机供电,定时控制将视频线传输数据隐形存储到其内嵌存储模块15中;通过USB消隐控制模块5与外部主机USB接口连接时,接收主机对视频线传输数据在线提取与隐形存储控制装置的参数配置,或者响应主机以文件方式读写内嵌存储模块15中的监控数据;
其中,所述视频透传模块2用于采用透明传输方式,直接将视频信号由视频输入接口1传输至视频输出接口4,使得所述视频输出设备输出的视频图像能够实时显示到所述视频显示设备上;
所述USB消隐控制模块5,用于控制视频数据在线提取与存储控制模块3的可访问性,即主机仅在通过USB消隐控制模块5与控制视频数据在线提取与存储控制模块3连接时,才能访问存储模块15中的存储数据,否则,只能提供供电电源;
所述VGA/DVI模数转换模块6,用于针对VGA、DVI视频传输中的模拟信号,以旁路工作方式,实时采集并进行模数转换,输出RGB数字信号;
所述HDMI/DVI数字接收模块7,用于针对HDMI、DVI视频传输中的数字差分信号,以旁路工作方式,实时采集并转换和输出RGB数字信号;
所述视频数据缓存模块8,用于将前端采集并转化的来自VGA/DVI模数转换模块6和/或HDMI/DVI数字接收模块7的RGB数字信号,进行数据缓存,以供微处理器控制模块9提取、处理;
所述微处理器控制模块9用于协调视频数据在线提取与存储控制模块3内各模块的调用、中断控制、资源访问控制、信息处理与计算;
所述后备电源与实时控制模块10,用于为该装置提供系统时钟,确保装置无论是否外接电源,都能准确的记录当前实时钟信息,确保本装置在存储视频线上的图像帧数据时,微处理器控制模块9能够为存储的文件提供该时间信息;
所述参数控制模块11,用于该装置在上电工作时的初始化操作参数;
所述图像帧提取模块12,用于在微处理器控制模块9控制下,从视频数据缓存模块8读取视频数据,并按行频、场频构成帧像素结构化数据;
所述图像处理模块13,用于基于提取的原始像素数据帧,进行RGB颜色模式转换、监控时间信息融合、离散余弦变换dct、亮度/色度频率系数的量化、霍夫曼编码处理,压缩形成JPEG文件格式;
所述文件处理模块14,用于基于文件系统管理架构,设计适宜微处理器控制模块9管理控制的简化FAT32文件系统,实现存储资源的管理、分配和文件的存储、访问与管理;
所述存储模块15,用于提供数据存储功能,即使数据以文件形式存储于该模块的逻辑扇区中;
所述USB接口控制模块16,作为USB设备端控制模块,用于支持特定模式下主机接口的访问。
优选地,所述USB消隐控制模块5包括USB信号监控电路、差分信号阻抗控制电路和USB驱动增强电路,其中,用于通过USB信号监控电路,监测USB接口控制模块16的USB信号电缆,确定当前传输速率下的阻抗特征;然后基于信号反馈调节技术,调节差分信号阻抗控制电路的阻抗参数,获取当前传输速率下的USB链路传输最优阻抗;最后通过USB驱动增强电路,提高USB链路传输驱动能力,实现主机USB接口与USB接口控制模块16的正常通信,同时,USB消隐控制模块5还通过调整链路阻抗,切断主机对视频数据在线提取与存储控制模块3的访问,达到视频数据在线提取与存储的隐形控制。
优选地,所述图像处理模块13,具有用于:
1)将图像帧提取模块12形成的原始像素数据帧从RGB空间映射到256级的YCbCr空间,并在数据帧(图像帧)对应的右下角处,融合后备电源与实时控制模块10提供的当前时间信息,并将融合后的YCbCr空间数据结构,按8×8像素点方式分块、重构图像帧数据结构,形成图像帧子块数据结构;
2)对每一子块采用正向离散余弦变换FDCT进行编码变换,并根据参数控制模块11提供的压缩参数,对亮度和色度进行量化;
3)对编码变换后的数据按Zig-Zag方式重排,确保最终形成的图像上的相邻点与重排的数据排序一致;
4)然后对排序后的各子块,按顺序进行huffman编码,最终形成图像帧的压缩数据;
5)最后,按照JPEG图像格式,构造由图像帧形成的压缩文件;文件数据包括:图像开始SOI标识、定义量化表DQT(包括亮度和色度)标识、帧图像开始SOF0标识、定义Huffman表DHT(包括亮度、色度的DC、AC部分)标识、扫描开始SOS标识、由步骤4)形成的图像帧编码以及图像结束EOI标识。
优选地,所述文件处理模块14,具体用于:
1)按引导区、FAT区、目录区、数据区建立简化的FAT32文件系统数据结构;
2)根据存储模块15的物理参数,构成简化的引导扇区结构化数据,包括BIOS参数块、FAT32参数,确定引导扇区大小、FAT空间大小和簇大小,并将该引导扇区结构化数据写入存储模块15的引导扇区;
3)初始化FAT区,建立FAT簇链数据管理结构,确定已用空间簇链结构和可用存储空间,并以确定的已用空间簇链结构和可用存储空间更新存储模块15的FAT区;
4)根据引导区大小、FAT区大小,确定目录区位置,在有监控数据写入时,根据FAT区剩余空间和写入数据大小,分配起始簇和可用簇,构建文件簇链结构,然后按参数控制模块11提供的参数配置数据,后备电源与实时控制模块10提供的当前时间信息,形成用于监控数据文件的目录区结构参数,同时更新存储模块15的FAT区数据和目录区数据;
5)按照待写入监控数据目录区确定的起始簇号和FAT区的簇链结构,将监控数据写入存储模块15;在写入监控数据时,若存储模块15已写满,即FAT区无剩余写入空间时,则将已按时间排序的最久远的历史监控数据所用空间回收,将空间重新分配给当前待写入的监控数据。
本发明还提供了一种所述的装置的工作方法,包括以下步骤:
1)后备电源与实时控制模块10通过后备电源供电,实时记录当前时间信息;
2)将视频输入接口1与外部主机图形适配卡等视频输出设备连接,将视频输出接口4与外部视频显示设备连接,将USB消隐控制模块5或USB接口控制模块16与外部主机USB接口互连,使得视频线传输数据在线提取与隐形存储控制装置通过USB接口供电;其中,USB接口控制模块16提供USB接口访问驱动、传输链路控制,并在检测到传输链路串接USB消隐控制模块5时,响应外部主机对视频线传输数据在线提取与隐形存储控制装置的访问控制;在检测USB通路没有串接USB消隐控制模块5时,禁止主机访问;
3)视频输入接口1将视频输出设备的视频信息,通过视频透传模块2直接转发至视频输出接口4,显示于所述外部视频显示设备;
4)视频数据在线提取与存储控制模块3对视频输入接口1进行实时监控,采集视频线传输数据,其中对于VGA/DVI视频传输接口对应的模拟信号,通过VGA/DVI模数转换模块6进行模数转换输出;对于HDMI/DVI视频接口的差分TMDS信号,经HDMI/DVI数字接收模块7进行解码输出;
5)视频数据缓存模块8接收来自VGA/DVI模数转换模块6和/或HDMI/DVI数字接收模块7的数据后,进行缓存;
6)微处理控制模块9上电,完成系统初始化与启动后,首先通过后备电源与实时控制模块10获取所述当前时间信息;然后访问所述存储模块15,获取参数配置数据,提供给参数控制模块11;最后定时从视频数据缓存模块8读取数据,由图像帧提取模块12构成待处理的原始像素数据帧,通过图像处理模块13根据所述参数配置数据对该原始像素数据帧进行分块、变换、量化、编码处理,压缩形成JPEG文件;
7)微处理控制模块9调用文件处理模块14和存储管理模块,管理和访问存储模块15,将压缩后的JPEG格式图像文件存储于存储模块15。
优选地,在步骤6)中,所述通过图像处理模块13根据所述参数配置数据对该原始像素数据帧进行分块、变换、量化、编码处理,压缩形成JPEG文件的步骤,具包括以下步骤:
1)将图像帧提取模块12形成的原始像素数据帧从RGB空间映射到256级的YCbCr空间,并在数据帧(图像帧)对应的右下角处,融合后备电源与实时控制模块10提供的当前时间信息,并将融合后的YCbCr空间数据结构,按8×8像素点方式分块、重构图像帧数据结构,形成图像帧子块数据结构;
2)对每一子块采用正向离散余弦变换FDCT进行编码变换,并根据参数控制模块11提供的压缩参数,对亮度和色度进行量化;
3)对编码变换后的数据按Zig-Zag方式重排,确保最终形成的图像上的相邻点与重排的数据排序一致;
4)然后对排序后的各子块,按顺序进行huffman编码,最终形成图像帧的压缩数据;
5)最后,按照JPEG图像格式,构造由图像帧形成的压缩文件;文件数据包括:图像开始SOI标识、定义量化表DQT(包括亮度和色度)标识、帧图像开始SOF0标识、定义Huffman表DHT(包括亮度、色度的DC、AC部分)标识、扫描开始SOS标识、由步骤4)形成的图像帧编码以及图像结束EOI标识。
优选地,步骤7)中,通过文件处理模块14将压缩后的JPEG格式图像文件存储于存储模块15具体包括以下步骤:
1)按引导区、FAT区、目录区、数据区建立简化的FAT32文件系统数据结构;
2)根据存储模块15的物理参数,构成简化的引导扇区结构化数据,包括BIOS参数块、FAT32参数,确定引导扇区大小、FAT空间大小和簇大小,并将该引导扇区结构化数据写入存储模块15的引导扇区;
3)初始化FAT区,建立FAT簇链数据管理结构,确定已用空间簇链结构和可用存储空间,并以确定的已用空间簇链结构和可用存储空间更新存储模块15的FAT区;
4)根据引导区大小、FAT区大小,确定目录区位置,在有监控数据写入时,根据FAT区剩余空间和写入数据大小,分配起始簇和可用簇,构建文件簇链结构,然后按参数控制模块11提供的参数配置数据,后备电源与实时控制模块10提供的当前时间信息,形成用于监控数据文件的目录区结构参数,同时更新存储模块15的FAT区数据和目录区数据;
按照待写入监控数据目录区确定的起始簇号和FAT区的簇链结构,将监控数据写入存储模块15;在写入监控数据时,若存储模块15已写满,即FAT区无剩余写入空间时,则将已按时间排序的最久远的历史监控数据所用空间回收,将空间重新分配给当前待写入的监控数据。
(三)有益效果
本发明提供的一种视频线传输数据在线提取与隐形存储控制装置,采用视频信息旁路透传技术、视频线数据在线捕获与定时提取技术、后背电源与时间戳技术、嵌入式图像压缩与文件系统管理技术、USB接口访问与隐形存储控制技术等,通过嵌入式微控制器综合调度,实现了视频数据的旁路透传、受控提取和隐形存储,并保证了隐形存储数据具有事件溯源功能。
附图说明
图1为本发明的装置原理框图;
图2为图1中USB消隐控制模块的原理框图。
其中1.视频输入接口 2.视频透传模块 3.在线提取与存储控制模块
4.视频输出接口 5.USB消隐控制模块 6.VGA/DVI模数转换模块
7.HDMI/DVI数字接收模块 8.视频数据缓存模块 9.微处理器控制模块
10.后备电源与实时控制模块 11.参数控制模块 12.图像帧提取模块
13.图像处理模块 14.文件处理模块 15.存储模块
16.USB接口控制模块
具体实施方式
为使本发明的目的、内容、和优点更加清楚,下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
本发明提供了一种视频线传输数据在线提取与隐形存储控制装置,可以针对VGA、DVI、HDMI等视频传输线,进行视频数据透明传输、在线监控、定时提取、图像压缩、时间戳标记、隐形存储等操作控制,在保证视频信息无干扰传输、显示的基础上,提供视频传输信息的安全监控和隐形存储,为情报搜集、信息监控、事件溯源等应用需求,提供必要的技术手段。
如图1所示,本发明提供的一种视频线传输数据在线提取与隐形存储控制装置,包括视频输入接口1、视频透传模块2、视频数据在线提取与存储控制模块3、视频输出接口4和USB消隐控制模块5。其中,视频数据在线提取与存储控制模块3是整个控制装置的核心控制部分,包括VGA/DVI模数转换模块6、HDMI/DVI数字接收模块7、视频数据缓存模块8、微处理器控制模块9、后备电源与实时控制模块10、参数控制模块11、图像帧提取模块12、图像处理模块13、文件处理模块14、存储模块15和USB接口控制模块16。
其中,该控制装置在工作时,视频输入接口1与外部主机图形适配卡等视频输出设备直接相连,视频输出接口4与外部显示器等视频显示设备直接相连,并通过USB消隐控制模块5或USB接口控制模块16与外部主机USB接口互连。其中,视频线传输数据在线提取与隐形存储控制装置通过USB接口控制模块16直接与外部主机USB接口连接时,由USB主机供电,定时控制将视频线传输数据隐形存储到其内嵌存储模块15中;通过USB消隐控制模块5与外部主机USB接口连接时,接收主机对视频线传输数据在线提取与隐形存储控制装置的参数配置,或者响应主机以文件方式读写内嵌存储模块15中的监控数据。
其中,所述视频透传模块2用于采用透明传输方式,直接将视频信号由视频输入接口1传输至视频输出接口4,确保所述视频输出设备输出的视频图像可以实时显示到所述视频显示设备上。
所述USB消隐控制模块5,用于控制视频数据在线提取与存储控制模块3的可访问性,即主机仅在通过USB消隐控制模块5与控制视频数据在线提取与存储控制模块3连接时,才能访问存储模块15中的存储数据,否则,只能提供供电电源。USB消隐控制模块5实现具体如图2所示,包括USB信号监控电路、差分信号阻抗控制电路和USB驱动增强电路,其中,用于通过USB信号监控电路,监测USB接口控制模块16的USB信号电缆,确定当前传输速率下的阻抗特征;然后基于信号反馈调节技术,调节差分信号阻抗控制电路的阻抗参数,获取当前传输速率下的USB链路传输最优阻抗;最后通过USB驱动增强电路,提高USB链路传输驱动能力,实现主机USB接口与USB接口控制模块16的正常通信。同时,USB消隐控制模块5还通过调整链路阻抗,切断主机对视频数据在线提取与存储控制模块3的访问,达到视频数据在线提取与存储的隐形控制。
所述VGA/DVI模数转换模块6,用于针对VGA、DVI视频传输中的模拟信号,以旁路工作方式,实时采集并进行模数转换,输出RGB数字信号。
所述HDMI/DVI数字接收模块7,用于针对HDMI、DVI视频传输中的数字差分信号,以旁路工作方式,实时采集并转换和输出RGB数字信号。
所述视频数据缓存模块8,用于将前端采集并转化的来自VGA/DVI模数转换模块6和/或HDMI/DVI数字接收模块7的RGB数字信号,进行数据缓存,以供微处理器控制模块9提取、处理。
所述微处理器控制模块9是视频数据在线提取与存储控制模块3的控制核心,用于协调视频数据在线提取与存储控制模块3内各模块的调用、中断控制、资源访问控制、信息处理与计算。
所述后备电源与实时控制模块10,主要为本装置提供稳定可靠的系统时钟,确保装置无论是否外接电源,都能准确的记录当前实时钟信息,确保本装置在存储视频线上的图像帧数据时,微处理器控制模块9可以为存储的文件提供该时间信息,方便用户辨识或追溯视频线数据传输操作。
所述参数控制模块11,用于本装置在上电工作时的初始化操作参数,如数据采集时间间隔/频率、时间模式、图像质量等级、图像缩放比例等。
所述图像帧提取模块12,用于在微处理器控制模块9控制下,从视频数据缓存模块8读取视频数据,并按行频、场频构成帧像素结构化数据。
所述图像处理模块13,用于基于提取的原始像素数据帧,进行RGB颜色模式转换、监控时间信息融合、离散余弦变换dct、亮度/色度频率系数的量化、霍夫曼编码处理,压缩形成JPEG文件格式,其实现过程描述如下:
1)将图像帧提取模块12形成的原始像素数据帧从RGB空间映射到256级的YCbCr空间,并在数据帧(图像帧)对应的右下角处,融合后备电源与实时控制模块10提供的当前时间信息,并将融合后的YCbCr空间数据结构,按8×8像素点方式分块、重构图像帧数据结构,形成图像帧子块数据结构;
2)对每一子块采用正向离散余弦变换FDCT进行编码变换,并根据参数控制模块11提供的压缩参数,对亮度和色度进行量化;
3)对编码变换后的数据按Zig-Zag方式重排,确保最终形成的图像上的相邻点与重排的数据排序一致;
4)然后对排序后的各子块,按顺序进行huffman编码,最终形成图像帧的压缩数据;
5)最后,按照JPEG图像格式,构造由图像帧形成的压缩文件;文件数据包括:图像开始SOI标识、定义量化表DQT(包括亮度和色度)标识、帧图像开始SOF0标识、定义Huffman表DHT(包括亮度、色度的DC、AC部分)标识、扫描开始SOS标识、由步骤4)形成的图像帧编码以及图像结束EOI标识。
所述文件处理模块14,用于基于文件系统管理架构,设计适宜微处理器控制模块9管理控制的简化FAT32文件系统,实现存储资源的管理、分配和文件的存储、访问与管理。该模块在初始化和写入监控数据的基本控制流程如下:
1)按引导区、FAT区、目录区、数据区建立简化的FAT32文件系统数据结构;
2)根据存储模块15的物理参数,构成简化的引导扇区结构化数据,包括BIOS参数块、FAT32参数,确定引导扇区大小、FAT空间大小和簇大小,并将该引导扇区结构化数据写入存储模块15的引导扇区;
3)初始化FAT区,建立FAT簇链数据管理结构,确定已用空间簇链结构和可用存储空间,并以确定的已用空间簇链结构和可用存储空间更新存储模块15的FAT区;
4)根据引导区大小、FAT区大小,确定目录区位置,在有监控数据写入时,根据FAT区剩余空间和写入数据大小,分配起始簇和可用簇,构建文件簇链结构,然后按参数控制模块11提供的参数配置数据,后备电源与实时控制模块10提供的当前时间信息,形成用于监控数据文件的目录区结构参数,同时更新存储模块15的FAT区数据和目录区数据;
5)按照待写入监控数据目录区确定的起始簇号和FAT区的簇链结构,将监控数据写入存储模块15;在写入监控数据时,若存储模块15已写满,即FAT区无剩余写入空间时,则将已按时间排序的最久远的历史监控数据所用空间回收,将空间重新分配给当前待写入的监控数据。
所述存储模块15,用于提供数据存储功能,即使数据以文件形式存储于该模块的逻辑扇区中。
所述USB接口控制模块16,作为USB设备端控制模块,支持特定模式下主机接口的访问。
视频线传输数据在线提取与隐形存储控制装置采用旁路透明传输方式,将主机图形适配卡等视频输出设备输出的视频信息,经视频输入接口1、视频透传模块2和视频输出接口4,直接显示于外部视频显示设备。
视频线传输数据在线提取与隐形存储控制装置由主机USB接口为其供电,日常情况下,无论该装置是否又主机USB接口供电,内嵌的后备电源与实时控制模块10均为其实时钟电路提供工作电源,由实时钟电路记录当前时间。
加电后,视频数据在线提取与存储控制模块3对视频输入接口1进行实时监控和采集视频线传输数据,其中对于VGA/DVI视频传输接口对应模拟信号,通过VGA/DVI模数转换模块6进行模数转换输出至视频数据缓存模块8;对于HDMI/DVI视频接口的差分TMDS信号,经HDMI/DVI数字接收模块7进行解码输出视频数据缓存模块8。
同时,微处理控制模块9完成系统初始化,然后通过后备电源与实时控制模块10获取当前时间信息,并通过访问存储模块15,获取参数配置数据,提供给参数控制模块11。在参数控制模块11控制下,定时从视频数据缓存模块8提取视频缓存数据,由图像帧提取模块12构成待处理原始像素数据帧,通过图像处理模块13对该数据桢进行分块、变换、量化、编码处理等,压缩形成JPEG文件。
随后,微处理控制模块9调用文件处理模块14和存储管理模块,管理和访问存储模块15,将压缩后的JPEG格式图像文件存储于存储模块15。
最后,视频数据在线提取与存储控制模块3判断本装置是否通过USB接口控制模块16与主机相连,若是,则微处理控制模块9调用文件处理模块14、存储模块15和USB接口控制模块16,响应主机的访问,将存储于存储模块15图像压缩数据,以文件形式提供给主机,或者接收主机对存储模块15中存储文件的读写操作,包括文件的创建、修改、删除等操作;否则,USB接口控制模块16禁止主机的访问操作,此时主机无法侦测到视频线传输数据在线提取与隐形存储控制装置。
具体而言,本发明的一种视频线传输数据在线提取与隐形存储控制装置具体工作流程描述如下:
1)后备电源与实时控制模块10通过后备电源供电,实时记录当前时间信息;
2)将视频输入接口1与外部主机图形适配卡等视频输出设备连接,将视频输出接口4与外部视频显示设备连接,将USB消隐控制模块5或USB接口控制模块16与外部主机USB接口互连,使得视频线传输数据在线提取与隐形存储控制装置通过USB接口供电;其中,USB接口控制模块16提供USB接口访问驱动、传输链路控制,并在检测到传输链路串接USB消隐控制模块5时,响应外部主机对视频线传输数据在线提取与隐形存储控制装置的访问控制;在检测USB通路没有串接USB消隐控制模块5时,禁止主机访问
3)视频输入接口1将视频输出设备的视频信息,通过视频透传模块2直接转发至视频输出接口4,显示于所述外部视频显示设备;
4)视频数据在线提取与存储控制模块3对视频输入接口1进行实时监控,采集视频线传输数据,其中对于VGA/DVI视频传输接口对应的模拟信号,通过VGA/DVI模数转换模块6进行模数转换输出;对于HDMI/DVI视频接口的差分TMDS信号,经HDMI/DVI数字接收模块7进行解码输出;
5)视频数据缓存模块8接收来自VGA/DVI模数转换模块6和/或HDMI/DVI数字接收模块7的数据后,进行缓存;
6)微处理控制模块9上电,完成系统初始化与启动后,首先通过后备电源与实时控制模块10获取所述当前时间信息;然后访问所述存储模块15,获取参数配置数据(包括压缩参数),提供给参数控制模块11;最后定时从视频数据缓存模块8读取数据,由图像帧提取模块12构成待处理的原始像素数据帧,通过图像处理模块13根据所述参数配置数据对该原始像素数据帧进行分块、变换、量化、编码处理,压缩形成JPEG文件;
7)微处理控制模块9调用文件处理模块14和存储管理模块,管理和访问存储模块15,将压缩后的JPEG格式图像文件存储于存储模块15。
可以看出,本发明主要采用了如下技术手段:
1)旁路透传;该装置通过采用旁路采集方式,在实现视频线数据实时监控、采集的基础上,通过视频电路输入接口、视频信号透传模块和视频电路输出接口,将主机端视频输出信息实时显示于显示器等视频输出设备上,从而不影响用户的操作和感受。
2)在线捕获与定时提取;该装置通过模数转换模块和数字接收模块,不仅支持模拟信号的在线采集,还支持数字信号的在线采集,并将采集数据按帧缓存于视频数据缓存模块,在微处理器控制模块和参数控制模块控制下,定时提取缓存数据,实现视频数据的实时采集、定时提取。
3)后备电源与时间戳标记;该装置内嵌后备电源和低功耗时钟计时电路,确保在该装置未连接外接电源的情况下,依然可以记录当前操作时刻,从而为文件处理模块提供准确的时间戳标记,通过该时间戳,可以追溯视频内容访问时间,进而获取用户操作时刻,便于事件追溯。
4)嵌入式图像压缩与文件管理;基于嵌入式、低功耗微处理器控制模块,设计图像处理模块、文件处理模块等程序控制模块,对提取的图像帧进行颜色模式转换、离散余弦变换、亮度/色度频率系数量化、霍夫曼编码处理,压缩形成JPEG文件格式,然后针对内嵌的存储模块,建立FAT文件系统管理架构,形成分区表、FAT表、目录区、数据区等存储区域,并按文件链表架构进行文件系统管理和访问,实现提取数据的文件化访问、管理。
5)隐形存储控制;该装置设计USB消隐控制模块和接口控制模块,实现本装置的存储访问控制和消隐。其中,USB接口控制模块通过接口访问控制电路、接口协议控制模块、驱动管理模块等,响应非消隐状态下的USB接口主机访问控制,以及消隐状态下该装置相对主机不可见的设备隐形控制;USB消隐控制模块则通过电路控制、阻抗匹配、接口控制等技术,驱动使该装置能被主机自动侦测和正常读写访问。
本发明的视频线传输数据在线提取与隐形存储控制装置,兼顾视频传输控制装置旁路监控、隐形存储和小型化、实用化应用需求,接口兼容VGA、DVI、HDMI等接口数字信号和模拟信号,提供旁路透传、实时采集、定时提取、时间戳标记、文件统一管理和隐形存储控制等功能,在确保该装置接入系统而用户无感知的情况下,可以实时监控和定时采集视频线上传输数据,并隐形存储,为显示终端信息监控、情报搜集、事件溯源提供了必要的技术手段和装备。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.一种视频线传输数据在线提取与隐形存储控制装置,其特征在于,包括视频输入接口(1)、视频透传模块(2)、视频数据在线提取与存储控制模块(3)、视频输出接口(4)和USB消隐控制模块(5);其中,视频数据在线提取与存储控制模块(3)包括VGA/DVI模数转换模块(6)、HDMI/DVI数字接收模块(7)、视频数据缓存模块(8)、微处理器控制模块(9)、后备电源与实时控制模块(10)、参数控制模块(11)、图像帧提取模块(12)、图像处理模块(13)、文件处理模块(14)、存储模块(15)和USB接口控制模块(16);
其中,该控制装置在工作时,视频输入接口(1)与外部视频输出设备直接相连,视频输出接口(4)与视频显示设备直接相连,并通过USB消隐控制模块(5)或USB接口控制模块(16)与外部主机USB接口互连;其中,视频线传输数据在线提取与隐形存储控制装置通过USB接口控制模块(16)直接与外部主机USB接口连接时,由USB主机供电,定时控制将视频线传输数据隐形存储到其内嵌存储模块(15)中;通过USB消隐控制模块(5)与外部主机USB接口连接时,接收主机对视频线传输数据在线提取与隐形存储控制装置的参数配置,或者响应主机以文件方式读写内嵌存储模块(15)中的监控数据;
其中,所述视频透传模块(2)用于采用透明传输方式,直接将视频信号由视频输入接口(1)传输至视频输出接口(4),使得所述视频输出设备输出的视频图像能够实时显示到所述视频显示设备上;
所述USB消隐控制模块(5),用于控制视频数据在线提取与存储控制模块(3)的可访问性,即主机仅在通过USB消隐控制模块(5)与控制视频数据在线提取与存储控制模块(3)连接时,才能访问存储模块(15)中的存储数据,否则,只能提供供电电源;
所述VGA/DVI模数转换模块(6),用于针对VGA、DVI视频传输中的模拟信号,以旁路工作方式,实时采集并进行模数转换,输出RGB数字信号;
所述HDMI/DVI数字接收模块(7),用于针对HDMI、DVI视频传输中的数字差分信号,以旁路工作方式,实时采集并转换和输出RGB数字信号;
所述视频数据缓存模块(8),用于将前端采集并转化的来自VGA/DVI模数转换模块(6)和/或HDMI/DVI数字接收模块(7)的RGB数字信号,进行数据缓存,以供微处理器控制模块(9)提取、处理;
所述微处理器控制模块(9)用于协调视频数据在线提取与存储控制模块(3)内各模块的调用、中断控制、资源访问控制、信息处理与计算;
所述后备电源与实时控制模块(10),用于为该装置提供系统时钟,确保装置无论是否外接电源,都能准确的记录当前实时钟信息,确保本装置在存储视频线上的图像帧数据时,微处理器控制模块(9)能够为存储的文件提供该时间信息;
所述参数控制模块(11),用于该装置在上电工作时的初始化操作参数;
所述图像帧提取模块(12),用于在微处理器控制模块(9)控制下,从视频数据缓存模块(8)读取视频数据,并按行频、场频构成帧像素结构化数据;
所述图像处理模块(13),用于基于提取的原始像素数据帧,进行RGB颜色模式转换、监控时间信息融合、离散余弦变换dct、亮度/色度频率系数的量化、霍夫曼编码处理,压缩形成JPEG文件格式;
所述文件处理模块(14),用于基于文件系统管理架构,设计用于微处理器控制模块(9)管理控制的FAT32文件系统,实现存储资源的管理、分配和文件的存储、访问与管理;
所述存储模块(15),用于提供数据存储功能,即使数据以文件形式存储于该模块的逻辑扇区中;
所述USB接口控制模块(16),作为USB设备端控制模块,用于支持特定模式下主机接口的访问。
2.如权利要求1所述的装置,其特征在于,所述USB消隐控制模块(5)包括USB信号监控电路、差分信号阻抗控制电路和USB驱动增强电路,其中,用于通过USB信号监控电路,监测USB接口控制模块(16)的USB信号电缆,确定当前传输速率下的阻抗特征;然后基于信号反馈调节技术,调节差分信号阻抗控制电路的阻抗参数,获取当前传输速率下的USB链路传输最优阻抗;最后通过USB驱动增强电路,提高USB链路传输驱动能力,实现主机USB接口与USB接口控制模块(16)的正常通信,同时,USB消隐控制模块(5)还通过调整链路阻抗,切断主机对视频数据在线提取与存储控制模块(3)的访问,达到视频数据在线提取与存储的隐形控制。
3.如权利要求1所述的装置,其特征在于,所述图像处理模块(13),具有用于:
1)将图像帧提取模块(12)形成的原始像素数据帧从RGB空间映射到256级的YCbCr空间,并在数据帧对应的右下角处,融合后备电源与实时控制模块(10)提供的当前时间信息,并将融合后的YCbCr空间数据结构,按8×8像素点方式分块、重构图像帧数据结构,形成图像帧子块数据结构;
2)对每一子块采用正向离散余弦变换FDCT进行编码变换,并根据参数控制模块(11)提供的压缩参数,对亮度和色度进行量化;
3)对编码变换后的数据按Zig-Zag方式重排,确保最终形成的图像上的相邻点与重排的数据排序一致;
4)然后对排序后的各子块,按顺序进行huffman编码,最终形成图像帧的压缩数据;
5)最后,按照JPEG图像格式,构造由图像帧形成的压缩文件;文件数据包括:图像开始SOI标识、定义量化表DQT标识、帧图像开始SOF0标识、定义Huffman表DHT标识、扫描开始SOS标识、由步骤4)形成的图像帧编码以及图像结束EOI标识。
4.如权利要求1所述的装置,其特征在于,所述文件处理模块(14),具体用于:
1)按引导区、FAT区、目录区、数据区建立简化的FAT32文件系统数据结构;
2)根据存储模块(15)的物理参数,构成简化的引导扇区结构化数据,包括BIOS参数块、FAT32参数,确定引导扇区大小、FAT空间大小和簇大小,并将该引导扇区结构化数据写入存储模块(15)的引导扇区;
3)初始化FAT区,建立FAT簇链数据管理结构,确定已用空间簇链结构和可用存储空间,并以确定的已用空间簇链结构和可用存储空间更新存储模块(15)的FAT区;
4)根据引导区大小、FAT区大小,确定目录区位置,在有监控数据写入时,根据FAT区剩余空间和写入数据大小,分配起始簇和可用簇,构建文件簇链结构,然后按参数控制模块(11)提供的参数配置数据,后备电源与实时控制模块(10)提供的当前时间信息,形成用于监控数据文件的目录区结构参数,同时更新存储模块(15)的FAT区数据和目录区数据;
5)按照待写入监控数据目录区确定的起始簇号和FAT区的簇链结构,将监控数据写入存储模块(15);在写入监控数据时,若存储模块(15)已写满,即FAT区无剩余写入空间时,则将已按时间排序的最久远的历史监控数据所用空间回收,将空间重新分配给当前待写入的监控数据。
5.一种权利要求1至4中任一项所述的装置的工作方法,其特征在于,包括以下步骤:
S1、后备电源与实时控制模块(10)通过后备电源供电,实时记录当前时间信息;
S2、将视频输入接口(1)与外部视频输出设备连接,将视频输出接口(4)与外部视频显示设备连接,将USB消隐控制模块(5)或USB接口控制模块(16)与外部主机USB接口互连,使得视频线传输数据在线提取与隐形存储控制装置通过USB接口供电;其中,USB接口控制模块(16)提供USB接口访问驱动、传输链路控制,并在检测到传输链路串接USB消隐控制模块(5)时,响应外部主机对视频线传输数据在线提取与隐形存储控制装置的访问控制;在检测USB通路没有串接USB消隐控制模块(5)时,禁止主机访问;
S3、视频输入接口(1)将视频输出设备的视频信息,通过视频透传模块(2)直接转发至视频输出接口(4),显示于所述外部视频显示设备;
S4、视频数据在线提取与存储控制模块(3)对视频输入接口(1)进行实时监控,采集视频线传输数据,其中对于VGA/DVI视频传输接口对应的模拟信号,通过VGA/DVI模数转换模块(6)进行模数转换输出;对于HDMI/DVI视频接口的差分TMDS信号,经HDMI/DVI数字接收模块(7)进行解码输出;
S5、视频数据缓存模块(8)接收来自VGA/DVI模数转换模块(6)和/或HDMI/DVI数字接收模块(7)的数据后,进行缓存;
S6、微处理控制模块(9)上电,完成系统初始化与启动后,首先通过后备电源与实时控制模块(10)获取所述当前时间信息;然后访问所述存储模块(15),获取参数配置数据,提供给参数控制模块(11);最后定时从视频数据缓存模块(8)读取数据,由图像帧提取模块(12)构成待处理的原始像素数据帧,通过图像处理模块(13)根据所述参数配置数据对该原始像素数据帧进行分块、变换、量化、编码处理,压缩形成JPEG文件;
S7、微处理控制模块(9)调用文件处理模块(14)和存储管理模块,管理和访问存储模块(15),将压缩后的JPEG格式图像文件存储于存储模块(15)。
6.如权利要求5所述的方法,其特征在于,在步骤S6中,所述通过图像处理模块(13)根据所述参数配置数据对该原始像素数据帧进行分块、变换、量化、编码处理,压缩形成JPEG文件的步骤,具包括以下步骤:
1)将图像帧提取模块(12)形成的原始像素数据帧从RGB空间映射到256级的YCbCr空间,并在数据帧对应的右下角处,融合后备电源与实时控制模块(10)提供的当前时间信息,并将融合后的YCbCr空间数据结构,按8×8像素点方式分块、重构图像帧数据结构,形成图像帧子块数据结构;
2)对每一子块采用正向离散余弦变换FDCT进行编码变换,并根据参数控制模块(11)提供的压缩参数,对亮度和色度进行量化;
3)对编码变换后的数据按Zig-Zag方式重排,确保最终形成的图像上的相邻点与重排的数据排序一致;
4)然后对排序后的各子块,按顺序进行huffman编码,最终形成图像帧的压缩数据;
5)最后,按照JPEG图像格式,构造由图像帧形成的压缩文件;文件数据包括:图像开始SOI标识、定义量化表DQT标识、帧图像开始SOF0标识、定义Huffman表DHT标识、扫描开始SOS标识、由步骤4)形成的图像帧编码以及图像结束EOI标识。
7.如权利要求5所述的方法,其特征在于,步骤S7中,通过文件处理模块(14)将压缩后的JPEG格式图像文件存储于存储模块(15)具体包括以下步骤:
1)按引导区、FAT区、目录区、数据区建立简化的FAT32文件系统数据结构;
2)根据存储模块(15)的物理参数,构成简化的引导扇区结构化数据,包括BIOS参数块、FAT32参数,确定引导扇区大小、FAT空间大小和簇大小,并将该引导扇区结构化数据写入存储模块(15)的引导扇区;
3)初始化FAT区,建立FAT簇链数据管理结构,确定已用空间簇链结构和可用存储空间,并以确定的已用空间簇链结构和可用存储空间更新存储模块(15)的FAT区;
4)根据引导区大小、FAT区大小,确定目录区位置,在有监控数据写入时,根据FAT区剩余空间和写入数据大小,分配起始簇和可用簇,构建文件簇链结构,然后按参数控制模块(11)提供的参数配置数据,后备电源与实时控制模块(10)提供的当前时间信息,形成用于监控数据文件的目录区结构参数,同时更新存储模块(15)的FAT区数据和目录区数据;
5)按照待写入监控数据目录区确定的起始簇号和FAT区的簇链结构,将监控数据写入存储模块(15);在写入监控数据时,若存储模块(15)已写满,即FAT区无剩余写入空间时,则将已按时间排序的最久远的历史监控数据所用空间回收,将空间重新分配给当前待写入的监控数据。
8.如权利要求6所述的方法,其特征在于,步骤S6中,定义的量化表DQT包括亮度和色度,定义的Huffman表DHT包括亮度、色度的DC、AC部分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811101563.4A CN109089084B (zh) | 2018-09-20 | 2018-09-20 | 视频线传输数据在线提取与隐形存储控制装置及其工作方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811101563.4A CN109089084B (zh) | 2018-09-20 | 2018-09-20 | 视频线传输数据在线提取与隐形存储控制装置及其工作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109089084A true CN109089084A (zh) | 2018-12-25 |
CN109089084B CN109089084B (zh) | 2020-06-02 |
Family
ID=64842062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811101563.4A Active CN109089084B (zh) | 2018-09-20 | 2018-09-20 | 视频线传输数据在线提取与隐形存储控制装置及其工作方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109089084B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112738056A (zh) * | 2020-12-24 | 2021-04-30 | 北京飞讯数码科技有限公司 | 编解码方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1035510A3 (en) * | 1999-02-25 | 2005-09-14 | Hitachi Denshi Kabushiki Kaisha | Control method and apparatus of monitoring television camera according to photographing conditions of object, and image monitoring and recording apparatus |
CN202217265U (zh) * | 2011-09-13 | 2012-05-09 | 深圳市江波龙电子有限公司 | 加密存储设备 |
CN106791555A (zh) * | 2016-12-29 | 2017-05-31 | 龙迅半导体(合肥)股份有限公司 | 一种数据传输方法、hdmi信号的单网线延长器 |
CN106803044A (zh) * | 2016-12-14 | 2017-06-06 | 深圳市金立通信设备有限公司 | 一种多媒体信息隐藏方法及终端 |
CN107563213A (zh) * | 2017-09-29 | 2018-01-09 | 北京计算机技术及应用研究所 | 一种防存储设备数据提取的安全保密控制装置 |
CN207802170U (zh) * | 2018-02-01 | 2018-08-31 | 安徽创世科技股份有限公司 | 一种多路hdmi接口编解码器终端系统 |
-
2018
- 2018-09-20 CN CN201811101563.4A patent/CN109089084B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1035510A3 (en) * | 1999-02-25 | 2005-09-14 | Hitachi Denshi Kabushiki Kaisha | Control method and apparatus of monitoring television camera according to photographing conditions of object, and image monitoring and recording apparatus |
CN202217265U (zh) * | 2011-09-13 | 2012-05-09 | 深圳市江波龙电子有限公司 | 加密存储设备 |
CN106803044A (zh) * | 2016-12-14 | 2017-06-06 | 深圳市金立通信设备有限公司 | 一种多媒体信息隐藏方法及终端 |
CN106791555A (zh) * | 2016-12-29 | 2017-05-31 | 龙迅半导体(合肥)股份有限公司 | 一种数据传输方法、hdmi信号的单网线延长器 |
CN107563213A (zh) * | 2017-09-29 | 2018-01-09 | 北京计算机技术及应用研究所 | 一种防存储设备数据提取的安全保密控制装置 |
CN207802170U (zh) * | 2018-02-01 | 2018-08-31 | 安徽创世科技股份有限公司 | 一种多路hdmi接口编解码器终端系统 |
Non-Patent Citations (1)
Title |
---|
郭松辉: "基于闪存冗余块的文件隐藏技术", 《计算机应用研究》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112738056A (zh) * | 2020-12-24 | 2021-04-30 | 北京飞讯数码科技有限公司 | 编解码方法及系统 |
CN112738056B (zh) * | 2020-12-24 | 2023-05-05 | 北京飞讯数码科技有限公司 | 编解码方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109089084B (zh) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101631237B (zh) | 一种视频监控数据存储管理系统 | |
CN204087316U (zh) | 一种基于树莓派架构的云门禁系统 | |
CN107426533A (zh) | 一种基于视频加密压缩和影像识别的视频监控影像识别系统 | |
CN208479837U (zh) | 一种基于树莓派的实时目标检测装置 | |
CN103559751B (zh) | 用于代考勤行为确认的辅助确认方法 | |
CN210573837U (zh) | 一种智能人脸识别系统 | |
US11521473B2 (en) | Audio/video electronic device | |
CN104574601A (zh) | 一种智能门锁控制系统 | |
CN101562729A (zh) | 一种基于手机交互的家居视频监控系统及方法 | |
CN201616116U (zh) | 车辆定损终端设备及车辆定损系统 | |
CN109089084A (zh) | 视频线传输数据在线提取与隐形存储控制装置及其工作方法 | |
CN101984402A (zh) | 一种图像采集和压缩方法及相关装置 | |
CN109800701A (zh) | 一种基于人脸识别的智能化安防认证系统 | |
CN201499179U (zh) | 网吧电子监管服务系统 | |
CN105554040A (zh) | 远程视频监控方法和系统 | |
CN111385530A (zh) | 一种智能摄像机组合加密方法及系统 | |
CN101277436B (zh) | 多串流式网络摄影机控制系统及其控制方法 | |
CN201698433U (zh) | 一种用于酒店访客信息管理的终端机 | |
CN114329126A (zh) | 一种控制智能led显示屏的装置和智能终端 | |
CN103345625B (zh) | 一种三维图像分析方法及系统 | |
CN110392267A (zh) | 一种低成本矿山生产现场自动化集中监控方法 | |
CN105786429A (zh) | 拼接墙显示数据的方法和系统 | |
CN107592487A (zh) | 图像处理装置 | |
CN115209111A (zh) | 一种支持实时背景替换的居家办公视频监控方法及系统 | |
CN203894777U (zh) | 一种消防设备信息收集器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |