CN114860996B - 一种基于光盘库的电子视频档案修复方法及系统 - Google Patents

一种基于光盘库的电子视频档案修复方法及系统 Download PDF

Info

Publication number
CN114860996B
CN114860996B CN202210784808.8A CN202210784808A CN114860996B CN 114860996 B CN114860996 B CN 114860996B CN 202210784808 A CN202210784808 A CN 202210784808A CN 114860996 B CN114860996 B CN 114860996B
Authority
CN
China
Prior art keywords
damaged
frame
vector
normal
data point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210784808.8A
Other languages
English (en)
Other versions
CN114860996A (zh
Inventor
张理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kds Datacenter Solution Co ltd
Original Assignee
Beijing Kds Datacenter Solution Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kds Datacenter Solution Co ltd filed Critical Beijing Kds Datacenter Solution Co ltd
Priority to CN202210784808.8A priority Critical patent/CN114860996B/zh
Publication of CN114860996A publication Critical patent/CN114860996A/zh
Application granted granted Critical
Publication of CN114860996B publication Critical patent/CN114860996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于光盘库的电子视频档案修复方法及系统，涉及档案修复领域，该方法，包括：根据反射能量确定目标光盘的数据受损点；对中间受损数据点序列、左侧正常数据点序列和右侧正常数据点序列进行特征图提取，得到相应的特征图；由预设的投影矩阵计算正常帧查询向量、受损帧键向量和受损帧还原值向量；采用正常帧查询向量和受损帧键向量更新受损帧还原值向量；基于自相加与自注意力机制将左右两侧更新后得到的受损帧还原值更新向量融合，得到融合特征图；由融合特征图对目标光盘的电子视频档案进行修复。本发明能有效且快速地将丢失或损坏的数据进行修复，保证档案数据的真实性。

Description

一种基于光盘库的电子视频档案修复方法及系统
技术领域
本发明涉及档案修复领域，特别是涉及一种基于光盘库的电子视频档案修复方法及系统。
背景技术
存储于光盘库中的电子视频档案，由于存放年限久远，光盘受空气灰尘颗粒、氧气氧化作用以及光线累积影响，导致盘面受损，光驱头在进行读取电子视频档案数据时，不可避免的读错或无法读取数据，进而导致电子视频档案失帧或画面损坏，如何修复光盘面受损下的视频档案数据一直是档案行业有待解决的难题。
目前，大多都是通过编解码技术实现，先将受损的视频数据全部读出，并对缺失的数据进行编码填充，再通过解码实现修复，但这种方式容易丢失某些关键帧的重要信息，尤其是针对档案数据，重要性排在第一，对取证存证，要求数据不能出任何差错。还有一些方法是通过清洁光盘的方式实现，通过物理的方法，对光盘进行擦除灰尘，以及尝试对光盘面的凹凸点进行重新烧录，但这种方法人工工作量大，且烧录点容易出现差错，甚至影响周围的数据点。
发明内容
基于此，本发明实施例提供一种基于光盘库的电子视频档案修复方法及系统，以有效且快速地将丢失或损坏的数据进行修复，保证档案数据的真实性。
为实现上述目的，本发明提供了如下方案：
一种基于光盘库的电子视频档案修复方法，包括：
根据反射能量确定目标光盘的数据受损点；所述反射能量为光驱激光头扫射到所述目标光盘的光盘面上，所述光盘面反射的能量；
根据所述数据受损点生成中间受损数据点序列；
根据位于所述中间受损数据点序列左侧的正常数据点生成左侧正常数据点序列，根据位于所述中间受损数据点序列右侧的正常数据点生成右侧正常数据点序列；
对所述中间受损数据点序列、所述左侧正常数据点序列和所述右侧正常数据点序列分别进行特征图提取，得到左侧正常特征图、中间受损特征图和右侧正常特征图；
根据预设的左侧投影矩阵计算所述左侧正常特征图的左侧正常帧查询向量、所述中间受损特征图的第一受损帧键向量和所述中间受损特征图的第一受损帧还原值向量；
根据预设的右侧投影矩阵计算所述右侧正常特征图的右侧正常帧查询向量、所述中间受损特征图的第二受损帧键向量和所述中间受损特征图的第二受损帧还原值向量；
采用所述左侧正常帧查询向量和所述第一受损帧键向量对所述第一受损帧还原值向量进行更新，得到第一受损帧还原值更新向量；
采用所述右侧正常帧查询向量和所述第二受损帧键向量对所述第二受损帧还原值向量进行更新，得到第二受损帧还原值更新向量；
基于自相加与自注意力机制将所述第一受损帧还原值更新向量和所述第二受损帧还原值更新向量融合，得到融合特征图；
由所述融合特征图对所述目标光盘的电子视频档案进行修复。
可选地，所述根据位于所述中间受损数据点序列左侧的正常数据点生成左侧正常数据点序列，根据位于所述中间受损数据点序列右侧的正常数据点生成右侧正常数据点序列，具体包括：
由所述中间受损数据点序列中第一个受损数据点之前的m个正常数据点生成左侧正常数据点序列；所述左侧正常数据点序列中的最后一个正常数据点与所述中间受损数据点序列中第一个受损数据点为相邻位置的两个数据点；
由所述中间受损数据点序列中最后一个受损数据点之后的m个正常数据点生成右侧正常数据点序列；所述中间受损数据点序列中最后一个受损数据点与所述右侧正常数据点序列的第一个正常数据点为相邻位置的两个数据点；所述中间受损数据点序列中的数据点的个数为m。
可选地，所述对所述中间受损数据点序列、所述左侧正常数据点序列和所述右侧正常数据点序列分别进行特征图提取，得到左侧正常特征图、中间受损特征图和右侧正常特征图，具体包括：
根据设定视频编码规则将所述中间受损数据点序列、所述左侧正常数据点序列和所述右侧正常数据点序列中的数据点还原为视频数据，得到受损视频帧序列、左侧正常视频帧序列和右侧正常视频帧序列；
采用卷积神经网络分别对所述受损视频帧序列、所述左侧正常视频帧序列和所述右侧正常视频帧序列进行特征图提取，得到所述左侧正常特征图、所述中间受损特征图和所述右侧正常特征图。
可选地，所述采用所述左侧正常帧查询向量和所述第一受损帧键向量对所述第一受损帧还原值向量进行更新，得到第一受损帧还原值更新向量，具体包括：
计算第一关联度；所述第一关联度为所述左侧正常帧查询向量和所述第一受损帧键向量之间的相似关联度；
根据所述第一关联度对所述第一受损帧还原值向量进行更新，得到第一受损帧还原值更新向量。
可选地，所述采用所述右侧正常帧查询向量和所述第二受损帧键向量对所述第二受损帧还原值向量进行更新，得到第二受损帧还原值更新向量，具体包括：
计算第二关联度；所述第二关联度为所述右侧正常帧查询向量和所述第二受损帧键向量之间的相似关联度；
根据所述第二关联度对所述第二受损帧还原值向量进行更新，得到第二受损帧还原值更新向量。
可选地，所述基于自相加与自注意力机制将所述第一受损帧还原值更新向量和所述第二受损帧还原值更新向量融合，得到融合特征图，具体包括：
对所述第一受损帧还原值更新向量和所述第二受损帧还原值更新向量进行向量拼接操作，得到拼接向量；
采用自注意力机制对所述拼接向量进行计算，得到融合特征图。
可选地，所述由所述融合特征图对所述目标光盘的电子视频档案进行修复，具体包括：
采用反卷积神经网络将所述融合特征图还原为视频帧序列，得到中间帧真实序列；
根据设定视频解码规则将所述中间帧真实序列还原为数据点，得到中间帧真实数据点；
采用光驱激光头将所述中间帧真实数据点烧录到所述目标光盘的光盘面上，以实现对所述目标光盘的电子视频档案的修复。
可选地，所述卷积神经网络为三维卷积神经网络。
可选地，所述反卷积神经网络为三维反卷积神经网络。
本发明还提供了一种基于光盘库的电子视频档案修复系统，包括：
受损点确定模块，用于根据反射能量确定目标光盘的数据受损点；所述反射能量为光驱激光头扫射到所述目标光盘的光盘面上，所述光盘面反射的能量；
受损序列确定模块，用于根据所述数据受损点生成中间受损数据点序列；
左右侧序列确定模块，用于根据位于所述中间受损数据点序列左侧的正常数据点生成左侧正常数据点序列，根据位于所述中间受损数据点序列右侧的正常数据点生成右侧正常数据点序列；
特征图提取模块，用于对所述中间受损数据点序列、所述左侧正常数据点序列和所述右侧正常数据点序列分别进行特征图提取，得到左侧正常特征图、中间受损特征图和右侧正常特征图；
第一投影计算模块，用于根据预设的左侧投影矩阵计算所述左侧正常特征图的左侧正常帧查询向量、所述中间受损特征图的第一受损帧键向量和所述中间受损特征图的第一受损帧还原值向量；
第二投影计算模块，用于根据预设的右侧投影矩阵计算所述右侧正常特征图的右侧正常帧查询向量、所述中间受损特征图的第二受损帧键向量和所述中间受损特征图的第二受损帧还原值向量；
第一更新模块，用于采用所述左侧正常帧查询向量和所述第一受损帧键向量对所述第一受损帧还原值向量进行更新，得到第一受损帧还原值更新向量；
第二更新模块，用于采用所述右侧正常帧查询向量和所述第二受损帧键向量对所述第二受损帧还原值向量进行更新，得到第二受损帧还原值更新向量；
特征融合模块，用于基于自相加与自注意力机制将所述第一受损帧还原值更新向量和所述第二受损帧还原值更新向量融合，得到融合特征图；
修复模块，用于由所述融合特征图对所述目标光盘的电子视频档案进行修复。
与现有技术相比，本发明的有益效果是：
本发明实施例提出了一种基于光盘库的电子视频档案修复方法及系统，根据反射能量确定目标光盘的数据受损点，根据数据受损点确定中间受损数据点序列、左侧正常数据点序列和右侧正常数据点序列，对三个序列进行特征图提取，得到相应的特征图，根据特征图实现时空建模融合，进而对数据受损点的数据进行修复，从而实现对目标光盘的电子视频档案进行修复，相比现有的采用编解码技术实现的修复，能有效且快速地将丢失或损坏的数据进行修复，保证了档案数据的真实性与宝贵性，为档案行业提供了可信、安全的数据保障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于光盘库的电子视频档案修复方法的流程图；
图2为本发明实施例提供的基于光盘库的电子视频档案修复系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参见图1，本实施例的基于光盘库的电子视频档案修复方法，包括：
步骤101：确定数据受损点。具体的，根据反射能量确定目标光盘的数据受损点；所述反射能量为光驱激光头扫射到所述目标光盘的光盘面上，所述光盘面反射的能量。
由于光盘上的正常数据的凹凸点与受损数据的相比，光驱激光头在扫射到表面的能量经过反射后，光驱头接受到的能量存在较大差异。因此，该步骤可以根据反射能量的差异，定位到目标光盘的光盘面上的数据受损点。
步骤102：生成中间受损数据点序列、左侧正常数据点序列和右侧正常数据点序列。具体的，1）根据所述数据受损点生成中间受损数据点序列。2）根据位于所述中间受损数据点序列左侧的正常数据点生成左侧正常数据点序列，根据位于所述中间受损数据点序列右侧的正常数据点生成右侧正常数据点序列。
其中，步骤2），具体包括：
由所述中间受损数据点序列中第一个受损数据点之前的m个正常数据点生成左侧正常数据点序列；所述左侧正常数据点序列中的最后一个正常数据点与所述中间受损数据点序列中第一个受损数据点为相邻位置的两个数据点。
由所述中间受损数据点序列中最后一个受损数据点之后的m个正常数据点生成右侧正常数据点序列；所述中间受损数据点序列中最后一个受损数据点与所述右侧正常数据点序列的第一个正常数据点为相邻位置的两个数据点；所述中间受损数据点序列中的数据点的个数为m。
例如，假设光驱激光头定位到目标光盘的光盘面上的数据受损点为t 1...t n-1，t n ，t n+1...t m ，总共m个，其中n代表数据受损点的位置，t 1为第一个数据受损点，t n-1为第n-1个数据受损点，t n 为第n个数据受损点，t n+1为第n+1个数据受损点，t m 为第m个数据受损点（即最后一个数据受损点）。
光驱激光头在这m个数据受损点左右，分别再读取m个正常数据点，即得到：
左侧正常数据点序列τ-1：{t -m ...t -n+1，t -n ，t -n-1...t -1}；其中，t -m 为位于第一个数据受损点t 1左侧的第m个正常数据点，t -n+1为位于第n-1个数据受损点t n-1左侧的第m个正常数据点，t -n 为位于第n个数据受损点t n 左侧的第m个正常数据点，t -n-1为位于第n+1个数据受损点t n+1左侧的第m个正常数据点，t -1为位于最后一个数据受损点t m 左侧的第m个正常数据点，t -1与t 1为相邻位置的两个数据点。
中间受损数据点序列τ0：{t 1...t n-1，t n ，t n+1...t m }。
右侧正常数据点序列τ+1：{t m+1...t m+n-1，t m+n ，t m+n+1...t 2m }；其中，t m+1为位于最后一个数据受损点t m 之后的第一个正常数据点，t m+n-1为位于最后一个数据受损点t m 之后的第n-1个正常数据点，t m+n 为位于最后一个数据受损点t m 之后的第n个正常数据点，t m+n+1为位于最后一个数据受损点t m 之后的第n+1个正常数据点，t 2m 为位于最后一个数据受损点t m 之后的第m个正常数据点。
步骤103：提取特征图。具体的，对所述中间受损数据点序列、所述左侧正常数据点序列和所述右侧正常数据点序列分别进行特征图提取，得到左侧正常特征图、中间受损特征图和右侧正常特征图。
步骤103，具体包括：
1）根据设定视频编码规则将所述中间受损数据点序列、所述左侧正常数据点序列和所述右侧正常数据点序列中的数据点还原为视频数据，得到受损视频帧序列、左侧正常视频帧序列和右侧正常视频帧序列。具体的：
由设定视频编码规则f encode ，（设定视频编码规则在将视频帧写入到光盘时，光驱激光头会先把设定视频编码规则写到数据报头中，因此光驱激光头读取数据报头即可得到设定视频编码规则），将光驱激光头读出的数据点还原为视频数据，即得到视频中的视频帧序列，其中，由中间受损数据点序列解码出来的错误的受损视频帧序列
Figure 640881DEST_PATH_IMAGE001
、左侧正常数据点序列解码出来的左侧正常视频帧序列
Figure 948234DEST_PATH_IMAGE002
和右侧正常数据点序列解码出来的右侧正常视频帧序列
Figure 383764DEST_PATH_IMAGE003
分别为：
Figure 169186DEST_PATH_IMAGE004
；
其中，f decode 为视频解码规则，为设定视频编码规则的逆，即f encode =f decode -1，T为序列帧数。且，
Figure 910789DEST_PATH_IMAGE005
；
其中，
Figure 310415DEST_PATH_IMAGE006
表示尺寸为T*W*H*C的空间，W为视频帧宽，H为视频帧高，C为视频帧通道数，黑白视频时C为1，彩色视频时C为3。
2）采用卷积神经网络分别对所述受损视频帧序列、所述左侧正常视频帧序列和所述右侧正常视频帧序列进行特征图提取，得到所述左侧正常特征图I-1、所述中间受损特征图I0和所述右侧正常特征图I+1。
在实际应用中，所述卷积神经网络可以采用三维卷积神经网络。特征图提取的具体过程为：
Figure 233241DEST_PATH_IMAGE007
；
其中，Conv3D表示三维卷积神经网络，右上标i代表卷积层数，本实施例中i不做设定，一般为2~3层，且这卷积层具有共同的权重。
步骤104：根据预设的投影矩阵计算左侧正常帧查询向量、第一受损帧键向量、第一受损帧还原值向量、右侧正常帧查询向量、第二受损帧键向量、第二受损帧还原值向量。该步骤，具体包括：
1）根据预设的左侧投影矩阵计算所述左侧正常特征图的左侧正常帧查询向量Q -1、所述中间受损特征图的第一受损帧键向量K -1和所述中间受损特征图的第一受损帧还原值向量V -1。计算公式为：
Figure 822354DEST_PATH_IMAGE008
；
其中，
Figure 678183DEST_PATH_IMAGE009
为预设的左侧投影矩阵中的预设查询投影矩阵，
Figure 61760DEST_PATH_IMAGE010
为预设的左侧投影矩阵中的预设键投影矩阵，
Figure 958301DEST_PATH_IMAGE011
为预设的左侧投影矩阵中的预设还原投影矩阵，它们都是经过多次修复经验值得到的。
2）根据预设的右侧投影矩阵计算所述右侧正常特征图的右侧正常帧查询向量Q +1、所述中间受损特征图的第二受损帧键向量K +1和所述中间受损特征图的第二受损帧还原值向量V +1。计算公式为：
Figure 85526DEST_PATH_IMAGE012
；
其中，
Figure 264704DEST_PATH_IMAGE013
为预设的右侧投影矩阵中的预设查询投影矩阵，
Figure 84761DEST_PATH_IMAGE014
为预设的右侧投影矩阵中的预设键投影矩阵，
Figure 185441DEST_PATH_IMAGE015
为预设的右侧投影矩阵中的预设还原投影矩阵，它们都是经过多次修复经验值得到的。
步骤105：更新第一受损帧还原值向量和第二受损帧还原值向量。
该步骤，具体包括：
1）采用所述左侧正常帧查询向量和所述第一受损帧键向量对所述第一受损帧还原值向量进行更新，得到第一受损帧还原值更新向量。更新过程为：
计算第一关联度
Figure 319619DEST_PATH_IMAGE016
；所述第一关联度为所述左侧正常帧查询向量和所述第一受损帧键向量之间的相似关联度，计算公式为：
Figure 618882DEST_PATH_IMAGE017
；
softMax为权重概率分布函数的计算方式，’代表矩阵转置，d为缩放因子，确保乘积不会过大。
根据所述第一关联度对所述第一受损帧还原值向量V -1进行更新，使得受损视频帧包含左侧正常视频帧中的关键左推理信息，更新后得到的第一受损帧还原值更新向量
Figure 350121DEST_PATH_IMAGE018
为：
Figure 938097DEST_PATH_IMAGE019
。
2）采用所述右侧正常帧查询向量和所述第二受损帧键向量对所述第二受损帧还原值向量进行更新，得到第二受损帧还原值更新向量。更新过程为：
计算第二关联度
Figure 875966DEST_PATH_IMAGE020
；所述第二关联度为所述右侧正常帧查询向量和所述第二受损帧键向量之间的相似关联度，计算公式为：
Figure 498578DEST_PATH_IMAGE021
。
根据所述第二关联度对所述第二受损帧还原值向量V +1进行更新，使得受损视频帧包含右侧正常视频帧中的关键右推理信息，更新后得到的第二受损帧还原值更新向量
Figure 191596DEST_PATH_IMAGE022
为：
Figure 532447DEST_PATH_IMAGE023
。
步骤106：将更新后得到的第一受损帧还原值更新向量和第二受损帧还原值更新向量融合。
该步骤，具体包括：
1）基于自相加与自注意力机制将所述第一受损帧还原值更新向量和所述第二受损帧还原值更新向量融合，得到融合特征图。具体的：
对所述第一受损帧还原值更新向量和所述第二受损帧还原值更新向量进行向量拼接操作，得到拼接向量；采用自注意力机制对所述拼接向量进行计算，得到融合特征图V fusion 。计算公式为：
Figure 805166DEST_PATH_IMAGE024
；
其中，self-Attension为自注意力机制，
Figure 73162DEST_PATH_IMAGE025
为向量拼接操作。融合特征图V fusion 即为最具有代表性的中间受损还原真实值。
步骤107：由融合后得到的融合特征图对所述目标光盘的电子视频档案进行修复。
该步骤，具体包括：
1）采用反卷积神经网络将所述融合特征图还原为视频帧序列，得到中间帧真实序列，在实际应用中，反卷积神经网络可以采用三维反卷积神经网络，中间帧真实序列
Figure 609185DEST_PATH_IMAGE026
的计算公式为：
Figure 906174DEST_PATH_IMAGE027
；
其中，deConv3D为三维反卷积。
2）根据设定视频解码规则将所述中间帧真实序列还原为数据点，得到中间帧真实数据点序列
Figure 185846DEST_PATH_IMAGE028
；
Figure 517470DEST_PATH_IMAGE029
；
由中间帧真实数据点序列确定中间帧真实数据点
Figure 489974DEST_PATH_IMAGE030
，其中，
Figure 274260DEST_PATH_IMAGE031
表示第一个数据受损点的真实值，
Figure 357622DEST_PATH_IMAGE032
表示第n-1个数据受损点的真实值，
Figure 340491DEST_PATH_IMAGE033
表示第n个数据受损点的真实值，
Figure 755334DEST_PATH_IMAGE034
表示第n+1个数据受损点的真实值，
Figure 761337DEST_PATH_IMAGE035
表示第m个数据受损点的真实值。
3）采用光驱激光头将所述中间帧真实数据点烧录到所述目标光盘的光盘面上，此时即可完成光盘面的修复，同时实现对所述目标光盘的电子视频档案的修复。
本实施例提供的基于光盘库的电子视频档案修复方法，通过判断光驱激光头在读取盘面凹凸点位时的能量反射强弱，找出光盘面上的数据受损点，根据光盘面上数据受损点的位置，读取上下临近处的视频帧，根据光盘点附近的多点多视频帧进行时空建模融合，进而对受损点的数据进行修复。该方法，相比现有的采用编解码技术实现的修复，能有效且快速地将丢失或损坏的数据进行修复，保证了档案数据的真实性与宝贵性，为档案行业提供了可信、安全的数据保障，为司法存证提供了有利关键的档案证据，间接维护了社会的可信与稳定运行体系。
本发明还提供了一种基于光盘库的电子视频档案修复系统，参见图2，所述系统，包括：
受损点确定模块201，用于根据反射能量确定目标光盘的数据受损点；所述反射能量为光驱激光头扫射到所述目标光盘的光盘面上，所述光盘面反射的能量。
受损序列确定模块202，用于根据所述数据受损点生成中间受损数据点序列。
左右侧序列确定模块203，用于根据位于所述中间受损数据点序列左侧的正常数据点生成左侧正常数据点序列，根据位于所述中间受损数据点序列右侧的正常数据点生成右侧正常数据点序列。
特征图提取模块204，用于对所述中间受损数据点序列、所述左侧正常数据点序列和所述右侧正常数据点序列分别进行特征图提取，得到左侧正常特征图、中间受损特征图和右侧正常特征图。
第一投影计算模块205，用于根据预设的左侧投影矩阵计算所述左侧正常特征图的左侧正常帧查询向量、所述中间受损特征图的第一受损帧键向量和所述中间受损特征图的第一受损帧还原值向量。
第二投影计算模块206，用于根据预设的右侧投影矩阵计算所述右侧正常特征图的右侧正常帧查询向量、所述中间受损特征图的第二受损帧键向量和所述中间受损特征图的第二受损帧还原值向量。
第一更新模块207，用于采用所述左侧正常帧查询向量和所述第一受损帧键向量对所述第一受损帧还原值向量进行更新，得到第一受损帧还原值更新向量。
第二更新模块208，用于采用所述右侧正常帧查询向量和所述第二受损帧键向量对所述第二受损帧还原值向量进行更新，得到第二受损帧还原值更新向量。
特征融合模块209，用于基于自相加与自注意力机制将所述第一受损帧还原值更新向量和所述第二受损帧还原值更新向量融合，得到融合特征图。
修复模块210，用于由所述融合特征图对所述目标光盘的电子视频档案进行修复。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于光盘库的电子视频档案修复方法，其特征在于，包括：
根据反射能量确定目标光盘的数据受损点；所述反射能量为光驱激光头扫射到所述目标光盘的光盘面上，所述光盘面反射的能量；
根据所述数据受损点生成中间受损数据点序列；
根据位于所述中间受损数据点序列左侧的正常数据点生成左侧正常数据点序列，根据位于所述中间受损数据点序列右侧的正常数据点生成右侧正常数据点序列；
对所述中间受损数据点序列、所述左侧正常数据点序列和所述右侧正常数据点序列分别进行特征图提取，得到左侧正常特征图、中间受损特征图和右侧正常特征图；
根据预设的左侧投影矩阵计算所述左侧正常特征图的左侧正常帧查询向量Q -1、所述中间受损特征图的第一受损帧键向量K -1和所述中间受损特征图的第一受损帧还原值向量V -1，计算公式为：
Figure DEST_PATH_IMAGE001
；
其中，
Figure DEST_PATH_IMAGE002
为预设的左侧投影矩阵中的预设查询投影矩阵，
Figure DEST_PATH_IMAGE003
为预设的左侧投影矩阵中的预设键投影矩阵，
Figure DEST_PATH_IMAGE004
为预设的左侧投影矩阵中的预设还原投影矩阵，I-1表示左侧正常特征图，I0表示中间受损特征图；
根据预设的右侧投影矩阵计算所述右侧正常特征图的右侧正常帧查询向量Q +1、所述中间受损特征图的第二受损帧键向量K +1和所述中间受损特征图的第二受损帧还原值向量V +1，计算公式为：
Figure DEST_PATH_IMAGE005
；
其中，
Figure DEST_PATH_IMAGE006
为预设的右侧投影矩阵中的预设查询投影矩阵，
Figure DEST_PATH_IMAGE007
为预设的右侧投影矩阵中的预设键投影矩阵，
Figure DEST_PATH_IMAGE008
为预设的右侧投影矩阵中的预设还原投影矩阵，I+1表示右侧正常特征图；
采用所述左侧正常帧查询向量和所述第一受损帧键向量对所述第一受损帧还原值向量进行更新，得到第一受损帧还原值更新向量，更新过程为：
计算第一关联度
Figure DEST_PATH_IMAGE009
；所述第一关联度为所述左侧正常帧查询向量和所述第一受损帧键向量之间的相似关联度，计算公式为：
Figure DEST_PATH_IMAGE010
；
softMax为权重概率分布函数的计算方式，’代表矩阵转置，d为缩放因子；
根据所述第一关联度对所述第一受损帧还原值向量V -1进行更新，使得受损视频帧包含左侧正常视频帧中的关键左推理信息，更新后得到的第一受损帧还原值更新向量
Figure DEST_PATH_IMAGE011
为：
Figure DEST_PATH_IMAGE012
；
采用所述右侧正常帧查询向量和所述第二受损帧键向量对所述第二受损帧还原值向量进行更新，得到第二受损帧还原值更新向量，更新过程为：
计算第二关联度
Figure DEST_PATH_IMAGE013
；所述第二关联度为所述右侧正常帧查询向量和所述第二受损帧键向量之间的相似关联度，计算公式为：
Figure DEST_PATH_IMAGE014
；
根据所述第二关联度对所述第二受损帧还原值向量V +1进行更新，使得受损视频帧包含右侧正常视频帧中的关键右推理信息，更新后得到的第二受损帧还原值更新向量
Figure DEST_PATH_IMAGE015
为：
Figure DEST_PATH_IMAGE016
；
基于自相加与自注意力机制将所述第一受损帧还原值更新向量和所述第二受损帧还原值更新向量融合，得到融合特征图，具体的：
对所述第一受损帧还原值更新向量和所述第二受损帧还原值更新向量进行向量拼接操作，得到拼接向量；采用自注意力机制对所述拼接向量进行计算，得到融合特征图V fusion ，计算公式为：
Figure DEST_PATH_IMAGE017
；
其中，self-Attension为自注意力机制，
Figure DEST_PATH_IMAGE018
为向量拼接操作；
由所述融合特征图对所述目标光盘的电子视频档案进行修复，具体包括：
1）采用反卷积神经网络将所述融合特征图还原为视频帧序列，得到中间帧真实序列，反卷积神经网络采用三维反卷积神经网络，中间帧真实序列
Figure DEST_PATH_IMAGE019
的计算公式为：
Figure DEST_PATH_IMAGE020
；
其中，deConv3D为三维反卷积；
2）根据设定视频解码规则将所述中间帧真实序列还原为数据点，得到中间帧真实数据点序列
Figure DEST_PATH_IMAGE021
；
Figure DEST_PATH_IMAGE022
；
由中间帧真实数据点序列确定中间帧真实数据点
Figure DEST_PATH_IMAGE023
，其中，
Figure DEST_PATH_IMAGE024
表示第一个数据受损点的真实值，
Figure DEST_PATH_IMAGE025
表示第n-1个数据受损点的真实值，
Figure DEST_PATH_IMAGE026
表示第n个数据受损点的真实值，
Figure DEST_PATH_IMAGE027
表示第n+1个数据受损点的真实值，
Figure DEST_PATH_IMAGE028
表示第m个数据受损点的真实值；
3）采用光驱激光头将所述中间帧真实数据点烧录到所述目标光盘的光盘面上，完成光盘面的修复，同时实现对所述目标光盘的电子视频档案的修复。
2.根据权利要求1所述的一种基于光盘库的电子视频档案修复方法，其特征在于，所述根据位于所述中间受损数据点序列左侧的正常数据点生成左侧正常数据点序列，根据位于所述中间受损数据点序列右侧的正常数据点生成右侧正常数据点序列，具体包括：
由所述中间受损数据点序列中第一个受损数据点之前的m个正常数据点生成左侧正常数据点序列；所述左侧正常数据点序列中的最后一个正常数据点与所述中间受损数据点序列中第一个受损数据点为相邻位置的两个数据点；
由所述中间受损数据点序列中最后一个受损数据点之后的m个正常数据点生成右侧正常数据点序列；所述中间受损数据点序列中最后一个受损数据点与所述右侧正常数据点序列的第一个正常数据点为相邻位置的两个数据点；所述中间受损数据点序列中的数据点的个数为m。
3.根据权利要求1所述的一种基于光盘库的电子视频档案修复方法，其特征在于，所述对所述中间受损数据点序列、所述左侧正常数据点序列和所述右侧正常数据点序列分别进行特征图提取，得到左侧正常特征图、中间受损特征图和右侧正常特征图，具体包括：
根据设定视频编码规则将所述中间受损数据点序列、所述左侧正常数据点序列和所述右侧正常数据点序列中的数据点还原为视频数据，得到受损视频帧序列、左侧正常视频帧序列和右侧正常视频帧序列；
采用卷积神经网络分别对所述受损视频帧序列、所述左侧正常视频帧序列和所述右侧正常视频帧序列进行特征图提取，得到所述左侧正常特征图、所述中间受损特征图和所述右侧正常特征图。
4.根据权利要求3所述的一种基于光盘库的电子视频档案修复方法，其特征在于，所述卷积神经网络为三维卷积神经网络。
5.根据权利要求1所述的一种基于光盘库的电子视频档案修复方法，其特征在于，所述反卷积神经网络为三维反卷积神经网络。
6.一种用于权利要求1-5中任意一项所述方法的基于光盘库的电子视频档案修复系统，其特征在于，包括：
受损点确定模块，用于根据反射能量确定目标光盘的数据受损点；所述反射能量为光驱激光头扫射到所述目标光盘的光盘面上，所述光盘面反射的能量；
受损序列确定模块，用于根据所述数据受损点生成中间受损数据点序列；
左右侧序列确定模块，用于根据位于所述中间受损数据点序列左侧的正常数据点生成左侧正常数据点序列，根据位于所述中间受损数据点序列右侧的正常数据点生成右侧正常数据点序列；
特征图提取模块，用于对所述中间受损数据点序列、所述左侧正常数据点序列和所述右侧正常数据点序列分别进行特征图提取，得到左侧正常特征图、中间受损特征图和右侧正常特征图；
第一投影计算模块，用于根据预设的左侧投影矩阵计算所述左侧正常特征图的左侧正常帧查询向量、所述中间受损特征图的第一受损帧键向量和所述中间受损特征图的第一受损帧还原值向量；
第二投影计算模块，用于根据预设的右侧投影矩阵计算所述右侧正常特征图的右侧正常帧查询向量、所述中间受损特征图的第二受损帧键向量和所述中间受损特征图的第二受损帧还原值向量；
第一更新模块，用于采用所述左侧正常帧查询向量和所述第一受损帧键向量对所述第一受损帧还原值向量进行更新，得到第一受损帧还原值更新向量；
第二更新模块，用于采用所述右侧正常帧查询向量和所述第二受损帧键向量对所述第二受损帧还原值向量进行更新，得到第二受损帧还原值更新向量；
特征融合模块，用于基于自相加与自注意力机制将所述第一受损帧还原值更新向量和所述第二受损帧还原值更新向量融合，得到融合特征图；
修复模块，用于由所述融合特征图对所述目标光盘的电子视频档案进行修复。
CN202210784808.8A 2022-07-06 2022-07-06 一种基于光盘库的电子视频档案修复方法及系统 Active CN114860996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210784808.8A CN114860996B (zh) 2022-07-06 2022-07-06 一种基于光盘库的电子视频档案修复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210784808.8A CN114860996B (zh) 2022-07-06 2022-07-06 一种基于光盘库的电子视频档案修复方法及系统

Publications (2)

Publication Number Publication Date
CN114860996A CN114860996A (zh) 2022-08-05
CN114860996B true CN114860996B (zh) 2022-10-04

Family

ID=82626196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210784808.8A Active CN114860996B (zh) 2022-07-06 2022-07-06 一种基于光盘库的电子视频档案修复方法及系统

Country Status (1)

Country Link
CN (1) CN114860996B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118331794B (zh) * 2024-06-14 2024-08-30 临沂大学 一种用于数据处理的电子档案修复方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100246683A1 (en) * 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
WO2014139069A1 (zh) * 2013-03-11 2014-09-18 华为技术有限公司 视频文件修复方法及装置
US11055828B2 (en) * 2019-05-09 2021-07-06 Adobe Inc. Video inpainting with deep internal learning
CN111738952B (zh) * 2020-06-22 2023-10-10 京东方科技集团股份有限公司 一种图像修复的方法、装置及电子设备
CN112581397B (zh) * 2020-12-21 2023-08-08 华南农业大学 一种基于图像先验信息的退化图像修复方法、系统、介质和设备
CN113791929B (zh) * 2021-11-17 2022-04-08 北京中科开迪软件有限公司 一种基于图像识别的光盘库故障自动恢复方法及系统

Also Published As

Publication number Publication date
CN114860996A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
Huang et al. Octsqueeze: Octree-structured entropy model for lidar compression
CN111368662B (zh) 一种人脸图像属性编辑方法、装置、存储介质及设备
CN108492281B (zh) 一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法
CN114860996B (zh) 一种基于光盘库的电子视频档案修复方法及系统
CN110009580B (zh) 基于图片块雨滴密集度的单张图片双向去雨方法
CN111539887A (zh) 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法
CN114627006B (zh) 一种基于深度解耦网络的渐进式图像修复方法
CN109215092B (zh) 仿真场景的生成方法及装置
US8131094B2 (en) Method and apparatus for encoding/decoding 3D mesh information
CN111741301B (zh) 基于ambtc压缩编码的再压缩及信息隐藏方法
CN113837083A (zh) 一种基于Transformer的视频片段分割方法
CN115588125A (zh) 一种用于多个图像插入的图像集构建方法
CN118537265A (zh) 人脸盲修复方法、装置、设备和介质
CN112418127B (zh) 一种用于视频行人重识别的视频序列编码与解码方法
CN111930732B (zh) 基于级联卷积自编码器的缺失电力负荷数据修复方法及装置
Siddiqua et al. MACGAN: an all-in-one image restoration under adverse conditions using multidomain attention-based conditional GAN
CN113643195A (zh) 一种基于独立细节恢复网络的图像去雾方法
CN116710962A (zh) 图像填充方法及装置、解码方法及装置、电子设备及介质
CN116109510A (zh) 一种基于结构和纹理对偶生成的人脸图像修复方法
CN116468638A (zh) 一种基于生成和鉴别平衡对抗的人脸图像修复方法及系统
CN115861401A (zh) 一种双目与点云融合深度恢复方法、装置和介质
CN113342997B (zh) 一种基于文本行匹配的跨图文本阅读方法
Xu et al. Generative adversarial network for image raindrop removal of transmission line based on unmanned aerial vehicle inspection
CN114979801A (zh) 基于双向卷积长短期记忆网络的动态视频摘要算法及系统
CN118233222B (zh) 一种基于知识蒸馏的工控网络入侵检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant