CN112052344B - 一种基于知识图谱与ScSIFT的融媒体信息获取方法 - Google Patents

Abstract

本发明涉及一种基于知识图谱与ScSIFT的融媒体信息获取方法，特别是一种对安全生产中危化品事故的融媒体信息获取方法，属于智能安全领域，其特征在于采用如下步骤：(1)获取子图顶点权重与各边权重；(2)顶点的约简处理；(3)获得子图融合矩阵；(4)确定标准化SIFT特征向量组；(5)确定稀疏编码；(6)确定ScSIFT特征距离；(7)获取二值向量；(8)建立一级索引；(9)获取重组图像矩阵；(10)子矩阵分块；(11)确定子矩阵的最大特征值；(12)样本降维；(13)文本向量与视频关键帧融合。本发明克服了传统单一获取文本局限性问题，利用知识图谱与ScSIFT结合的优势取得了较完备的检索结果。为融媒体信息获取领域提供了一种全面信息获取的方法。

Description

一种基于知识图谱与ScSIFT的融媒体信息获取方法

技术领域

本发明涉及智能安全领域，特别是一种对安全生产中危化品事故的融媒体信息获取方法。

背景技术

目前，在安全生产危化品事故领域，对关键信息的查找，主要采取的方式还是通过人工大量查询相关的文献材料，或观看相关视频的方法实现，基于这些做法不仅费时费力，而且查询的方式较为单一性。在关键信息获取过程中仅从文本中获取的信息关联性低，结构松散，不容易得出相关的结论，同时找出信息之间的联系。而仅视频中获取数据的方法，当数据量小时，得到的信息数量较少，获得的信息对之后的应用没有很好地泛化能力，数据量过大时，由于数据量大，维度高，因此，系统处理的速度不能满足要求。所以这种仅通过单一途径进行关键信息查找的方式很难满足高效准确的需求，并且信息来源的单一性也有可能出现信息的缺漏和判断错误的情况。

对于融媒体信息获取方法，主要是通过文本资料和视频资料途径获取。因此要想高效及时的获取关键信息，需要同时对视频和文本进行关键信息的获取，在此提出了一种基于知识图谱与ScSIFT的融媒体信息获取方法，我们利用知识图谱这种语义网络和ScSIFT的视频关键帧提取相结合的方法，将传统的生产安全事故信息的查找只注重文献资料或者仅参考视频信息的单一模式信息获取，整合为从这两个方面同时进行关键信息的提取。安全事故信息的获取要求精准和效率，基于知识图谱与ScSIFT的融媒体信息获取方法在一定程度上提高了我们检索信息的快速性与准确性，以便于工作人员多方面发现问题，立体总结问题，做好各种事故的预防与解决策略。

发明内容

针对上述现有技术中存在的问题，本发明要解决的技术问题是提供一种基于知识图谱与ScSIFT的融媒体信息获取方法，其具体流程如图1所示。

实现本发明目的的技术方案的具体步骤为：

步骤一：获取知识子图的顶点权重W_v(G_k,V_i)与各边权重W_E(G_k,V_i,V_j)：

利用知识图谱提取文本信息以及文本信息间的关系，获取知识子图，对获取的知识子图进行降噪处理：

式中，W_v(G_k,V_i)表示子图中顶点权重，W_Vi表示每个顶点的权重，V_G为顶点个数，E_G为边个数，W_E(G_k,V_i,V_j)为子图中边权重，得到顶点权重值与边权重值，v_i,v_j分别表示图像量的横纵分量，V_i,V_j分别表示v_i,v_j的集合，G_k表示有向关联中的方向指标，利用基于加权策略的子图降噪算法对子图进行降噪处理；

步骤二：对降噪后的子图进行顶点的约简处理：

V′＝{v₁,v₂,…,v_n}；

式中，V′表示高效率信息集合，通过对顶点的频率进行统计，运用阈值剔除方法得到高效率信息集合，v₁,v₂,…,v_n是分别代表1…n每个顶点；

步骤三：获得子图融合矩阵Y_b＝{c₁,c₂,…,c_d}：

对二次简约后的子图计算文本相似度：

G^**＝{s|d(s,s_i)≤t,s∈S}；

式中，G^**表示新知识子图集，S表示若干子图集，s表示目标图集，s_i表示第i个图集，t表示距离阈值，d(s,s_i)表示两集合间的距离，基于双邻接矩阵融合方法子图融合，得到矩阵Y_b＝{c₁,c₂,…,c_d}，c₁,c₂,…,c_d分别为矩阵Y_b中的1…d的列向量；

步骤四：获得视频图像标准化SIFT特征向量组X_s：

提取图像中SIFT特征向量X＝{X₁,X₂,....X_n}，对其进行标准化：

式中，X是n个SIFT特征向量组，维度为128×n，X_jmeans是特征向量组X列均值张成的128×n维矩阵，|X′|_jmod是X′按列取模张成的128×n为矩阵，X_s是X标准化特征向量组；

步骤五：对特征向量进行稀疏编码：

X＝D·α,sparse；

式中，D为训练得到的超完备字典，α为相应的权重，sparse表示稀疏化处理；

步骤六：获取ScSIFT特征距离L：

其中，L是特征X的稀疏向量α_Xα_X与特征Y的稀疏向量α_Y的欧式距离；α_Xi指在向量α_X中非0，而在α_Y中为0的元素序数，α_Yj指向量α_Y中非0，而在α_Y中非0的元素序数；α_Xk、α_Yk指在α_X与α_Y中都非0的元素序数；

步骤七：获取特征向量的二值向量α_bool：

其中，二值向量α_bool为ScSIFT特征的二级索引，α_i1表示第i行第1列的元素，α_ik表示第i行第k列的元素，1_i1表示第i行第1列的元素为1，1_ik表示第i行第k列的元素为1，且

步骤八：在二级索引上建立一级索引：

式中，num作为ScSIFT特征的一级索引，统计二级索引α_bool中非0元素的个数，i为二级索引α_bool中元素的个数。

根据索引进行特征向量的匹配，寻找待检测特征向量的邻近点。因此，判断视频的相似性，进而摘选出视频中的关键帧；

步骤九：获取重组图像矩阵X′_p：

对关键帧集合进行分块处理，得到重组图像矩阵X′_p：

式中，X_p为第p(p＝1,2,...,N)个训练样本，X′_p是组成新的图像矩阵，

(原始图像大小m×m、滑动窗口大小n×n，以步长为S进行滑动截取)，X_p,q1为X_p中第q行第1列元素，X_p,qq为X_p中第q行第q列元素，其它以此类推；

步骤十：新的重组图像矩阵的每一个子矩阵分块：

其中，1≤r≤q,1≤s≤q，x(n,n)指X_p,rs矩阵中的第n行第n列的元素；

步骤十一：计算出每个子矩阵X′_r,s的最大特征值B_r,s：

B_r,s＝max{λ₁,λ₂,…,λ_n}；

式中，B_r,s为子矩阵X′_r,s的最大特征值，λ₁,λ₂,...,λ_n为n阶矩阵在复数范围内的n个特征值；

步骤十二：获取样本降维后的

式中，

为第p(p＝1,2,...,N)个样本降维后的向量，用子矩阵的最大特征值表示子矩阵的主要特征，然后按行排列成新的向量，b_qq是

矩阵中第q行第q列的元素；

步骤十三：文本向量与提取的关键帧进行融合：

式中，

为视频第p个样本降维后的向量，Y_b为文本子图融合后的矩阵，Z_p为文本矩阵与视频向量融合的结果。

本发明比现有技术所具有的优点：

(1)通过知识图谱对文本信息进行挖掘检索，一定程度上解决了现有技术只能单一检索文本，不能进行文本间关系的实现的缺陷。

(2)基于ScSIFT视频的提取关键帧的方法，在一定程度上解决现有视频数据量大、维度高的问题，提高提取关键帧的效率。

(3)二者技术的融合，双方面进行信息获取，提高信息的立体性，增强信息的准确性。

附图说明

为了更好地理解本发明，下面结合附图作进一步的说明。

图1是建立基于知识图谱与ScSIFT的融媒体信息提取算法的步骤流程图；

图2是建立基于知识图谱与ScSIFT的融媒体信息提取算法流程图；

图3是基于知识图谱的知识子图融合结果示意图；

图4是利用本发明两组文本信息以及一组视频信息检索实验的结果对比图；

具体实施方案

下面通过实施案例对本发明作进一步详细说明。

本实施案例选用的文本数据集是通过运用知识图谱获取到的两个不同的知识子图，视频数据集为随机从安全生产危化品事故视频数据库中抽取。

本发明所提供的一种基于知识图谱与ScSIFT的融媒体信息获取方法整体流程如图1所示，具体步骤如下：

(1)获取知识子图的顶点权重W_v(G_k,V_i)与中边权重W_E(G_k,V_i,V_j)：

利用知识图谱提取文本信息以及文本信息间的关系，获取知识子图，对获取的知识子图进行降噪处理：

式中，W_v(G_k,V_i)表示子图中顶点权重，|V_G|为顶点个数，|E_G|为边个数，W_E(G_k,V_i,V_j)为子图中边权重。得到顶点权重值与边权重值，利用基于加权策略的子图降噪算法对子图进行降噪处理。得到的W_E(G_k,V_i,V_j)和W_v(G_k,V_i)分别为：

(1)对降噪后的子图进行顶点的约简处理：

V′＝{v₁,v₂,…,v_n}

式中，V′表示高效率信息集合。通过对顶点的频率进行统计，运用阈值剔除方法得到高效率信息集合。

(2)获得子图融合矩阵Y_b＝{c₁,c₂,…,c_d}：

对二次简约后的子图计算文本相似度：

G^**＝{s|d(s,s_i)≤t,s∈S}

式中，G^**表示新知识子图集，S表示若干子图集，s_i表示第i个图集，t表示距离阈值，d(s,s_i)表示两集合间的距离。基于双邻接矩阵融合方法子图融合，得到矩阵Y_b＝{c₁,c₂,…,c_d}。经过计算文本的相似度后，求得最后子图融合后的矩阵Y_b为：

(3)获得视频图像标准化SIFT特征向量组X_s：

提取图像中SIFT特征向量X＝{X₁,X₂,…,X_n}，对其进行标准化：

X′＝X-X_jmeans

X_s＝X′/|X′|_jmod

式中，X是_n个SIFT特征向量组，维度为128×n，X_jmeans是特征向量组X列均值张成的128×n维矩阵，|X′|_jmod是X′按列取模张成的128×n为矩阵，X_s是标准化SIFT特征向量组。

(4)对特征向量进行稀疏编码：

X＝D·α,sparse

式中，D为训练得到的超完备字典。

(5)获取ScSIFT特征距离L：

其中，L是特征X的稀疏向量α_X与特征Y的稀疏向量α_Y的欧式距离；i指在向量α_X中非0，而在α_Y中为0的元素序数，j指向量α_Y中非0，而在α_Y中非0的元素序数；k指在α_X与α_Y中都非0的元素序数。

(6)获取特征向量的二值向量α_bool：

α_bool＝bool(α)＝bool((0,…,0,α_i1,0,…,α_ik,0,…,0,)_n)＝(0,…,0,1_i1,0,…,0,1_ik,0,…,0,)_n

其中，二值向量α_bool为ScSIFT特征的二级索引，且

(7)在二级索引上建立一级索引：

式中，num作为ScSIFT特征的一级索引，统计二级索引α_bool中非0元素的个数。其中，我们计算得到num的值为15。

根据索引进行特征向量的匹配，寻找待检测特征向量的邻近点。因此，判断视频的相似性，进而摘选出视频中的关键帧。

(8)获取重组图像矩阵X′₁₀：

对关键帧集合进行分块处理，得到重组图像矩阵X′₁₀：

式中，X₁₀为第10个训练样本，X′₁₀是组成新的图像矩阵，(q＝178，原始图像大小900×900、滑动窗口大小q＝10×10，以步长为5进行滑动截取)。

(1)新的重组图像矩阵的每一个子矩阵分块：

其中，1≤r≤178,1≤s≤178。

(2)计算出每个子矩阵X′_r,s的最大特征值B_r,s：

B_r,s＝max{λ₁,λ₂,…,λ_n}

式中，B_r,s为子矩阵X′_r,s的最大特征值，λ₁,λ₂,...,λ_n为n阶矩阵在复数范围内的n个特征值。

(3)获取样本降维后的

式中，

为第10个样本降维后的向量。用子矩阵的最大特征值表示子矩阵的主要特征，然后按行排列成新的向量。

(4)文本向量与提取的关键帧进行融合：

Z₁₀＝{b₁₁,b₁₂,…,b₁₇₈₁₇₈,c₁,c₂,…,c_d}

式中，

为视频第10个样本降维后的向量，Y_p为文本子图融合后的矩阵，Z₁₀为文本矩阵与视频向量融合的结果。

为了验证本发明对融媒体信息获取的准确性，对本发明进行了两组文本信息检索实验以及一组视频信息检索实验，实验结果如图4所示。由图4可知，本发明所建立的知识图谱与ScSIFT的融媒体信息获取方法，能够在保证稳定性的基础上达到较高的信息获取准确率。这表明本发明建立的知识图谱与ScSIFT的融媒体信息获取方法是有效的，为获取精确的信息提供了更好的方法，具有一定的实用性。

Claims (1)

1.一种基于知识图谱与ScSIFT的融媒体信息获取方法，其特征在于：(1)获取知识子图顶点权重与各边权重；(2)进行顶点的约简处理；(3)获得子图融合矩阵；(4)获得标准化SIFT特征向量组；(5)确定稀疏编码；(6)确定ScSIFT特征距离；(7)获取二值向量；(8)建立一级索引；(9)获取重组图像矩阵；(10)子矩阵分块；(11)确定子矩阵的最大特征值；(12)进行样本降维；(13)进行文本向量与提取的关键帧融合；具体包括以下十三个步骤：

步骤一：获取知识子图的顶点权重W_v(G_k,V_i)与各边权重W_E(G_k,V_i,V_j)：

利用知识图谱提取文本信息以及文本信息间的关系，获取知识子图，对获取的知识子图进行降噪处理：

式中，W_v(G_k,V_i)表示子图中顶点权重，

表示每个顶点的权重，V_G为顶点个数，E_G为边个数，W_E(G_k,V_i,V_j)为子图中边权重，得到顶点权重值与边权重值，v_i，v_j分别表示图像量的横纵分量，V_i，V_j分别表示v_i，v_j的集合，G_k表示有向关联中的方向指标，利用基于加权策略的子图降噪算法对子图进行降噪处理；

步骤二：对降噪后的子图进行顶点的约简处理：

V'＝{v₁,v₂,…,v_e}；

式中，V'表示高效率信息集合，通过对顶点的频率进行统计，运用阈值剔除方法得到高效率信息集合，v₁,v₂,…,v_e是分别代表1...e每个顶点；

步骤三：获得子图融合矩阵Y_b＝{c₁,c₂,…,c_d}：

对二次简约后的子图计算文本相似度：

G^**＝{s|d(s,s_i)≤t,s∈S}；

式中，G^**表示新知识子图集，S表示若干子图集，s表示目标图集，s_i表示第i个图集，t表示距离阈值，d(s,s_i)表示两集合间的距离，基于双邻接矩阵融合方法子图融合，得到矩阵Y_b＝{c₁,c₂,…,c_d}，c₁,c₂,…,c_d分别为矩阵Y_b中的1…d的列向量；

步骤四：获得视频图像标准化SIFT特征向量组X_s：

提取图像中SIFT特征向量X＝{X₁,X₂,....,X_n}，对其进行标准化：

式中，X是n个SIFT特征向量组，维度为128×n，X_jmeans是特征向量组X列均值张成的128×n维矩阵，|X'|_jmod是X'按列取模张成的128×n维矩阵，X_s是X标准化特征向量组；

步骤五：对特征向量进行稀疏编码：

X＝D·α,sparse；

式中，D为训练得到的超完备字典，α为相应的权重，sparse表示稀疏化处理；

步骤六：获取ScSIFT特征距离L：

其中，L是特征X的稀疏向量α_X与特征Y的稀疏向量α_Y的欧式距离；α_Xi指在向量α_X中非0，而在α_Y中为0的元素序数，α_Yj指在向量α_Y中非0，而在α_X中非0的元素序数；α_Xk、α_Yk指在α_X与α_Y中都非0的元素序数；

步骤七：获取特征向量的二值向量α_bool：

其中，二值向量α_bool为ScSIFT特征的二级索引，α_i1表示第i行第1列的元素，α_ik表示第i行第k列的元素，1_i1表示第i行第1列的元素为1，1_ik表示第i行第k列的元素为1，且

其中，n表示组成X的SIFT特征向量组的个数；

步骤八：在二级索引上建立一级索引：

式中，num作为ScSIFT特征的一级索引，统计二级索引α_bool中非0元素的个数，β为二级索引α_bool中元素的个数；

根据索引进行特征向量的匹配，寻找待检测特征向量的邻近点；判断视频的相似性，进而摘选出视频中的关键帧；

步骤九：获取重组图像矩阵X'_p：

对关键帧集合进行分块处理，得到重组图像矩阵X′_p：

式中，X_p为第p(p＝1,2,...,N)个训练样本，X'_p是组成新的图像矩阵，

原始图像大小m×m、滑动窗口大小h×h，以步长为S进行滑动截取，X_p,q1为X_p中第q行第1列元素，X_p,qq为X_p中第q行第q列元素，其它以此类推；

步骤十：新的重组图像矩阵的每一个子矩阵分块：

其中，1≤r≤q,1≤s≤q，x(f,f)指X_p,rs矩阵中的第f行第f列的元素；

步骤十一：计算出每个子矩阵X′_r,s的最大特征值B_r,s：

B_r,s＝max{λ₁,λ₂,…,λ_τ}；

式中，B_r,s为子矩阵X′_r,s的最大特征值，λ₁,λ₂,...,λ_τ为τ阶矩阵在复数范围内的τ个特征值；

步骤十二：获取样本降维后的

式中，

为第p(p＝1,2,...,N)个样本降维后的向量，用子矩阵的最大特征值表示子矩阵的主要特征，然后按行排列成新的向量，b_qq是

矩阵中第q行第q列的元素；

步骤十三：文本向量与提取的关键帧进行融合：

式中，

为视频第p个样本降维后的向量，Y_b为文本子图融合后的矩阵，Z_p为文本矩阵与视频向量融合的结果。

Images