CN111125408A - 基于特征提取的搜索方法、装置、计算机设备和存储介质 - Google Patents

基于特征提取的搜索方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111125408A
CN111125408A CN201910963661.7A CN201910963661A CN111125408A CN 111125408 A CN111125408 A CN 111125408A CN 201910963661 A CN201910963661 A CN 201910963661A CN 111125408 A CN111125408 A CN 111125408A
Authority
CN
China
Prior art keywords
data source
keyword
preset
matching degree
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910963661.7A
Other languages
English (en)
Other versions
CN111125408B (zh
Inventor
王亚奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910963661.7A priority Critical patent/CN111125408B/zh
Publication of CN111125408A publication Critical patent/CN111125408A/zh
Application granted granted Critical
Publication of CN111125408B publication Critical patent/CN111125408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请揭示了一种基于特征提取的搜索方法、装置、计算机设备和存储介质，所述方法包括：获取对多个数据源进行搜索的搜索指令；提取文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征；将关键词文字转换为关键词图片、关键词视频和关键词语音；对应计算关键词文字与文字数据源特征的匹配程度值、计算关键词图片与图片数据源特征的匹配程度值、计算关键词视频与视频数据源特征的匹配程度值、计算关键词语音与语音数据源特征的匹配程度值；获取由多个指定数据源构成的命中结果集合；根据预设的排序方法，对命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表。从而提高了搜索的准确性。

Description

基于特征提取的搜索方法、装置、计算机设备和存储介质
技术领域
本申请涉及到计算机领域，特别是涉及到一种基于特征提取的搜索方法、装置、计算机设备和存储介质。
背景技术
搜索是网络信息社会中获取信息的有效手段，目前的搜索方法，一般是先接收用户输入的关键词，再判断数据源中是否存在相同的关键词，若断数据源中存在相同的关键词，则把该数据源作为命中结果进行呈现。这种搜索方法，仅适合文字数据源的搜索，却不适合图片数据源、视频数据源和语音数据源。而当前的信息网络中，存在着大量的图片、视频和语音，因此传统技术的搜索方案会漏过这些数据源，因此搜索准确度无法保证。
发明内容
本申请的主要目的为提供一种基于特征提取的搜索方法、装置、计算机设备和存储介质，旨在提高搜索的准确性。
为了实现上述发明目的，本申请提出一种基于特征提取的搜索方法，包括以下步骤：
获取对多个数据源进行搜索的搜索指令，所述搜索指令携带有关键词文字，所述数据源的类型包括文字数据源、图片数据源、视频数据源和语音数据源；
根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理，从而对应得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征；
根据预设的转换方法，将所述关键词文字转换为关键词图片、关键词视频和关键词语音；
根据预设的匹配算法，对应计算所述关键词文字与所述文字数据源特征的匹配程度值、计算所述关键词图片与所述图片数据源特征的匹配程度值、计算所述关键词视频与所述视频数据源特征的匹配程度值、以及计算所述关键词语音与所述语音数据源特征的匹配程度值；
获取由多个指定数据源构成的命中结果集合，其中所述指定数据源对应的匹配程度值大于预设的文字匹配阈值、图片匹配阈值、视频匹配阈值或者语音匹配阈值；
根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表。
进一步地，所述根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理，从而对应得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征的步骤之前，包括：
采用预设的分块方法，对所述数据源进行分块处理，从而得到多个数据源分块；
采集所述多个数据源分块中的特征数据，并将所述特征数据输入预先构建的基于决策树模型的数据源分类模型中进行运算，从而得到所述数据源分类模型输出的分类结果，所述分类结果包括文字数据源、图片数据源、视频数据源和语音数据源；
生成信息特征提取处理指令，所述信息特征提取处理指令用于指示对所述数据源进行信息特征提取处理，其中所述信息特征提取处理根据所述分类结果而进行。
进一步地，所述数据源为视频数据源，所述根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理的步骤,包括：
从所述数据源获取视频数据，并根据预设的图像帧提取方法，从所述视频数据中提取多张图像帧；
利用预设的图片形状转换方法，将所述图像帧转换为三角形图片，从而得到与所述多张图像帧分别对应的多张三角形图片；
调取预存于三维虚拟空间中的指定多棱锥，其中所述指定多棱锥具有n个三角形侧面，所述多张图像帧共有n张，所述n个三角形侧面的形状分别与所述多张三角形图片的形状一一对应，n为大于等于3的整数；
将所述多张三角形图片对应填入所述指定多棱锥的n个三角形侧面中，从而得到图像帧多棱锥，并将所述图像帧多棱锥作为所述数据源的信息特征并进行提取处理。
进一步地，所述利用预设的图片形状转换方法，将所述图像帧转换为三角形图片，从而得到与所述多张图像帧分别对应的多张三角形图片的步骤，包括：
获取所述图像帧中的像素点的RGB颜色通道的红颜色数值、绿颜色数值和蓝颜色数值，并分别构成红颜色矩阵、绿颜色矩阵和蓝颜色矩阵，所述红颜色矩阵、绿颜色矩阵和蓝颜色矩阵均是行数为p的矩阵；
获取预设的所述三角形图片的第i行的像素点数量ki；
将所述红颜色矩阵、绿颜色矩阵和蓝颜色矩阵的第i行平均划分为p/ki个区段，并对每个区段均进行平均值处理，从而得到由多个平均值分别构成的红颜色均值矩阵、绿颜色均值矩阵和蓝颜色均值矩阵；
对所述红颜色均值矩阵、绿颜色均值矩阵和蓝颜色均值矩阵分别进行三角形切割处理，得到红颜色均值集合、绿颜色均值集合和蓝颜色均值集合，所述三角形切割处理是指将指定三角形区域之外的数值去除，所述指定三角形区域的三个顶点分别为矩阵的第一行的中间点和最后一行的两个端点；
将所述三角形图片的第i行第j列的像素点的红颜色数值、绿颜色数值和蓝颜色数值，分别设置为所述红颜色均值集合、绿颜色均值集合和蓝颜色均值集合的第i行第j列的数值，从而将所述图像帧转换为三角形图片。
进一步地，所述计算所述关键词视频与所述视频数据源特征的匹配程度值的步骤,包括：
根据预设的方向计算方法，获取指定方向，并根据所述指定方向对所述图像帧多棱锥进行图像采集，得到第一图像；
从所述关键词视频中提取n张图片，并利用预设的图片形状转换方法进行转换，从而得到n张关键词三角形图片；
将所述n张关键词三角形图片对应填入所述指定多棱锥的n个三角形侧面中，从而得到关键词多棱锥；
根据所述指定方向对所述关键词多棱锥进行图像采集，得到第二图像；
根据预设的图像相似度计算方法，计算所述第一图像与所述第二图像之间的图像相似度值，并将所述图像相似度值作为所述关键词视频与所述视频数据源特征的匹配程度值。
进一步地，所述数据源为语音数据源，所述根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理的步骤,包括：
从所述语音数据源中提取第一语音数据，并生成所述第一语音数据对应的波形图的第一表达函数F(t)；
将所述第一表达函数F(t)作为信息特征并进行提取处理；
所述计算所述关键词语音与所述语音数据源特征的匹配程度值的步骤,包括：
根据所述关键词语音，生成所述关键词语音对应的波形图的第二表达函数f(t)；
根据公式：
Figure BDA0002229780320000041
获取函数H(t),其中F(t)为所述第一表达函数，f(t)为所述第二表达函数，E(t)为所述第一表达函数F(t)与所述第二表达函数f(t)的差值函数，
Figure BDA0002229780320000042
为所述差值函数对时间的微分函数，t为时间，m为预设的大于0的误差参数值；
获取所述函数H(t)在时间轴上不等于m时的第一时间长度和等于m时的第二时间长度，根据公式：语音相似程度值＝所述第一时间长度/(所述第一时间长度+所述第二时间长度)，计算出所述语音相似程度值，并将所述语音相似程度值作为所述关键词语音与所述语音数据源特征的匹配程度值。
进一步地，所述根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表的步骤之前,包括：
生成匹配程度值矩阵[V11,V12,…,V1m,V21,V22,…,V2o,V31,V32,…,V3p,V41,V42,…,V4t]，其中V11,V12,…,V1m为所述关键词文字与所述命中结果集合中的文字数据源的匹配程度值，其中所述命中结果集合中共有m个文字数据源；V21,V22,…,V2o为所述关键词图片与所述命中结果集合中的图片数据源的匹配程度值，其中所述命中结果集合中共有o个图片数据源；V31,V32,…,V3p为所述关键词视频与所述命中结果集合中的视频数据源的匹配程度值，其中所述命中结果集合中共有p个视频数据源；V41,V42,…,V4t为所述关键词语音与所述命中结果集合中的语音数据源的匹配程度值，其中所述命中结果集合中共有t个语音数据源；
根据公式：
M＝||[V11,V12,…,V1m,V21,V22,…,V2o,V31,V32,…,V3p,V41,V42,…,V4t][K11,K12,…,K1m,K21,K22,…,K2o,K31,K32,…,K3p,K41,K42,…,K4t]T||，计算得到排序指数M，其中K11,K12,…,K1m,K21,K22,…,K2o,K31,K32,…,K3p,K41,K42,…,K4t均为预设的参数，并且K11,K12,…,K1m的数值均相等，K21,K22,…,K2o的数值均相等，K2o,K31,K32,…,K3p的数值均相等，K41,K42,…,K4t的数值均相等；
根据预设的排序指数的数值大小与排序规则的对应关系，获取与所述排序指数M对应的指定排序规则；
生成排序指令，所述排序指令用于指示根据所述指定排序规则，对所述命中结果集合中的指定数据源进行排序。
本申请提供一种基于特征提取的搜索装置，包括：
搜索指令获取单元，用于获取对多个数据源进行搜索的搜索指令，所述搜索指令携带有关键词文字，所述数据源的类型包括文字数据源、图片数据源、视频数据源和语音数据源；
特征提取单元，用于根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理，从而对应得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征；
转换单元，用于根据预设的转换方法，将所述关键词文字转换为关键词图片、关键词视频和关键词语音；
匹配程度值计算单元，用于根据预设的匹配算法，对应计算所述关键词文字与所述文字数据源特征的匹配程度值、计算所述关键词图片与所述图片数据源特征的匹配程度值、计算所述关键词视频与所述视频数据源特征的匹配程度值、以及计算所述关键词语音与所述语音数据源特征的匹配程度值；
命中结果集合获取单元，用于获取由多个指定数据源构成的命中结果集合，其中所述指定数据源对应的匹配程度值大于预设的文字匹配阈值、图片匹配阈值、视频匹配阈值或者语音匹配阈值；
搜索结果列表输出单元，用于根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表。
本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于特征提取的搜索方法、装置、计算机设备和存储介质，获取对多个数据源进行搜索的搜索指令；进行信息特征提取处理，得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征；将所述关键词文字转换为关键词图片、关键词视频和关键词语音；计算匹配程度值；获取由多个指定数据源构成的命中结果集合；根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表。从而提高了搜索的准确性。
附图说明
图1为本申请一实施例的基于特征提取的搜索方法的流程示意图；
图2为本申请一实施例的基于特征提取的搜索装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例提供一种基于特征提取的搜索方法，包括以下步骤：
S1、获取对多个数据源进行搜索的搜索指令，所述搜索指令携带有关键词文字，所述数据源的类型包括文字数据源、图片数据源、视频数据源和语音数据源；
S2、根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理，从而对应得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征；
S3、根据预设的转换方法，将所述关键词文字转换为关键词图片、关键词视频和关键词语音；
S4、根据预设的匹配算法，对应计算所述关键词文字与所述文字数据源特征的匹配程度值、计算所述关键词图片与所述图片数据源特征的匹配程度值、计算所述关键词视频与所述视频数据源特征的匹配程度值、以及计算所述关键词语音与所述语音数据源特征的匹配程度值；
S5、获取由多个指定数据源构成的命中结果集合，其中所述指定数据源对应的匹配程度值大于预设的文字匹配阈值、图片匹配阈值、视频匹配阈值或者语音匹配阈值；
S6、根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表。
本申请通过对数据源进行信息特征提取，并且对关键词进行转换得到关键词图片、关键词视频和关键词语音，再根据不同的数据源类型计算对应的匹配程度值，从而实现了在不同类型的数据源中进行搜索，提高了搜索准确性。
如上述步骤S1所述，获取对多个数据源进行搜索的搜索指令，所述搜索指令携带有关键词文字，所述数据源的类型包括文字数据源、图片数据源、视频数据源和语音数据源。其中数据源优选网页。其中文字数据源指信息载体为文字，或者信息载体主要为文字的数据源；图片数据源指信息载体为图片，或者信息载体主要为图片的数据源；视频数据源指信息载体为视频，或者信息载体主要为视频的数据源；语音数据源指信息载体为语音，或者信息载体主要为语音的数据源。
如上述步骤S2所述，根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理，从而对应得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征。其中文字数据源特征指对文字数据源进行特征提取得到的特征，例如包括词频出现次数大于词频阈值的单词等；图片数据源特征例如为从数据源中提取出来的一张或多张图片。视频数据源特征的提取方法例如为：从所述数据源获取视频数据，并根据预设的图像帧提取方法，从所述视频数据中提取多张图像帧；利用预设的图片形状转换方法，将所述图像帧转换为三角形图片，从而得到与所述多张图像帧分别对应的多张三角形图片；调取预存于三维虚拟空间中的指定多棱锥，其中所述指定多棱锥具有n个三角形侧面，所述多张图像帧共有n张，所述n个三角形侧面的形状分别与所述多张三角形图片的形状一一对应，n为大于等于3的整数；将所述多张三角形图片对应填入所述指定多棱锥的n个三角形侧面中，从而得到图像帧多棱锥，并将所述图像帧多棱锥作为所述数据源的信息特征并进行提取处理。语音数据源特征的提取方法例如为：从所述语音数据源中提取第一语音数据，并生成所述第一语音数据对应的波形图的第一表达函数F(t)；将所述第一表达函数F(t)作为信息特征并进行提取处理。
如上述步骤S3所述，根据预设的转换方法，将所述关键词文字转换为关键词图片、关键词视频和关键词语音。其中转换方法可以为任意方法，例如根据预设的关键词文字与图片、视频、语音的对应关系，从数据库中调取与所述关键词文字对应的关键词图片、关键词视频和关键词语音。从而使得在不同数据源中进行匹配程度比较成为了可能。
如上述步骤S4所述，根据预设的匹配算法，对应计算所述关键词文字与所述文字数据源特征的匹配程度值、计算所述关键词图片与所述图片数据源特征的匹配程度值、计算所述关键词视频与所述视频数据源特征的匹配程度值、以及计算所述关键词语音与所述语音数据源特征的匹配程度值。其中所述匹配算法可以为任意算法，例如计算所述关键词文字与所述文字数据源特征的匹配程度值，可以采用基于欧氏距离或才余弦距离等的计算方法。计算所述关键词图片与所述图片数据源特征的匹配程度值，可以采用像素点比对并统计相似像素点数量的方法。计算所述关键词视频与所述视频数据源特征的匹配程度值，可以采用：根据预设的方向计算方法，获取指定方向，并根据所述指定方向对所述图像帧多棱锥进行图像采集，得到第一图像；从所述关键词视频中提取n张图片，并利用预设的图片形状转换方法进行转换，从而得到n张关键词三角形图片；将所述n张关键词三角形图片对应填入所述指定多棱锥的n个三角形侧面中，从而得到关键词多棱锥；根据所述指定方向对所述关键词多棱锥进行图像采集，得到第二图像；根据预设的图像相似度计算方法，计算所述第一图像与所述第二图像之间的图像相似度值，并将所述图像相似度值作为所述关键词视频与所述视频数据源特征的匹配程度值。计算所述关键词语音与所述语音数据源特征的匹配程度值，可以采用计算语音对应的波形图的相似程度的方法。
如上述步骤S5所述，获取由多个指定数据源构成的命中结果集合，其中所述指定数据源对应的匹配程度值大于预设的文字匹配阈值、图片匹配阈值、视频匹配阈值或者语音匹配阈值。匹配程度值大于预设的文字匹配阈值、图片匹配阈值、视频匹配阈值或者语音匹配阈值，即为本次搜索的命中结果，据此获取由多个指定数据源构成的命中结果集合。
如上述步骤S6所述，根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表。搜索的命中结果的排序，也是反应所述搜索的性能的重要指标。因此在输出命中结果时，还需要根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表。其中所述排序方法可以为任意方法，例如根据匹配程度值由高到低降序排列，从而使匹配程度值最设的数据源优选展示。
在一个实施方式中，所述根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理，从而对应得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征的步骤S2之前，包括：
S11、采用预设的分块方法，对所述数据源进行分块处理，从而得到多个数据源分块；
S12、采集所述多个数据源分块中的特征数据，并将所述特征数据输入预先构建的基于决策树模型的数据源分类模型中进行运算，从而得到所述数据源分类模型输出的分类结果，所述分类结果包括文字数据源、图片数据源、视频数据源和语音数据源；
S13、生成信息特征提取处理指令，所述信息特征提取处理指令用于指示对所述数据源进行信息特征提取处理，其中所述信息特征提取处理根据所述分类结果而进行。
如上所述，实现了利用数据源分类模型对数据源进行分类。决策树模型是一种机器学习方法,可用于分类，例如可用于本申请中的数据源分类。其中，所述分块方法可以为任意方法，例如根据数据源(例如网页)的架构，分为多个数据源分块。再采集所述多个数据源分块中的特征数据，以作为决策树模型分类的基础。在决策树模型中，以决策树的初始节点为根节点，不再被进一步划分的节点为叶节点，在根节点与叶节点之间的节点为子节点。其中，所述决策树模型可以为任意决策树模型，例如基于卡方自动交互检测法(CHAID)、分类和回归树(C&RT)、建立的决策树，优选卡方自动交互检测法建立的CHAID决策树模型。具体的卡方自动交互检测法为已有技术，在此不再赘述。据此得数据源对应的类型，从而能够针对性地进行信息特征提取，从而避免信息提取错误(例如文字数据源的信息载体为文字，若提取其中可能存在的图片，将不能反映所述数据源的真实信息)。
在一个实施方式中，所述数据源为视频数据源，所述根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理的步骤S2,包括：
S201、从所述数据源获取视频数据，并根据预设的图像帧提取方法，从所述视频数据中提取多张图像帧；
S202、利用预设的图片形状转换方法，将所述图像帧转换为三角形图片，从而得到与所述多张图像帧分别对应的多张三角形图片；
S203、调取预存于三维虚拟空间中的指定多棱锥，其中所述指定多棱锥具有n个三角形侧面，所述多张图像帧共有n张，所述n个三角形侧面的形状分别与所述多张三角形图片的形状一一对应，n为大于等于3的整数；
S204、将所述多张三角形图片对应填入所述指定多棱锥的n个三角形侧面中，从而得到图像帧多棱锥，并将所述图像帧多棱锥作为所述数据源的信息特征并进行提取处理。
如上所述，实现了利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理。其中，多棱锥是一种三维形状，由多边形各个顶点向它所在的平面外一点依次连直线段而构成，即其底面为多边形，存在一个顶点，侧面为多个三角形。其中预设的图像帧提取方法可为任意提取方法，例如以等时距提取的方式，提取多张图像帧。再将图像帧转换为三角形图片，再对应填入所述指定多棱锥的n个三角形侧面中，从而得到图像帧多棱锥，并将所述图像帧多棱锥作为所述数据源的信息特征并进行提取处理。由于图像帧多棱锥具有由视频数据提取得到的多张图像帧，因此能够作为代表所述视频数据源的特征信息，并作为后续匹配度计算的依据。
在一个实施方式中，所述利用预设的图片形状转换方法，将所述图像帧转换为三角形图片，从而得到与所述多张图像帧分别对应的多张三角形图片的步骤S202，包括：
S2021、获取所述图像帧中的像素点的RGB颜色通道的红颜色数值、绿颜色数值和蓝颜色数值，并分别构成红颜色矩阵、绿颜色矩阵和蓝颜色矩阵，所述红颜色矩阵、绿颜色矩阵和蓝颜色矩阵均是行数为p的矩阵；
S2022、获取预设的所述三角形图片的第i行的像素点数量ki；
S2023、将所述红颜色矩阵、绿颜色矩阵和蓝颜色矩阵的第i行平均划分为p/ki个区段，并对每个区段均进行平均值处理，从而得到由多个平均值分别构成的红颜色均值矩阵、绿颜色均值矩阵和蓝颜色均值矩阵；
S2024、对所述红颜色均值矩阵、绿颜色均值矩阵和蓝颜色均值矩阵分别进行三角形切割处理，得到红颜色均值集合、绿颜色均值集合和蓝颜色均值集合，所述三角形切割处理是指将指定三角形区域之外的数值去除，所述指定三角形区域的三个顶点分别为矩阵的第一行的中间点和最后一行的两个端点；
S2025、将所述三角形图片的第i行第j列的像素点的红颜色数值、绿颜色数值和蓝颜色数值，分别设置为所述红颜色均值集合、绿颜色均值集合和蓝颜色均值集合的第i行第j列的数值，从而将所述图像帧转换为三角形图片。
如上所述，实现了利用预设的图片形状转换方法，将所述图像帧转换为三角形图片。本申请需要三角形图片，而直接进行三角形切割得到三角形图片会造成图片数据丢失，因此本申请采用获取由多个平均值分别构成的红颜色均值矩阵、绿颜色均值矩阵和蓝颜色均值矩阵，再对所述红颜色均值矩阵、绿颜色均值矩阵和蓝颜色均值矩阵分别进行三角形切割处理，得到红颜色均值集合、绿颜色均值集合和蓝颜色均值集合；将所述三角形图片的第i行第j列的像素点的红颜色数值、绿颜色数值和蓝颜色数值，分别设置为所述红颜色均值集合、绿颜色均值集合和蓝颜色均值集合的第i行第j列的数值，从而将所述指定图片转换为三角形图片的方式，使图片形状转换后的三角形图片最大可能保留原图片的数据特征。其中，所述三角形图片的第一行只有一个像素点。
在一个实施方式中，所述计算所述关键词视频与所述视频数据源特征的匹配程度值的步骤S4,包括：
S401、根据预设的方向计算方法，获取指定方向，并根据所述指定方向对所述图像帧多棱锥进行图像采集，得到第一图像；
S402、从所述关键词视频中提取n张图片，并利用预设的图片形状转换方法进行转换，从而得到n张关键词三角形图片；
S403、将所述n张关键词三角形图片对应填入所述指定多棱锥的n个三角形侧面中，从而得到关键词多棱锥；
S404、根据所述指定方向对所述关键词多棱锥进行图像采集，得到第二图像；
S405、根据预设的图像相似度计算方法，计算所述第一图像与所述第二图像之间的图像相似度值，并将所述图像相似度值作为所述关键词视频与所述视频数据源特征的匹配程度值。
如上所述，实现了计算所述关键词视频与所述视频数据源特征的匹配程度值。本申请根据所述指定方向对所述图像帧多棱锥进行图像采集，得到第一图像，从而所述第一图像就能代表所述视频数据源。同理，对所述关键词视频进行图片提取，三角形转换，多棱锥填充，从而得到关键词多棱锥；再从同样的指定方向对所述关键词多棱锥进行图像采集，得到第二图像。再根据预设的图像相似度计算方法，计算所述第一图像与所述第二图像之间的图像相似度值，并将所述图像相似度值作为所述关键词视频与所述视频数据源特征的匹配程度值。从而实现了视频数据源的搜索。由于视频数据的搜索困难，传统技术一般采用人工标识关键词，再通过关键词搜索的方式实现视频数据的搜索。而本申请将视频数据源经由视频-多棱锥-图像的处理过程，使视频的直接搜索成为了可能。其中预设的图像相似度计算方法可使用任意方法，例如使用像素点比较法，使用基于卷积神经网络的图片相似度判断模型进行判断的方法，由于图像相似度计算方法已成熟，在此不再赘述。
在一个实施方式中，所述数据源为语音数据源，所述根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理的步骤S2,包括：
S211、从所述语音数据源中提取第一语音数据，并生成所述第一语音数据对应的波形图的第一表达函数F(t)；
S212、将所述第一表达函数F(t)作为信息特征并进行提取处理；
所述计算所述关键词语音与所述语音数据源特征的匹配程度值的步骤S4,包括：
S411、根据所述关键词语音，生成所述关键词语音对应的波形图的第二表达函数f(t)；
S412、根据公式：
Figure BDA0002229780320000131
获取函数H(t),其中F(t)为所述第一表达函数，f(t)为所述第二表达函数，E(t)为所述第一表达函数F(t)与所述第二表达函数f(t)的差值函数，
Figure BDA0002229780320000132
为所述差值函数对时间的微分函数，t为时间，m为预设的大于0的误差参数值；
S413、获取所述函数H(t)在时间轴上不等于m时的第一时间长度和等于m时的第二时间长度，根据公式：语音相似程度值＝所述第一时间长度/(所述第一时间长度+所述第二时间长度)，计算出所述语音相似程度值，并将所述语音相似程度值作为所述关键词语音与所述语音数据源特征的匹配程度值。
如上所述，实现了计算所述关键词语音与所述语音数据源特征的匹配程度值。传统技术缺少对语音数据的直接搜索方法，一般是通过人工对语音数据进行标识关键词，再进行关键词搜索的方式进行搜索。语音数据记载的是声音信息，声音信息即是声波，具有波形图。本申请通过基于波形图的比较，以计算出匹配程度值。具体地，根据公式：
Figure BDA0002229780320000141
获取函数H(t)；获取所述函数H(t)在时间轴上不等于m时的第一时间长度和等于m时的第二时间长度，根据公式：语音相似程度值＝所述第一时间长度/(所述第一时间长度+所述第二时间长度)，计算出所述语音相似程度值，并将所述语音相似程度值作为所述关键词语音与所述语音数据源特征的匹配程度值。
在一个实施方式中，所述根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表的步骤S6之前,包括：
S51、生成匹配程度值矩阵[V11,V12,…,V1m,V21,V22,…,V2o,V31,V32,…,V3p,V41,V42,…,V4t]，其中V11,V12,…,V1m为所述关键词文字与所述命中结果集合中的文字数据源的匹配程度值，其中所述命中结果集合中共有m个文字数据源；V21,V22,…,V2o为所述关键词图片与所述命中结果集合中的图片数据源的匹配程度值，其中所述命中结果集合中共有o个图片数据源；V31,V32,…,V3p为所述关键词视频与所述命中结果集合中的视频数据源的匹配程度值，其中所述命中结果集合中共有p个视频数据源；V41,V42,…,V4t为所述关键词语音与所述命中结果集合中的语音数据源的匹配程度值，其中所述命中结果集合中共有t个语音数据源；
S52、根据公式：
M＝||[V11,V12,…,V1m,V21,V22,…,V2o,V31,V32,…,V3p,V41,V42,…,V4t][K11,K12,…,K1m,K21,K22,…,K2o,K31,K32,…,K3p,K41,K42,…,K4t]T||，计算得到排序指数M，其中K11,K12,…,K1m,K21,K22,…,K2o,K31,K32,…,K3p,K41,K42,…,K4t均为预设的参数，并且K11,K12,…,K1m的数值均相等，K21,K22,…,K2o的数值均相等，K2o,K31,K32,…,K3p的数值均相等，K41,K42,…,K4t的数值均相等；
S53、根据预设的排序指数的数值大小与排序规则的对应关系，获取与所述排序指数M对应的指定排序规则；
S54、生成排序指令，所述排序指令用于指示根据所述指定排序规则，对所述命中结果集合中的指定数据源进行排序。
如上所述，实现了获取与所述排序指数M对应的指定排序规则。本申请采用公式：M＝||[V11,V12,…,V1m,V21,V22,…,V2o,V31,V32,…,V3p,V41,V42,…,V4t][K11,K12,…,K1m,K21,K22,…,K2o,K31,K32,…,K3p,K41,K42,…,K4t]T||，计算得到排序指数M。从而所述排序指数M反应出来的是命中的数据量及相似度，因此对于不同的排序指数的数值大小，采用不同的排序规则，能够使数据展示更科学。其中的排序规则例如为，优选展示视频数据源(或展示匹配程度值高于展示阈值的视频数据源)，优选展示图片数据源(或展示匹配程度值高于展示阈值的图片数据源)等。据此，生成排序指令，所述排序指令用于指示根据所述指定排序规则，对所述命中结果集合中的指定数据源进行排序。
本申请的基于特征提取的搜索方法，获取对多个数据源进行搜索的搜索指令；进行信息特征提取处理，得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征；将所述关键词文字转换为关键词图片、关键词视频和关键词语音；计算匹配程度值；获取由多个指定数据源构成的命中结果集合；根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表。从而提高了搜索的准确性。
参照图2，本申请实施例提供一种基于特征提取的搜索装置，包括：
搜索指令获取单元10，用于获取对多个数据源进行搜索的搜索指令，所述搜索指令携带有关键词文字，所述数据源的类型包括文字数据源、图片数据源、视频数据源和语音数据源；
特征提取单元20，用于根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理，从而对应得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征；
转换单元30，用于根据预设的转换方法，将所述关键词文字转换为关键词图片、关键词视频和关键词语音；
匹配程度值计算单元40，用于根据预设的匹配算法，对应计算所述关键词文字与所述文字数据源特征的匹配程度值、计算所述关键词图片与所述图片数据源特征的匹配程度值、计算所述关键词视频与所述视频数据源特征的匹配程度值、以及计算所述关键词语音与所述语音数据源特征的匹配程度值；
命中结果集合获取单元50，用于获取由多个指定数据源构成的命中结果集合，其中所述指定数据源对应的匹配程度值大于预设的文字匹配阈值、图片匹配阈值、视频匹配阈值或者语音匹配阈值；
搜索结果列表输出单元60，用于根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表。
其中上述单元分别用于执行的操作与前述实施方式的基于特征提取的搜索方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述装置，包括：
分块单元，用于采用预设的分块方法，对所述数据源进行分块处理，从而得到多个数据源分块；
特征数据采集单元，用于采集所述多个数据源分块中的特征数据，并将所述特征数据输入预先构建的基于决策树模型的数据源分类模型中进行运算，从而得到所述数据源分类模型输出的分类结果，所述分类结果包括文字数据源、图片数据源、视频数据源和语音数据源；
指令生成单元，用于生成信息特征提取处理指令，所述信息特征提取处理指令用于指示对所述数据源进行信息特征提取处理，其中所述信息特征提取处理根据所述分类结果而进行。
其中上述单元分别用于执行的操作与前述实施方式的基于特征提取的搜索方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述数据源为视频数据源，所述特征提取单元20,包括：
图像帧提取子单元，用于从所述数据源获取视频数据，并根据预设的图像帧提取方法，从所述视频数据中提取多张图像帧；
三角形图片转换子单元，用于利用预设的图片形状转换方法，将所述图像帧转换为三角形图片，从而得到与所述多张图像帧分别对应的多张三角形图片；
指定多棱锥调取子单元，用于调取预存于三维虚拟空间中的指定多棱锥，其中所述指定多棱锥具有n个三角形侧面，所述多张图像帧共有n张，所述n个三角形侧面的形状分别与所述多张三角形图片的形状一一对应，n为大于等于3的整数；
图像帧多棱锥获取子单元，用于将所述多张三角形图片对应填入所述指定多棱锥的n个三角形侧面中，从而得到图像帧多棱锥，并将所述图像帧多棱锥作为所述数据源的信息特征并进行提取处理。
其中上述子单元分别用于执行的操作与前述实施方式的基于特征提取的搜索方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述三角形图片转换子单元，包括：
颜色矩阵生成模块，用于获取所述图像帧中的像素点的RGB颜色通道的红颜色数值、绿颜色数值和蓝颜色数值，并分别构成红颜色矩阵、绿颜色矩阵和蓝颜色矩阵，所述红颜色矩阵、绿颜色矩阵和蓝颜色矩阵均是行数为p的矩阵；
像素点数量获取模块，用于获取预设的所述三角形图片的第i行的像素点数量ki；
均值矩阵生成模块，用于将所述红颜色矩阵、绿颜色矩阵和蓝颜色矩阵的第i行平均划分为p/ki个区段，并对每个区段均进行平均值处理，从而得到由多个平均值分别构成的红颜色均值矩阵、绿颜色均值矩阵和蓝颜色均值矩阵；
三角形切割处理模块，用于对所述红颜色均值矩阵、绿颜色均值矩阵和蓝颜色均值矩阵分别进行三角形切割处理，得到红颜色均值集合、绿颜色均值集合和蓝颜色均值集合，所述三角形切割处理是指将指定三角形区域之外的数值去除，所述指定三角形区域的三个顶点分别为矩阵的第一行的中间点和最后一行的两个端点；
三角形图片转换模块，用于将所述三角形图片的第i行第j列的像素点的红颜色数值、绿颜色数值和蓝颜色数值，分别设置为所述红颜色均值集合、绿颜色均值集合和蓝颜色均值集合的第i行第j列的数值，从而将所述图像帧转换为三角形图片。
其中上述模块分别用于执行的操作与前述实施方式的基于特征提取的搜索方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述匹配程度值计算单元40,包括：
第一图像获取子单元，用于根据预设的方向计算方法，获取指定方向，并根据所述指定方向对所述图像帧多棱锥进行图像采集，得到第一图像；
图片形状转换子单元，用于从所述关键词视频中提取n张图片，并利用预设的图片形状转换方法进行转换，从而得到n张关键词三角形图片；
关键词多棱锥获取子单元，用于将所述n张关键词三角形图片对应填入所述指定多棱锥的n个三角形侧面中，从而得到关键词多棱锥；
第二图像获取子单元，用于根据所述指定方向对所述关键词多棱锥进行图像采集，得到第二图像；
图像相似度值计算子单元，用于根据预设的图像相似度计算方法，计算所述第一图像与所述第二图像之间的图像相似度值，并将所述图像相似度值作为所述关键词视频与所述视频数据源特征的匹配程度值。
其中上述子单元分别用于执行的操作与前述实施方式的基于特征提取的搜索方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述数据源为语音数据源，所述特征提取单元20,包括：
第一表达函数F(t)生成子单元，用于从所述语音数据源中提取第一语音数据，并生成所述第一语音数据对应的波形图的第一表达函数F(t)；
函数F(t)提取子单元，用于将所述第一表达函数F(t)作为信息特征并进行提取处理；
所述匹配程度值计算单元40,包括：
第二表达函数f(t)生成子单元，用于根据所述关键词语音，生成所述关键词语音对应的波形图的第二表达函数f(t)；
函数H(t)生成子单元，用于根据公式：
Figure BDA0002229780320000191
获取函数H(t),其中F(t)为所述第一表达函数，f(t)为所述第二表达函数，E(t)为所述第一表达函数F(t)与所述第二表达函数f(t)的差值函数，
Figure BDA0002229780320000192
为所述差值函数对时间的微分函数，t为时间，m为预设的大于0的误差参数值；
语音匹配程度值计算子单元，用于获取所述函数H(t)在时间轴上不等于m时的第一时间长度和等于m时的第二时间长度，根据公式：语音相似程度值＝所述第一时间长度/(所述第一时间长度+所述第二时间长度)，计算出所述语音相似程度值，并将所述语音相似程度值作为所述关键词语音与所述语音数据源特征的匹配程度值。
其中上述子单元分别用于执行的操作与前述实施方式的基于特征提取的搜索方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述装置,包括：
匹配程度值矩阵生成单元，用于生成匹配程度值矩阵[V11,V12,…,V1m,V21,V22,…,V2o,V31,V32,…,V3p,V41,V42,…,V4t]，其中V11,V12,…,V1m为所述关键词文字与所述命中结果集合中的文字数据源的匹配程度值，其中所述命中结果集合中共有m个文字数据源；V21,V22,…,V2o为所述关键词图片与所述命中结果集合中的图片数据源的匹配程度值，其中所述命中结果集合中共有o个图片数据源；V31,V32,…,V3p为所述关键词视频与所述命中结果集合中的视频数据源的匹配程度值，其中所述命中结果集合中共有p个视频数据源；V41,V42,…,V4t为所述关键词语音与所述命中结果集合中的语音数据源的匹配程度值，其中所述命中结果集合中共有t个语音数据源；
排序指数M计算单元，用于根据公式：
M＝||[V11,V12,…,V1m,V21,V22,…,V2o,V31,V32,…,V3p,V41,V42,…,V4t][K11,K12,…,K1m,K21,K22,…,K2o,K31,K32,…,K3p,K41,K42,…,K4t]T||，计算得到排序指数M，其中K11,K12,…,K1m,K21,K22,…,K2o,K31,K32,…,K3p,K41,K42,…,K4t均为预设的参数，并且K11,K12,…,K1m的数值均相等，K21,K22,…,K2o的数值均相等，K2o,K31,K32,…,K3p的数值均相等，K41,K42,…,K4t的数值均相等；
指定排序规则获取单元，用于根据预设的排序指数的数值大小与排序规则的对应关系，获取与所述排序指数M对应的指定排序规则；
排序指令生成单元，用于生成排序指令，所述排序指令用于指示根据所述指定排序规则，对所述命中结果集合中的指定数据源进行排序。
其中上述单元分别用于执行的操作与前述实施方式的基于特征提取的搜索方法的步骤一一对应,在此不再赘述。
本申请的基于特征提取的搜索装置，获取对多个数据源进行搜索的搜索指令；进行信息特征提取处理，得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征；将所述关键词文字转换为关键词图片、关键词视频和关键词语音；计算匹配程度值；获取由多个指定数据源构成的命中结果集合；根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表。从而提高了搜索的准确性。
参照图3，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于特征提取的搜索方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于特征提取的搜索方法。
上述处理器执行上述基于特征提取的搜索方法，其中所述方法包括的步骤分别与执行前述实施方式的基于特征提取的搜索方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备，获取对多个数据源进行搜索的搜索指令；进行信息特征提取处理，得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征；将所述关键词文字转换为关键词图片、关键词视频和关键词语音；计算匹配程度值；获取由多个指定数据源构成的命中结果集合；根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表。从而提高了搜索的准确性。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现基于特征提取的搜索方法，其中所述方法包括的步骤分别与执行前述实施方式的基于特征提取的搜索方法的步骤一一对应,在此不再赘述。
本申请的计算机可读存储介质，获取对多个数据源进行搜索的搜索指令；进行信息特征提取处理，得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征；将所述关键词文字转换为关键词图片、关键词视频和关键词语音；计算匹配程度值；获取由多个指定数据源构成的命中结果集合；根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表。从而提高了搜索的准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于特征提取的搜索方法，其特征在于，包括：
获取对多个数据源进行搜索的搜索指令，所述搜索指令携带有关键词文字，所述数据源的类型包括文字数据源、图片数据源、视频数据源和语音数据源；
根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理，从而对应得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征；
根据预设的转换方法，将所述关键词文字转换为关键词图片、关键词视频和关键词语音；
根据预设的匹配算法，对应计算所述关键词文字与所述文字数据源特征的匹配程度值、计算所述关键词图片与所述图片数据源特征的匹配程度值、计算所述关键词视频与所述视频数据源特征的匹配程度值、以及计算所述关键词语音与所述语音数据源特征的匹配程度值；
获取由多个指定数据源构成的命中结果集合，其中所述指定数据源对应的匹配程度值大于预设的文字匹配阈值、图片匹配阈值、视频匹配阈值或者语音匹配阈值；
根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表。
2.根据权利要求1所述的基于特征提取的搜索方法，其特征在于，所述根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理，从而对应得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征的步骤之前，包括：
采用预设的分块方法，对所述数据源进行分块处理，从而得到多个数据源分块；
采集所述多个数据源分块中的特征数据，并将所述特征数据输入预先构建的基于决策树模型的数据源分类模型中进行运算，从而得到所述数据源分类模型输出的分类结果，所述分类结果包括文字数据源、图片数据源、视频数据源和语音数据源；
生成信息特征提取处理指令，所述信息特征提取处理指令用于指示对所述数据源进行信息特征提取处理，其中所述信息特征提取处理根据所述分类结果而进行。
3.根据权利要求1所述的基于特征提取的搜索方法，其特征在于，所述数据源为视频数据源，所述根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理的步骤,包括：
从所述数据源获取视频数据，并根据预设的图像帧提取方法，从所述视频数据中提取多张图像帧；
利用预设的图片形状转换方法，将所述图像帧转换为三角形图片，从而得到与所述多张图像帧分别对应的多张三角形图片；
调取预存于三维虚拟空间中的指定多棱锥，其中所述指定多棱锥具有n个三角形侧面，所述多张图像帧共有n张，所述n个三角形侧面的形状分别与所述多张三角形图片的形状一一对应，n为大于等于3的整数；
将所述多张三角形图片对应填入所述指定多棱锥的n个三角形侧面中，从而得到图像帧多棱锥，并将所述图像帧多棱锥作为所述数据源的信息特征并进行提取处理。
4.根据权利要求3所述的基于特征提取的搜索方法，其特征在于，所述利用预设的图片形状转换方法，将所述图像帧转换为三角形图片，从而得到与所述多张图像帧分别对应的多张三角形图片的步骤，包括：
获取所述图像帧中的像素点的RGB颜色通道的红颜色数值、绿颜色数值和蓝颜色数值，并分别构成红颜色矩阵、绿颜色矩阵和蓝颜色矩阵，所述红颜色矩阵、绿颜色矩阵和蓝颜色矩阵均是行数为p的矩阵；
获取预设的所述三角形图片的第i行的像素点数量ki；
将所述红颜色矩阵、绿颜色矩阵和蓝颜色矩阵的第i行平均划分为p/ki个区段，并对每个区段均进行平均值处理，从而得到由多个平均值分别构成的红颜色均值矩阵、绿颜色均值矩阵和蓝颜色均值矩阵；
对所述红颜色均值矩阵、绿颜色均值矩阵和蓝颜色均值矩阵分别进行三角形切割处理，得到红颜色均值集合、绿颜色均值集合和蓝颜色均值集合，所述三角形切割处理是指将指定三角形区域之外的数值去除，所述指定三角形区域的三个顶点分别为矩阵的第一行的中间点和最后一行的两个端点；
将所述三角形图片的第i行第j列的像素点的红颜色数值、绿颜色数值和蓝颜色数值，分别设置为所述红颜色均值集合、绿颜色均值集合和蓝颜色均值集合的第i行第j列的数值，从而将所述图像帧转换为三角形图片。
5.根据权利要求3所述的基于特征提取的搜索方法，其特征在于，所述计算所述关键词视频与所述视频数据源特征的匹配程度值的步骤,包括：
根据预设的方向计算方法，获取指定方向，并根据所述指定方向对所述图像帧多棱锥进行图像采集，得到第一图像；
从所述关键词视频中提取n张图片，并利用预设的图片形状转换方法进行转换，从而得到n张关键词三角形图片；
将所述n张关键词三角形图片对应填入所述指定多棱锥的n个三角形侧面中，从而得到关键词多棱锥；
根据所述指定方向对所述关键词多棱锥进行图像采集，得到第二图像；
根据预设的图像相似度计算方法，计算所述第一图像与所述第二图像之间的图像相似度值，并将所述图像相似度值作为所述关键词视频与所述视频数据源特征的匹配程度值。
6.根据权利要求1所述的基于特征提取的搜索方法，其特征在于，所述数据源为语音数据源，所述根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理的步骤,包括：
从所述语音数据源中提取第一语音数据，并生成所述第一语音数据对应的波形图的第一表达函数F(t)；
将所述第一表达函数F(t)作为信息特征并进行提取处理；
所述计算所述关键词语音与所述语音数据源特征的匹配程度值的步骤,包括：
根据所述关键词语音，生成所述关键词语音对应的波形图的第二表达函数f(t)；
根据公式：
H(t)＝min(G(t)，m)，其中
Figure FDA0002229780310000041
获取函数H(t),其中F(t)为所述第一表达函数，f(t)为所述第二表达函数，E(t)为所述第一表达函数F(t)与所述第二表达函数f(t)的差值函数，
Figure FDA0002229780310000042
为所述差值函数对时间的微分函数，t为时间，m为预设的大于0的误差参数值；
获取所述函数H(t)在时间轴上不等于m时的第一时间长度和等于m时的第二时间长度，根据公式：语音相似程度值＝所述第一时间长度/(所述第一时间长度+所述第二时间长度)，计算出所述语音相似程度值，并将所述语音相似程度值作为所述关键词语音与所述语音数据源特征的匹配程度值。
7.根据权利要求1所述的基于特征提取的搜索方法，其特征在于，所述根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表的步骤之前,包括：
生成匹配程度值矩阵[V11,V12,…,V1m,V21,V22,…,V2o,V31,V32,…,V3p,V41,V42,…,V4t]，其中V11,V12,…,V1m为所述关键词文字与所述命中结果集合中的文字数据源的匹配程度值，其中所述命中结果集合中共有m个文字数据源；V21,V22,…,V2o为所述关键词图片与所述命中结果集合中的图片数据源的匹配程度值，其中所述命中结果集合中共有o个图片数据源；V31,V32,…,V3p为所述关键词视频与所述命中结果集合中的视频数据源的匹配程度值，其中所述命中结果集合中共有p个视频数据源；V41,V42,…,V4t为所述关键词语音与所述命中结果集合中的语音数据源的匹配程度值，其中所述命中结果集合中共有t个语音数据源；
根据公式：
M＝||[V11,V12,…,V1m,V21,V22,…,V2o,V31,V32,…,V3p,V41,V42,…,V4t][K11,K12,…,K1m,K21,K22,…,K2o,K31,K32,…,K3p,K41,K42,…,K4t]T||，计算得到排序指数M，其中K11,K12,…,K1m,K21,K22,…,K2o,K31,K32,…,K3p,K41,K42,…,K4t均为预设的参数，并且K11,K12,…,K1m的数值均相等，K21,K22,…,K2o的数值均相等，K2o,K31,K32,…,K3p的数值均相等，K41,K42,…,K4t的数值均相等；
根据预设的排序指数的数值大小与排序规则的对应关系，获取与所述排序指数M对应的指定排序规则；
生成排序指令，所述排序指令用于指示根据所述指定排序规则，对所述命中结果集合中的指定数据源进行排序。
8.一种基于特征提取的搜索装置，其特征在于，包括：
搜索指令获取单元，用于获取对多个数据源进行搜索的搜索指令，所述搜索指令携带有关键词文字，所述数据源的类型包括文字数据源、图片数据源、视频数据源和语音数据源；
特征提取单元，用于根据所述数据源的类型，利用预设的信息特征提取方法，对所述数据源进行信息特征提取处理，从而对应得到文字数据源特征、图片数据源特征、视频数据源特征和语音数据源特征；
转换单元，用于根据预设的转换方法，将所述关键词文字转换为关键词图片、关键词视频和关键词语音；
匹配程度值计算单元，用于根据预设的匹配算法，对应计算所述关键词文字与所述文字数据源特征的匹配程度值、计算所述关键词图片与所述图片数据源特征的匹配程度值、计算所述关键词视频与所述视频数据源特征的匹配程度值、以及计算所述关键词语音与所述语音数据源特征的匹配程度值；
命中结果集合获取单元，用于获取由多个指定数据源构成的命中结果集合，其中所述指定数据源对应的匹配程度值大于预设的文字匹配阈值、图片匹配阈值、视频匹配阈值或者语音匹配阈值；
搜索结果列表输出单元，用于根据预设的排序方法，对所述命中结果集合中的指定数据源进行排序，从而得到搜索结果列表，并输出所述搜索结果列表。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910963661.7A 2019-10-11 2019-10-11 基于特征提取的搜索方法、装置、计算机设备和存储介质 Active CN111125408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910963661.7A CN111125408B (zh) 2019-10-11 2019-10-11 基于特征提取的搜索方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910963661.7A CN111125408B (zh) 2019-10-11 2019-10-11 基于特征提取的搜索方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111125408A true CN111125408A (zh) 2020-05-08
CN111125408B CN111125408B (zh) 2023-08-29

Family

ID=70496073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910963661.7A Active CN111125408B (zh) 2019-10-11 2019-10-11 基于特征提取的搜索方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111125408B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199545A (zh) * 2020-11-23 2021-01-08 湖南蚁坊软件股份有限公司 基于图片文字定位的关键词显示方法、装置及存储介质
CN113407586A (zh) * 2021-07-16 2021-09-17 北京百度网讯科技有限公司 数据检索方法、装置、办公系统、存储介质及电子设备
CN113886685A (zh) * 2021-09-23 2022-01-04 北京三快在线科技有限公司 一种搜索方法、装置、存储介质及电子设备
CN114187605A (zh) * 2021-12-13 2022-03-15 苏州方兴信息技术有限公司 一种数据集成方法、装置和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281534A (zh) * 2008-05-28 2008-10-08 叶睿智 一种基于音频内容检索的多媒体资源检索方法
CN104657081A (zh) * 2015-03-19 2015-05-27 上海创功通讯技术有限公司 移动终端及其图片的处理方法
CN107451131A (zh) * 2016-05-30 2017-12-08 贵阳朗玛信息技术股份有限公司 一种语音识别方法及装置
CN109933681A (zh) * 2019-03-19 2019-06-25 深圳Tcl新技术有限公司 图片搜索方法、装置和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281534A (zh) * 2008-05-28 2008-10-08 叶睿智 一种基于音频内容检索的多媒体资源检索方法
CN104657081A (zh) * 2015-03-19 2015-05-27 上海创功通讯技术有限公司 移动终端及其图片的处理方法
CN107451131A (zh) * 2016-05-30 2017-12-08 贵阳朗玛信息技术股份有限公司 一种语音识别方法及装置
CN109933681A (zh) * 2019-03-19 2019-06-25 深圳Tcl新技术有限公司 图片搜索方法、装置和计算机可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199545A (zh) * 2020-11-23 2021-01-08 湖南蚁坊软件股份有限公司 基于图片文字定位的关键词显示方法、装置及存储介质
CN112199545B (zh) * 2020-11-23 2021-09-07 湖南蚁坊软件股份有限公司 基于图片文字定位的关键词显示方法、装置及存储介质
CN113407586A (zh) * 2021-07-16 2021-09-17 北京百度网讯科技有限公司 数据检索方法、装置、办公系统、存储介质及电子设备
CN113407586B (zh) * 2021-07-16 2023-09-22 北京百度网讯科技有限公司 数据检索方法、装置、办公系统、存储介质及电子设备
CN113886685A (zh) * 2021-09-23 2022-01-04 北京三快在线科技有限公司 一种搜索方法、装置、存储介质及电子设备
CN114187605A (zh) * 2021-12-13 2022-03-15 苏州方兴信息技术有限公司 一种数据集成方法、装置和可读存储介质

Also Published As

Publication number Publication date
CN111125408B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN112199375B (zh) 跨模态的数据处理方法、装置、存储介质以及电子装置
CN111125408A (zh) 基于特征提取的搜索方法、装置、计算机设备和存储介质
CN108804641B (zh) 一种文本相似度的计算方法、装置、设备和存储介质
CN111046133A (zh) 基于图谱化知识库的问答方法、设备、存储介质及装置
US8232996B2 (en) Image learning, automatic annotation, retrieval method, and device
KR101183391B1 (ko) 메트릭 임베딩에 의한 이미지 비교
CN112732883A (zh) 基于知识图谱的模糊匹配方法、装置和计算机设备
CN108038544B (zh) 基于大数据和深度学习的神经网络深度学习方法和系统
CN107291825A (zh) 一种视频中同款商品的检索方法和系统
CN113934830A (zh) 文本检索模型训练、问答检索方法、装置、设备及介质
CN113298197B (zh) 数据聚类方法、装置、设备及可读存储介质
CN111985228A (zh) 文本关键词提取方法、装置、计算机设备和存储介质
CN110765292A (zh) 图像检索方法、训练方法及相关装置
CN112528022A (zh) 主题类别对应的特征词提取和文本主题类别识别方法
CN114491200A (zh) 基于图神经网络的异源兴趣点匹配方法和装置
TWI770967B (zh) 一種神經網路的訓練方法、視頻識別方法及電腦設備和電腦可讀儲存介質
CN113515620A (zh) 电力设备技术标准文档排序方法、装置、电子设备和介质
CN117668181A (zh) 信息处理方法、装置、终端设备以及存储介质
CN109885680B (zh) 一种基于义原扩展的短文本分类预处理方法、系统及装置
CN109635810B (zh) 一种确定文本信息的方法、装置、设备及存储介质
CN109325119B (zh) 新闻情感分析的方法、装置、计算机设备和存储介质
CN114298182A (zh) 资源召回方法、装置、设备及存储介质
CN111460206B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP2018032232A (ja) 探索木を用いて量子化するプログラム、装置及び方法
CN112149424A (zh) 语义匹配方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant