CN107943903A - 视频检索方法及装置、计算机设备、存储介质 - Google Patents

视频检索方法及装置、计算机设备、存储介质 Download PDF

Info

Publication number
CN107943903A
CN107943903A CN201711146364.0A CN201711146364A CN107943903A CN 107943903 A CN107943903 A CN 107943903A CN 201711146364 A CN201711146364 A CN 201711146364A CN 107943903 A CN107943903 A CN 107943903A
Authority
CN
China
Prior art keywords
video
frame
correspondence
checked
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711146364.0A
Other languages
English (en)
Inventor
陈传艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201711146364.0A priority Critical patent/CN107943903A/zh
Publication of CN107943903A publication Critical patent/CN107943903A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7864—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明是关于一种视频检索方法及装置、计算机设备、存储介质，属于计算机技术领域。所述方法包括：提取待检视频的多个第一视频帧的帧特征；基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，该第一对应关系记录有多个帧特征中每个帧特征对应的视频和视频帧，第一对应关系中的视频为存储于视频库中的m个视频，该m个视频中每个视频包括多个第二视频帧，n＜m；从n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频。本发明解决了相关技术中需要计算视频库中每个视频的视频特征，以及每个视频的视频特征与待检视频的视频特征的相似度，计算量较大，检索效率较低的问题，减小了计算量，提高了检索效率。本发明用于视频检索。

Description

视频检索方法及装置、计算机设备、存储介质
技术领域
本发明涉及计算机技术领域，特别涉及一种视频检索方法及装置、计算机设备、存储介质。
背景技术
随着近年互联网和数字技术的高速发展，获取视频内容越来越容易，视频检索技术作为其中的一个非常重要的技术受到了广泛关注，通过视频检索技术可以从存储于视频库的大量视频中找到与待检视频相似的视频。
相关技术中通常是先提取视频库的多个视频中每个视频的视频特征，以及待检视频的视频特征，然后计算每个视频的视频特征与待检视频的视频特征的相似度，最后将与待检视频的视频特征的相似度大于预设阈值的视频作为与待检视频相似的视频。
上述过程需要计算视频库中每个视频的视频特征，以及每个视频的视频特征与待检视频的视频特征的相似度，计算量较大，检索效率较低。
发明内容
本发明实施例提供了一种视频检索方法及装置、计算机设备、存储介质，可以解决相关技术中需要计算视频库中每个视频的视频特征，以及每个视频的视频特征与待检视频的视频特征的相似度，计算量较大，检索效率较低的问题。所述技术方案如下：
根据本发明实施例的第一方面，提供一种视频检索方法，该方法包括：
提取待检视频的多个第一视频帧的帧特征；
基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，该第一对应关系记录有多个帧特征中每个帧特征对应的视频和视频帧，第一对应关系中的视频为存储于视频库中的m个视频，该m个视频中每个视频包括多个第二视频帧，n＜m；
从n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频。
可选的，基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，包括：
基于多个第一视频帧的帧特征和第一对应关系，建立第二对应关系，该第二对应关系记录有m个视频中每个视频对应的帧偏移量和帧特征数量，每个视频对应的帧偏移量为每个视频的第二视频帧分别与至少一个第一视频帧的帧位置偏移量的绝对值，每个视频对应的帧特征数量为每个视频与待检视频相同的帧特征的数量；
在第二对应关系中，选取每个视频中最大的帧特征数量，得到k个帧特征数量，k≥m；
从k个帧特征数量中确定帧特征数量大于预设数量所对应的n个候选视频。
可选的，基于多个第一视频帧的帧特征和第一对应关系，建立第二对应关系，包括：
对于每个第一视频帧：
获取第一视频帧在待检视频中的帧位置信息，
根据第一视频帧的帧特征从第一对应关系中查找与第一视频帧的帧特征相同的帧特征所属的视频和第二视频帧，
基于第一视频帧的帧位置信息和查找的第二视频帧在所属视频中的帧位置信息确定第一视频帧相对于查找的第二视频帧的帧偏移量；
对于每个帧偏移量，确定m个视频中每个视频与待检视频相同的帧特征的帧特征数量；
建立从第一对应关系中查找的视频，确定的帧偏移量，以及帧特征数量的对应关系，并作为第二对应关系。
可选的，从n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频，包括：
对于每个候选视频：
根据第二对应关系中候选视频对应的最大的帧特征数量所对应的帧偏移量，确定候选视频与待检视频相互覆盖的N个视频帧，N≥1，
确定候选视频的N个第二视频帧和待检视频的N个第一视频帧中对应位置的视频帧被编码后的二进制串中相同位的个数之和S，S≥1，
采用相似度计算公式计算候选视频与待检视频的相似度，相似度计算公式为：S/(N*M)，M为对视频帧进行编号后得到的二进制串位数；
将所有候选视频中与待检视频的相似度大于预设阈值的候选视频作为目标视频。
可选的，在基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频之前，该方法还包括：
对于m个视频中每个视频，提取每个第二视频帧的帧特征；
根据m个视频中每个视频的每个第二视频帧的帧特征和对应的第二视频帧在所属视频中的帧位置信息，建立第一对应关系。
可选的，提取待检视频的多个第一视频帧的帧特征，包括：
对待检视频进行重采样，得到多个第一视频帧；
对于每个第一视频帧：
将第一视频帧转换为灰度图像帧，并对灰度图像帧进行缩放处理；
对处理后的灰度图像帧进行离散余弦变换DCT处理，得到数据矩阵；
基于数据矩阵将第一视频帧编码为二进制串；
基于二进制串得到第一视频帧的帧特征。
根据本发明实施例的第二方面，提供一种视频检索装置，该装置包括：
第一提取模块，用于提取待检视频的多个第一视频帧的帧特征；
获取模块，用于基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，该第一对应关系记录有多个帧特征中每个帧特征对应的视频和视频帧，第一对应关系中的视频为存储于视频库中的m个视频，该m个视频中每个视频包括多个第二视频帧，n＜m；
确定模块，用于从n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频。
可选的，获取模块，包括：
建立子模块，用于基于多个第一视频帧的帧特征和第一对应关系，建立第二对应关系，该第二对应关系记录有m个视频中每个视频对应的帧偏移量和帧特征数量，每个视频对应的帧偏移量为每个视频的第二视频帧分别与至少一个第一视频帧的帧位置偏移量的绝对值，每个视频对应的帧特征数量为每个视频与待检视频相同的帧特征的数量；
选取子模块，用于在第二对应关系中，选取每个视频中最大的帧特征数量，得到k个帧特征数量，k≥m；
确定子模块，用于从k个帧特征数量中确定帧特征数量大于预设数量所对应的n个候选视频。
可选的，建立子模块，用于：
对于每个第一视频帧：
获取第一视频帧在待检视频中的帧位置信息，
根据第一视频帧的帧特征从第一对应关系中查找与第一视频帧的帧特征相同的帧特征所属的视频和第二视频帧，
基于第一视频帧的帧位置信息和查找的第二视频帧在所属视频中的帧位置信息确定第一视频帧相对于查找的第二视频帧的帧偏移量；
对于每个帧偏移量，确定m个视频中每个视频与待检视频相同的帧特征的帧特征数量；
建立从第一对应关系中查找的视频，确定的帧偏移量，以及帧特征数量的对应关系，并作为第二对应关系。
可选的，确定模块，用于：
对于每个候选视频：
根据第二对应关系中候选视频对应的最大的帧特征数量所对应的帧偏移量，确定候选视频与待检视频相互覆盖的N个视频帧，N≥1，
确定候选视频的N个第二视频帧和待检视频的N个第一视频帧中对应位置的视频帧被编码后的二进制串中相同位的个数之和S，S≥1，
采用相似度计算公式计算候选视频与待检视频的相似度，相似度计算公式为：S/(N*M)，M为对视频帧进行编号后得到的二进制串位数；
将所有候选视频中与待检视频的相似度大于预设阈值的候选视频作为目标视频。
可选的，该装置还包括：
第二提取模块，用于对于m个视频中每个视频，提取每个第二视频帧的帧特征；
建立模块，用于根据m个视频中每个视频的每个第二视频帧的帧特征和对应的第二视频帧在所属视频中的帧位置信息，建立第一对应关系。
可选的，第一提取模块，用于：
对待检视频进行重采样，得到多个第一视频帧；
对于每个第一视频帧：
将第一视频帧转换为灰度图像帧，并对灰度图像帧进行缩放处理；
对处理后的灰度图像帧进行离散余弦变换DCT处理，得到数据矩阵；
基于数据矩阵将第一视频帧编码为二进制串；
基于二进制串得到第一视频帧的帧特征。
根据本发明实施例的第三方面，提供一种计算机设备，包括处理器和存储器，
其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序，实现第一方面所述的视频检索方法。
根据本发明实施例的第四方面，提供一种存储介质，该存储介质中存储有计算机程序，当计算机程序被处理器执行时实现第一方面所述的视频检索方法。
本发明实施例提供的视频检索方法及装置、计算机设备、存储介质，先提取待检视频的多个第一视频帧的帧特征，然后基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，n＜m，之后，从n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频，由于是从n个候选视频中确定的目标视频，而不是计算视频库中每个视频的视频特征，以及每个视频的视频特征与待检视频的视频特征的相似度，因此，减小了计算量，提高了检索效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明的实施例，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种视频检索方法的流程图；
图2是根据一示例性实施例示出的另一种视频检索方法的流程图；
图3是根据一示例性实施例示出的一种m个视频中每个视频的部分第二视频帧的帧特征的示意图；
图4是根据一示例性实施例示出的一种建立第一对应关系的示意图；
图5是根据一示例性实施例示出的一种确定候选视频的流程图；
图6是根据一示例性实施例示出的一种建立第二对应关系的示意图；
图7是根据一示例性实施例示出的一种第二对应关系的示意图；
图8是根据一示例性实施例示出的一种计算候选视频与待检视频的相似度的示意图；
图9是根据一示例性实施例示出的一种视频检索装置的框图；
图10是图9所示实施例中的获取模块的框图；
图11是根据一示例性实施例示出的另一种视频检索装置的框图；
图12是根据一示例性实施例示出的一种计算机设备的示意图。
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供了一种视频检索方法，可以应用于服务器，该服务器可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。如图1所示，该方法包括：
步骤101、提取待检视频的多个第一视频帧的帧特征。
步骤102、基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，该第一对应关系记录有多个帧特征中每个帧特征对应的视频和视频帧，第一对应关系中的视频为存储于视频库中的m个视频，该m个视频中每个视频包括多个第二视频帧，n＜m。
步骤103、从n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频。
综上所述，本发明实施例提供的视频检索方法，先提取待检视频的多个第一视频帧的帧特征，然后基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，n＜m，之后，从n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频，由于是从n个候选视频中确定的目标视频，而不是计算视频库中每个视频的视频特征，以及每个视频的视频特征与待检视频的视频特征的相似度，因此，减小了计算量，提高了检索效率。
本发明实施例提供了另一种视频检索方法，可以应用于服务器，如图2所示，该方法包括：
步骤201、提取待检视频的多个第一视频帧的帧特征。
可选的，步骤201可以包括：对待检视频进行重采样，该重采样为以预设频率对待检视频进行抽取，得到多个第一视频帧。之后，对于每个第一视频帧：将该第一视频帧转换为灰度图像帧，并对灰度图像帧进行缩放处理，然后再对处理后的灰度图像帧进行离散余弦变换(Discrete Cosine Transform，DCT)处理，得到数据矩阵，接着再基于该数据矩阵将该第一视频帧编码为二进制串，最后，基于该二进制串得到该第一视频帧的帧特征。通过步骤201实现对待检视频数据的重编码。
示例的，假设预设频率为每秒2个，那么对待检视频进行重采样时可以每秒抽取2个第一视频帧。假设待检视频为一个10秒长的视频，每秒有24个第一视频帧，那么待检视频共有240个第一视频帧，则对待检视频进行重采样后可以得到20个第一视频帧。现以待检视频中的第102个第一视频帧为例对第一视频帧的重编码方式进行说明，首先，将第102个第一视频帧转换为灰度图像帧，并对该灰度图像帧进行缩放处理，保证待检视频的所有的第一视频帧的尺寸一致，便于后续计算处理。之后对处理后的灰度图像帧进行DCT处理，得到第102个第一视频帧的数据矩阵，由于对灰度图像帧进行DCT处理之后，数据矩阵中较大的系数会集中在该数据矩阵的左上角，左上角的较大的系数是低频系数，低频系数集中了信号的大部分能量，所以进一步的，可以保留数据矩阵左上角W*W个较大的系数，得到目标矩阵，示例的，W可以等于5。然后将该目标矩阵转换为二值矩阵，该二值矩阵由0，1组成。之后将该二值矩阵转换为二进制串，最后将该二进制串转换为十六进制串，并将该十六进制串作为第102个第一视频帧的帧特征。
示例的，转换二值矩阵的过程可以为：将该目标矩阵中每个元素与该目标矩阵的所有元素的平均值进行比较，当元素大于或等于该平均值时，将该元素设置为1；当元素小于该平均值时，将该元素设置为0，得到二值矩阵。现以W等于5为例对该转换过程进行说明。假设的目标矩阵为：该目标矩阵的所有元素的平均值为K，当x00大于或等于K时，则将x00设置为1。同样的，当x01小于K时，将x01设置为0。示例的，假设得到的二值矩阵为则可以按照行的顺序将该二值矩阵转换为二进制串：1 00100111 0010 0111 0100 1101，之后，再将该二进制串转换十六进制串，得到0x127274D，最后将0x127274D作为第一视频帧的帧特征。可选的，也可以按照列的顺序将该二值矩阵转换为二进制串。另外，也可以将二进制串转换成十进制串，用十进制串来表示第一视频帧的帧特征，本发明实施例在此不做限定。
步骤202、对于m个视频中每个视频，提取每个第二视频帧的帧特征。
该m个视频存储于视频库中，该m个视频中每个视频包括多个第二视频帧。在本步骤中，服务器提取m个视频中每个视频的每个第二视频帧的帧特征。提取帧特征的过程可以参考步骤201中提取待检视频的多个第一视频帧的帧特征的过程。示例的，图3示出了m个视频中每个视频的部分第二视频帧的帧特征，比如，第一个视频中的3个第二视频帧的帧特征分别为：0x0D080F1、0x0000001和0x0F020D1，第二个视频中的3个第二视频帧的帧特征分别为：0xA0180F1、0xFFFFFFF和0x0FB4100。
步骤203、根据m个视频中每个视频的每个第二视频帧的帧特征和对应的第二视频帧在所属视频中的帧位置信息，建立第一对应关系。
该第一对应关系记录有多个帧特征中每个帧特征对应的视频和视频帧，第一对应关系中的视频为存储于视频库中的m个视频。
在本发明实施例中，视频库中m个视频中每个视频被赋予一个视频编号，视频编号用于唯一指示某一视频。对于每个视频来说，每个第二视频帧又被赋予一个帧编号，该帧编号用于指示对应的第二视频帧在该视频中的帧位置信息。比如，视频库中某一视频包括10个第二视频帧，那么第1个第二视频帧的帧编号可以为0，第10个第二视频帧的帧编号为9。
示例的，在建立第一对应关系时，可以采用键值(key-value)的方式建立该第一对应关系。比如以帧特征为key，以视频的视频编号和第二视频帧的帧编号为value来建立该第一对应关系。图4示例性示出了建立第一对应关系的示意图。参见图4，帧特征为0x0000001对应两组视频和视频帧，第一组中的视频的视频编号为1，第二视频帧的帧编号为100；第二组中的视频的视频编号为3，第二视频帧的帧编号为100。帧特征为0xFFFFFFF对应两组视频和视频帧，第一组中的视频的视频编号为2，第二视频帧的帧编号为120；第二组中的视频的视频编号为3，第二视频帧的帧编号为200。
通过本步骤建立了第一对应关系后，可以基于帧特征从该第一对应关系中查找对应的视频和视频帧。
步骤204、基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，n＜m。
可选的，如图5所示，步骤204可以包括：
步骤2041、基于多个第一视频帧的帧特征和第一对应关系，建立第二对应关系。
第二对应关系记录有m个视频中每个视频对应的帧偏移量和帧特征数量，每个视频对应的帧偏移量为该每个视频的第二视频帧分别与至少一个第一视频帧的帧位置偏移量的绝对值，每个视频对应的帧特征数量为每个视频与待检视频相同的帧特征的数量。
步骤2041可以包括：
1)对于每个第一视频帧：获取第一视频帧在待检视频中的帧位置信息，根据第一视频帧的帧特征从第一对应关系中查找与第一视频帧的帧特征相同的帧特征所属的视频和第二视频帧，基于第一视频帧的帧位置信息和查找的第二视频帧在所属视频中的帧位置信息确定第一视频帧相对于查找的第二视频帧的帧偏移量。
2)对于每个帧偏移量，确定m个视频中每个视频与待检视频相同的帧特征的帧特征数量。
3)建立从第一对应关系中查找的视频，确定的帧偏移量，以及帧特征数量的对应关系，并作为第二对应关系。
在本发明实施例中，待检视频中每个第一视频帧被赋予一个帧编号，该帧编号用于指示第一视频帧在待检视频中的帧位置信息。图6示例性示出了建立第二对应关系的示意图，假设待检视频中帧编号为101的第一视频帧的帧特征为0x127274D，那么可以基于0x127274D从图4所示的第一对应关系中查找与该第一视频帧的帧特征相同的帧特征所属的视频和第二视频帧，查找的视频的视频编号为1，对应的第二视频帧的帧编号为6。之后，服务器基于第一视频帧的帧编号101和第二视频帧的帧编号6，确定该第一视频帧相对于第二视频帧的帧偏移量为95。这样一来，可以从第一对应关系中查找到待检视频中与每个第一视频帧的帧特征相同的帧特征所属的视频和第二视频帧，并得到多个帧偏移量。
对于多个帧偏移量中的每个帧偏移量，确定m个视频中每个视频与待检视频相同的帧特征的帧特征数量。比如，参见图6，待检视频中帧编号为101的第一视频帧的帧特征为0x127274D，基于0x127274D从图4所示的第一对应关系中查找的视频的视频编号为1，对应的第二视频帧的帧编号为6，待检视频中帧编号为102的第一视频帧的帧特征为0xF00284D，基于0xF00284D从图4所示的第一对应关系中查找的视频的视频编号为1，对应的第二视频帧的帧编号为7，那么对于帧偏移量为95，确定的视频编号为1的视频与待检视频相同的帧特征的帧特征数量为2。
最后，建立从第一对应关系中查找的视频，确定的帧偏移量，以及帧特征数量的对应关系，并作为第二对应关系，示例的，该第二对应关系可以如图7所示，该第二对应关系中，视频编号为1的视频对应的帧偏移量有2个：95和120，当帧偏移量为95时，对应的帧特征数量为2；当帧偏移量为120时，对应的帧特征数量为65。
步骤2042、在第二对应关系中，选取每个视频中最大的帧特征数量，得到k个帧特征数量，k≥m。
假设第二对应关系中，视频编号为2的视频有5个帧偏移量：100、150、30、80和120，且当帧偏移量为100时，对应的帧特征数量为50；当帧偏移量为150时，对应的帧特征数量为30；当帧偏移量为30时，对应的帧特征数量为10；当帧偏移量为80时，对应的帧特征数量为60；当帧偏移量为120时，对应的帧特征数量为70，则该视频中最大的帧特征数量为70。
示例的，参见图7，在第二对应关系中，视频编号为1的视频的最大的帧特征数量为65，那么就将该帧特征数量65选取出来；视频编号为2的视频的最大的帧特征数量为70，那么就将该帧特征数量70选取出来；视频编号为3的视频的最大的帧特征数量为50，那么就将该帧特征数量50选取出来，同一视频编号的视频也可能有多个相同的最大的帧特征数量，也即是，多个帧偏移量对应的帧特征数量相同。这样一来，服务器可以选取出第二对应关系中的每个视频中最大的帧特征数量，进而得到k个帧特征数量，k≥m。
步骤2043、从k个帧特征数量中确定帧特征数量大于预设数量所对应的n个候选视频。
假设该预设数量为60，视频库中存储有5(即m＝5)个视频，这5个视频的视频编号分别为1～5。步骤2042中得到的帧特征数量为5(即k＝5)，视频编号为1的视频中最大的帧特征数量为65，视频编号为2的视频中最大的帧特征数量为70，视频编号为3的视频中最大的帧特征数量为50，视频编号为4的视频中最大的帧特征数量为55，视频编号为5的视频中最大的帧特征数量为80，那么可以将视频编号为1的视频、视频编号为2的视频和视频编号为5的视频作为候选视频。
步骤205、从n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频。
可选的，步骤205包括：
1)对于每个候选视频：
根据第二对应关系中候选视频对应的最大的帧特征数量所对应的帧偏移量，确定候选视频与待检视频相互覆盖的N个视频帧，N≥1，
确定候选视频的N个第二视频帧和待检视频的N个第一视频帧中对应位置的视频帧被编码后的二进制串中相同位的个数之和S，S≥1，
采用相似度计算公式计算候选视频与待检视频的相似度，其中，该相似度计算公式为：S/(N*M)，M为对视频帧进行编号后得到的二进制串位数。
2)将所有候选视频中与待检视频的相似度大于预设阈值的候选视频作为目标视频。
在本步骤中，服务器从步骤204中获取的n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频。
现以图8所示的视频编号为100的候选视频为例，对计算该候选视频与待检视频的相似度的过程进行说明。假设在第二对应关系中，该候选视频对应的最大的帧特征数量所对应的帧偏移量为65，待检视频包括100个第一视频帧，视频编号为100的候选视频包括200个第二视频帧，那么按照帧偏移量65，将待检视频的首个第一视频帧的位置与该候选视频的第66个第二视频帧的位置对齐，得到候选视频与待检视频相互覆盖的100(即N＝100)个视频帧。然后，确定该候选视频的100个第二视频帧和待检视频的100个第一视频帧中对应位置的视频帧被编码后的二进制串中相同位的个数之和S。比如，待检视频的首个第一视频帧的帧特征为：0x0000010，在步骤201中，对该首个第一视频帧进行编码后得到的二进制串为：0 0000 0000 0000 0000 0001 0000，该候选视频的第66个第二视频帧的帧特征为：0x0806010，在步骤201中，对该第66个第二视频帧进行编码后得到的二进制串为：0 10000000 0110 0000 0001 0000，那么可以得到两个二进制串相同位的个数为22，然后采用同样的方式确定候选视频的其余第二视频帧和待检视频的其余第一视频帧中对应位置的视频帧被编码后的二进制串中相同位的个数。之后，将得到的多个个数进行相加，得到个数之和S。最后，按照相似度计算公式为：S/(N*M)，计算该候选视频与待检视频的相似度，假设S为2000，对视频帧进行编号后得到的二进制串位数M为25，那么该候选视频与待检视频的相似度为2000/(100*25)＝0.8。
这样一来，可以得到所有候选视频中与待检视频的相似度，然后将所有候选视频中与待检视频的相似度大于预设阈值的候选视频作为目标视频。示例的，某一候选视频与待检视频的相似度为0.8，假设预设阈值为0.75，那么服务器可以将该候选视频作为目标视频。
需要说明的是，本发明实施例提供的视频检索方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。
综上所述，本发明实施例提供的视频检索方法，先提取待检视频的多个第一视频帧的帧特征，然后基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，n＜m，之后，从n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频，由于是从n个候选视频中确定的目标视频，而不是计算视频库中每个视频的视频特征，以及每个视频的视频特征与待检视频的视频特征的相似度，因此，减小了计算量，提高了检索效率。
本发明实施例提供了一种视频检索装置30，可以应用于服务器，如图9所示，该装置30包括：第一提取模块301、获取模块302和确定模块303。
第一提取模块301，用于提取待检视频的多个第一视频帧的帧特征。
获取模块302，用于基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，该第一对应关系记录有多个帧特征中每个帧特征对应的视频和视频帧，第一对应关系中的视频为存储于视频库中的m个视频，该m个视频中每个视频包括多个第二视频帧，n＜m。
确定模块303，用于从n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频。
可选的，如图10所示，获取模块302，包括：
建立子模块3021，用于基于多个第一视频帧的帧特征和第一对应关系，建立第二对应关系，该第二对应关系记录有m个视频中每个视频对应的帧偏移量和帧特征数量，每个视频对应的帧偏移量为每个视频的第二视频帧分别与至少一个第一视频帧的帧位置偏移量的绝对值，每个视频对应的帧特征数量为每个视频与待检视频相同的帧特征的数量；
选取子模块3022，用于在第二对应关系中，选取每个视频中最大的帧特征数量，得到k个帧特征数量，k≥m；
确定子模块3023，用于从k个帧特征数量中确定帧特征数量大于预设数量所对应的n个候选视频。
可选的，建立子模块3021，用于：
对于每个第一视频帧：
获取第一视频帧在待检视频中的帧位置信息，
根据第一视频帧的帧特征从第一对应关系中查找与第一视频帧的帧特征相同的帧特征所属的视频和第二视频帧，
基于第一视频帧的帧位置信息和查找的第二视频帧在所属视频中的帧位置信息确定第一视频帧相对于查找的第二视频帧的帧偏移量；
对于每个帧偏移量，确定m个视频中每个视频与待检视频相同的帧特征的帧特征数量；
建立从第一对应关系中查找的视频，确定的帧偏移量，以及帧特征数量的对应关系，并作为第二对应关系。
可选的，确定模块303，用于：
对于每个候选视频：
根据第二对应关系中候选视频对应的最大的帧特征数量所对应的帧偏移量，确定候选视频与待检视频相互覆盖的N个视频帧，N≥1，
确定候选视频的N个第二视频帧和待检视频的N个第一视频帧中对应位置的视频帧被编码后的二进制串中相同位的个数之和S，S≥1，
采用相似度计算公式计算候选视频与待检视频的相似度，相似度计算公式为：S/(N*M)，M为对视频帧进行编号后得到的二进制串位数；
将所有候选视频中与待检视频的相似度大于预设阈值的候选视频作为目标视频。
综上所述，本发明实施例提供的视频检索装置，第一提取模块先提取待检视频的多个第一视频帧的帧特征，然后获取模块基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，n＜m，之后，确定模块从n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频，由于是从n个候选视频中确定的目标视频，而不是计算视频库中每个视频的视频特征，以及每个视频的视频特征与待检视频的视频特征的相似度，因此，减小了计算量，提高了检索效率。
本发明实施例提供了另一种视频检索装置30，可以应用于服务器，如图11所示，该装置30包括：第一提取模块301、获取模块302、确定模块303、第二提取模块304和建立模块305。
第一提取模块301，用于提取待检视频的多个第一视频帧的帧特征。
获取模块302，用于基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，该第一对应关系记录有多个帧特征中每个帧特征对应的视频和视频帧，第一对应关系中的视频为存储于视频库中的m个视频，该m个视频中每个视频包括多个第二视频帧，n＜m。
确定模块303，用于从n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频。
第二提取模块304，用于对于m个视频中每个视频，提取每个第二视频帧的帧特征。
建立模块305，用于根据m个视频中每个视频的每个第二视频帧的帧特征和对应的第二视频帧在所属视频中的帧位置信息，建立第一对应关系。
可选的，第一提取模块301，用于：
对待检视频进行重采样，得到多个第一视频帧；
对于每个第一视频帧：
将第一视频帧转换为灰度图像帧，并对灰度图像帧进行缩放处理；
对处理后的灰度图像帧进行离散余弦变换DCT处理，得到数据矩阵；
基于数据矩阵将第一视频帧编码为二进制串；
基于二进制串得到第一视频帧的帧特征。
关于第一提取模块301、获取模块302和确定模块303的说明可以参考图9，在此不再赘述。
综上所述，本发明实施例提供的视频检索装置，第一提取模块先提取待检视频的多个第一视频帧的帧特征，然后获取模块基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，n＜m，之后，确定模块从n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频，由于是从n个候选视频中确定的目标视频，而不是计算视频库中每个视频的视频特征，以及每个视频的视频特征与待检视频的视频特征的相似度，因此，减小了计算量，提高了检索效率。
图12是本发明实施例提供的一种计算机设备，该计算机设备可以用于服务器。如图12所示，该计算机设备包括处理器401(如CPU)、存储器402、网络接口403和总线404。其中，总线404用于连接处理器401、存储器402和网络接口403。通过网络接口403实现服务器与外部设备之间的通信连接。存储器402用于存放计算机程序4021。处理器401，用于执行存储器402上所存放的程序，实现图1或图2所示的视频检索方法。
综上所述，本发明实施例提供的计算机设备，该计算机设备的处理器先提取待检视频的多个第一视频帧的帧特征，然后基于多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，n＜m，之后，从n个候选视频中确定与待检视频的相似度大于预设阈值的目标视频，由于是从n个候选视频中确定的目标视频，而不是计算视频库中每个视频的视频特征，以及每个视频的视频特征与待检视频的视频特征的相似度，因此，减小了计算量，提高了检索效率。
本发明实施例提供了一种存储介质，该存储介质中存储有计算机程序，当该计算机程序被处理器执行时实现图1或图2所示的视频检索方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种视频检索方法，其特征在于，所述方法包括：
提取待检视频的多个第一视频帧的帧特征；
基于所述多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，所述第一对应关系记录有多个帧特征中每个帧特征对应的视频和视频帧，所述第一对应关系中的视频为存储于视频库中的m个视频，所述m个视频中每个视频包括多个第二视频帧，n＜m；
从所述n个候选视频中确定与所述待检视频的相似度大于预设阈值的目标视频。
2.根据权利要求1所述的方法，其特征在于，所述基于所述多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，包括：
基于所述多个第一视频帧的帧特征和所述第一对应关系，建立第二对应关系，所述第二对应关系记录有所述m个视频中每个视频对应的帧偏移量和帧特征数量，所述每个视频对应的帧偏移量为所述每个视频的第二视频帧分别与至少一个第一视频帧的帧位置偏移量的绝对值，所述每个视频对应的帧特征数量为所述每个视频与所述待检视频相同的帧特征的数量；
在所述第二对应关系中，选取所述每个视频中最大的帧特征数量，得到k个帧特征数量，k≥m；
从所述k个帧特征数量中确定帧特征数量大于预设数量所对应的n个候选视频。
3.根据权利要求2所述的方法，其特征在于，所述基于所述多个第一视频帧的帧特征和所述第一对应关系，建立第二对应关系，包括：
对于每个所述第一视频帧：
获取所述第一视频帧在所述待检视频中的帧位置信息，
根据所述第一视频帧的帧特征从所述第一对应关系中查找与所述第一视频帧的帧特征相同的帧特征所属的视频和第二视频帧，
基于所述第一视频帧的帧位置信息和查找的第二视频帧在所属视频中的帧位置信息确定所述第一视频帧相对于查找的第二视频帧的帧偏移量；
对于每个帧偏移量，确定所述m个视频中每个视频与所述待检视频相同的帧特征的帧特征数量；
建立从所述第一对应关系中查找的视频，确定的帧偏移量，以及帧特征数量的对应关系，并作为所述第二对应关系。
4.根据权利要求2或3所述的方法，其特征在于，所述从所述n个候选视频中确定与所述待检视频的相似度大于预设阈值的目标视频，包括：
对于每个所述候选视频：
根据所述第二对应关系中所述候选视频对应的最大的帧特征数量所对应的帧偏移量，确定所述候选视频与所述待检视频相互覆盖的N个视频帧，N≥1，
确定所述候选视频的N个第二视频帧和所述待检视频的N个第一视频帧中对应位置的视频帧被编码后的二进制串中相同位的个数之和S，S≥1，
采用相似度计算公式计算所述候选视频与所述待检视频的相似度，所述相似度计算公式为：S/(N*M)，所述M为对视频帧进行编号后得到的二进制串位数；
将所有候选视频中与所述待检视频的相似度大于所述预设阈值的候选视频作为所述目标视频。
5.根据权利要求1所述的方法，其特征在于，在所述基于所述多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频之前，所述方法还包括：
对于所述m个视频中每个视频，提取每个所述第二视频帧的帧特征；
根据所述m个视频中每个视频的每个所述第二视频帧的帧特征和对应的第二视频帧在所属视频中的帧位置信息，建立所述第一对应关系。
6.根据权利要求1所述的方法，其特征在于，所述提取待检视频的多个第一视频帧的帧特征，包括：
对所述待检视频进行重采样，得到所述多个第一视频帧；
对于每个所述第一视频帧：
将所述第一视频帧转换为灰度图像帧，并对所述灰度图像帧进行缩放处理；
对处理后的灰度图像帧进行离散余弦变换DCT处理，得到数据矩阵；
基于所述数据矩阵将所述第一视频帧编码为二进制串；
基于所述二进制串得到所述第一视频帧的帧特征。
7.一种视频检索装置，其特征在于，所述装置包括：
第一提取模块，用于提取待检视频的多个第一视频帧的帧特征；
获取模块，用于基于所述多个第一视频帧的帧特征和预设的第一对应关系获取n个候选视频，所述第一对应关系记录有多个帧特征中每个帧特征对应的视频和视频帧，所述第一对应关系中的视频为存储于视频库中的m个视频，所述m个视频中每个视频包括多个第二视频帧，n＜m；
确定模块，用于从所述n个候选视频中确定与所述待检视频的相似度大于预设阈值的目标视频。
8.根据权利要求7所述的装置，其特征在于，所述获取模块，包括：
建立子模块，用于基于所述多个第一视频帧的帧特征和所述第一对应关系，建立第二对应关系，所述第二对应关系记录有所述m个视频中每个视频对应的帧偏移量和帧特征数量，所述每个视频对应的帧偏移量为所述每个视频的第二视频帧分别与至少一个第一视频帧的帧位置偏移量的绝对值，所述每个视频对应的帧特征数量为所述每个视频与所述待检视频相同的帧特征的数量；
选取子模块，用于在所述第二对应关系中，选取所述每个视频中最大的帧特征数量，得到k个帧特征数量，k≥m；
确定子模块，用于从所述k个帧特征数量中确定帧特征数量大于预设数量所对应的n个候选视频。
9.根据权利要求8所述的装置，其特征在于，所述建立子模块，用于：
对于每个所述第一视频帧：
获取所述第一视频帧在所述待检视频中的帧位置信息，
根据所述第一视频帧的帧特征从所述第一对应关系中查找与所述第一视频帧的帧特征相同的帧特征所属的视频和第二视频帧，
基于所述第一视频帧的帧位置信息和查找的第二视频帧在所属视频中的帧位置信息确定所述第一视频帧相对于查找的第二视频帧的帧偏移量；
对于每个帧偏移量，确定所述m个视频中每个视频与所述待检视频相同的帧特征的帧特征数量；
建立从所述第一对应关系中查找的视频，确定的帧偏移量，以及帧特征数量的对应关系，并作为所述第二对应关系。
10.根据权利要求8或9所述的装置，其特征在于，所述确定模块，用于：
对于每个所述候选视频：
根据所述第二对应关系中所述候选视频对应的最大的帧特征数量所对应的帧偏移量，确定所述候选视频与所述待检视频相互覆盖的N个视频帧，N≥1，
确定所述候选视频的N个第二视频帧和所述待检视频的N个第一视频帧中对应位置的视频帧被编码后的二进制串中相同位的个数之和S，S≥1，
采用相似度计算公式计算所述候选视频与所述待检视频的相似度，所述相似度计算公式为：S/(N*M)，所述M为对视频帧进行编号后得到的二进制串位数；
将所有候选视频中与所述待检视频的相似度大于所述预设阈值的候选视频作为所述目标视频。
11.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第二提取模块，用于对于所述m个视频中每个视频，提取每个所述第二视频帧的帧特征；
建立模块，用于根据所述m个视频中每个视频的每个所述第二视频帧的帧特征和对应的第二视频帧在所属视频中的帧位置信息，建立所述第一对应关系。
12.根据权利要求7所述的装置，其特征在于，
所述第一提取模块，用于：
对所述待检视频进行重采样，得到所述多个第一视频帧；
对于每个所述第一视频帧：
将所述第一视频帧转换为灰度图像帧，并对所述灰度图像帧进行缩放处理；
对处理后的灰度图像帧进行离散余弦变换DCT处理，得到数据矩阵；
基于所述数据矩阵将所述第一视频帧编码为二进制串；
基于所述二进制串得到所述第一视频帧的帧特征。
13.一种计算机设备，其特征在于，包括处理器和存储器，
其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序，实现权利要求1至6任一所述的视频检索方法。
14.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序被处理器执行时实现权利要求1至6任一所述的视频检索方法。
CN201711146364.0A 2017-11-17 2017-11-17 视频检索方法及装置、计算机设备、存储介质 Pending CN107943903A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711146364.0A CN107943903A (zh) 2017-11-17 2017-11-17 视频检索方法及装置、计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711146364.0A CN107943903A (zh) 2017-11-17 2017-11-17 视频检索方法及装置、计算机设备、存储介质

Publications (1)

Publication Number Publication Date
CN107943903A true CN107943903A (zh) 2018-04-20

Family

ID=61931753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711146364.0A Pending CN107943903A (zh) 2017-11-17 2017-11-17 视频检索方法及装置、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN107943903A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112673625A (zh) * 2018-09-10 2021-04-16 华为技术有限公司 混合视频以及特征编码和解码
CN113704551A (zh) * 2021-08-24 2021-11-26 广州虎牙科技有限公司 一种视频检索方法、存储介质及设备
CN115499707A (zh) * 2022-09-22 2022-12-20 北京百度网讯科技有限公司 视频相似度的确定方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060796A (ja) * 2004-07-21 2006-03-02 Nippon Telegr & Teleph Corp <Ntt> 映像検索装置，方法及びプログラム並びにプログラムを記録した記録媒体
CN103514293A (zh) * 2013-10-09 2014-01-15 北京中科模识科技有限公司 在视频模板库中进行视频匹配的方法
CN106557545A (zh) * 2016-10-19 2017-04-05 北京小度互娱科技有限公司 视频检索方法和装置
CN104050247B (zh) * 2014-06-04 2017-08-08 上海赛特斯信息科技股份有限公司 实现海量视频快速检索的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060796A (ja) * 2004-07-21 2006-03-02 Nippon Telegr & Teleph Corp <Ntt> 映像検索装置，方法及びプログラム並びにプログラムを記録した記録媒体
CN103514293A (zh) * 2013-10-09 2014-01-15 北京中科模识科技有限公司 在视频模板库中进行视频匹配的方法
CN104050247B (zh) * 2014-06-04 2017-08-08 上海赛特斯信息科技股份有限公司 实现海量视频快速检索的方法
CN106557545A (zh) * 2016-10-19 2017-04-05 北京小度互娱科技有限公司 视频检索方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112673625A (zh) * 2018-09-10 2021-04-16 华为技术有限公司 混合视频以及特征编码和解码
CN113704551A (zh) * 2021-08-24 2021-11-26 广州虎牙科技有限公司 一种视频检索方法、存储介质及设备
CN115499707A (zh) * 2022-09-22 2022-12-20 北京百度网讯科技有限公司 视频相似度的确定方法和装置

Similar Documents

Publication Publication Date Title
CN1189037C (zh) 确定不同图像的像素阵列间最佳配置方法和运动估计搜索引擎
CN107943903A (zh) 视频检索方法及装置、计算机设备、存储介质
WO2002033978A1 (en) Non-linear quantization and similarity matching methods for retrieving image data
CN111651636A (zh) 视频相似片段搜索方法及装置
CN113052868B (zh) 一种抠图模型训练、图像抠图的方法及装置
US11714921B2 (en) Image processing method with ash code on local feature vectors, image processing device and storage medium
CN105469081A (zh) 一种用于美颜的人脸关键点定位方法及系统
CN108335327B (zh) 摄像机姿态估计方法和摄像机姿态估计装置
Xie et al. Bag-of-words feature representation for blind image quality assessment with local quantized pattern
CN111476835A (zh) 多视角图像一致性的无监督深度预测方法、系统、装置
CN115063589A (zh) 基于知识蒸馏的车辆部件分割方法及相关设备
CN114187333A (zh) 一种图像对齐方法、图像对齐装置及终端设备
CN106572354A (zh) 基于图像块的搜索匹配方法、系统及视频处理设备
CN108447084B (zh) 基于orb特征的立体匹配补偿方法
CN110288026A (zh) 一种基于度量关系图学习的图像分割方法及装置
CN113157962A (zh) 图像检索方法、电子装置和存储介质
JP2003016427A (ja) ステレオ画像の視差推定方法
CN116152517A (zh) 一种改进的orb特征提取方法
CN111192302A (zh) 一种基于运动平滑性和ransac算法的特征匹配方法
CN111160362A (zh) 一种fast特征均匀化提取与基于imu的帧间特征误匹配去除方法
CN1201589C (zh) 运动估计方法和装置
CN111325215B (zh) 图像局部特征描述方法、装置、设备及介质
Yadav et al. Error assessment of fundamental matrix parameters
CN110473258B (zh) 基于点线统一框架的单目slam系统初始化算法
CN113688816A (zh) 一种改进orb特征点提取的视觉里程计的计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420