CN113298087B - 图片分类模型冷启动的方法、系统、装置及介质 - Google Patents

图片分类模型冷启动的方法、系统、装置及介质 Download PDF

Info

Publication number
CN113298087B
CN113298087B CN202110475800.9A CN202110475800A CN113298087B CN 113298087 B CN113298087 B CN 113298087B CN 202110475800 A CN202110475800 A CN 202110475800A CN 113298087 B CN113298087 B CN 113298087B
Authority
CN
China
Prior art keywords
pictures
picture
picture classification
classification model
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110475800.9A
Other languages
English (en)
Other versions
CN113298087A (zh
Inventor
张彤彤
王守一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qiyue Information Technology Co Ltd
Original Assignee
Shanghai Qiyue Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qiyue Information Technology Co Ltd filed Critical Shanghai Qiyue Information Technology Co Ltd
Priority to CN202110475800.9A priority Critical patent/CN113298087B/zh
Publication of CN113298087A publication Critical patent/CN113298087A/zh
Application granted granted Critical
Publication of CN113298087B publication Critical patent/CN113298087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图片分类领域，针对现有的风控场景中使用诸如视频等图像/图片进行分类来提取信息时，获取特定图片和分类的方式需要的数据量大并导致各种资源和成本消耗较大等缺陷，提出了本发明的图片分类模型冷启动的方法、系统、装置及介质，旨在解决如何实现图片分类模型冷启动的技术问题以避免难以获取大量图片分类模型的训练数据的缺陷；进而更高效便捷地实现冷启动累积数据进行图片分类，有效降低获取数据时各种成本和资源的消耗。为此，本发明的方法通过前置SIFT特征匹配分类风控场景的图片以作为训练数据训练图片分类模型，并以变化的使用比例使用两种方式分类，以完成图片分类模型的冷启动。

Description

图片分类模型冷启动的方法、系统、装置及介质
技术领域
本发明涉及图片分类领域，具体而言，涉及一种图片分类模型冷启动的方法、系统、装置及介质。
背景技术
在风险控制即风控场景里，经常需要从视频等图像影像中提取特定的文本信息(比如姓名、年龄等)，供风控使用。而一般这些信息在不同的应用场景里，例如视频里的不同的图片中，因而需要从特定的图片里提取这些信息。对此，现有技术中，从视频这类影像中获取这些特定的图片的方式，大多可以通过使用CNN模型对例如视频里每一帧所获得的图片进行分类。这种方式的准确率虽高，但在训练诸如CNN这类模型时需要大量的数据，而这些数据往往需要人工获取，由人工获取这些与风控有关的数据极其耗费时间，由此，获得应用于特定风控场景中、训练这类图片分类模型的大量数据时，人力和时间成本、资源消耗都比较大，获取这类训练数据的难度相对较大。
因而，需要改进现有图片分类模型的训练数据的获取方式，能够更便捷、有效降低获取数据时各种成本和资源的消耗。
发明内容
针对现有技术中的上述缺陷，本发明提供了一种图片分类模型冷启动的方法、系统、装置及介质的技术方案，旨在解决如何实现图片分类模型冷启动的技术问题以避免难以获取大量图片分类模型的数据的技术问题；进一步，解决如何更高效便捷地实现冷启动累积数据的技术问题，以降低获取数据时各种成本和资源的消耗。
为了解决上述技术问题，本发明第一方面提出一种图片分类模型冷启动的方法，包括：对目标视频中的场景图片集合，基于SIFT特征匹配进行图片分类；利用进行图片分类获得的已分类的图片，对构建的图片分类模型进行训练；以逐步减少使用基于SIFT特征匹配并逐步增加使用所述图片分类模型的方式，继续对所述场景图片集合中未分类的图片进行图片分类，并且，继续利用进行图片分类获得的已分类的图片，将训练后更新了参数的所述图片分类模型作为新的图片分类模型进行训练。
优选地，对目标视频中的场景图片集合，基于SIFT特征匹配进行图片分类，具体包括：在预定时间间隔中从目标视频里选取出几张图片，组成场景图片集合；通过SIFT特征匹配算法，对所述场景图片集合中的图片进行分类，获得已分类的图片。
优选地，所述预定时间间隔为每秒；所述场景包括风险控制场景；通过SIFT特征匹配算法，对所述场景图片集合中的图片进行分类，获得已分类的图片，具体包括：通过SIFT特征匹配算法定位每个视频中匹配度最高的图片，以确定图片的分类；循环通过SIFT特征匹配算法确定图片的分类，以开始所述图片分类模型的冷启动阶段。
优选地，构建的图片分类模型为卷积神经网络CNN；输入所述已分类的图片到所述CNN进行所述CNN的训练；根据所述训练，更新所述CNN的参数获得经训练的CNN。
优选地，以逐步减少使用基于SIFT特征匹配并逐步增加使用所述图片分类模型的方式，继续对所述场景图片集合中未分类的图片进行图片分类，具体包括：逐步减少包括按照预设的使用比例来减少；逐步增加包括按照与预设的使用比例来减少相反的使用比例来增加；使用基于SIFT特征匹配和使用所述图片分类模型同时继续对所述场景图片集合中未分类的图片进行图片分类。
优选地，按照预设的使用比例来减少，包括：以时间顺序按照预设的时间周期，从最开始的100％、、到67％、到33％、最后0％的方式来减少；按照与预设的使用比例来减少相反的使用比例来增加则包括从最开始的0％、到33％、到67％、最后100％的方式来增加。
优选地，继续利用进行图片分类获得的已分类的图片，将训练后更新了参数的所述图片分类模型作为新的图片分类模型进行训练，具体包括：将同时继续对所述场景图片集合中未分类的图片进行图片分类所获得的已分类的图片，输入到最后一次经训练的所述图片分类模型根据训练更新了参数后而形成的新的图片分类模型中，作为训练数据继续进行模型训练；同时继续对所述场景图片集合中未分类的图片进行图片分类并训练新的所述图片分类模型阶段为运行所述冷启动阶段。
优选地，还包括：完全以经训练的新的图片分类模型对所述场景图片集合中未分类的图片进行图片分类；完成所述冷启动阶段。
为了解决上述技术问题，本发明第二方面提出一种突破案分类模型冷启动的系统，包括：冷启动开始装置，用于对目标视频中的场景图片集合，基于SIFT特征匹配进行图片分类；冷启动运行装置，用于利用进行图片分类获得的已分类的图片，对构建的图片分类模型进行训练；以逐步减少使用基于SIFT特征匹配并逐步增加使用所述图片分类模型的方式，继续对所述场景图片集合中未分类的图片进行图片分类，并且，继续利用进行图片分类获得的已分类的图片，将训练后更新了参数的所述图片分类模型作为新的图片分类模型进行训练。
优选地，冷启动开始装置，具体包括：在预定时间间隔中从目标视频里选取出几张图片，组成场景图片集合；通过SIFT特征匹配算法，对所述场景图片集合中的图片进行分类，获得已分类的图片。
优选地，所述预定时间间隔为每秒；所述场景包括风险控制场景；通过SIFT特征匹配算法，对所述场景图片集合中的图片进行分类，获得已分类的图片，具体包括：通过SIFT特征匹配算法定位每个视频中匹配度最高的图片，以确定图片的分类；循环通过SIFT特征匹配算法确定图片的分类，以开始所述图片分类模型的冷启动阶段。
优选地，冷启动运行装置中：构建的图片分类模型为卷积神经网络CNN；输入所述已分类的图片到所述CNN进行所述CNN的训练；根据所述训练，更新所述CNN的参数获得经训练的CNN。
优选地，冷启动运行装置中：逐步减少包括按照预设的使用比例来减少；逐步增加包括按照与预设的使用比例来减少相反的使用比例来增加；使用基于SIFT特征匹配和使用所述图片分类模型同时继续对所述场景图片集合中未分类的图片进行图片分类。
优选地，冷启动运行装置中：按照预设的使用比例来减少，包括：以时间顺序按照预设的时间周期，从最开始的100％、、到67％、到33％、最后0％的方式来减少；按照与预设的使用比例来减少相反的使用比例来增加则包括从最开始的0％、到33％、到67％、最后100％的方式来增加。
优选地，冷启动运行装置中：将同时继续对所述场景图片集合中未分类的图片进行图片分类所获得的已分类的图片，输入到最后一次经训练的所述图片分类模型根据训练更新了参数后而形成的新的图片分类模型中，作为训练数据继续进行模型训练；同时继续对所述场景图片集合中未分类的图片进行图片分类并训练新的所述图片分类模型阶段为运行所述冷启动阶段。
优选地，还包括：冷启动完成装置，用于完全以经训练的新的图片分类模型对所述场景图片集合中未分类的图片进行图片分类，以完成所述冷启动阶段。
为了解决上述技术问题，本发明第三方面提出一种电子装置，其包括处理器以及存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行第一方面提出的方法。
为了解决上述技术问题，本发明第四方面提出一种计算机可读存储介质，该所述计算机可读存储介质存储一个或多个程序，当所述一个或多个程序被处理器执行时，实现第一方面提出的方法。
本发明的一个实施例，通过前置SIFT特征匹配分类风控场景的图片以作为训练数据训练图片分类模型，并以变化的使用比例使用两种方式分类，以完成图片分类模型的冷启动。其中，通过前置SIFT特征匹配来帮助CNN模型实现冷启动，克服了CNN模型的训练数据难获取的缺陷。而在逐步减少SIFT特征匹配进行图片分类而增加图片分类模型进行图片分类，进而持续训练更新图片分类模型，直到最终全部由图片分类模型进行图片分类而完成冷启动的过程，在保证分类准确率的基础上，大大减少了训练CNN模型获取数据时所需要的人力、时间等成本以及资源消耗，并且更加便捷高效地实现了冷启动的数据积累。
附图说明
为了使本发明所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本发明的具体实施例。但需声明的是，下面描述的附图仅仅是本发明的示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。
图1是根据本发明的图片分类模型冷启动的方法的一个实施例的具体流程图；
图2是根据本发明的图片分类模型冷启动的系统的一个实施例的结构框图；
图3是根据本发明的方案应用在风控场景中的一个实施例的实现原理示意图；
图4是根据本发明的一种电子装置的一个示例性的实施例的结构框图；
图5是根据本发明的一个计算机可读介质的一个逻辑示例性的实施例的示意图。
具体实施方式
现在将参考附图来更加全面地描述本发明的示例性实施例，虽然各示例性实施例能够以多种具体的方式实施，但不应理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例是为了使本发明的内容更加完整，更加便于将发明构思全面地传达给本领域的技术人员。
在符合本发明的技术构思的前提下，在某个特定的实施例中描述的结构、性能、效果或者其他特征可以以任何合适的方式结合到一个或更多其他的实施例中。
在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
传统方案中，对影像如视频的每一帧图像/图片里特定的图片的获取以及图片分类采用了诸如卷积神经网络(Convolutional Neural Networks,CNN)这类模型/算法实现，从分类的这些特定的图片中提取与应用的风控场景所需的各种信息(包括各种文本信息等)，在训练CNN这类模型时，需要大量的训练数据，涉及到风控场景，这类数据由于与各类用户的安全和隐私等相关，往往获取有难度，人工成本和消耗的时间成本都较大。
本发明的技术方案主要实现图片分类模型冷启动，如图3所示的本发明的技术方案的一个实施例的原理图。该实施例中，通过获得的场景图片，例如风控场景下各种视频影像等的场景图片集合；利用SIFT特征匹配方式对这些场景图片集合中的图片进行分类，即冷启动开始；再由SIFT特征匹配和CNN模型同时作用于场景图片的分类进而持续训练CNN模型，即冷启动运行；然后再完全使用CNN模型对这些场景图片进行分类，即冷启动完成，结束了冷启动，完成了CNN训练，完全进入了图片分类的执行。本发明通过前置SIFT特征匹配来帮助CNN模型冷启动，无需人工花费时间和精力去获得CNN这类图片分类模型的训练数据，克服了CNN模型的训练数据难获取的缺陷，通过冷启动积累数据，更加便捷高效。
下面对本发明涉及的一些技术名词进行说明：
CNN：是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward NeuralNetworks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)，因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks,SIANN)”。
尺度不变特征变换SIFT(Scale-invariant feature transform)：是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。
冷启动：从零开始积累数据的过程。
【实施例1】
下面结合图1所示的根据本发明技术方案的图片分类模型冷启动的方法的一个实施例的主要流程图，对本发明的图片分类模型冷启动的实现过程进行说明。该实施例中，主要通过前置SIFT特征匹配帮助CNN模型冷启动。
步骤S110，基于SIFT特征匹配，对图片集合中的图片进行分类。
具体例如，对目标视频中的场景图片集合，基于SIFT特征匹配进行图片分类。
其中，可以在预定时间间隔中从目标视频里选取出几张图片，组成场景图片集合，再通过SIFT特征匹配算法，对所述场景图片集合中的图片进行分类，获得已分类的图片。其中，所述预定时间间隔为每秒，而所述场景可以包括风险控制场景。其中，通过SIFT特征匹配算法，对所述场景图片集合中的图片进行分类，获得已分类的图片，例如可以通过SIFT特征匹配算法定位每个视频中匹配度最高的图片，以确定图片的分类；进而，循环通过SIFT特征匹配算法确定图片的分类，以开始所述图片分类模型的冷启动阶段。
一个实施方式中，从风控场景即风险控制场景的目标图片集合中，获得匹配度最高的图片。例如，风控场景的目标视频里，可以从视频里的帧序列(实际紧邻的连续帧或相同间隔的连续帧)或时间序列(比如每秒钟)选择出几张图片，组成场景图片集合。
一个实施方式中，前置SIFT特征匹配，以定位每个视频中匹配度最高的图片。
首先，SIFT特征的生成，即从多幅图片中提取对尺度缩放、旋转、亮度变化无关的特征向量。具体如：
可以构建尺度空间，检测极值点，获得尺度不变性。具体如：搜索所有尺度上的图片位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。更具体地，基于高斯核是实现尺度变换的唯一变换核，对图片在不同尺度下提取图像特征，从而达到尺度不变性：1.建立高斯金字塔，如：先通过二维高斯滤波函数对图片进行高斯滤波等处理，再根据尺度函数来建立高斯金字塔，甚至可以在此基础上建立DOG高斯金字塔。2.检测极值点，如：为了检测到DOG空间的局部极值点，每一个采样点要和它所有的相邻点比较(例：中间的检测点需要与它同层的n个，上层和下层各n+1个像素点进行比较，以确保在尺度空间和二维图像控件都检测到极值点；如果该检测点为最大值或者最小值，则该点为图像在该尺度下的一个候选关键点)。进一步，在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度变化的连续性，可以考虑在每一组图像的顶层继续用高斯模糊生成3幅图像。
可以对特征点过滤并进行精确定位。关键点的选取要经过两步：必须去除低对比度和对噪声敏感的候选关键点；去除边缘点。具体如：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度，关键点的选择依据于它们的稳定程度。更具体地，1.去除低对比度的点，例如：可以对局部极值点进行三维二次函数拟合以精确确定特征点的位置和尺度；2.去除边缘点，其中，一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率，由曲率大小确定边缘点去除。
可以为特征点分配方向值。具体如：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向，即利用特征点邻域像素的梯度方向分布特征来定关键点的方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。
可以生成特征描述子。具体如：为了进一步描述关键点的信息，则确定关键点的邻域范围的大小很重要，可以在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。进一步，以特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，最后获得4×4×8的128维特征描述子。
然后，进行SIFT特征向量的匹配。具体如：根据相似性度量来进行，例如欧式距离和马氏距离等。以欧氏距离为例，更具体地，当两幅图片的SIFT特征向量生成以后，采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量，取第一幅图的某个关键点，通过遍历找到第二幅图中的距离最近的两个关键点；在这两个关键点中，如果最近距离除以次近距离小于某个阈值，则判定为一对匹配点。进一步，例如，可以采用优先k-d树进行优先搜索来查找每个特征点的近似最近邻特征点；在这两个特征点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点；而降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。
由此，通过SIFT特征匹配，能够定位每个视频中匹配度最高的图片，即获得匹配度最高的图片，从场景图片集合将图片进行较为准确的分类，得到已分类好的图片。通过前置的基于SIFT的特征匹配算法进行图片分类方式，获得分类后的图片，从而开始了图片分类模型的冷启动，即开始累积训练图片分类模型(例如常见的CNN、VGG等)的训练数据。
一个实施方式中，还包括循环通过SIFT特征匹配算法确定图片的分类，即循环执行：通过SIFT特征匹配，定位每个视频中匹配度最高的图片，由此循环进行图片分类，得到已经分类的图片，累积训练数据。
步骤S120，利用进行图片分类获得的已分类的图片，对构建的图片分类模型进行训练。
一个实施方式中，构建的图片分类模型为卷积神经网络CNN，包括但不限于诸如VGG、LeNet5、Inception等能执行图像识别、图片分类的模型。其中，每次输入图片即训练数据进行训练后可以调整/更新模型参数，作为新的或者说更新的模型。一个具体的例子中，可以利用前置SIFT特征匹配所进行图片分类后确定了分类的图片，作为冷启动积累的数据，这里可以是作为训练数据，训练图片分类模型。例如：输入这些确定了分类的图片到CNN即输入所述已分类的图片到所述CNN，进行所述CNN的训练，进而，可以根据所述训练，更新所述CNN的参数、获得经训练的更新后的CNN。保存当前经训练的CNN，等待下一次训练。
步骤S130，继续基于SIFT特征匹配和所述图片分类模型进行图片分类，并继续训练新的所述图片分类模型。
具体比如，以逐步减少使用基于SIFT特征匹配并逐步增加使用所述图片分类模型的方式，继续对所述场景图片集合中未分类的图片进行图片分类，并且，继续利用进行图片分类所获得的已分类的图片，将训练后更新了参数的所述图片分类模型作为新的图片分类模型进行训练。
一个实施方式中，最初的一次或预设多次，可以完全基于SIFT特征匹配进行分类并获得已分类的图片作为训练数据进行图片分类模型的训练；之后，可以同时使用该图片分类模型与SIFT特征匹配来继续分类。优选地，逐步减少基于SIFT特征匹配进行分类，而相应地逐步增加图片分类模型进行分类。
例如：每完成一次或设定的多次分类得到的已分类的图片，就可以对该图片分类模型在之前最后一次训练后更新了参数得到的新的或者说更新的模型，进行再次训练。然后，在后续一次或设定的多次分类中使用新的或者说更新的模型之前的被训练的模型与该SIFT进入下一次的继续分类，只是每完成一次或预先设定的多次分类得到已分类的图片并再次训练模型后，在下一次的图片分类时使用模型进行分类和使用SIFT特征匹配进行分类二者的多少/比例等可以不同。
其中，以逐步减少使用基于SIFT特征匹配并逐步增加使用所述图片分类模型的方式，继续对所述场景图片集合中未分类的图片进行图片分类，具体例如：按照比例逐步减少包括按照预设的使用比例来减少；逐步增加包括按照与预设的使用比例来减少相反的使用比例来增加；使用基于SIFT特征匹配和使用所述图片分类模型同时继续对所述场景图片集合中未分类的图片进行图片分类。
一个例子，按照预设的使用比例来减少，包括：以时间顺序按照预设的时间周期，从最开始的100％、到67％、到33％、最后0％的方式来减少；按照与预设的使用比例来减少相反的使用比例来增加则包括从最开始的0％、到33％、到67％、最后100％的方式来增加。
一个实施方式中，继续利用进行图片分类获得的已分类的图片，将训练后更新了参数的所述图片分类模型作为新的图片分类模型进行训练，具体例如：将同时继续对所述场景图片集合中未分类的图片进行图片分类所获得的已分类的图片，输入到最后一次经训练的所述图片分类模型根据训练更新了参数后而形成的新的图片分类模型中，作为训练数据继续进行模型训练；同时继续对所述场景图片集合中未分类的图片进行图片分类并训练新的所述图片分类模型阶段为运行所述冷启动阶段。
例1：以单次分类为例，首次分类，通过SIFT特征匹配对图片分类，即100％使用SIFT算法；将分类后的图片作为训练数据对初始的图片分类模型如CNN0进行训练，得到CNN1即新模型；第二次可以同时使用SIFT算法和CNN0对未分类的其他图片继续分类，使用SIFT算法的比例为67％、而使用CNN1的比例为33％；将分类后的图片作为训练数据对CNN1即新模型(相对于之前最后一次模型更新了参数的模型，或者称为更新后的模型)进行训练，得到CNN2即新模型；第三次仍然同时使用SIFT算法和CNN1对未分类的其他图片继续分类，使用SIFT算法的比例为33％、而使用CNN1的比例为33％；将分类后的图片作为训练数据对CNN2即新模型进行训练，得到CNN3即新模型；第四次可以单独完全使用经训练的CNN2继续分类即100％，而使用SIFT算法的比例为0，得到分类的图片并训练模型CNN3，得到CNN4，完成了冷启动，结束冷启动，后续即可用训练完成的CNN4进行正常分类处理。
例2：以单次分类为例，还可以在首次分类时，通过SIFT特征匹配对图片分类，即100％使用SIFT算法；将分类后的图片作为训练数据对初始的图片分类模型如CNN0进行训练，得到CNN1即新模型；第二次可以同时使用SIFT算法和CNN1对未分类的其他图片继续分类，使用SIFT算法的比例为67％、而使用CNN0的比例为33％；将分类后的图片作为训练数据对CNN1即其相对于初始模型CNN0为新模型(相对于之前最后一次模型更新了参数的模型，或者称为更新后的模型)进行训练，得到CNN2即新模型；第三次仍然同时使用SIFT算法和CNN2对未分类的其他图片继续分类，使用SIFT算法的比例为33％、而使用CNN2的比例为33％；将分类后的图片作为训练数据对CNN2即新模型进行训练，得到CNN3即新模型；第四次可以单独完全使用经训练的CNN3继续分类即100％，而使用SIFT算法的比例为0，得到分类的图片并训练该新模型CNN3，得到CNN4，完成了冷启动，结束冷启动，后续即可用训练完成的CNN4进行正常分类处理。
上述例子中没有对模型的训练迭代测试等进行说明，可以采用已有的方式，在此不再赘述。第一次、第二次等仅为举例，并非对实际的实施做限制，实际上可以并行进行、或者预先设定的多次为第一轮、第二轮、第一组、……等情况，采用最简单的方式已便于理解实现过程。另外，上述例子区别是一个直接将新模型进行分类并得到分类图片对当前新模型进行训练，一个是用前一个被训练的模型进行分类再对该前一个被训练的模型得到的新模型进行训练，即与使用SIFT算法同时分类的模型稍有差异，实际并不影响最后训练完成以及模型冷启动的完成，得到需要的模型都是CNN4，进行常规的分类。
步骤S140，完全以经训练的新的图片分类模型对所述场景图片集合中未分类的图片进行图片分类。
具体例如，当最后完全是以经训练的图片分类模型来进行分类，例如100％由模型进行分类，表示训练完成，模型冷启动完成，即完成所述冷启动阶段，不再需要积累数据，而是整个训练完成，是一个更新了的经训练的模型(如本实施例中的CNN)，可以使用该模型，其他后续场景重新获得的视频的图片的分类，也可以由其单独进行，预测或获得相应分类的图片，进而提取相应分类下的图片中的各种特征信息(文本信息)。
一个例子，最终，完全使用CNN模型对场景图片进行分类，从而达到CNN模型冷启动的目的。
【实施例2】
下面结合应用到风控场景中，本发明的方法如何实现的一个例子，进行说明。通常，在风控场景里，经常需要从视频中提取特定的文本信息(比如姓名等)，供风控使用。一般这些信息在不同的风控场景里出现，即多个目标视频里不同的图片中，需要从每个视频的特定的图片里提取这些信息，即需要识别这些图片或者说对这些图片进行图片分类，确定其分类或者说类别，确定其是否为需要的图片。
从视频中获取特定图片可以通过使用图片分类模型例如CNN等对视频每一帧所获得的图片进行分类，这种方式准确率较高。但这类模型前期需要获取大量的数据进行训练，而风控场景下获得这些训练数据难度大，尤其资源和成本消耗大，效率低。为此，通过前置SIFT特征匹配即使用SIFT特征匹配算法来对CNN等这类模型冷启动，提升效率、降低获得训练数据难度、减少资源和成本的消耗。
前置SIFT特征匹配：1、可以先从目标视频里每秒选出几张图片，组成场景图片集合；2、然后，通过SIFT特征匹配，定位每个视频中匹配度最高的图片，即找到不同视频中都属于一类或者说相同分类的图片。重复该匹配的步骤2，并将分类好的图片用于CNN模型的训练，即开始冷启动，积累训练数据，即步骤2分类好的图片作为训练数据。
继续进行场景图片集合中的未分类的图片的分类，该分类同时使用了SIFT特征匹配和CNN。尤其是，逐步减少在图片分类中使用SIFT特征匹配的比例，并逐步增加在图片分类中使用CNN的比例。同时，将SIFT特征匹配和CNN分类好的图片用于新的CNN的训练。减少使用的比例例如：SIFT特征匹配方法的使用比例可以按时间间隔或频率间隔，以100％-67％-33％-0％的规则递减，而将该规则方向递增使用CNN的比例，即0％-33％-67％-100％。具体可以参考实施例1中的例1和例2，该相反的比例实际是相对，减少的比例与增加的比例正好构成100％。
当达到完全使用CNN来分类时，已经达到了CNN冷启动的目的，既获得数据训练了CNN又更新了CNN参数确定了可以直接使用的CNN来对多个风控场景下的每个视频里的图片分类，获得需要的类别的图片并提取特定的文本信息，例如姓名等。
由此，简单便捷地实现了模型如CNN的冷启动：训练数据获得和训练、进而完全使用CNN进行图片分类，减少了获得训练数据的难度。进而，高效的冷启动，减少了获得训练数据的资源和成本的消耗，提升了训练模型和执行风控场景多个视频中图片分类的效率。
【实施例3】
下面将结合图2所示根据本发明的图片分类模型冷启动的系统的一个实施例的结构框图，对本发明的实现进行进一步说明。
一个实施方式中，该系统可以包括：冷启动开始装置310，冷启动运行装置320，冷启动完成装置330。
下面结合图1所示的根据本发明技术方案的图片分类模型冷启动的方法的一个实施例的主要流程图，对本发明的图片分类模型冷启动的实现过程进行说明。该实施例中，主要通过前置SIFT特征匹配帮助CNN模型冷启动。
冷启动开始装置310，用于基于SIFT特征匹配，对图片集合中的图片进行分类。
具体例如，对目标视频中的场景图片集合，基于SIFT特征匹配进行图片分类。其中，可以在预定时间间隔中从目标视频里选取出几张图片，组成场景图片集合，再通过SIFT特征匹配算法，对所述场景图片集合中的图片进行分类，获得已分类的图片。其中，所述预定时间间隔为每秒，而所述场景可以包括风险控制场景。其中，通过SIFT特征匹配算法，对所述场景图片集合中的图片进行分类，获得已分类的图片，例如可以通过SIFT特征匹配算法定位每个视频中匹配度最高的图片，以确定图片的分类；进而，循环通过SIFT特征匹配算法确定图片的分类，以开始所述图片分类模型的冷启动阶段。
一个实施方式中，从风控场景即风险控制场景的目标图片集合中，获得匹配度最高的图片。例如，风控场景的目标视频里，可以从视频里的帧序列(实际紧邻的连续帧或相同间隔的连续帧)或时间序列(比如每秒钟)选择出几张图片，组成场景图片集合。
一个实施方式中，前置SIFT特征匹配，以定位每个视频中匹配度最高的图片。
首先，SIFT特征的生成，即从多幅图片中提取对尺度缩放、旋转、亮度变化无关的特征向量。具体如：
可以构建尺度空间，检测极值点，获得尺度不变性。具体如：搜索所有尺度上的图片位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。更具体地，基于高斯核是实现尺度变换的唯一变换核，对图片在不同尺度下提取图像特征，从而达到尺度不变性：1.建立高斯金字塔，如：先通过二维高斯滤波函数对图片进行高斯滤波等处理，再根据尺度函数来建立高斯金字塔，甚至可以在此基础上建立DOG高斯金字塔。2.检测极值点，如：为了检测到DOG空间的局部极值点，每一个采样点要和它所有的相邻点比较(例：中间的检测点需要与它同层的n个，上层和下层各n+1个像素点进行比较，以确保在尺度空间和二维图像控件都检测到极值点；如果该检测点为最大值或者最小值，则该点为图像在该尺度下的一个候选关键点)。进一步，在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度变化的连续性，可以考虑在每一组图像的顶层继续用高斯模糊生成3幅图像。
可以对特征点过滤并进行精确定位。关键点的选取要经过两步：必须去除低对比度和对噪声敏感的候选关键点；去除边缘点。具体如：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度，关键点的选择依据于它们的稳定程度。更具体地，1.去除低对比度的点，例如：可以对局部极值点进行三维二次函数拟合以精确确定特征点的位置和尺度；2.去除边缘点，其中，一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率，由曲率大小确定边缘点去除。
可以为特征点分配方向值。具体如：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向，即利用特征点邻域像素的梯度方向分布特征来定关键点的方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。
可以生成特征描述子。具体如：为了进一步描述关键点的信息，则确定关键点的邻域范围的大小很重要，可以在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。进一步，以特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，最后获得4×4×8的128维特征描述子。
然后，进行SIFT特征向量的匹配。具体如：根据相似性度量来进行，例如欧式距离和马氏距离等。以欧氏距离为例，更具体地，当两幅图片的SIFT特征向量生成以后，采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量，取第一幅图的某个关键点，通过遍历找到第二幅图中的距离最近的两个关键点；在这两个关键点中，如果最近距离除以次近距离小于某个阈值，则判定为一对匹配点。进一步，例如，可以采用优先k-d树进行优先搜索来查找每个特征点的近似最近邻特征点；在这两个特征点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点；而降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。
由此，通过SIFT特征匹配，能够定位每个视频中匹配度最高的图片，即获得匹配度最高的图片，从场景图片集合将图片进行较为准确的分类，得到已分类好的图片。通过前置的基于SIFT的特征匹配算法进行图片分类方式，获得分类后的图片，从而开始了图片分类模型的冷启动，即开始累积训练图片分类模型(例如常见的CNN、VGG等)的训练数据。
一个实施方式中，还包括循环通过SIFT特征匹配算法确定图片的分类，即循环执行：通过SIFT特征匹配，定位每个视频中匹配度最高的图片，由此循环进行图片分类，得到已经分类的图片，累积训练数据。
冷启动运行装置320，用于利用进行图片分类获得的已分类的图片，对构建的图片分类模型进行训练，以及用于继续基于SIFT特征匹配和所述图片分类模型进行图片分类并继续训练新的所述图片分类模型。
一个实施方式中，构建的图片分类模型为卷积神经网络CNN，包括但不限于诸如VGG、LeNet5、Inception等能执行图像识别、图片分类的模型。其中，每次输入图片即训练数据进行训练后可以调整/更新模型参数，作为新的或者说更新的模型。一个具体的例子中，可以利用前置SIFT特征匹配所进行图片分类后确定了分类的图片，作为冷启动积累的数据，这里可以是作为训练数据，训练图片分类模型。例如：输入这些确定了分类的图片到该CNN即输入所述已分类的图片到所述CNN，进行所述CNN的训练，进而，可以根据所述训练，更新所述CNN的参数、获得经训练的更新后的CNN。
一个实施方式中，继续基于SIFT特征匹配和所述图片分类模型进行图片分类，并继续训练新的所述图片分类模型，具体比如，以逐步减少使用基于SIFT特征匹配并逐步增加使用经训练的所述图片分类模型的方式，继续对所述场景图片集合中未分类的图片进行图片分类，并且，继续利用进行图片分类获得的已分类的图片，将训练后更新了参数的所述图片分类模型作为新的图片分类模型进行训练。
一个实施方式中，以逐步减少使用基于SIFT特征匹配并逐步增加使用经训练的所述图片分类模型的方式，继续对所述场景图片集合中未分类的图片进行图片分类，具体例如：逐步减少包括按照预设的使用比例来减少；逐步增加包括按照与预设的使用比例来减少相反的使用比例来增加；使用基于SIFT特征匹配和使用经训练的所述图片分类模型同时继续对所述场景图片集合中未分类的图片进行图片分类。
一个例子，按照预设的使用比例来减少，包括：以时间顺序按照预设的时间周期，从最开始的100％、到67％、到33％、最后0％的方式来减少；按照与预设的使用比例来减少相反的使用比例来增加则包括从最开始的0％、到33％、到67％、最后100％的方式来增加。
一个实施方式中，继续利用进行图片分类获得的已分类的图片，将训练后更新了参数的所述图片分类模型作为新的图片分类模型进行训练，具体例如：将同时继续对所述场景图片集合中未分类的图片进行图片分类所获得的已分类的图片，输入到最后一次经训练的所述图片分类模型根据训练更新了参数后而形成的新的图片分类模型中，作为训练数据继续进行模型训练；同时继续对所述场景图片集合中未分类的图片进行图片分类并训练新的所述图片分类模型阶段为运行所述冷启动阶段。
冷启动完成装置330，用于完全以经训练的新的图片分类模型对所述场景图片集合中未分类的图片进行图片分类。
具体例如，当最后完全是以经训练的图片分类模型来进行分类，例如100％由模型进行分类，表示训练完成，模型冷启动完成，即完成所述冷启动阶段，不再需要积累数据，而是整个训练完成，是一个更新了的经训练的模型(如本实施例中的CNN)，可以使用该模型，其他后续场景重新获得的视频的图片的分类，也可以由其单独进行，预测或获得相应分类的图片，进而提取相应分类下的图片中的各种特征信息(文本信息)。
一个例子，最终，完全使用CNN模型对场景图片进行分类，从而达到CNN模型冷启动的目的。
【实施例4】
具体地，还包括一种电子装置的一个实施例，其包括处理器以及存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被执行时使所述处理器执行如前述实施例1至2中涉及的本发明的方法的实施例步骤。
下面描述本发明的电子装置的一个实施例，该电子装置可以视为对于上述本发明的方法和装置实施例的实体形式的实施方式。对于本发明电子装置的该实施例中描述的细节，应视为对于上述方法或装置/系统的实施例的补充；对于在本发明电子装置的实施例中未披露的细节，可以参照上述方法或装置/系统实施例来实现。
图4是根据本发明的一种电子装置的示例性实施例的结构框图。图4显示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，该示例性实施例的电子装置200以通用数据处理设备的形式表现。电子装置200的组件可以包括但不限于：至少一个处理单元210、至少一个存储单元220、连接不同系统组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
其中，所述存储单元220存储有计算机可读程序，其可以是源程序或都只读程序的代码。所述程序可以被处理单元210执行，使得所述处理单元210执行本发明各种实施方式的步骤。例如，所述处理单元210可以执行前述实施例1至2的方法的各个步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202，还可以进一步包括只读存储单元(ROM)2203。所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204，这样的程序模块2205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子装置200也可以与一个或多个外部设备300(例如键盘、显示器、网络设备、蓝牙设备等)通信，使得用户能经由这些外部设备300与该电子装置200交互，和/或使得该电子装置200能与一个或多个其它数据处理设备(例如路由器、调制解调器等等)进行通信。这种通信可以通过输入/输出(I/O)接口250进行，还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)进行。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，电子设备200中可使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
【实施例5】
具体地，还包括一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，其中，当所述一个或多个程序被处理器执行时，实现前述实施例1至2中涉及本发明的方法的实施例步骤。
图5是本发明的一个计算机可读介质实施例的示意图。如图5所示，所述计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。当所述计算机程序被一个或多个数据处理设备执行时，使得该计算机可读介质能够实现本发明的上述方法，即：服务端提供的配置服务管理，生成与域名相关的配置文件；当请求业务服务期间出现域名故障时，客户端通过根据所述配置文件进行的配置更新以实现域名访问的自动切换。
通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的示例性实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台数据处理设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明可以执行计算机程序的方法、系统、电子装置或计算机可读介质来实现。可以在实践中使用微处理器或者数字信号处理器(DSP)等通用数据处理设备来实现本发明的一些或者全部功能。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种图片分类模型冷启动的方法，其特征在于，包括：
对目标视频中的场景图片集合，基于循环SIFT特征匹配进行图片分类以开始所述图片分类模型冷启动阶段；
利用进行图片分类获得的已分类的图片，对构建的图片分类模型进行训练；
以逐步减少使用基于SIFT特征匹配并逐步增加使用所述图片分类模型的方式，继续对所述场景图片集合中未分类的图片进行图片分类，并且，继续利用进行图片分类获得的已分类的图片，将进行训练后更新了参数的所述图片分类模型作为新的图片分类模型进行训练；
其中，所述逐步减少包括按照预设的使用比例来减少，所述逐步增加包括按照与预设的使用比例来减少相对的使用比例来增加；其中，按照预设的使用比例来减少具体包括：以时间顺序按照预设的时间周期，从最开始的100％、到67％、到33％、最后0％的方式来减少；按照与预设的使用比例来减少相对的使用比例来增加则包括从最开始的0％、到33％、到67％、最后100％的方式来增加。
2.如权利要求1所述的方法，其特征在于，对目标视频中的场景图片集合，基于循环SIFT特征匹配进行图片分类以开始所述图片分类模型冷启动阶段，具体包括：
在预定时间间隔中从目标视频里选取出若干张图片，组成场景图片集合；
通过SIFT特征匹配算法，对所述场景图片集合中的图片进行分类，获得已分类的图片。
3.如权利要求2所述的方法，其特征在于，
所述预定时间间隔为每秒；
所述场景包括风险控制场景；
通过SIFT特征匹配算法，对所述场景图片集合中的图片进行分类，获得已分类的图片，具体包括：
通过SIFT特征匹配算法定位每个视频中匹配度最高的图片，以确定图片的分类；
循环通过SIFT特征匹配算法确定图片的分类，以开始所述图片分类模型的冷启动阶段。
4.如权利要求1至3任一项所述的方法，其特征在于，
构建的图片分类模型为卷积神经网络CNN；
输入所述已分类的图片到所述CNN进行所述CNN的训练；
根据所述训练，更新所述CNN的参数获得经训练的CNN。
5.如权利要求4所述的方法，其特征在于，以逐步减少使用基于SIFT特征匹配并逐步增加使用所述图片分类模型的方式，继续对所述场景图片集合中未分类的图片进行图片分类，具体包括：使用基于SIFT特征匹配和使用所述图片分类模型同时继续对所述场景图片集合中未分类的图片进行图片分类。
6.如权利要求5所述的方法，其特征在于，继续利用进行图片分类获得的已分类的图片，将训练后更新了参数的所述图片分类模型作为新的图片分类模型进行训练，具体包括：
将同时继续对所述场景图片集合中未分类的图片进行图片分类所获得的已分类的图片，输入到前一次经训练的所述图片分类模型根据训练更新了参数后而形成的新的图片分类模型中，作为训练数据继续进行模型训练；
同时使用基于SIFT特征匹配和前一次经训练的所述图片分类模型继续对所述场景图片集合中未分类的图片进行图片分类，并训练所述图片分类模型和新的图片分类模型的阶段为运行所述冷启动阶段。
7.如权利要求1所述的方法，其特征在于，还包括：
完全以经训练的所述图片分类模型对所述场景图片集合中未分类的图片进行图片分类；
完成所述冷启动阶段。
8.一种图片分类模型冷启动的系统，其特征在于，包括：
冷启动开始装置，用于对目标视频中的场景图片集合，基于循环SIFT特征匹配进行图片分类以开始所述图片分类模型冷启动阶段；
冷启动运行装置，用于利用进行图片分类获得的已分类的图片，对构建的图片分类模型进行训练；以逐步减少使用基于SIFT特征匹配并逐步增加使用所述图片分类模型的方式，继续对所述场景图片集合中未分类的图片进行图片分类，并且，继续利用进行图片分类获得的已分类的图片，将训练后更新了参数的所述图片分类模型作为新的图片分类模型进行训练；其中，所述逐步减少包括按照预设的使用比例来减少，所述逐步增加包括按照与预设的使用比例来减少相对的使用比例来增加；其中，按照预设的使用比例来减少具体包括：以时间顺序按照预设的时间周期，从最开始的100％、到67％、到33％、最后0％的方式来减少；按照与预设的使用比例来减少相对的使用比例来增加则包括从最开始的0％、到33％、到67％、最后100％的方式来增加。
9.如权利要求8所述的系统，其特征在于，冷启动开始装置，具体包括：
在预定时间间隔中从目标视频里选取出若干张图片，组成场景图片集合；
通过SIFT特征匹配算法，对所述场景图片集合中的图片进行分类，获得已分类的图片。
10.如权利要求9所述的系统，其特征在于，
所述预定时间间隔为每秒；
所述场景包括风险控制场景；
通过SIFT特征匹配算法，对所述场景图片集合中的图片进行分类，获得已分类的图片，具体包括：
通过SIFT特征匹配算法定位每个视频中匹配度最高的图片，以确定图片的分类；
循环通过SIFT特征匹配算法确定图片的分类，以开始所述图片分类模型的冷启动阶段。
11.如权利要求9至10任一项所述的系统，其特征在于，冷启动运行装置中：
构建的图片分类模型为卷积神经网络CNN；
输入所述已分类的图片到所述CNN进行所述CNN的训练；
根据所述训练，更新所述CNN的参数获得经训练的CNN。
12.如权利要求11所述的系统，其特征在于，冷启动运行装置中：
使用基于SIFT特征匹配和使用所述图片分类模型同时继续对所述场景图片集合中未分类的图片进行图片分类。
13.一种电子装置，包括处理器以及存储计算机可执行指令的存储器，其特征在于，所述计算机可执行指令在被执行时使所述处理器执行如权利要求1至7任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，当所述一个或多个程序被处理器执行时，实现权利要求1至7任一项所述的方法。
CN202110475800.9A 2021-04-29 2021-04-29 图片分类模型冷启动的方法、系统、装置及介质 Active CN113298087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110475800.9A CN113298087B (zh) 2021-04-29 2021-04-29 图片分类模型冷启动的方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110475800.9A CN113298087B (zh) 2021-04-29 2021-04-29 图片分类模型冷启动的方法、系统、装置及介质

Publications (2)

Publication Number Publication Date
CN113298087A CN113298087A (zh) 2021-08-24
CN113298087B true CN113298087B (zh) 2022-11-18

Family

ID=77320532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110475800.9A Active CN113298087B (zh) 2021-04-29 2021-04-29 图片分类模型冷启动的方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN113298087B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657552A (zh) * 2018-11-16 2019-04-19 北京邮电大学 基于迁移学习实现跨场景冷启动的车型识别装置与方法
CN111506759A (zh) * 2020-03-04 2020-08-07 中国人民解放军战略支援部队信息工程大学 一种基于深度特征的影像匹配方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446930B (zh) * 2016-06-28 2019-11-22 沈阳工业大学 基于深层卷积神经网络的机器人工作场景识别方法
CN107609060A (zh) * 2017-08-28 2018-01-19 百度在线网络技术（北京）有限公司 资源推荐方法及装置
US10339622B1 (en) * 2018-03-02 2019-07-02 Capital One Services, Llc Systems and methods for enhancing machine vision object recognition through accumulated classifications
CN110097051A (zh) * 2019-04-04 2019-08-06 平安科技（深圳）有限公司 图像分类方法、装置及计算机可读存储介质
CN111291807B (zh) * 2020-02-03 2024-01-12 Oppo广东移动通信有限公司 一种细粒度图像分类方法、装置及存储介质
CN111966831A (zh) * 2020-08-18 2020-11-20 创新奇智(上海)科技有限公司 一种模型训练方法、文本分类方法、装置及网络模型

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657552A (zh) * 2018-11-16 2019-04-19 北京邮电大学 基于迁移学习实现跨场景冷启动的车型识别装置与方法
CN111506759A (zh) * 2020-03-04 2020-08-07 中国人民解放军战略支援部队信息工程大学 一种基于深度特征的影像匹配方法及装置

Also Published As

Publication number Publication date
CN113298087A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
Liao et al. Image inpainting guided by coherence priors of semantics and textures
RU2668717C1 (ru) Генерация разметки изображений документов для обучающей выборки
Wang et al. Salient object detection for searched web images via global saliency
Bozas et al. Large scale sketch based image retrieval using patch hashing
CN105493078B (zh) 彩色草图图像搜索
Zhao et al. Strategy for dynamic 3D depth data matching towards robust action retrieval
US9576218B2 (en) Selecting features from image data
Bui et al. Scalable sketch-based image retrieval using color gradient features
JP2013025799A (ja) 画像検索方法、システム、及びプログラム
CN107330027B (zh) 一种弱监督的深度台标检测方法
JP2006338313A (ja) 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
RU2697649C1 (ru) Способы и системы сегментации документа
US10943098B2 (en) Automated and unsupervised curation of image datasets
CN109426831B (zh) 图片相似匹配及模型训练的方法、装置及计算机设备
CN110110113A (zh) 图像搜索方法、系统及电子装置
JP2016206837A (ja) オブジェクト検出方法及び画像検索システム
Russakovsky et al. A steiner tree approach to efficient object detection
Kalaiarasi et al. Clustering of near duplicate images using bundled features
Devareddi et al. Review on content-based image retrieval models for efficient feature extraction for data analysis
US8611695B1 (en) Large scale patch search
Wang et al. Accurate saliency detection based on depth feature of 3D images
WO2024027347A1 (zh) 内容识别方法、装置、设备、存储介质及计算机程序产品
CN113298087B (zh) 图片分类模型冷启动的方法、系统、装置及介质
CN113688261B (zh) 图像数据清理方法、装置、电子设备及可读存储介质
CN115203408A (zh) 一种多模态试验数据智能标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant