CN108288208A - 基于图像内容的展示对象确定方法、装置、介质及设备 - Google Patents

基于图像内容的展示对象确定方法、装置、介质及设备 Download PDF

Info

Publication number
CN108288208A
CN108288208A CN201710685418.4A CN201710685418A CN108288208A CN 108288208 A CN108288208 A CN 108288208A CN 201710685418 A CN201710685418 A CN 201710685418A CN 108288208 A CN108288208 A CN 108288208A
Authority
CN
China
Prior art keywords
node
class
displaying
leaf node
class node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710685418.4A
Other languages
English (en)
Other versions
CN108288208B (zh
Inventor
欧彦麟
芦清林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710685418.4A priority Critical patent/CN108288208B/zh
Publication of CN108288208A publication Critical patent/CN108288208A/zh
Priority to PCT/CN2018/100009 priority patent/WO2019029714A1/zh
Priority to US16/537,885 priority patent/US11200444B2/en
Application granted granted Critical
Publication of CN108288208B publication Critical patent/CN108288208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9027—Trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供基于图像内容的展示对象确定方法、装置、介质及设备，涉及信息检索技术领域，尤其涉及如何解决现有技术中确定物体的相似物体效率低等的问题。在本申请中，通过构建搜索树，实现对展示对象的集合中的各展示对象的有序管理，以便于在为图像中的物体查找相似物体(即待推荐展示对象)时，能够更好的进行检索。此外，本申请实施例中，在检索待推荐展示对象时，优先从与图像中的物体相似度高的分类下进行检索，并非对整个展示对象集合进行遍历，故此可以减少计算量，节约处理资源。进一步的，本申请实施例中，达到指定数量时即终止检索，可以进一步有效提高检索效率。

Description

基于图像内容的展示对象确定方法、装置、介质及设备
技术领域
本申请涉及信息检索技术领域，尤其涉及基于图像内容的展示对象确定方法、装置、介质及设备。
背景技术
数字图像成为网络和智能设备向用户传递信息的一种主要方式。例如，购物时，以图像的形式展示物体以便于用户了解物体的外形。观看视频时，视频中每帧图像也包含各色的物体，其中有些物体用户可能感兴趣。为了便于用户能够了解图片中的物体及其相似物体，现有技术中通常会提取图片中的物体的特征，然后根据提取的特征，在展示对象的集合中搜索与该物体相似的展示对象推荐给用户。
通常，现有技术中在搜索展示对象时，需要根据物体的特征计算图像中的物体与展示对象的集合中每个展示对象的相似度，然后选择相似度排序前N(N为大于0的正整数)的展示对象，推荐给用户。
由此可见，现有技术中每次搜索展示对象都是循环遍历整个展示对象的集合，当展示对象的集合中展示对象数量较大时，每检索一个物体的相似物体，都要对整个展示对象的集合进行遍历，计算量巨大，耗时长且浪费处理资源。
发明内容
本申请实施例提供基于图像内容的展示对象确定方法、装置、介质及设备，确定图像中的物体的相似物体作为展示对象时，都要对整个展示对象的集合进行遍历，计算量巨大，耗时长且浪费处理资源等的问题。
本申请实施例提供的一种基于图像内容的展示对象确定方法，包括：
提取待处理图像包含的至少一个物体的特征；
针对每个物体，确定该物体的特征与预先构建的搜索树中的分类节点的特征相似度；其中，搜索树用于表征展示对象的集合、每个分类节点用于代表一类物体、每个分类节点包括至少一个叶子节点，在搜索树中分类节点和叶子节点均用于表示展示对象；
依照与该物体的特征相似度由高到低的顺序选择分类节点，计算选择的分类节点所包含的叶子节点与该物体的特征相似度，直至计算的叶子节点的数量达到指定数量为止；
依据特征相似度由大到小的顺序选择前N个分类节点和叶子节点作为待推荐展示对象，其中，N为正整数，且N小于所述指定数量。
本申请另一实施例还提供了一种基于图像内容的展示对象确定装置，包括：
特征提取模块，用于提取待处理图像包含的至少一个物体的特征；
分类节点对比模块，用于针对每个物体，确定该物体的特征与预先构建的搜索树中的分类节点的特征相似度；其中，搜索树用于表征展示对象的集合、每个分类节点用于代表一类物体、每个分类节点包括至少一个叶子节点，在搜索树中分类节点和叶子节点均用于表示展示对象；
相似度确定模块，用于依照与该物体的特征相似度由高到低的顺序选择分类节点，计算选择的分类节点所包含的叶子节点与该物体的特征相似度，直至计算的叶子节点的数量达到指定数量为止；
展示对象确定模块，用于依据特征相似度由大到小的顺序选择前N个分类节点和叶子节点作为待推荐展示对象，其中，N为正整数，且N小于所述指定数量。
本申请另一实施例还提供了一种计算设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序指令执行本申请实施例中的任一基于图像内容的展示对象确定方法。
本申请另一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，处理器加载所述计算机可执行指令时执行本申请实施例中的任一基于图像内容的展示对象确定方法。
本申请实施例中，通过构建搜索树，实现对展示对象的集合中的各展示对象的有序管理，以便于在为图像中的物体查找相似物体(即待推荐展示对象)时，能够更好的进行检索。此外，本申请实施例中，在检索待推荐展示对象时，优先从与图像中的物体相似度高的分类下进行检索，并非对整个展示对象集合进行遍历，故此可以减少计算量，节约处理资源。进一步的，本申请实施例中，达到指定数量时即终止检索，可以进一步有效提高检索效率。
附图说明
图1所示为本申请实施例提供的基于图像内容的展示对象确定方法的应用场景示意图；
图2所示为本申请实施例一提供的基于图像内容的展示对象确定方法的流程示意图；
图3所示为本申请实施例一提供的对展示对象进行分类的示意图；
图4所示为本申请实施例一提供的搜索树的结构示意图；
图5所示为本申请实施例二提供的基于图像内容的展示对象确定方法的流程示意图；
图6所示为本申请实施例三提供的基于图像内容的展示对象确定装置的结构示意图；
图7所示为本申请实施例四提供的计算设备的结构示意图。
具体实施方式
为了便于理解本申请实施例提供的技术方案，下面结合说明书附图对本申请实施例作进一步详细描述。
首先参考图1其为本申请实施例提供的基于图像内容的展示对象确定方法的应用场景示意图之一。该场景例如可以包括用户10、智能终端11和服务器12。其中，所述智能终端11中可安装有各种可显示图像的客户端，例如网页浏览器、腾讯视频、购物类应用客户端等。用户可以对智能终端11的客户端执行操作，请求智能终端11的客户端显示图像。例如，请求智能终端11中的腾讯视频播放视频。智能终端11的客户端和服务器12建立通信连接后；根据用户的请求从服务器12获取图像并显示。将显示的图像作为待处理图像，由智能终端11或服务器12执行以下操作：
提取待处理图像包含的至少一个物体的特征；
提取待处理图像包含的至少一个物体的特征；
针对每个物体，确定该物体的特征与预先构建的搜索树中的分类节点的特征相似度；其中，搜索树用于表征展示对象的集合、每个分类节点用于代表一类物体、每个分类节点包括至少一个叶子节点，在搜索树中分类节点和叶子节点均用于表示展示对象；
依照与该物体的特征相似度由高到低的顺序选择分类节点，计算选择的分类节点所包含的叶子节点与该物体的特征相似度，直至计算的叶子节点的数量达到指定数量为止；
依据特征相似度由大到小的顺序选择前N个分类节点和叶子节点作为待推荐展示对象，其中，N为正整数，且N小于所述指定数量。
当然，具体实施时，以上步骤可以一部分由智能终端11执行，一部分由服务器12执行。例如，智能终端可以提取待处理图像包含的至少一个物体的特征后，将提取的各物体的特征发送给服务器12，然后由服务器12执行后续的操作确定出待推荐展示对象。
其中，智能终端11和服务器12可通过通信网络进行通信连接，该网络可以为局域网、广域网等。智能终端11可以为手机、平板电脑、笔记本电脑、个人计算机等，服务器12可以为任何能够支持相应的基于图像内容的展示对象确定方法的设备。
为便于理解本申请实施例提供的基于图像内容的展示对象确定方法，接下来通过以下实施例对此做进一步说明。
实施例一
参照图2，为本申请实施例一提供的基于图像内容的展示对象确定方法流程图，包括以下步骤：
步骤201：提取待处理图像包含的至少一个物体的特征。
步骤202：针对每个物体，确定该物体的特征与预先构建的搜索树中的分类节点的特征相似度；其中，搜索树用于表征展示对象的集合、每个分类节点用于代表一类物体、每个分类节点包括至少一个叶子节点，在搜索树中分类节点和叶子节点均用于表示展示对象。
步骤203：依照与该物体的特征相似度由高到低的顺序选择分类节点，计算选择的分类节点所包含的叶子节点与该物体的特征相似度，直至计算的叶子节点的数量达到指定数量为止。
例如，按照与图像中的物体的特征相似度由大到小的顺序，分类节点依次为N1、N2、N3、N4。则，先从N1的叶子节点开始计算各叶子节点与物体的特征相似度，若N1的叶子节点计算完成后，计算的叶子节点的数量未达到指定数量，则继续从分类节点N2的叶子节点开始计算各叶子节点与物体的特征相似度，直至计算的叶子节点的数量达到指定数量为止。这样，只是将物体的特征优先和特征相似度最高的分类节点下的展示对象进行比对，能够很好的找到合理的待推荐展示对象。而且，并不需要将物体的特征相似度和搜索树中的所有展示对象进行比对，能够提高检索效率。
步骤204：依据特征相似度由大到小的顺序选择前N个分类节点和叶子节点作为待推荐展示对象，其中，N为正整数，且N小于所述指定数量。
由此可见，本申请实施例中，通过构建搜索树，实现对展示对象的集合中的各展示对象的有序管理，以便于在为图像中的物体查找相似物体(即待推荐展示对象)时，能够更好的进行检索。此外，本申请实施例中，在检索待推荐展示对象时，优先从与图像中的物体相似度高的分类下进行检索，并非对整个展示对象集合进行遍历，故此可以减少计算量，节约处理资源。进一步的，本申请实施例中，达到指定数量时即终止检索，可以进一步有效提高检索效率。
其中，在一个实施例中，也可以仅由叶子节点表示展示对象，则分类节点可以以标签的形式存在。例如提取的物体为衣服，则该标签可以为衣服，提取的物体为人脸，则该标签为人脸。具体实施时，可以根据以下方法构建搜索树：
步骤A1：确定各展示对象对应的标签，其中，一个标签代表一个分类。
具体实施时，展示对象对应的标签可以人工标定，当然也可以通过人工智能学习的方法，通过预先构建的基于标记的分类模型确定各展示对象属于各标签的概率，选取概率最大的标签作为该展示对象对应的标签，或选取概率大于预设概率的标签作为该展示对象的标签。当，选取概率大于预设概率的标签作为该展示对象的标签时，一个展示对象可能对应多个标签。
步骤A2：将标签作为分类节点，并将与该标签对应的展示对象作为该标签的叶子节点。
那么，具体实施时，步骤202中针对提取的每个物体，基于该物体的特征，确定该物体与预先构建的搜索树中的分类节点的特征相似度，可具体包括：
针对提取的每个物体，基于预先构建的基于标记的分类模型，确定该物体属于各标签的概率，作为该物体与各分类节点的特征相似度。
此外，具体实施时，还可以根据提取的物体的特征，以及特征与预设语义空间的转换关系，确定与该物体的特征最接近的语义，然后根据语义确定该物体对应的标签。例如，提取的物体特征最接近的语义为衣服，则确定该物体归属的标签为衣服。将物体特征与最接近的语义的距离作为该物体的特征与相应标签的特征相似度。需要说明的是，提取的物体的特征如何映射到预设语义空间可以根据现有技术确定，本申请对此不作限定。
进一步的，本申请实施例中，为了便于管理和检索展示对象，若分类节点和叶子节点均用于表示展示对象，则可以根据以下方法构建搜索树：
步骤B1：基于聚类分析方法，对展示对象集合中的展示对象进行分类，其中，将展示对象之间的特征相似度大于指定相似度的展示对象分为一类。
如图3所示，左侧椭圆区域内为分散的各个展示对象，经过聚类分析后，将各个展示对象进行聚类，聚类的结果如图3中右侧的图所示，共分为多个类别。
其中，聚类分析方法可以采用现有技术中的方法，例如直接聚类法、最短距离聚类法和最远距离聚类法。
步骤B2：对于每一类展示对象，确定该类展示对象中与聚类中心距离最近的展示对象作为用于表征该类展示对象的分类节点。
步骤B3：将该类展示对象中除分类节点之外的展示对象作为该分类节点的叶子节点。
这样，本申请实施例中，每个分类节点和叶子节点均代表一个实际的展示对象，这样在计算与物体的特征相似度时，分类节点的计算相对于对实际的展示对象的计算，每一次特征相似度的计算都是和展示对象的集合中的展示对象的一次比对，故而使得每一次特征相似度的计算都有意义。
进一步的，本申请实施例中，为了进一步确保特征相似度的计算都是与实际展示对象的比对，本申请实施例中搜索树中可以包括根节点，该根节点也是实际的展示对象。具体的，该方法还包括：
步骤C1：根据分类节点的特征，计算分类节点的聚类中心。
步骤C2：从分类节点中选取与分类节点的聚类中心距离最近的分类节点作为搜索树中的根节点；并将除根节点之外的分类节点作为根节点的子节点，并将子节点作为搜索树中的分类节点；其中，根节点、分类节点和叶子节点均表示展示对象。
这样，根节点也是实际的展示对象，具体实施时，提取待处理图像包含的物体的特征之后，所述方法还包括：计算该物体的特征与根节点的特征相似度。
由此可见，根节点参与了特征相似度的计算，在最后选择待推荐展示对象时，根节点也会考虑其中。
如图4所示，为建立的搜索树的结构示意图。图4中左侧椭圆区域内表示展示对象的集合，该集合中包括各个展示对象。图4中为搜索树的结构，其中，节点R、a、A、1、b、c、d均为展示对象。a、b、c、d在一个类别中，且a距离该类别的聚类中心最近，所以采用a表示分类节点，b、c、d为a的叶子节点。R、a、A、1在一个类别中，R距离该类别的聚类中心最近，所以采用R为根节点，其余的a、A、1为分类节点。
进一步的，具体实施时，为了能够通过迭代次数作为终止检索条件，以提高检索效率，本申请实施例中步骤203(即依照与该物体的特征相似度由高到低的顺序选择分类节点，计算选择的分类节点所包含的叶子节点与该物体的特征相似度，直至计算的叶子节点的数量达到指定数量为止)，可具体包括以下步骤：
步骤D1：将分类节点作为分类集合。
步骤D2：从分类集合中选取与物体的特征相似度最大的分类节点。
步骤D3：从选取的分类节点中选取一个叶子节点，计算该叶子节点与该物体的特征相似度，并将选取叶子节点的次数增加指定值。
具体实施时，指定值可以为1，即每计算一次特征相似度，选取叶子节点的次数增加1。
其中，选取叶子节点时，可以随机选取。进一步的，为了保证能够尽可能的检索到特征相似度高的展示对象，本申请实施例中从选取的分类节点的指定叶子节点中，选取与该分类节点的特征相似度最大的叶子节点，其中，指定叶子节点为未与该物体计算特征相似度的叶子节点。这样，在检索某分类节点下的叶子节点时，与分类节点特征相似度高的叶子节点必然理应与物体的特征相似度高。所以，能够尽可能优先检索到特征相似度高的展示对象。
步骤D4：判断选取叶子节点的是否达到指定数量。
步骤D5：若达到指定数量，则执行步骤204。
步骤D6：若未达到指定数量，则判断选取的分类节点中是否还有未与该物体计算特征相似度的叶子节点。
步骤D7：若有，则返回执行步骤D3。
步骤D8：若没有，则将选取的分类节点从分类集合中删除，并返回执行步骤D2。
这样，每次选取的分类节点都是特征相似度高的分类节点，每次选取的叶子节点也是与物体的特性相似度高的可能性最大的叶子节点。故此，在有限的对比次数内，能够尽可能的选取到特征相似度高的展示对象，那么从中选取的待推荐展示对象更加合理。
具体实施时，还可以对特征相似度划分出等级，例如根据等级与特征相似度范围的对应关系，确定出个分类节点的等级，其中特征相似度与等级是正相关关系。那么具体实施时，可以优先从等级高的特征相似度的分类节点开始，计算该分类节点与物体的特征相似度。
当然，具体实施时，还可以先选取特征相似度大于指定相似度的分类节点中，然后从选择的分类节点中，按照特征相似度由大到小的顺序，计算各分类节点所包含的叶子节点与物体的特征相似度。
下面，为了便于进一步理解本申请实施例提供的基于图像内容的展示对象确定方法，下面以检索相似人脸为例，通过实施例二对此做进一步说明。
实施例二
如图5所示，以检索与视频中相似的人脸为例，对本申请实施例提供的方法做进一步说明，包括以下步骤：
步骤501：将播放视频中当前显示的一帧图像作为待处理图像，提取待处理图像包含的至少一张人脸的特征。
当然，具体实施时，也可以将当前显示的一帧图像之后的指定帧的图像作为待处理图像，以弥补检索时间长，导致当前显示的一帧图像播放完毕才显示其相似人脸的情况。具体实施时，可以根据实际需求确定，本申请对此不作限定。
步骤502：针对提取的每张人脸，基于该人脸的特征，计算该人脸的特征与预先构建的人脸搜索树中的根节点的特征相似度。
其中，人脸搜索树的构建方法同实施例一中步骤B1-步骤B3，以及步骤C1-步骤C2下的构建方法，这里不再赘述。需要说明的是，人脸搜索树中的根节点也同样为展示对象的集合中的人脸。
步骤503：确定该人脸的特征与人脸搜索树中的分类节点的特征相似度。
步骤504：将分类节点作为分类集合。
步骤505：从分类集合中选取与该人脸的特征相似度最大的分类节点。
步骤506：从选取的分类节点的指定叶子节点中，选取与该分类节点的特征相似度最大的叶子节点，其中，指定叶子节点为未与该人脸计算特征相似度的叶子节点。
步骤507：计算选取的叶子节点与该人脸的特征相似度，并将选取叶子节点的次数增加1。
步骤508：判断选取叶子节点的是否达到指定数量，若否，则执行步骤509，若是，则执行步骤511。
步骤509：判断选取的分类节点中是否还有未与该人脸计算特征相似度的叶子节点，若有，执行步骤506，若没有，执行步骤510。
步骤510：将选取的分类节点从分类集合中删除，并返回执行步骤505。
步骤511：从计算了特征相似度的根节点、分类节点和叶子节点中，依据特征相似度由大到小的顺序选择前N个节点作为待推荐人脸。
其中，若根节点和某个分类节点与该人脸的特征相似度排序在前N，则选取的N个节点中包括根节点和该某个分类节点。
本申请实施例中，基于视频，为视频中的人脸选取相似的人脸，推荐给用户。后续用户可以选择感兴趣的相似人脸，来了解该演员的简历。
当然，具体实施时，提取的物体还可以是商品，这样，通过视频可以为用户推荐相似的商品，在用户需要时可以通过推荐的商品满足用户的购物需求，而无需用户自己去搜索视频中的商品。
此外，具体实施时，搜索树中可以包括一个大类的展示对象，例如展示对象均为衣服，也可以包括多个大类的展示对象，例如即包括衣服也包括鞋子。具体实施时，可以根据实际需求根据本申请实施例提供的方法构建搜索树。例如，可以构建多个搜索树，一个搜索树表示衣服，另一个搜索树表示鞋子。具体实施时，可以根据搜索树的根节点确定后续检索是在哪个搜索树下进行。例如衣服与鞋子搜索树的根节点的相似度很低，而和衣服搜索树的相似度高，所以后续确定待推荐展示对象时，优先在衣服搜索树下基于深度优先的搜索方法检索待推荐展示对象。
实施例三
基于相同的发明构思，本申请实施例还提供一种基于图像内容的展示对象确定装置，该装置的原理和有益效果与上述方法实施例中所述内容相似，在此不再赘述。
如图6所示，为该装置的结构示意图，包括：
特征提取模块601，用于提取待处理图像包含的至少一个物体的特征；
分类节点对比模块602，用于针对每个物体，确定该物体的特征与预先构建的搜索树中的分类节点的特征相似度；其中，搜索树用于表征展示对象的集合、每个分类节点用于代表一类物体、每个分类节点包括至少一个叶子节点，在搜索树中分类节点和叶子节点均用于表示展示对象；
相似度确定模块603，用于依照与该物体的特征相似度由高到低的顺序选择分类节点，计算选择的分类节点所包含的叶子节点与该物体的特征相似度，直至计算的叶子节点的数量达到指定数量为止；
展示对象确定模块604，用于依据特征相似度由大到小的顺序选择前N个分类节点和叶子节点作为待推荐展示对象，其中，N为正整数，且N小于所述指定数量。
进一步的，所述装置还包括：
搜索树构建模块，用于若分类节点和叶子节点均用于表示展示对象，则根据以下方法构建搜索树：
基于聚类分析方法，对展示对象集合中的展示对象进行分类，其中，将展示对象之间的特征相似度大于指定相似度的展示对象分为一类；
对于每一类展示对象，确定该类展示对象中与聚类中心距离最近的展示对象作为用于表征该类展示对象的分类节点；并，
将该类展示对象中除分类节点之外的展示对象作为该分类节点的叶子节点。
进一步的，相似度确定模块，具体包括：
分类集合确定单元，用于将分类节点作为分类集合；
分类节点选取单元，用于从分类集合中选取与物体的特征相似度最大的分类节点；
叶子节点选取单元，用于从选取的分类节点中选取一个叶子节点，计算该叶子节点与该物体的特征相似度，并将选取叶子节点的次数增加指定值；
迭代判断单元，用于判断选取叶子节点的次数是否达到指定数量；
第一触发单元，用于若迭代判断单元的判断结果为达到指定数量，则触发展示对象确定模块执行依据特征相似度由大到小的顺序选择前N个分类节点和叶子节点作为待推荐展示对象；
叶子节点判断单元，用于若迭代判断单元的判断结果为未达到指定数量，则判断选取的分类节点中是否还有未与该物体计算特征相似度的叶子节点；
第三触发单元，用于若叶子节点判断单元的判断结果为有，则触发叶子节点选取单元执行从选取的分类节点中选取一个叶子节点，计算该叶子节点与该物体的特征相似度，并将选取叶子节点的次数增加指定值；
第三触发单元，用于若叶子节点判断单元的判断结果为没有，则将选取的分类节点从分类集合中删除，并触发分类节点选取单元执行从分类集合中选取与物体的特征相似度最大的分类节点。
进一步的，叶子节点选取单元具体用于从选取的分类节点的指定叶子节点中，选取与该分类节点的特征相似度最大的叶子节点，其中，指定叶子节点为未与该物体计算特征相似度的叶子节点。
进一步的，所述装置还包括：
分类中心确定模块，用于根据分类节点的特征，计算分类节点的聚类中心；
根节点确定模块，用于从分类节点中选取与分类节点的聚类中心距离最近的分类节点作为搜索树中的根节点；并将除根节点之外的分类节点作为根节点的子节点，并将子节点作为搜索树中的分类节点；其中，根节点、分类节点和叶子节点均表示展示对象；
所述装置还包括：
根节点相似度确定模块，用于在特征提取模块提取待处理图像包含的物体的特征之后，计算该物体的特征与根节点的特征相似度。
实施例四
本申请实施例四还提供了一种计算设备，该计算设备具体可以为智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。如图7所示，该计算设备可以包括中央处理器(Center Processing Unit，CPU)701、存储器702、输入设备703，输出设备704等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储基于图像内容的展示对象确定方法的程序指令。处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行：提取待处理图像包含的至少一个物体的特征；
针对每个物体，确定该物体的特征与预先构建的搜索树中的分类节点的特征相似度；其中，搜索树用于表征展示对象的集合、每个分类节点用于代表一类物体、每个分类节点包括至少一个叶子节点，在搜索树中分类节点和叶子节点均用于表示展示对象；
依照与该物体的特征相似度由高到低的顺序选择分类节点，计算选择的分类节点所包含的叶子节点与该物体的特征相似度，直至计算的叶子节点的数量达到指定数量为止；
依据特征相似度由大到小的顺序选择前N个分类节点和叶子节点作为待推荐展示对象，其中，N为正整数，且N小于所述指定数量。
实施例五
本申请实施例五提供了一种计算机可读存储介质，用于储存为处理器所用的计算机程序指令，其包含用于执行上述基于图像内容的展示对象确定方法的程序。
所述计算机可读存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种基于图像内容的展示对象确定方法，其特征在于，所述方法包括：
提取待处理图像包含的至少一个物体的特征；
针对每个物体，确定该物体的特征与预先构建的搜索树中的分类节点的特征相似度；其中，搜索树用于表征展示对象的集合、每个分类节点用于代表一类物体、每个分类节点包括至少一个叶子节点，在搜索树中分类节点和叶子节点均用于表示展示对象；
依照与该物体的特征相似度由高到低的顺序选择分类节点，计算选择的分类节点所包含的叶子节点与该物体的特征相似度，直至计算的叶子节点的数量达到指定数量为止；
依据特征相似度由大到小的顺序选择前N个分类节点和叶子节点作为待推荐展示对象，其中，N为正整数，且N小于所述指定数量。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据以下方法构建搜索树：
基于聚类分析方法，对展示对象集合中的展示对象进行分类，其中，将展示对象之间的特征相似度大于指定相似度的展示对象分为一类；
对于每一类展示对象，确定该类展示对象中与聚类中心距离最近的展示对象作为用于表征该类展示对象的分类节点；并，
将该类展示对象中除分类节点之外的展示对象作为该分类节点的叶子节点。
3.根据权利要求2所述的方法，其特征在于，依照与该物体的特征相似度由高到低的顺序选择分类节点，计算选择的分类节点所包含的叶子节点与该物体的特征相似度，直至计算的叶子节点的数量达到指定数量为止，具体包括：
将分类节点作为分类集合；
从分类集合中选取与物体的特征相似度最大的分类节点；
从选取的分类节点中选取一个叶子节点，计算该叶子节点与该物体的特征相似度，并将选取叶子节点的次数增加指定值；
判断选取叶子节点的次数是否达到指定数量；
若达到指定数量，则执行从计算了特征相似度的用于表示展示对象的节点中，依据特征相似度由大到小的顺序选择前预设数量的节点作为待推荐展示对象的操作；
若未达到指定数量，则判断选取的分类节点中是否还有未与该物体计算特征相似度的叶子节点；
若有，则返回执行从选取的分类节点中选取一个叶子节点，计算该叶子节点与该物体的特征相似度，并将选取叶子节点的次数增加指定值的操作；
若没有，则将选取的分类节点从分类集合中删除，并返回执行从分类集合中选取与物体的特征相似度最大的分类节点的步骤。
4.根据权利要求3所述的方法，其特征在于，从选取的分类节点中选取一个叶子节点，具体包括：
从选取的分类节点的指定叶子节点中，选取与该分类节点的特征相似度最大的叶子节点，其中，指定叶子节点为未与该物体计算特征相似度的叶子节点。
5.根据权利要求2-4中任一所述的方法，其特征在于，所述方法还包括：
根据分类节点的特征，计算分类节点的聚类中心；
从分类节点中选取与分类节点的聚类中心距离最近的分类节点作为搜索树中的根节点；并将除根节点之外的分类节点作为根节点的子节点，并将子节点作为搜索树中的分类节点；其中，根节点、分类节点和叶子节点均表示展示对象；
提取待处理图像包含的物体的特征之后，所述方法还包括：
计算该物体的特征与根节点的特征相似度。
6.一种基于图像内容的展示对象确定装置，其特征在于，所述装置包括：
特征提取模块，用于提取待处理图像包含的至少一个物体的特征；
分类节点对比模块，用于针对每个物体，确定该物体的特征与预先构建的搜索树中的分类节点的特征相似度；其中，搜索树用于表征展示对象的集合、每个分类节点用于代表一类物体、每个分类节点包括至少一个叶子节点，在搜索树中分类节点和叶子节点均用于表示展示对象；
相似度确定模块，用于依照与该物体的特征相似度由高到低的顺序选择分类节点，计算选择的分类节点所包含的叶子节点与该物体的特征相似度，直至计算的叶子节点的数量达到指定数量为止；
展示对象确定模块，用于依据特征相似度由大到小的顺序选择前N个分类节点和叶子节点作为待推荐展示对象，其中，N为正整数，且N小于所述指定数量。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
搜索树构建模块，用于根据以下方法构建搜索树：
基于聚类分析方法，对展示对象集合中的展示对象进行分类，其中，将展示对象之间的特征相似度大于指定相似度的展示对象分为一类；
对于每一类展示对象，确定该类展示对象中与聚类中心距离最近的展示对象作为用于表征该类展示对象的分类节点；并，
将该类展示对象中除分类节点之外的展示对象作为该分类节点的叶子节点。
8.根据权利要求7所述的装置，其特征在于，相似度确定模块，具体包括：
分类集合确定单元，用于将分类节点作为分类集合；
分类节点选取单元，用于从分类集合中选取与物体的特征相似度最大的分类节点；
叶子节点选取单元，用于从选取的分类节点中选取一个叶子节点，计算该叶子节点与该物体的特征相似度，并将选取叶子节点的次数增加指定值；
迭代判断单元，用于判断选取叶子节点的次数是否达到指定数量；
第一触发单元，用于若迭代判断单元的判断结果为达到指定数量，则触发展示对象确定模块执行依据特征相似度由大到小的顺序选择前N个分类节点和叶子节点作为待推荐展示对象；
叶子节点判断单元，用于若迭代判断单元的判断结果为未达到指定数量，则判断选取的分类节点中是否还有未与该物体计算特征相似度的叶子节点；
第三触发单元，用于若叶子节点判断单元的判断结果为有，则触发叶子节点选取单元执行从选取的分类节点中选取一个叶子节点，计算该叶子节点与该物体的特征相似度，并将选取叶子节点的次数增加指定值；
第三触发单元，用于若叶子节点判断单元的判断结果为没有，则将选取的分类节点从分类集合中删除，并触发分类节点选取单元执行从分类集合中选取与物体的特征相似度最大的分类节点。
9.根据权利要求8所述的装置，其特征在于，叶子节点选取单元具体用于从选取的分类节点的指定叶子节点中，选取与该分类节点的特征相似度最大的叶子节点，其中，指定叶子节点为未与该物体计算特征相似度的叶子节点。
10.根据权利要求7-9中任一所述的装置，其特征在于，所述装置还包括：
分类中心确定模块，用于根据分类节点的特征，计算分类节点的聚类中心；
根节点确定模块，用于从分类节点中选取与分类节点的聚类中心距离最近的分类节点作为搜索树中的根节点；并将除根节点之外的分类节点作为根节点的子节点，并将子节点作为搜索树中的分类节点；其中，根节点、分类节点和叶子节点均表示展示对象；
所述装置还包括：
根节点相似度确定模块，用于在特征提取模块提取待处理图像包含的物体的特征之后，计算该物体的特征与根节点的特征相似度。
11.一种计算设备，其特征在于，包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如权利要求1～5任一所述的基于图像内容的展示对象确定方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，处理器加载所述计算机可执行指令时执行如权利要求1～5任一所述的基于图像内容的展示对象确定方法。
CN201710685418.4A 2017-08-11 2017-08-11 基于图像内容的展示对象确定方法、装置、介质及设备 Active CN108288208B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710685418.4A CN108288208B (zh) 2017-08-11 2017-08-11 基于图像内容的展示对象确定方法、装置、介质及设备
PCT/CN2018/100009 WO2019029714A1 (zh) 2017-08-11 2018-08-10 基于图像内容的展示对象确定方法、装置、介质及设备
US16/537,885 US11200444B2 (en) 2017-08-11 2019-08-12 Presentation object determining method and apparatus based on image content, medium, and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710685418.4A CN108288208B (zh) 2017-08-11 2017-08-11 基于图像内容的展示对象确定方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN108288208A true CN108288208A (zh) 2018-07-17
CN108288208B CN108288208B (zh) 2020-08-28

Family

ID=62831602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710685418.4A Active CN108288208B (zh) 2017-08-11 2017-08-11 基于图像内容的展示对象确定方法、装置、介质及设备

Country Status (3)

Country Link
US (1) US11200444B2 (zh)
CN (1) CN108288208B (zh)
WO (1) WO2019029714A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002537A (zh) * 2018-07-19 2018-12-14 南昌工程学院 一种基于深度学习的信息处理系统和方法
CN109190680A (zh) * 2018-08-11 2019-01-11 复旦大学 基于深度学习的医疗药品图像的检测与分类方法
WO2019029714A1 (zh) * 2017-08-11 2019-02-14 腾讯科技（深圳）有限公司 基于图像内容的展示对象确定方法、装置、介质及设备
CN109840129A (zh) * 2019-01-30 2019-06-04 维沃移动通信有限公司 一种显示控制方法及电子设备
CN110458292A (zh) * 2019-07-04 2019-11-15 西安工程大学 一种基于专家知识的服装推荐方法
CN111126102A (zh) * 2018-10-30 2020-05-08 富士通株式会社 人员搜索方法、装置及图像处理设备
WO2021190433A1 (zh) * 2020-03-24 2021-09-30 华为技术有限公司 更新物体识别模型的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090076862A1 (en) * 2007-09-17 2009-03-19 Amadeus S.A.S. Automated split ticketing
CN102057371A (zh) * 2008-06-06 2011-05-11 汤姆逊许可证公司 用于图像的类似性搜索的系统和方法
CN104239566A (zh) * 2014-09-28 2014-12-24 小米科技有限责任公司 视频搜索的方法及装置
CN105468781A (zh) * 2015-12-21 2016-04-06 小米科技有限责任公司 视频查询方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402508A (zh) * 2010-09-07 2012-04-04 华东师范大学 一种近似图像检索装置及检索方法
JP5596628B2 (ja) 2011-06-17 2014-09-24 トヨタ自動車株式会社 物体識別装置
US9424648B2 (en) * 2011-07-07 2016-08-23 Siemens Aktiengesellschaft Method and system for device detection in 2D medical images
CN103324949B (zh) * 2012-03-21 2016-09-28 阿里巴巴集团控股有限公司 从图像中识别物体的方法和装置
CN103559504B (zh) * 2013-11-04 2016-08-31 北京京东尚科信息技术有限公司 图像目标类别识别方法及装置
CN106354735A (zh) * 2015-07-22 2017-01-25 杭州海康威视数字技术股份有限公司 一种图像中目标的检索方法和装置
US10540683B2 (en) * 2017-04-24 2020-01-21 Microsoft Technology Licensing, Llc Machine-learned recommender system for performance optimization of network-transferred electronic content items
CN108288208B (zh) * 2017-08-11 2020-08-28 腾讯科技（深圳）有限公司 基于图像内容的展示对象确定方法、装置、介质及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090076862A1 (en) * 2007-09-17 2009-03-19 Amadeus S.A.S. Automated split ticketing
CN102057371A (zh) * 2008-06-06 2011-05-11 汤姆逊许可证公司 用于图像的类似性搜索的系统和方法
CN104239566A (zh) * 2014-09-28 2014-12-24 小米科技有限责任公司 视频搜索的方法及装置
CN105468781A (zh) * 2015-12-21 2016-04-06 小米科技有限责任公司 视频查询方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019029714A1 (zh) * 2017-08-11 2019-02-14 腾讯科技（深圳）有限公司 基于图像内容的展示对象确定方法、装置、介质及设备
US11200444B2 (en) 2017-08-11 2021-12-14 Tencent Technology (Shenzhen) Company Limited Presentation object determining method and apparatus based on image content, medium, and device
CN109002537A (zh) * 2018-07-19 2018-12-14 南昌工程学院 一种基于深度学习的信息处理系统和方法
CN109002537B (zh) * 2018-07-19 2021-05-14 南昌工程学院 一种基于深度学习的信息处理系统和方法
CN109190680A (zh) * 2018-08-11 2019-01-11 复旦大学 基于深度学习的医疗药品图像的检测与分类方法
CN111126102A (zh) * 2018-10-30 2020-05-08 富士通株式会社 人员搜索方法、装置及图像处理设备
CN109840129A (zh) * 2019-01-30 2019-06-04 维沃移动通信有限公司 一种显示控制方法及电子设备
CN110458292A (zh) * 2019-07-04 2019-11-15 西安工程大学 一种基于专家知识的服装推荐方法
WO2021190433A1 (zh) * 2020-03-24 2021-09-30 华为技术有限公司 更新物体识别模型的方法和装置

Also Published As

Publication number Publication date
CN108288208B (zh) 2020-08-28
WO2019029714A1 (zh) 2019-02-14
US11200444B2 (en) 2021-12-14
US20190385012A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
CN108288208A (zh) 基于图像内容的展示对象确定方法、装置、介质及设备
CN107436875B (zh) 文本分类方法及装置
CN110909182B (zh) 多媒体资源搜索方法、装置、计算机设备及存储介质
US9460117B2 (en) Image searching
WO2022252363A1 (zh) 数据处理方法、计算机设备以及可读存储介质
CN113157947A (zh) 知识图谱的构建方法、工具、装置和服务器
WO2019072098A1 (zh) 一种识别核心产品词的方法和系统
CN112818230B (zh) 内容推荐方法、装置、电子设备和存储介质
CN107480205A (zh) 一种进行数据分区的方法和装置
CN103309869A (zh) 数据对象的展示关键词推荐方法及系统
CN111310032A (zh) 资源推荐方法、装置、计算机设备及可读存储介质
CN110264277A (zh) 由计算设备执行的数据处理方法及装置、介质和计算设备
US20130151519A1 (en) Ranking Programs in a Marketplace System
US20170286522A1 (en) Data file grouping analysis
CN106649380A (zh) 一种基于标签的热点推荐方法及系统
CN113657087A (zh) 信息的匹配方法及装置
CN110532448B (zh) 基于神经网络的文档分类方法、装置、设备及存储介质
CN116823410A (zh) 数据处理方法、对象处理方法、推荐方法及计算设备
CN111160699A (zh) 一种专家推荐方法及系统
CN115080824A (zh) 目标词的挖掘方法、装置、电子设备及存储介质
CN106067139A (zh) 一种构建特征数据库的方法、系统和装置
CN113743973A (zh) 分析市场热点趋势的方法和装置
CN113744011A (zh) 物品搭配方法和物品搭配装置
CN110334067A (zh) 一种稀疏矩阵压缩方法、装置、设备及存储介质
CN116738081B (zh) 一种前端组件绑定方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant