CN104021138A - 图像检索方法及图像检索装置 - Google Patents
图像检索方法及图像检索装置 Download PDFInfo
- Publication number
- CN104021138A CN104021138A CN201410164482.4A CN201410164482A CN104021138A CN 104021138 A CN104021138 A CN 104021138A CN 201410164482 A CN201410164482 A CN 201410164482A CN 104021138 A CN104021138 A CN 104021138A
- Authority
- CN
- China
- Prior art keywords
- stay
- retrieved
- image
- place form
- destination object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
Abstract
本发明实施例公开了一种图像检索方法及图像检索装置，涉及图像检索技术领域。所述方法包括：根据目标对象确定至少一个结构模板，所述结构模板中包括所述目标对象各组成部分的属性及所述各组成部分的结构关系；根据所述目标对象调整所述至少一个结构模板；根据调整后的所述至少一个结构模板确定待检索特征。本发明实施例的方法及装置通过包括目标对象的各组成部分的属性及所述各组成部分的结构关系的至少一个结构模板的使用，能够实现准确性较高的图像检索。
Description
技术领域
本申请涉及图像检索领域，尤其涉及一种图像检索方法及图像检索装置。
背景技术
在个人消费的电子商务中，用户经常需要用图像来更准确地表达自己的搜索意图。然而，因为语义鸿沟的存在，基于内容的图像检索的准确性和方法推广性都不高，尤其对于可变形、结构复杂的对象(如服装)，检索的效果十分有限，检索结果的准确性较低。
发明内容
本申请的目的是：提供一种图像检索方法及图像检索装置，能够提高图像检索的准确性。
第一方面，本发明实施例提供了一种图像检索方法，包括：
根据目标对象确定至少一个结构模板，所述结构模板中包括所述目标对象各组成部分的属性及所述各组成部分的结构关系；
根据所述目标对象调整所述至少一个结构模板；
根据调整后的所述至少一个结构模板确定待检索特征。
结合第一方面，在第一种可能的实现方式中，所述根据目标对象确定至少一个结构模板包括：
根据所述目标对象获取所述目标对象的各组成部分各自的子模板，所述子模板中包括对应的组成部分的属性；
用所获取的所述各组成部分各自的子模板构建所述至少一个结构模板；
根据所获取的所述各组成部分各自的子模板的属性及所述各组成部分的相对位置和/或用户指令确定所述结构关系。
结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述根据所述目标对象调整所述至少一个结构模板中：
调整所述至少一个结构模板，使调整后的所述至少一个结构模板与所述目标对象至少一部分相关。
结合第一方面的第二种可能的实现方式中，在第三种可能的实现方式中，，所述根据所述目标对象调整所述至少一个结构模板中：
调整所述至少一个结构模板，使调整后的所述至少一个结构模板的轮廓在所述目标对象的图像上与所述目标对象的轮廓匹配。
结合第一方面的第三种可能的实现方式中，在第四种可能的实现方式中，所述调整包括以下中的至少一种：翻转、缩放、旋转、平移、变形。
结合第一方面的第四种可能的实现方式中，在第五种可能的实现方式中，所述调整还包括：去除所述各组成部分中的至少一个。
结合第一方面的第二至第五种可能的实现方式中，在第六种可能的实现方式中，所述根据所述目标对象调整所述至少一个结构模板中：
根据用户指令调整所述至少一个结构模板。
结合第一方面或第一方面的上述任一种可能的实现方式中，在第七种可能的实现方式中，所述待检索特征包括第一特征以及第二特征；
所述第一特征为所述目标对象各组成部分的属性及所述各组成部分的结构关系；
所述第二特征为调整后的所述至少一个结构模板上选定区域内所述目标对象对应部分的图像特征。
结合第一方面的第七种可能的实现方式中，在第八种可能的实现方式中，所述根据调整后的所述至少一个结构模板确定待检索特征包括：
确定所述选定区域；
获取所述选定区域内所述目标对象对应部分的图像特征。
结合第一方面或第一方面的上述任一种可能的实现方式中，在第九种可能的实现方式中，所述方法还包括：
根据所述待检索特征确定检索策略。
结合第一方面的第九种可能的实现方式中，在第十种可能的实现方式中，所述检索策略包括：所述待检索特征的组合方式。
结合第一方面的第十种可能的实现方式中，在第十一种可能的实现方式中，所述根据目标对象的类别确定至少一个结构模板中：
根据目标对象确定至少两个结构模板；
所述检索策略还包括：所述至少两个结构模板的组合方式。
结合第一方面的第九至十一种可能的实现方式中，在第十二种可能的实现方式中，所述方法还包括：
发送所述待检索特征以及所述检索策略。
结合第一方面或第一方面的上述任一种可能的实现方式中，在第十三种可能的实现方式中，所述方法还包括：
根据所述待检索特征构建图像数据库。
结合第一方面或第一方面的上述任一种可能的实现方式中，在第十四种可能的实现方式中，所述结构关系包括以下中的至少一项：连接关系、相对位置关系、比例关系。
结合第一方面或第一方面的上述任一种可能的实现方式中，在第十五种可能的实现方式中，所述属性包括以下中的至少一项：几何特征、拓扑特征。
第二方面，本发明实施例提供了一种图像检索方法，所述方法包括：
获取待检索图像及与所述待检索图像相关的至少一个结构模板，所述结构模板中包括所述待检索图像上的目标对象各组成部分的属性及所述各组成部分的结构关系；
根据所述至少一个结构模板确定待检索特征；
根据所述待检索特征检索所述待检索图像。
结合第二方面，在第一种可能的实现方式中，所述获取待检索图像及与所述待检索图像相关的至少一个结构模板为：
接收待检索图像及与所述待检索图像相关的至少一个结构模板。
结合第二方面或第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述待检索特征包括第一特征及第二特征；
所述第一特征为所述目标对象各组成部分的属性及所述各组成部分的结构关系；
所述第二特征为所述至少一个结构模板上选定区域内的所述目标对象对应部分的图像特征。
结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，根据所述至少一个结构模板确定待检索特征包括：
获取所述选定区域内的所述目标对象对应部分的图像特征。
结合第二方面或第二方面的上述任一种可能的实现方式，在第四种可能的实现方式中，所述方法还包括：
根据所述待检索特征将所述待检索图像添加到图像数据库。
结合第二方面或第二方面的上述任一种可能的实现方式，在第五种可能的实现方式中，所述结构关系包括以下中的至少一项：连接关系、相对位置关系、比例关系、连接方式。
结合第二方面或第二方面的上述任一种可能的实现方式，在第六种可能的实现方式中，所述属性包括以下中的至少一项：几何特征、拓扑特征。
第三方面，本发明实施例提供了一种图像检索装置，所述装置包括：
一第一确定模块，用于根据目标对象确定至少一个结构模板，所述结构模板中包括所述目标对象各组成部分的属性及所述各组成部 分的结构关系；
一调整模块，用于根据所述目标对象调整所述至少一个结构模板；
一第二确定模块，用于根据调整后的所述至少一个结构模板确定待检索特征。
结合第三方面，在第一种可能的实现方式中，所述第一确定模块包括：
一第一获取单元，用于根据所述目标对象获取所述目标对象的各组成部分各自的子模板，所述子模板中包括对应的组成部分的属性；
一构建单元，用于用所获取的所述各组成部分各自的子模板构建所述至少一个结构模板；
一第一确定单元，用于根据所获取的所述各组成部分各自的子模板的属性及所述各组成部分的相对位置和/或用户指令确定所述结构关系。
结合第三方面或第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述调整模块调整所述至少一个结构模板，使调整后的所述至少一个结构模板与所述目标对象至少一部分相关。
结合第三方面的第二种可能的实现方式，在第三种可能的实现方式中，，所述调整模块调整所述至少一个结构模板，使调整后的所述至少一个结构模板的轮廓在所述目标对象的图像上与所述目标对象的轮廓匹配。
结合第三方面的第二或第三种可能的实现方式，在第四种可能的实现方式中，，所述调整模块根据用户指令调整所述至少一个结构模板。
结合第三方面的第四种可能的实现方式，在第五种可能的实现方式中，所述调整模块还包括：
一去除单元，用于去除所述各组成部分中的至少一个。
结合第三方面或第三方面的上述任一种可能的实现方式，在第六 种可能的实现方式中，所述第二确定模块包括：
一第二确定单元，用于确定所述选定区域；
一第二获取单元，用于获取所述选定区域内所述目标对象对应部分的图像特征。
结合第三方面或第三方面的上述任一种可能的实现方式，在第七种可能的实现方式中，所述装置还包括：
一第三确定模块，用于根据所述待检索特征确定检索策略。
结合第三方面的第七种可能的实现方式，在第八种可能的实现方式中，所述装置还包括：
一发送模块，用于发送所述待检索特征以及所述检索策略。
结合第三方面或第三方面的上述任一种可能的实现方式，在第九种可能的实现方式中，所述装置还包括：
一第一维护模块，用于根据所述待检索特征构建图像数据库。
第四方面，本发明实施例提供了一种图像检索装置，所述装置包括：
一获取模块，用于获取待检索图像及与所述待检索图像相关的至少一个结构模板，所述结构模板中包括目标对象各组成部分的属性及所述各组成部分的结构关系；
一第四确定模块，用于根据所述至少一个结构模板确定待检索特征；
一检索模块，用于根据所述待检索特征检索所述待检索图像。
结合第四方面，在第一种可能的实现方式中，所述获取模块接收待检索图像及与所述待检索图像相关的至少一个结构模板。
结合第四方面或第四方面的第一种可能的实现方式，在第二种可能的实现方式中，所述第四确定模块包括：
一第二获取单元，用于获取所述选定区域内的所述目标对象对应部分的图像特征。
结合第四方面或第四方面的上述任一种可能的实现方式，在第三种可能的实现方式中，所述装置还包括：
一第二维护模块，用于根据所述待检索特征将所述待检索图像添加到图像数据库
本发明实施例的方法及装置通过包括目标对象的各组成部分的属性及所述各组成部分的结构关系的至少一个结构模板的使用，能够实现准确性较高的图像检索。
附图说明
图1为本发明第一种实施例的图像检索方法的流程图；
图2(a)本发明各实施例中可使用的一种示例性的衣服类通用结构模板的示意图；
图2(b)本发明实施例的图像检索方法中一种示例性的待检索图像的示意图；
图2(c)-图2(d)为使用本发明第一种实施例的方法进行结构模板与目标对象匹配的应用示意图；
图2(e)为本发明各实施例中可使用的一种示例性的两个结构模板组合的示意图；
图3为本方面第二种实施例的图像检索方法的流程图；
图4为本发明第三种实施例的图像检索装置的结构示意图；
图5为本发明第三种实施例的图像检索装置中的第一确定模块的一种示例的结构示意图；
图6为本发明第三种实施例的图像检索装置中的第二确定模块的一种示例的结构示意图；
图7为本发明第三种实施例的图像检索装置中的调整模块的一种示例的结构示意图
图8为本发明第三种实施例的图像检索装置的又一种可能的实现方式的结构示意图；
图9为本发明第三种实施例的图像检索装置的再一种可能的实现方式的结构示意图；
图10为本发明第四种实施例的图像检索装置的结构示意图；
图11为本发明第四种实施例的图像检索装置的又一种可能的实现方式的结构示意图；
图12为本发明第四种实施例的图像检索装置中的第四确定模块的一种示例的结构示意图
图13为本发明第四种实施例的图像检索装置的又一种可能的实现方式的结构示意图；
图14为本发明第五种实施例的图像检索装置的结构示意图；
图15为本发明第五种实施例的图像检索装置的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。
本领域技术人员可以理解，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
本发明第一种实施例的图像检索方法可运行于具有图像显示功能的任意设备上，例如，客户端设备或服务端设备，包括但不限于：手机、笔记本电脑、便携式电脑、服务器电脑等等。
如图1所示，本发明第一种实施例的图像检索方法包括：
S110.根据目标对象确定至少一个结构模板，所述结构模板中包括所述目标对象各组成部分的属性及所述各组成部分的结构关系。
在本发明各实施例的方法中，目标对象可为待检索图像上的任意对象，例如，衣物、鞋、饰品、箱包等，尤其为像衣物这样的可形变、结构较复杂的对象。各组成部分可为按照目标对象自然属性所划分的 各部分，例如，按照衣服的自然属性，衣服的组成部分可包括：领子、袖子、躯干等部分；按照箱包的自然属性，各组成部分可包括包带以及包体部分，等等。各组成部分的属性指各组成部分的几何特征(例如，尺寸、形状等)和/或拓扑特征(拓扑特征包括：连接成分、孔(洞)、连接数等)。各组成部分的结构关系包括各组成部分的相对位置关系、连接关系、连接方式(包括：连接的角度、是否可拆卸连接等)、以及比例关系等。仍以衣物为例，袖子与躯干具有在躯干的两角处(对应于肩的位置)连接这样的连接关系；两只袖子的长度具有1:1的比例关系；特定尺码的衣服的躯干与袖子的长度也应存在相应的比例关系等等。目标对象各组成部分的属性及所述各组成部分的结构关系属于语义特征，在结构模板中自动赋予描述对象的语义特征可为图像检索时从图像上获取更为丰富且准确的特征提供基础，更能避免简单的通过图像和文本信息相结合的方式进行检索所可能存在的虚假信息等造成的不准确。
本发明第一种实施例的方法的一种可能的应用场景为：用户想要购买其在杂志的某页上看到的一件衣服，其通过该衣服所在页的包括该衣服的部分或全部图像在电商网站上检索该衣服。依照本实施例的方法，该衣服为目标对象，其所选取的所述目标对象所在的图像为待检索图像。在S110中，可根据目标对象的类别(衣服)来确定该类别对象的结构模板。如图2(a)所示，该结构模板201上除了衣服类对象可能包括的大致轮廓外，还包括衣服的各组成部分：躯干202、左侧袖子203以及右侧袖子204，其中，躯干202与左侧袖子203和右侧袖子204分别具有连接关系(图中圆圈表示连接关系)。需要说明的是，在本发明的各实施例中，目标对象的类别可根据需要划分为具有不同的分类层次，例如，大类为衣服，该大类下还包括无袖、有袖等任意细分的小类，在此不作为对本发明各实施例的限制，且不同类别的对象可具有各自的通用的结构模板。
当待检索图像上存在超过一个目标对象时，在步骤S110中确定与目标对象对应数量的结构模板。
S120.根据所述目标对象调整所述至少一个结构模板。
确定了至少一个结构模板之后，需要建立目标对象与该至少一个结构模板之间一定的匹配关系。在一种可能的实现方式中，所谓的匹配关系指调整后的该至少一个结构模板与所述目标对象至少一部分相关。例如，调整后的该至少一个结构模板的轮廓在所述目标对象的图像上与所述目标对象的轮廓接近对齐的匹配。在本实施例的方法中，可自动或根据用户指令对该至少一个结构模板进行调整，以建立上述匹配关系。调整的方式包括针对该至少一个结构模板的以下至少一种操作：翻转、缩放、旋转、平移、变形(手动或通过参数限定来改变模板轮廓的形状)。以根据用户指令的方式进行调整为例，如图2(b)中所示图像为待检索图像，该图像上小孩的衣服为目标对象，将图2(a)中所示的通用的结构模板201自动或由用户操作，如图2(c)所示地置于待检索图像上的初始位置(该初始位置可以是某个固定位置，也可以根据初步的图像内容分析定位，如通过人脸检测，或头肩模型检测将图像自动置于人身上)后，再由用户通过拖拉、缩放、参数限定、旋转、变形等任意一种或多种方式，使该结构模板201的轮廓与待检索图像上小孩的衣服的轮廓大致匹配。匹配的过程也可结合图像分析(边缘检测等)的方式或仅通过图像分析的方式实现。如图2(d)所示的，该结构模板201的躯干202、左侧袖子203以及右侧袖子204的尺寸均进行了调整，躯干202与左侧袖子203以及右侧袖子204各自的连接角度也进行了调整。
S130.根据调整后的所述至少一个结构模板确定待检索特征。
在本实施例的方法中，待检索特征包括第一特征以及第二特征。其中，第一特征为所述目标对象各组成部分的属性及所述各组成部分的结构关系。第二特征为调整后的所述至少一个结构模板上选定区域 内所述目标对象对应部分的图像特征，例如，颜色、形状、纹理特征等等。仍以图2(b)中所示的衣服为例，第一特征包括该图像上的结构模板201本身所包含的结构关系信息：衣服由躯干202、左侧袖子203以及右侧袖子204组成，躯干202与左侧袖子203和右侧袖子204分别具有连接关系，还包括躯干202、左侧袖子203和右侧袖子204在该图像上的相对位置关系，躯干202与左侧袖子203和右侧袖子204分别的连接角度，躯干202与左侧袖子203和右侧袖子204分别的尺寸，该衣服上是否有孔(洞)(独特的设计特征)等等；第二特征可包括：该结构模板上的选定区域内所述目标对象对应部分的图像特征，例如，颜色、形状、纹理特征等。
使用所确定的待检索特征，可根据该图像对该衣服进行检索；或者，使用所确定的待检索特征对该图像建立索引，可以使该图像被检索到。
综上，本发明第一种实施例的方法通过包括目标对象的各组成部分的属性及所述各组成部分的结构关系的至少一个结构模板的使用，以及使该至少一个结构模板与目标对象具有一定的匹配关系，能够实现准确性较高的图像检索。
需要说明的是，上述结构模板可为目标对象所属类别的通用模板，该通用模板本身已经包括了目标对象的轮廓、目标图像各组成部分的属性及所述各组成部分的结构关系；该结构模板也可为由目标对象各组成部分各自的子模板组成的；或者，该结构模板也为由通用结构模板和其它子模板组合形成的。所述子模板中包括对应部分的属性。相应地，在一种可能的实现方式中，S110可进一步包括：
S111.根据所述目标对象获取所述目标对象的各组成部分各自的子模板，所述子模板中包括对应的组成部分的属性。
仍以目标对象为衣服为例，根据其所属类别为衣服提供可选的各组成部分的子模板。例如，提供如图2(a)中所示的躯干202、左侧 袖子203、右侧袖子204各自对应的子模板、还可提供领子(未示出)、口袋(未示出)等部分。根据用户指令选择各组合部分。或者根据用户指令，选择图2(a)所示的通用结构模板后，再根据需要选择领子和口袋对应的子模板。
S112.用所获取的所述各组成部分各自的子模板构建所述至少一个结构模板。
选择各组合部分后，通过拖拉或直接输入相应参数等方式将各自的子模板置于匹配合理的位置关系的位置处，构建出该目标对象的结构模板。
S113.根据所获取的所述各组成部分各自的子模板的属性及所述各组成部分的相对位置确定和/或用户指令所述结构关系。
除各自的子模板所包含的属性外，根据构建出的结构模板上各组成部分的相对位置关系和/或用户指令确定结构关系。例如，通过袖子与躯干之间小于设定阈值的距离(包括重叠)，可判定袖子与躯干具有连接关系，等等。或可根据用户指令确定躯干与袖子的连接关系，例如，用户在两组成部分上放置表示连接关系的标识(如图2(a)中的圆圈)。
确定了结构模板之后，根据用户的需要，结构模板所对应的特征并非为检索中所需要的全部特征。相应地，在一种可能的实现方式中，S130可进一步包括：
S131.确定选定区域。
可根据用户的指令来确定所述选定区域，在本实施例的方法中，选定区域用于划定检索中需要提取的图像特征所在的区域。根据结构模板的构成不同，确定该选定区域可通过勾画、圈定或点击等操作实现。例如但不作为限制的：结构模板为通用模板，可在通用模板上用矩形框圈定出选定区域；结构模板为各子模板构建而成，可根据需要点击对应子模板确定选定区域，选定区域内可包括一个或多个子模板。
以图2(d)所示的情况为例，尽管该目标对象的衣服由躯干以及袖子组成，但用户仅想获取具有与躯干部分特征相同或相似特征的躯干的衣服的信息，此时，用户可以将该躯干对应的区域作为选定区域。需要说明的是，选定区域只用于限制图像特征的获取区域，并不用于排除目标对象的其它组成部分。例如，当用户确定了躯干为选定区域后，此时待检索特征中仍然包括“该目标对象包括袖子(包括左侧袖子和右侧袖子)这一特征”，以及袖子所对应的结构关系。也即，用户的检索意图是：查找具有与躯干对应的图像特征的衣服，且该衣服应具有袖子，袖子部分的图像特征并不作限制。
在结构模板为通用结构模板或通用结构模板与子模板组合而成时，可根据用户的需要对该结构模板的某组成部分做删减，此过程在步骤S120中完成，相应地，步骤S120中的调整还包括：去除所述各组成部分中的至少一个。
仍以图2(d)所示的情况为例，尽管该目标对象的衣服由躯干以及两侧的袖子组成，但用户仅想获取具有该躯干特征的相同或相似、且不具有袖子的衣服的信息，此时，用户可以通过点击等方式将袖子部分去除，这样，所确定的结构模板包含了这样的语义信息：具有与躯干部分对应的图像特征的无袖衣服。
S132.获取所述选定区域内所述目标对象对应部分的图像特征。
可采用本领域已经成熟的技术进行对应部分的图像特征的提取，图像特征的提取所采用的方法不作为对本发明各实施例的技术方案的限制。
在又一种可能的实现方式中，本实施例的方法还包括：
S140.根据所述待检索特征确定检索策略。
检索策略包括：所述待检索特征的组合方式。具言之，在待检索特征所包含的第一特征和第二特征中包含了众多语义及图像特征，可根据用户的检索意图确定以怎样的特征组合方式进行检索，该组合方 式可仅包括部分上述特征。例如，待检索特征中包括特征A、B、C、D、E，根据用户的检索意图确定以A+B+C的组合方式进行检索，也即作为检索结果的衣服中需包括A、B、C三个特征；还可确定以A+B-D的方式进行检索，也即作为检索结果的衣服中需包括A、B两个特征但不包括特征D。
当根据目标对象确定了至少两个结构模板时，检索策略还包括：所述至少两个结构模板的组合方式。例如，如图2(e)所示，所确定的结构模板包括图2(a)所示的衣服结构模板201，还包括挎包的结构模板205。确定检索策略可包括仅检索结构模板205对应的待检索特征，或检索结构模板201和结构模板205对应的全部待检索特征。
此外，根据执行本发明实施例的方法的主体的不同，当执行的主体为客户端设备或不具有搜索能力的其它设备时，本发明实施例的方法还包括：
S150.发送所述待检索特征以及所述检索策略。
客户端设备或不具有搜索能力的其它设备将待检索特征以及检索策略发送给检索服务器或搜索引擎。
根据运行本实施例方法的设备的用户的意图，本实施例的方法还可包括：
S160.根据所述待检索特征构建图像数据库。
本发明第一种实施例的方法的另一种可能的应用场景为：用户希望该目标对象能够被检索到，例如，为电商网站的卖家，其可在执行上述过程后，根据待检索特征将待检索图像添加到图像数据库，并为目标对象建立对应的索引。
综上，本发明第一种实施例的方法，通过结构模板的使用实现准确的检索的同时，能够为用户提供灵活简便的操作和选择方式，用户体验良好。
本发明第二种实施例的图像检索方法运行于服务端设备，包括搜 索引擎、图像检索服务器等任意能够提供检索服务的设备。如图3所示，本发明第二种实施例的图像检索方法包括：
S310.获取待检索图像及与所述待检索图像相关的至少一个结构模板，所述结构模板中包括所述目标对象各组成部分的属性及所述各组成部分的结构关系。
在本实施例的方法中，目标对象可为待检索图像上的任意对象，例如，衣物、鞋、饰品、箱包等，尤其为像衣物这样的可形变、结构较复杂的对象。各组成部分可为按照目标对象自然属性所划分的各部分，例如，按照衣服的自然属性，衣服的组成部分可包括：领子、袖子、躯干等部分；按照箱包的自然属性，各组成部分可包括包带以及包体部分，等等。各组成部分的属性指各组成部分的几何特征(例如，尺寸、形状等)和/或拓扑特征(拓扑特征包括：连接成分、孔(洞)、连接数等)。各组成部分的结构关系包括各组成部分的相对位置关系、连接关系、连接方式(包括：连接的角度、是否可拆卸连接等)、以及比例关系等。仍以衣物为例，袖子与躯干具有在躯干的两角处(对应于肩的位置)连接这样的连接关系；两只袖子的长度具有1:1的比例关系；特定尺码的衣服的躯干与袖子的长度也应存在相应的比例关系等等。目标对象各组成部分的属性及所述各组成部分的结构关系属于语义特征，在结构模板中自动赋予描述对象的语义特征可为图像检索时从图像上获取更为丰富且准确的特征提供基础，更能避免简单的通过图像和文本信息相结合的方式进行检索所可能存在的虚假信息等造成的不准确。
此外，所谓的“与所述待检索图像相关”指该至少一个结构模板与待检索图像上的目标图像具有一定的匹配关系。该匹配关系可体现在图像上，也可在该结构模板中隐含这种匹配关系。所谓匹配关系可以指该至少一个结构模板与所述目标对象至少一部分相关。例如，该至少一个结构模板的轮廓在所述待检索图像上与所述目标对象的轮 廓接近对齐的匹配。
本发明第二种实施例的方法的一种可能的应用场景为：用户想要购买其在杂志的某页上看到的一件衣服，其通过该衣服所在页的包括该衣服的部分或全部图像在电商网站上检索该衣服。用户依照本发明第一种实施例的方法，以该衣服为目标对象，选取所述目标对象所在的图像为待检索图像，如图2(b)所示。将图2(a)所示的衣服结构模板置于图2(b)上，并调整为图2(d)所示状态后，将该待检索图像以及与该待检索图像相关的该结构模板发送给服务端设备。此情况下，本实施例的方法步骤S310中的所述获取待检索图像及与所述待检索图像相关的至少一个结构模板为：
接收待检索图像及与所述待检索图像相关的至少一个结构模板。
S320.根据所述至少一个结构模板确定待检索特征。
在本实施例的方法中，该待检索特征包括第一特征及第二特征。其中，第一特征为所述目标对象各组成部分的属性及所述各组成部分的结构关系；第二特征为所述至少一个结构模板上选定区域内的所述目标对象对应部分的图像特征，例如，颜色、形状、纹理特征等等。仍以图2(b)中所示的衣服为例，第一特征包括该图像上的结构模板本身所包含的结构关系信息：衣服由躯干202、左侧袖子203以及右侧袖子204组成，躯干202与左侧袖子203和右侧袖子204分别具有连接关系，还包括躯干202、左侧袖子203和右侧袖子204在该图像上的相对位置关系，躯干202与左侧袖子203和右侧袖子204分别的连接角度，躯干202与左侧袖子203和右侧袖子204分别的尺寸，该衣服上是否有孔(洞)(独特的设计特征)等等；第二特征可包括：该结构模板上的选定区域内所述目标对象对应部分的图像特征，例如，颜色、形状、纹理特征等。
S330.根据所述待检索特征检索所述待检索图像。
综上，本发明第二种实施例的方法根据包括目标对象的各组成部 分的属性及所述各组成部分的结构关系的至少一个结构模板确定待检索特征，能够实现准确性较高的图像检索。
在一种可能的实现方式中，由于用户具有不同的检索需求，该至少一个结构模板上可能包含着选定区域，选定区域用于划定检索中需要提取的图像特征所在的区域。此时，步骤S320可进一步包括：
获取所述选定区域内的所述目标对象对应部分的图像特征。
以图2(d)所示的情况为例，尽管该目标对象的衣服由躯干以及袖子组成，但用户仅想获取具有与躯干部分特征相同或相似特征的躯干的衣服的信息，此时，用户可以将该躯干对应的区域作为选定区域。需要说明的是，选定区域只用于限制图像特征的获取区域，并不用于排除目标对象的其它组成部分。例如，当用户确定了躯干为选定区域后，此时待检索特征中仍然包括“该目标对象包括袖子(包括左侧袖子和右侧袖子)这一特征”，以及袖子所对应的结构关系。也即，用户的检索意图是：查找具有与躯干对应的图像特征的衣服，且该衣服应具有袖子，袖子部分的图像特征并不作限制。
此外，根据检索结果的不同，本实施例的方法还可包括步骤：
S340.根据所述待检索特征将所述待检索图像添加到图像数据库。
当检索命中时，本实施例的方法返回命中的结果；当检索未命中时，为了完善设备，可将该待检索图像添加到图像数据库中，并根据待检索特征为其建立索引，在之后有对相关特征的检索时，将其作为检索结果返回。
本领域技术人员可以理解，在本申请具体实施方式的上述方法中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请具体实施方式的实施过程构成任何限定。
本发明第三种实施例的图像检索装置可为具有图像显示功能的 任意设备，例如，客户端设备或服务端设备，包括但不限于：手机、笔记本电脑、便携式电脑、服务器电脑等等。
如图4所示，本发明第三种实施例的图像检索装置400包括：
第一确定模块410，用于根据目标对象确定至少一个结构模板，所述结构模板中包括所述目标对象各组成部分的属性及所述各组成部分的结构关系。
在本发明各实施例的装置中，目标对象可为待检索图像上的任意对象，例如，衣物、鞋、饰品、箱包等，尤其为像衣物这样的可形变、结构较复杂的对象。各组成部分可为按照目标对象自然属性所划分的各部分，例如，按照衣服的自然属性，衣服的组成部分可包括：领子、袖子、躯干等部分；按照箱包的自然属性，各组成部分可包括包带以及包体部分，等等。各组成部分的属性指各组成部分的几何特征(例如，尺寸、形状等)和/或拓扑特征(拓扑特征包括：连接成分、孔(洞)、连接数等)。各组成部分的结构关系包括各组成部分的相对位置关系、连接关系、连接方式(包括：连接的角度、是否可拆卸连接等)、以及比例关系等。仍以衣物为例，袖子与躯干具有在躯干的两角处(对应于肩的位置)连接这样的连接关系；两只袖子的长度具有1:1的比例关系；特定尺码的衣服的躯干与袖子的长度也应存在相应的比例关系等等。目标对象各组成部分的属性及所述各组成部分的结构关系属于语义特征，在结构模板中自动赋予描述对象的语义特征可为图像检索时从图像上获取更为丰富且准确的特征提供基础，更能避免简单的通过图像和文本信息相结合的方式进行检索所可能存在的虚假信息等造成的不准确。
本发明第三种实施例的装置的一种可能的应用场景为：用户想要购买其在杂志的某页上看到的一件衣服，其通过该衣服所在页的包括该衣服的部分或全部图像在电商网站上检索该衣服。使用依照本实施例的装置，该衣服为目标对象，其所选取的所述目标对象所在的图像 为待检索图像。第一确定模块410可根据目标对象的类别(衣服)来确定该类别对象的结构模板。如图2(a)所示，该结构模板201上除了衣服类对象可能包括的大致轮廓外，还包括衣服的各组成部分：躯干202、左侧袖子203以及右侧袖子204，其中，躯干202与左侧袖子203和右侧袖子204分别具有连接关系(图中圆圈表示连接关系)。
当待检索图像上存在超过一个目标对象时，第一确定模块410用于确定与目标对象对应数量的结构模板。
调整模块420，用于根据所述目标对象调整所述至少一个结构模板。
确定了至少一个结构模板之后，需要建立目标对象与该至少一个结构模板之间一定的匹配关系。在一种可能的实现方式中，所谓的匹配关系指调整后的该至少一个结构模板与所述目标对象至少一部分相关。例如，调整后的该至少一个结构模板的轮廓在所述目标对象的图像上与所述目标对象的轮廓接近对齐的匹配。在本实施例的装置中，调整模块420可自动或根据用户指令对该至少一个结构模板进行调整，以建立上述匹配关系，当根据用户指令来进行调整时，调整模块420具有对应的接收用户输入的用户界面，用户指令可为触控指令、语音指令、以及输入的文本指令等任意合适的指令。调整的方式包括针对该至少一个结构模板的以下至少一种操作：翻转、缩放、旋转、平移、变形(手动或通过参数限定来改变模板轮廓的形状)。以根据用户指令的方式进行调整为例，如图2(b)中所示图像为待检索图像，该图像上小孩的衣服为目标对象，将图2(a)中所示的通用的结构模板自动或由用户操作，如图2(c)所示地置于待检索图像上的初始位置(该初始位置可以是某个固定位置，也可以根据初步的图像内容分析定位，如通过人脸检测，或头肩模型检测将图像自动置于人身上)后，再由用户通过拖拉、缩放、参数限定、旋转、变形等任意一种或多种方式，使该结构模板201的轮廓与待检索图像上小孩的衣服的轮 廓大致匹配。匹配的过程也可结合图像分析(边缘检测等)的方式或仅通过图像分析的方式实现，此时调整模块320还可具有相应的图像分析功能。如图2(d)所示的，该结构模板201的躯干202、左侧袖子203以及右侧袖子204的尺寸均进行了调整，躯干202与左侧袖子203以及右侧袖子204各自的连接角度也进行了调整。
第二确定模块430，用于根据调整后的所述至少一个结构模板确定待检索特征。
在本实施例的装置中，待检索特征包括第一特征以及第二特征。其中，第一特征为所述目标对象各组成部分的属性及所述各组成部分的结构关系。第二特征为调整后的所述至少一个结构模板上选定区域内所述目标对象对应部分的图像特征，例如，颜色、形状、纹理特征等等。仍以图2(b)中所示的衣服为例，第一特征包括该图像上的结构模板201本身所包含的结构关系信息：衣服由躯干202、左侧袖子203以及右侧袖子204组成，躯干202与左侧袖子203和右侧袖子204分别具有连接关系，还包括躯干202、左侧袖子203和右侧袖子204在该图像上的相对位置关系，躯干202与左侧袖子203和右侧袖子204分别的连接角度，躯干202与左侧袖子203和右侧袖子204分别的尺寸，该衣服上是否有孔(洞)(独特的设计特征)等等；第二特征可包括：该结构模板上的选定区域内所述目标对象对应部分的图像特征，例如，颜色、形状、纹理特征等。
使用所确定的待检索特征，可根据该图像对该衣服进行检索；或者，使用所确定的待检索特征对该图像建立索引，可以使该图像被检索到。
综上，本发明第三种实施例的装置通过包括目标对象的各组成部分的属性及所述各组成部分的结构关系的至少一个结构模板的使用，以及使该至少一个结构模板与目标对象具有一定的匹配关系，能够实现准确性较高的图像检索。
需要说明的是，上述结构模板可为目标对象所属类别的通用模板，该通用模板本身已经包括了目标对象的轮廓、目标图像各组成部分的属性及所述各组成部分的结构关系；该结构模板也可为由目标对象各组成部分各自的子模板组成的；或者，该结构模板也为由通用结构模板和其它子模板组合形成的。所述子模板中包括对应部分的属性。相应地，在一种可能的实现方式中，如图5所示，第一确定模块410可进一步包括：
第一获取单元411，用于根据所述目标对象获取所述目标对象的各组成部分各自的子模板，所述子模板中包括对应的组成部分的属性。
仍以目标对象为衣服为例，根据其所属类别为衣服提供可选的各组成部分的子模板。例如，提供如图2(a)中所示的躯干202、左侧袖子203、右侧袖子204各自对应的子模板、还可提供领子(未示出)、口袋(未示出)等部分。第一获取单元411根据用户指令选择各组合部分。或者根据用户指令，选择图2(a)所示的通用结构模板后，再根据需要选择领子和口袋对应的子模板。需要说明的是，第一获取单元411也可具有接收用户输入指令的对应的用户界面，或者该用户界面为与上述调整模块420的用户界面为同一个。
构建单元412，用于用所获取的所述各组成部分各自的子模板构建所述至少一个结构模板。
选择各组合部分后，通过拖拉或直接输入相应参数等方式将各自的子模板置于匹配合理的位置关系的位置处，构建出该目标对象的结构模板。
第一确定单元413，用于根据所获取的所述各组成部分各自的子模板的属性及所述各组成部分的相对位置确定和/或用户指令所述结构关系。
除各自的子模板所包含的属性外，根据构建出的结构模板上各组成部分的相对位置关系和/或用户指令确定结构关系。例如，通过袖子 与躯干之间小于设定阈值的距离(包括重叠)，可判定袖子与躯干具有连接关系，等。或可根据用户指令确定躯干与袖子的连接关系，例如，用户在两组成部分上放置表示连接关系的标识(如图2(a)中的圆圈)。
确定了结构模板之后，根据用户的需要，结构模板所对应的特征并非为检索中所需要的全部特征。相应地，在一种可能的实现方式中，如图6所示，第二确定模块430可进一步包括：
第二确定单元431，用于确定选定区域。
第二确定单元431可根据用户的指令来确定所述选定区域，在本实施例的装置中，选定区域用于划定检索中需要提取的图像特征所在的区域。根据结构模板的构成不同，确定该选定区域可通过勾画、圈定或点击等操作实现。例如但不作为限制的：结构模板为通用模板，可在通用模板上用矩形框圈定出选定区域；结构模板为各子模板构建而成，可根据需要点击对应子模板确定选定区域，选定区域内可包括一个或多个子模板。
以图2(d)所示的情况为例，尽管该目标对象的衣服由躯干以及袖子组成，但用户仅想获取具有与躯干部分特征相同或相似特征的躯干的衣服的信息，此时，用户可以将该躯干对应的区域作为选定区域。需要说明的是，选定区域只用于限制图像特征的获取区域，并不用于排除目标对象的其它组成部分。例如，当用户确定了躯干为选定区域后，此时待检索特征中仍然包括“该目标对象包括袖子(包括左侧袖子和右侧袖子)这一特征”，以及袖子所对应的结构关系。也即，用户的检索意图是：查找具有与躯干对应的图像特征的衣服，且该衣服应具有袖子，袖子部分的图像特征并不作限制。
在结构模板为通用结构模板或通用结构模板与子模板组合而成时，可根据用户的需要对该结构模板的某组成部分做删减，此过程由调整模块420完成，相应地，如图7所示，调整模块420可包括：去 除单元421，用于去除所述各组成部分中的至少一个。
仍以图2(d)所示的情况为例，尽管该目标对象的衣服由躯干以及两侧的袖子组成，但用户仅想获取具有该躯干特征的相同或相似、且不具有袖子的衣服的信息，此时，用户可以通过点击等方式将袖子部分去除，这样，所确定的结构模板包含了这样的语义信息：具有与躯干部分对应的图像特征的无袖衣服。
第二获取单元432，用于获取所述选定区域内所述目标对象对应部分的图像特征。
第二获取单元432可采用本领域已经成熟的技术进行对应部分的图像特征的提取，图像特征的提取所采用的方法不作为对本发明各实施例的技术方案的限制。
如图8所示，在又一种可能的实现方式中，本实施例的装置400还包括：
第三确定模块440，用于根据所述待检索特征确定检索策略。
检索策略包括：所述待检索特征的组合方式。具言之，在待检索特征所包含的第一特征和第二特征中包含了众多语义及图像特征，第三确定模块440可根据用户的检索意图确定以怎样的特征组合方式进行检索，该组合方式可仅包括部分上述特征。例如，待检索特征中包括特征A、B、C、D、E，根据用户的检索意图确定以A+B+C的组合方式进行检索，也即作为检索结果的衣服中需包括A、B、C三个特征；还可确定以A+B-D的方式进行检索，也即作为检索结果的衣服中需包括A、B两个特征但不包括特征D。
当根据目标对象确定了至少两个结构模板时，检索策略还包括：所述至少两个结构模板的组合方式。例如，如图2(e)所示，所确定的结构模板包括图2(a)所示的衣服结构模板201，还包括挎包的结构模板205。第三确定模块440确定的检索策略可包括仅检索结构模板205对应的待检索特征，或检索结构模板201和结构模板205对应 的全部待检索特征。
此外，当本实施例的装置为客户端设备或不具有搜索能力的其它设备时，如图9所示，本发明实施例的装置400还包括：
发送模块450，用于发送所述待检索特征以及所述检索策略。
客户端设备或不具有搜索能力的其它设备通过本发明实施例的装置将待检索特征以及检索策略发送给检索服务器或搜索引擎。
根据运行本实施例方法的设备的用户的意图，如图10所示，本实施例的装置400在图6所示实现方式的基础上还可包括：
第一维护模块460，用于根据所述待检索特征构建图像数据库。
本发明第三种实施例的装置的另一种可能的应用场景为：用户希望该目标对象能够被检索到，例如，为电商网站的卖家，可通过本装置的第一维护模块460根据待检索特征将待检索图像添加到图像数据库，并为目标对象建立对应的索引。
综上，本发明第三种实施例的装置，通过结构模板的使用实现准确的检索的同时，能够为用户提供灵活简便的操作和选择方式，用户体验良好。
本发明第四种实施例的图像检索装置为服务端设备，包括搜索引擎、图像检索服务器等任意能够提供检索服务的设备。如图11所示，本发明第四种实施例的图像检索装置1100包括：
获取模块1110，用于获取待检索图像及与所述待检索图像相关的至少一个结构模板，所述结构模板中包括所述目标对象各组成部分的属性及所述各组成部分的结构关系。
在本实施例的装置中，目标对象可为待检索图像上的任意对象，例如，衣物、鞋、饰品、箱包等，尤其为像衣物这样的可形变、结构较复杂的对象。各组成部分可为按照目标对象自然属性所划分的各部分，例如，按照衣服的自然属性，衣服的组成部分可包括：领子、袖子、躯干等部分；按照箱包的自然属性，各组成部分可包括包带以及 包体部分，等等。各组成部分的属性指各组成部分的几何特征(例如，尺寸、形状等)和/或拓扑特征(拓扑特征包括：连接成分、孔(洞)、连接数等)。各组成部分的结构关系包括各组成部分的相对位置关系、连接关系、连接方式(包括：连接的角度、是否可拆卸连接等)、以及比例关系等。仍以衣物为例，袖子与躯干具有在躯干的两角处(对应于肩的位置)连接这样的连接关系；两只袖子的长度具有1:1的比例关系；特定尺码的衣服的躯干与袖子的长度也应存在相应的比例关系等等。目标对象各组成部分的属性及所述各组成部分的结构关系属于语义特征，在结构模板中自动赋予描述对象的语义特征可为图像检索时从图像上获取更为丰富且准确的特征提供基础，更能避免简单的通过图像和文本信息相结合的方式进行检索所可能存在的虚假信息等造成的不准确。
此外，所谓的“与所述待检索图像相关”指该至少一个结构模板与待检索图像上的目标图像具有一定的匹配关系。该匹配关系可体现在图像上，也可在该结构模板中隐含这种匹配关系。所谓匹配关系可以指该至少一个结构模板与所述目标对象至少一部分相关。例如，该至少一个结构模板的轮廓在所述待检索图像上与所述目标对象的轮廓接近对齐的匹配。
本发明第四种实施例的装置的一种可能的应用场景为：用户想要购买其在杂志的某页上看到的一件衣服，其通过该衣服所在页的包括该衣服的部分或全部图像在电商网站上检索该衣服。用户实用依照本发明第三种实施例的装置，以该衣服为目标对象，选取所述目标对象所在的图像为待检索图像，如图2(b)所示。将图2(a)所示的衣服结构模板置于图2(b)上，并调整为图2(d)所示状态后，将该待检索图像以及与该待检索图像相关的该结构模板发送给服务端设备。此情况下，本实施例的装置的获取模块1100的所述获取待检索图像及与所述待检索图像相关的至少一个结构模板为：
接收待检索图像及与所述待检索图像相关的至少一个结构模板。
第四确定模块1120，用于根据所述至少一个结构模板确定待检索特征。
在本实施例的装置中，该待检索特征包括第一特征及第二特征。其中，第一特征为所述目标对象各组成部分的属性及所述各组成部分的结构关系；第二特征为所述至少一个结构模板上选定区域内的所述目标对象对应部分的图像特征，例如，颜色、形状、纹理特征等等。仍以图2(b)中所示的衣服为例，第一特征包括该图像上的结构模板本身所包含的结构关系信息：衣服由躯干202、左侧袖子203以及右侧袖子204组成，躯干202与左侧袖子203和右侧袖子204分别具有连接关系，还包括躯干202、左侧袖子203和右侧袖子204在该图像上的相对位置关系，躯干202与左侧袖子203和右侧袖子204分别的连接角度，躯干202与左侧袖子203和右侧袖子204分别的尺寸，该衣服上是否有孔(洞)(独特的设计特征)等等；第二特征可包括：该结构模板上的选定区域内所述目标对象对应部分的图像特征，例如，颜色、形状、纹理特征等。
检索模块1130，用于根据所述待检索特征检索所述待检索图像。
综上，本发明第四种实施例的装置根据包括目标对象的各组成部分的属性及所述各组成部分的结构关系的至少一个结构模板确定待检索特征，能够实现准确性较高的图像检索。
在一种可能的实现方式中，由于用户具有不同的检索需求，该至少一个结构模板上可能包含着选定区域，选定区域用于划定检索中需要提取的图像特征所在的区域。此时，如图12所示，第四确定模块1120可进一步包括：
第二获取单元1121，用于获取所述选定区域内的所述目标对象对应部分的图像特征。
以图2(d)所示的情况为例，尽管该目标对象的衣服由躯干以及 袖子组成，但用户仅想获取具有与躯干部分特征相同或相似特征的躯干的衣服的信息，此时，用户可以将该躯干对应的区域作为选定区域。需要说明的是，选定区域只用于限制图像特征的获取区域，并不用于排除目标对象的其它组成部分。例如，当用户确定了躯干为选定区域后，此时待检索特征中仍然包括“该目标对象包括袖子(包括左侧袖子和右侧袖子)这一特征”，以及袖子所对应的结构关系。也即，用户的检索意图是：查找具有与躯干对应的图像特征的衣服，且该衣服应具有袖子，袖子部分的图像特征并不作限制。
此外，根据检索结果的不同，如图13所示，本实施例的装置1100还可包括：
第二维护模块1140，用于根据所述待检索特征将所述待检索图像添加到图像数据库。
当检索命中时，本实施例的装置返回命中的结果；当检索未命中时，为了完善设备，可将该待检索图像添加到图像数据库中，并根据待检索特征为其建立索引，在之后有对相关特征的检索时，将其作为检索结果返回。需要说明的是，图像数据库可属于本实施例装置，也可位于本实施例装置外。
图14为本发明第五种实施例的图像检索装置1400的结构示意图，本申请具体实施例并不对显示控制装置1400的具体实现做限定。如图14所示，该显示控制装置1400可以包括：
处理器(processor)1410、通信接口(Communications Interface)1420、存储器(memory)1430、以及通信总线1440。其中：
处理器1410、通信接口1420、以及存储器1430通过通信总线1440完成相互间的通信。
通信接口1420，用于与比如客户端等的网元通信。
处理器1410，用于执行程序1432，具体可以执行上述方法实施例中的相关步骤。
具体地，程序1432可以包括程序代码，所述程序代码包括计算机操作指令。
处理器1410可能是一个中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器1430，用于存放程序1432。存储器1430可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。程序1432具体可以用于使得所述显示控制装置1400执行以下步骤：
根据目标对象确定至少一个结构模板，所述结构模板中包括所述目标对象各组成部分的属性及所述各组成部分的结构关系；
根据所述目标对象调整所述至少一个结构模板；
根据调整后的所述至少一个结构模板确定待检索特征。
程序1432中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
图15为本发明第六种实施例的图像检索装置1500的结构示意图，本申请具体实施例并不对显示控制装置1500的具体实现做限定。如图15所示，该显示控制装置1500可以包括：
处理器(processor)1510、通信接口(Communications Interface)1520、存储器(memory)1530、以及通信总线1540。其中：
处理器1510、通信接口1520、以及存储器1530通过通信总线1540完成相互间的通信。
通信接口1520，用于与比如客户端等的网元通信。
处理器1510，用于执行程序1532，具体可以执行上述方法实施例中的相关步骤。
具体地，程序1532可以包括程序代码，所述程序代码包括计算机操作指令。
处理器1510可能是一个中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器1530，用于存放程序1532。存储器1530可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。程序1532具体可以用于使得所述显示控制装置1500执行以下步骤：
获取待检索图像及与所述待检索图像相关的至少一个结构模板，所述结构模板中包括目标对象各组成部分的属性及所述各组成部分的结构关系；
根据所述至少一个结构模板确定待检索特征；
根据所述待检索特征检索所述待检索图像。
程序1532中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或 者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。
Claims (37)
1.一种图像检索方法，其特征在于，所述方法包括：
根据目标对象确定至少一个结构模板，所述结构模板中包括所述目标对象各组成部分的属性及所述各组成部分的结构关系；
根据所述目标对象调整所述至少一个结构模板；
根据调整后的所述至少一个结构模板确定待检索特征。
2.根据权利要求1所述的方法，其特征在于，所述根据目标对象确定至少一个结构模板包括：
根据所述目标对象获取所述目标对象的各组成部分各自的子模板，所述子模板中包括对应的组成部分的属性；
用所获取的所述各组成部分各自的子模板构建所述至少一个结构模板；
根据所获取的所述各组成部分各自的子模板的属性及所述各组成部分的相对位置和/或用户指令确定所述结构关系。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标对象调整所述至少一个结构模板中：
调整所述至少一个结构模板，使调整后的所述至少一个结构模板与所述目标对象至少一部分相关。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标对象调整所述至少一个结构模板中：
调整所述至少一个结构模板，使调整后的所述至少一个结构模板的轮廓在所述目标对象的图像上与所述目标对象的轮廓匹配。
5.根据权利要求4所述的方法，其特征在于，所述调整包括以下中的至少一种：翻转、缩放、旋转、平移、变形。
6.根据权利要求5所述的方法，其特征在于，所述调整还包括：去除所述各组成部分中的至少一个。
7.根据权利要求3至6中任一项所述的方法，其特征在于，所述根据所述目标对象调整所述至少一个结构模板中：
根据用户指令调整所述至少一个结构模板。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述待检索特征包括第一特征以及第二特征；
所述第一特征为所述目标对象各组成部分的属性及所述各组成部分的结构关系；
所述第二特征为调整后的所述至少一个结构模板上选定区域内所述目标对象对应部分的图像特征。
9.根据权利要求8所述的方法，其特征在于，所述根据调整后的所述至少一个结构模板确定待检索特征包括：
确定所述选定区域；
获取所述选定区域内所述目标对象对应部分的图像特征。
10.根据权利要求1至9中任一项所述的方法，其特征在于，所述方法还包括：
根据所述待检索特征确定检索策略。
11.根据权利要求10所述的方法，其特征在于，所述检索策略包括：所述待检索特征的组合方式。
12.根据权利要求11所述的方法，其特征在于，所述根据目标对象的类别确定至少一个结构模板中：
根据目标对象确定至少两个结构模板；
所述检索策略还包括：所述至少两个结构模板的组合方式。
13.根据权利要求10至12中任一项所述的方法，其特征在于，所述方法还包括：
发送所述待检索特征以及所述检索策略。
14.根据权利要求1至12中任一项所述的方法，其特征在于，所述方法还包括：
根据所述待检索特征构建图像数据库。
15.根据权利要求1至14中任一项所述的方法，其特征在于，所述结构关系包括以下中的至少一项：连接关系、相对位置关系、比例关系。
16.根据权利要求1至15中任一项所述的方法，其特征在于，所述属性包括以下中的至少一项：几何特征、拓扑特征。
17.一种图像检索方法，其特征在于，所述方法包括：
获取待检索图像及与所述待检索图像相关的至少一个结构模板，所述结构模板中包括所述待检索图像上的目标对象各组成部分的属性及所述各组成部分的结构关系；
根据所述至少一个结构模板确定待检索特征；
根据所述待检索特征检索所述待检索图像。
18.根据权利要求17所述的方法，其特征在于，所述获取待检索图像及与所述待检索图像相关的至少一个结构模板为：
接收待检索图像及与所述待检索图像相关的至少一个结构模板。
19.根据权利要求17或18所述的方法，其特征在于，所述待检索特征包括第一特征及第二特征；
所述第一特征为所述目标对象各组成部分的属性及所述各组成部分的结构关系；
所述第二特征为所述至少一个结构模板上选定区域内的所述目标对象对应部分的图像特征。
20.根据权利要求19所述的方法，其特征在于，根据所述至少一个结构模板确定待检索特征包括：
获取所述选定区域内的所述目标对象对应部分的图像特征。
21.根据权利要求17至20中任一项所述的方法，其特征在于，所述方法还包括：
根据所述待检索特征将所述待检索图像添加到图像数据库。
22.根据权利要求17至21中任一项所述的方法，其特征在于，所述结构关系包括以下中的至少一项：连接关系、相对位置关系、比例关系、连接方式。
23.根据权利要求17至22中任一项所述的方法，其特征在于，所述属性包括以下中的至少一项：几何特征、拓扑特征。
24.一种图像检索装置，其特征在于，所述装置包括：
一第一确定模块，用于根据目标对象确定至少一个结构模板，所述结构模板中包括所述目标对象各组成部分的属性及所述各组成部分的结构关系；
一调整模块，用于根据所述目标对象调整所述至少一个结构模板；
一第二确定模块，用于根据调整后的所述至少一个结构模板确定待检索特征。
25.根据权利要求24所述的装置，其特征在于，所述第一确定模块包括：
一第一获取单元，用于根据所述目标对象获取所述目标对象的各组成部分各自的子模板，所述子模板中包括对应的组成部分的属性；
一构建单元，用于用所获取的所述各组成部分各自的子模板构建所述至少一个结构模板；
一第一确定单元，用于根据所获取的所述各组成部分各自的子模板的属性及所述各组成部分的相对位置和/或用户指令确定所述结构关系。
26.根据权利要求23或24所述的装置，其特征在于，所述调整模块调整所述至少一个结构模板，使调整后的所述至少一个结构模板与所述目标对象至少一部分相关。
27.根据权利要求26所述的装置，其特征在于，所述调整模块调整所述至少一个结构模板，使调整后的所述至少一个结构模板的轮廓在所述目标对象的图像上与所述目标对象的轮廓匹配。
28.根据权利要求26或27所述的装置，其特征在于，所述调整模块根据用户指令调整所述至少一个结构模板。
29.根据权利要求28所述的装置，其特征在于，所述调整模块还包括：
一去除单元，用于去除所述各组成部分中的至少一个。
30.根据权利要求24至29中任一项所述的装置，其特征在于，所述第二确定模块包括：
一第二确定单元，用于确定所述选定区域；
一第二获取单元，用于获取所述选定区域内所述目标对象对应部分的图像特征。
31.根据权利要求26至30中任一项所述的装置，其特征在于，所述装置还包括：
一第三确定模块，用于根据所述待检索特征确定检索策略。
32.根据权利要求31所述的装置，其特征在于，所述装置还包括：
一发送模块，用于发送所述待检索特征以及所述检索策略。
33.根据权利要求24至32中任一项所述的装置，其特征在于，所述装置还包括：
一第一维护模块，用于根据所述待检索特征构建图像数据库。
34.一种图像检索装置，其特征在于，所述装置包括：
一获取模块，用于获取待检索图像及与所述待检索图像相关的至少一个结构模板，所述结构模板中包括目标对象各组成部分的属性及所述各组成部分的结构关系；
一第四确定模块，用于根据所述至少一个结构模板确定待检索特征；
一检索模块，用于根据所述待检索特征检索所述待检索图像。
35.根据权利要求34所述的装置，其特征在于，所述获取模块接收待检索图像及与所述待检索图像相关的至少一个结构模板。
36.根据权利要求34或35所述的装置，其特征在于，所述第四确定模块包括：
一第二获取单元，用于获取所述选定区域内的所述目标对象对应部分的图像特征。
37.根据权利要求34至36中任一项所述的装置，其特征在于，所述装置还包括：
一第二维护模块，用于根据所述待检索特征将所述待检索图像添加到图像数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410164482.4A CN104021138B (zh) | 2014-04-23 | 2014-04-23 | 图像检索方法及图像检索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410164482.4A CN104021138B (zh) | 2014-04-23 | 2014-04-23 | 图像检索方法及图像检索装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104021138A true CN104021138A (zh) | 2014-09-03 |
| CN104021138B CN104021138B (zh) | 2017-09-01 |
Family
ID=51437893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410164482.4A Active CN104021138B (zh) | 2014-04-23 | 2014-04-23 | 图像检索方法及图像检索装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104021138B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107291706A (zh) * | 2016-03-30 | 2017-10-24 | 杭州海康威视数字技术股份有限公司 | 一种图片检索方法及装置 |
| CN109063197A (zh) * | 2018-09-06 | 2018-12-21 | 徐庆 | 图像检索方法、装置、计算机设备和存储介质 |
| CN114661936A (zh) * | 2022-05-19 | 2022-06-24 | 中山大学深圳研究院 | 一种应用于工业视觉中的图像检索的方法及电子设备 |
| CN117194698A (zh) * | 2023-11-07 | 2023-12-08 | 清华大学 | 一种基于oar语义知识库的任务处理系统和方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1150283A (zh) * | 1994-12-21 | 1997-05-21 | 伊斯曼柯达公司 | 制作标准化图象模板的方法和设备 |
| CN1405727A (zh) * | 2002-11-07 | 2003-03-26 | 上海交通大学 | 基于遗传算法的图像内容检索方法 |
| CN101739441A (zh) * | 2009-12-01 | 2010-06-16 | 中国建设银行股份有限公司 | 一种图像信息录入的方法以及系统 |
| US20110025709A1 (en) * | 2009-07-30 | 2011-02-03 | Ptucha Raymond W | Processing digital templates for image display |
| CN103597518A (zh) * | 2011-06-06 | 2014-02-19 | 微软公司 | 生成反映玩家外观的化身 |
-
2014
- 2014-04-23 CN CN201410164482.4A patent/CN104021138B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1150283A (zh) * | 1994-12-21 | 1997-05-21 | 伊斯曼柯达公司 | 制作标准化图象模板的方法和设备 |
| CN1405727A (zh) * | 2002-11-07 | 2003-03-26 | 上海交通大学 | 基于遗传算法的图像内容检索方法 |
| US20110025709A1 (en) * | 2009-07-30 | 2011-02-03 | Ptucha Raymond W | Processing digital templates for image display |
| CN101739441A (zh) * | 2009-12-01 | 2010-06-16 | 中国建设银行股份有限公司 | 一种图像信息录入的方法以及系统 |
| CN103597518A (zh) * | 2011-06-06 | 2014-02-19 | 微软公司 | 生成反映玩家外观的化身 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107291706A (zh) * | 2016-03-30 | 2017-10-24 | 杭州海康威视数字技术股份有限公司 | 一种图片检索方法及装置 |
| CN107291706B (zh) * | 2016-03-30 | 2020-05-08 | 杭州海康威视数字技术股份有限公司 | 一种图片检索方法及装置 |
| CN109063197A (zh) * | 2018-09-06 | 2018-12-21 | 徐庆 | 图像检索方法、装置、计算机设备和存储介质 |
| CN109063197B (zh) * | 2018-09-06 | 2021-07-02 | 徐庆 | 图像检索方法、装置、计算机设备和存储介质 |
| CN114661936A (zh) * | 2022-05-19 | 2022-06-24 | 中山大学深圳研究院 | 一种应用于工业视觉中的图像检索的方法及电子设备 |
| CN117194698A (zh) * | 2023-11-07 | 2023-12-08 | 清华大学 | 一种基于oar语义知识库的任务处理系统和方法 |
| CN117194698B (zh) * | 2023-11-07 | 2024-02-06 | 清华大学 | 一种基于oar语义知识库的任务处理系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104021138B (zh) | 2017-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020187153A1 (zh) | 目标检测方法、模型训练方法、装置、设备及存储介质 | |
| US11436272B2 (en) | Object based image based search | |
| WO2017215669A1 (zh) | 物体识别方法和装置、数据处理装置和计算设备 | |
| CN103678335B (zh) | 商品标识标签的方法、装置及商品导航的方法 | |
| KR102390547B1 (ko) | 이미지 특징 데이터 추출 및 사용 | |
| JP5830784B2 (ja) | 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム | |
| CN107993191A (zh) | 一种图像处理方法和装置 | |
| WO2017133343A1 (zh) | 一种图片处理方法、装置及电子设备 | |
| US20110167053A1 (en) | Visual and multi-dimensional search | |
| CN104391625A (zh) | 一种聊天内容显示方法和装置 | |
| CN107430691A (zh) | 识别图像中描绘的物品 | |
| CN107251060A (zh) | 针对序列标签器的预训练和/或迁移学习 | |
| CN102902821A (zh) | 基于网络热点话题的图像高级语义标注、检索方法及装置 | |
| CN101305368A (zh) | 语义可视搜索引擎 | |
| US20140279265A1 (en) | System and method to retrieve relevant inventory using sketch-based query | |
| CN104021138A (zh) | 图像检索方法及图像检索装置 | |
| CN101669117A (zh) | 用形状描述符匹配图像 | |
| CN103593474A (zh) | 基于深度学习的图像检索排序方法 | |
| CN108804516A (zh) | 相似用户查找装置、方法及计算机可读存储介质 | |
| US10958842B2 (en) | Method of displaying images in a multi-dimensional mode based on personalized topics | |
| WO2021120875A1 (zh) | 搜索方法、装置、终端设备及存储介质 | |
| Chen et al. | Query-free clothing retrieval via implicit relevance feedback | |
| CN106547365A (zh) | 商品推荐的方法和装置 | |
| CN106372090B (zh) | 一种查询聚类方法及装置 | |
| CN107220856B (zh) | 一种移动消费群组识别的系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |