CN103714077A - 物体检索的方法、检索校验的方法及装置 - Google Patents

物体检索的方法、检索校验的方法及装置 Download PDF

Info

Publication number
CN103714077A
CN103714077A CN201210376145.2A CN201210376145A CN103714077A CN 103714077 A CN103714077 A CN 103714077A CN 201210376145 A CN201210376145 A CN 201210376145A CN 103714077 A CN103714077 A CN 103714077A
Authority
CN
China
Prior art keywords
local feature
subject image
feature point
appointed area
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210376145.2A
Other languages
English (en)
Other versions
CN103714077B (zh
Inventor
唐绍鹏
梁大为
曾炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC China Co Ltd
Original Assignee
NEC China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC China Co Ltd filed Critical NEC China Co Ltd
Priority to CN201210376145.2A priority Critical patent/CN103714077B/zh
Priority to JP2013156401A priority patent/JP5680152B2/ja
Priority to US13/954,338 priority patent/US20140092244A1/en
Publication of CN103714077A publication Critical patent/CN103714077A/zh
Application granted granted Critical
Publication of CN103714077B publication Critical patent/CN103714077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种物体检索的方法、检索校验的方法及装置，属于视频监控技术领域。物体检索的方法包括：获取待检索物体图像及待检索物体图像的指定区域，计算待检索物体图像中的指定区域的局部特征点；在预先构建的索引集合中查找与指定区域的局部特征点相匹配的索引；获取查找到的索引对应的物体图像，将获取到的物体图像作为在视频中检索到的物体图像。本发明通过利用待检索物体图像中的指定区域的局部特征点在视频中检索物体图像，实现通过图像的局部区域进行物体检索，扩大了物体检索的应用范围，提高了检索结果的准确性；另外，在检索到物体图像后，通过对检索到的物体图像进行校验，可以去除不匹配的物体图像，进一步提高检索结果的准确性。

Description

物体检索的方法、检索校验的方法及装置
技术领域
本发明涉及视频监控技术领域，特别涉及一种物体检索的方法、检索校验的方法及装置。
背景技术
随着视频技术的不断发展，视频监控的应用范围越来越广，在对捕获到的视频进行管理的同时，如何对视频中指定的物体进行检索，成为了一个迫切需要解决和发展的问题。
现有技术在对视频中的物体进行检索时，一种方式是在确定待检索物体图像的主颜色之后，在捕获到的视频中查找与待检索物体图像具有相同主颜色的物体图像；另一种方式是在计算待检索物体图像的颜色直方图之后，根据颜色直方图衡量捕获到的视频中的各个图像与待检索物体图像之间的匹配程度，并依此获取检索结果。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
由于颜色直方图仅能反映出图像之间的整体匹配程度，因而针对通过颜色直方图实现物体检索的方式，其应用范围具有一定的局限性；另外，由于物体的颜色受光照等因素的影响很大，不能很好的表现物体的特征，因而在光照等条件变化时，无论是通过物体的颜色分布实现物体检索的方式，还是通过颜色直方图实现物体检索的方式，均不能够有效的检索物体，导致检索结果的准确性不高。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种物体检索的方法、检索校验的方法及装置。所述技术方案如下：
一方面，提供了一种物体检索的方法，所述方法包括：
获取待检索物体图像及所述待检索物体图像中的指定区域，并计算所述待检索物体图像中的指定区域的局部特征点，所述指定区域为用户通过GUI(Graphical User Interface，图形用户界面)选定的具有区分力的区域；
在预先构建的索引集合中查找与所述指定区域的局部特征点相匹配的索引，所述索引集合根据视频中的物体图像的局部特征点构建；
获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像。
进一步地，所述在预先构建的索引集合中查找与所述指定区域的局部特征点相匹配的索引之前，还包括：
获取视频中的物体图像，并计算所述物体图像的局部特征点；
对得到的局部特征点进行聚类，并以聚类中心的局部特征点为索引构建索引集合。
具体地，所述在预先构建的索引集合中查找与所述指定区域的局部特征点相匹配的索引，具体包括：
将所述指定区域的局部特征点与索引集合中的局部特征点进行聚类，并将所述索引集合中与所述指定区域的局部特征点为一类的局部特征点作为查找到的与所述指定区域的局部特征点相匹配的索引。
进一步地，所述获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像之后，还包括：
获取所述指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对；
计算每个局部特征点对中的两个局部特征点之间的角度差，并在计算得到的角度差中确定主角度差；
计算每个角度差到所述主角度差的距离，并根据所述距离对检索到的物体图像进行校验。
可选地，所述获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像之后，还包括：
获取所述指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对；
计算任意两个局部特征点对中每个局部特征点对的两个局部特征点之间的角度差，并计算所述任意两个局部特征点对构成的线段对的夹角；
判断计算得到的角度差与线段对的夹角是否相等，如果判断结果为相等，则将所述任意两个局部特征点对作为匹配的局部特征点对；
统计检索到的物体图像中匹配的局部特征点对的个数，并根据匹配的局部特征点对的个数对检索到的物体图像进行校验。
进一步地，所述获取待检索物体图像之后，还包括：
显示所述待检索物体图像，及所述待检索物体图像中的指定区域。
进一步地，所述获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像之后，还包括：
显示所述检索到的物体图像。
进一步地，所述方法还包括：
显示经校验通过的物体图像。
另一方面，还提供了一种物体检索的装置，所述装置包括：
第一获取模块，用于获取待检索物体图像及所述待检索物体图像中的指定区域，所述指定区域为用户通过图形用户界面GUI选定的具有区分力的区域；
计算模块，用于计算所述第一获取模块获取到的待检索物体图像中的指定区域的局部特征点；
查找模块，用于在预先构建的索引集合中查找与所述计算模块计算得到的指定区域的局部特征点相匹配的索引，所述索引集合根据视频中的物体图像的局部特征点构建；
第二获取模块，用于获取所述查找模块查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像。
进一步地，所述装置，还包括：
索引集合构建模块，用于获取视频中的物体图像，并计算所述物体图像的局部特征点；对得到的局部特征点进行聚类，并以聚类中心的局部特征点为索引构建索引集合。
具体地，所述查找模块，具体用于将所述指定区域的局部特征点与所述索引集合构建模块构建的索引集合中的局部特征点进行聚类，并将所述索引集合中与所述指定区域的局部特征点为一类的局部特征点作为查找到的与所述指定区域的局部特征点相匹配的索引。
进一步地，所述装置，还包括：
第一校验模块，用于获取所述指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对；计算每个局部特征点对中的两个局部特征点之间的角度差，并在计算得到的角度差中确定主角度差；计算每个角度差到所述主角度差的距离，并根据所述距离对检索到的物体图像进行校验。
可选地，所述装置，还包括：
第二校验模块，用于获取所述指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对；计算任意两个局部特征点对中每个局部特征点对的两个局部特征点之间的角度差，并计算所述任意两个局部特征点对构成的线段对的夹角；判断计算得到的角度差与线段对的夹角是否相等，如果判断结果为相等，则将所述任意两个局部特征点对作为匹配的局部特征点对；统计检索到的物体图像中匹配的局部特征点对的个数，并根据匹配的局部特征点对的个数对检索到的物体图像进行校验。
进一步地，所述装置，还包括：
第一图形用户界面，用于显示所述第一获取模块获取到的待检索物体图像，及所述待检索物体图像中的指定区域。
进一步地，所述装置，还包括：
第二图形用户界面，用于显示所述第二获取模块获取到的检索到的物体图像。
进一步地，所述装置，还包括：
第三图形用户界面，用于显示经所述第一校验模块或第二校验模块校验通过的物体图像。
再一方面，还提供了一种检索校验的方法，所述方法包括：
获取待检索物体图像中的指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对，所述指定区域为用户通过图形用户界面GUI选定的具有区分力的区域；
计算任意两个局部特征点对中每个局部特征点对的两个局部特征点之间的角度差，并计算所述任意两个局部特征点对构成的线段对的夹角；
判断计算得到的角度差与线段对的夹角是否相等，如果判断结果为相等，则将所述任意两个局部特征点对作为匹配的局部特征点对；
统计检索到的物体图像中匹配的局部特征点对的个数，并根据匹配的局部特征点对的个数对检索到的物体图像进行校验。
进一步地，所述获取待检索物体图像中的指定区域的每个局部特征点与检索到的物体图像的对应局部特征点之前，还包括：
获取待检索物体图像及所述待检索物体图像中的指定区域，并计算所述待检索物体图像中的指定区域的局部特征点；
在预先构建的索引集合中查找与所述指定区域的局部特征点相匹配的索引，所述索引集合根据视频中的物体图像的局部特征点构建；
获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像。
进一步地，所述在预先构建的索引集合中查找与所述指定区域的局部特征点相匹配的索引之前，还包括：
获取视频中的物体图像，并计算所述物体图像的局部特征点；
对得到的局部特征点进行聚类，并以聚类中心的局部特征点为索引构建索引集合。
具体地，所述在预先构建的索引集合中查找与所述指定区域的局部特征点相匹配的索引，具体包括：
将所述指定区域的局部特征点与索引集合中的局部特征点进行聚类，并将所述索引集合中与所述指定区域的局部特征点为一类的局部特征点作为查找到的与所述指定区域的局部特征点相匹配的索引。
进一步地，所述获取待检索物体图像之后，还包括：
显示所述待检索物体图像，及所述待检索物体图像中的指定区域。
进一步地，所述获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像之后，还包括：
显示所述检索到的物体图像。
进一步地，所述根据匹配的局部特征点对的个数对检索到的物体图像进行校验之后，还包括：
显示经校验通过的物体图像。
又一方面，还提供了一种检索校验的装置，所述装置包括：
第一获取模块，用于获取待检索物体图像中的指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对，所述指定区域为用户通过图形用户界面GUI选定的具有区分力的区域；
计算模块，用于计算所述第一获取模块获取到的任意两个局部特征点对中每个局部特征点对的两个局部特征点之间的角度差，并计算所述任意两个局部特征点对构成的线段对的夹角；
判断模块，用于判断所述计算模块得到的角度差与线段对的夹角是否相等；
校验模块，用于如果所述判断模块的判断结果为匹配，则将所述任意两个局部特征点对作为匹配的局部特征点对，统计检索到的物体图像中匹配的局部特征点对的个数，并根据匹配的局部特征点对的个数对检索到的物体图像进行校验。
进一步地，所述装置，还包括：
检索模块，用于获取待检索物体图像及所述待检索物体图像中的指定区域，并计算所述待检索物体图像中的指定区域的局部特征点；在预先构建的索引集合中查找与所述指定区域的局部特征点相匹配的索引，所述索引集合根据视频中的物体图像的局部特征点构建；获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像。
进一步地，所述装置，还包括：
索引集合构建模块，用于获取视频中的物体图像，并计算所述物体图像的局部特征点；对得到的局部特征点进行聚类，并以聚类中心的局部特征点为索引构建索引集合。
具体地，所述检索模块，具体用于将所述指定区域的局部特征点与所述索引集合构建模块构建的索引集合中的局部特征点进行聚类，并将所述索引集合中与所述指定区域的局部特征点为一类的局部特征点作为查找到的与所述指定区域的局部特征点相匹配的索引。
进一步地，所述装置，还包括：
第四图形用户界面，用于显示所述检索模块获取到的待检索物体图像，及所述待检索物体图像中的指定区域。
进一步地，所述装置，还包括：
第五图形用户界面，用于显示所述检索模块检索到的物体图像。
进一步地，所述装置，还包括：
第六图形用户界面，用于显示经所述校验模块校验通过的物体图像。
本发明实施例提供的技术方案带来的有益效果是：
针对物体检索的方法，通过利用待检索物体图像中的指定区域的局部特征点在视频中检索物体图像，而该指定区域为用户通过GUI选定的具有区分力的区域，因而实现了通过图像的局部区域进行物体检索，继而可以扩大物体检索的应用范围；另外，由于局部特征点的计算不受光照等外界因素的影响，从而可以在视频中有效地检索物体，提高检索结果的准确性。
针对检索校验的方法，通过计算任意两个局部特征点对中对应的局部特征点的角度差及任意两个局部特征点对构成的线段对的夹角，并以此获取匹配的局部特征点对后，再根据匹配的局部特征点对的个数对检索到的物体图像进行校验，在降低计算复杂度的情况下，有效地利用了局部特征点之间相对的位置关系，进而提高了校验性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种物体检索的方法流程图；
图2是本发明实施例一提供的一种检索校验的方法流程图；
图3是本发明实施例二提供的一种物体检索的方法流程图；
图4是本发明实施例二提供的一种物体检索的界面示意图；
图5是本发明实施例二提供的一种图像匹配示意图；
图6是本发明实施例二提供的一种角度差分布示意图；
图7是本发明实施例二提供的一种点对示意图；
图8是本发明实施例三提供的一种检索校验的方法流程图；
图9是本发明实施例四提供的第一种物体检索的装置结构示意图；
图10是本发明实施例四提供的第二种物体检索的装置结构示意图；
图11是本发明实施例四提供的第三种物体检索的装置结构示意图；
图12是本发明实施例四提供的第四种物体检索的装置结构示意图；
图13是本发明实施例五提供的第一种检索校验的装置结构示意图；
图14是本发明实施例五提供的第二种检索校验的装置结构示意图；
图15是本发明实施例五提供的第三种检索校验的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
本实施例提供了一种物体检索的方法，该方法通过利用待检索物体图像中的指定区域的局部特征点在视频中检索物体图像，实现了通过图像的局部区域进行物体检索。参见图1，本实施例提供的方法流程具体如下：
101：获取待检索物体图像及待检索物体图像中的指定区域，并计算待检索物体图像中的指定区域的局部特征点，指定区域为用户通过GUI选定的具有区分力的区域；
102：在预先构建的索引集合中查找与指定区域的局部特征点相匹配的索引，该索引集合根据视频中的物体图像的局部特征点构建；
进一步地，在预先构建的索引集合中查找与指定区域的局部特征点相匹配的索引之前，还包括：
获取视频中的物体图像，并计算物体图像的局部特征点；
对得到的局部特征点进行聚类，并以聚类中心的局部特征点为索引构建索引集合。
其中，在预先构建的索引集合中查找与指定区域的局部特征点相匹配的索引，具体包括：
将指定区域的局部特征点与索引集合中的局部特征点进行聚类，并将索引集合中与指定区域的局部特征点为一类的局部特征点作为查找到的与指定区域的局部特征点相匹配的索引。
103：获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像。
进一步地，获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像之后，还包括：
获取指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对；
计算每个局部特征点对中的两个局部特征点之间的角度差，并在计算得到的角度差中确定主角度差；
计算每个角度差到主角度差的距离，并根据距离对检索到的物体图像进行校验。
可选地，获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像之后，还包括：
获取指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对；
计算任意两个局部特征点对中每个局部特征点对的两个局部特征点之间的角度差，并计算任意两个局部特征点对构成的线段对的夹角；
判断计算得到的角度差与线段对的夹角是否相等，如果判断结果为相等，则将任意两个局部特征点对作为匹配的局部特征点对；
统计检索到的物体图像中匹配的局部特征点对的个数，并根据匹配的局部特征点对的个数对检索到的物体图像进行校验。
进一步地，获取待检索物体图像之后，还包括：
显示待检索物体图像，及待检索物体图像中的指定区域。
进一步地，获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像之后，还包括：
显示检索到的物体图像。
进一步地，该方法还包括：
显示经校验通过的物体图像。
另一方面，本实施例还提供了一种检索校验的方法，参见图2，本实施例提供的方法流程具体如下：
201：获取待检索物体图像中的指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对，指定区域为用户通过GUI选定的具有区分力的区域；
进一步地，获取待检索物体图像中的指定区域的每个局部特征点与检索到的物体图像的对应局部特征点之前，还包括：
获取待检索物体图像及待检索物体图像中的指定区域，并计算待检索物体图像中的指定区域的局部特征点；
在预先构建的索引集合中查找与指定区域的局部特征点相匹配的索引，索引集合根据视频中的物体图像的局部特征点构建；
获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像。
进一步地，在预先构建的索引集合中查找与指定区域的局部特征点相匹配的索引之前，还包括：
获取视频中的物体图像，并计算物体图像的局部特征点；
对得到的局部特征点进行聚类，并以聚类中心的局部特征点为索引构建索引集合。
其中，在预先构建的索引集合中查找与指定区域的局部特征点相匹配的索引，具体包括：
将指定区域的局部特征点与索引集合中的局部特征点进行聚类，并将索引集合中与指定区域的局部特征点为一类的局部特征点作为查找到的与指定区域的局部特征点相匹配的索引。
202：计算任意两个局部特征点对中每个局部特征点对的两个局部特征点之间的角度差，并计算任意两个局部特征点对构成的线段对的夹角；
203：判断计算得到的角度差与线段对的夹角是否相等，如果判断结果为相等，则将任意两个局部特征点对作为匹配的局部特征点对；
204：统计检索到的物体图像中匹配的局部特征点对的个数，并根据匹配的局部特征点对的个数对检索到的物体图像进行校验。
进一步地，获取待检索物体图像之后，还包括：
显示待检索物体图像，及待检索物体图像中的指定区域。
进一步地，获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像之后，还包括：
显示检索到的物体图像。
进一步地，根据匹配的局部特征点对的个数对检索到的物体图像进行校验之后，还包括：
显示经校验通过的物体图像。
本实施例提供的物体检索的方法，通过利用待检索物体图像中的指定区域的局部特征点在视频中检索物体图像，而指定区域为用户通过GUI选定的具有区分力的区域，因而实现了通过图像的局部区域进行物体检索，继而可以扩大物体检索的应用范围；另外，由于局部特征点的计算不受光照等外界因素的影响，从而可以在视频中有效地检索物体，提高检索结果的准确性。
本实施例提供的检索校验的方法，通过计算任意两个局部特征点对中对应的局部特征点的角度差及任意两个局部特征点对构成的线段对的夹角，并以此获取匹配的局部特征点对后，再根据匹配的局部特征点对的个数对检索到的物体图像进行校验，在降低计算复杂度的情况下，有效地利用了局部特征点之间相对的位置关系，进而提高了校验性能。
为了更加清楚地阐述上述实施例提供的物体检索的方法以及检索校验的方法，结合上述实施例的内容，以如下实施例二和实施例三为例，对物体检索的方法及检索校验的方法进行详细说明，详见如下实施例二和实施例三：
实施例二
本实施例提供了一种物体检索的方法，由于在检索物体时，物体图像中会包含一些具有区分力的局部区域，而局部特征点可以用来侦测与描述图像中的局部特征，因此，为了扩大物体检索的应用范围，本实施例提供的方法通过利用待检索物体图像中的指定区域的局部特征点在视频中检索物体图像，实现了通过图像的局部区域进行物体检索。结合上述实施例一的内容，为了便于说明，本实施例以局部特征点为SIFT（Scale-Invariant Feature Transform，尺度不变特征转换）点为例进行说明。参见图3，本实施例提供的方法流程具体如下：
301：获取视频中的物体图像，并计算该物体图像的SIFT点；
针对该步骤的具体实现方式，首先获取视频，该视频中可能包含各种物体，包括但不限于树木、汽车、建筑、人物等等。其次，在获取到视频后，将视频转换成对应的图像序列，再针对图像序列中的每个图像进行物体检测，得到多帧包含物体的图像，并用帧号对其进行标识，标识出的多帧包含物体的图像可由前景图像和背景图像组成，其中的物体图像可以为包含物体的图像中的前景图像，通过以坐标、长和宽等信息标识出其中的物体图像，进而可根据坐标、长和宽等信息从包含物体的图像中提取出物体图像，之后再对提取出的物体图像进行SIFT点计算。因现有技术中计算SIFT点的方式已经十分成熟，此处可根据现有技术中的SIFT点的计算方式计算物体图像的SFIT点，本实施例对此不再赘述。
其中，关于上述获取视频的方式，由于随着视频技术的不断发展，视频获取设备被广泛分布在各种应用场合，因而由视频获取设备可获取到大量的视频。又由于获取到的视频可以反映出一定范围内的场景信息，则获取到的视频的数量越多，通过该视频获取到的物体图像的种类越多，物体检索的范围越广，因此，可提高视频的获取数量。当然，具体实施时，本实施例不对获取到的视频的数量及物体图像的数量进行限定。
302：对得到的SIFT点进行聚类，并以聚类为中心的SIFT点为索引构建索引集合；
针对该步骤，对得到的SIFT点进行聚类的方式可以有多种，本实施例采用的方式包括但不限于：采用K-mean算法对得到的所有SIFT点进行聚类，具体过程如下：
首先，从所有SIFT点中随机选择K个SIFT点作为K个类的初始聚类中心，并计算每个SIFT点与K个初始聚类中心的相似度；其中，计算每个SIFT点与K个初始聚类中心的相似度的方式可以通过计算每个SIFT点与K个初始聚类中心的欧氏距离或马氏距离实现，或是采用其他计算相似度的方式，本实施例对此不作具体限定。
其次，在计算得到每个SIFT点与K个初始聚类中心的相似度之后，可按照相似度将各个SIFT点归到对应的类别中，得到K个类别，再针对每个类别计算类别中每个SIFT点之间的相似度，重新得到每个类别的聚类中心，由此完成SIFT点的聚类。
聚类得到的每个聚类中心同样为对应的SIFT点，而作为聚类中心的SIFT点可以代表一个类别的SIFT点，该类别的SIFT点又可对应一类物体图像。因此，在得到每个类别的聚类中心后，本实施例将聚类中心的SIFT点为索引构建得到索引集合，从而实现根据物体图像得到SIFT点并进行聚类后，以作为聚类中心的SIFT点为索引查找对应类别的物体图像。例如，分别计算物体图像A、B、C、D、E和F的SIFT点并对其进行聚类后，物体图像A、B、C和D对应同一聚类中心SIFT点1，物体图像E和F对应同一聚类中心SIFT点2，则在将SIFT点1和SIFT点2作为索引构建索引集合后，通过查询SIFT点1即可确定对应的物体图像A、B、C和D，通过SIFT点2即可确定对应的物体图像E和F。
需要说明的是，上述步骤301和步骤302所描述的构建索引集合的过程可看作根据视频建立检索数据库的过程，将所有视频均以索引集合的方式进行存储，从而可使后续步骤通过索引集合实现在视频中检索对应的物体图像。因此，该步骤301和步骤302可作为物体检索的前提条件，因而可在执行物体检索的方法之前执行。另外，在视频未发生改变的情况下执行本实施例提供的物体检索的方法时，该步骤301和步骤302的过程无需重复执行，也就是说，在视频未发生改变的情况下，可根据相同的索引集合实现物体检索。当然，如果视频发生改变，或是获取到了新的视频，可重新执行上述步骤301和步骤302，以建立对应的索引集合。
303：获取待检索物体图像及待检索物体图像中的指定区域，并计算待检索物体图像中的指定区域的SIFT点，该指定区域为用户通过GUI选定的具有区分力的区域；
其中，该待检索物体图像可以由用户指定，从而实现根据用户指定的物体图像在视频中检索对应的物体图像。具体实施时，本实施例提供的方法可为用户提供待检索物体图像的输入界面，即GUI界面，由用户在该输入界面选择输入对应的待检索物体图像，以此作为获取到的待检索物体图像并对其进行显示。待用户在该输入界面选择输入对应的待检索物体图像后，用户还可在该待检索物体图像中选定具有区分力的局部区域，例如，衣服上的图案、汽车的图标、挂架等等，并将其作为指定区域，以通过后续步骤实现根据该指定区域的SIFT点进行物体检索。
为了便于理解，以为用户提供图4所示的输入界面，用户由此选择输入的待检索物体图像为一辆汽车为例。图4中，41为待检索物体图像的输入选项，当用户选择该选项后，执行待检索物体图像的输入操作，并获取用户选择输入的待检索物体图像后，在输入界面上显示获取到的待检索物体图像42。进一步地，用户还可通过鼠标等输入设备在显示的待检索物体图像42中标出如图4中421所示的指定区域，至此完成用户的输入操作，继而触发获取用户输入的待检索物体图像及指定区域，并按照现有的计算SIFT点的方式计算该指定区域的SIFT点。
304：在预先构建的索引集合中查找与指定区域的SIFT点相匹配的索引，该索引集合根据视频中的物体图像的SIFT点构建；
具体地，在预先构建的索引集合中查找与指定区域的SIFT点相匹配的索引的方式有多种，本实施例采取的方式包括但不限于：
将指定区域的SIFT点与索引集合中的SIFT点进行聚类，并将索引集合中与指定区域的SIFT点为一类的SIFT点作为查找到的与指定区域的SIFT点相匹配的索引。
其中，将指定区域的SIFT点与索引集合中的SIFT点进行聚类时，聚类方式可采用上述步骤302中对得到的SIFT点进行聚类的方式，将指定区域的SIFT点与索引集合中的SIFT归为一类，并将与指定区域的SIFT点为一类的SIFT点作为查找到的索引。
305：获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像。
针对该步骤，由于在上述步骤302构建索引集合时，索引集合中的每个索引均对应一类物体图像，因而可根据查找到的索引获取到对应类别的物体图像。又由于查找到的索引是与指定区域的SIFT点相匹配的SIFT点，因而根据查找到的索引获取到的物体图像也应该包括该指定区域的特征，从而可将获取到的物体图像作为在视频中检索到的物体图像，得到检索结果。
另外，为了使用户获知检索结果，本实施例提供的方法还支持显示检索到的物体图像的步骤。具体显示方式可以有多种，包括但不限于在显示待检测物体图像的界面中，再显示检测到的物体图像。例如图4所示的界面，当用户在左侧界面选择输入待检索物体图像，并选择指定区域后，通过该步骤305得到的检索到的物体图像可显示在图4右侧所示的界面上。
进一步地，如果在视频中检索到的物体图像与待检索物体图像完全匹配，则二者之间对应的SIFT点对应该在角度差和尺度比上均具有一致性，以图5所示的待检索物体图像中的指定区域与检索到的物体图像，其角度差分布如图6所示为例。从图6所示的直方图中可以看出，计算得到的角度差有4种，其中两种角度差的个数最多，主要集中在直方图的两个区域，其他区域的角度差可作为错误匹配产生的角度差。因此，为了去除不匹配的检索结果，进一步提高物体检索的准确性，本实施例提供的方法还支持对检索到的物体图像进行校验的过程。具体的校验方式包括但不限于如下两种：
第一种校验方式：获取指定区域的每个SIFT点与检索到的物体图像的对应SIFT点，得到SIFT点对；计算每个SIFT点对中的两个SIFT点之间的角度差，并在角度差中确定主角度差；计算每个角度差到主角度差的距离，并根据距离对检索到的物体图像进行校验。
针对第一种校验方式，以图7中所示的四个点对（f1，g1）、（f2，g2）、（f3，g3）、（f4，g4）为例，如果两个图像为匹配的图像，每个点对中的两个SIFT点之间的角度差应该是相同的，而由图7可以看出，点对（f4，g4）中的两个SIFT点在图像中的位置是不一致的，因而这两个SIFT点之间的角度差与其他点对中的两个SIFT点之间的角度差不相等，在角度差中确定主角度差时，可将分布个数最多的角度差确定为主角度差，之后再计算每个角度差到主角度差的距离，根据距离对检索到的物体图像进行校验。
具体校验时，可按照每个物体图像对应的各个角度差到主角度差的距离之和对每个物体图像进行排序，或按照每个物体图像对应的各个角度差到主角度差的距离中的最大距离对每个物体图像进行排序，在排序结果中选取预设数目的物体图像作为最终检索结果。其中，可按照由小到大的顺序进行排序，也可按照由大到小的顺序进行排序，本实施例不对具体的排序顺序进行限定，同样不对选取物体图像的预设数目的具体大小进行限定。由于距离越大，说明匹配的误差越大，因而可选择距离小的物体图像作为校验通过的物体图像。
第二种校验方式：获取指定区域的每个SIFT点与检索到的物体图像的对应SIFT点，得到SIFT点对；计算任意两个SIFT点对中每个SIFT点对的两个SIFT点之间的角度差，并计算任意两个SIFT点对构成的线段对的夹角；判断计算得到的角度差与线段对的夹角是否相等，如果判断结果为相等，则将任意两个SIFT点对作为匹配的SIFT点对；统计检索到的物体图像中匹配的SIFT点对的个数，并根据匹配的SIFT点对的个数对检索到的物体图像进行校验。
针对该第二种校验方式，具体可详见实施例三中的描述，此处暂不赘述。
本实施例提供的方法，在进行物体检索时，通过利用待检索物体图像中的指定区域的SIFT点在视频中检索物体图像，而指定区域为用户通过GUI选定的具有区分力的区域，因而实现了通过图像的局部区域进行物体检索，继而可以扩大物体检索的应用范围；且由于SIFT点的计算不受光照等外界因素的影响，从而可以在视频中有效地检索物体，提高检索结果的准确性；另外，在检索到物体图像后，通过对检索到的物体图像进行校验，可以去除不匹配的物体图像，进一步提高检索结果的准确性。
实施例三
本实施例提供了一种检索校验的方法，结合上述实施例一的内容，该方法以对上述实施例二提供的物体检索的方法得到的检索结果进行检索校验为例进行说明。为了便于说明，仍以局部特征点为SIFT点为例。参见图8，本实施例提供的方法流程具体如下：
801：获取待检索物体图像中的指定区域的每个SIFT点与检索到的物体图像的对应SIFT点，得到SIFT点对，指定区域为用户通过GUI选定的具有区分力的区域；
其中，待检索物体图像、待检索物体图像中的指定区域、以及指定区域的每个SIFT点的获取方式具体可参考上述实施例二中步骤303的相关描述，此处不再赘述。检索到的物体图像为通过上述实施例二提供的物体检索的方法在视频中进行物体检索后得到的图像，因此，在该步骤获取待检索物体图像中的指定区域的每个SIFT点与检索到的物体图像的对应SIFT点之前，还包括如下步骤：
获取待检索物体图像及待检索物体图像的指定区域，并计算待检索物体图像中的指定区域的SIFT点，指定区域为用户通过GUI选定的具有区分力的区域；
在预先构建的索引集合中查找与指定区域的SIFT点相匹配的索引，该索引集合根据视频中的物体图像的SIFT点构建；
获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像。
进一步地，在预先构建的索引集合中查找与指定区域的SIFT点相匹配的索引之前，还包括：
获取视频中的物体图像，并计算物体图像的SIFT点；
对得到的SIFT点进行聚类，并以聚类中心的SIFT点为索引构建索引集合。
具体地，在预先构建的索引集合中查找与指定区域的SIFT点相匹配的索引，具体包括：
将指定区域的SIFT点与索引集合中的SIFT点进行聚类，并将索引集合中与指定区域的SIFT点为一类的SIFT点作为查找到的与指定区域的SIFT点相匹配的索引。
上述获取检索到的物体图像的方式具体可参见上述实施例二的描述，此处不再赘述。
802：计算任意两个SIFT点对中每个SIFT点对的两个SIFT点之间的角度差，并计算该任意两个SIFT点对构成的线段对的夹角；
针对该步骤，为了便于说明，以计算图7所示的四个点对（f1，g1）、（f2，g2）、（f3，g3）、（f4，g4）中的（f1，g1）和（f4，g4）这两个SIFT点对中对应的SIFT点的角度差及构成的线段对的夹角为例，具体可用如下公式表示：
SIFTAngle(f1)–SIFTAngle(g1);
SIFTAngle(f4)–SIFTAngle(g4);
Angle(f1f4,g1g4);
其中，SIFTAngle(f1)–SIFTAngle(g1)表示f1和g 1的角度差，SIFTAngle(f4)–SIFTAngle(g4)表示f4和g4的角度差，Angle(f1f4,g1g4)表示f1和f4构成的线段与g1和g4构成的线段组成的线段对的夹角，角度差及夹角均可通过SIFT点自身的位置、尺度和方向得到。计算线段对的夹角，利用了SIFT点的相对位置关系，使用了更多的空间信息，因而可以提高校验性能。
803：判断计算得到的角度差与线段对的夹角是否相等，如果是，执行步骤804，如果否，执行步骤805；
针对该步骤，之所以判断上述步骤802得到的角度差与线段对的夹角是否相等，是因为如果待检索图像与检索到的物体图像之间互相匹配，则这两个图像中任意两个SIFT点对中对应的SIFT点的角度差及该任意两个SIFT点对构成的线段对的夹角应该是相等的。因此，如果该步骤的判断结果为相等，则执行步骤804，如果该步骤的判断结果为不相等，则执行步骤805。
804：将该任意两个SIFT点对作为匹配的SIFT点对，执行步骤806；
在上述步骤803判断上述步骤802得到的角度差与线段对的夹角相等后，则将该任意两个SIFT点对作为匹配的SIFT点对。
805：将该任意两个SIFT点作为不匹配的SIFT点对；
在上述步骤803判断上述步骤802得到的角度差与线段对的夹角不相等后，则将该任意两个SIFT点对作为不匹配的SIFT点对。
806：统计检索到的物体图像中匹配的SIFT点对的个数，根据匹配的SIFT点对的个数对检索到的物体图像进行校验。
针对该步骤，对于每个检索到的物体图像中的每组任意两个SIFT点对，均可按照上述步骤802和步骤803判断得出其是否匹配，从而可统计出每个检索到的物体图像中匹配的SIFT点对的个数，并根据匹配的SIFT点对的个数对检索到的物体图像进行校验。
具体校验时，可按照匹配的SIFT点对的个数对检索到的物体图像进行排序，并在排序结果中选取预设数目的检索到的物体图像作为校验通过的物体图像。其中，根据匹配的SIFT点对的个数对检索到的物体图像进行排序时，可按照由小到大的顺序进行排序，也可按照由大到小的顺序进行排序，本实施例不对具体的排序顺序进行限定，同样不对选取检索到的物体图像的预设数目的具体大小进行限定。由于匹配的SIFT点对的个数越少，说明匹配的误差越大，相反，匹配的SIFT点对的个数越多，匹配的误差越小，因而可选择匹配的SIFT点对的个数多的物体图像作为校验通过的物体图像。
进一步地，对于校验通过的物体图像，本实施例提供的方法还支持将其进行显示的步骤，具体显示方式可以有多种，本实施例对此不作具体限定。
需要说明的是，本实施例提供的检索校验的方法除了可以对上述实施例一或实施例二提供的物体检索的方法所得到的检索结果进行校验外，还可以对其他物体检索的方式所得到的检索结果进行校验，本实施例不对校验的检索结果的获取方式进行限定。
本实施例提供的方法，通过计算任意两个SIFT点对中对应的SIFT点的角度差及任意两个SIFT点对构成的线段对的夹角，并以此获取匹配的SIFT点对后，再根据匹配的SIFT点对的个数对检索到的物体图像进行校验，在降低计算复杂度的情况下，有效地利用了SIFT点之间相对的位置关系，进而提高了校验性能。
实施例四
本实施例提供了一种物体检索的装置，该装置用于执行上述实施例一及实施例二提供的物体检索的方法。参见图9，该装置包括：
第一获取模块901，用于获取待检索物体图像及待检索物体图像的指定区域，指定区域为用户通过GUI选定的具有区分力的区域；
计算模块902，用于计算第一获取模块901获取到的待检索物体图像中的指定区域的局部特征点；
查找模块903，用于在预先构建的索引集合中查找与计算模块902计算得到的指定区域的局部特征点相匹配的索引，索引集合根据视频中的物体图像的局部特征点构建；
第二获取模块904，用于获取查找模块903查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像。
参见图10，该装置，还包括：
索引集合构建模块905，用于获取视频中的物体图像，并计算物体图像的局部特征点；对得到的局部特征点进行聚类，并以聚类中心的局部特征点为索引构建索引集合。
其中，查找模块903，具体用于将指定区域的局部特征点与索引集合构建模块构建的索引集合中的局部特征点进行聚类，并将索引集合中与指定区域的局部特征点为一类的局部特征点作为查找到的与指定区域的局部特征点相匹配的索引。
进一步地，参见图11，该装置，还包括：
第一校验模块906，用于获取指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对；计算每个局部特征点对中的两个局部特征点之间的角度差，并在计算得到的角度差中确定主角度差；计算每个角度差到主角度差的距离，并根据距离对检索到的物体图像进行校验。
进一步地，参见图12，该装置，还包括：
第二校验模块907，用于获取指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对；计算任意两个局部特征点对中每个局部特征点对的两个局部特征点之间的角度差，并计算任意两个局部特征点对构成的线段对的夹角；判断计算得到的角度差与线段对的夹角是否相等，如果判断结果为相等，则将任意两个局部特征点对作为匹配的局部特征点对；统计检索到的物体图像中匹配的局部特征点对的个数，并根据匹配的局部特征点对的个数对检索到的物体图像进行校验。
进一步地，该装置，还包括：
第一图形用户界面，用于显示第一获取模块901获取到的待检索物体图像，及待检索物体图像中的指定区域。
进一步地，该装置，还包括：
第二图形用户界面，用于显示第二获取模块904获取到的检索到的物体图像。
进一步地，该装置还包括：
第三图形用户界面，用于显示经第一校验模块906或第二校验模块907校验通过的物体图像。
本实施例提供的装置，在进行物体检索时，通过利用待检索物体图像中的指定区域的局部特征点在视频中检索物体图像，而指定区域为用户通过GUI选定的具有区分力的区域，因而实现了通过图像的局部区域进行物体检索，继而可以扩大物体检索的应用范围；且由于局部特征点的计算不受光照等外界因素的影响，从而可以在视频中有效地检索物体，提高检索结果的准确性；另外，在检索到物体图像后，通过对检索到的物体图像进行校验，可以去除不匹配的物体图像，进一步提高检索结果的准确性。
实施例五
本实施例提供了一种检索校验的装置，该装置用于执行上述实施例一或实施例三提供的检索校验的方法。参见图13，该装置包括：
第一获取模块1301，用于获取待检索物体图像中的指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对，指定区域为用户通过GUI选定的具有区分力的区域；
计算模块1302，用于计算第一获取模块1301获取到的任意两个局部特征点对中每个局部特征点对的两个局部特征点之间的角度差，并计算任意两个局部特征点对构成的线段对的夹角；
判断模块1303，用于判断计算模块1302得到的角度差与线段对的夹角是否相等；
校验模块1304，用于如果判断模块1303的判断结果为匹配，则将任意两个局部特征点对作为匹配的局部特征点对，统计检索到的物体图像中匹配的局部特征点对的个数，并根据匹配的局部特征点对的个数对检索到的物体图像进行校验。
进一步地，参见图14，该装置，还包括：
检索模块1305，用于获取待检索物体图像及待检索物体图像中的指定区域，并计算待检索物体图像中的指定区域的局部特征点；在预先构建的索引集合中查找与指定区域的局部特征点相匹配的索引，索引集合根据视频中的物体图像的局部特征点构建；获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像。
进一步地，参见图15，该装置，还包括：
索引集合构建模块1306，用于获取视频中的物体图像，并计算物体图像的局部特征点；对得到的局部特征点进行聚类，并以聚类中心的局部特征点为索引构建索引集合。
其中，检索模块1305，具体用于将指定区域的局部特征点与索引集合构建模块1306构建的索引集合中的局部特征点进行聚类，并将索引集合中与指定区域的局部特征点为一类的局部特征点作为查找到的与指定区域的局部特征点相匹配的索引。
进一步地，该装置，还包括：
第四图形用户界面，用于显示检索模块1305获取到的待检索物体图像，及待检索物体图像中的指定区域。
进一步地，该装置，还包括：
第五图形用户界面，用于显示检索模块1305检索到的物体图像。
进一步地，该装置，还包括：
第六图形用户界面，用于显示经校验模块1304校验通过的物体图像。
本实施例提供的检索校验的装置，通过计算任意两个局部特征点对中对应的局部特征点的角度差及任意两个局部特征点对构成的线段对的夹角，并以此获取匹配的局部特征点对后，再根据匹配的局部特征点对的个数对检索到的物体图像进行校验，在降低计算复杂度的情况下，有效地利用了局部特征点之间相对的位置关系，进而提高了校验性能。
需要说明的是：上述实施例提供的物体检索的装置在进行物体检索时，检索校验的装置在进行检索校验时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的物体检索的装置与物体检索的方法实施例属于同一构思，检索校验的装置与检索校验的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (30)

1.一种物体检索的方法，其特征在于，所述方法包括：
获取待检索物体图像及所述待检索物体图像中的指定区域，并计算所述待检索物体图像中的指定区域的局部特征点，所述指定区域为用户通过图形用户界面GUI选定的具有区分力的区域；
在预先构建的索引集合中查找与所述指定区域的局部特征点相匹配的索引，所述索引集合根据视频中的物体图像的局部特征点构建；
获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像。
2.根据权利要求1所述的方法，其特征在于，所述在预先构建的索引集合中查找与所述指定区域的局部特征点相匹配的索引之前，还包括：
获取视频中的物体图像，并计算所述物体图像的局部特征点；
对得到的局部特征点进行聚类，并以聚类中心的局部特征点为索引构建索引集合。
3.根据权利要求1或2所述的方法，其特征在于，所述在预先构建的索引集合中查找与所述指定区域的局部特征点相匹配的索引，具体包括：
将所述指定区域的局部特征点与索引集合中的局部特征点进行聚类，并将所述索引集合中与所述指定区域的局部特征点为一类的局部特征点作为查找到的与所述指定区域的局部特征点相匹配的索引。
4.根据权利要求1所述的方法，其特征在于，所述获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像之后，还包括：
获取所述指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对；
计算每个局部特征点对中的两个局部特征点之间的角度差，并在计算得到的角度差中确定主角度差；
计算每个角度差到所述主角度差的距离，并根据所述距离对检索到的物体图像进行校验。
5.根据权利要求1所述的方法，其特征在于，所述获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像之后，还包括：
获取所述指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对；
计算任意两个局部特征点对中每个局部特征点对的两个局部特征点之间的角度差，并计算所述任意两个局部特征点对构成的线段对的夹角；
判断计算得到的角度差与线段对的夹角是否相等，如果判断结果为相等，则将所述任意两个局部特征点对作为匹配的局部特征点对；
统计检索到的物体图像中匹配的局部特征点对的个数，并根据匹配的局部特征点对的个数对检索到的物体图像进行校验。
6.根据权利要求1所述的方法，其特征在于，所述获取待检索物体图像之后，还包括：
显示所述待检索物体图像，及所述待检索物体图像中的指定区域。
7.根据权利要求1所述的方法，其特征在于，所述获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像之后，还包括：
显示所述检索到的物体图像。
8.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：
显示经校验通过的物体图像。
9.一种物体检索的装置，其特征在于，所述装置包括：
第一获取模块，用于获取待检索物体图像及所述待检索物体图像中的指定区域，所述指定区域为用户通过图形用户界面GUI选定的具有区分力的区域；
计算模块，用于计算所述第一获取模块获取到的待检索物体图像中的指定区域的局部特征点；
查找模块，用于在预先构建的索引集合中查找与所述计算模块计算得到的指定区域的局部特征点相匹配的索引，所述索引集合根据视频中的物体图像的局部特征点构建；
第二获取模块，用于获取所述查找模块查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像。
10.根据权利要求9所述的装置，其特征在于，所述装置，还包括：
索引集合构建模块，用于获取视频中的物体图像，并计算所述物体图像的局部特征点；对得到的局部特征点进行聚类，并以聚类中心的局部特征点为索引构建索引集合。
11.根据权利要求9或10所述的装置，其特征在于，所述查找模块，具体用于将所述指定区域的局部特征点与所述索引集合构建模块构建的索引集合中的局部特征点进行聚类，并将所述索引集合中与所述指定区域的局部特征点为一类的局部特征点作为查找到的与所述指定区域的局部特征点相匹配的索引。
12.根据权利要求9所述的装置，其特征在于，所述装置，还包括：
第一校验模块，用于获取所述指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对；计算每个局部特征点对中的两个局部特征点之间的角度差，并在计算得到的角度差中确定主角度差；计算每个角度差到所述主角度差的距离，并根据所述距离对检索到的物体图像进行校验。
13.根据权利要求9所述的装置，其特征在于，所述装置，还包括：
第二校验模块，用于获取所述指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对；计算任意两个局部特征点对中每个局部特征点对的两个局部特征点之间的角度差，并计算所述任意两个局部特征点对构成的线段对的夹角；判断计算得到的角度差与线段对的夹角是否相等，如果判断结果为相等，则将所述任意两个局部特征点对作为匹配的局部特征点对；统计检索到的物体图像中匹配的局部特征点对的个数，并根据匹配的局部特征点对的个数对检索到的物体图像进行校验。
14.根据权利要求9所述的装置，其特征在于，所述装置，还包括：
第一图形用户界面，用于显示所述第一获取模块获取到的待检索物体图像，及所述待检索物体图像中的指定区域。
15.根据权利要求9所述的装置，其特征在于，所述装置，还包括：
第二图形用户界面，用于显示所述第二获取模块获取到的检索到的物体图像。
16.根据权利要求12或13所述的装置，其特征在于，所述装置，还包括：
第三图形用户界面，用于显示经所述第一校验模块或第二校验模块校验通过的物体图像。
17.一种检索校验的方法，其特征在于，所述方法包括：
获取待检索物体图像中的指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对，所述指定区域为用户通过图形用户界面GUI选定的具有区分力的区域；
计算任意两个局部特征点对中每个局部特征点对的两个局部特征点之间的角度差，并计算所述任意两个局部特征点对构成的线段对的夹角；
判断计算得到的角度差与线段对的夹角是否相等，如果判断结果为相等，则将所述任意两个局部特征点对作为匹配的局部特征点对；
统计检索到的物体图像中匹配的局部特征点对的个数，并根据匹配的局部特征点对的个数对检索到的物体图像进行校验。
18.根据权利要求17所述的方法，其特征在于，所述获取待检索物体图像中的指定区域的每个局部特征点与检索到的物体图像的对应局部特征点之前，还包括：
获取待检索物体图像及所述待检索物体图像中的指定区域，并计算所述待检索物体图像中的指定区域的局部特征点；
在预先构建的索引集合中查找与所述指定区域的局部特征点相匹配的索引，所述索引集合根据视频中的物体图像的局部特征点构建；
获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像。
19.根据权利要求18所述的方法，其特征在于，所述在预先构建的索引集合中查找与所述指定区域的局部特征点相匹配的索引之前，还包括：
获取视频中的物体图像，并计算所述物体图像的局部特征点；
对得到的局部特征点进行聚类，并以聚类中心的局部特征点为索引构建索引集合。
20.根据权利要求19所述的方法，其特征在于，所述在预先构建的索引集合中查找与所述指定区域的局部特征点相匹配的索引，具体包括：
将所述指定区域的局部特征点与索引集合中的局部特征点进行聚类，并将所述索引集合中与所述指定区域的局部特征点为一类的局部特征点作为查找到的与所述指定区域的局部特征点相匹配的索引。
21.根据权利要求18所述的方法，其特征在于，所述获取待检索物体图像之后，还包括：
显示所述待检索物体图像，及所述待检索物体图像中的指定区域。
22.根据权利要求18所述的方法，其特征在于，所述获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像之后，还包括：
显示所述检索到的物体图像。
23.根据权利要求17所述的方法，其特征在于，所述根据匹配的局部特征点对的个数对检索到的物体图像进行校验之后，还包括：
显示经校验通过的物体图像。
24.一种检索校验的装置，其特征在于，所述装置包括：
第一获取模块，用于获取待检索物体图像中的指定区域的每个局部特征点与检索到的物体图像的对应局部特征点，得到局部特征点对，所述指定区域为用户通过图形用户界面GUI选定的具有区分力的区域；
计算模块，用于计算所述第一获取模块获取到的任意两个局部特征点对中每个局部特征点对的两个局部特征点之间的角度差，并计算所述任意两个局部特征点对构成的线段对的夹角；
判断模块，用于判断所述计算模块得到的角度差与线段对的夹角是否相等；
校验模块，用于如果所述判断模块的判断结果为匹配，则将所述任意两个局部特征点对作为匹配的局部特征点对，统计检索到的物体图像中匹配的局部特征点对的个数，并根据匹配的局部特征点对的个数对检索到的物体图像进行校验。
25.根据权利要求24所述的装置，其特征在于，所述装置，还包括：
检索模块，用于获取待检索物体图像及所述待检索物体图像中的指定区域，并计算所述待检索物体图像中的指定区域的局部特征点；在预先构建的索引集合中查找与所述指定区域的局部特征点相匹配的索引，所述索引集合根据视频中的物体图像的局部特征点构建；获取查找到的索引对应的物体图像，并将获取到的物体图像作为在视频中检索到的物体图像。
26.根据权利要求25所述的装置，其特征在于，所述装置，还包括：
索引集合构建模块，用于获取视频中的物体图像，并计算所述物体图像的局部特征点；对得到的局部特征点进行聚类，并以聚类中心的局部特征点为索引构建索引集合。
27.根据权利要求26所述的装置，其特征在于，所述检索模块，具体用于将所述指定区域的局部特征点与所述索引集合构建模块构建的索引集合中的局部特征点进行聚类，并将所述索引集合中与所述指定区域的局部特征点为一类的局部特征点作为查找到的与所述指定区域的局部特征点相匹配的索引。
28.根据权利要求25所述的装置，其特征在于，所述装置，还包括：
第四图形用户界面，用于显示所述检索模块获取到的待检索物体图像，及所述待检索物体图像中的指定区域。
29.根据权利要求25所述的装置，其特征在于，所述装置，还包括：
第五图形用户界面，用于显示所述检索模块检索到的物体图像。
30.根据权利要求24所述的装置，其特征在于，所述装置，还包括：
第六图形用户界面，用于显示经所述校验模块校验通过的物体图像。
CN201210376145.2A 2012-09-29 2012-09-29 物体检索的方法、检索校验的方法及装置 Active CN103714077B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210376145.2A CN103714077B (zh) 2012-09-29 2012-09-29 物体检索的方法、检索校验的方法及装置
JP2013156401A JP5680152B2 (ja) 2012-09-29 2013-07-29 オブジェクト検索方法、検索検証方法、及びその装置
US13/954,338 US20140092244A1 (en) 2012-09-29 2013-07-30 Object search method, search verification method and apparatuses thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210376145.2A CN103714077B (zh) 2012-09-29 2012-09-29 物体检索的方法、检索校验的方法及装置

Publications (2)

Publication Number Publication Date
CN103714077A true CN103714077A (zh) 2014-04-09
CN103714077B CN103714077B (zh) 2017-10-20

Family

ID=50384799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210376145.2A Active CN103714077B (zh) 2012-09-29 2012-09-29 物体检索的方法、检索校验的方法及装置

Country Status (3)

Country Link
US (1) US20140092244A1 (zh)
JP (1) JP5680152B2 (zh)
CN (1) CN103714077B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104571515A (zh) * 2014-12-29 2015-04-29 联想(北京)有限公司 一种信息处理方法及电子设备
CN104731952A (zh) * 2015-03-31 2015-06-24 努比亚技术有限公司 图片查看的方法及装置
CN107704609A (zh) * 2017-10-18 2018-02-16 浪潮金融信息技术有限公司 视频内容检索方法及装置、计算机可读存储介质、终端
CN107809613A (zh) * 2017-10-18 2018-03-16 浪潮金融信息技术有限公司 视频索引创建方法及装置、计算机可读存储介质、终端
CN113204665A (zh) * 2021-04-28 2021-08-03 北京百度网讯科技有限公司 图像检索方法、装置、电子设备及计算机可读存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012126008A2 (en) * 2011-03-17 2012-09-20 New York University Systems, methods and computer-accessible mediums for authentication and verification of physical objects
US9792528B2 (en) * 2012-01-30 2017-10-17 Nec Corporation Information processing system, information processing method, information processing apparatus and control method and control program thereof, and communication terminal and control method and control program thereof
CN104751455A (zh) * 2015-03-13 2015-07-01 华南农业大学 一种作物图像稠密匹配方法及系统
JP6012819B1 (ja) * 2015-07-03 2016-10-25 日本電信電話株式会社 類似画像取得装置、方法、及びプログラム
KR101814553B1 (ko) * 2016-01-21 2018-01-03 한국과학기술원 실시간 이미지 특징점 추출 시스템 및 방법
US10204417B2 (en) * 2016-05-10 2019-02-12 International Business Machines Corporation Interactive video generation
CN106023187B (zh) * 2016-05-17 2019-04-19 西北工业大学 一种基于sift特征和角度相对距离的图像配准方法
US10977493B2 (en) * 2018-01-31 2021-04-13 ImageKeeper LLC Automatic location-based media capture tracking
US11501483B2 (en) 2018-12-10 2022-11-15 ImageKeeper, LLC Removable sensor payload system for unmanned aerial vehicle performing media capture and property analysis
CN110807110B (zh) * 2019-09-30 2023-02-28 奇安信科技集团股份有限公司 结合局部和全局特征的图片搜索方法、装置及电子设备
CN111028261B (zh) * 2019-11-15 2023-03-17 五邑大学 高精度半自动化图像数据标注方法、电子装置及存储介质
CN111209874B (zh) * 2020-01-09 2020-11-06 北京百目科技有限公司 一种对人头部穿戴属性的分析识别方法
CN117221510B (zh) * 2023-11-07 2024-03-29 深圳骄阳视觉创意科技股份有限公司 基于虚拟现实技术的展览展示系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308503A (zh) * 2007-05-16 2008-11-19 佳能株式会社 图像处理设备、图像处理方法和图像检索方法
CN101493813A (zh) * 2008-01-25 2009-07-29 北京新岸线网络技术有限公司 基于内容的视频检索方法及其实现
CN101566994A (zh) * 2008-04-22 2009-10-28 王磊 一种图像、视频检索方法
US20120163475A1 (en) * 2010-12-23 2012-06-28 Electronics And Telecommunications Research Institute Fast matching system for digital video

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7860317B2 (en) * 2006-04-04 2010-12-28 Microsoft Corporation Generating search results based on duplicate image detection
US7813561B2 (en) * 2006-08-14 2010-10-12 Microsoft Corporation Automatic classification of objects within images
US8180667B1 (en) * 2008-06-03 2012-05-15 Google Inc. Rewarding creative use of product placements in user-contributed videos
KR101380783B1 (ko) * 2008-08-22 2014-04-02 정태우 영상에 포함된 객체를 식별하여 부가 서비스를 제공하는 시스템
JP5226651B2 (ja) * 2009-12-07 2013-07-03 日本電信電話株式会社 類似画像検索装置，類似画像検索方法および類似画像検索プログラム
JP5094830B2 (ja) * 2009-12-16 2012-12-12 ヤフー株式会社 画像検索装置、画像検索方法及びプログラム
JP5370267B2 (ja) * 2010-05-27 2013-12-18 株式会社デンソーアイティーラボラトリ 画像処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308503A (zh) * 2007-05-16 2008-11-19 佳能株式会社 图像处理设备、图像处理方法和图像检索方法
CN101493813A (zh) * 2008-01-25 2009-07-29 北京新岸线网络技术有限公司 基于内容的视频检索方法及其实现
CN101566994A (zh) * 2008-04-22 2009-10-28 王磊 一种图像、视频检索方法
US20120163475A1 (en) * 2010-12-23 2012-06-28 Electronics And Telecommunications Research Institute Fast matching system for digital video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾峦，王元钦，谭久彬: "改进的SIFT特征提取和匹配算法", 《光学精密工程》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104571515A (zh) * 2014-12-29 2015-04-29 联想(北京)有限公司 一种信息处理方法及电子设备
CN104571515B (zh) * 2014-12-29 2019-03-29 联想(北京)有限公司 一种信息处理方法及电子设备
CN104731952A (zh) * 2015-03-31 2015-06-24 努比亚技术有限公司 图片查看的方法及装置
CN107704609A (zh) * 2017-10-18 2018-02-16 浪潮金融信息技术有限公司 视频内容检索方法及装置、计算机可读存储介质、终端
CN107809613A (zh) * 2017-10-18 2018-03-16 浪潮金融信息技术有限公司 视频索引创建方法及装置、计算机可读存储介质、终端
CN107704609B (zh) * 2017-10-18 2021-01-08 浪潮金融信息技术有限公司 视频内容检索方法及装置、计算机可读存储介质、终端
CN113204665A (zh) * 2021-04-28 2021-08-03 北京百度网讯科技有限公司 图像检索方法、装置、电子设备及计算机可读存储介质
CN113204665B (zh) * 2021-04-28 2023-09-22 北京百度网讯科技有限公司 图像检索方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
JP5680152B2 (ja) 2015-03-04
JP2014071890A (ja) 2014-04-21
CN103714077B (zh) 2017-10-20
US20140092244A1 (en) 2014-04-03

Similar Documents

Publication Publication Date Title
CN103714077A (zh) 物体检索的方法、检索校验的方法及装置
Rudolph et al. Same same but differnet: Semi-supervised defect detection with normalizing flows
CN108108657B (zh) 基于多任务深度学习的修正局部敏感哈希车辆检索方法
Ukhwah et al. Asphalt pavement pothole detection using deep learning method based on YOLO neural network
Li et al. Unsupervised learning of edges
CN105844283B (zh) 用于识别图像类目归属的方法、图像搜索方法及装置
CN105872477A (zh) 视频监控方法和视频监控系统
CN106355577B (zh) 基于特征状态与全局一致性的快速图像匹配方法及系统
CN111028277A (zh) 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN111126202A (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN107346550B (zh) 一种针对具有颜色信息的三维点云数据快速配准方法
CN105975929A (zh) 一种基于聚合通道特征的快速行人检测方法
CN104867137B (zh) 一种基于改进ransac算法的图像配准方法
CN102915432B (zh) 一种车载微机图像视频数据提取方法及装置
CN107274679B (zh) 车辆识别方法、装置、设备及计算机可读存储介质
CN106599230A (zh) 一种分布式数据挖掘模型评估的方法与系统
CN103853794B (zh) 一种基于部件关联的行人检索方法
CN110533654A (zh) 零部件的异常检测方法及装置
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
CN111768498A (zh) 基于稠密语义三维地图与混合特征的视觉定位方法、系统
CN105243356A (zh) 一种建立行人检测模型的方法及装置及行人检测方法
CN113076891B (zh) 基于改进高分辨率网络的人体姿态预测方法及系统
CN112464704B (zh) 一种基于特征融合与旋转目标检测器的遥感图像识别方法
Farag A lightweight vehicle detection and tracking technique for advanced driving assistance systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant