CN103631889A - 一种图像识别方法和装置 - Google Patents

一种图像识别方法和装置 Download PDF

Info

Publication number
CN103631889A
CN103631889A CN201310575290.8A CN201310575290A CN103631889A CN 103631889 A CN103631889 A CN 103631889A CN 201310575290 A CN201310575290 A CN 201310575290A CN 103631889 A CN103631889 A CN 103631889A
Authority
CN
China
Prior art keywords
image
information
intermediate data
weights
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310575290.8A
Other languages
English (en)
Other versions
CN103631889B (zh
Inventor
陶哲
薛红霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201310575290.8A priority Critical patent/CN103631889B/zh
Publication of CN103631889A publication Critical patent/CN103631889A/zh
Priority to PCT/CN2014/087954 priority patent/WO2015070678A1/zh
Application granted granted Critical
Publication of CN103631889B publication Critical patent/CN103631889B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)

Abstract

本发明公开了一种图像识别的方法,包括:获取待识别图像,根据图像相似度查找与其相似的N张其他图像;获取其他图像对应的主体信息以及根据相似度排序确定每张其他图像的权值,根据各主体信息及对应图像的权值,分别对各主体信息进行权值累加计算,提取最大累加值对应的主体信息,作为待识别图像的主体信息。本发明的方案可以相对准确的搜索出未知图像的准确描述信息,进而在海量图像数据存在网络环境下,能够为用户提供未知图像搜索的准确结果,有效提高了图像数据处理的效率。

Description

一种图像识别方法和装置
技术领域
本发明涉及数据处理的技术领域,具体涉及一种图像识别方法和装置。
背景技术
随着互联网和多媒体技术的飞速发展,互联网上的图像资源日益丰富,从网络上获取的图像资源也往往包含多种多样的信息,如背景、时间、地点、主体等等,而如此多的信息在通常情况下并非是用户真正所要关注的内容;例如,在浏览时事新闻网页时往往会出现多个图像,而用户对于新闻中的图像可能只关注时间和地点;而用户在浏览体育新闻网页时,可能只关注出现的多个图像中的人物和背景等;
同时,用户能够从多种渠道获取到多种多样的图像,但不是所有图像都附带明确的说明或注释;例如,对于用户在浏览体育新闻网页时出现的配图,在某些情况下,用户并无法知晓该图像的准确信息;此外,用户也无法根据已知图像获取到其他与该图像相关联的图像。
因此,如何在网络环境下实现对于图像的识别,从而准确获取该图像的准确描述或其相关联的其他图像就变得十分必要和迫切。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像识别的方法和相应的一种图像识别的装置。
依据本发明的一个方面,提供了一种图像识别的方法,包括:
获取待识别图像,根据图像相似度查找与其相似的N张其他图像;
获取其他图像对应的主体信息以及根据相似度排序确定每张其他图像的权值,
根据各主体信息及对应图像的权值,分别对各主体信息进行权值累加计算,
提取最大累加值对应的主体信息,作为待识别图像的主体信息。
可选的,所述获取待识别图像包括:
接收图像识别请求;
从所述图像识别请求中提取出待识别图像。
可选的,所述根据图像相似度查找与其相似的N张其他图像包括:
通过图片相似特征建成倒排索引,然后将待识别的图像去进行相似检索,获取与其相似的N张其他图像。
可选的,通过以下方式获取其他图像对应的主体信息:
获取图像及其标注信息;
利用训练数据获取所述图像标注信息的支持信息列表;
从所述支持信息列表中提取所述图像的主体信息。
可选的,所述利用训练数据获取图像标注信息的支持信息列表包括:
获取所述图像标注信息的中间数据;
从图像数据库中提取与所述中间数据相关的训练数据;
计算所述训练数据与所述中间数据的第一相关性分值;
利用所述第一相关性分值生成所述图像标注信息的支持信息列表。
可选的,所述计算训练数据与所述中间数据的相关性分值包括:
计算训练数据与所述中间数据的相关性权值并求和E1;
将所有训练数据与所述中间数据的相关性权值进行累加处理并求和E2;
通过计算所述E2与所述E1的比值确定该训练数据与所述中间数据的第一相关性分值。
可选的,该方法还包括:
在确定训练数据与中间数据的第一相关性分值之后进行所述训练数据的去噪处理。
可选的,所述进行训练数据的去噪处理包括:
计算与任一训练数据相同步长的其他训练数据与所有训练数据的相关性权值,将该相关性权值进行累加处理并求和后确定该任一训练数据的噪声权值F1;
将所有训练数据的噪声进行累加处理并求和后确定所有训练数据的总噪声权值F2;
通过获取所述第一相关性分值与所述训练数据的噪声值之差确定所述训练数据与所述中间数据的第二相关性分值;其中,所述F1与所述F2的比值为所述训练数据的噪声值。
可选的,所述从支持信息列表中提取所述图像的主体信息包括:
获取所述图像标注信息的所有中间数据及其相关训练数据;
通过统计相同训练数据在所述支持信息列表中的分值计算每个中间数据的得分;
判断所述每个中间数据的得分与预设阈值的大小,当一中间数据的得分不小于所述预设阈值,则确定该中间数据为所述图像的主体信息。
根据本发明的另一方面,提供了一种图像识别的装置,包括:
查找单元,用于获取待识别图像,并根据图像相似度查找与其相似的N张其他图像;
排序单元,用于获取所述查找单元查找到的其他图像对应的主体信息以及根据相似度排序确定每张其他图像的权值,
计算单元,用于根据各主体信息及对应图像的权值,分别对各主体信息进行权值累加计算,
识别单元,用于提取最大累加值对应的主体信息,作为待识别图像的主体信息。
可选的,所述查找单元包括:
接收图像识别请求的接收模块,及
从所述接收模块接收到的图像识别请求中提取出待识别图像的提取模块。
可选的,所述查找单元包括:
索引模块,用于通过图片相似特征建成倒排索引;
比较模块,将待识别的图像去进行相似检索,获取与其相似的N张其他图像。
可选的,所述排序单元包括:
获取单元,用于获取图像及其标注信息;
生成单元,用于利用训练数据获取所述图像标注信息的支持信息列表;
提取单元,用于从所述支持信息列表中提取所述图像的主体信息。
可选的,所述生成单元包括:
第一处理模块,用于获取所述获取单元获取到的图像标注信息的中间数据;
第二处理模块,用于从图像数据库中提取与所述中间数据相关的训练数据;
第三处理模块,用于计算所述训练数据与所述中间数据的第一相关性分值;
第四处理模块,用于利用所述第一相关性分值生成所述图像标注信息的支持信息列表。
可选的,所述第三处理模块包括:
第一计算器,用于计算训练数据与所述中间数据的相关性权值并求和E1;
第二计算器,用于将所有训练数据与所述中间数据的相关性权值进行累加处理并求和E2;
第三计算器,用于通过计算所述E2与所述E1的比值确定该训练数据与所述中间数据的第一相关性分值。
可选的,该装置还包括:
去噪单元,用于所述第三处理模块确定所述第一相关性分值之后进行所述训练数据的去噪处理。
可选的,所述去噪单元包括:
第四计算器,用于计算与任一训练数据相同步长的其他训练数据与所有训练数据的相关性权值,将该相关性权值进行累加处理并求和后确定该任一训练数据的噪声权值F1;
第五计算器,用于将所有训练数据的噪声进行累加处理并求和后确定所有训练数据的总噪声权值F2;
第六计算器,用于通过获取所述第一相关性分值与所述训练数据的噪声值之差确定所述训练数据与所述中间数据的第二相关性分值;其中,所述F1与所述F2的比值为所述训练数据的噪声值。
可选的,所述提取单元包括:
第五处理模块,用于获取所述图像标注信息的所有中间数据及其相关训练数据;
第六处理模块,用于通过统计相同训练数据在所述支持信息列表中的分值计算每个中间数据的得分;
第七处理模块,用于判断所述每个中间数据的得分与预设阈值的大小,当一中间数据的得分不小于所述预设阈值,则确定该中间数据为所述图像的主体信息。
本发明实施例通过获取待识别图像并根据图像相似度查找与其相似的N张其他图像,然后再获取其他图像对应的主体信息以及根据相似度排序确定每张其他图像的权值,根据各主体信息及对应图像的权值,分别对各主体信息进行权值累加计算,提取最大累加值对应的主体信息,作为待识别图像的主体信息;从而可以相对准确的搜索出未知图像的准确描述信息,进而在海量图像数据存在网络环境下,能够为用户提供未知图像搜索的准确结果,有效提高了图像数据处理的效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的图像识别的方法实施例的步骤流程图;
图2示出了根据本发明一个实施例的挖掘图像主体信息的方法实施例的步骤流程图;
图3示出了根据本发明一个实施例的图像识别的装置实施例的结构框图;
以及
图4示出了根据本发明一个实施例的排序单元实施例的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1,示出了根据本发明一个实施例的一种图像识别方法实施例1的步骤流程图,具体可以包括如下步骤:
步骤110:获取待识别图像,根据图像相似度查找与其相似的N张其他图像;
具体的,远端服务器接收到图像识别请求后,从该图像识别请求中提取出待识别图像;通过图片相似特征建成倒排索引,然后将待识别的图像去进行相似检索,获取与其相似的N张其他图像。;当然,本领域普通技术人员很容易了解,还可以通过其他方式来根据图像相似度查找与其相似的N张其他图像,例如可采用人脸识别技术提取出待识别图像的人物框架,再利用该人物框架查找与之类似的N张其他图像;另外,我们还可以通过现有的图像相似性聚合到一起的技术,形成聚合图片簇,根据待识别图片所属的聚合图片簇,从而获取与其相似的N张其他图像。图像相似性聚合技术比如sift/surf,phash,haar这些,或者mpeg-7的一些CSD,SCD,CLD,DCD,HTD,EHD。
步骤120:获取其他图像对应的主体信息以及根据相似度排序确定每张其他图像的权值;
本实施例中,在查找到其他图像后,可利用下述实施例2的方法获取其他图像对应的主体信息,当然本领域普通技术人员很容易了解还可以有其他获取图像主体信息的方法,在此不再赘述;
由于查找出的其他N章图像与待识别图像存在相似度关系为
f ( x ) = 1 2 π σ e - ( x - μ ) 2 2 σ 2
其中x为待识别图像像素组成参考值,μ为其他图像像素组成参考值,当x=μ时,f(x)=1;令每张图像与待识别图像的相似度在所有图像中与待识别图像的相似度的排序位置为σμ,则该图像的权值为:
Weigh t i = ± σμ i f ( x )
步骤130:根据各主体信息及对应图像的权值,分别对各主体信息进行权值累加计算;
假设N张其他图像中主体信息为Name的图像数为M,且已确定该图像的权值为Weighti后,则对主体信息为Name的图像的权值进行累加处理为:
Score Name = Σ i = 1 N Weight i
步骤140:提取最大累加值对应的主体信息,作为待识别图像的主体信息。
在获取所有N张其他图像的权值累加结果后,按照权值大小进行排序,并从中提取出权值累加结果最大的图像对应的主体信息,以该主体信息作为待识别图像的主体信息。
本发明实施例通过获取待识别图像并根据图像相似度查找与其相似的N张其他图像,然后再获取其他图像对应的主体信息以及根据相似度排序确定每张其他图像的权值,根据各主体信息及对应图像的权值,分别对各主体信息进行权值累加计算,提取最大累加值对应的主体信息,作为待识别图像的主体信息;从而可以相对准确的搜索出未知图像的准确描述信息,进而在海量图像数据存在网络环境下,能够为用户提供未知图像搜索的准确结果,有效提高了图像数据处理的效率。
参照图2,示出了根据本发明另一个实施例的获取其他图像对应的主体信息的方法实施例的步骤流程图,具体可以包括如下步骤:
步骤210,获取图像及其标注信息;
众所周知的,用户获取的图像中往往包含了多种信息,例如一张图片中就可包含N个名字(N>=0),而其中只有一个名字是用户所需要的,同时该名字也往往被包含在该图片的描述信息中,则该描述信息即为该图片的标注信息;另外,有一些图像实际上与其标注信息是不相符合的,比如图片“某某电影节惊艳四方”,其中“某某电影节惊艳四方”即为该图片的标注信息,但该图片可能会显示出很多其他人在电影节的图像,此种情况下用户既无法从标注信息中准确获知该图片的主体信息。因此,当远端服务器接收到外部输入的此类图像及其标注信息后,会直接提取出该图像的标注信息,以备后续处理。而如果远端服务器只接收到外部输入的图像,却并未接收到该图像的标注信息后,会根据该图像的URL、图像源、图像周围文本等内容查找该图像的标注信息,并存储以备后续处理;
当然,本领域普通技术人员很容易了解,当接收到图像后,还可以通过其他方式来获取该图像的标注信息,本实施例在此不再赘述。
步骤220:利用训练数据获取所述图像标注信息的支持信息列表;
由于图像标注信息中所包含的信息较多,为避免提取该图像的主体信息出现误差,本实施例提出通过获取该图像标注信息的支持信息列表,再从该支持信息列表中提取具体的图像主体信息,从而可以有效提高图像描述的准确性;
具体的,本实施例可通过以下步骤来实现利用训练数据获取图像标注信息的支持信息列表,但并不局限于此:
S221:获取所述图像标注信息的中间数据;
其中,图像的标注信息往往是多信息的集合,但通常该多信息的集合中包含有中间数据;在实际应用中,该中间数据通常是图像标注信息或注释中的主语,其词性也往往是以名词为主,如人名、地名等;例如,如果一标注信息为“刘德华的女友”的图像,其中间数据即为“刘德华”;同时,由于图像的中间数据的选择通常是由该词周围的词所决定的,比如图像标注信息“刘德华的女友”中,“刘德华”单独看就应该被选中,其即为中间数据,而“的女友”就不应该被选中,其即为支持词;具体的,在一图像的标注信息中,中间数据左右两边词的熵比支持词左右两边词的熵小很多,因此通过比较标注信息中任意词左右词的熵的大小,即可判断该词是否为中间数据。
S222:从图像数据库中提取与所述中间数据相关的训练数据;
需要说明的是,为了查找方便本实施例预设一图像数据库,在该图像数据库中存储有若干中间数据与支持词,所有支持词统称为训练数据;而该若干中间数据与支持词在该图像数据库中存在对应匹配关系,即一中间数据对应多支持词,同时多个中间数据所对应的支持词中也可以存在相同数据;当然,本领域普通技术人员很容易了解,还可以不预设图像数据库,而从现有网络数据库中进行提取;当然,预设的图像数据库中的数据对应匹配关系也可以是多样的,本实施例在此不再赘述。
具体的,当获取所述图像标注信息中的中间数据后,以该中间数据为目标查找所述预设图像数据库,若该图像数据库中存在该中间数据,则利用所述匹配关系提取出该中间数据对应的相关支持词;否则,结束操作并向外部反馈该图像无主体信息的指示。
S223:计算所述训练数据与所述中间数据的相关性分值;
需要说明的是,由于中间数据与其训练数据的相关性是一个正太分布的关系,因此利用这个规律即可计算出训练数据与中间数据的相关性分值。
S224:利用所述相关性分值生成所述图像标注信息的支持信息列表。
具体的,由于中间数据往往对应多个支持词,所以当计算出相关支持词与中间数据的相关性分值后,即可匹配出训练数据与中间数据相关性分值对应关系支持词表,再获取多组训练数据与中间数据相关性分值的对应关系后,由所述多组支持词表组成的列表即为图像标注信息的支持信息列表。
步骤230:从所述支持信息列表中提取所述图像的主体信息。
值得注意的是,基于中间数据与组成训练数据的支持词的相关性是一个正态分布的关系,本实施例还提出了一种计算训练数据与中间数据相关性分值的方法,但并不局限于此,具体该方法包括:
S2231:计算训练数据与所述中间数据的相关性权值并求和E1;
具体的,由于中间数据与支持词的相关性的正态分布关系为
f ( x ) = 1 2 π σ e - ( x - μ ) 2 2 σ 2
其中x为中间数据,μ为支持词;因此,将μ与x的相关性作为权值,即可得到每个支持词的分值,再将每个支持词的分值相加即可获得训练数据的总分值,如下:
当x=μ时,f(x)=1,则与中间数据x距离步长为iσμ的支持词的相关性权值为:
其中σμ为单位支持词与中间数据距离的步长;由此也可看出,距离中间数据越远的支持词其相关性越差,权值也越小;
再将N个支持词的分值进行累加即可获得所有训练数据与所述中间数据的相关性权值E1:
Score Word = Σ i = 1 N Weight i
S2232:将所有训练数据与所述中间数据的相关性权值进行累加处理并求和E2;
令所述中间数据存在多组训练数据M,则所有训练数据与所述中间数据的相关性权值之和为E2:
Total support = Σ i = 1 N Score Word i
S2233:通过计算所述E2与所述E1的比值确定该训练数据与所述中间数据的第一相关性分值;
具体的,每组训练数据与所述中间数据的第一相关性分值为E3:
Score support = Score word Total support
此外,本实施例也提出了通过如下方式从支持信息列表中提取所述图像的主体信息,但并不局限于此;包括:
S231:获取所述图像标注信息的所有中间数据及其相关训练数据;
S232:通过统计相同训练数据在所述支持信息列表中的分值计算每个中间数据的得分;
具体的,设所有中间数据中每个中间数据Name的相关训练数据的总数为P,而训练数据P中支持词Wordi在支持信息词表中的分值为Scorei,其权重为Weighti,则该中间数据Name的得分为:
Score Name = Σ i = 1 N Score i Weight i
S233:判断所述每个中间数据的得分与预设阈值的大小,当一中间数据的得分不小于所述预设阈值,则确定该中间数据为所述图像的主体名称;否则,即可确定该图像不存在主体名称。
除此之外,本实施例还提供了另一种获取其他图像对应的主体信息的方法,该方法在上述方法的基础上还包括以下步骤:
步骤240:在确定训练数据与中间数据的第一相关性分值之后进行所述训练数据的去噪处理;
需要说明的是,在获取的相关训练数据中,通常存在一些并无实际意义但却在图像数据库中与中间数据存在相关性的支持词,这部分支持词往往只是普通数据,其作为主体名称的概率很低;例如,人名、地名等词汇往往可以作为支持词,但是诸如“的”“而”等词性为副词的支持词,其作为主体名称的概率就很低;在本实施例中将这部分支持词定义为背景噪声,其会影响支持词表的准确性。
具体的,本实施例的去噪处理可通过以下方式实现,包括:
S241:计算与任一训练数据相同步长的其他训练数据与所有训练数据的相关性权值,将该相关性权值进行累加处理并求和后确定该任一训练数据的噪声权值B1;
具体的,本实施例中背景噪声值的计算与支持词的权值计算方式相似,当然还可以有其他方式计算;以σμ作为单位步长,计算与任意支持词步长距离为iσμ的支持词的权值如下:
Weight BackNoise i = σμ i
将与任意支持词相同步长的同一支持词的权值进行累加处理,即可得到该任意支持词的背景噪声权值B1=BackNoiseword
S242:将所有训练数据的噪声进行累加处理并求和后确定所有训练数据的总噪声权值B2=TotalBackNoise
S243:通过获取所述第一相关性分值与所述训练数据的噪声值之差确定所述训练数据与所述中间数据的第二相关性分值;其中,所述F1与所述F2的比值为所述训练数据的噪声值。
具体的,在计算出任意支持词的背景噪声权值F1和所有训练数据的总噪声权值F2后,即可获知每个支持词词的背景噪声值为:
Score BackNoise = BackNoise word Tota l BackNoise
而本实施例中的去噪声处理即可通过将每个支持词的基础得分与此支持词的背景噪声值做差来实现,即该支持词去噪后的分值为:
Score=Scoresupport-ScoreBackNoise
然后再记录所有支持词的分值,最终生成支持词表。
当然,上述特种信息及其判断方式只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他特种信息及其判断方式,本发明实施例对此不加以限制。另外,除了上述特种信息及其判断方式外,本领域技术人员还可以根据实际需要采用其他特种信息及其判断方式,本发明实施例对此也不加以限制。
本发明实施例通过获取图像及其标注信息,并利用训练数据获取所述图像标注信息的支持信息列表,然后从所述支持信息列表中提取所述图像的主体信息;从而可以相对准确的挖掘出图像的主体信息,排除了该图像标注信息或注释信息中不必要的干扰描述,提高了数据搜索的准确度。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图3,本发明还公开了一种图像识别的装置,包括以下模块:查找单元310,用于获取待识别图像,并根据图像相似度查找与其相似的N张其他图像;排序单元320,用于获取所述查找单元查找到的其他图像对应的主体信息以及根据相似度排序确定每张其他图像的权值;计算单元330,用于根据各主体信息及对应图像的权值,分别对各主体信息进行权值累加计算;以及识别单元340,用于提取最大累加值对应的主体信息,作为待识别图像的主体信息。
其中,本实施例中的所述查找单元310包括(图中未示出):接收图像识别请求的接收模块,及从所述接收模块接收到的图像识别请求中提取出待识别图像的提取模块。
除此之外,所述查找单元310可包括(图中未示出):
索引模块,用于通过图片相似特征建成倒排索引;
比较模块,将待识别的图像去进行相似检索,获取与其相似的N张其他图像。
值得注意的是,本实施例图像识别的装置中,如图4所示,所述排序单元320具体可以包括如下模块:获取单元410,用于获取图像及其标注信息;生成单元420,用于利用训练数据获取所述图像标注信息的支持信息列表;提取单元430,用于从所述支持信息列表中提取所述图像的主体信息。
其中,所述生成单元420包括(图中未示出):第一处理模块,用于获取所述获取单元获取到的图像标注信息的中间数据;第二处理模块,用于从图像数据库中提取与所述中间数据相关的训练数据;第三处理模块,用于计算所述训练数据与所述中间数据的第一相关性分值;第四处理模块,用于利用所述第一相关性分值生成所述图像标注信息的支持信息列表。
需要说明的是,在本实施例中所述第三处理模块也可包括(图中未示出):第一计算器,用于计算训练数据与所述中间数据的相关性权值并求和E1;第二计算器,用于将所有训练数据与所述中间数据的相关性权值进行累加处理并求和E2;第三计算器,用于通过计算所述E2与所述E1的比值确定该训练数据与所述中间数据的第一相关性分值。
此外,本实施例的挖掘图像主体信息的装置还可包括(图中未示出):去噪单元,用于所述第三处理模块确定所述第一相关性分值之后进行所述训练数据的去噪处理。
具体的,本实施例提出所述去噪单元还可包括(图中未示出):第四计算器,用于计算与任一训练数据相同步长的其他训练数据与所有训练数据的相关性权值,将该相关性权值进行累加处理并求和后确定该任一训练数据的噪声权值F1;第五计算器,用于将所有训练数据的噪声进行累加处理并求和后确定所有训练数据的总噪声权值F2;第六计算器,用于通过获取所述第一相关性分值与所述训练数据的噪声值之差确定所述训练数据与所述中间数据的第二相关性分值;其中,所述F1与所述F2的比值为所述训练数据的噪声值。
除此之外,本实施例的所述提取单元还可包括(图中未示出):第五处理模块,用于获取所述图像标注信息的所有中间数据及其相关训练数据;第六处理模块,用于通过统计相同训练数据在所述支持信息列表中的分值计算每个中间数据的得分;第七处理模块,用于判断所述每个中间数据的得分与预设阈值的大小,当一中间数据的得分不小于所述预设阈值,则确定该中间数据为所述图像的主体信息。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的进行网页加载的设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了A1、一种图像识别的方法,包括:
获取待识别图像,根据图像相似度查找与其相似的N张其他图像;
获取其他图像对应的主体信息以及根据相似度排序确定每张其他图像的权值,
根据各主体信息及对应图像的权值,分别对各主体信息进行权值累加计算,
提取最大累加值对应的主体信息,作为待识别图像的主体信息。
A2、如A1所述的方法,所述获取待识别图像包括:
接收图像识别请求;
从所述图像识别请求中提取出待识别图像。
A3、如A1所述的方法,所述根据图像相似度查找与其相似的N张其他图像包括:
通过图片相似特征建成倒排索引,然后将待识别的图像去进行相似检索,获取与其相似的N张其他图像。
A4、如A1所述的方法,通过以下方式获取其他图像对应的主体信息:
获取图像及其标注信息;
利用训练数据获取所述图像标注信息的支持信息列表;
从所述支持信息列表中提取所述图像的主体信息。
A5、如A4所述的方法,所述利用训练数据获取图像标注信息的支持信息列表包括:
获取所述图像标注信息的中间数据;
从图像数据库中提取与所述中间数据相关的训练数据;
计算所述训练数据与所述中间数据的第一相关性分值;
利用所述第一相关性分值生成所述图像标注信息的支持信息列表。
A6、如A5所述的方法,所述计算训练数据与所述中间数据的相关性分值包括:
计算训练数据与所述中间数据的相关性权值并求和E1;
将所有训练数据与所述中间数据的相关性权值进行累加处理并求和E2;
通过计算所述E2与所述E1的比值确定该训练数据与所述中间数据的第一相关性分值。
A7、如A6所述的方法,还包括:
在确定训练数据与中间数据的第一相关性分值之后进行所述训练数据的去噪处理。
A8、如A7所述的方法,所述进行训练数据的去噪处理包括:
计算与任一训练数据相同步长的其他训练数据与所有训练数据的相关性权值,将该相关性权值进行累加处理并求和后确定该任一训练数据的噪声权值F1;
将所有训练数据的噪声进行累加处理并求和后确定所有训练数据的总噪声权值F2;
通过获取所述第一相关性分值与所述训练数据的噪声值之差确定所述训练数据与所述中间数据的第二相关性分值;其中,所述F1与所述F2的比值为所述训练数据的噪声值。
A9、如A5所述的方法,所述从支持信息列表中提取所述图像的主体信息包括:
获取所述图像标注信息的所有中间数据及其相关训练数据;
通过统计相同训练数据在所述支持信息列表中的分值计算每个中间数据的得分;
判断所述每个中间数据的得分与预设阈值的大小,当一中间数据的得分不小于所述预设阈值,则确定该中间数据为所述图像的主体信息。
本发明还公开了B10、一种图像识别的装置,包括:
查找单元,用于获取待识别图像,并根据图像相似度查找与其相似的N张其他图像;
排序单元,用于获取所述查找单元查找到的其他图像对应的主体信息以及根据相似度排序确定每张其他图像的权值,
计算单元,用于根据各主体信息及对应图像的权值,分别对各主体信息进行权值累加计算,
识别单元,用于提取最大累加值对应的主体信息,作为待识别图像的主体信息。
B11、如B10所述的装置,所述查找单元包括:
接收图像识别请求的接收模块,及
从所述接收模块接收到的图像识别请求中提取出待识别图像的提取模块。
B12、如B10所述的装置,所述查找单元包括:
索引模块,用于通过图片相似特征建成倒排索引;
比较模块,将待识别的图像去进行相似检索,获取与其相似的N张其他图像。
B13、如B10所述的装置,所述排序单元包括:
获取单元,用于获取图像及其标注信息;
生成单元,用于利用训练数据获取所述图像标注信息的支持信息列表;
提取单元,用于从所述支持信息列表中提取所述图像的主体信息。
B14、如权利要求B13所述的装置,所述生成单元包括:
第一处理模块,用于获取所述获取单元获取到的图像标注信息的中间数据;
第二处理模块,用于从图像数据库中提取与所述中间数据相关的训练数据;
第三处理模块,用于计算所述训练数据与所述中间数据的第一相关性分值;
第四处理模块,用于利用所述第一相关性分值生成所述图像标注信息的支持信息列表。
B15、如B14所述的装置,所述第三处理模块包括:
第一计算器,用于计算训练数据与所述中间数据的相关性权值并求和E1;
第二计算器,用于将所有训练数据与所述中间数据的相关性权值进行累加处理并求和E2;
第三计算器,用于通过计算所述E2与所述E1的比值确定该训练数据与所述中间数据的第一相关性分值。
B16、如B14所述的装置,还包括:
去噪单元,用于所述第三处理模块确定所述第一相关性分值之后进行所述训练数据的去噪处理。
B17、如B16所述的装置,所述去噪单元包括:
第四计算器,用于计算与任一训练数据相同步长的其他训练数据与所有训练数据的相关性权值,将该相关性权值进行累加处理并求和后确定该任一训练数据的噪声权值F1;
第五计算器,用于将所有训练数据的噪声进行累加处理并求和后确定所有训练数据的总噪声权值F2;
第六计算器,用于通过获取所述第一相关性分值与所述训练数据的噪声值之差确定所述训练数据与所述中间数据的第二相关性分值;其中,所述F1与所述F2的比值为所述训练数据的噪声值。
B18、如B13所述的装置,所述提取单元包括:
第五处理模块,用于获取所述图像标注信息的所有中间数据及其相关训练数据;
第六处理模块,用于通过统计相同训练数据在所述支持信息列表中的分值计算每个中间数据的得分;
第七处理模块,用于判断所述每个中间数据的得分与预设阈值的大小,当一中间数据的得分不小于所述预设阈值,则确定该中间数据为所述图像的主体信息。

Claims (10)

1.一种图像识别的方法,包括:
获取待识别图像,根据图像相似度查找与其相似的N张其他图像;
获取其他图像对应的主体信息以及根据相似度排序确定每张其他图像的权值,
根据各主体信息及对应图像的权值,分别对各主体信息进行权值累加计算,
提取最大累加值对应的主体信息,作为待识别图像的主体信息。
2.如权利要求1所述的方法,其特征在于,所述获取待识别图像包括:
接收图像识别请求;
从所述图像识别请求中提取出待识别图像。
3.如权利要求1或2所述的方法,其特征在于,所述根据图像相似度查找与其相似的N张其他图像包括:
通过图片相似特征建成倒排索引,然后将待识别的图像去进行相似检索,获取与其相似的N张其他图像。
4.如权利要求1所述的方法,其特征在于,通过以下方式获取其他图像对应的主体信息:
获取图像及其标注信息;
利用训练数据获取所述图像标注信息的支持信息列表;
从所述支持信息列表中提取所述图像的主体信息。
5.如权利要求4所述的方法,其特征在于,所述利用训练数据获取图像标注信息的支持信息列表包括:
获取所述图像标注信息的中间数据;
从图像数据库中提取与所述中间数据相关的训练数据;
计算所述训练数据与所述中间数据的第一相关性分值;
利用所述第一相关性分值生成所述图像标注信息的支持信息列表。
6.如权利要求5所述的方法,其特征在于,所述计算训练数据与所述中间数据的相关性分值包括:
计算训练数据与所述中间数据的相关性权值并求和E1;
将所有训练数据与所述中间数据的相关性权值进行累加处理并求和E2;
通过计算所述E2与所述E1的比值确定该训练数据与所述中间数据的第一相关性分值。
7.如权利要求5所述的方法,其特征在于,所述从支持信息列表中提取所述图像的主体信息包括:
获取所述图像标注信息的所有中间数据及其相关训练数据;
通过统计相同训练数据在所述支持信息列表中的分值计算每个中间数据的得分;
判断所述每个中间数据的得分与预设阈值的大小,当一中间数据的得分不小于所述预设阈值,则确定该中间数据为所述图像的主体信息。
8.一种图像识别的装置,包括:
查找单元,用于获取待识别图像,并根据图像相似度查找与其相似的N张其他图像;
排序单元,用于获取所述查找单元查找到的其他图像对应的主体信息以及根据相似度排序确定每张其他图像的权值,
计算单元,用于根据各主体信息及对应图像的权值,分别对各主体信息进行权值累加计算,
识别单元,用于提取最大累加值对应的主体信息,作为待识别图像的主体信息。
9.如权利要求8所述的装置,其特征在于,所述查找单元包括:
接收图像识别请求的接收模块,及
从所述接收模块接收到的图像识别请求中提取出待识别图像的提取模块。
10.如权利要求9所述的装置,其特征在于,所述排序单元包括:
获取单元,用于获取图像及其标注信息;
生成单元,用于利用训练数据获取所述图像标注信息的支持信息列表;
提取单元,用于从所述支持信息列表中提取所述图像的主体信息。
CN201310575290.8A 2013-11-15 2013-11-15 一种图像识别方法和装置 Expired - Fee Related CN103631889B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310575290.8A CN103631889B (zh) 2013-11-15 2013-11-15 一种图像识别方法和装置
PCT/CN2014/087954 WO2015070678A1 (zh) 2013-11-15 2014-09-30 一种图像识别方法、挖掘图像主体信息方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310575290.8A CN103631889B (zh) 2013-11-15 2013-11-15 一种图像识别方法和装置

Publications (2)

Publication Number Publication Date
CN103631889A true CN103631889A (zh) 2014-03-12
CN103631889B CN103631889B (zh) 2017-04-12

Family

ID=50212931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310575290.8A Expired - Fee Related CN103631889B (zh) 2013-11-15 2013-11-15 一种图像识别方法和装置

Country Status (1)

Country Link
CN (1) CN103631889B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268504A (zh) * 2014-09-02 2015-01-07 百度在线网络技术(北京)有限公司 图片识别方法和装置
WO2015070678A1 (zh) * 2013-11-15 2015-05-21 北京奇虎科技有限公司 一种图像识别方法、挖掘图像主体信息方法及装置
CN105069426A (zh) * 2015-07-31 2015-11-18 小米科技有限责任公司 相似图片判断方法以及装置
CN105354228A (zh) * 2015-09-30 2016-02-24 小米科技有限责任公司 相似图搜索方法及装置
CN108629649A (zh) * 2017-12-05 2018-10-09 南京天朝机网络科技有限公司 工程机械设备用户信息智能匹配管理方法
CN110532415A (zh) * 2019-08-30 2019-12-03 百度在线网络技术(北京)有限公司 图像搜索处理方法、装置、设备及存储介质
CN112015936A (zh) * 2020-08-27 2020-12-01 北京字节跳动网络技术有限公司 用于生成物品展示图的方法、装置、电子设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542067A (zh) * 2012-01-06 2012-07-04 上海交通大学 基于尺度学习和关联标号传播的自动图像语义标注方法
CN102902826A (zh) * 2012-11-08 2013-01-30 公安部第三研究所 一种基于基准图像索引的图像快速检索方法
CN103020303A (zh) * 2012-12-31 2013-04-03 中国科学院自动化研究所 基于互联网跨媒体地标的历史事件提取及相关图片的搜索方法
CN103377381A (zh) * 2012-04-26 2013-10-30 富士通株式会社 识别图像的内容属性的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542067A (zh) * 2012-01-06 2012-07-04 上海交通大学 基于尺度学习和关联标号传播的自动图像语义标注方法
CN103377381A (zh) * 2012-04-26 2013-10-30 富士通株式会社 识别图像的内容属性的方法和装置
CN102902826A (zh) * 2012-11-08 2013-01-30 公安部第三研究所 一种基于基准图像索引的图像快速检索方法
CN103020303A (zh) * 2012-12-31 2013-04-03 中国科学院自动化研究所 基于互联网跨媒体地标的历史事件提取及相关图片的搜索方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015070678A1 (zh) * 2013-11-15 2015-05-21 北京奇虎科技有限公司 一种图像识别方法、挖掘图像主体信息方法及装置
CN104268504A (zh) * 2014-09-02 2015-01-07 百度在线网络技术(北京)有限公司 图片识别方法和装置
CN104268504B (zh) * 2014-09-02 2017-10-27 百度在线网络技术(北京)有限公司 图片识别方法和装置
CN105069426A (zh) * 2015-07-31 2015-11-18 小米科技有限责任公司 相似图片判断方法以及装置
CN105069426B (zh) * 2015-07-31 2018-09-04 小米科技有限责任公司 相似图片判断方法以及装置
CN105354228A (zh) * 2015-09-30 2016-02-24 小米科技有限责任公司 相似图搜索方法及装置
CN105354228B (zh) * 2015-09-30 2019-06-21 小米科技有限责任公司 相似图搜索方法及装置
CN108629649A (zh) * 2017-12-05 2018-10-09 南京天朝机网络科技有限公司 工程机械设备用户信息智能匹配管理方法
CN110532415A (zh) * 2019-08-30 2019-12-03 百度在线网络技术(北京)有限公司 图像搜索处理方法、装置、设备及存储介质
CN112015936A (zh) * 2020-08-27 2020-12-01 北京字节跳动网络技术有限公司 用于生成物品展示图的方法、装置、电子设备和介质
CN112015936B (zh) * 2020-08-27 2021-10-26 北京字节跳动网络技术有限公司 用于生成物品展示图的方法、装置、电子设备和介质

Also Published As

Publication number Publication date
CN103631889B (zh) 2017-04-12

Similar Documents

Publication Publication Date Title
US10642938B2 (en) Artificial intelligence based method and apparatus for constructing comment graph
CN103631889A (zh) 一种图像识别方法和装置
CN109885773B (zh) 一种文章个性化推荐方法、系统、介质及设备
CN103491205A (zh) 一种基于视频搜索的关联资源地址的推送方法和装置
US8868609B2 (en) Tagging method and apparatus based on structured data set
CN104077388A (zh) 基于搜索引擎的摘要信息提取方法、装置以及搜索引擎
CN103150362A (zh) 一种视频搜索方法及系统
CN110909120B (zh) 简历搜索/投递方法、装置、系统及电子设备
CN104361115A (zh) 一种基于共同点击的词条权重确定方法及装置
CN111061954B (zh) 搜索结果排序方法、装置及存储介质
CN104376115A (zh) 一种基于全局搜索的模糊词确定方法及装置
CN101211368B (zh) 一种对查询词分类的方法、装置及搜索引擎系统
CN111737443B (zh) 答案文本的处理方法和装置、关键文本的确定方法
CN103942264A (zh) 推送包含新闻信息的网页的方法和装置
CN109657043B (zh) 自动生成文章的方法、装置、设备及存储介质
CN111881264B (zh) 一种开放领域问答任务中长文本检索的方法和电子设备
CN102902792A (zh) 列表页识别系统及方法
CN117290481A (zh) 基于深度学习的问答方法、装置、存储介质及电子设备
CN115840808B (zh) 科技项目咨询方法、装置、服务器及计算机可读存储介质
CN117033744A (zh) 数据查询方法、装置、存储介质以及电子设备
CN103631890A (zh) 一种挖掘图像主体信息的方法和装置
CN102929948A (zh) 列表页识别系统及方法
CN115208923A (zh) 设备信息确定方法、装置及设备
CN103500214A (zh) 一种基于视频搜索的分词信息推送方法和装置
CN110968691B (zh) 司法热点确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412

Termination date: 20211115