CN110325983A - 图像检索装置和图像检索方法 - Google Patents

图像检索装置和图像检索方法 Download PDF

Info

Publication number
CN110325983A
CN110325983A CN201780087326.4A CN201780087326A CN110325983A CN 110325983 A CN110325983 A CN 110325983A CN 201780087326 A CN201780087326 A CN 201780087326A CN 110325983 A CN110325983 A CN 110325983A
Authority
CN
China
Prior art keywords
image
attribute
mentioned
presumption
relevance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780087326.4A
Other languages
English (en)
Other versions
CN110325983B (zh
Inventor
渡边裕树
森田健一
段清柱
广池敦
村上智一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN110325983A publication Critical patent/CN110325983A/zh
Application granted granted Critical
Publication of CN110325983B publication Critical patent/CN110325983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明的图像检索装置具备：检索条件输入部，其接受用于检索图像的检索条件；查询生成部，其根据检索条件生成第一查询；图像检索部，其根据第一查询，对数据库内的图像进行检索；关联性推定部，其推定通过检索找出的图像中由预定操作选择出的多个图像之间的关联性；查询修正部，其根据多个图像之间的关联性生成第二查询；将通过查询修正部生成的第二查询显示于界面的功能。

Description

图像检索装置和图像检索方法
技术领域
本发明涉及图像检索装置和图像检索方法。
背景技术
由于视频影像的存档、因特网上的动画发布服务的普及，高速地检索/分类大规模的图像数据的必要性增加。另外，对为了安全而积累的监视图像的分析的期待变高。由于难以通过人工对这些大量的图像赋予文本信息，所以要求利用通过基于图像特征量的类似图像检索、图像识别技术自动赋予的元数据来提高检索效率。
例如，在专利文献1中，公开了一种图像检索装置，其能够根据检索对象和检索非对象的物体属性的统计信息，评价每个属性的识别性能，不依存于检索对象的属性的偏差地进行高效的检索。
现有技术文献
专利文献
专利文献1：日本特开2015-106300
发明内容
发明要解决的问题
在专利文献1中，没有涉及用于将用户的主观检索意图高精度地反映到图像检索中的构思。即，没有公开根据通过图像检索而找出的许多图像中由用户指定的多个图像之间的关联性生成新的查询的结构，无法将用户的检索意图高精度地反映到图像检索中。
用于解决问题的方案
为了解决上述问题，本发明提供的图像检索装置具备：检索条件输入部，其接受用于检索图像的检索条件；查询生成部，其根据检索条件生成第一查询；图像检索部，其根据第一查询，对数据库内的图像进行检索；关联性推定部，其推定通过检索找出的图像中由预定操作选择出的多个图像之间的关联性；查询修正部，其根据多个图像之间的关联性生成第二查询；将通过查询修正部生成的第二查询显示于界面的功能。
发明效果
根据本发明，根据通过图像检索而找出的多个图像中由用户指定的多个图像之间的关联性生成新的查询，其结果是能够高精度地将用户的检索意图反映到图像检索中。
附图说明
图1是表示图像检索系统的结构的框图。
图2是表示图像检索系统的硬件结构的框图。
图3是表示图像数据库的构造的图。
图4是表示数据库登记处理的流程图。
图5是表示图像检索处理的流程图。
图6是说明关联属性推定处理的图。
图7是表示关联属性推定处理的流程图。
图8是表示检索画面的图。
图9是表示检索画面的画面迁移的图。
图10是表示系统整体的处理的时序图。
图11是说明实施例2的关联属性推定的图。
图12是表示实施例2的图像数据库的构造的扩展例子的图。
图13是表示实施例3的关联属性推定处理的概念图。
图14是表示实施例3的关联属性推定处理的流程图。
图15是表示实施例4的新属性生成处理的流程图。
具体实施方式
以下，参照附图说明本发明的实施方式。本实施方式只不过是用于实现本发明的一个例子，并不限定本发明的技术范围。对在各图中共通的结构，附加相同的参照符号。
实施例1
本实施方式的图像检索装置从新登记的图像中识别出多个属性，将带有识别可靠度的属性信息登记到图像数据库中。在检索时，依照输入的检索条件取得属性集合，根据属性集合生成检索查询向量(search query vector)，从图像数据库中取得向量间距离较近的数据。用户对取得的检索结果进行合适性评价，输入到图像检索装置。图像检索装置取得合适检索结果的属性，通过统计解析总结可靠度的分布，将符合规定的条件的属性作为追加或排除的属性向用户进行提示。用户将所提示的属性作为参考而反复进行检索，由此能够得到反映了检索意图的属性集合，提高了图像检索的精度。
此外，此处所述的“属性”是指用于确定人物的信息，例如包括性别、年龄等身体属性、“黑发”、“佩戴眼镜”、“持有手提箱”等外观属性、“停止”、“下蹲”等行动特性。将在后面详细说明。
另外，此处所述的“可靠度”是对每个属性设定的表示该属性存在于规定区域内的概率的值，根据统计信息进行计算。将在后面详细说明。
另外，以下在提到“图像”时，是表示动画或静止图像的信息，在提到“影像”时，表示还包含图像以外的语音数据等的信息。
图1是表示实施例1的图像检索系统100的结构例子的框图。作为图像检索系统100的实施例，可以考虑公安人员希望从特定的站台内的监视照相机图像内实施特定的可疑人物的搜索的情况、大型商业设施管理公司职员等用户希望从设施内的监视照相机图像内设施丢失孩子、失物等的搜索的情况等，但并不限于此。以下，说明各结构。
图像检索系统100具备按照用户输入为检索条件的属性检索图像数据库107并根据针对检索结果的合适性评价推定向检索条件追加的属性并向用户提示的功能和界面，由此高效地执行利用了多个属性的影像图像检索。图像检索系统100由图像存储装置101、输入装置102、显示装置103、以及图像检索装置104构成。图像存储装置101是保存静止图像数据或动画数据的存储介质，使用计算机内置的硬盘驱动器、或NAS(Network AttachedStorage：网络附加存储器)或通过SAN(Storage Area Network：存储局域网)等网络连接的存储系统而构成。另外，图像存储装置101也可以是临时保存从照相机持续输入的图像数据的快闪存储器。
输入装置102是鼠标、键盘、触摸设备等用于向图像检索装置104传递用户的操作的输入接口。显示装置103是液晶显示器等输出接口，被用于图像检索装置104的检索结果的显示、与用户的对话操作等。
图像检索装置104是进行用于抽出检索所需要的信息并数据库化的登记处理、以及使用了所登记数据的检索处理的装置。以下说明登记处理。此外，在图4的流程图中也说明登记处理的细节。在登记处理中，从图像存储装置101所积累的静止图像数据或动画数据中，根据需要抽出识别对象区域，通过图像识别处理从抽出的区域中取得属性，并登记到图像数据库107中。此外，这时从一个处理区域中抽出多个属性，并且对各属性赋予图像识别处理的可靠度。用0以上1以下的实数值赋予属性的可靠度，越接近1，则表示处理区域包含该属性的概率越高。例如在外观属性的情况下，从存在于图像内的人物抽出脸部区域，从该脸部区域取得“佩戴眼镜”作为属性，在输出了可靠度“0.9”的情况下，表示在该脸区域中有90％的概率包含“佩戴眼镜”属性。将在后面说明可靠度计算的方法。
另外，图像检索装置104使用用户从输入装置102指定的检索条件，从图像数据库107检索符合检索条件的图像，进行用于向显示装置103提示信息的检索处理。在检索处理中，用户指定多个属性作为检索条件。用户例如通过点击显示在显示装置103的每个属性的复选框，来决定检索所使用的属性。将在后面的图8中详细说明。此外，只要能够确定使用的属性，则也可以通过文章、语音进行输入。
图像检索装置104从图像数据库107所积累的数据中，检索符合指定的属性的图像，向显示装置103显示检索结果。用户确认所显示的检索结果，进行是否是希望的检索结果的合适性判定，并输入到图像检索装置104。图像检索装置104通过调查与合适的检索结果共通地出现的属性，而推定向检索条件追加的属性并向用户进行提示。用户将所提示的属性追加到条件中进行再检索，由此能够从系统所准备的许多属性中，高效地选择适合于检索所希望的图像的属性集合。
图像检索装置104由图像输入部105、属性识别部106、图像数据库107、检索条件输入部108、查询生成部109、图像检索部110、关联属性推定部111、查询修正部112构成。
图像输入部105从图像存储装置101接受静止图像数据或动画数据的输入，将数据变换为在图像检索装置104内部使用的数据形式。例如，在图像输入部105接受的数据是动画图像的情况下，图像输入部105进行分解为帧(静止图像数据形式)的动画解码处理。
属性识别部106对输入的图像所包含的属性进行识别。按照系统规定的对象单位进行属性识别。例如，如果是将人物作为一个对象处理的系统，则首先检测出图像所包含的人物，对检测出的每个区域进行属性识别处理。检测处理可以使用公知的方法。
此外，为了进行属性识别，必须事先准备与特定的图像特征对应的识别器。如果使用利用了近年来的深度学习的图像特征量的自动学习，则能够比较容易地增加属性识别器。本实施例的属性识别部106例如设想了识别数十到数百种的属性，并根据统计信息输出各属性的可靠度。对于识别的属性，如果与人物有关，则例如是表示身体/外观信息的性别(男性、女性)、年龄段(10岁段、20岁段、30岁段)、服装(休闲、正式、颜色的种类)、姿势(身体的朝向、脸的朝向)等。另外，在接受动画的输入的情况下，也可以使用时序特征而将行动(散步、跑步、下蹲)作为属性。进而，也可以将影像所包含的图像的信息以外作为属性进行识别。例如，可以提供影像所包含的语音信号、距离传感器、温度传感器等的数据作为属性识别处理的输入。
图像数据库107保存通过登记处理得到的图像数据和属性数据。图像数据库107针对图像检索装置104的各部的查询，能够检索满足所提供的条件的登记数据，或读出指定的ID的数据。将在后面的图3中详细说明图像数据库107的构造。
以上是图像检索装置104的登记处理中的各部的动作。接着，说明图像检索装置104的检索处理中的各部的动作。此外，在图5的流程图中也详细说明检索处理。
检索条件输入部108接受用户经由输入装置102指定的检索条件。通过由一个以上的属性构成的属性集合来提供检索条件，但该指定也可以不一定是向输入画面进行勾选的方法。例如，也可以接受图像自身，并进行与属性识别部106相同的处理，由此变换为属性集合。或者，也可以输入语音、文本并进行语音识别、自然语言处理，由此变换为属性集合。另外，也可以向检索条件所包含的各属性赋予表示在检索时怎样程度地重视的加权信息。进而，检索条件输入部108也可以指定排除对象的属性作为检索条件。例如，在希望排除戴着眼镜的人物的情况下，向排除对象的属性集合追加“佩戴眼镜”属性。
查询生成部109将通过检索条件输入部108得到的属性集合变换为检索查询。用数值向量表现检索查询。例如，在搜索包含属性1和属性2并且不包含属性3的图像的情况下，成为检索查询向量Vq＝(1，1，0)。
图像检索部110使用通过查询生成部109得到的查询向量，从图像数据库107取得相应的登记数据。在检索处理中，计算查询向量与登记数据的向量之间的距离，按照距离近的顺序排列地输出一定个数。在距离计算中使用平方欧几里得距离(Euclideandistance)。例如，如果查询向量为Vq＝(q1，q2，q3，……)，登记数据的向量为Vp(p1，p2，p3，……)，则根据d(Vp，Vq)＝(p1-q1)^2+(p2-q2)^2+(p3-q3)^2+……来计算平方欧几里得距离d(Vp，Vq)。在此，“^2”表示平方。可以认为平方欧几里得距离越小，则是越接近符合检索条件的登记数据的图像。此外，也可以如上述那样，与属性的重要度对应地赋予加权信息。例如，如果为加权向量W＝(w1，w2，w3，……)，则成为d(p1，q1，W)＝w1×(p1-q1)^2+w2×(p2-q2)^2+w3×(p3-q3)^2+……。在该例子中，说明了使用平方欧几里得距离作为图像之间的类似度的指标的例子，但只要是能够评价查询与登记数据的符合性的计算方法，则能够使用任意的指标来检索数据。
关联属性推定部111是从图像数据库107取得符合检索条件的检索结果的属性信息并推定关联属性的处理部。对于检索结果是否符合检索条件，既可以由用户确认检索结果而输入到图像检索装置104，也可以自动地将通过图像检索部110求出的距离为预定值以下的结果判定为“符合”。关联属性是没有包含在检索条件中的属性，是在检索结果中独特地出现的属性。在将后面的图6中详细说明关联属性推定处理。
查询修正部112向检索条件追加通过关联属性推定部111推定并向用户提示的关联属性中的用户指定的属性，传递到查询生成部109。
通过反复进行以上的检索条件输入处理、检索处理、关联属性推定处理，而趋近符合用户的检索意图的检索结果。由此，用户能够从系统提示的大量的属性中，高效地选择适当的属性集合。用户可以任意地将通过一连串的检索处理得到的适当的属性集合登记到系统中。另外，也可以将多个属性的组合作为一个新的属性登记到数据库中，由此提高检索的效率。
以上是图像检索装置104的检索处理中的各部的动作。此外，也可以同时执行图像检索装置104的登记处理和检索处理。在该情况下，用户再利用检索处理的结果得到的属性集合，由此能够从新登记的数据得到高质量的检索结果。
图2是表示本实施例的图像检索系统100的硬件结构例子的框图。图像检索装置104具备相互连接的处理器201和存储装置202。存储装置202由任意种类的存储介质构成。存储装置202由半导体存储器、硬盘驱动器的组合构成。
此外，通过由处理器201执行存储在存储装置202中的处理程序203，来实现图1所示的图像输入部105、属性识别部106、检索条件输入部108、查询生成部109、图像检索部110、关联属性推定部111、查询修正部112这样的功能部。换言之，由处理器201根据处理程序203执行各功能部执行的处理。另外，图像数据库107的数据被存储在存储装置202中。此外，在以处理负荷分散等为目的，由多个装置构成图像检索系统100的情况下，具备图像数据库107的装置和执行处理程序203的装置也可以是通过网络连接的物理上不同的装置。
图像检索装置104还具备与处理器201连接的网络接口装置(NIF)204。设想了图像存储装置101是经由网络接口装置204与图像检索装置104连接的NAS或SAN。此外，图像存储装置101也可以包含在存储装置202中。
图3是表示本实施例的图像数据库107的结构和数据例子的说明图。此外，在本实施方式中，也可以不依存于数据构造地用任意的数据构造来表现系统所使用的信息。图3表示出表形式的例子，但例如可以由从表、列表、数据库、或队列中适当地选择出的数据构造体来存储信息。
图像表300由图像ID字段(field)301、图像数据字段302、以及属性可靠度字段303构成。
图像ID字段301保存各图像数据的识别编号。图像数据字段302以二进制保存显示检索结果时所使用的图像数据。属性可靠度字段303保存从图像识别出的属性的可靠度。如上述那样，用0以上1以下的实数值赋予属性的可靠度，越接近1，则表示处理区域包含该属性的概率越高。另外，属性可靠度字段也可以如304、305那样保存多个字段。
此外，图3的各表结构和各表的字段结构只不过是一个例子，可以与应用程序对应地追加表和字段。例如，既可以通过保存图像的拍摄时间、拍摄地点的信息而用于检索选项，也可以通过保存图像特征量而追加基于图像的类似性的检索功能。另外，如果保存了同样的信息，则也可以改变表结构。
本实施例的图像检索装置104如上述那样根据从输入的图像抽出的多个属性，推定适合于用户的检索意图的属性集合，由此能够高效地检索具有特定的属性的图像。在此，为了根据用户指定的检索条件执行基于属性信息的检索，必须执行检索对象的数据库登记处理。如果积累了在图3中说明的数据库的结构例子的信息，则登记时的步骤可以是任意的，但例如可以使用图4的流程图所示的步骤。
图4是表示数据库登记的处理流程的图。以下，说明图4的各步骤。此外，数据登记处理流程的触发是用户请求规定的场景下的图像数据群等。将在后面的作为登记处理和检索处理的整体时序图的图10中详细说明触发。
图像输入部105从图像存储装置101取得图像数据，根据需要将取得的图像数据变换为能够在系统内部利用的形式(S401)。例如在接受了动画数据的输入的情况下，变换处理对应于将动画数据分解为帧(静止图像数据形式)的动画解码处理等。
属性识别部106从输入的图像中检测成为识别对象的区域。例如，在检索人物的应用的情况下，检测人物的全身或脸部区域(S402)。在检测处理中，可以使用公知的人检测算法、脸部检测算法。另外，在提供多个帧的连续图像作为输入的情况下，也可以通过在帧之间跟踪物体，而关联地输出多张区域图像。在从图像全体抽出属性的情况等不需要抽出区域的情况下，也可以跳过S402的处理。
属性识别部106针对在步骤S402中得到的各区域，执行步骤S404～步骤S405(S403)。
属性识别部106通过图像识别处理，抽出图像所包含的多个属性信息(S404)。该处理既可以使用对每个属性不同的算法，也可以使用能够同时识别多个属性的算法。其中，在以后的检索处理中，以各属性的可靠度是相同的尺度为前提，因此在使用多个不同的算法的情况下，在算法之间进行可靠度的标准化处理。
属性识别部106将在步骤S402中得到的区域图像和在步骤S404中得到的属性关联起来登记到图像数据库107中(S405)。
图像检索装置104在图像存储装置101所包含的规定的图像数据的处理完成的情况下，结束处理(S407)。在监视照相机等持续地将新的数据记录到图像存储装置101中的情况下，在等待到存储新的数据后，返回到步骤S401，反复进行登记处理。
图5是表示利用了属性的图像检索的处理流程的图。图像检索装置104根据用户对利用了属性集合的检索结果的合适性判定，推定关联属性，辅助检索条件的修正。以下，说明图5的各步骤。
检索条件输入部108接受用户输入的检索条件(S501)。检索条件是属性的集合。例如，用户通过输入装置102操作显示在显示装置103的每个属性的复选框，向系统提供检索条件的属性。或者，也可以通过对输入的语音、文本进行处理，而变换为属性集合。
查询生成部109将在步骤S501中输入的检索条件变换为对图像数据库107的查询向量(步骤S502)。变换方法如在图1中上述的那样，用数值向量来表现，其中用1表示使用的属性，用0表示排除的属性。
图像检索部110使用在步骤S502中得到的查询向量，检索图像数据库107内的数据(步骤S503)。在检索处理中，如在图1中上述的那样，计算根据登记在数据库中的比较对象的数据的属性可靠度生成的数值向量与查询向量的平方欧几里得距离，按照距离小到大的顺序取得规定个数的数据。
图像检索装置104将通过图像检索部110取得的数据显示到显示装置103(步骤S504)。将在后面的图8中详细说明显示画面。
图像检索装置104在从用户接受了再检索的指示的情况下，进行步骤S506以后的再检索处理，如果不是，则结束处理(步骤S505)。
关联属性推定部111取得在步骤S503中取得的检索结果的合适性评价(S506)。用户确认显示在显示装置103的检索结果，使用输入装置102向图像检索装置104指定用户判断为“合适”的图像，由此进行合适性的评价。另一方面，也可以如上述那样使合适性评价处理自动化。即，也可以自动地将向量之间的欧几里得距离为预定值以下的检索结果判定为“合适”，自动地将预定值以上的检索结果判定为“不合适”。
关联性推定部111使用在步骤S506中取得的合适性评价结果，推定没有包含在检索条件中的关联属性(S507)。将在后面的图6和图7中说明关联属性的推定方法。
图像检索装置104将在步骤S507中推定出的关联属性显示到显示装置103(S508)。
查询修正部112将在步骤S508中显示的关联属性作为参考，向检索条件追加用户新指定的属性，返回到步骤S502反复进行检索处理(S509)。通过反复进行步骤S502～步骤S509，容易地得到符合用户的检索意图的检索结果。
图6是详细说明关联属性的推定处理(S507)的图。在本处理中，使用用户提供的对检索结果的合适性评价，推定对再检索的条件追加或排除的属性。
首先，针对使用初始的检索条件从图像数据库107取得的检索结果，用户提供合适/不合适的标志(601)。接着，取得选择为适合的数据所述的属性(602)。分别取得的属性没有包含在初始的检索条件中。取得的信息是各属性的识别处理的可靠度。图6的602表示越是数据条(bar)越长的属性则可靠度越高。接着，针对得到的可靠度的数据按每个属性进行统计处理，抽出关联性高的属性(603)。例如，根据所选择的多个数据内的各属性，将可靠度的偏差(方差值)为预定值以下、并且平均值为预定值以上的部分作为追加属性的候选(604)，将可靠度的平均值为预定值以下的部分作为排除属性的候选(605)。在可靠度分为2个位置以上地分布的情况下，通过进行追加或排除，现存的检索结果的排列顺序变动的可能性高，因此也可以作为分支候选而向用户提示该属性(606)。
图7是用详细的流程表示关联属性推定的处理(S507)的图。以下，说明各步骤。
关联属性推定部111依照用户对检索结果的合适性评价，对每个图像取得合适检索结果(S701)。
关联属性推定部111对全部的合适检索结果执行步骤S703(S702)。
关联属性推定部111从图像数据库107取得检索结果的数据所附带的属性数据(S703)。这时，没有取得检索条件所包含的属性的数据。
关联属性推定部111针对在步骤S703中成为取得对象的全部属性，执行步骤S706、步骤S707(S705)。
关联属性推定部111通过统计处理，分析在步骤S702～步骤S704中取得的相应属性的可靠度的分布(S706)。
关联属性推定部111根据在步骤S706中得到的统计信息，判定是将相应属性设为向检索条件追加的候选、还是设为排除候选、设为分支候选(S707)。判定方法例如如在图6的说明中上述的那样，使用以属性的可靠度的平均值、方差值为基准的方法。
如果针对所有的属性完成了追加、分支、或排除的判定，则结束处理。
图8是表示用于使用本实施例的图像检索装置104进行图像检索的操作画面的结构例子的图。另外，同样，图9是进行图像检索的操作画面，是用于说明从图8的画面迁移的图。首先，说明图8。
在显示装置103上向用户提示操作画面。用户使用输入装置102，操作显示在画面上的光标800，由此向图像检索装置104提供处理的指示。此外，图8的例子是固定型的操作终端，但只要是能够进行输入和显示的设备，则可以采用各种形式。例如，也可以如智能手机、平板电脑那样使用触摸操作。另外，也可以使用头戴型的显示器、能够显示信息的眼睛型的设备作为显示装置，使用接受语音输入、手势的输入装置。在使用这样的可穿戴便携设备的情况下，与固定型计算机相比，要求简化检索条件的输入，因此本实施例的关联属性推定和提示功能发挥更显著的效果。
操作画面包括检索条件输入区域801、检索按钮802、关联属性推定按钮803、以及检索结果显示区域804。
通过检索条件输入部108和查询修正部112将显示在检索条件输入区域801中的信息输出到显示装置103。通过图像检索部110将显示在检索结果显示区域804中的信息输出到显示装置103。
在该画面中，首先用户输入初始的检索条件(相当于S501)。在图8的例子中，为了检索人物，对多个属性的每个显示复选框。用户通过勾选复选框，向系统输入希望检索的人物的属性。另外，在有希望检索的人物的样本图像的情况下，也可以准备输入图像的界面，在执行属性识别后，自动地勾选识别的可靠度高的属性即可。在该情况下，也可以在自动输入后手动地修正用于检索的属性。
如果在输入初始的检索条件后，用户点击检索按钮802，则执行检索(相当于S503)。此外，如果没有动作速度的问题，则也可以不明确地按下检索按钮，而在变更了检索条件的时间点自动地执行检索。
图9是表示执行检索后的检索结果显示画面的图。
如果执行了检索，则在检索结果显示区域804中显示检索结果901的一览(相当于S504)。用户确认检索结果，判定是否符合检索意图(相当于S506)。对于合适判定评价，如上述那样，通过勾选对每个检索结果准备的复选框902中的用户判断为“合适”的图像的复选框，来指定合适的结果。
如果在输入合适评价后，用户点击关联属性推定按钮803，则执行关联属性推定处理(相当于S507)。这时，与检索同样地，如果没有速度上的问题，则也可以在每次输入合适评价时，执行关联属性推定处理即可。
通过关联属性推定处理，在检索条件输入区域中高亮地显示成为追加或排除的候选的属性(903)。用户将高亮显示地提示的属性作为参考，修正检索条件，到得到希望的检索结果为止，反复进行检索。
图10是说明本实施例的图像检索系统100的处理的一个例子的时序图。图10具体地表示上述的图像检索系统100的图像登记和图像检索处理中的用户1000、图像存储装置101、计算机1001、以及图像数据库107之间的处理时序。此外，计算机1001是实现图像检索装置104的计算机。
S1010表示登记处理，S1020表示检索处理。登记处理S1010包括步骤S1011～步骤S1018所示的处理。如果用户1000发出登记请求(S1011)，则开始一连串的登记处理(S1012)。将在后面说明S1011的具体实施例。一连串的登记处理相当于在图4中说明了的处理，针对用户指定的文件数、规定时间反复执行。计算机1001向图像存储装置101发出图像数据取得请求(S1013)，从图像存储装置101取得图像数据(S1014)。计算机1001从取得的图像中检测出成为处理对象的区域(S1015)，通过图像识别从检测出的区域中抽出多个属性数据(S1016)。将得到的图像、属性数据登记到图像数据库107中(S1017)。
如果用户1000向计算机1001输入了检索条件(S1021)，则执行检索处理S1022。检索处理S1022包括步骤S1023～步骤S1030所示的处理，相当于在图5中说明的一连串的检索处理。计算机1001将输入的检索条件变换为查询向量(S1023)，从图像数据库107中检索图像(S1024)，并向用户1000提示检索结果(S1025)。用户1000确认检索结果，向计算机1001传递合适性评价(S1026)。计算机1001从图像数据库107取得合适的检索结果所附带的属性数据(S1027)，推定关联属性(S1028)，并向用户1000提示(S1029)。用户1000将提示的属性作为参考而修正检索条件，并传递到计算机1001(S1001)。通过反复进行以上的一连串的检索处理S1022，用户能够得到用于取得高质量的检索结果的属性集合。
在此，说明每个实施例的S1011的定位。例如，如果设想公安人员希望从特定的站台内的监视照相机图像内实施特定的可疑人物的搜索的情况，则S1011相当于向与图像存储装置101对应的站服务器请求认为是显示出可疑人物的图像数据群的处理。另外，如果设想大型商业设施管理公司职员等用户希望从设施内的监视照相机图像内实施丢失孩子、失物等的搜索的情况，则S1011相当于向与图像存储装置101对应的设施内服务器请求认为是显示出丢失孩子、失物等的图像数据群的处理。此外，在S1011时，能够通过由用户具体地指定日期、时间段等，来缩小取得的数据群的基数。
此外，在图10中，在登记处理S1010完成后，执行检索处理S1020，但也可以同时执行。例如，也可以为以下的系统，即始终对从监视照相机持续输入的图像执行登记处理，用户能够随时地执行检索处理，而从监视图像中检索人物。
另外，也可以与拍摄该图像的监视照相机的ID对应地管理所拍摄的图像。由此，能够容易地确定拍摄了通过检索发现的人物等的时刻和拍摄位置，提高检索对象物的跟踪效率。
如以上所述那样，根据本图像检索系统，能够在多个案例中检索符合用户的检索意图的图像。
实施例2
在实施例1所示的关联属性推定中，如图6所示那样，只使用用户进行了合适性评价的检索结果，求出属性的可靠度的分布。在此，在用户只评价了少数的检索结果的情况下，没有收集到对统计分析充分的数据的可能性高。因此，在实施例2的图像检索装置104中，在关联属性推定部111中，从图像数据库107自动地取得外观与用户指定的合适检索结果类似的数据，扩展向统计分析提供的数据。
图11是使用了类似数据的关联属性推定的处理流程。图11扩展了图7的处理流程。具体地说，向S701和S702之间插入了S1101～S1104。此外，省略与实施例1共通的处理的说明。
关联属性推定部111对在步骤S701中取得的合适检索结果，执行步骤S1102(S1101)。
关联属性推定部111从图像数据库107取得检索结果的类似数据。对于数据类似性，例如设想使用对颜色、形状的特征进行数值化所得的固定长度的向量，将向量之间的距离小的数据解释为类似数据等。为了检索类似数据，属性识别部106除了属性的可靠度以外，还必须抽出图像特征量，并登记到图像数据库107中。
图12是将图3的数据库结构扩展为适合于实施例2的结构。具体地说，成为向图3的图像表103插入了特征量字段1201和1202的数据库结构。此外，省略与实施例1共通的结构的说明。
对于特征量，既可以只保存一种通用的特征量，也可以保存对每个属性专门化了的特征量。另外，在如动画图像那样输入连续的时序数据的情况下，也可以通过属性识别部106进行帧之间的物体跟踪，将跟踪ID登记到图像数据库107中。在该情况下，图像表103插入跟踪ID字段1203。即，可以将跟踪ID相同的数据解释为类似数据而使用。
通过这样进行实施例2记载的收集数据扩展处理，能够收集对统计处理充分的数据，能够提高关联属性推定的精度。
实施例3
在实施例1所示的关联属性推定部111中，为了推定关联属性，只使用了图像识别处理的可靠度，因此在检索中使用只从图像上的特定区域抽出的属性。例如在检索人物的情况下，也可以设想只提示脸的特征作为关联属性，而不将服装的特征等作为候选。因此，在实施例3的关联属性推定部111中，使用属性的空间分布，挑选要提示的属性。
对于属性的空间分布，既可以在构筑系统时由开发者预先指定，也可以在利用了深度学习的卷积神经网络的属性识别中，取得对每个属性激活了卷积层的输出的图像区域，由此得到特征量地图。例如如果如图13那样，汇总在登记时某属性的可靠度高的图像的特征量地图，则能够得到属性识别所使用的图像区域作为注视点地图。在该情况下，在选择关联属性时，如图13的下部那样，准备将已选择的属性的关注点叠加在一起所得的地图，判定是否能够向其配置新的属性。将在后面的图14中说明具体的处理流程。
图14是表示利用了注视点地图的关联属性的推定处理的流程的图。以下说明图14的各步骤。
关联属性推定部111制作累积注视点地图(S1401)。
关联属性推定部111针对图7的处理的结果得到的关联属性，执行步骤S1403～步骤S1406(S1402)。
关联属性推定部111取得该属性的注视点地图(S1403)。
关联属性推定部111对在步骤S1403中取得的注视点地图和在步骤S1401中制作的累积注视点地图进行比较，判定是否能够配置该属性(S1404)。如果能够配置，则转移到步骤S1405，如果不能配置，则转移到步骤S1407，转移到下一个属性的判定处理。
关联属性推定部111将在步骤S1403中取得的注视点地图与累积注视点地图相加(S1405)。
关联属性推定部111输出该属性作为关联属性(S1406)。
如果对全部的属性的判定处理完成，则结束处理。
通过这样实施实施例3记载的关联属性推定处理，能够更全面地向用户提示对检索有效的关联属性，能够提高关联属性推定的精度。
实施例4
在图1的说明中，说明了能够将通过检索处理得到的属性的组合作为新的属性而登记到系统中。但是，在属性之间的关联性低的情况下，也可以设想不适合的情况作为新的属性的情况。例如，脸的属性与鞋的属性的关联性低，有时不适合作为新的属性。
因此，实施例4的图像检索装置104使用属性的出现频度、空间信息，求出属性之间的共性，根据该共性，决定是否在追加新的属性时将组合提示为候选。此外，空间信息可以利用实施例3所述的注视点地图。在注视点地图中类似性高的属性适合作为新的属性的组合的可能性高。例如，“下半身的服装是深蓝色的属性”与“穿牛仔裤的属性”的关注点重合，因此可以追加“下半身的服装是深蓝色的牛仔裤”这样的新的属性的候选。
图15是利用了属性之间的共性的新属性的追加的处理流程。
图像检索装置104根据图5的一连串检索处理的结果得到的属性集合，生成属性的对，针对各属性对，执行步骤S1502～步骤S1505(S1501)。
图像检索装置104从属性对的各属性取得注视点地图(S1502)。
图像检索装置104计算在步骤S1502中得到的2个注视点地图的类似度(S1503)。对于类似度计算，例如对注视点地图进行向量化，求出平方欧几里得距离，计算为距离越小则类似度越高。
图像检索装置104如果在步骤S1503中求出的类似度为预定值以上(即距离为预定值以下)，则执行步骤S1505，如果不是，则转移到步骤S1506，对下一个属性对进行评价。
图像检索装置104将属性对作为新的属性候选，使用显示装置103向用户提示。
如果对全部的属性对评价完成，则结束处理。另外，如果反复进行上述处理，则还能够评价3种以上的属性的组合。
通过这样实施实施例4记载的新属性生成处理，能够生成对检索有效的新的属性并向用户提示，能够提高图像检索的精度。
此外，本发明并不限于上述实施例，包含各种变形例子。例如，为了容易理解地说明本发明而详细说明了上述实施例，并不限于一定具备所说明的全部结构。另外，也可以将某实施例的结构的一部分置换为其他实施例的结构，另外还可以向某实施例的结构追加其他实施例的结构。另外，可以对各实施例的结构的一部分进行其他结构的追加、删除、置换。
另外，例如可以通过用集成电路进行设计等，而用硬件实现上述的各结构、功能、处理部、处理单元等的一部分或全部。另外，也可以由处理器解释实现各个功能的程序并执行，由此用软件实现上述的各结构、功能。可以将实现各功能的程序、表、文件等信息放置到存储器、硬盘、SSD(固态驱动器)等记录装置、或IC卡、SD卡、DVD等记录介质中。
并且，表示出认为在说明上必要的控制线、信息线，并不限于在产品上一定表示出全部的控制线、信息线。实际上可以考虑将几乎全部的结构相互连接起来。

Claims (10)

1.一种图像检索装置，具备：
检索条件输入部，其接受用于检索图像的检索条件；
查询生成部，其根据上述检索条件生成第一查询；以及
图像检索部，其根据上述第一查询，对数据库内的图像进行检索，
其特征在于，
上述图像检索装置还具备：
关联性推定部，其推定通过检索找出的图像中由预定操作选择出的多个图像之间的关联性；
查询修正部，其根据上述多个图像之间的关联性生成第二查询；以及
将通过上述查询修正部生成的第二查询显示于界面的功能。
2.根据权利要求1所述的图像检索装置，其特征在于，
上述关联性推定部对上述多个图像的每一个，从上述数据库取得图像内所包含的属性和该属性的可靠度，通过使用了上述可靠度的预定的统计处理推定上述多个图像之间的关联性。
3.根据权利要求2所述的图像检索装置，其特征在于，
上述关联性推定部通过预定的统计处理对各属性的可靠度的分布进行解析，将可靠度的方差值为预定值以下且平均值为预定值以上的属性设为追加属性的候选，将可靠度的平均值为预定值以下的属性设为排除属性，由此推定上述多个图像之间的关联性。
4.根据权利要求3所述的图像检索装置，其特征在于，
上述界面具备关联属性推定按钮，
上述预定操作的触发是用户进行的图像选择以及上述关联性推定按钮的按压。
5.根据权利要求4所述的图像检索装置，其特征在于，
通过用户从显示于上述界面的多个属性中选择特定的属性，或者，对用户输入的查询图像进行解析，来决定上述检索条件。
6.根据权利要求5所述的图像检索装置，其特征在于，
上述图像检索装置还具备：图像输入部，其根据用户指定的预定条件从存储装置取得图像数据群，在实施了预定的变换处理后登记到上述数据库中。
7.根据权利要求6所述的图像检索装置，其特征在于，
上述关联性推定部从上述数据库中选择与用户选择的图像的类似度为预定值以上的图像，并追加为上述关联性推定的对象。
8.根据权利要求7所述的图像检索装置，其特征在于，
上述关联性推定部对每个属性制作表示可靠性高的属性分布的区域的注视点地图，并输出到上述界面。
9.根据权利要求8所述的图像检索装置，其特征在于，
上述关联性推定部对每个属性对计算出注视点地图的类似度，并将该类似度为预定值以上的属性对作为新的属性输出到上述界面。
10.一种图像检索方法，其特征在于，包括：
检索条件输入部接受用于检索图像的检索条件的步骤；
查询生成部根据上述检索条件生成第一查询的步骤；
图像检索部根据上述第一查询对数据库内的图像进行检索的步骤；
关联性推定部推定通过检索找出的图像中由预定操作选择出的多个图像之间的关联性的步骤；以及
查询修正部根据上述多个图像之间的关联性生成第二查询的步骤。
CN201780087326.4A 2017-02-28 2017-12-28 图像检索装置和图像检索方法 Active CN110325983B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-035677 2017-02-28
JP2017035677A JP6811645B2 (ja) 2017-02-28 2017-02-28 画像検索装置及び画像検索方法
PCT/JP2017/047398 WO2018159095A1 (ja) 2017-02-28 2017-12-28 画像検索装置及び画像検索方法

Publications (2)

Publication Number Publication Date
CN110325983A true CN110325983A (zh) 2019-10-11
CN110325983B CN110325983B (zh) 2023-02-21

Family

ID=63371148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087326.4A Active CN110325983B (zh) 2017-02-28 2017-12-28 图像检索装置和图像检索方法

Country Status (6)

Country Link
US (1) US11086924B2 (zh)
EP (1) EP3591544A4 (zh)
JP (1) JP6811645B2 (zh)
CN (1) CN110325983B (zh)
SG (1) SG11201907883VA (zh)
WO (1) WO2018159095A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598176A (zh) * 2017-09-30 2019-04-09 佳能株式会社 识别装置和识别方法
JP6573346B1 (ja) * 2018-09-20 2019-09-11 パナソニック株式会社 人物検索システムおよび人物検索方法
US20200097570A1 (en) * 2018-09-24 2020-03-26 Salesforce.Com, Inc. Visual search engine
JP6511204B1 (ja) * 2018-10-31 2019-05-15 ニューラルポケット株式会社 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法
JP6516943B1 (ja) 2018-10-31 2019-05-22 ニューラルポケット株式会社 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法
JP7207431B2 (ja) 2018-12-27 2023-01-18 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
US11093798B2 (en) * 2018-12-28 2021-08-17 Palo Alto Research Center Incorporated Agile video query using ensembles of deep neural networks
WO2020195408A1 (ja) * 2019-03-22 2020-10-01 株式会社日立産機システム 印字記録システムおよび印字記録システムの制御方法
JP6592755B1 (ja) * 2019-04-05 2019-10-23 ニューラルポケット株式会社 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法
WO2020255307A1 (ja) 2019-06-19 2020-12-24 日本電気株式会社 情報処理装置、情報処理方法、および記録媒体
US11100145B2 (en) * 2019-09-11 2021-08-24 International Business Machines Corporation Dialog-based image retrieval with contextual information
JP2021068063A (ja) 2019-10-18 2021-04-30 富士ゼロックス株式会社 クエリ修正支援システム、検索システム及びプログラム
JP7431563B2 (ja) * 2019-11-28 2024-02-15 キヤノン株式会社 画像検索装置、画像検索方法、及びプログラム
JP7566476B2 (ja) 2020-03-17 2024-10-15 東芝テック株式会社 情報処理装置、情報処理システム及びその制御プログラム
WO2021250843A1 (ja) * 2020-06-11 2021-12-16 日本電気株式会社 画像選択装置、画像選択方法、及びプログラム
JP7555203B2 (ja) 2020-06-19 2024-09-24 株式会社日立製作所 対話支援装置、及び対話支援方法
WO2022098092A1 (en) * 2020-11-03 2022-05-12 Samsung Electronics Co., Ltd. Method of video search in an electronic device
US12008037B2 (en) 2020-11-03 2024-06-11 Samsung Electronics Co., Ltd. Method of video search in an electronic device
JP7524106B2 (ja) * 2021-03-02 2024-07-29 株式会社日立製作所 映像解析システム、及び映像解析方法
JP7362076B2 (ja) * 2021-05-25 2023-10-17 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2023152889A1 (ja) * 2022-02-10 2023-08-17 日本電気株式会社 監視装置、監視システム、監視方法及びプログラム
JP7371843B1 (ja) 2023-01-31 2023-10-31 株式会社ティファナ ドットコム 遺失物管理システム、及びプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040267740A1 (en) * 2000-10-30 2004-12-30 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
JP2008269628A (ja) * 1999-09-27 2008-11-06 Mitsubishi Electric Corp 画像検索システムおよび画像検索方法
US20110274360A1 (en) * 2010-05-06 2011-11-10 Hitachi, Ltd. Similar picture search apparatus
US20120259701A1 (en) * 2009-12-24 2012-10-11 Nikon Corporation Retrieval support system, retrieval support method and retrieval support program
CN102855268A (zh) * 2011-06-03 2013-01-02 国际商业机器公司 基于属性关系进行图像排序的方法和系统
CN103778227A (zh) * 2014-01-23 2014-05-07 西安电子科技大学 从检索图像中筛选有用图像的方法
US20140149376A1 (en) * 2011-06-23 2014-05-29 Cyber Ai Entertainment Inc. System for collecting interest graph by relevance search incorporating image recognition system
CN104246765A (zh) * 2012-03-29 2014-12-24 乐天株式会社 图像检索装置、图像检索方法、程序以及计算机可读取的存储介质
CN105612513A (zh) * 2013-10-02 2016-05-25 株式会社日立制作所 图像检索方法、图像检索系统以及信息记录介质
JP2016167237A (ja) * 2015-03-10 2016-09-15 富士ゼロックス株式会社 画像検索装置及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6859802B1 (en) 1999-09-13 2005-02-22 Microsoft Corporation Image retrieval based on relevance feedback
JP2006318375A (ja) * 2005-05-16 2006-11-24 Matsushita Electric Ind Co Ltd 顔画像検索装置および顔画像検索方法
JP2014016968A (ja) * 2012-07-11 2014-01-30 Toshiba Corp 人物検索装置及びデータ収集装置
JP6254836B2 (ja) 2013-11-29 2017-12-27 キヤノン株式会社 画像検索装置、画像検索装置の制御方法およびプログラム
US10331730B2 (en) * 2014-01-30 2019-06-25 Rakuten, Inc. Attribute display system, attribute display method, and attribute display program
JP6616645B2 (ja) * 2014-11-28 2019-12-04 キヤノン株式会社 分類方法、検査方法、検査装置、およびプログラム
WO2016147260A1 (ja) * 2015-03-13 2016-09-22 株式会社日立製作所 画像検索装置、及び画像を検索する方法
JP2016218578A (ja) * 2015-05-15 2016-12-22 日本電信電話株式会社 画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269628A (ja) * 1999-09-27 2008-11-06 Mitsubishi Electric Corp 画像検索システムおよび画像検索方法
US20040267740A1 (en) * 2000-10-30 2004-12-30 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
US20120259701A1 (en) * 2009-12-24 2012-10-11 Nikon Corporation Retrieval support system, retrieval support method and retrieval support program
US20110274360A1 (en) * 2010-05-06 2011-11-10 Hitachi, Ltd. Similar picture search apparatus
CN102855268A (zh) * 2011-06-03 2013-01-02 国际商业机器公司 基于属性关系进行图像排序的方法和系统
US20140149376A1 (en) * 2011-06-23 2014-05-29 Cyber Ai Entertainment Inc. System for collecting interest graph by relevance search incorporating image recognition system
CN104246765A (zh) * 2012-03-29 2014-12-24 乐天株式会社 图像检索装置、图像检索方法、程序以及计算机可读取的存储介质
CN105612513A (zh) * 2013-10-02 2016-05-25 株式会社日立制作所 图像检索方法、图像检索系统以及信息记录介质
CN103778227A (zh) * 2014-01-23 2014-05-07 西安电子科技大学 从检索图像中筛选有用图像的方法
JP2016167237A (ja) * 2015-03-10 2016-09-15 富士ゼロックス株式会社 画像検索装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹莉华等: "基于相关度和注意力聚焦的图像内容检索", 《国防科技大学学报》 *

Also Published As

Publication number Publication date
EP3591544A1 (en) 2020-01-08
WO2018159095A1 (ja) 2018-09-07
SG11201907883VA (en) 2019-09-27
JP2018142160A (ja) 2018-09-13
CN110325983B (zh) 2023-02-21
JP6811645B2 (ja) 2021-01-13
EP3591544A4 (en) 2020-12-02
US11086924B2 (en) 2021-08-10
US20200065324A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
CN110325983A (zh) 图像检索装置和图像检索方法
JP6850291B2 (ja) 顔認識アプリケーションにおけるフォールスポジティブの最小化のための方法および装置
JP5602135B2 (ja) ビデオコンテンツ内の個人の自動注釈付けのための方法およびシステム
US7707162B2 (en) Method and apparatus for classifying multimedia artifacts using ontology selection and semantic classification
JP5801395B2 (ja) シャッタクリックを介する自動的メディア共有
CN109189991A (zh) 重复视频识别方法、装置、终端及计算机可读存储介质
CN109871464B (zh) 一种基于ucl语义标引的视频推荐方法与装置
CN103534697B (zh) 用于提供统计对话管理器训练的方法和系统
US10482169B2 (en) Recommending form fragments
CN107832338B (zh) 一种识别核心产品词的方法和系统
CN113806588B (zh) 搜索视频的方法和装置
CN109190036B (zh) 推荐方法、装置、电子设备及存储介质
CN111008321A (zh) 基于逻辑回归推荐方法、装置、计算设备、可读存储介质
KR20100044669A (ko) 이미지 매칭에 기초한 상품 정보 제공 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
CN110998507B (zh) 电子装置及其用于提供搜索结果的方法
JP2014511520A (ja) 画像のテキスト化とテキストの画像化の関連性のためのシステム及び方法
CN112613938B (zh) 模型训练方法、装置及计算机设备
WO2017173801A1 (zh) 一种个性化多媒体推荐方法和装置
CN112151187B (zh) 信息查询方法、装置、计算机设备和存储介质
CN114329069A (zh) 视觉搜索查询的智能系统和方法
US9621505B1 (en) Providing images with notifications
KR101743169B1 (ko) 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체
CN112418159A (zh) 基于注意力掩码的就餐人员监控方法、装置和电子设备
US20230044463A1 (en) System and method for locating products
CN115774797A (zh) 视频内容检索方法、装置、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant