CN105989174B - 关注区域提取装置以及关注区域提取方法 - Google Patents

关注区域提取装置以及关注区域提取方法 Download PDF

Info

Publication number
CN105989174B
CN105989174B CN201510098283.2A CN201510098283A CN105989174B CN 105989174 B CN105989174 B CN 105989174B CN 201510098283 A CN201510098283 A CN 201510098283A CN 105989174 B CN105989174 B CN 105989174B
Authority
CN
China
Prior art keywords
region
care degree
partial region
interest
care
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510098283.2A
Other languages
English (en)
Other versions
CN105989174A (zh
Inventor
阮翔
卢湖川
安田成留
吕艳萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Europa Corp
Original Assignee
Europa Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Europa Corp filed Critical Europa Corp
Priority to CN201510098283.2A priority Critical patent/CN105989174B/zh
Priority to PCT/JP2016/050344 priority patent/WO2016139964A1/ja
Priority to DE112016001039.7T priority patent/DE112016001039T5/de
Publication of CN105989174A publication Critical patent/CN105989174A/zh
Priority to US15/683,997 priority patent/US20170352162A1/en
Application granted granted Critical
Publication of CN105989174B publication Critical patent/CN105989174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供关注区域提取装置以及关注区域提取方法。从图像中高精度地提取关注区域，并且计算其关心度。关注区域提取装置包括：提取部件，从输入图像提取一个或者多个部分区域；检索部件，关于由所述提取部件提取出的各自的部分区域，从存储多个图像的图像数据库中检索与该部分区域相似的图像；以及关心度决定部件，基于所述检索部件的检索结果，决定各自的部分区域的关心度。

Description

关注区域提取装置以及关注区域提取方法
技术领域
本发明涉及从图像提取关注区域的技术。
背景技术
以往，存在检测(提取)图像中的关注区域(预计人会关注的图像区域或者应关注的图像区域)的各种现有技术。另外，关注区域检测也被称为显著区域检测(SaliencyDetection)、对象性检测(Objectness Detection)、前景检测(Foreground Detection)、注意力检测(Attention Detection)等。这些现有技术大致分为基于学习的算法和基于模型的算法这两个。
在基于学习的算法中，基于有关学习对象的多个图像数据，学习想要检测的区域的模式(pattern)，基于该学习结果而进行关注区域的检测。例如，在专利文献1中，记载了基于成为学习对象的多个图像数据事先学习并决定特征的种类，基于所决定的特征的种类和成为显著性的计算对象的对象图像数据，提取该对象图像数据中的各部的特征。
在基于模型的算法中，将看到了图像时的人脑的反应模型转换为算式，利用该反应模型而提取图像中的关注区域。例如，在非专利文献1中，将位于眼睛的视网膜的视网膜神经节细胞中被称为感受域的区域在受到光的刺激时传递到大脑的信息转换为模型。感受域由中央区域和周边区域构成，在非专利文献1中，构筑了将通过对中央区域和周边区域的刺激而信号变强的部位(引起注意的地方)进行数值化的模型。
[专利文献1](日本)特开2001-236508号公报
[非专利文献1]Laurent Itti,Christof Koch,Ernst Niebur,“A Model ofSaliency-based Visual Attention for Rapid Scene Analysis”,IEEE Transactionson Pattern Analysis and Machine Intelligence,Vol.20.No.11,pp.1254-1259,1998年11月
在基于学习的算法中，虽然不需要构筑大脑的反应模型，但存在检测结果依赖于学习数据，无法检测与学习数据不相似的对象的缺点。另一方面，在基于模型的算法中，事先没有知识就能够检测关注区域，但存在模型的构筑较为困难，关注区域的检测精度不充分的缺陷。因此，任一种方式都无法在不用限定检测对象的前提下高精度地提取关注区域。
此外，即便是基于学习以及基于模型的任一个算法，在从一个图像中检测出了多个区域的情况下，也无法判断哪个区域更重要、人的关心更高。在检测出了多个区域的情况下，期望对关心程度进行排序。
发明内容
本发明鉴于上述实际情况而完成，本发明的目的在于提供一种从图像中高精度地提取关注区域，并且能够算出其关心度的技术。
本发明从图像数据库中检索与从输入图像提取出的部分区域相似的图像，并利用检索结果求出上述部分区域的关心度。由此，能够实现反映了与在图像数据库中存储的图像有关的信息的高精度的关注区域提取。
更具体地说，本发明的关注区域提取装置包括：提取部件，从输入图像提取一个或者多个部分区域；检索部件，关于由所述提取部件提取出的各自的部分区域，从存储多个图像的图像数据库中检索与该部分区域相似的图像；以及关心度决定部件，基于所述检索部件的检索结果，决定各自的部分区域的关心度。
上述部分区域优选是在输入图像中预计人会关注的图像区域或者应关注的图像区域的候选、即关注区域的候选。提取部件进行的部分区域的提取能够利用现有的任意方法来进行。提取部件例如能够通过利用了基于学习或基于模型的算法的关注区域提取方法来提取部分区域。
图像数据库是以可检索的方式存储多个图像数据的装置。图像数据库可以与关注区域提取装置作为一体而构筑，也可以有别于关注区域提取装置而构筑。例如，图像数据库能够在关注区域提取装置具备的存储装置中构筑。此外，图像数据库能够在关注区域提取装置可经由通信网络而访问的另一装置中构筑。图像数据库的制作/管理者不需要与关注区域提取装置的制作/管理者相同。作为本发明中的图像数据库，例如也能够利用由第三者管理且在互联网上公开的图像数据库。
检索部件从图像数据库中检索与通过提取部件提取出的部分区域相似的图像，并取得检索结果。具体地说，检索部件生成请求取得与部分区域相似的图像的询问(query)，并将该询问发送到图像数据库，从图像数据库取得对于该询问的响应。图像数据库中的相似图像的检索能够利用现有的任意方法来进行。例如，能够利用基于图像的全部区域之间的比较、图像的整体和部分的比较、或者图像的部分和部分的比较来计算相似度的算法，检索相似图像。
关心度决定部件基于检索部件的检索结果，关于各自的部分区域决定关心度。关心度是表示预计人会对该部分区域具有的关心的程度、或者应该对该部分区域具有的关心的程度的指标。关于某一部分区域的关心度高是指，人对该部分区域具有更高的关心，或者应该对该部分区域具有更高的关心。另外，关心度可以以所有人为对象来决定，也可以以某一群人(具有特定的属性的人)为对象来决定，也可以以特定的个人为对象来决定。
关心度决定部件优选利用通过检索部件检索到的与部分区域相似的图像(以下，也简称为相似图像)的统计信息，决定该部分区域的关心度。统计信息是对作为检索的结果而得到的信息施加统计性的处理而得到的信息。
例如，采用与部分区域相似的图像的数目作为统计信息，相似图像的数目越多，能够将关心度决定得越高。这是因为认为在图像数据库中存储的数目越多的物体(对象)，被关注的可能性越高。另外，还认为相似图像的数目表示由提取部件提取出的区域为关注区域的可靠性(精度)。从而，可以说相似图像数目少的部分区域原本不是关注区域却被错误地检测出，因而关心度决定部件也优选关于相似图像数目少于阈值的部分区域，不决定关心度。
此外，也能够采用与相似图像建立关联的标签信息作为统计信息。标签信息是与图像数据库中的图像数据建立关联而存储的、表示通过自然语言指定的图像数据的内容或特征等的信息。标签信息可以被嵌入到图像数据中进行存储，也可以作为与图像数据不同的文件而进行存储。标签信息的附加可以任意进行，例如可以由人以手动输入方式附加标签信息，也可以通过计算机的图像处理而自动地附加标签信息。在采用标签信息作为统计信息时，优选与相似图像建立关联的标签信息的意义的收敛性越高，关心度决定部件将部分区域的关心度决定得越高。这是因为认为标签的语义(意味あい)越收敛，对于该区域的识别越一致，会被寄予越高的关心。标签信息的语义的收敛性优选通过自然语言处理来进行，例如优选即便是标签信息的措辞不同，但只要是相同的概念或相近的概念就判断为语义相近。
此外，也能够采用关于与和部分区域相似的图像的部分区域的相似度的平均值、最频值、中位数、中间值、方差、标准偏差等作为统计信息。相似图像的相似度越高且相似度的偏差越小，能够将关心度决定得越高。此外，除了相似图像的相似度之外，还能够采用相似图像的大小(面积或者像素数)、图像中的位置、颜色等作为统计信息。例如，相似图像的大小能够采用相似图像整体的大小、与部分区域相似的区域的大小(绝对的大小或者对于图像整体的相对的大小)等。此外，图像中的位置能够采用与部分图像相似的区域在图像整体中的位置。关心度决定部件能够基于这些信息的平均值、最频值、中位数、中间值、方差、标准偏差等而决定关心度。
此外，也能够采用对相似图像附加的元信息的平均等作为统计信息。在元信息中包含有关图像本身的属性信息(大小、颜色空间等)、图像拍摄时的条件(拍摄时间日期、快门速度、光圈、ISO灵敏度、测光模式(mode)、有无闪光、焦距、拍摄位置等)。关心度决定部件也可以基于这些元信息而决定关心度。
此外，关心度决定部件也能够基于部分区域的大小或者位置，决定该部分区域的关心度。部分区域的大小可以是绝对的大小，也可以是对于输入图像的相对的大小。关心度决定部件可以在部分区域的大小越大时将关心度决定得越高，也可以在部分区域的大小越小时将关心度决定得越高。关心度决定部件还可以在部分区域越接近输入图像的中心时将关心度决定得越高，也可以在部分区域越接近输入图像的周边时将关心度决定得越高。关心度决定部件优选除了部分区域的大小或者位置之外，还将部分区域中包含的物体的种类也考虑在内而决定关心度。
此外，关心度决定部件还优选基于上述的多个信息来求出多个关心度，整合这些多个关心度而决定最终的关心度。多个关心度的整合方法不特别限定，例如能够将所有关心度的积或加权平均设为最终的关心度。
此外，本发明的关注区域提取装置，还优选进一步包含计算基准取得部件，该计算基准取得部件接受关心度的计算基准的输入，所述关心度决定部件基于按照预先决定的计算基准而算出的第1关心度和按照由所述计算基准取得部件取得的计算基准而算出的第2关心度，计算最终的关心度。这里，上述预先决定的计算基准优选为以一般的人为对象的关心度的计算基准、即通用的计算基准。另一方面，由计算基准取得部件取得的计算基准优选为与状况相应的计算基准、例如与观看图像的用户相应的计算基准、与利用提取出的关注区域的应用相应的计算基准。
此外，本发明的关注区域提取装置，还优选进一步具有整合部件，该整合部件将在所述输入图像中包含的部分区域中邻近的多个部分区域整合为一个部分区域。部分区域邻近包含以下情况，即部分区域之间相邻的情况、其间的距离为预定距离(像素数)以内的情况。上述的预定距离也可以根据部分区域的大小或部分区域中包含的物体的种类等而决定。
此外，本发明的关注区域提取装置，还优选进一步具有输出部件，该输出部件输出在所述输入图像中包含的部分区域的位置和对于各自的部分区域的关心度。部分区域的位置的输出例如能够通过以下方式而进行，即对输入图像叠加表示部分区域的地点的框线而显示，或者将部分区域的颜色或亮度有别于其他的区域而显示。关心度的输出可以通过显示关心度的数值而进行，也可以通过显示与关心度相应的颜色或大小的标记而进行。这时，输出部件还能够关于关心度小于阈值的部分区域不进行关心度的显示或者部分区域的显示，而仅关于关心度为阈值以上的部分区域，进行部分区域的位置以及关心度的输出。
另外，本发明能够作为包含上述部件的至少一部分的关注区域提取装置而掌握。此外，本发明也能够作为关注区域提取方法或者关心度计算方法而掌握。此外，也能够作为用于使计算机执行这些方法的各步骤的计算机程序、非临时性地存储了该程序的计算机可读取的存储介质而掌握。上述结构以及处理的每一个只要不产生技术性的矛盾则能够相互组合而构成本发明。
根据本发明，能够从图像中高精度地提取关注区域，并且算出其关心度。
附图说明
图1的(A)～(B)是表示第1实施方式的关注区域提取装置的硬件结构和功能块的图。
图2是表示第1实施方式中的关注区域提取处理的流程的流程图。
图3的(A)～(B)是表示输入图像的例子和从输入图像提取的关注区域的例子的图。
图4是说明关注区域的关心度计算的概念图。
图5的(A)～(B)是表示相似图像检索的结果的例子和基于检索结果的关心度计算的例子的图。
图6的(A)～(B)是表示关心度的输出处理的流程的流程图和表示关心度的输出例的图。
图7是表示第2实施方式中的关注区域提取处理的流程的流程图。
图8是表示第3实施方式的关注区域提取装置的功能块的图。
图9是表示第3实施方式中的关注区域提取处理的流程的流程图。
图10是表示第4实施方式的关注区域提取装置的功能块的图。
图11是表示第4实施方式中的关注区域提取处理的流程的流程图。
图12的(A)～(B)是表示第4实施方式中的关注区域整合处理前和关注区域整合处理后的图。
标号说明
10、310、410：关注区域提取装置
20：摄像机，30：图像数据库
110：区域提取部，120：相似图像检索部，130：关心度计算部
140：输出部，150：区域整合部
400：输入图像，401、402、403、404：关注区域
601、602、603：关心度显示部
1200：输入图像
1201、1202、1203：关注区域(整合处理前)
1204：关注区域(整合处理后)
具体实施方式
(第1实施方式)
本实施方式的关注区域提取装置是，通过对图像数据库进行相似图像检索，从而能够从输入图像高精度地提取出关注区域，并且，算出各关注区域的关心度的装置。通过对图像数据库进行检索，能够利用仅凭输入图像则无法获得的信息，能够实现关注区域的高精度提取以及关心度的计算。
<结构>
图1(a)是表示本实施方式的关注区域提取装置10的硬件结构的图。关注区域提取装置10包含图像输入部11、运算装置12、存储装置13、通信装置14、输入装置15、输出装置16。图像输入部11是从摄像机20获取图像数据的接口。另外在本实施方式中，从摄像机20直接获取图像数据，但也可以经由通信装置14获取图像数据，也可以经由存储介质获取图像数据。运算装置12是CPU(中央处理单元)等的通用的处理器，执行在存储装置13中存储程序而实现后述的功能。存储装置13包含主存储装置以及辅助存储装置，存储由运算装置12执行的程序，并且存储图像数据和程序执行中的临时数据。通信装置14是用于关注区域提取装置10与外部的计算机进行通信的装置。通信的方式可以是有线也可以是无线，通信标准可以是任意的。在本实施方式中，关注区域提取装置10经由通信装置14访问图像数据库30。输入装置15由键盘和鼠标等组成，是用于用户对关注区域提取装置输入指示的装置。输出装置16由显示装置和扬声器等组成，是用于关注区域提取装置进行对于用户的输出的装置。
图像数据库30是包含运算装置和存储装置等的计算机，是以可检索的方式存储多个图像数据的装置。图像数据库30可以由一台计算机构成，也可以由多个计算机构成。在图像数据库30中存储的图像数据中，除了图像其本身的数据(每个像素的颜色信息等)以外，关联了各种属性信息。例如，图像数据的数据文件能够按照Exif格式而包含各种属性信息。此外，图像数据库30能够将在不同于图像数据的数据文件的文件中存储的属性信息与图像数据建立关联而存储。在属性信息中，例如包含关于图像的大小、颜色空间、图像的拍摄条件(拍摄日期时间、快门速度、光圈、ISO灵敏度、测光模式(mode)、有无闪光、焦距、拍摄位置等)、图像的内容和特征，以自然语言描述的信息(标签信息)。这些属性信息是有关图像数据的元信息。图像数据库30经由互联网等公用网络而普通公开，接受图像数据的注册和检索。
谁将图像注册到图像数据库30、所注册的图像的数目不特别限定。例如，也可以注册与关注区域提取装置10的用户应关注的物体有关的图像。这时可以说注册图像是适合关注区域提取处理的图像，因而注册图像的数目可以不用那么多。此外，也可以由作为第三者的普通用户和检索服务等的提供者来注册图像。这时，注册图像有可能不是适合关注区域提取处理的图像。因此，在这样的情况下，优选有众多图像被注册在图像数据库30中。
<关注区域提取装置的功能和处理>
运算装置12通过执行程序，实现图1(b)所示那样的功能。即，运算装置12提供区域提取部110、相似图像检索部120、关心度计算部130、输出部140的各功能。关于各部的处理内容在以下进行说明。
图2是表示由关注区域提取装置10执行的关注区域提取处理的流程的流程图。在步骤S10中，关注区域提取装置10取得图像(输入图像)。输入图像可以经由图像输入部11从摄像机20取得，也可以经由通信装置14从其他的计算机取得，也可以经由存储装置13从存储介质取得。图3(a)是表示输入图像400的一例的图。
在步骤S20中，区域提取部110从输入图像提取关注区域(部分区域)。区域提取部110使用的关注区域提取算法不特别限定，能够采用包含基于学习的算法以及基于模型的算法在内的现有的任意算法。此外，采用的算法不必限定为一个，也可以按照多个算法提取关注区域。另外，在基于学习的算法中只能提取已学习的对象，因而优选使用基于模型的提取算法。
图3(b)是表示从输入图像400提取的关注区域的例子的图。在该例子中，从输入图像400提取了4个关注区域401-404。区域401是车辆，区域402是人物，区域403是路标。区域404本来不是被关注的区域，是被区域提取部110错误检测为是关注区域的区域。
接着，如图4所示，相似图像检索部120对于在步骤S20中提取的各个关注区域进行相似图像的检索处理，并基于检索结果而计算该关注区域的关心度(循环L1)。更详细地说，在步骤S30中，相似图像检索部120对图像数据库30发出用于检索与各关注区域相似的图像的询问(query)而从图像数据库30取得检索结果。图像数据库30如果接受检索询问，则从数据库检索与在检索询问中包含的检索图像(关注区域的图像)相似的图像，发送检索结果。图像数据库30中的相似图像检索的算法能够采用已知的任意算法。例如，能够采用进行图像整体和图像整体的对照的算法、进行图像整体和图像的一部分的对照的算法、进行图像的一部分和图像的一部分的对照的算法。图像数据库30将通过检索获取的相似图像和其属性信息作为检索结果发送到关注区域提取装置10。
在步骤S40中，关注区域提取装置10的关心度计算部130基于从图像数据库30获取的检索结果，计算关注区域的关心度。在本实施方式中，关心度计算部130基于检索结果计算多个个别关心度(R1～R4)，整合这多个关心度得分而算出最终的关心度(综合关心度)R。个别关心度是分别从不同的观点评价的关心度，例如包含基于与检索一致的相似图像的数目的关心度(R1)、基于相似图像的平均相似度的关心度(R2)、基于相似图像中的相似区域的相对尺寸的关心度(R3)、以及基于标签信息的语义的收敛性的关心度(R4)。在本实施方式中，个别关心度R1～R4是归一化为0到1的范围的数值，综合关心度R设为这些个别关心度R1～R4的积(R＝R1×R2×R3×R4)。但是，综合关心度R只要基于个别关心度R1～R4来决定，则例如也可以作为个别关心度R1～R4的平均(包含加权平均)、最大值、最小值等而求出。此外，这里所示的个别关心度是一例，也可以使用基于检索条件且按照上述以外的基准而决定的值。此外，关心度不一定要仅根据检索结果而算出，例如也可以考虑提取区域自身和输入图像而算出。
图5(a)是表示步骤S30中的检索结果的例子的图。在图5(a)中，关于与关注区域(检索图像)相似的图像(相似度为预定的阈值以上的图像)，示出了图像编号501、相似度502、相似图像的整体尺寸503、相似图像中与关注区域相似的区域的尺寸504、与相似图像关联存储的标签信息505，但也可以有这些以外的信息包含在检索结果中。
图5(b)是表示关心度计算部130进行的关心度计算的例子的图。基于与检索一致的相似图像的数目的关心度R1，检索命中数越多，则算出的R1越高。由此，越是在图像数据库30中注册得多的物体，算出的关心度越高。另外，在关心度R1的计算中使用的检索命中数，可以是从图像数据库30送来的相似图像的整体数目，也可以是在检索结果中相似度502为预定的阈值以上的结果的数目。
基于相似图像的平均相似度的关心度R2，在检索结果中包含的相似图像的相似度502的平均相似度越高，则算出的R2越高。即使检索命中数高，但如果相似图像的相似度低，则不一定是关心度高的物体，因而能够通过考虑平均相似度而提高关心度计算的精度。另外，这里在关心度R2的计算中使用了相似度的平均，但也可以基于最频值、中位数、中间值、方差、标准偏差等其他的统计量进行计算。
基于相似图像中的相似区域的相对尺寸的关心度(R3)，在检索结果中包含的相似图像的相似区域的尺寸504与相似图像的整体尺寸503之比的平均值越大，算出的R3越高。由此，在图像中照得越大的物体，算出的关心度越高。另外，关心度R3除了基于相似图像的整体尺寸503和相似区域的尺寸504的比之外，也可以基于这些值且按照另一基准来求出。
基于标签信息的语义的收敛性的关心度R4，在检索结果中包含的标签信息的语义的收敛性越高，算出的R4越高。由此，越是有众多的人附加了同样意义的标签信息的物体，算出的关心度越高。语义的收敛性优选通过自然语言处理来判断，优选即便是标签信息的措辞不同，但只要是相同的概念或相近的概念就判断为语义的收敛性高。关心度计算部130例如能够将检索结果所包含的标签信息的语义分为几个类别(category)，且将最大类别中的要素数相对于整体的比例作为关心度R4而求出。在图5(b)所示的标签信息的例子中，“汽车”以及“轿车”是相同的概念，能够分类到相同的类别。“跑车”是“汽车”以及“轿车”的下位概念，因而能够分类到与“汽车”以及“轿车”相同的类别。另一方面，“公园”是与“汽车”等不同的概念，因而被分类到不同的类别。“车展”是“汽车”等相关联的概念，因而可以分类到与“汽车”等相同的类别，也可以分类到不同的类别。这里，如果设为“车展”也被分类到与“汽车”相同的类别，检索结果为图5(b)所示的5个项目(item)，则关心度计算部130算出关心度R4为0.8(＝4/5)。另外，在图5(b)的例子中，仅示出了标签信息为单词的情况，但标签信息也可以表示为文章，该情况下也能够通过自然语言处理来推测意义。
关心度计算部130基于个别关心度R1～R4，如上述那样算出综合关心度R。这里，上述的个别关心度R1～R4针对推测为一般的人会关注的区域，作为较大的值而被算出。即，可以说个别关心度R1～R4是以所有人为对象的通用的关心度，基于这些而算出的综合关心度R也是通用的关心度。
如果针对所有的关注区域，关心度的计算结束，则在步骤S50中，输出部140输出输入图像中的关注区域的位置和对于各自的关注区域的关心度。这里，输出部140并非输出在步骤S20中提取的所有关注区域，而是输出这些关注区域中关心度为预定的阈值ThR以上的关注区域。图6(a)是更详细地说明步骤S50中的输出处理的流程图。输出部140关于在步骤S20中提取的所有关注区域，重复以下的处理(循环L2)。首先，输出部140判定针对关注区域而算出的关心度是否为阈值ThR以上(S51)。这里，如果关心度为阈值ThR以上(S51-“是”)，则输出该关注区域的位置和其关心度(S52)，如果关心度小于阈值ThR(S51-“否”)，则不输出该关注区域的位置和其关心度。
图6(b)是表示本实施方式中的关注区域的位置和其关心度的输出的一例的图。这里，假设在图3(b)所示的关注区域401～404中，关心度成为阈值ThR以上的是关注区域401～403。因此，针对关注区域401～403，通过包围其区域的框显示来显示位置。此外，在关注区域401～403的旁边将这些关注区域的关心度作为数值显示到关心度显示部601～603。关注区域404因关心度小于阈值ThR而不显示。另外，该例只不过是显示的一例，例如关注区域的位置还能够通过在关注区域和关注区域以外的区域的显示中改变亮度或颜色来确定。此外，关心度也不必通过数值来显示，例如能够通过改变标记的颜色或形状来表示关心度的大小，并且，也能够通过改变表示关注区域的框线的粗细或颜色来表示关心度的大小。
另外，这里说明了将关注区域的提取结果和其关心度显示到画面中的例子，但这些结果例如也可以输出到其他的功能部或其他的计算机，也可以输出(记录)到存储装置中。
<本实施方式的效果>
根据本实施方式，通过利用与在图像数据库中包含的图像有关的信息，从输入图像提取关注区域，从而与仅根据输入图像提取关注区域相比，能够进行更高精度的提取。尤其，相比于以往的基于学习的关注区域提取，能够提取的关注区域不限于与学习数据相似的对象，具有能够提取各种对象作为关注区域的优点。此外，相比于以往的基于模型的关注区域提取，通过利用图像数据库的检索结果，能够提高提取精度。
(第2实施方式)
以下，说明本发明的第2实施方式。本实施方式与第1实施方式基本相同，但区别在于判断基于相似图像的检索命中数而提取的关注区域是否为准确地提取的区域。
图7是表示本实施方式中的关注区域提取处理的流程的流程图。相比于第1实施方式(图2)，不同点在于在相似图像检索步骤S30之后，增加了将检索出的相似图像的数目与阈值ThN进行比较的处理。如果检索出的相似图像数为阈值ThN以上(S35-“是”)，则关心度计算部130与第1实施方式同样地算出针对关注区域的关心度(S40)，但如果相似图像数小于阈值ThN(S35-“否”)，则针对该关注区域不计算关心度。
如果这样，则针对通过检索而发现的相似图像数少的区域，不会算出关心度。相似图像数少也可以说本来就不必那么关注的区域，上述的判断处理也能够掌握为判定步骤S20的关注区域提取处理的提取精度是否为阈值以上的处理。
提取精度不一定要通过相似图像的检索命中数来评价，也可以以其他基准进行评价。本实施方式也能够掌握为利用相似图像检索结果分别以不同的基准来算出通过以往的关注区域提取处理(S20)而提取的区域的提取精度和关心度。
(第3实施方式)
以下，说明本发明的第3实施方式。在上述第1以及第2实施方式中，关心度作为以所有人为对象的通用的尺度来算出。但是，当关注区域提取处理面向特定的用户或应用而进行的情况下，也能够利用预备知识求出专用于用户或应用的关心度。本实施方式的关注区域提取装置310接受基于预备知识而决定的关心度的计算基准，还求出专用于用户的关心度。
本实施方式的关注区域提取装置310的硬件结构与第1实施方式(图1(a))相同。图8是表示通过由本实施方式的关注区域提取装置310的运算装置12执行程序而实现的功能块的图。关注区域提取装置310的功能块也与第1实施方式(图1(b))基本相同，但关心度计算部130构成为包含通用关心度计算部131、关心度计算基准取得部132、特定关心度计算部133、关心度整合部134。
图9是表示由本实施方式的关注区域提取装置310执行的关注区域提取处理的流程的流程图。关于与第1实施方式(图2)相同的处理，附加相同的标号而省略其详细的说明。
在步骤S25中，关心度计算基准取得部132取得用于计算面向特定的用户或应用的关心度(特定关心度)的基准。特定关心度的计算基准根据利用关注区域提取装置310的处理结果的用户或应用而变化。例如，如果某一用户具有对特定的物体特别感兴趣这样的预备知识，则对于该用户应当较大地计算该物体的关心度。此外，当应用为促使用户注意容易看漏的物体的应用时，应当较大地计算输入图像中尺寸小或者与周围的颜色相近而难以视觉识别的物体的关心度。关心度计算基准取得部132可以从外部接受计算基准本身，也可以取得用于确定用户或者应用的信息，从而自己取得与该用户或者应用对应的关心度计算基准。后者的情况下，关心度计算基准取得部132存储每个用户或应用的关心度计算基准，或者询问外部的装置而取得。另外，图9中在步骤S20之后取得关心度计算基准，但关心度计算基准的取得也可以在输入图像的取得处理S10或关注区域提取处理S20之前进行。
在循环L1中关心度计算部130针对从输入图像提取出的各个关注区域计算关心度这一点与第1实施方式相同。在本实施方式中具体的计算方法与第1实施方式不同，因而以下说明。
在步骤S30中，相似图像检索部120从图像数据库30检索与关注区域相似的图像，取得其检索结果。该处理与第1实施方式相同。在步骤S41中，通用关心度计算部131利用检索结果和预先决定的计算基准而算出通用的关心度。该处理是与以下的处理相同的处理，即与第1实施方式中的关心度计算功能相同的处理(S40)。
接着在步骤S42中，特定关心度计算部133利用相似图像检索部120的检索结果和由关心度计算基准取得部132取得的计算基准而算出面向特定用户或者应用的关心度(特定关心度)。该处理除了计算基准不同之外，与通用关心度计算部131的处理相同。另外，特定关心度计算部133也可以按照不同的基准而算出多个个别关心度，并通过整合这些多个个别关心度而算出特定关心度。
在步骤S43中，关心度整合部134对由通用关心度计算部131算出的通用关心度和由特定关心度计算部133算出的特定关心度进行整合，从而算出最终的关心度。整合的方法可以是任意的，例如能够将通用关心度和特定关心度的平均(单纯平均或者加权平均)设为最终的关心度。加权平均中的权重可以是固定的，也可以根据用户或应用而改变。此外，关心度整合部134也可以将在计算通用关心度和特定关心度时求出的个别关心度的加权平均决定为最终的关心度等，作为个别关心度的函数来决定最终的关心度。
在算出有关各关注区域的关心度之后的输出处理(S50)与第1实施方式相同。
以下，说明特定关心度的计算基准的例子。如上所述，能够利用用户的关心的倾向，越是用户感兴趣的对象则将关心度计算得越高。此外，当用户难以视觉识别特定的颜色时，能够将具有这些颜色的物体的关心度计算得较高。此外，如果应用为识别难以视觉识别的物体的应用，则输入图像中的关注区域的尺寸越小的物体，能够将关心度计算得越高。此外，当应用于动态图像时，能够将突然显现的物体(在之前的帧中不存在的物体)的关心度计算得较高，或者相反将长时间连续存在的物体的关心度计算得较高。
根据本实施方式，分别算出通用的关心度和专用于特定用途的关心度，从而对这些进行整合而求出最终的关心度，因而能够算出与用途相应的关心度。
另外，不一定要求出通用关心度和特定关心度的双方，也可以仅求出特定关心度。这时，在关心度计算部130中能够省略通用关心度计算部131以及关心度整合部134。
(第4实施方式)
以下，说明本发明的第4实施方式。在本实施方式中，相比于第1至第3实施方式，关注区域的输出处理不同。具体地说，在输入图像中将相互邻接的关注区域进行整合后作为一个关注区域来输出。
本实施方式的关注区域提取装置410的硬件结构与第1实施方式(图1(a))相同。图10是表示通过由本实施方式的关注区域提取装置410的运算装置12执行程序而实现的功能块的图。关注区域提取装置410除了第1实施方式的功能之外，具备区域整合部150。
图11是表示由本实施方式的关注区域提取装置410执行的关注区域提取处理的流程的流程图。关于与第1实施方式(图2)相同的处理，附加相同的标号而省略其详细的说明。在本实施方式中，在循环L1的处理后的步骤S45中，区域整合部150基于关注区域的位置关系而整合多个关注区域。例如，如果关注区域间的距离为预定的阈值ThD以下，则区域整合部150整合这些关注区域。关注区域间的距离可以作为中心间的距离(像素数)来定义，也可以作为最接近的边界部之间的距离来定义。此外，上述的阈值ThD可以是固定值，也可以根据关注区域的尺寸或关注区域内的物体种类而变化。
图12(a)是表示从输入图像1200在步骤S20中提取出的关注区域1201～1203的图。关注区域1201与其他关注区域的距离较远，另一方面，关注区域1202和关注区域1203的距离较近。因此，区域整合部150整合关注区域1202和关注区域1203。图12(b)是表示整合处理后的图像1200的图。如图所示，关注区域1202和关注区域1203被整合为一个关注区域1204。另外，这里，整合后的关注区域1204设为包含关注区域1202和关注区域1203的最小矩形，但也可以通过与此不同的方法来生成整合后的关注区域1204。
在区域整合处理中，针对关心度低的关注区域也可以不设为整合的对象，也可以只在关注区域的关心度满足预定的关系时(例如，关心度的平均为阈值以上等)整合这些区域。即，区域整合部150可以除了关注区域间的距离之外还基于关注区域的关心度来判定是否要进行整合。此外，区域整合部150也可以将三个以上的关注区域整合到一个区域。
区域整合部150在整合了多个关注区域时，还决定对于整合后的关注区域的关心度。整合后的关注区域的关心度例如优选采用有关被整合的关注区域的关心度的平均值或最大值等，但也可以通过其他的方式来决定。
步骤S50的关注区域的关心度输出处理除了将整合后的关注区域作为对象来进行之外，与第1实施方式中的处理相同。
根据本实施方式，通过整合处于彼此靠近的关系的多个关注区域，能够抑制输出的关注区域的数目。此外，在是否要整合区域的判定中，通过采用利用了图像数据库的检索结果的关心度，能够更加适当地整合区域。
(其他的实施方式)
上述的实施方式的说明只不过是例示性地说明本发明，本发明并不限定于上述的具体的方式。本发明在其技术思想的范围内能够进行各种变形。
在上述的说明中，说明了图像数据库作为与关注区域提取装置不同的装置而构成的例子，但图像数据库也可以与关注区域提取装置作为一体而构成。此外，图像数据库中包含的图像数据可以由关注区域提取装置的制造者进行注册，也可以由用户进行注册。此外，关注区域提取装置也可以使用包含装置内部的图像数据库和装置外部的图像数据库在内的多个图像数据库。
在上述中说明的关心度的计算方法是例示，在本发明中只要利用检索了与关注区域相似的图像的检索结果来计算关心度，则其计算方法不特别限定。关心度优选利用检索结果的统计信息来计算。在检索结果的统计信息中包含检索命中数、相似度的统计量、相似图像的大小的统计量、相似图像中与检索图像相似的区域的位置、由标签信息所示的意义的收敛性等。此外，当相似图像中包含元信息的情况下，能够基于元信息的统计量来计算关心度。另外，统计量是对多个数据实施统计性的处理而得到的量，典型地包含平均值、最频值、中位数、中间值、方差、标准偏差等。
关注区域的关心度也能够利用相似图像检索的结果以外的信息而计算。例如，也能够基于关注区域自身的大小或颜色、关注区域在输入图像中的位置等来计算。
在上述的说明中，以输入图像是静止图像为前提进行说明，但输入图像也可以是动态图像(多个静止图像)。这时，区域提取部110利用从动态图像提取关注区域的现有的算法来提取关注区域即可。此外，关心度计算部130还能够将关注区域的位置的时间变化也考虑在内而计算关心度。例如，能够考虑关注区域的移动速度或移动方向等。可以在关注区域的移动速度越大时将关心度计算得越高，也可以计算得越低。此外，在考虑移动方向而计算关心度的情况下，可以基于移动方向本身来计算关心度，也可以基于移动方向的偏差来计算关心度。
本发明的关注区域提取装置能够作为台式计算机、笔记本型计算机、平板型计算机、智能手机、便携式电话、数码相机、数码摄像机等任意的信息处理装置(计算机)而安装。

Claims (10)

1.一种关注区域提取装置，其包括：
提取部件，从输入图像提取一个或者多个部分区域；
检索部件，关于由所述提取部件提取出的各自的部分区域，从存储多个图像的图像数据库中检索与该部分区域相似的图像；
关心度决定部件，基于所述检索部件的检索结果，决定各自的部分区域的关心度；以及
整合部件，将在所述输入图像中包含的部分区域中邻近的多个部分区域整合为一个部分区域，
所述整合部件基于部分区域间的距离和对于各自的部分区域的关心度来判定是否要进行整合。
2.如权利要求1所述的关注区域提取装置，
所述关心度决定部件利用通过所述检索部件检索到的与部分区域相似的图像的统计信息，决定该部分区域的关心度。
3.如权利要求2所述的关注区域提取装置，
与部分区域相似的图像的数目越多，所述关心度决定部件将该部分区域的关心度决定得越高。
4.如权利要求3所述的关注区域提取装置，
所述关心度决定部件关于进行检索而得到的相似图像的数目少于阈值的部分区域，不用于决定关心度。
5.如权利要求1至4的任一项所述的关注区域提取装置，
在与部分区域相似的图像上建立关联的标签信息的意义的收敛性越高，所述关心度决定部件将该部分区域的关心度决定得越高。
6.如权利要求1至4的任一项所述的关注区域提取装置，
所述关心度决定部件基于部分区域的大小或者位置，决定该部分区域的关心度。
7.如权利要求1至4的任一项所述的关注区域提取装置，
还包含计算基准取得部件，该计算基准取得部件接受关心度的计算基准的输入，
所述关心度决定部件基于按照预先决定的计算基准而算出的第1关心度和按照由所述计算基准取得部件取得的计算基准而算出的第2关心度，计算所述关心度。
8.如权利要求1至4的任一项所述的关注区域提取装置，
还具有输出部件，该输出部件输出在所述输入图像中包含的部分区域的位置和对于各自的部分区域的关心度。
9.如权利要求8所述的关注区域提取装置，
所述输出部件仅关于所述关心度为阈值以上的部分区域，进行部分区域的位置以及关心度的输出。
10.一种关注区域提取方法，由计算机进行，该关注区域提取方法包含：
提取步骤，从输入图像提取一个或者多个部分区域；
检索步骤，关于在所述提取步骤中提取出的各自的部分区域，从存储多个图像的图像数据库中检索与该部分区域相似的图像；
关心度决定步骤，基于所述检索步骤中的检索结果，决定各自的部分区域的关心度；以及
整合步骤，将在所述输入图像中包含的部分区域中邻近的多个部分区域整合为一个部分区域，
在所述整合步骤中，基于部分区域间的距离和对于各自的部分区域的关心度来判定是否要进行整合。
CN201510098283.2A 2015-03-05 2015-03-05 关注区域提取装置以及关注区域提取方法 Active CN105989174B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510098283.2A CN105989174B (zh) 2015-03-05 2015-03-05 关注区域提取装置以及关注区域提取方法
PCT/JP2016/050344 WO2016139964A1 (ja) 2015-03-05 2016-01-07 注目領域抽出装置および注目領域抽出方法
DE112016001039.7T DE112016001039T5 (de) 2015-03-05 2016-01-07 Vorrichtung und Verfahren zur Extraktion eines interessierenden Bereichs
US15/683,997 US20170352162A1 (en) 2015-03-05 2017-08-23 Region-of-interest extraction device and region-of-interest extraction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510098283.2A CN105989174B (zh) 2015-03-05 2015-03-05 关注区域提取装置以及关注区域提取方法

Publications (2)

Publication Number Publication Date
CN105989174A CN105989174A (zh) 2016-10-05
CN105989174B true CN105989174B (zh) 2019-11-01

Family

ID=56849320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510098283.2A Active CN105989174B (zh) 2015-03-05 2015-03-05 关注区域提取装置以及关注区域提取方法

Country Status (4)

Country Link
US (1) US20170352162A1 (zh)
CN (1) CN105989174B (zh)
DE (1) DE112016001039T5 (zh)
WO (1) WO2016139964A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810744B2 (en) * 2016-05-27 2020-10-20 Rakuten, Inc. Image processing device, image processing method and image processing program
JP6948128B2 (ja) * 2017-01-13 2021-10-13 キヤノン株式会社 映像監視装置及びその制御方法及びシステム
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
JP6907774B2 (ja) * 2017-07-14 2021-07-21 オムロン株式会社 物体検出装置、物体検出方法、およびプログラム
CN111666952B (zh) * 2020-05-22 2023-10-24 北京腾信软创科技股份有限公司 一种基于标签上下文的显著区域提取方法及系统
CN113656395B (zh) * 2021-10-15 2022-03-15 深圳市信润富联数字科技有限公司 数据质量治理方法、装置、设备及存储介质
CN114840700B (zh) * 2022-05-30 2023-01-13 来也科技(北京)有限公司 结合rpa和ai实现ia的图像检索方法、装置及电子设备
US11941043B2 (en) * 2022-07-25 2024-03-26 Dell Products L.P. System and method for managing use of images using landmarks or areas of interest

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175829B1 (en) * 1998-04-22 2001-01-16 Nec Usa, Inc. Method and apparatus for facilitating query reformulation
CN102232220A (zh) * 2010-10-29 2011-11-02 华为技术有限公司 一种视频兴趣物体提取与关联的方法及系统
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
EP1293925A1 (en) * 2001-09-18 2003-03-19 Agfa-Gevaert Radiographic scoring method
JP2010122931A (ja) * 2008-11-20 2010-06-03 Nippon Telegr & Teleph Corp <Ntt> 類似領域検索方法、類似領域検索装置、類似領域検索プログラム
US8467631B2 (en) * 2009-06-30 2013-06-18 Red Hat Israel, Ltd. Method and apparatus for identification of image uniqueness
WO2013031096A1 (ja) * 2011-08-29 2013-03-07 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、集積回路
WO2013114212A2 (en) * 2012-02-03 2013-08-08 See-Out Pty Ltd. Notification and privacy management of online photos and videos
JP6068896B2 (ja) * 2012-09-21 2017-01-25 株式会社ニコンシステム 画像処理装置およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175829B1 (en) * 1998-04-22 2001-01-16 Nec Usa, Inc. Method and apparatus for facilitating query reformulation
CN102232220A (zh) * 2010-10-29 2011-11-02 华为技术有限公司 一种视频兴趣物体提取与关联的方法及系统
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法

Also Published As

Publication number Publication date
WO2016139964A1 (ja) 2016-09-09
US20170352162A1 (en) 2017-12-07
CN105989174A (zh) 2016-10-05
DE112016001039T5 (de) 2018-01-04

Similar Documents

Publication Publication Date Title
CN105989174B (zh) 关注区域提取装置以及关注区域提取方法
Zhao et al. Learning saliency-based visual attention: A review
Zheng et al. Citysim: A drone-based vehicle trajectory dataset for safety-oriented research and digital twins
CN105787472B (zh) 一种基于时空拉普拉斯特征映射学习的异常行为检测方法
CN103988232B (zh) 使用运动流形来改进图像匹配
Moehrle et al. Technological speciation as a source for emerging technologies. Using semantic patent analysis for the case of camera technology
Shen et al. Sky region detection in a single image for autonomous ground robot navigation
Marques et al. Context modeling in computer vision: techniques, implications, and applications
Greco et al. Benchmarking deep network architectures for ethnicity recognition using a new large face dataset
Ravì et al. Real-time food intake classification and energy expenditure estimation on a mobile device
Wu et al. Evaluation of semivariogram features for object-based image classification
Kuo et al. Automatic machine embroidery image color analysis system. Part I: Using Gustafson-Kessel clustering algorithm in embroidery fabric color separation
US11275970B2 (en) Systems and methods for distributed data analytics
Southwell et al. Human object recognition using colour and depth information from an RGB-D Kinect sensor
US10592687B2 (en) Method and system of enforcing privacy policies for mobile sensory devices
Galiyawala et al. Person retrieval in surveillance using textual query: a review
Yang et al. Air-to-ground multimodal object detection algorithm based on feature association learning
Viedma et al. Relevant features for gender classification in NIR periocular images
Wan et al. An approach for image retrieval based on visual saliency
CN111797856B (zh) 建模方法、装置、存储介质及电子设备
Zhang et al. A self-occlusion detection approach based on depth image using SVM
Florea et al. Recognition of the gaze direction: Anchoring with the eyebrows
CN117011566A (zh) 一种目标检测方法、检测模型训练方法、装置及电子设备
Sun et al. Method of analyzing and managing volleyball action by using action sensor of mobile device
Ghalleb et al. Demographic Face Profiling Based on Age, Gender and Race

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant