CN106557765A - 注意检测装置以及注意检测方法 - Google Patents

注意检测装置以及注意检测方法 Download PDF

Info

Publication number
CN106557765A
CN106557765A CN201510633327.7A CN201510633327A CN106557765A CN 106557765 A CN106557765 A CN 106557765A CN 201510633327 A CN201510633327 A CN 201510633327A CN 106557765 A CN106557765 A CN 106557765A
Authority
CN
China
Prior art keywords
value
attention
characteristic quantity
regional area
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510633327.7A
Other languages
English (en)
Inventor
阮翔
卢湖川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to CN201510633327.7A priority Critical patent/CN106557765A/zh
Priority to JP2015212207A priority patent/JP6565600B2/ja
Priority to EP16183153.2A priority patent/EP3151160B1/en
Priority to US15/237,817 priority patent/US9904868B2/en
Priority to KR1020160106819A priority patent/KR20170038144A/ko
Publication of CN106557765A publication Critical patent/CN106557765A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Abstract

提供一种注意检测装置以及注意检测方法。提供在运动图像的注意检测中，安装容易且可靠性好的新的算法。注意检测装置包括：特征提取部，关于运动图像内的局部区域，提取表示所述局部区域内的图像的空间性且时间性的变化的特征量、即时空间特征量；散列法部，使用散列函数，将所述局部区域的时空间特征量的值转换为散列值，并且，使用通过学习而预先获得的时空间特征量的学习值作为与各散列值对应的条目而注册的散列表，选择与所述局部区域的散列值对应的学习值；以及注意程度决定部，基于所述局部区域的时空间特征量的值和所述选择的学习值之间的距离，以所述距离越大则注意程度越大的方式，决定所述局部区域的注意程度。

Description

注意检测装置以及注意检测方法
技术领域
本发明涉及检测在运动图像中预测会引起视觉注意(visual attention)的区域的技术。
背景技术
已知如下技术：通过图像分析，自动检测在图像中预测会引起人的视觉注意的区域或者非正常的区域(将这样的区域称为注意区域)(例如，参照专利文献1)。这种技术被称为注意检测(视觉注意检测(visual attentiondetection))、显著性检测(saliency detection)等，作为在计算机视觉等的领域中的重要的元素技术而受到较大关注。尤其，将运动图像作为对象的注意检测期待应用于例如基于监视相机的异常或非法的检测、车辆或机器人的自动驾驶等各种领域。
一般，注意检测的算法大致区分为基于模型的方法和基于学习的方法。基于模型的方法是如下方法：将应判断为非正常的图像特征作为模型而提供，从图像中检测具有这样的图像特征的区域。但是，假设未知的非正常状态并不简单，安装能够对应于在现实世界中产生的各种现象的模型是极其困难的。另一方面，基于学习的方法是如下方法：使用大量的学习数据，学习应判断为正常或者非正常的图像特征。基于学习的方法具有如下优点：不需要模型或假设，能够更加简单地构筑高精度的检测器。但是，该方法具有如下问题：由于学习数据的依赖度高，所以若学习数据不适合则检测精度降低。此外，也有如下情形：即使是在使用适当的学习数据来进行了事前学习的情况下，也随着时间的经过而观察对象、状况、环境等发生变化，学习过的知识变得不适合。在这样的情况下，需要准备根据当前的状况的新的学习数据并再次进行学习，维护麻烦。
现有技术文献
专利文献
专利文献1:(日本)特开2010-258914号公报
发明内容
本发明是鉴于上述实际情况而完成的，其目的在于，提供一种在运动图像的注意检测中，安装容易且可靠性好的新的算法。
此外，本发明的其他目的在于，提供一种在运动图像的注意检测中，能够灵活地适应对象或环境等的变化的算法。
为了达成上述目的，本发明采用以下的结构。
具体而言，本发明的注意检测装置是用于检测在运动图像中预测会引起视觉注意的区域的注意检测装置，其特征在于，包括：特征提取部，关于运动图像内的局部区域，提取表示所述局部区域内的图像的空间性且时间性的变化的特征量、即时空间特征量；散列法部，使用散列函数，将所述局部区域的时空间特征量的值转换为散列值，并且，使用通过学习而预先获得的时空间特征量的学习值注册在与各散列值对应的桶(Bucket，也即存储空间)中的散列表，选择与所述局部区域的散列值对应的学习值；以及注意程度决定部，基于所述局部区域的时空间特征量的值和所述选择的学习值之间的距离，以所述距离越大则注意程度越大的方式，决定所述局部区域的注意程度。
“时空间特征量”可以说是将运动图像内的被摄体的运动/变化进行了数值化的指标。因此，“时空间特征量的学习值”表示被摄体的运动/变化的通常的状态(正常值)，另一方面，“局部区域的时空间特征量的值”表示从处理对象的运动图像中所检测的被摄体的运动/变化、即当前的状态。因此，评价“局部区域的时空间特征量的值”和“所选择的学习值”之间的距离的大小等价于评价被摄体的运动/变化的当前的状态与通常的状态多大程度不同。一般，进行与通常的状态不同的运动/变化具有容易引起人的视觉注意的倾向。因此，如本发明所示，通过基于“局部区域的时空间特征量的值”和“所选择的学习值”之间的距离的大小而决定注意程度，能够高精度地检测(估计)注意区域。
此外，在本发明中，使用时空间特征量的学习值注册在与各散列值对应的桶中的散列表，选择与局部区域的散列值对应的学习值。由此，能够从全部学习值中，简单且快速地选择应与局部区域的时空间特征量的值进行比较的学习值分布。
进一步，根据本发明，不需要如现有的基于模型的方法那样设计复杂的模型，通过学习而在散列表中注册学习值即可。因此，能够实现注意检测装置的安装的容易化。此外，还具有仅仅更新散列表就能够灵活地适应对象或环境等的变化的优点。
所述学习值也可以是从以与所述运动图像相同的拍摄对象以及相同的拍摄条件所拍摄的预定期间量的运动图像中所提取的时空间特征量的值。通过这样选择学习用运动图像，能够适当地学习运动图像内的被摄体的运动/变化的通常的状态(正常值)。
所述散列法部也可以具有多个散列表，所述注意程度决定部分别使用所述多个散列表而计算多个注意程度，并通过合并所述多个注意程度而决定最终的注意程度。存在因学习值的分布的偏差或散列函数的偏差等，注意程度的计算结果的可靠性降低的可能性。因此，如上所述那样使用多个散列表，并合并多个计算结果，能够提高注意检测的可靠性。
也可以还包括散列表更新部，该散列表更新部通过将所述局部区域的时空间特征量的值作为新的学习值而注册在所述散列表中，从而更新所述散列表。由此，由于散列表追加学习当前的状态(局部区域的时空间特征量的值)，所以能够进一步提高注意检测的可靠性。
所述散列表更新部也能够通过删除所注册的学习值的数目小于阈值的桶，从而更新所述散列表。存在若使用学习值少的桶则注意程度的估计误差变大的可能性。因此，通过删除学习值少的桶，使之不用于注意程度的计算，能够提高注意检测的可靠性以及稳定性。
也可以还包括：前景提取部，提取所述运动图像的帧内的运动的区域作为前景区域；以及注意图修整部，根据由所述注意程度决定部所决定的注意程度的信息和由所述前景提取部所提取的前景区域的信息，生成以所述前景区域内的注意程度成为均匀的方式进行了修整的注意图。这样，通过以前景区域(运动的区域)的单位输出注意程度，能够进一步提高注意检测的可靠性。
另外，本发明能够作为具有上述结构或功能的至少一部分的注意检测装置而掌握。此外，本发明还能够作为包括上述处理的至少一部分的注意检测方法而掌握。进一步，本发明还能够作为用于使计算机执行这些方法的程序、或者、非临时性地记录了这样的程序的计算机可读取的记录介质而掌握。上述结构以及处理的各个只要不产生技术性的矛盾则能够相互组合而构成本发明。
根据本发明，能够提供在运动图像的注意检测中，安装容易且可靠性好的新的算法。此外，能够提供在运动图像的注意检测中，能够灵活地适应对象或环境等的变化的算法。
附图说明
图1是表示第一实施方式的注意检测装置的功能结构的框图。
图2是示意性地表示输入运动图像和局部图像和图像块的关系的图。
图3是表示HOF的概念的图。
图4是表示LSH的散列(Hash)函数的概念的图。
图5A是表示散列表的概念的图，图5B是示意性地表示散列表和散列函数和条目(Entry)的关系的图。
图6是散列表的学习处理的流程图。
图7是注意检测处理的流程图。
图8是用于说明注意程度的计算式的图。
图9是表示运动图像和注意图的例的图。
图10是表示第二实施方式的注意检测装置的功能结构的框图。
图11是用于说明基于前景区域信息的注意图的修整的图。
图12是表示第三实施方式的注意检测装置的功能结构的框图。
标号说明
1：注意检测装置、10：运动图像取得部、11：图像分割部、12：特征提取部、13：散列法部、14：注意程度决定部、15：存储部、16：前景提取部、17：注意图修整部、18：散列表更新部
20：输入运动图像、21：局部图像、22：图像块
30：特征点、31：光流、32：直方图
90：运动图像、91：注意图、92：人、93：物体、94：前景区域信息、95：注意图
具体实施方式
本发明涉及通过计算机的图像分析，自动检测在运动图像中预测会引起视觉注意的区域(注意区域)的注意检测算法。作为注意检测的结果的注意信息例如以表示每个像素或者每个小区域的注意程度的分布的注意图、或者将注意图以预定的阈值进行了二值化的二值图像的形式输出。这样的注意信息优选地利用于计算机视觉应用(例如，图像的区域分割(分割)、图像分类、场景分析、图像压缩、面部识别、物体识别)的预处理等各种用途。
本发明的注意检测算法的特征之一在于，在图像特征的评价以及注意程度的评价中应用了散列法(Hashing)技术的点。散列法是在数据的检索、加密、电子认证等的领域中从以往开始使用的技术，但并没有将其应用于注意检测的例。
以下，使用附图说明本发明的注意检测算法的具体的实施方式的一例。但是，以下叙述的实施方式是表示本发明的优选的结构例的，不是将本发明的范围限定于该结构例的意旨。
＜第一实施方式＞
(装置结构)
图1是表示本发明的第一实施方式的注意检测装置的功能结构的框图。图1的注意检测装置1作为主要的结构而具备运动图像取得部10、图像分割部11、特征提取部12、散列法部13、注意程度决定部14、存储部15。
运动图像取得部10具有取得成为检查对象的运动图像的功能。运动图像取得部10可以从摄像装置(摄像机)获取运动图像数据，也可以从存储装置或网络上的服务器等读取运动图像数据。在本实施方式中，使用从监视相机获取的30fps的灰度运动图像。但是，运动图像的形式并不限定于此，也可以使用彩色的运动图像。所取得的输入运动图像存储在存储部15中。
图像分割部11具有将输入运动图像分割为时间方向(t)和空间方向(x、y)而生成多个图像块的功能。这里，图像块是由多个帧量的相同的空间位置的局部图像构成的图像集，也被称为长方体(cuboid)或者时空间图像(spatio-temporal image)。图像块可以说是切出了输入运动图像中的某局部区域内的某局部时间量的运动图像的图像块。在本实施方式中，为了取得图像的空间性且时间性的变化，以图像块单位进行图像特征的提取以及评价。图2示意性地表示输入运动图像20、局部图像21、图像块22的关系。例如，在输入运动图像20为30fps·VGA(640像素×480像素)·1分钟的运动图像，图像块22的尺寸为5像素×5像素×5帧的情况下，输入运动图像20分割为73728个图像块22。
特征提取部12具有从各图像块22中提取时空间特征量的功能。时空间特征量是指表示图像的空间性的变化和时间性的变化的双方的图像特征，是将运动图像内的被摄体(人、物体等)的运动或变化进行了数值化的指标。在本实施方式中，利用HOF(光流直方图(Histogram of Optical Flow))作为时空间特征量，但在本算法中，也可以使用运动矢量等其他的时空间特征量。
图3表示HOF的概念。特征提取部12通过从图像块22的各帧中检测特征点30，并取得帧间的特征点30的对应，从而检测各特征点30的运动。该特征点30的运动被称为光流(Optical Flow)31。并且，特征提取部12求出各特征点30的光流31的方向(角度)θ和速度(强度)v，在将方向θ以及速度v作为横轴的直方图32中描画度数。通过这样的操作，从图像块22中所提取的多个光流31转换为一个直方图32。该直方图32为HOF。例如，在将方向θ划分为8bin，将速度v划分为10bin的情况下，HOF成为18维的特征量矢量。
散列法部13具有使用散列函数而将时空间特征量的值转换为散列值的功能、和参照散列表而取得与散列值对应的条目的功能。
散列函数是将所输入的数据(本实施方式中，HOF)转换为由单纯的比特串构成的散列值的函数。在散列函数中，从以往提出了各种，在本算法中也可以使用任意的散列函数。以下，说明利用LSH(局部敏感散列(Locality-sensitive hashing))作为散列函数的例。LSH具有在散列函数的生成中不需要教师信号(教師信号)、处理快速、类似的数据转换为相同的散列值的概率高等的优点，对如在本实施方式中处理的运动图像的实时分析特别有效。
图4表示LSH的散列函数的概念。LSH的散列函数g(x)由在N维的特征量空间上随机配置的k个超平面h1(x)～hk(x)构成。为了便于说明，图4表示n＝2、k＝5的例(此时，超平面成为直线)，但在要安装的程序中，特征量空间的维数n成为几维到几百维，超平面的数k成为几十个到几百个。
若输入特征量的值x(x为n维矢量)，则散列法部13判定值x相对于超平面h1(x)是位于正侧还是位于负侧，并将值x相对于超平面h1(x)的位置用1(正侧)或0(负侧)来进行编码。散列法部13关于剩余的超平面h2(x)～hk(x)也进行同样的判定，并将获得的k个码进行组合，从而生成k比特的散列值。在图4的例中，由于值x1相对于h1(x)、h3(x)、h4(x)位于负侧，相对于h2(x)、h5(x)位于正侧，所以值x1的散列值成为“01001”。此外，由于值x2相对于h2(x)、h3(x)位于负侧，相对于h1(x)、h4(x)、h5(x)位于正侧，所以值x2的散列值成为“10011”。
图5A表示散列表的概念。散列表是由多个桶(Bucket)构成的排列数据，在各桶中，注册有作为索引的散列值和与该散列值对应的条目。在本实施方式中，作为与散列值对应的条目，赋予该散列值的时空间特征量的样本数据注册在各桶中。样本数据是例如通过使用了运动图像的学习而取得/蓄积的数据。
图5B示意性地表示散列表和散列函数和条目的关系。通过散列函数(超平面h1(x)～hk(x))而划分的子空间对应于散列表的桶，在子空间内描画的样本数据对应于在桶中注册的条目。从图5B可知，在一个桶中还能够注册2个以上的条目，相反地，也能够存在连一个条目也没有包含的桶。
注意程度决定部14具有使用散列法的结果而决定各图像块22的注意程度，生成注意图的功能。关于注意程度决定部14的功能的细节，在后面叙述。
注意检测装置1例如能够由具备CPU(处理器)、存储器、辅助存储装置、输入装置、显示装置、通信装置等的计算机构成。图1所示的注意检测装置1的各功能通过将在辅助存储装置中存储的程序加载到存储器中，且由CPU执行而实现。但是，也能够由ASIC或FPGA等的电路来实现注意检测装置1的一部分或者全部的功能。或者，也可以通过云计算或分散计算来实现注意检测装置1的一部分功能。
(散列表的学习)
参照图6，说明注意检测装置1执行的散列表的学习处理的细节。图6是散列表的学习处理的流程图。该处理例如在注意检测装置1的设置时或运行开始时等的定时，为了生成新的散列函数以及散列表而执行。
在步骤S600中，运动图像取得部10取得学习用运动图像。作为学习用运动图像，可以使用以与在后述的注意检测中设为处理对象的运动图像相同的拍摄对象(地点、被摄体等)以及相同的拍摄条件(角度、倍率、曝光、帧率等)所拍摄的预定期间量的运动图像。这是因为如下原因：通过这样选择学习用运动图像，能够学习运动图像内的被摄体的运动/变化的通常的状态(正常值)。例如，若将注意检测装置1应用于基于监视相机的异常检测，则使用在监视相机中所拍摄的几个小时到几天的运动图像即可。
在步骤S601中，图像分割部11将学习用运动图像分割为图像块(参照图2)。在步骤S602中，特征提取部12计算各图像块的特征量。这里，算出的特征量数据蓄积在存储部15中。另外，步骤S601以及S602的处理也可以在每次读取必要的帧数(图2的例中为5帧)的运动图像数据时，逐次执行。
在如以上那样获得学习用特征量数据之后，转移到散列函数以及散列表的生成处理。在本实施方式中，为了提高散列法处理的可靠性，根据相同的学习用特征量数据而生成多个组的散列函数以及散列表。
首先，散列法部13随机生成散列函数(即，k个超平面)(步骤S603)，且用于散列表而新生成桶数2k个排列，并将各桶进行初始化(步骤S604)。接着，散列法部13从学习用特征量数据中取出一个值(称为学习值)，将该学习值通过在步骤S603中生成的散列函数而转换为散列值(步骤S605)。并且，散列法部13在对应于在步骤S605中获得的散列值的桶中，注册该学习值(步骤S606)。在关于在学习用特征量数据中包含的全部学习值执行了步骤S605、S606的处理之后(步骤S607)，散列表完成。
并且，通过将步骤S603～S607的处理重复L次，获得L组的散列函数以及散列表。L的值能够根据实验或经验而任意确定(在本实施方式中，设为L＝10)。以上，散列表的学习处理完成。
(注意检测)
参照图7，说明注意检测装置1执行的注意检测处理的细节。图7是注意检测处理的流程图。该处理在注意检测装置1的运行中连续或者定期执行。
在步骤S700中，运动图像取得部10取得处理对象的运动图像数据。例如，从监视相机获取5帧量的运动图像数据。在步骤S701中，图像分割部11将运动图像数据分割为图像块(参照图2)。在步骤S702中，特征提取部12计算各图像块的特征量。这里，算出的特征量的数据蓄积在存储部15中。
接下来的步骤S703～S708的处理对运动图像内的各个图像块依次执行。以后，将处理对象的图像块称为“对象块”。
首先，散列法部13使用第i个(i＝1～L)散列函数，将对象块的特征量的值转换为散列值(步骤S703、S704)。接着，散列法部13从第i个散列表中取得与对象块的散列值对应的桶的条目(学习值)(步骤S705)。若在与散列值对应的桶中连一个学习值也没有包含(称为空桶)的情况下，代替空桶，取得包括最接近对象块的特征量的值的学习值的桶(称为相邻桶)的条目即可。以后，将在步骤S705中取得的学习值称为“对应学习值”。对应学习值基本上包括多个学习值，但也可能有只包括一个学习值的情况。
接着，注意程度决定部14基于对象块的特征量的值和对应学习值之间的特征量空间上的距离，求出对象块的注意程度(步骤S706)。在本实施方式中，通过下述式，计算对象块的注意程度Ai(z)。
【数1】
这里，i为散列表的号码，为i＝1～L。z为对象块的特征量的值(特征量矢量)。cm为对应学习值分布的中心(重心)，rm为对应学习值分布的中心(重心)和最外学习值之间的距离(参照图8)。
通过一边改变要应用的散列函数以及散列表，一边重复步骤S703～S706的处理，算出L个注意程度A1(z)～AL(z)(步骤S707)。最后，注意程度决定部14通过合并在各散列表中获得的注意程度A1(z)～AL(z)，计算最终的注意程度A(z)(步骤S708)。合并方法是任意的，但在本实施方式中，使用如下述式那样的加权加法。
【数2】
αi为权重，能够基于实验或经验而适当设定。例如，也可以评价散列表的可靠性，将可靠性低的散列表的权重设定得小，将可靠性高的散列表的权重设定得大。散列表的可靠性例如能够通过各桶内的学习值分布、桶间的学习值分布的分离度、桶间的学习值的数目的偏差等来评价。当然，也可以如α1、……、αL＝1/L这样将全部权重设为相等。
若关于运动图像的全部图像块求出注意程度A(z)，则注意程度决定部14生成注意图。图9表示运动图像90和注意图91的一例。在注意图91中，由灰度表示每个图像块的注意程度，越亮(接近白色)的图像块表示注意程度越高。在运动图像90中，作为运动的物体而拍了人92和物体(汽车)93，但若看注意图91，则只有人92的区域的注意程度大。例如，在高速道路的监视相机的运动图像的情况下，在图像中拍到行驶的汽车是通常(正常)的，但拍到走路的人是反常的(非正常)。在这样的情况下，只有检测出非正常的运动的人92的区域的注意程度大。这样的注意图保存在存储部15中，或者输出到外部装置，利用于物体识别或图像识别等的各种计算机视觉应用。
(本实施方式的优点)
在散列表中注册的学习值表示被摄体的运动/变化的通常的状态(正常值)，另一方面，对象块的特征量的值表示从处理对象的运动图像中所检测的被摄体的运动/变化、即当前的状态。因此，评价对象块的特征量的值和对应学习值之间的特征量空间上的距离的大小等价于评价被摄体的运动/变化的当前的状态与通常的状态多大程度不同。一般，进行与通常的状态不同的运动/变化具有容易引起人的视觉注意的倾向。因此，根据本实施方式的注意检测算法，能够高精度地检测(估计)注意区域。
此外，在本实施方式中，使用时空间特征量的学习值注册在与各散列值对应的桶中的散列表，选择与对象块的散列值对应的学习值。由此，能够从全部学习值中，简单且快速地选择应与对象块的时空间特征量的值进行比较的学习值分布。
此外，根据本实施方式，不需要如现有的基于模型的方法那样设计复杂的模型，通过学习而在散列表中注册学习值即可。因此，能够实现注意检测装置的安装的容易化。此外，还具有仅仅更新散列表就能够灵活地适应对象或环境等的变化的优点。进一步，在本实施方式中，由于使用多个散列表，合并多个计算结果而求出最终的注意程度，所以能够抑制因学习值的分布的偏差或散列函数的偏差等所引起的可靠性的降低，实现高可靠的注意检测。
＜第二实施方式＞
由于在第一实施方式中获得的注意图由图像块单位的注意程度构成，所以如图9所示，存在注意程度的分布和运动图像中的人92或物体93的区域不一致的情况。但是，通常，视觉注意大多数会朝向人或物体，所以优选以人或物体的区域单位输出注意程度而不是以图像块单位。因此，在第二实施方式中，采用提取运动图像的前景区域，根据该前景区域而修整注意图的结构。
图10是表示本实施方式的注意检测装置1的功能结构的框图。与第一实施方式(图1)的差异在于，具有前景提取部16以及注意图修整部17。关于其他的结构，与第一实施方式相同。
前景提取部16具有提取运动图像的帧内的“运动的区域”作为前景区域的功能。具体而言，前景提取部16使用在特征提取部12计算时空间特征量时求出的光流，将光流的强度(速度)为阈值以上的区域判定为前景区域。通过挪用光流，能够减小前景提取所需的计算量，能够实现处理的快速化。另外，虽然与本实施方式的算法相比计算量变大，但也可以使用视频分割或动态集群(Motion clustering)等的前景提取算法。
注意图修整部17具有基于在前景提取部16中获得的前景区域信息，以各个前景区域内的注意程度成为均匀的方式修整注意图的功能。具体而言，注意图修整部17在一个前景区域中多个图像块进行重叠的情况下，将这些图像块的注意程度中的最大值设定为该前景区域的注意程度。
图11表示运动图像90、注意图91、前景区域信息94、修整后的注意图95的例。可知注意程度被平滑化(Smoothing)，以区域单位实现了注意程度的均匀化。这样，根据本实施方式，由于能够以前景区域(运动的区域)的单位输出注意程度，所以能够进一步提高注意检测的可靠性。
＜第三实施方式＞
图12是表示本发明的第三实施方式的注意检测装置1的功能结构的框图。与第一实施方式(图1)的差异在于，具有散列表更新部18。关于其他的结构，与第一实施方式相同。
散列表更新部18具有进行散列表的在线更新的功能。这里，“在线”意味着“在注意检测装置的运行中(工作中)”。具体而言，散列表更新部18定期(例如，以30分钟1次、1天1次、1周1次等)进行以下叙述的“追加”和“删除”这2种更新操作。
(追加)
追加是，将从处理对象的运动图像获得的时空间特征量的值作为新的学习值而注册在散列表中的更新操作。通过这样的更新操作，由于散列表追加学习当前的状态，所以能够提高注意检测的可靠性。
也可以将从处理对象的运动图像中获得的全部值追加到散列表，但若散列表的注册条目数变得庞大，则产生存储容量的压迫或处理速度的降低等的问题。因此，优选不追加全部值，而是只追加满足预定的条件的值。
例如，在图7的步骤S705中，与对象块的散列值对应的桶为空桶的情况下，代替空桶，使用在相邻桶中包含的学习值而计算注意程度A(z)。此时，若注意程度A(z)小于阈值THa(即，若对象块被判定为正常的运动)，则存储部15暂时保持该对象块的特征量的值。这样，若虽然属于空桶但判定为“正常”的特征量的值积累一定数以上，则散列表更新部18将这些特征量的值注册在散列表的空桶中。由此，用于注意程度的计算的桶增加，所以能够提高散列法的可靠性，进而提高注意检测的可靠性。
(删除)
删除是，删除所注册的学习值的数目小于阈值Tb的桶的更新操作。“删除桶”意味着，删除在桶中注册的全部学习值(设为空桶)。若使用学习值少的桶，则存在注意程度的估计误差变大的可能性。因此，通过删除学习值少的桶，使之不用于注意程度的计算，能够提高注意检测的可靠性以及稳定性。
如以上叙述，根据本实施方式，由于能够实现散列表的自动在线更新，所以能够灵活地适应对象或环境等的变化。
＜其他＞
上述的实施方式是表示本发明的一具体例的，并不是将本发明的范围限定于这些具体例的宗旨。例如，也可以将在第三实施方式中叙述的在线更新的功能与第二实施方式的装置进行组合。此外，在第三实施方式中，仅仅对现有的散列表进行学习值的追加/删除，但也可以使用在存储部15中蓄积的特征量的值而新生成散列表。

Claims (7)

1.一种注意检测装置，用于检测在运动图像中预测会引起视觉注意的区域，其特征在于，包括：
特征提取部，关于运动图像内的局部区域，提取表示所述局部区域内的图像的空间性且时间性的变化的特征量、即时空间特征量；
散列法部，使用散列函数，将所述局部区域的时空间特征量的值转换为散列值，并且，使用通过学习而预先获得的时空间特征量的学习值注册在与各散列值对应的桶中的散列表，选择与所述局部区域的散列值对应的学习值；以及
注意程度决定部，基于所述局部区域的时空间特征量的值和所述选择的学习值之间的距离，以所述距离越大则注意程度越大的方式，决定所述局部区域的注意程度。
2.如权利要求1所述的注意检测装置，其特征在于，
所述学习值是从以与所述运动图像相同的拍摄对象以及相同的拍摄条件所拍摄的预定期间量的运动图像中所提取的时空间特征量的值。
3.如权利要求1或2所述的注意检测装置，其特征在于，
所述散列法部具有多个散列表，
所述注意程度决定部分别使用所述多个散列表而计算多个注意程度，并通过合并所述多个注意程度而决定最终的注意程度。
4.如权利要求1至3的任一项所述的注意检测装置，其特征在于，还包括：
散列表更新部，通过将所述局部区域的时空间特征量的值作为新的学习值而注册在所述散列表中，从而更新所述散列表。
5.如权利要求4所述的注意检测装置，其特征在于，
所述散列表更新部通过删除所注册的学习值的数目小于阈值的桶，从而更新所述散列表。
6.如权利要求1至5的任一项所述的注意检测装置，其特征在于，还包括：
前景提取部，提取所述运动图像的帧内的运动的区域作为前景区域；以及
注意图修整部，根据由所述注意程度决定部所决定的注意程度的信息和由所述前景提取部所提取的前景区域的信息，生成以所述前景区域内的注意程度成为均匀的方式进行了修整的注意图。
7.一种注意检测方法，用于检测在运动图像中预测会引起视觉注意的区域，其特征在于，包括：
关于运动图像内的局部区域，提取表示所述局部区域内的图像的空间性且时间性的变化的特征量、即时空间特征量的步骤；
使用散列函数，将所述局部区域的时空间特征量的值转换为散列值的步骤；
使用通过学习而预先获得的时空间特征量的学习值注册在与各散列值对应的桶中的散列表，选择与所述局部区域的散列值对应的学习值的步骤；以及
基于所述局部区域的时空间特征量的值和所述选择的学习值之间的距离，以所述距离越大则注意程度越大的方式，决定所述局部区域的注意程度的步骤。
CN201510633327.7A 2015-09-29 2015-09-29 注意检测装置以及注意检测方法 Pending CN106557765A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201510633327.7A CN106557765A (zh) 2015-09-29 2015-09-29 注意检测装置以及注意检测方法
JP2015212207A JP6565600B2 (ja) 2015-09-29 2015-10-28 アテンション検出装置及びアテンション検出方法
EP16183153.2A EP3151160B1 (en) 2015-09-29 2016-08-08 Visual attention detector and visual attention detection method
US15/237,817 US9904868B2 (en) 2015-09-29 2016-08-16 Visual attention detector and visual attention detection method
KR1020160106819A KR20170038144A (ko) 2015-09-29 2016-08-23 어텐션 검출 장치 및 어텐션 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510633327.7A CN106557765A (zh) 2015-09-29 2015-09-29 注意检测装置以及注意检测方法

Publications (1)

Publication Number Publication Date
CN106557765A true CN106557765A (zh) 2017-04-05

Family

ID=56979325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510633327.7A Pending CN106557765A (zh) 2015-09-29 2015-09-29 注意检测装置以及注意检测方法

Country Status (5)

Country Link
US (1) US9904868B2 (zh)
EP (1) EP3151160B1 (zh)
JP (1) JP6565600B2 (zh)
KR (1) KR20170038144A (zh)
CN (1) CN106557765A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116414867A (zh) * 2023-06-12 2023-07-11 中南大学 一种基于量化哈希编码的时空数据检索方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6435049B2 (ja) * 2015-07-15 2018-12-05 日本電信電話株式会社 画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム
JP6751691B2 (ja) * 2017-06-15 2020-09-09 ルネサスエレクトロニクス株式会社 異常検出装置及び車両システム
KR102058393B1 (ko) * 2017-11-30 2019-12-23 국민대학교산학협력단 스케치 기반의 영상표절 검사 방법 및 장치
JP6742623B1 (ja) * 2019-11-13 2020-08-19 尚範 伊達 監視装置、監視方法、及びプログラム
SG10201913744SA (en) * 2019-12-30 2020-12-30 Sensetime Int Pte Ltd Image processing method and apparatus, electronic device, and storage medium
CN112559781B (zh) * 2020-12-10 2023-04-07 西北大学 一种图像检索系统和方法
CN116719418B (zh) * 2023-08-09 2023-10-27 湖南马栏山视频先进技术研究院有限公司 一种注视点预测模型的检验方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404032A (zh) * 2008-11-11 2009-04-08 清华大学 一种基于内容的视频检索方法及系统
US20120301105A1 (en) * 2011-03-22 2012-11-29 Georgia Tech Research Corporation Systems and methods for retrieving casual sets of events from unstructured signals
CN103096122A (zh) * 2013-01-24 2013-05-08 上海交通大学 基于感兴趣区域内运动特征的立体视觉舒适度评价方法
CN103336957A (zh) * 2013-07-18 2013-10-02 中国科学院自动化研究所 一种基于时空特征的网络同源视频检测方法
CN104036287A (zh) * 2014-05-16 2014-09-10 同济大学 一种基于人类运动显著轨迹的视频分类方法
US20140304236A1 (en) * 2013-04-05 2014-10-09 Canon Kabushiki Kaisha Hash value generation apparatus, system, determination method, program, and storage medium
CN104504365A (zh) * 2014-11-24 2015-04-08 闻泰通讯股份有限公司 视频序列中的笑脸识别系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5235770B2 (ja) 2009-04-27 2013-07-10 日本電信電話株式会社 顕著領域映像生成方法、顕著領域映像生成装置、プログラムおよび記録媒体
US9092520B2 (en) * 2011-06-20 2015-07-28 Microsoft Technology Licensing, Llc Near-duplicate video retrieval
US9165190B2 (en) * 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
CA2924764C (en) * 2013-10-21 2020-03-10 Microsoft Technology Licensing, Llc Mobile video search

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404032A (zh) * 2008-11-11 2009-04-08 清华大学 一种基于内容的视频检索方法及系统
US20120301105A1 (en) * 2011-03-22 2012-11-29 Georgia Tech Research Corporation Systems and methods for retrieving casual sets of events from unstructured signals
CN103096122A (zh) * 2013-01-24 2013-05-08 上海交通大学 基于感兴趣区域内运动特征的立体视觉舒适度评价方法
US20140304236A1 (en) * 2013-04-05 2014-10-09 Canon Kabushiki Kaisha Hash value generation apparatus, system, determination method, program, and storage medium
CN103336957A (zh) * 2013-07-18 2013-10-02 中国科学院自动化研究所 一种基于时空特征的网络同源视频检测方法
CN104036287A (zh) * 2014-05-16 2014-09-10 同济大学 一种基于人类运动显著轨迹的视频分类方法
CN104504365A (zh) * 2014-11-24 2015-04-08 闻泰通讯股份有限公司 视频序列中的笑脸识别系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RONGRONG JI等: "Actor-independent action search using spatiotemporal vocabulary with appearance hashing", 《PATTERN RECOGNITION》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116414867A (zh) * 2023-06-12 2023-07-11 中南大学 一种基于量化哈希编码的时空数据检索方法
CN116414867B (zh) * 2023-06-12 2023-08-22 中南大学 一种基于量化哈希编码的时空数据检索方法

Also Published As

Publication number Publication date
EP3151160A1 (en) 2017-04-05
JP6565600B2 (ja) 2019-08-28
US20170091573A1 (en) 2017-03-30
EP3151160B1 (en) 2019-06-12
KR20170038144A (ko) 2017-04-06
JP2017068815A (ja) 2017-04-06
US9904868B2 (en) 2018-02-27

Similar Documents

Publication Publication Date Title
CN106557765A (zh) 注意检测装置以及注意检测方法
CN106096561B (zh) 基于图像块深度学习特征的红外行人检测方法
CN104156734B (zh) 一种基于随机蕨分类器的全自主在线学习方法
CN114359283B (zh) 基于Transformer的缺陷检测方法和电子设备
CN105426826A (zh) 一种基于标签噪声纠正的众包标注数据质量提升方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN111027377B (zh) 一种双流神经网络时序动作定位方法
CN110263712A (zh) 一种基于区域候选的粗精行人检测方法
CN114399644A (zh) 一种基于小样本目标检测方法及装置
CN113724286A (zh) 显著性目标的检测方法、检测设备及计算机可读存储介质
CN114078127B (zh) 物件的缺陷检测及计数方法、装置、设备和存储介质
CN115909002A (zh) 一种基于对比学习的图像翻译方法
CN109961103B (zh) 特征提取模型的训练方法、图像特征的提取方法及装置
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
Shaniya et al. Yolov4 rgbt human detection on unmanned aerial vehicle perspective
CN105354833A (zh) 一种阴影检测的方法和装置
CN115393802A (zh) 一种基于小样本学习的铁路场景不常见入侵目标识别方法
Steinmann et al. Fast and lightweight person detector for unmanned aerial vehicles
Ashraf et al. Efficient Pavement Crack Detection and Classification Using Custom YOLOv7 Model
CN116246128B (zh) 跨数据集的检测模型的训练方法、装置及电子设备
TWI802958B (zh) 停車場空位偵測方法及系統
CN110837805B (zh) 视频标签的置信度的测量方法、装置、设备及存储介质
Pandya et al. A novel approach for vehicle detection and classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170405