CN102474586A - 影像检索装置、影像检索方法、记录介质、程序、集成电路 - Google Patents

影像检索装置、影像检索方法、记录介质、程序、集成电路 Download PDF

Info

Publication number
CN102474586A
CN102474586A CN201180003170XA CN201180003170A CN102474586A CN 102474586 A CN102474586 A CN 102474586A CN 201180003170X A CN201180003170X A CN 201180003170XA CN 201180003170 A CN201180003170 A CN 201180003170A CN 102474586 A CN102474586 A CN 102474586A
Authority
CN
China
Prior art keywords
unit
objects
weighted value
frame
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180003170XA
Other languages
English (en)
Other versions
CN102474586B (zh
Inventor
三浦康史
山本雅哉
宫本慎吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102474586A publication Critical patent/CN102474586A/zh
Application granted granted Critical
Publication of CN102474586B publication Critical patent/CN102474586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

从影像中的不同帧提取多个目标物。然后，基于与提取的多个目标物对应的各帧的时间序列的特征，对各目标物赋予权重值。然后，基于赋予了权重值的多个目标物，进行与该多个目标物类似的目标物的检索。

Description

影像检索装置、影像检索方法、记录介质、程序、集成电路
技术领域
本发明涉及一种基于在影像中登场的目标物来检索相关的目标物(object)和影像等的技术。
背景技术
近年来，由于广播的多频道化、面向网络TV的影像分发服务的开始等，数字录影机的储存容量增加。
此外，还提供在网络上的服务器中配置保存大容量的影像的储存装置，从而进行影像的储存/视听的服务。伴随于此，从储存在储存装置中的大量影像中高效地选出期望的影像的检索装置的实用化得到了推进。
在专利文献1中，从用户受理包含在影像的某一个帧中的目标物(人物)的指定，并提取该受理的目标物的特征量。然后，通过使用提取的特征量来进行对照，显示出现了该受理的目标物的其他影像场景。
在先技术文献
专利文献
专利文献1：日本专利第3711993号公报
专利文献2：日本特开平6-89545号公报
非专利文献
非专利文献1：Canny，J.，“A Computational Approach To Edge Detection”，IEEE Trans Pattern Analysis and Machine Intelligence，8：679-714(1986).
非专利文献2：大町等，“基于多项式近似的高速的指定区域中的模板匹配”，图像电子学会杂志，vo1.38，no.5，648-655(2009).
发明的概要
发明所要解决的技术问题
但是，在上述现有的结构中，利用在某一个帧中指定的一个目标物来检索相关的影像，所以检索精度不那么高，有时无法得到用户期望的影像。
例如，如果将目标物的颜色的组合作为特征量来使用，则有时检索到虽然与指定的一个目标物实体不同，但碰巧颜色的组合相似的目标物。
发明内容
本发明是在这样的背景下做出的，其目的在于，提供一种能够对检索精度的提高有所贡献的影像检索装置。
解决技术问题所采用的技术手段
本发明的影像检索装置具备：再现单元，将由多个帧构成的内容再现；受理单元，在所述内容的再现中，从用户多次受理用于指定包含在构成该内容的帧中的目标物的输入；检测单元，根据由所述受理单元进行的受理来检测目标物；赋予单元，对于由检测单元检测到的多个目标物的每一个，赋予基于包含各目标物的各帧的内容上的时间序列的特征来调整的权重值；检索单元，基于赋予了所述权重值的多个目标物进行检索。
发明的效果：
根据该结构，对于多个目标物的每一个，赋予基于包含各目标物的各帧的内容上的时间序列的特征来调整的权重值，并基于赋予的权重值来进行检索，所以能够对检索精度的提高有所贡献。
附图说明
图1是影像检索装置101的功能框图。
图2是表示内容管理信息存储部104的存储内容的图。
图3是表示场景信息存储部105的存储内容的图。
图4是表示确定目标物所属的场景的流程的图。
图5是表示目标物信息存储部106的存储内容的图。
图6是表示目标物信息存储部106中的特征量信息的例的图。
图7是表示与目标物信息存储部106的各目标物ID对应的缩略图的图。
图8是表示区域指定的状况的图。
图9是表示从指定的区域(目标物)提取特征量的状况的图。
图10是表示特征量信息的例的图。
图11是表示第一缓存器110的存储内容的图。
图12是示意性地表示第一缓存器110的存储内容的图。
图13(a)是表示初始权重值赋予的示意(image)的图，(b)是表示权重值增加的示意的图。
图14是表示第二缓存器115的存储内容的图。
图15是主要的流程图。
图16是表示触摸屏801的画面的图。
图17是表示目标物的加权处理的流程的流程图。
图18是表示类似影像检索处理的流程的流程图。
图19是表示1次类似度的计算处理的流程的流程图。
图20是表示计算出的1次类似度的例的图。
图21是表示2次类似度的计算处理的流程的流程图。
图22是说明目标物O1的1次类似度的图。
图23是说明目标物O1和目标物P1的2次类似度的计算方法的图。
图24是说明目标物Oh和目标物Pi的2次类似度的计算方法的图。
图25是表示计算出的2次类似度的例的图。
图26是表示在触摸屏801上显示检索结果的例的图。
图27是表示从用户界面侧观察动作的流程时的示意的图。
图28是表示点选(point)的输入期间中的帧的变迁的图。
图29是表示点选指定的状况的图。
图30是表示基于指定的点选来检测目标物的状况的图。
图31是说明目标物彼此的关联建立的图。
图32是说明目标物彼此的关联建立的图。
图33是说明目标物彼此的关联建立的图。
图34是说明目标物彼此的关联建立的图。
图35是表示将目标物与场景号码建立对应的动作的流程的流程图。
具体实施方式
以下参照附图说明实施方式。
(实施方式1)
<结构>
如图1所示，影像检索装置101具备：通信部102、内容存储部103、内容管理信息存储部104、场景信息存储部105、目标物信息存储部106、再现部107、受理部108、目标物检测部109、第一缓存器110、权重值赋予部111、第二缓存器115、检索部116、显示控制部117、显示部118。
通信部102具有进行各种通信的功能，例如由NIC(Network Interface Card/网络接口卡)构成，经由网络接收内容。或者，由广播波接收用的天线构成，接收搭载在广播波中发送来的内容。
另外，本实施方式中的内容是指具有一定长度的再现时间的影像内容。以下简称为内容。
内容存储部103存储多个由通信部102接收的内容或从外部介质(光盘等)输入的内容。
内容管理信息存储部104存储与内容存储部103存储的内容有关的管理信息。
作为该管理信息的例，如图2所示，包括如下项目：用于识别内容的“内容ID”104a、内容的“标题”104b、内容的“类型”104c、用于确定内容的所在的“内容文件路径”104d。
场景信息存储部105对于内容存储部103存储的各内容，将包含在各个内容中的场景和每个场景的帧号码的范围建立关联并存储。
作为其例，如图3所示，场景信息存储部105包括如下项目：表示场景的号码的“场景号码”105a、表示与场景号码对应的帧的范围的“帧号码范围”105b。
在图3中，仅示出了一个内容(内容ID：AAA)，但是对于其他内容(内容ID：ABC，BCD，ZZZ)也存储同样的内容。
该场景信息存储部105的存储内容用于由关联建立部113进行的与目标物对应的场景的确定。关于该场景的确定方法，使用图4后述。
目标物信息存储部106存储与包含在由内容存储部103存储的内容的帧中(出现)的目标物有关的信息。
作为其例，如图5所示，由如下项目构成：用于唯一地识别目标物的“目标物ID”106a、表示包含该目标物的帧的号码的“帧号码”106b、表示包含该帧的内容的标识符的“内容ID”106c、“特征量信息”106d、表示代表帧(由用户最初点选的帧)的所在的“文件路径”106e构成。
另外，目标物检测部109以内容存储部103的各内容为对象来提取目标物的特征量，并对目标物进行检测，从而制作目标物信息存储部106的存储内容。将内容中的哪个目标物作为对象，可以在预先指定的设定条件下自动进行，也可以手动(用户指定)进行。
特征量信息的例在图6中示出。图6中“i”，“j”是格子坐标，R、G、B分别以256等级表示红、绿、蓝的颜色的比例。另外，详细情况在后面叙述，格子坐标是指将帧分割为格子状，并表示各格子的位置的坐标。
目标物信息存储部106对于每个目标物存储图6那样的特征量信息。在本实施方式中，使图6那样的特征量信息与1000个目标物ID“0001”～ID“1000”分别对应地存储1000个。
图7是表示目标物信息存储部106的各目标物的缩略图的图。
ID“0001”～ID“0002”的目标物为甲虫、ID“0003”的目标物为战车、ID“1000”的目标物为猫。
另外，上述各存储部103～106由例如HDD(Hard Disk Drive/硬盘驱动器)的硬件构成。
继续说明图1的功能模块。
再现部107将存储在内容存储部103中的内容再现，并使该再现内容显示在显示部118上。
受理部108从用户受理内容的再现指示、及作为该再现中的目标物的检测对象的区域的指定(目标物的指定)等各种指示。在本实施方式中，由静电电容型的触摸传感器构成，根据静电电容的值的变化，确定触摸传感器的表面的哪个位置被点选(触摸)，并作为输入来受理。另外，作为受理部108，也可以使用遥控器等其他一般的输入器件。
目标物检测部109基于受理部108受理的区域来检测目标物，并提取与该目标物有关的特征量。
第一缓存器110容纳由目标物检测部109提取的目标物的特征量信息。
权重值赋予部111对容纳在第一缓存器110中的各目标物赋予影响检索得分(2次类似度)的权重值，其具备：初始权重值赋予部112、关联建立部113、权重值增加部114。
初始权重值赋予部112对容纳在第一缓存器110中的各目标物赋予权重值的初始值。在图11的例中，对ID“011”，“012”，“013”这3个目标物分别赋予0.5的权重值。图13(a)表示该初始权重值赋予的示意。
关联建立部113将容纳在第一缓存器110中的目标物彼此建立关联。在本实施方式中，关联建立部113参照场景信息存储部105，将包含有目标物的帧的场景是相同的作为条件来进行关联建立。
在图11的例中，
·目标物ID“011”的帧号码为#2000，所以场景号码为“2”
·目标物ID“012”的帧号码为#2500，所以场景号码为“2”
·目标物ID“013”的帧号码为#3500，所以场景号码为“3”。
因此，关联建立部113将场景号码同为“2”的目标物ID“011”与“012”建立关联，将目标物ID“012”与”011”建立关联。
该关联建立结束后，权重值增加部114使建立了关联的目标物的权重值增加。
在图13(b)的例中，权重值增加部114对于建立了关联的目标物ID“011”和“012”，将权重值分别增加“0.3”。
权重值赋予部111结束了这样的一系列的与权重值相关的处理后，将处理结果存储在第二缓存器115中。图14表示第二缓存器115的存储内容的例。
如图14所示，第二缓存器115包含：“目标物ID”115a、“关联目标物ID”115b、“权重值”115c，其中“关联目标物ID”115b用于识别与以该目标物ID表示的目标物建立了关联的目标物。
检索部116基于存储在第一缓存器110及第二缓存器115中的信息，将目标物信息存储部106的存储内容作为对象，进行类似的目标物的检索。
另外，上述再现部107、受理部108、目标物检测部109及权重值赋予部111能够通过在例如ROM中容纳控制用程序、并由CUP执行该程序来实现。
显示控制部117对显示部118的显示进行控制。
显示部118由例如液晶方式的触摸屏801构成。另外，显示部与信息检索装置可以是一体型，也可以是分离型。
<动作>
接着，说明影像检索装置101中的动作。
首先，按照图4、图35说明将场景号码与目标物建立对应的动作的流程。
图4(a)表示帧号码的范围和场景号码的关系。
图4(b)表示3个帧(帧号码“#1001”，“#2997”，“#3001”)和包含在各帧中的目标物(目标物ID“001”，“002”，“003”)。
图4(c)表示与目标物ID对应的帧号码及场景号码。
关于该对应建立，如图35所示，首先关联建立部113确定包含目标物的帧号码(S3501)。作为包含目标物的帧，选择例如代表帧(由用户最初点选的帧)。
接着，关联建立部113参照场景信息存储部105的存储内容(S3502)，决定与确定的帧号码对应的场景号码(S3503)。
如果举出一例，例如关联建立部113确定包含目标物ID“001”的帧号码“#1001”。然后，关联建立部113参照场景信息存储部105的存储内容，决定该“#1001”为场景号码“2”。
接着，受理部108受理区域的指定，使用图8～图9说明目标物检测部109检测目标物并提取特征量为止的流程。
如图8所示，在触摸屏801上显示有汽车的目标物802和人的目标物803。轨迹804是点选输入的点的轨迹。
目标物检测部109将该轨迹804的区域作为目标物来检测。
然后，目标物检测部109将作为目标物的轨迹804的区域作为对象来提取特征量。
如图9(b)所示，将代表帧(在图9的例中为帧号码“#99”)分割为横w个、纵h个(在图9的例中为横16个、纵9个)格子区域。在此，设分割的各格子区域为r(i，j)：1≤i≤w，1≤j≤h。
目标物检测部109接着提取包含目标物的区域即区域O中包含的格子区域的集合R(O)。在区域O中是否包含格子区域r(i，j)的判定方法如下所述。
首先，将连结格子区域r(i，j)的重心点P(x，y)和离P很远的点Q的线段设为线段P-Q，将线段P-Q与区域O的交点数设为N(P-Q，O)。
若交点数N(P-Q，O)为奇数，则判定为该格子区域r(i，j)包含在区域O中，若为偶数则判定为不包含。这样，求出包含在区域O中的格子区域的集合R(O)。
在图9的例中，对于格子区域r(1，1)，由于r(1，1)的重心点P1(10，10)和相距很远的点Q(10000，10000)的线段P1-Q与区域O以2点相交，所以格子区域r(1，1)不包含在区域O中。与此相对，由于格子区域r(3，6)的重心点P2(30，60)和点Q的线段P2-Q与区域O以1点相交，所以格子区域r(3，6)包含在区域O中。
目标物检测部109之后对于包含在区域O中的格子区域r(i，j)∈R(O)，求出特征量信息c(i，j)。
在此，设特征量信息c(i，j)为格子区域r(i，j)中的度数最高的颜色。目标物检测部检测到的特征量信息以表形式建立对应并管理。
图10表示特征量信息的例。图10的特征量信息的形式与图6所示相同，将目标物ID“xx”、帧号码“#100”、内容ID“ABC”建立关联。
每当受理部108受理了区域的指定，目标物检测部109重复从该区域检测目标物、并提取该目标物的特征量的处理。然后，将提取的特征量信息等容纳在第一缓存器110中。
图11是表示第一缓存器110的存储内容的图。
第一缓存器110由如下项目构成：用于识别目标物的“目标物ID”110a、包含该目标物的“帧号码”110b、“特征量信息”110c。
图12是示意性地表示图11的第一缓存器110的存储内容的图。ID“011”，“012”都是甲虫的目标物，ID“013”是猫的目标物。
另外，为了便于说明，图12描绘了各目标物的示意，第一缓存器110中的实际的数据形式是图10那样的特征量信息的形式。
接着，按照图15的流程图说明影像检索装置101中的主要的动作。
首先，如图15所示，受理部108受理应该再现的内容的选择(S1501)。图16表示与步骤S1501对应的触摸屏801的画面。
受理了内容的选择并且再现部107开始再现该内容后(S1502)，受理部108进入目标物指定的受理等待。
接下来的步骤S1503～S1505是使用图8、图9说明的处理，受理部108受理区域的指定(S1503)，目标物检测部109将受理的区域作为对象来检测目标物(S1504)，并提取特征量(S1505)。
重复进行该步骤S1503～S1505的处理，直到内容的再现结束(S1506：是)。
另外，第一缓存器110的目标物ID“011”，“012”，“013”是重复了3次步骤S1504～S1505的处理的、目标物检测部109容纳的数据。
再现结束后，转移到目标物的加权处理(S1507)。
如图17所示，在目标物的加权处理中，权重值赋予部111从第一缓存器110取得与目标物ID对应的帧号码(S1701)，初始权重值赋予部112对取得的各目标物ID赋予初始权重值“0.5”(S1702)。
然后，关联建立部113通过参照场景信息存储部105的信息，从在步骤S1701中取得的帧号码确定对应的场景号码(S1703)，从而确定各目标物ID的场景号码。
接着，根据确定的场景号码，将场景号码相同的目标物彼此建立关联(S1704)。
权重值增加部114使在步骤S1704中建立了关联的权重值增加“0.3”。将一系列的处理结果输出给第二缓存器115(S1705)。
在图14的第二缓存器115的例中，由于目标物ID“011”、ID“012”是相同场景2的目标物，所以目标物ID“011”、ID“012”分别存在关联目标物ID“012”、“011”，各自的权重值为在初始权重值“0.5”上加上了“0.3”的“0.8”。
这样的目标物的加权处理(图15：S1507)结束后，转移到类似影像检索处理(S1508)。
如图18所示，在类似影像检索处理中，包括如下处理：基于目标物的特征量信息计算的1次类似度的计算处理(S1801)、以及基于计算出的1次类似度和目标物的权重值进一步计算的2次类似度的计算处理(S1802)。
如图19所示，1次类似度的计算处理为，检索部116从容纳在第一缓存器110中的目标物中，将1次类似度未计算的1个目标物Oh设定为计算对象(S1901)。然后，取得设定为计算对象的目标物的特征量信息。
说明该步骤S1901的例，在第一缓存器110(参照图11)中容纳有3个目标物O1(ID“011”)、O2(ID“012”)、O3(ID“013”)。检索部116将目标物O1设定为计算对象，取得目标物O1的特征量信息。
接着，检索部116从容纳在目标物信息存储部106中的目标物中，将1次类似度未计算的1个目标物Pi设定为计算对象(S1902)。然后，取得设定为计算对象的目标物的特征量信息。
说明该步骤S1902的例，在目标物信息存储部106(参照图5)中容纳有1000个目标物P1(ID“0001”)、P2(ID“0002”)、P3(ID“0003”)、...。检索部116将目标物P1设定为计算对象，取得设定为计算对象的该目标物P1的特征量信息。
接着，检索部116求出在步骤S1901中设定的目标物Oh和在步骤S1902中设定的目标物Pi的1次类似度Rh，i(S1903)。
具体来说，将目标物Oh的特征量信息(格子区域及其特征颜色信息)作为模板，进行与目标物Pi的模板匹配处理，从而求出两目标物的类似度即1次类似度Rh，i。
另外，该模板匹配处理(通过在输入画像中一边将模板重合一边移动，并调查对应的特征颜色的相关来判定其类似度的处理。)可以使用现有的方法，例如可以使用上述非专利文献2记载的方法。
另外，将由检索部116求出的1次类似度Rh，i归一化为从0到1之间的值，该值越大表示类似度越高。
如果存在未计算1次类似度Rh，i的目标物Pi(S1904：是)，则检索部116回到步骤S1902。
此外，如果存在未计算1次类似度Rh，i的目标物Oh(S1905：是)，则回到步骤S1901。
通过重复这样的一系列的处理，求出将第一缓存器110的3个目标物(O1～O3)和目标物信息存储部106的1000个目标物(P1～P1000)分别组合的3000个1次类似度(R1，1，R1，2，...，R1，1000，R2，1，R2，2，...，R3，1000)。
图20表示1次类似度Rh，i的例。对于目标物ID“012”，同为甲虫的目标物ID“0002”、“0001”的类似度变高。对于目标物ID“011”，战车的目标物ID“0003”的类似度也较高，为第2位。ID“0003”的战车的目标物相对于ID“011”的甲虫的目标物，仅仅是碰巧颜色的组合等相似的目标物，对使用ID“011”来检索的用户(想寻找甲虫的用户)来说，是违背本意的结果。
接着，说明2次类似度的计算处理。
如图21所示，2次类似度的计算处理为，检索部116从容纳在第一缓存器110中的目标物中，将2次类似度未计算的1个目标物Oh设定为计算对象(S2101)。然后，参照第二缓存器115，取得设定为计算对象的目标物的关联目标物(S2102)。
然后，从容纳在目标物信息存储部106中的目标物中，将2次类似度未计算的1个目标物Pi设定为计算对象(S2103)。
接着，检索部116对于在步骤S2103中取得的Oh对Pi的1次类似度Rh， i及关联目标物Oh(1)，...，Oh(j)各自的1次类似度Rh(1)，i，...，h(j)，i分别乘以权重值。乘完后，通过全部求和，求出2次类似度Sh，i(S2104)。
在步骤S2101中将目标物O1设定为对象，在步骤S2103中将目标物P1设定为计算对象，使用图22、图23说明步骤S2104的具体的例。
对于该目标物O1，如图22所示，已求出从R1，1到R1，1000的1次类似度，目标物O1与目标物O2建立了关联(目标物O1具有关联目标物O2)。
并且，该目标物O1和目标物P1的2次类似度S1，1如图23所示，通过下式求出，
S1，1＝R1，1×w1+R2，1×w2…(式1)。
前半的项“R1，1×w1”是在目标物O1自身和对象目标物P1的1次类似度R1，1上乘以自身的权重值w1。
后半的项“R2，1×w2”是在目标物O1的关联目标物O2和对象目标物P1的1次类似度R2，1上乘以关联目标物的权重值w2。
这样，2次类似度S成为将下述(A)和(B)两个类似度乘以各自的目标物Oh，Oh(1)的加权后，再相加的值。
(A)由目标物检测部109检测到的目标物Oh和存储在目标物信息存储部106中的目标物Pi的1次类似度
(B)与上述目标物Oh建立了关联的目标物Oh(1)和上述目标物Pi的1次类似度
与上述目标物A建立了关联的目标物Oh(1)，Oh(2)，...，如果数量较多则其2次类似度成为较高的值。
图24表示将2次类似度的计算方法一般化后的示意，表示具有j个关联目标物的目标物Oh和目标物Pi的2次类似度Sh，i的计算方法。
检索部116通过重复这样的一系列的处理，基于1次类似度(R1，1，R1， 2，...，R1，1000，R2，1，R2，2，...，R3，1000)求出2次类似度(S1，1，S1，2，...，S1，1000，S2，1，S2，2，...，S3，1000)(S2105，S2106)。
图25表示2次类似度的例。
这样的2次类似度的计算处理结束后(图18：S1802)，检索部116显示检索结果(S1803)。
图26是表示检索结果的例的图。在触摸屏801的上段，显示有在检索中使用的3个目标物(ID“011”、“012”、“013”)的缩略图，在下段显示有3个目标物中ID“011”的2次类似度为上3位的目标物的缩略图51～53。
例如，若受理部108受理了缩略图51的选择，则检索部116从目标物信息存储部106中确定包含与缩略图51对应的目标物ID“0002”(参照图7)的帧号码“#1234”和内容ID“ABC”。然后，检索部116使再现部26从内容ID“ABC”的帧号码“#1234”稍前面的帧号码开始再现。
另外，图24的检索结果只是一例，例如，也可以在求出用于检索的3个目标物各自的2次类似度的平均的基础上显示上3位，而且不限于上3位，也可以是任意的个数。此外，也可以不只显示检索结果的顺序，还显示2次类似度的值(检索得分)。
图27表示从用户界面侧观察上述说明的动作的流程的示意。
如上所述，根据本实施方式，对于通过由用户选择区域而指定的3个目标物(ID“011”、“012”、“013”)，使场景同为“2”的ID“011”、“012”的权重值增加“0.3”。然后，根据1次类似度求出考虑了上面的权重值的2次类似度。其结果，在3个指定的目标物的每一个中，总是能够将1次类似度较高的目标物、及属于相同场景的目标物等最终作为2次类似度较高的目标物。
其结果，如图20的战车(ID“0003”)相对于甲虫(ID“011”)那样，与指定的目标物碰巧颜色的组合相似并以单独的目标物来检索，结果出现在上位的目标物，能够从检索结果的上位排除，从而能够实现检索精度的提高。
另外，在图20的例中，同一场景“2”的目标物较少，为2个，但是随着用于检索的目标物的个数增加，例如10个、20个，能进一步降低上面那样的仅仅碰巧颜色的组合相似的目标物占据检索结果的上位的可能性。
<补充1>
以上说明了本实施方式，但是本发明不限于上述内容，用于达成本发明的目的及其关联或附随的目的的各种形态也可以实施，例如也可以是以下形态。
(1)对于被目标物检测部109作为检测对象的帧进行补充。
受理部108在内容的再现中受理区域的指定，所以从用于区域指定的点选的输入开始到输入结束为止的期间，帧也会经过。
因此，如图28所示，在该点选的输入中，有时用户想要指定的目标物的位置变更，或到了帧外。
因此，优选为将点选的输入开始时点(受理部108受理的时点)的帧号码“#100”作为检测对象。
但是，可以想到产生下述(A)和(B)等延迟(延迟的长度为例如数毫秒程度)，所以也可以使用考虑了这些(A)(B)的校正值δ。
(A)使用与影像检索装置分离的输入器件来指定的情况的延迟(例如通过连接有蓝牙Bluetooth(商标)的鼠标来指定的情况等)
(B)触摸屏801的处理和显示所需的延迟
在图28的例中，校正值为1帧的量，将帧号码“#100”的前一个“#99”作为对象帧。
(2)在实施方式中，说明了基于从用户指定的区域来检测目标物(参照图8)，但是不限于这样的区域指定。
例如，如图29所示，受理部108受理触摸屏801上的一点即A点(x1，y1)。
然后，目标物检测部109如图30所示，以受理的时点的帧为对象进行边缘检测，在通过边缘检测检测到的目标物中，检测包含A点的目标物108。
另外，上述边缘检测可以使用开尼(canny)算法(参照非专利文献1)等一般的方法。
也可以基于这样从用户指定的点(点选指定)来检测目标物。
另外，采用区域指定还是点选指定，可以基于用户设定来选择性地使用。或者，在目标物检测部109中也可以是，在某一定时间t期间输入的点选数为c以下、且点选间的距離为d以下的情况下，判定为点选指定，在其他情况下，判定为区域指定。
(3)在实施方式中，关联建立部113基于包含目标物的帧所属的场景的同一性来区分关联建立的有无，但是不限于此。
例如，如图31所示，也可以以章节相同为条件来进行关联建立。
此外，如图32所示，也可以以包含各个目标物的帧的再现时间彼此在一定时间以内(例如3分钟以内)为条件来进行关联建立。
此外，如图33所示，也可以使关联建立具有方向性，即从目标物O1向O2建立关联，但是从O2向O1不建立关联，考虑帧的再现时间的顺序(目标物的出现顺序)。
此外，如图34所示，在存在目标物O1→O2、O2→O3、O3→O4这样的关联建立的情况下，也可以递归地进行O1→O3这样的关联建立。
O1→O3的关联建立可以说是间接的(不是直接的)关联建立，所以在直接的关联建立中使用的权重值的增加量Δw相对较小。
此外，O1→O4的关联建立是更间接的关联建立，所以权重值的增加量Δw更小。
这样，也可以在经由的目标物的个数较少的情况(回归较浅的情况)下将权重值的增加量Δw相对较大地设定，经由的目标物的个数较多的情况(回归较深的情况)下将权重值的增加量Δw相对较小地设定。
另外，在图34的例中，在关联建立中具有方向性，但是在不具有方向性的关联建立中也可以应用这样的回归性的关联建立。
(4)在实施方式中，对于具有关联目标物的目标物，权重值增加部114一律增加“0.3”的权重值，但是不限于此。
例如，对于由目标物检测部109检测到的各目标物，也可以对出现的频度进行计数。具体来说，在图14的第二缓存器的数据列中设置“频度”的项目，如果频度较多，则将比“0.3”大的值(例如“0.5”)作为增加量，如果频度较多，则将比“0.3”小的值(例如”0.1”)作为增加量。
此外，对于由目标物检测部109检测到的各目标物，也可以对出现的时间进行计数。具体地说，在图14的第二缓存器的数据列中设置“出现时间”的项目，如果出现时间较长，则将比“0.3”大的值(例如“0.5”)作为增加量，如果较短，则将比“0.3”小的值(例如“0.1”)作为增加量。
(5)关于内容的再现，也可以存储将表示快放和回放等的有无的履历与帧号码建立了关联的履历。
并且，例如在该履历中，如果帧号码“#2000”是快放的帧，则对于包含在该帧号码“#2000”中的目标物ID“011”(参照图11)，可以将权重值减小。这是因为，包含在快放的帧中的目标物可以认为对用户来说是不重要的。
反之，也可以将包含在回放的帧中的目标物的权重值增大。
(6)在检索部116中，也可以考虑目标物的出现顺序来进行检索。
例如，在目标物信息存储部106中预先存储表示目标物的出现顺序的信息，将与由目标物检测部109检测到的目标物的顺序的吻合度较高的目标物的2次类似度提高。
(7)也可以将由目标物检测部109检测到的目标物作为数据库来预先储存。并且，在关联建立部113中，也可以将储存的目标物作为关联建立的对象来利用。
此外，在上面的储存中，也可以结合表示包含各目标物的帧的内容的系列名(连续剧或part1、part2、part3这样的有续集的电影等系列的名字)的信息来预先储存，关联建立部113也可以将相同系列名的目标物建立关联。
(8)在权重值增加部114中，也可以是，建立了关联的目标物在帧中占有的大小(目标物的尺寸)越大，则越大地增加权重值。
(9)在权重值赋予部111中，基于关联建立部113进行的目标物彼此的关联建立来调整权重值。但是不限于此，也可以想到不进行关联建立而对场景相同的目标物增加权重值等，调整权重值。
(10)实施方式和上述的具体规格和数值(初始权重值和权重值的增加量的值等)只是一例，可以适当变更。
(11)图1等的各功能模块可以采用作为集成电路的LSI。可以将它们单独地1芯片化，也可以包含一部分或全部地1芯片化。此外，在此采用了LSI，但是根据集成度不同，有时也称为IC、系统LSI、超级LSI、极超级LSI。此外，集成电路化的方法不限于LSI，也可以通过专用电路或通用处理器实现。LSI制造后，也可以利用可编程的FPGA(Field Programmable Gate Array)或能够将LSI内部的电路单元的连接或设定再构成的可重组处理器。进而，随着半导体技术的进步或派生的其他技术，如果出现能够替换LSI的集成电路化的技术，当然也可以使用该技术来进行功能块的集成化。
(12)也可以将由程序码构成的控制程序记录在记录介质中，或经由各种通信路流通并颁布，上述程序码使各种信息处理装置的处理器及与该处理器连接的各种电路执行在上述实施方式中示出的动作等。
这样的记录介质有IC卡、硬盘、光盘、软盘、ROM等永久性(not-transitory)记录介质。
流通并颁布的控制程序通过容纳在处理器可读取的存储器等中来供利用，通过该处理器执行该控制程序来实现实施方式所示的各种功能。
<补充2>
本实施方式包含以下形态。
(1)本实施方式的影像检索装置的特征在于，具备：再现单元，将由多个帧构成的内容再现；受理单元，在所述内容的再现中，从用户多次受理用于指定包含在构成该内容的帧中的目标物的输入；检测单元，根据由所述受理单元进行的受理来检测目标物；赋予单元，对于由检测单元检测到的多个目标物的每一个，赋予基于包含各目标物的各帧的时间序列的特征来调整的权重值；检索单元，基于赋予了所述权重值的多个目标物进行检索。
(2)此外，也可以是，所述赋予单元包括：关联建立单元，对于由所述检测单元检测到的多个目标物的每一个，基于包含各目标物的各帧的时间序列的特征，将目标物彼此建立关联；增加单元，使所述建立了关联的目标物的权重值与未建立关联的目标物的权重值相比相对地增加。
根据该结构，通过由上述增加单元进行上述权重值的相对地增加，能够有助于检索精度的提高。
(3)此外，也可以是，所述内容在其再现时间轴上被多个场景划分，所述关联建立单元基于包含各目标物的各帧的场景的同一性来进行所述目标物彼此的关联建立。
根据该结构，通过基于场景的同一性的关联建立，能够对各目标物赋予合适的权重值。
(4)此外，也可以是，所述内容在其再现时间轴上被多个章节划分，所述关联建立单元基于包含各目标物的各帧的章节的同一性来进行所述目标物彼此的关联建立。
根据该结构，通过基于章节场景的同一性的关联建立，能够对各目标物赋予合适的权重值。
(5)此外，也可以是，所述关联建立单元将经由其他目标物间接地建立了关联的目标物彼此建立关联。
(6)此外，也可以是，所述增加单元对于经由所述其他目标物间接地建立了关联的目标物彼此，根据经由的目标物的个数，调整所述增加的权重值。
(7)此外，也可以是，所述关联建立单元从帧的所述再现时间为前方的目标物向帧的所述再现时间为后方的目标物进行关联建立，从帧的所述再现时间为后方的目标物向帧的所述再现时间为前方的目标物不进行关联建立。
根据该结构，通过使关联建立具有方向性，能够对各目标物赋予合适的权重值。
(8)也可以是，具备存储单元，存储多个目标物和各目标物的特征量信息，所述检测单元对于检测到的各个目标物提取目标物的特征量信息，所述检索单元通过将由所述检测单元提取的特征量信息和存储在所述存储单元中的特征量信息进行对照，来检索与所述检测单元检测到的目标物类似的目标物。
(9)也可以是，具备存储单元，存储多个目标物和各目标物的特征量信息，所述检测单元提取检测到的目标物各自的目标物的特征量信息，所述赋予单元对所述目标物分别赋予权重值，所述检索单元通过将由检测单元检测到的目标物的特征量信息和存储在所述存储单元中的目标物各自的特征量信息进行对照，计算1次类似度，在1次类似度的值上乘以该其他目标物的权重值，并将得到的值相加，从而计算2次类似度。
(10)此外，也可以是，具备频度计数单元，对所述建立了关联的目标物在所述内容中出现的频度进行计数，对于该建立了关联的目标物计数的频度越多，则与未建立关联的目标物的权重值相比，所述增加单元越使所述建立了关联的目标物的权重值相对地增加。
(11)此外，也可以是，具备时间计数单元，对于所述建立了关联的目标物，对在所述内容中出现的再现时间轴上的长度进行计数，对于该建立了关联的目标物计数的长度越大，则与未建立关联的目标物的权重值相比，所述增加单元越使所述建立了关联的目标物的权重值相对地增加。
(12)此外，也可以是，该建立了关联的目标物在帧中占有的大小越大，则与未建立关联的目标物的权重值相比，所述增加单元越使所述建立了关联的目标物的权重值相对地增加。
(13)也可以是，具备履历存储单元，存储用于确定被所述再现单元快放或回放的帧的信息，所述增加单元参照所述履历存储单元，如果示出包含所述建立了关联的目标物的帧被快放，则减小该建立了关联的目标物的权重值的增加量，或者，所述增加单元参照所述履历存储单元，如果示出包含所述建立了关联的目标物的帧被回放，则增大该建立了关联的目标物的权重值的增加量。
(14)也可以是，具备存储单元，存储多个目标物和各目标物在内容中的再现时间轴上出现的顺序，所述检测单元对于检测到的多个目标物，决定在所述内容中的再现时间轴上出现的顺序，所述检索单元从存储在所述存储单元中的多个目标物中，检索与由所述检测单元检测到的多个目标物的顺序的吻合度较高的目标物。
(15)也可以是，具备储存单元，将由所述检测单元检测到的多个目标物和各目标物的权重值建立关联并储存，所述关联建立单元将所述储存的多个目标物作为所述关联建立的对象。
(16)也可以是，所述储存单元对于储存的多个目标物的每一个，存储系列识别信息，由所述检测单元检测到的多个目标物的每一个与表示系列名的信息建立了关联，所述关联建立单元参照所述储存的多个目标物，将由所述检测单元检测到的多个目标物各自的系列名和系列名一致的目标物建立关联。
(17)本实施方式的影像检索方法的特征在于，包括以下步骤：再现步骤，将由多个帧构成的内容再现；受理步骤，在所述内容的再现中，从用户多次受理用于指定包含在构成该内容的帧中的目标物的输入；检测步骤，根据通过所述受理步骤进行的受理来检测目标物；赋予步骤，对于通过检测步骤检测到的多个目标物的每一个，赋予基于包含各目标物的各帧的时间序列的特征来调整的权重值；检索步骤，基于赋予了所述权重值的多个目标物进行检索。
(18)本实施方式的程序是使计算机执行影像检索处理的程序，其特征在于，所述影像检索处理包括以下步骤：再现步骤，将由多个帧构成的内容再现；受理步骤，在所述内容的再现中，从用户多次受理用于指定包含在构成该内容的帧中的目标物的输入；检测步骤，根据通过所述受理步骤进行的受理来检测目标物；赋予步骤，对于通过检测步骤检测到的多个目标物的每一个，赋予基于包含各目标物的各帧的时间序列的特征来调整的权重值；检索步骤，基于赋予了所述权重值的多个目标物进行检索。
(19)本实施方式的集成电路具备：再现单元，将由多个帧构成的内容再现；受理单元，在所述内容的再现中，从用户多次受理用于指定包含在构成该内容的帧中的目标物的输入；检测单元，根据由所述受理单元进行的受理来检测目标物；赋予单元，对于由检测单元检测到的多个目标物的每一个，赋予基于包含各目标物的各帧的内容上的时间序列的特征来调整的权重值；检索单元，基于赋予了所述权重值的多个目标物进行检索。
工业实用性
本发明的影像检索装置对检索精度的提高有所贡献，因此是有用的。
符号说明
101影像检索装置
102通信部
103内容存储部
104内容管理信息存储部
105场景信息存储部
106目标物信息存储部
107再现部
108受理部
109目标物检测部
110第一缓存器
111权重值赋予部
112初始权重值赋予部
113关联建立部
114权重值增加部
115第二缓存器
116检索部
117显示控制部
118显示部
801触摸屏

Claims (19)

1.一种影像检索装置，其特征在于，具备：
再现单元，将由多个帧构成的内容再现；
受理单元，在所述内容的再现中，从用户多次受理用于指定包含在构成该内容的帧中的目标物的输入；
检测单元，根据所述受理单元的受理来检测目标物；
赋予单元，对于由检测单元检测到的多个目标物的每一个，赋予基于包含各目标物的各帧的时间序列的特征来调整的权重值；以及
检索单元，基于赋予了所述权重值的多个目标物进行检索。
2.如权利要求1所述的影像检索装置，其特征在于，
所述赋予单元包括：
关联建立单元，对于由所述检测单元检测到的多个目标物的每一个，基于包含各目标物的各帧的时间序列的特征，将目标物彼此建立关联；以及
增加单元，使建立了关联的所述目标物的权重值与未建立关联的目标物的权重值相比相对地增加。
3.如权利要求2所述的影像检索装置，其特征在于，
所述内容在其再现时间轴上被多个场景划分，
所述关联建立单元基于包含各目标物的各帧的场景的同一性来进行所述目标物彼此的关联建立。
4.如权利要求2所述的影像检索装置，其特征在于，
所述内容在其再现时间轴上被多个章节划分，
所述关联建立单元基于包含各目标物的各帧的章节的同一性来进行所述目标物彼此的关联建立。
5.如权利要求2所述的影像检索装置，其特征在于，
所述关联建立单元将经由其他目标物间接地建立了关联的目标物彼此建立关联。
6.如权利要求5所述的影像检索装置，其特征在于，
所述增加单元对于经由所述其他目标物间接地建立了关联的目标物彼此，根据经由的目标物的个数，调整增加的所述权重值。
7.如权利要求2所述的影像检索装置，其特征在于，
所述关联建立单元，
从帧的所述再现时间为前方的目标物向帧的所述再现时间为后方的目标物进行关联建立，
从帧的所述再现时间为后方的目标物向帧的所述再现时间为前方的目标物不进行关联建立。
8.如权利要求2所述的影像检索装置，其特征在于，
具备存储单元，存储多个目标物和各目标物的特征量信息，
所述检测单元对于检测到的各个目标物提取目标物的特征量信息，
所述检索单元通过将由所述检测单元提取的特征量信息和存储在所述存储单元中的特征量信息进行对照，来检索与所述检测单元检测到的目标物类似的目标物。
9.如权利要求2所述的影像检索装置，其特征在于，
具备存储单元，存储目标物和各目标物的特征量信息，
所述检测单元提取检测到的目标物各自的目标物的特征量信息，
所述赋予单元对所述目标物分别赋予权重值，
所述检索单元通过将由检测单元检测到的目标物的特征量信息和存储在所述存储单元中的目标物各自的特征量信息进行对照，计算1次类似度，
在1次类似度的值上加上乘以该其他目标物的权重值而得到的值，从而计算2次类似度。
10.如权利要求2所述的影像检索装置，其特征在于，
具备频度计数单元，对建立了关联的所述目标物在所述内容中出现的频度进行计数，
对于该建立了关联的目标物计数的频度越多，则与未建立关联的目标物的权重值相比，所述增加单元越使建立了关联的所述目标物的权重值相对地增加。
11.如权利要求2所述的影像检索装置，其特征在于，
具备时间计数单元，对于建立了关联的所述目标物，对在所述内容中出现的再现时间轴上的长度进行计数，
对于该建立了关联的目标物计数的长度越大，则与未建立关联的目标物的权重值相比，所述增加单元越使建立了关联的所述目标物的权重值相对地增加。
12.如权利要求2所述的影像检索装置，其特征在于，
该建立了关联的目标物在帧中占有的大小越大，则与未建立关联的目标物的权重值相比，所述增加单元越使建立了关联的所述目标物的权重值相对地增加。
13.如权利要求2所述的影像检索装置，其特征在于，
具备履历存储单元，存储用于确定被所述再现单元快放或回放的帧的信息，
所述增加单元参照所述履历存储单元，如果示出包含建立了关联的所述目标物的帧被快放，则减小该建立了关联的目标物的权重值的增加量，
或者，所述增加单元参照所述履历存储单元，如果示出包含建立了关联的所述目标物的帧被回放，则增大该建立了关联的目标物的权重值的增加量。
14.如权利要求1所述的影像检索装置，其特征在于，
具备存储单元，存储多个目标物和各目标物在内容中的再现时间轴上出现的顺序，
所述检测单元对于检测到的多个目标物，决定在所述内容中的再现时间轴上出现的顺序，
所述检索单元从存储在所述存储单元中的多个目标物中，检索与由所述检测单元检测到的多个目标物的顺序的吻合度较高的目标物。
15.如权利要求2所述的影像检索装置，其特征在于，
具备储存单元，将由所述检测单元检测到的多个目标物和各目标物的权重值建立关联并储存，
所述关联建立单元将储存的所述多个目标物作为所述关联建立的对象。
16.如权利要求15所述的影像检索装置，其特征在于，
所述储存单元对于储存的多个目标物的每一个，存储系列识别信息，
由所述检测单元检测到的多个目标物的每一个与表示系列名的信息建立了关联，
所述关联建立单元参照储存的所述多个目标物，将由所述检测单元检测到的多个目标物各自的系列名与系列名为一致的目标物建立关联。
17.一种影像检索方法，其特征在于，包括以下步骤：
再现步骤，将由多个帧构成的内容再现；
受理步骤，在所述内容的再现中，从用户多次受理用于指定包含在构成该内容的帧中的目标物的输入；
检测步骤，根据所述受理步骤的受理来检测目标物；
赋予步骤，对于通过检测步骤检测到的多个目标物的每一个，赋予基于包含各目标物的各帧的时间序列的特征来调整的权重值；以及
检索步骤，基于赋予了所述权重值的多个目标物进行检索。
18.一种程序，使计算机执行影像检索处理，其特征在于，所述影像检索处理包括以下步骤：
再现步骤，将由多个帧构成的内容再现；
受理步骤，在所述内容的再现中，从用户多次受理用于指定包含在构成该内容的帧中的目标物的输入；
检测步骤，根据所述受理步骤的受理来检测目标物；
赋予步骤，对于通过检测步骤检测到的多个目标物的每一个，赋予基于包含各目标物的各帧的时间序列的特征来调整的权重值；以及
检索步骤，基于赋予了所述权重值的多个目标物进行检索。
19.一种集成电路，其特征在于，具备：
再现单元，将由多个帧构成的内容再现；
受理单元，在所述内容的再现中，从用户多次受理用于指定包含在构成该内容的帧中的目标物的输入；
检测单元，根据所述受理单元的受理来检测目标物；
赋予单元，对于由检测单元检测到的多个目标物的每一个，赋予基于包含各目标物的各帧的内容上的时间序列的特征来调整的权重值；以及
检索单元，基于赋予了所述权重值的多个目标物进行检索。
CN201180003170.XA 2010-06-16 2011-03-17 影像检索装置、影像检索方法、记录介质、程序、集成电路 Active CN102474586B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-137072 2010-06-16
JP2010137072 2010-06-16
PCT/JP2011/001596 WO2011158406A1 (ja) 2010-06-16 2011-03-17 映像検索装置、映像検索方法、記録媒体、プログラム、集積回路

Publications (2)

Publication Number Publication Date
CN102474586A true CN102474586A (zh) 2012-05-23
CN102474586B CN102474586B (zh) 2015-10-21

Family

ID=45347824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180003170.XA Active CN102474586B (zh) 2010-06-16 2011-03-17 影像检索装置、影像检索方法、记录介质、程序、集成电路

Country Status (4)

Country Link
US (1) US8718444B2 (zh)
JP (1) JP5632472B2 (zh)
CN (1) CN102474586B (zh)
WO (1) WO2011158406A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130007807A1 (en) * 2011-06-30 2013-01-03 Delia Grenville Blended search for next generation television
EP2816564B1 (en) 2013-06-21 2020-07-22 Nokia Technologies Oy Method and apparatus for smart video rendering
US9600723B1 (en) 2014-07-03 2017-03-21 Google Inc. Systems and methods for attention localization using a first-person point-of-view device
JP6704797B2 (ja) * 2016-06-01 2020-06-03 キヤノン株式会社 画像検索装置、その制御方法、およびプログラム
CN110135483A (zh) * 2019-04-30 2019-08-16 北京百度网讯科技有限公司 训练图像识别模型的方法、装置及相关设备
CN111970525B (zh) * 2020-08-14 2022-06-03 北京达佳互联信息技术有限公司 直播间搜索方法、装置、服务器及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3220493B2 (ja) 1991-12-20 2001-10-22 株式会社シーエスケイ 動画編集処理の場面転換部検出方法
JP3711993B2 (ja) 1993-10-25 2005-11-02 株式会社日立製作所 映像の連想検索装置
US6195497B1 (en) 1993-10-25 2001-02-27 Hitachi, Ltd. Associated image retrieving apparatus and method
DE60044924D1 (de) * 1999-01-29 2010-10-21 Lg Electronics Inc Verfajren zum suchen und browsen von multimediadaten und datenstruktur
JP2002373177A (ja) * 2001-06-15 2002-12-26 Olympus Optical Co Ltd 類似オブジェクト検索方法及び装置
JP4014390B2 (ja) * 2001-10-29 2007-11-28 オリンパス株式会社 マルチメディアオブジェクト検索システム
JP2005107767A (ja) 2003-09-30 2005-04-21 Nippon Telegr & Teleph Corp <Ntt> 映像検索装置、映像検索方法および映像検索プログラム
JP4009959B2 (ja) 2004-01-07 2007-11-21 船井電機株式会社 テレビ受信機
JP4367264B2 (ja) * 2004-07-12 2009-11-18 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP3674633B2 (ja) 2004-11-17 2005-07-20 カシオ計算機株式会社 画像検索装置、電子スチルカメラ、および画像検索方法
JP5135733B2 (ja) * 2006-08-10 2013-02-06 ソニー株式会社 情報記録装置及び情報記録方法、並びにコンピュータ・プログラム
US8196045B2 (en) * 2006-10-05 2012-06-05 Blinkx Uk Limited Various methods and apparatus for moving thumbnails with metadata
JP2009232250A (ja) * 2008-03-24 2009-10-08 Panasonic Corp 番組情報表示装置および番組情報表示方法
JP2009296346A (ja) 2008-06-05 2009-12-17 Sony Corp 番組推薦装置、番組推薦方法及び番組推薦プログラム
JP5335302B2 (ja) * 2008-06-30 2013-11-06 キヤノン株式会社 焦点検出装置及びその制御方法
JP4711152B2 (ja) * 2008-12-26 2011-06-29 ソニー株式会社 コンテンツ表示制御装置および方法、プログラム、並びに記録媒体

Also Published As

Publication number Publication date
JPWO2011158406A1 (ja) 2013-08-19
US8718444B2 (en) 2014-05-06
WO2011158406A1 (ja) 2011-12-22
JP5632472B2 (ja) 2014-11-26
CN102474586B (zh) 2015-10-21
US20120134648A1 (en) 2012-05-31

Similar Documents

Publication Publication Date Title
US20210124723A1 (en) Event-related media management system
US8676030B2 (en) Methods and systems for interacting with viewers of video content
AU2015222869B2 (en) System and method for performing spatio-temporal analysis of sporting events
US11227006B2 (en) Content-aware filter options for media object collections
CN104123398B (zh) 一种信息推送方法及装置
CN102077580B (zh) 显示控制设备、显示控制方法
CN102474586B (zh) 影像检索装置、影像检索方法、记录介质、程序、集成电路
US9100616B2 (en) Relational display of images
CN108028054A (zh) 对自动生成的音频/视频展示的音频和视频分量进行同步
CN101689394A (zh) 用于视频索引和视频概要的方法和系统
CN102214304A (zh) 信息处理设备、信息处理方法、和程序
CN103069420A (zh) 检测用户图像集合中的重复事件
CN110287372A (zh) 用于负反馈的标签确定方法、视频推荐方法及其装置
CN103067780A (zh) 图像处理装置、图像处理方法和程序
CN102981733A (zh) 信息处理装置、运动画面摘要方法以及计算机可读介质
CN108260008A (zh) 一种视频推荐方法、装置及电子设备
WO2018033789A1 (en) Systems, methods, and computer-readable products for track selection
CN103514248A (zh) 视频记录设备、信息处理系统、信息处理方法和记录介质
CN103702117A (zh) 图像处理设备、图像处理方法及程序
CN103019575B (zh) 一种移动终端及其信息处理方法
WO2021164707A1 (zh) 物品更换信息生成方法、物品整理方法、装置及电子设备
CN109451334A (zh) 用户画像生成处理方法、装置及电子设备
CN105975471A (zh) 一种视频推荐方法和系统
US20170177210A1 (en) Pattern based video frame navigation aid
EP3399439A1 (en) Method for recommending music in playlist and apparatus using the same

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140925

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140925

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

C14 Grant of patent or utility model
GR01 Patent grant