CN102822827A - 内容检索的装置和方法及程序 - Google Patents

内容检索的装置和方法及程序 Download PDF

Info

Publication number
CN102822827A
CN102822827A CN2011800173185A CN201180017318A CN102822827A CN 102822827 A CN102822827 A CN 102822827A CN 2011800173185 A CN2011800173185 A CN 2011800173185A CN 201180017318 A CN201180017318 A CN 201180017318A CN 102822827 A CN102822827 A CN 102822827A
Authority
CN
China
Prior art keywords
content
image
retrieving images
frame
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800173185A
Other languages
English (en)
Inventor
田中和政
田中健司
高桥义博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102822827A publication Critical patent/CN102822827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

所公开的内容检索装置、方法和程序显示对于多个图像的检索结果并且使得更容易掌握视频的内容。元数据提取单元(22)从经由内容输入单元(21)提供来的内容中提取代表图像信息和其他元数据，并将所述元数据累积在元数据数据库(24)中。图像特征量提取单元(23)从内容中提取图像特征量并将所述图像特征量累积在图像特征量数据库(25)中。图像特征量提取单元还从检索图像中提取图像特征量。检索单元(27)将检索图像的图像特征量与存储在图像特征量数据库(25)中的图像特征量相比较并且识别与检索图像相似的静止图像。输出单元(28)读取内容元数据，生成时间线显示所必要的显示数据，并且还生成用于在时间线上显示检索结果的显示数据。

Description

内容检索的装置和方法及程序
技术领域
本发明涉及内容检索的装置和方法以及程序，具体而言涉及可用来通过显示对于多个图像中的每一个的检索结果来容易地认识到运动图像的内容细节的内容检索的装置和方法以及程序。
背景技术
近来，已提出了分析并检索视频(运动图像)内容的技术。为了显示这种分析结果和检索结果，除了按原样显示数值和图像以外，还设计了例如使得内容被显示在时间线上的视觉上可认识的显示方法。
也就是说，为了确认运动图像的内容的所有细节，由于必须要再现内容，所以需要特定的再现时间。最好不花这样的时间也能容易地认识到内容的细节。
在现有技术中，已知显示诸如音频信号和像素的亮度值的变化之类的波形图像作为时间线显示的示例。
另外，已提出了显示构成内容的每个场景的第一帧的图像和最末帧的图像的方法以及使得能够在多画面上查看图像摘要场景的技术(例如参见专利文献1)。
另外，已提出了在记录通常图像的同时记录从通常运动图像二次采样到的索引用运动图像，并且例如当任何索引显示图像被用户选择时对于所选择的运动图像执行索引用运动图像的再现(例如，参见专利文献2)。
引文列表
专利文献
专利文献1：7-67073号日本专利申请早期公布
专利文献2：2001-238154号日本专利申请早期公布
发明内容
本发明要解决的问题
然而，在现有技术中，有这样的问题，即用户不能容易地找到包括期望图像的场景或者用户期望的特性场景。
例如，即使能够以个体图像作为要检索的图像执行内容的检索，也不可能执行对顺次显示多个图像的部分的检索、对内容中显示期望图像的时间比率与显示另外图像的时间比率的比较，等等。
另外，例如，在显示每个场景的第一帧之类的图像的方法中，在时间上较长的内容的情况下显示变得复杂。从而，由于这样的显示，内容细节不太可能变得容易认识。
另外，在将索引图像显示在多画面上的方法或者再现索引运动图像的方法的情况下，难以认识到在视频内容的哪个部分(时间位置)存在哪种图像。
为了解决上述情形，本发明被设计为通过显示分别对于多个图像的检索结果来促进对运动图像的内容细节的认识。
解决问题的方案
本发明的一个方面是一种内容检索装置，包括：检索图像输入装置，该检索图像输入装置接收作为静止图像的多个检索图像的输入；图像特征量提取装置，该图像特征量提取装置利用预定方法提取多个检索图像中的每一个的图像特征量；相似度计算装置，该相似度计算装置针对运动图像的内容来计算预先从构成该内容的帧的静止图像中提取的图像特征量与每个检索图像的图像特征量之间的相似度；确定装置，该确定装置通过将计算出的相似度与预定阈值相比较来确定与每个检索图像相似的静止图像的帧；以及时间线显示装置，该时间线显示装置基于所确定的帧和预先从内容中提取的元数据，来生成显示数据，该显示数据用于通过将内容连同指示与每个检索图像相似的静止图像的帧的时间位置的信息显示在时间轴上来执行时间线显示。
时间线显示装置可生成用于显示如下画面的显示数据，所述画面具有显示多个检索图像的列表的检索图像显示单元和在时间线上显示内容的时间线显示单元，多个检索图像可在分别被相互不同颜色的显示框围绕的同时被显示在检索图像显示单元处，并且指示与每个检索图像相似的静止图像的帧的时间位置的信息可作为具有与显示框的颜色相同的颜色的颜色条被显示在时间线显示单元处。
时间线显示装置可利用时间线显示来在单个画面上的时间线显示单元处显示多个内容中的每一个，并且对于多个内容中的每一个指示与每个检索图像相似的静止图像的帧的时间位置的信息可被显示为具有与显示框的颜色相同的颜色的颜色条。
时间线显示装置可生成用于显示如下画面的显示数据，该画面还具有在利用时间线显示来显示的内容的再现被指令的情况下显示通过再现内容而获得的运动图像的运动图像显示单元。
时间线显示装置可基于元数据中包括的内容的场景变化点的信息来确定构成内容的场景，并且以画面的水平或垂直方向为时间轴、以指示各个场景的图形在与场景的时间长度相关联的同时被显示的方式来将内容显示在时间线上。
时间线显示装置可在指示场景的图形被分别以利用预定方法确定的场景的代表色来显示的同时，来将内容显示在时间线上。
本发明的一个方面是一种内容检索方法，包括以下步骤：利用检索图像输入装置接收作为静止图像的多个检索图像的输入；利用图像特征量提取装置利用预定方法提取多个检索图像中的每一个的图像特征量；利用相似度计算装置针对运动图像的内容来计算预先从构成该内容的帧的静止图像中提取的图像特征量与每个检索图像的图像特征量之间的相似度；利用确定装置通过将计算出的相似度与预定阈值相比较来确定与每个检索图像相似的静止图像的帧；以及利用时间线显示装置基于所确定的帧和预先从内容中提取的元数据来生成显示数据，该显示数据用于通过将内容连同指示与每个检索图像相似的静止图像的帧的时间位置的信息显示在时间轴上来执行时间线显示。
本发明的一个方面是一种程序，用于使得计算机具有作为内容检索装置的功能，该装置包括：检索图像输入装置，该检索图像输入装置接收作为静止图像的多个检索图像的输入；图像特征量提取装置，该图像特征量提取装置利用预定方法提取多个检索图像中的每一个的图像特征量；相似度计算装置，该相似度计算装置针对运动图像的内容来计算预先从构成该内容的帧的静止图像中提取的图像特征量与每个检索图像的图像特征量之间的相似度；确定装置，该确定装置通过将计算出的相似度与预定阈值相比较来确定与每个检索图像相似的静止图像的帧；以及时间线显示装置，该时间线显示装置基于所确定的帧和预先从内容中提取的元数据，来生成显示数据，该显示数据用于通过将内容连同指示与每个检索图像相似的静止图像的帧的时间位置的信息显示在时间轴上来执行时间线显示。
在本发明的一个方面中，接收作为静止图像的多个检索图像的输入，利用预定方法提取多个检索图像中的每一个的图像特征量，针对运动图像的内容来计算预先从构成该内容的帧的静止图像中提取的图像特征量与每个检索图像的图像特征量之间的相似度，通过将计算出的相似度与预定阈值相比较来确定与每个检索图像相似的静止图像的帧，基于所确定的帧和预先从内容中提取的元数据，生成用于通过将内容连同指示与每个检索图像相似的静止图像的帧的时间位置的信息显示在时间轴上来执行时间线显示的显示数据。
本发明的效果
根据本发明，可更容易认识运动图像的内容细节。
附图说明
图1是示出根据本发明的实施例的内容处理装置的结构示例的框图。
图2是示出基于从图1的输出单元输出的显示数据显示的画面的示例的视图。
图3是示出在图2中所示的画面处再现内容时的画面的示例的视图。
图4是示出在时间从图3中所示的状态进一步经过之后的画面的示例的视图。
图5是示出内容显示处理的示例的流程图。
图6是示出在图2至图4的画面处执行检索的情况的示例的视图。
图7是示出在图6中所示的画面处显示检索结果的画面的示例的视图。
图8是示出在对于多个内容执行检索的情况中的画面的示例的视图。
图9是示出在图8中所示的画面处显示检索结果的画面的示例的视图。
图10是示出在图9中所示的画面处再现内容时的画面的示例的视图。
图11是示出检索结果显示处理的流程图。
图12是示出显示检索结果的画面的另一示例的视图。
图13是示出个人计算机的结构示例的框图。
具体实施方式
下面，将参考附图描述本发明的实施例。
图1是示出根据本发明的实施例的内容处理装置的结构示例的框图。
内容处理装置10执行输入运动图像内容的时间线显示并且根据需要执行作为检索内容中的预定图像的检索结果的时间线显示。
如图中所示，内容处理装置10设有内容输入单元21、元数据提取单元22、图像特征量提取单元23、元数据数据库24和图像特征量数据库25。另外，内容处理装置10设有检索图像输入单元26、检索单元27和输出单元28。
内容输入单元21接收内容数据的输入。如上所述，内容是运动图像内容并且根据需要包括音频、字幕等等。例如，内容是作为要广播的节目的一部分编辑的内容。
元数据提取单元22分析从内容输入单元21提供来的内容的数据并且从内容中提取元数据。这里，例如，元数据指的是关于场景变化点的信息、关于执行后文所述的时间线显示所需的时间的信息、内容的代表图像等等的信息。
元数据中包括的内容的代表图像被设定为与构成内容的各个场景之中的具有最大音频信号水平的场景相对应的帧的图像(静止图像)。代表图像是用预先确定的方法提取的。诸如代表图像的数据和与代表图像相对应的帧的帧号码之类的信息也被元数据提取单元提取。
元数据提取单元提取的元数据与内容标识信息相关联地被存储在元数据数据库24中。
图像特征量提取单元23被配置为分析从内容输入单元21提供来的内容数据并且从内容中提取图像特征量。这里，图像特征量指的是在后文所述的检索单元27的处理中用于获得与检索图像的相似度的信息。例如，图像特征量指的是构成内容的一帧量的静止图像被分别分割成多个预定区域作为向每个区域提供代表色的信息等等。另外，图像特征量可以是一帧量的静止图像的像素值的直方图的信息，等等。
图像特征量提取单元23提取的图像特征量例如与内容标识信息和帧号码相关联地被存储在图像特征量数据库25中。
另外，图像特征量提取单元23被配置为类似地从输入自检索图像输入单元26的检索图像中提取图像特征量。
检索图像输入单元26被配置为接收作为静止图像的检索图像的输入。例如，检索图像是用户任意选择的图像，并且被输入来用于从输入自内容输入单元21的内容之中检索出与该检索图像相似的图像。
检索单元27利用预定的方法将图像特征量提取单元23提取的检索图像的图像特征量和存储在图像特征量数据库25中的图像特征量相比较。从而，检索图像的图像特征量与存储在图像特征量数据库25中的构成内容的一帧量的每个静止图像的图像特征量之间的相似度被计算为数值。
例如，检索单元27确定分别具有如下图像特征量的静止图像并将这些静止图像的帧号码等等提供给输出单元28：该图像特征量与检索图像的图像特征量的相似度的值为预定阈值以上。
输出单元28被配置为从元数据数据库24中读取内容的元数据并且生成执行内容的时间线显示所需的显示数据。
另外，输出单元28从元数据数据库24中读取内容的元数据并且基于从检索单元27提供来的静止图像的帧号码和所读取的元数据来生成用于执行检索结果的时间线显示的显示数据。
这里，从输出单元28输出的显示数据被提供到显示器(未示出)等等并如后文所述被作为图像显示。
接下来，将对利用内容处理装置10进行的内容的时间线显示的示例进行描述。
图2是示出基于从输出单元28输出的显示数据在显示器(未示出)等等上显示的画面的示例的视图。
图2中所示的画面包括运动图像显示单元51。从内容输入单元21输入的内容的图像作为运动图像被显示在运动图像显示单元51处。
另外，图2中所示的画面包括代表图像显示单元52。从元数据数据库24读取的元数据中包括的代表图像作为静止图像被显示在代表图像显示单元52处。在此示例中，示出9(＝3乘3)个代表图像。
另外，图2中所示的画面包括时间线显示单元53。内容在时间线显示单元53处被显示在时间线上，使得图中的水平方向对应于内容的时间轴。也就是说，以时间线显示单元53的左端对应于内容的开始时刻并且时间线显示单元53的右端对应于内容的结束时刻，来对应于时间轴显示内容。
这里，内容时间线显示指的是显示特定的内容，以使得用户可从视觉上认识到内容的时间长度和内容的内部场景、帧等等的时间位置。这里，例如，内容时间线显示指的是以某种方法显示内容，但不是将内容显示为再现的运动图像之类的。例如，时间线显示中的内容的显示指的是象征着内容或内容的构成部分的图形、波形、标记等等被与时间轴相关联地显不。
时间线显示单元53包括场景显示区域71。内容的每个场景作为具有与每个场景的时间长度相对应的宽度(长度)的矩形被显示在场景显示区域71处。也就是说，在场景显示区域71处显示八个矩形，使得内容被认识为由八个场景构成。基于从元数据数据库24读取的元数据中包括的场景变化点的信息确定每个场景的开始点和结束点，从而显示场景显示区域71的矩形。
虽然为了方便在图中全都被显示为白色矩形，但在场景显示区域71处所示的各个矩形例如是分别以每个场景的代表色显示的。场景的代表色例如被确定为与场景中存在的整个帧的像素值中的最大像素值相对应的颜色，等等。这里，也可利用除上述以外的方法来确定场景的代表色。简言之，只需要将适合于场景的印象的颜色设定为代表色即可。
在图中场景显示区域71的上方分别显示代表图像。也就是说，在代表图像显示单元52处显示的九个代表图像被显示在分别与内容中的帧号码相对应的位置处。
也就是说，在代表图像显示单元52的第一行第一列处显示的代表图像是内容的第一场景中包括的帧的图像并且在场景显示区域71上方被显示为缩略图72-1。这里，对于缩略图72-1，朝着图中的场景显示区域71的最左侧矩形提供了指示帧位置的虚线。
这里，由于从图中的缩略图72-1的左端部和右端部朝着图中的场景显示区域71的最左侧矩形的上部中央稍左的一点描绘了虚线，因此指示了缩略图72-1的帧的时间位置。也就是说，指示出在代表图像显示单元52的第一行第一列处显示的代表图像是与时间轴上的图中场景显示区域71的最左侧矩形的中央稍左的一点相对应的帧的图像。这样，用户可容易地认识到内容中的代表图像的时间位置。
这里，只要能够指示每个缩略图的代表图像的帧的位置，就也可以用另一种方法来显示。简言之，只需要缩略图被显示为与时间线上显示的内容相关联以使得能够认识到内容中的代表图像的时间位置即可。
另外，还可以基于代表图像帧的数据生成每个缩略图或者将缩略图作为预先生成的包括在元数据中。
缩略图72-2被认识为指示在代表图像显示单元52的第二行第三列处显示的代表图像并且是内容的第二场景中包括的帧的图像。
缩略图72-3被认识为指示在代表图像显示单元52的第三行第三列处显示的代表图像并且是内容的第三场景中包括的帧的图像。
类似地，缩略图72-4至72-9被显示并且分别指示在代表图像显示单元52处显示的九个代表图像的缩略图被显示在场景显示区域71的上方。
这里，例如，各个缩略图被显示为交互重叠。例如，缩略图72-1与缩略图72-2重叠并且图像的一部分被隐藏。在缩略图被显示为重叠的情况下，例如，重叠在上的缩略图被以50％的透明度显示，以使得重叠在下的缩略图透过其可见。
另外，例如，图2中所示的按钮81至83是作为GUI的成分构成的。例如，由于按钮83被操作，缩略图72-1至72-9将被分别显示在场景显示区域71的上方。也就是说，图2中所示的画面最初是在不显示缩略图72-1至72-9的状态中显示的，并且当按钮83被操作时缩略图72-1至72-9将被分别显示在场景显示区域71的上方。
按钮81是用于作为内容的再现在运动图像显示单元51处显示运动图像的按钮。按钮82是用于停止内容的再现的按钮。
在利用按钮81再现内容的情况下，滑块91被配置为在时间线显示单元53处指示当前再现的帧的位置。
图3是示出随着内容通过对按钮81的操作被再现，在图2中所示的画面处经过了预定时间后的画面的示例的视图。
例如，滑块91由被显示为重叠在场景显示区域71处的红色矩形框表示，并且被显示为具有随着时间而增大的在图中的水平方向上的长度。滑块91的右端部指示内容的当前再现位置。如图3中所示，由于在再现内容之后经过特定的时间，滑块91的右端部向场景显示区域71上的右侧移动。
图4是示出在从图3中所示的状态进一步经过了时间之后的画面的示例的视图。如图中所示，滑块91的右端部随着时间进一步向场景显示区域71上的右侧移动并且与对应于缩略图72-4的代表图像的帧的位置匹配。缩略图72-4指示在代表图像显示单元52的第二行第一列处显示的代表图像并且在图4中的运动图像显示单元51处显示的图像与在代表图像显示单元52的第二行第一列处显示的代表图像匹配。
此时，缩略图72-4被显示为放大以具有比其他缩略图更大的显示面积。另外，此时，缩略图72-4被显示为重叠在缩略图72-3和缩略图72-5上，透明度为0％。也就是说，执行显示以使得透过其不可见到缩略图72-3和缩略图72-5。
这样，当再现位置(滑块91的右端部)与代表图像的帧匹配时，指示代表图像的缩略图被突出显示。这里，对缩略图由于被显示为具有放大的显示面积并且以0％的透明度重叠在上而被突出显示的示例进行描述。然而，也可以利用另外的方法来改变缩略图的显示状态。
这样，根据本发明，内容的细节能够被可理解地显示在时间线上。由于内容的各个场景和指示代表图像的缩略图在时间线显示单元53处被沿着时间轴显示，所以用户在再现该内容的情况下可预先认识到在什么定时可看到何种场景。
另外，由于在再现内容的情况下在滑块91的右端部的位置移动的同时在时间线显示单元53中顺次突出显示各个缩略图，所以例如用户可以关注着代表图像来评估内容编辑的质量。
接下来，将参考图5的流程图描述由图1的内容处理装置10进行的内容显示处理的示例。
在步骤S21中，内容输入单元21接收内容的数据的输入。
在步骤S22中，元数据提取单元22分析从内容输入单元21提供来的内容的数据并从内容中提取元数据。这里，例如，关于场景变化点的信息、与执行时间线显示所需的时间相关的信息、代表图像的信息等等被提取作为元数据。
这里，元数据中包括的内容的代表图像是利用预先确定的方法提取的。诸如代表图像的数据和与代表图像相对应的帧的帧号码之类的信息也被元数据提取单元提取。
在步骤S23中，元数据数据库24存储在步骤S22的处理中提取的元数据。
在步骤S24中，输出单元28从元数据数据库24中读取内容的元数据并生成在时间线上显示内容所需的显示数据。通过上述步骤，显示如上文参考图2所述的画面。这里，如上所述，图2中所示的画面最初是在不显示缩略图72-1至72-9的状态中显示的。
在步骤S25中，输出单元28判定是否指令了缩略图显示并且等待直到判定指令了缩略图显示为止。
例如，在图2的按钮83被操作的情况下，则在步骤S25中判定指令了缩略图显示，并且处理前进到步骤S26。
在步骤S26中，输出单元28生成在与步骤S24中生成的显示数据相对应的画面上显示缩略图所需的显示数据。从而，例如，缩略图72-1至72-9被分别显示在场景显示区域71的上方。
这样，执行了内容显示处理。
随后，为了对应于对画面上GUI的操作来显示图3和图4中所示的画面，输出单元28生成用于适当地显示这些画面的显示数据。
接下来，将描述利用内容处理装置10进行的图像检索。
如上所述，检索图像输入单元26被配置为接收作为静止图像的检索图像的输入。例如，作为由用户任意选择的图像的检索图像被输入以用于检索从内容输入单元21输入的内容之中的与检索图像相似的图像。
例如，图6示出了在上文参考图2至图4描述的画面处执行检索的情况的示例。该图示出了从与图2至图4中的内容相同的内容来检索出检索图像的示例。
在图6的画面上，布置了检索图像显示区域54，并且经由检索图像输入单元26输入的作为检索图像的图像101至103被显示在检索图像显示区域54处。在此示例中，从在代表图像显示单元52处显示的九个代表图像之中选择三个代表图像作为检索图像。
也就是说，图像101是在代表图像显示单元52处显示的图像之中的在第二行第二列显示的图像。图像102是在代表图像显示单元52处显示的图像之中的在第一行第三列显示的图像。图像103是在代表图像显示单元52处显示的图像之中的在第一行第一列显示的图像。
当在此状态中按钮84被操作时，分别与检索图像显示区域54处显示的图像具有高相似度的图像被从内容中检索出。
图7是示出当在图6中所示的画面处按钮84被操作时显示检索结果的画面的示例的视图。
如图7中所示，在检索图像显示区域54处显示的图像101至103的外框(显示框)是以预定的颜色显示的。这里，在图中利用阴影图案的差异来显示预定的颜色。例如，图像101的外框被显示为蓝色，图像102的外框被显示为绿色，并且图像103的外框被显示为红色。
另外，在图7的示例中，指示分别与图像101至103相似的图像的帧的位置的颜色条被显示为与场景显示区域71处的对应于各个场景的矩形相重叠。这里，图7中显示的各个颜色条指示多个帧位置，是在图中的水平方向上具有特定宽度的条。也就是说，在在运动图像内容中检索静止图像的情况下，一般会连续检测到具有高相似度的多个图像。从而，当对分别具有高相似度的帧位置着色时，将显示颜色条。
在图中，颜色条111-1至111-4指示分别与图像101具有高相似度的帧的位置并且被形成为具有与图像101的外框的颜色相同的颜色(例如蓝色)的颜色条。另外，颜色条112-1至112-3指示分别与图像102具有高相似度的帧的位置并且被形成为具有与图像102的外框的颜色相同的颜色(例如绿色)的颜色条。此外，颜色条113-1至113-3指示分别与图像103具有高相似度的帧的位置并且被形成为具有与图像103的外框的颜色相同的颜色(例如红色)的颜色条。
这样，用户可立即认识到在内容中的何处存在显示了目标图像(检索图像)的部分以及该部分有多长。另外，可以立即认识到在内容中显示多个图像(例如图像101至103)的各个部分是如何组合的。
例如，在图7的示例中，图像101至103是导弹的图像。图像101、图像102和图像103分别是导弹发射前、导弹发射时和导弹发射后的图像。例如，在诸如新闻节目之类的内容中报道关于导弹的情况下，发射前、发射时、发射后的导弹的图像在许多情况下被重复显示。
根据图7中所示的检索结果，认识到在内容中的大概四个位置处包括显示导弹图像的部分。
作为第一场景的第一位置是与场景显示区域71的最左侧矩形相对应的场景。也就是说，由于发射前、发射时和发射后的导弹的图像被显示在与颜色条111-1、颜色条112-1和颜色条113-1相对应的部分，所以认识到在此位置显示了导弹图像。
作为第五场景的第二位置是与场景显示区域71的左侧起第五个矩形相对应的场景。也就是说，由于发射前、发射时和发射后的导弹的图像被显示在与颜色条111-2、颜色条112-2和颜色条113-2相对应的部分，所以认识到在此位置显示了导弹图像。
作为第七场景的第三位置是与场景显示区域71的左侧起第七个矩形相对应的场景。也就是说，由于发射前的导弹的图像被显示在与颜色条111-3相对应的部分，所以认识到在此位置显示了导弹图像。
作为第八场景的第四位置是与场景显示区域71的左侧起第八个矩形相对应的场景。也就是说，由于发射前、发射时和发射后的导弹的图像被显示在与颜色条111-4、颜色条112-3和颜色条113-3相对应的部分，所以认识到在此位置显示了导弹图像。
也就是说，认识到在内容中包括四个导弹相关场景。其中，认识到仅在第七场景中，与其他场景不同，只显示了发射前的图像。另外，在第一场景中，与其他场景不同，发射后的图像被显示得较长。
如上所述，根据利用本发明的内容处理装置10的检索结果，用户可立即认识到内容的细节，并且例如还可评估内容的编辑者的编辑方法。
这里，与上述情况类似，可以也在图6和图7中所示的画面上在运动图像显示单元51处显示运动图像作为对内容的再现。
这里，描述了对与图2至图4的画面相同的画面执行检索的情况。然而，也可以显示另一画面用于执行图像检索。简言之，只需要显示具有图7中的检索图像显示区域54和时间线显示单元53的画面即可。
利用图7，描述了对于一个内容执行图像检索的示例。然而，也可以对于多个内容执行图像检索。
图8是示出在对多个内容执行图像检索的情况下利用图1的内容处理装置10的输出单元28生成的显示数据显示的画面的示例的视图。
这里，在对多个内容执行图像检索的情况下，图1的内容输入单元21预先接收多个内容的输入，并且对各个内容执行元数据的提取和图像特征量的提取。另外，在对多个内容执行图像检索的情况下，例如可以基于内容标识信息读取存储在元数据数据库24中的元数据和存储在图像特征量数据库中的图像特征量。
在图8的画面上布置了运动图像显示单元151、时间线显示单元153和检索图像显示区域154。在图8的示例中，在时间线显示单元153处的时间线中显示了七个内容。
时间线显示单元153包括与作为检索对象的内容的数目相对应的场景显示区域。在此示例中，时间线显示单元153包括场景显示区域171-1至171-7。
每个内容的每个场景在场景显示区域171-1至171-7的每一个处被显示为具有与每个场景的时间长度相对应的宽度(长度)的矩形。例如，在场景显示区域171-1处显示了三个矩形，并且认识到该内容由三个场景构成。这里，基于从元数据数据库24读取的元数据中包括的场景变化点的信息确定每个场景的开始点和结束点，以便显示场景显示区域171-1至171-7的矩形。
在场景显示区域171-1至171-7处指示的各个矩形例如将被以每个场景的代表色来显示(在图中为了方便全都显示为白色)。场景的代表色例如被确定为与场景中存在的整个帧的像素值中的最大像素值相对应的颜色等等。这里，也可利用除上述以外的方法来确定场景的代表色。简言之，只需要将适合于场景的印象的颜色设定为代表色即可。
另外，在时间线显示单元153中，在场景显示区域171-1至171-7的图中的左侧分别布置了静止图像显示区域175-1至175-7。在静止图像显示区域175-1至175-7处要显示的每个图像例如是每个内容的开头帧的图像、预定的代表图像等等。另外，图中在静止图像显示区域175-1至175-7处显示的图像的上方描述的文本串例如指示各个内容的标识信息。
作为由用户从在时间线显示单元153处的时间线中显示的内容中选择的内容的再现获得的运动图像被显示在运动图像显示单元151处。
由检索图像输入单元26接收的输入的检索图像将被显示在检索图像显示区域154处。这里，在图8的示例中，检索图像尚未被输入，并且检索图像未被显示在检索图像显示区域154处。例如，作为由用户任意选择的图像的检索图像被输入，以用于检索在时间线显示单元153处的时间线中显示的内容之中与检索图像相似的图像。
当在此状态中检索图像被输入并且作为GUI的成分构成的按钮184被操作时，分别与在检索图像显示区域154处显示的图像具有高相似度的图像被从内容之中检索出。
图9是示出当在图8中所示的画面上图像201至203作为检索图像被输入并且按钮184被操作之后显示检索结果的画面的示例的视图。
如图9中所示，在检索图像显示区域154处显示的图像201至203的外框是以预定的颜色显示的。在图中，利用阴影图案的差异来显示预定的颜色。
另外，在图9的示例中，指示分别与图像201至203相似的图像的帧的位置的颜色条被显示为与场景显示区域171-1至171-7处的对应于各个场景的矩形相重叠。这里，与上文参考图7所述的情况类似，图9中显示的各个颜色条指示多个帧位置，是在图中的水平方向上具有特定宽度的条。也就是说，在在运动图像内容中检索静止图像的情况下，一般会连续检测到具有高相似度的多个图像。从而，当对分别具有高相似度的帧位置着色时，将显示颜色条。
在图中，颜色条211指示与图像201具有高相似度的帧的位置并且被形成为具有与图像201的外框的颜色相同的颜色(例如蓝色)的颜色条。另外，颜色条212指示与图像202具有高相似度的帧的位置并且被形成为具有与图像202的外框的颜色相同的颜色(例如绿色)的颜色条。此外，颜色条213指示与图像203具有高相似度的帧的位置并且被形成为具有与图像203的外框的颜色相同的颜色(例如红色)的颜色条。
这里，在图9的示例中，虽然只对场景显示区域171-1处显示的颜色条提供了标号，但在场景显示区域171-2至171-7处也显示了颜色条。也就是说，在图9的示例中，对于多个内容(在此示例中是七个)中的每一个可以获得与参考图7所述的情况类似的检索结果。
这样，用户可立即认识到在多个内容中的何处存在显示了目标图像(检索图像)的部分以及该部分有多长。另外，可以立即认识到在内容中显示多个图像(例如图像101至103)的各个部分是如何组合的。然后，也可以例如通过在单个画面上显示检索结果来比较各个内容的编辑细节。
另外，如上所述，作为由用户从在时间线显示单元153处的时间线中显示的内容中选择的内容的再现获得的运动图像被显示在运动图像显示单元151处。图10是示出在运动图像被显示在运动图像显示单元151处的情况下的画面的示例的视图。在图10的示例中，用户利用点选设备(未示出)等等选择场景显示区域171-3，并且在操作按钮181时再现内容。
这里，作为GUI的成分构成的按钮181是用于作为内容的再现在运动图像显示单元151处显示运动图像的按钮。按钮182是用于停止内容的再现的按钮。另外，在该图的示例中，由于场景显示区域171-3被选择，场景显示区域171-3的外围被突出显示。在此示例中，突出显示是通过用虚线示出场景显示区域171-3的外围来指示的。
另外，在利用按钮181再现内容的情况下，滑块被配置为在时间线显示单元153处指示当前再现的帧的位置。在该图的示例中，由于再现了场景显示区域171-3的内容，所以显示滑块191-3。
例如，滑块191-3由被显示为重叠在场景显示区域171-3处的红色矩形框表示，并且被显示为具有随着时间而增大的在图中的水平方向上的长度。滑块191-3的右端部指示内容的当前再现位置。由于在再现内容之后经过特定的时间，滑块191-3的右端部向场景显示区域171-3上的右侧移动。
这里，在图10的示例中，由于再现了场景显示区域171-3的内容，所以显示滑块191-3。当再现另外的内容时，将在该内容的场景显示区域上显示滑块。
这样，也可以在显示检索结果的同时作为内容的再现显示运动图像。
接下来，将参考图11的流程图描述由图1的内容处理装置10进行的检索结果显示处理的示例。这里，在此处理之前，内容输入单元21预先接收对一个或多个内容的输入，并且对各个内容执行元数据的提取和图像特征量的提取。
在步骤S51中，检索图像输入单元26接收检索图像的输入。这里，例如，检索图像是用户任意选择的图像(静止图像)，并且被输入来用于检索从内容输入单元21输入的内容之中与该检索图像相似的图像。此时，例如，图6的图像101至103被输入作为检索图像。
在步骤S52中，图像特征量提取单元23分析在步骤S51中输入的检索图像。
在步骤S53中，图像特征量提取单元23提取作为步骤S51的处理的结果的检索图像的图像特征量。
在步骤S54中，检索单元27利用预定的方法将在步骤S53的处理中图像特征量提取单元23提取的检索图像的图像特征量与存储在图像特征量数据库25中的图像特征量相比较。从而，检索图像的图像特征量与存储在图像特征量数据库25中的构成内容的一帧量的每个静止图像的图像特征量之间的相似度被计算为数值。
在步骤S55中，例如，检索单元27确定与检索图像的图像特征量的相似度的值在预定阈值以上的静止图像的帧。
在步骤S56中，检索单元27将检索结果通知给输出单元28。此时，作为步骤S55的处理的结果确定的静止图像的帧号码等等被提供给输出单元28。
在步骤S57中，输出单元28从元数据数据库24中读取内容的元数据并且基于在步骤S56的处理中提供的静止图像的帧号码和所读取的元数据来生成在时间线上显示检索结果所需的显示数据。从而，例如，显示如上文参考图7或图9所述的画面。
随后，输出单元28根据对画面上的GUI的操作等等，适当地生成显示数据。
这样，执行了检索结果显示处理。
由于参考作为上述检索结果显示处理的结果获得的画面，可以立即认识到在内容中的何处存在显示了目标图像(检索图像)的部分以及该部分有多长。与此同时，由于参考作为上述检索结果显示处理的结果获得的画面，可以检测到内容中预定事件的发生。
例如，由于检索出多个检索图像并且识别出与检索图像相似的帧的检测顺序，所以可以大概认识到在内容的哪个部分发生什么事件。
与参考图7的上述画面类似，图12是示出显示对于某个内容检索出检索图像的结果的画面的示例的视图。在此示例中，棒球广播节目的内容被检索并显示在时间线上。
在图12的示例中，在检索图像显示区域54处显示图像104和105。在此示例中，从在代表图像显示单元52处显示的九个代表图像之中选择两个代表图像作为检索图像。
另外，在检索图像显示区域54处显示的图像104和105的外框是以预定的颜色显示的。例如，图像104的外框被显示为蓝色，并且图像105的外框被显示为绿色。这里，在图中利用阴影图案的差异来指示预定的颜色。
另外，在该图的示例中，指示分别与图像104和105相似的图像的帧的位置的颜色条被显示为与场景显示区域71处的对应于各个场景的矩形重叠。这里，图12中所示的颜色条被形成为分别具有与图像104的外框的颜色或者图像105的外框的颜色相同的颜色的颜色条。
在图12的示例中，图像104是投手投球的图像，并且图像105是外场手奔跑(跳向球)的图像。从而，在场景显示区域71中的显示了指示与图像104相似的图像的帧的颜色条和在其右侧的指示与图像105相似的图像的帧的颜色条的位置处，认识到被击打的球飞向外场。
例如，如果除了图像104和105以外还检索到一垒的跑垒者的图像106并且找到与图像104、105和106相似的图像的颜色条按顺序出现的位置，则认识到在该位置处击球手击出了一垒安打。
例如，如果除了图像104和105以外还检索到二垒的跑垒者的图像107并且找到与图像104、105和107相似的图像的颜色条按顺序出现的位置，则认识到在该位置处击球手击出了二垒安打。
此时，例如由于参考在场景显示区域71处显示的各个矩形(各个场景)和在其上方显示的缩略图，可以更容易地认识到内容的细节。
这样，通过组合投球、守备和跑垒的图像作为检索图像，可以容易地找到在内容中何处发生一垒安打以及在何处发生二垒安打。也就是说，由于以适当的组合检索多个检索图像并且识别出与检索图像相似的帧的检测时间位置和检测顺序，可以认识到在内容的哪个部分发生什么事件。
如上所述，根据本发明，可以执行现有技术不能支持的内容细节的可视化显示。从而，可以更容易地认识到运动图像的内容细节。
另外，由于以适当的组合检索多个检索图像并且显示与检索图像相似的帧，所以例如可以预先评估广播前的节目的内容。
例如，以下是节目赞助商A的商品a、节目赞助商B的商品b和节目赞助商C的商品c的图像不可避免地需要被包括在内容中的情况。在这种情况下，通过检索商品a至c的图像并且比较与检索图像相似的帧的颜色条的长度，可以校正节目赞助商A至C之间的不平衡。另外，在节目赞助商A至C的出资额之间存在差异的情况下，通过检索商品a至c的图像并且比较与检索图像相似的帧的颜色条的长度和顺序，可以将节目赞助商的意向适当地反映到内容中。
如上所述，根据本发明，能够执行现有技术不能支持的内容细节的比较。从而，可以更容易地认识到运动图像的内容细节。
以上，由内容处理装置10在显示画面上以图中的水平方向与时间轴相关联在时间线上显示内容。然而，也可能以图中的垂直方向与时间轴相关联在时间线上显示内容。
这里，上述一系列处理可利用硬件来执行或者可利用软件来执行。在利用软件执行上述一系列处理的情况下，构成软件的程序被从网络或记录介质安装到组装在专用硬件中的计算机。另外，由于安装多种程序，从网络或记录介质向例如如图13中所示的能够执行各种功能的通用个人计算机700执行安装。
在图13中，中央处理单元(CPU)701根据存储在只读存储器(ROM)702中的程序或从存储单元708加载到随机访问存储器(RAM)703的程序来执行多种处理。另外，CPU 701执行多种处理所必要的数据等等被适当地存储在RAM 703中。
CPU 701、ROM 702和RAM 703经由总线704相互连接。输入/输出接口705也连接到总线704。
包括键盘、鼠标等等的输入单元706和包括诸如液晶显示器(LCD)之类的显示器、扬声器等等的输出单元707连接到输入/输出接口705。另外，包括硬盘等等的存储单元708、包括诸如调制解调器和LAN卡之类的网络接口卡的通信单元709等等连接到输入/输出接口705。通信单元709经由包括因特网在内的网络执行通信处理。
另外，驱动器710根据需要连接到输入/输出接口705，并且诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质711适当地安附于驱动器710。然后，从可移除介质读取的计算机程序根据需要被安装到存储单元708。
在利用软件执行上述一系列处理的情况下，构成软件的程序是从诸如因特网之类的网络和诸如可移除介质711之类的记录介质安装的。
这里，除了利用图13中所示的与装置主体分开、被配送来交付程序给用户的记录了程序的包括磁盘(包括软盘(注册商标))、光盘(包括致密盘-只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光盘(包括袖珍盘(MD)(注册商标))或半导体存储器在内的可移除介质711构成的介质以外，记录介质还包括在预先组装到装置主体的状态中交付给用户的记录程序的ROM 702和利用设在存储单元708中的硬盘构成的介质。
这里，除了按所述顺序顺次执行的处理以外，本申请中的上述一系列处理还包括并行或分开执行而不一定顺次执行的处理。
另外，不限于上述实施例，在不脱离本发明的范围的情况下可对本发明的实施例进行各种修改。
标号列表
10  内容处理装置
21  内容输入单元
22  元数据提取单元
23  图像特征量提取单元
24  元数据数据库
25  图像特征量数据库
26  检索图像输入单元
27  检索单元
28  输出单元

Claims (8)

1.一种内容检索装置，包括：
检索图像输入装置，该检索图像输入装置接收作为静止图像的多个检索图像的输入；
图像特征量提取装置，该图像特征量提取装置利用预定方法提取所述多个检索图像中的每一个的图像特征量；
相似度计算装置，该相似度计算装置针对运动图像的内容来计算预先从构成该内容的帧的静止图像中提取的图像特征量与每个所述检索图像的图像特征量之间的相似度；
确定装置，该确定装置通过将计算出的相似度与预定阈值相比较来确定与每个所述检索图像相似的所述静止图像的帧；以及
时间线显示装置，该时间线显示装置基于所确定的帧和预先从所述内容中提取的元数据，来生成显示数据，该显示数据用于通过将所述内容连同指示与每个所述检索图像相似的静止图像的帧的时间位置的信息显示在时间轴上来执行时间线显示。
2.根据权利要求1所述的内容检索装置，
其中，所述时间线显示装置生成用于显示如下画面的显示数据，所述画面具有显示所述多个检索图像的列表的检索图像显示单元和在时间线上显示所述内容的时间线显示单元，
所述多个检索图像在分别被相互不同颜色的显示框围绕的同时被显示在所述检索图像显示单元中，并且
指示与每个所述检索图像相似的静止图像的帧的时间位置的信息作为具有与所述显示框的颜色相同的颜色的颜色条被显示在所述时间线显示单元中。
3.根据权利要求2所述的内容检索装置，
其中，所述时间线显示装置利用所述时间线显示来在单个画面上的所述时间线显示单元中显示多个内容中的每一个，并且
对于所述多个内容中的每一个指示与每个所述检索图像相似的静止图像的帧的时间位置的信息被显示为具有与所述显示框的颜色相同的颜色的颜色条。
4.根据权利要求3所述的内容检索装置，
其中，所述时间线显示装置生成用于显示如下画面的显示数据，该画面还具有在利用所述时间线显示来显示的内容的再现被指令的情况下显示通过再现所述内容而获得的运动图像的运动图像显示单元。
5.根据权利要求1所述的内容检索装置，
其中，所述时间线显示装置基于所述元数据中包括的所述内容的场景变化点的信息来确定构成所述内容的场景，并且以画面的水平或垂直方向为时间轴、以指示各个场景的图形在与场景的时间长度相关联的同时被显示的方式来将所述内容显示在时间线上。
6.根据权利要求5所述的内容检索装置，
其中，所述时间线显示装置在指示场景的图形被分别以利用预定方法确定的场景的代表色来显示的同时，来将所述内容显示在时间线上。
7.一种内容检索方法，包括以下步骤：
利用检索图像输入装置接收作为静止图像的多个检索图像的输入；
利用图像特征量提取装置利用预定方法提取所述多个检索图像中的每一个的图像特征量；
利用相似度计算装置针对运动图像的内容来计算预先从构成该内容的帧的静止图像中提取的图像特征量与每个所述检索图像的图像特征量之间的相似度；
利用确定装置通过将计算出的相似度与预定阈值相比较来确定与每个所述检索图像相似的所述静止图像的帧；以及
利用时间线显示装置基于所确定的帧和预先从所述内容中提取的元数据来生成显示数据，该显示数据用于通过将所述内容连同指示与每个所述检索图像相似的静止图像的帧的时间位置的信息显示在时间轴上来执行时间线显示。
8.一种程序，用于使得计算机具有作为内容检索装置的功能，该装置包括：
检索图像输入装置，该检索图像输入装置接收作为静止图像的多个检索图像的输入；
图像特征量提取装置，该图像特征量提取装置利用预定方法提取所述多个检索图像中的每一个的图像特征量；
相似度计算装置，该相似度计算装置针对运动图像的内容来计算预先从构成该内容的帧的静止图像中提取的图像特征量与每个所述检索图像的图像特征量之间的相似度；
确定装置，该确定装置通过将计算出的相似度与预定阈值相比较来确定与每个所述检索图像相似的所述静止图像的帧；以及
时间线显示装置，该时间线显示装置基于所确定的帧和预先从所述内容中提取的元数据，来生成显示数据，该显示数据用于通过将所述内容连同指示与每个所述检索图像相似的静止图像的帧的时间位置的信息显示在时间轴上来执行时间线显示。
CN2011800173185A 2010-04-09 2011-03-30 内容检索的装置和方法及程序 Pending CN102822827A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-090610 2010-04-09
JP2010090610A JP5471749B2 (ja) 2010-04-09 2010-04-09 コンテンツ検索装置および方法、並びにプログラム
PCT/JP2011/058022 WO2011125744A1 (ja) 2010-04-09 2011-03-30 コンテンツ検索装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN102822827A true CN102822827A (zh) 2012-12-12

Family

ID=44762686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800173185A Pending CN102822827A (zh) 2010-04-09 2011-03-30 内容检索的装置和方法及程序

Country Status (6)

Country Link
US (1) US8971633B2 (zh)
EP (1) EP2560379A4 (zh)
JP (1) JP5471749B2 (zh)
KR (1) KR20130045251A (zh)
CN (1) CN102822827A (zh)
WO (1) WO2011125744A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112182276A (zh) * 2020-10-12 2021-01-05 云南财经大学 基于图像内容和元数据的天文海量观测数据混合检索方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959551B (zh) * 2011-04-25 2017-02-08 松下电器（美国）知识产权公司 图像处理装置
US9762967B2 (en) 2011-06-14 2017-09-12 Comcast Cable Communications, Llc System and method for presenting content with time based metadata
US20130191745A1 (en) * 2012-01-10 2013-07-25 Zane Vella Interface for displaying supplemental dynamic timeline content
KR102184987B1 (ko) 2013-11-15 2020-12-01 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
US9794599B2 (en) * 2014-04-10 2017-10-17 Telibrahma Convergent Communications Private Limited Method and system for auditing multimedia content
KR102373460B1 (ko) * 2014-09-15 2022-03-11 삼성전자주식회사 디바이스에 객체를 표시하는 방법 및 그 디바이스
JP5818050B1 (ja) * 2015-01-28 2015-11-18 ビックリック株式会社 ステータス判定システム
JP2017016275A (ja) * 2015-06-29 2017-01-19 ヤマハ株式会社 制御方法
US9906820B2 (en) * 2015-07-06 2018-02-27 Korea Advanced Institute Of Science And Technology Method and system for providing video content based on image
US10318573B2 (en) 2016-06-22 2019-06-11 Oath Inc. Generic card feature extraction based on card rendering as an image
JP2018125702A (ja) * 2017-02-01 2018-08-09 富士ゼロックス株式会社 映像制御システム及びプログラム
KR20210108691A (ko) * 2020-02-26 2021-09-03 한화테크윈 주식회사 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
JP7428855B2 (ja) * 2020-03-17 2024-02-07 Ｌｉｎｅヤフー株式会社 動画解析システム、動画解析装置、動画解析方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537528A (en) * 1992-05-28 1996-07-16 International Business Machines Corporation System and method for inputting scene information
US20070237360A1 (en) * 2006-04-06 2007-10-11 Atsushi Irie Moving image editing apparatus
US20090083814A1 (en) * 2007-09-25 2009-03-26 Kabushiki Kaisha Toshiba Apparatus and method for outputting video Imagrs, and purchasing system

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3235917B2 (ja) 1993-08-23 2001-12-04 株式会社リコー 画像記録再生装置
JP3838805B2 (ja) * 1999-03-02 2006-10-25 株式会社日立国際電気 画像検出方法
JP3683462B2 (ja) 2000-02-21 2005-08-17 シャープ株式会社 動画表示装置
GB2395852B (en) * 2002-11-29 2006-04-19 Sony Uk Ltd Media handling system
AU2003284413A1 (en) * 2003-11-19 2005-06-08 National Institute Of Information And Communications Technology, Independent Administrative Agency Method and device for presenting video content
JP2006039753A (ja) * 2004-07-23 2006-02-09 Canon Inc 画像処理装置、画像処理方法
JP2007052564A (ja) 2005-08-16 2007-03-01 Fuji Xerox Co Ltd 情報処理システムおよび情報処理方法
JP4397869B2 (ja) * 2005-09-14 2010-01-13 富士通マイクロエレクトロニクス株式会社 スミア補正方法及びスミア補正回路
JP2007323319A (ja) * 2006-05-31 2007-12-13 Nippon Telegr & Teleph Corp <Ntt> 類似検索処理方法及び装置及びプログラム
JP5034516B2 (ja) * 2007-01-26 2012-09-26 富士通モバイルコミュニケーションズ株式会社 ハイライトシーン検出装置
JP4356762B2 (ja) * 2007-04-12 2009-11-04 ソニー株式会社 情報提示装置及び情報提示方法、並びにコンピュータ・プログラム
US8850318B2 (en) * 2007-04-23 2014-09-30 Digital Fountain, Inc. Apparatus and method for low bandwidth play position previewing of video content
JP4909854B2 (ja) * 2007-09-27 2012-04-04 株式会社東芝 電子機器および表示処理方法
JP2009163644A (ja) * 2008-01-09 2009-07-23 Sony Corp 映像検索装置、編集装置、映像検索方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537528A (en) * 1992-05-28 1996-07-16 International Business Machines Corporation System and method for inputting scene information
US20070237360A1 (en) * 2006-04-06 2007-10-11 Atsushi Irie Moving image editing apparatus
US20090083814A1 (en) * 2007-09-25 2009-03-26 Kabushiki Kaisha Toshiba Apparatus and method for outputting video Imagrs, and purchasing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112182276A (zh) * 2020-10-12 2021-01-05 云南财经大学 基于图像内容和元数据的天文海量观测数据混合检索方法

Also Published As

Publication number Publication date
EP2560379A1 (en) 2013-02-20
KR20130045251A (ko) 2013-05-03
JP2011223327A (ja) 2011-11-04
JP5471749B2 (ja) 2014-04-16
US8971633B2 (en) 2015-03-03
US20130170753A1 (en) 2013-07-04
WO2011125744A1 (ja) 2011-10-13
EP2560379A4 (en) 2014-03-12

Similar Documents

Publication Publication Date Title
CN102822827A (zh) 内容检索的装置和方法及程序
CN102823265A (zh) 内容处理装置和方法及程序
Boreczky et al. An interactive comic book presentation for exploring video
US9594957B2 (en) Apparatus and method for identifying a still image contained in moving image contents
US11200425B2 (en) Method for providing key moments in multimedia content and electronic device thereof
US7487524B2 (en) Method and apparatus for presenting content of images
US20050257151A1 (en) Method and apparatus for identifying selected portions of a video stream
CN101431645B (zh) 节目录像再现装置以及节目录像再现方法
US8214854B2 (en) Method and system for facilitating analysis of audience ratings data for content
JP2014130536A (ja) 情報管理装置、サーバ及び制御方法
KR100763197B1 (ko) 컨텐츠 검색 방법 및 장치
JP2012048324A (ja) 情報処理装置、その処理方法及びプログラム
KR102151668B1 (ko) 하이라이트 추출 방법 및 하이라이트 추출 장치
JP3931890B2 (ja) 映像の検索方法および装置
Coimbra et al. The shape of the game
Li et al. Bridging the semantic gap in sports
Teixeira et al. News browsing system: multimodal analysis
JP2009290491A (ja) 番組録画装置
JP2008154154A (ja) 映像記録再生方法及び装置
JP2010171798A (ja) 映像処理装置および映像処理方法
JP2005092329A (ja) データベース情報抽出方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121212