CN105611382A - 产生概要内容的电子设备及其方法 - Google Patents

产生概要内容的电子设备及其方法 Download PDF

Info

Publication number
CN105611382A
CN105611382A CN201510779068.9A CN201510779068A CN105611382A CN 105611382 A CN105611382 A CN 105611382A CN 201510779068 A CN201510779068 A CN 201510779068A CN 105611382 A CN105611382 A CN 105611382A
Authority
CN
China
Prior art keywords
keyword
content
video
frame
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510779068.9A
Other languages
English (en)
Inventor
刘钟旭
申錤壎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105611382A publication Critical patent/CN105611382A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

这里公开了一种电子设备及其方法。所述电子设备包括：通信单元，接收内容和针对所述内容的附加信息；信号处理单元，对所述内容进行信号处理，并且确定经信号处理的内容作为音频信号和视频帧之一；以及处理器，通过使用所述附加信息来确定第一关键字和针对所述第一关键字的第二关键字，并且根据与对应于所述第一关键字和所述第二关键字的至少一个的多个音频信号区段同步的多个视频帧来产生概要内容。结果，能够容易地产生所述概要内容。

Description

产生概要内容的电子设备及其方法
相关申请的交叉引用
本申请要求2014年11月14日在韩国知识产权局递交的韩国专利申请No.10-2014-0159019的优先权，将其全部内容合并在此作为参考。
技术领域
根据本发明的设备和方法涉及用于产生概要内容的电子设备及其方法，更具体地，涉及用于自动地产生概要内容的电阻电子设备及其方法。
背景技术
随着电子技术的发展，使用具有各种功能的电子设备。电子设备可以接收和再现各种类型的内容。
关于内容，可以通过简化内容来提供用于获取观看者的兴趣的内容概要。用于准备内容概要的方法可以依赖于内容的类型而改变。例如在新闻的情况下，可以根据主题或关键字来准备概要，而在娱乐活动的情况下，概要可以配置为主要针对引起笑声的场景。在戏剧和电影的情况下，可以准备基于内容的概要以便在较短的时间内掌握所有内容。
具体地，在戏剧和电影的情况下，内容根据人物和情节来逐步展开，并且当准备内容概要时，需要具体地包括主要人物和主要情节。尽管从内容概要中排除了其他辅助场景，其他辅助场景的排除实质上并不会对于整个流发挥较大的影响。当基于人物和情节获得内容概要时，观看者可以通过内容概要来推断和鉴赏整体内容。
然而，为了准备内容概要，在现有技术中使用其中通过从始至终直接观看内容的人来选择和编辑主要场景的方法，存在要求较长时间的问题。
因此，需要找到一种可以更加方便且有效地产生内容概要的技术。
发明内容
本发明的示例性实施例克服了上述缺点和上文没有描述的其他缺点。同样，并不要求本发明克服上述缺点，并且本发明的示例性实施例可以不解决上述问题的任一个。
根据实施例，一种电子设备及其方法通过使用与内容相关的附加信息来自动地产生概要内容。
根据本发明的一个方面，一种电子设备包括：通信单元，接收内容和针对所述内容的附加信息；信号处理单元，执行所述内容的信号处理，并且确定经信号处理的内容作为音频信号和视频帧之一；以及处理器，通过使用所述附加信息来确定第一关键字和针对所述第一关键字的第二关键字，并且产生与所述第一关键字和所述第二关键字的至少一个相对应的多个音频信号区段同步的多个视频帧，以产生概要内容。
另外，所述附加信息包括对所述内容加以概述的情节信息，以及所述处理器可以检测在所述情节信息中包括的至少一个字作为所述第一关键字，从服务器检索所述第一关键字，并且确定与所述第一关键字相连续地检索到的关键字作为所述第二关键字。
所述处理器可以将所述内容划分为多个内容区段，将所述情节信息划分为多个情节区段以分别对应于所划分的多个内容区段，以及确定针对所述多个情节区段的第一关键字和第二关键字，并且针对与所述多个情节区段相对应的所述多个内容区段，确定对应的音频信号区段。
当在所述内容的特定区段中检测到与所述第一关键字和所述第二关键字的至少一个相对应的预定个数或者更多的音频信号区段时，所述处理器可以将所述特定区段的整体封装在所述概要内容中。
当作为所述多个视频帧之一的第一视频帧和作为所述多个视频帧的另一个的第二视频帧之间的时间差小于预定阈值时间时，所述处理器可以将所述第一视频帧和所述第二视频帧之间的所有视频帧封装在所述概要内容中。
所述处理器可以从所述第一关键字中排除在所述情节信息中包括相应字中以预定频率或更小频率使用的字。
所述附加信息可以包括所述内容的人物的图像。
所述处理器可以将所述多个视频帧中显示所述图像的视频帧添加至所述概要内容。
关于以预定频率或更小频率出现的人物，所述处理器可以通过针对整体内容中的每一个人物检验显示有所述图像的视频帧的频率，在排除显示所述人物的图像的视频帧的同时产生所述概要内容。
所述处理器可以根据元数据来检测所述第一关键字，并且确定与所述第一关键字相关的第二关键字。
所述电子设备还可以包括：显示单元，其中所述处理器控制将所述概要内容显示在提供内容列表的用户界面(UI)屏幕和提供内容概要信息的UI屏幕的至少一个上。
根据本发明的另一个方面，提出了一种通过电子设备产生概要信息的方法，所述方法包括：接收内容和与所述内容有关的附加信息；对所述内容进行信号处理，并且将经信号处理的内容分离为为音频信号和视频帧；通过使用所述附加信息确定第一关键字和针对所述第一关键字的第二关键字；以及通过收集与对应于所述第一关键字和所述第二关键字的至少一个的多个音频信号区段同步的多个视频帧来产生概要内容。
所述附加信息可以包括通过对所述内容加以概述而获取的情节信息；并且在确定所述第二关键字时，检测在所述情节信息中包括的每一个字作为所述第一关键字，在预定的服务器中检索所述第一关键字，以及确定与所述第一关键字相连续地检索到的关键字作为所述第二关键字。
在产生所述概要内容时，可以将所述内容划分为多个内容区段，可以将所述情节信息划分为在范围上分别与所述多个内容区段相对应的多个情节区段，可以针对所述多个情节区段的每一个确定所述第一关键字和所述第二关键字，并且可以针对与每一个情节区段相对应的每一个内容来发现与确定的关键字相对应的音频信号区段。
在产生所述概要内容时，当在所述内容的特定区段中检测到具有预定个数或者更多的与所述第一关键字和所述第二关键字的至少一个相对应的音频信号区段时，可以在所述概要内容中包括所述特定区段的整体。
在产生所述概要内容时，当作为所述多个视频帧之一的第一视频帧和作为所述多个视频帧的另一个的第二视频帧之间的时间差小于阈值时，可以在所述概要内容中包括所述第一视频帧和所述第二视频帧之间的所有视频帧。
在产生所述概要内容时，可以从所述第一关键字中排除在所述情节信息中包括的相应字中以预定频率或更小频率使用的字。
所述附加信息可以包括所述内容的人物的图像，并且在产生所述概要内容时，可以将所述多个视频帧中显示所述图像的视频帧添加至所述概要内容。
在产生所述概要内容时，可以关于以预定频率或更小频率出现的人物，通过针对整体内容中的每一个人物检验显示有图像的视频帧的频率，在排除显示有所述人物的图像的视频帧的同时产生所述概要内容。
在确定所述第二关键字时，可以根据元数据来检测所述第一关键字，并且可以确定与所述第一关键字相关的第二关键字。
所述方法还可以包括：将所述概要内容显示在提供内容列表的UI屏幕和提供内容概要信息的UI屏幕的至少一个上。
本发明的附加和/或其他方面和优点将部分地在以下描述中产生，并且部分地将根据所述描述而变得清楚，或者可以通过本发明的实践来学习。
附图说明
通过参考附图描述本发明某些示例性实施例，本发明的以上和/或其他方面将变得更加清楚明白，其中：
图1是示出了根据示例性实施例的电子设备的结构的方框图；
图2是描述了根据示例性实施例的用于确定关键字的方法的流程图；
图3是描述了根据示例性实施例的用于根据情节信息来确定相关关键字的方法的图；
图4是描述了根据示例性实施例的用于检测针对每一个区段的视频帧的方法的图；
图5是描述了根据示例性实施例的用于将特定区段的整体封装到概要内容中的方法的图；
图6是描述了根据示例性实施例的用于将附加的视频帧添加至多个视频帧的方法的图；
图7是描述了根据示例性实施例的用于确定基本关键字的方法的图；
图8是描述了根据示例性实施例的用于确定相关关键字的方法的图；
图9是描述了根据示例性实施例的进一步使用人物的图像的情况的图；
图10是描述了根据示例性实施例的通过反映相应人物的重要性而产生概要内容的图；
图11A、11B和11C是描述了根据不同的示例性实施例的用于显示概要内容的方法的图；
图12是描述了根据示例性示例的用于产生概要内容的方法的图；
图13是描述了根据示例性实施例的内容的附加信息的图；
图14是描述了根据示例性实施例的通过电子设备来产生概要内容的方法的流程图；
图15是描述了不同的示例性实施例的图；以及
图16是示出了根据另一个示例性实施例的电子设备的详细结构的方框图。
具体实施方式
可以将本发明实施例的示例性实施例进行不同地修改。因此，在附图中示出了特定的示例性实施例，并且在详细描述中详细地描述了特定的示例性实施例。然而应该理解的是本发明不局限于特定的示例性实施例，而是包括不脱离本发明的范围和精神的所有改进、等价和替换。同样，不会详细描述众所周知的功能或结构，因为它们会用不必要的细节混淆本发明。
现在将参考附图更加详细地描述本发明的一些示例性实施例。
在以下描述中，即使在不同的图中也使用相同的附图参考数字用于相同的部件。在描述中定义的事物(例如详细结构和元件)提供以辅助全面理解本发明。因此清楚的是可以在不包括那些具体定义的事物的情况下执行本发明的示例性实施例。同样，不会详细描述众所周知的功能或结构，因为它们会用不必要的细节混淆本发明。
下文中将参考附图详细地描述本发明。
图1是示出了根据示例性实施例的电子设备100的结构的方框图。如图1所示，电子设备100包括通信单元110、信号处理单元120和处理器130。
通信单元110执行与外部服务器的通信。尽管这里使用了外部服务器的示例，通信单元110不局限于与外部服务器通信。例如，通信单元110可以与用作从中检索信息的信息源的计算机系统或者任意其他电子设备通信。另外，所述信息源可以是通信单元110的数据库。通信单元110可以从外部服务器获得内容和针对所述内容的附加信息，并且当产生概要内容时，通信单元110可以将所产生的概要内容发送至外部服务器。可以同时地接收所述内容和所述内容的附加信息，但是不局限于此。例如，可以预先地接收和存储所述内容，并且随后当用户输入概要内容产生命令时，可以通过接收所述内容的附加信息来产所述概要内容。另外，可以通过广播提供商操作的内容服务器接收所述内容，并且可以从网络接收针对所述内容的附加信息。
通信单元110可以通过使用各种通信模式来执行与外部服务器的通信，所述通信模式包括以太网、无线LAN、Wi-Fi等，但是不会具体地局限于此。另外，通信单元110可以执行与除了外部服务器之外的其他电子设备的通信。
可以将信号处理单元120实现为信号处理电路，并且可以对通过通信单元110接收的内容进行信号处理以分离为音频信号和视频帧。
详细地，信号处理单元120可以包括解复用单元、音频解码器单元和视频解码器单元。
解复用单元要被重新产生的内容解复用为音频数据和视频数据的分离解复用内容。
音频解码器单元和视频解码器单元可以分别对通过解复用器单元分离的音频数据和视频数据进行解码。下文中，为了易于描述并且辅助理解本发明，将解码的音频数据描述为音频信号，并且将解码的视频数据描述为视频帧。
同时，上述内容除了音频信号和视频帧之外还可以包括元数据(例如文本信息)和EPG(电子节目指南)信息，所述元数据例如是文本信息。在这种情况下，信号处理单元120可以通过对接收的内容进行信号处理来分离在所述内容中包括的音频信号和视频帧以及元数据。
处理器130控制电子设备100的总体操作。
处理器130通过使用由通信单元110接收的内容的附加信息来确定所述基本关键字(第一关键字)和针对所述基本关键字的相关关键字(第二关键字)。例如，相关关键字可以是与基本关键字相关联的关键字。例如，相关关键字可以是与基本关键字的意思或字母形状相关联的关键字。另外，相关关键字可以是通过对服务器(例如专用服务器)中连续检索的关键字之间的关系进行分析而确定的关键字，，并且下面将描述详细内容。尽管使用连续的检索解释了在检索的关键字之间的关系，本发明不局限于此。例如，检索的关键字之间的关系可以是其间的任意相关性，包括但不限于关键字的关联度、检索关键字的频率等。
此外，处理器130可以通过收集由信号处理单元120分离的音频信号区段中与对应于基本关键字和相关关键字的至少一个的多个音频信号同步的多个视频帧，来产生内容概要。可以将所述概要内容产生为包括多个视频帧，但是不局限于此。例如，可以产生包括与多个视频帧相对应的音频信号在内的概要内容。另外，处理器130可以控制信号处理单元120以便产生所述概要内容。详细地，处理器130可以控制信号处理单元120以便收集多个视频帧。
同时，作为通常用于控制设备的部件的处理器130可以与CPU、微处理器等混合地使用。下文中，在集成到处理器130中的同时描述所述部件。
另外，处理器130和信号处理单元120可以是实现为一个芯片上系统(SoC)。然而下文中为了易于描述，将分离地描述处理器130和信号处理单元120。
下文中，将描述用于产生处理器130的概要内容的各种方法。
图2是描述了根据示例性实施例的用于确定关键字的方法的流程图。
参考图2，电子设备100在接收内容时接收所述内容的附加信息(S210)。所述内容的附加信息可以与所述内容同时接收，或者所述附加信息可以在与所述内容不同的时间接收。所述内容的附加信息可以是所述内容的情节信息、加亮信息和人物信息。所述内容的附加信息可以直接从外部提供的专用服务器接收，或者通过与因特网上的连接从网站接收。同时，当没有接收到所述内容的附加信息时，处理器130可以使用诸如文本信息之类的元数据以及音频信号和视频帧中的内容中包括的EPG信息作为所述内容的附加信息，并且可以通过信号处理单元120对所述元数据进行信号处理和分离。
当处理器130接收所述内容的附加信息时，处理器130根据接收的附加信息来确定基本关键字(S220)。处理器可以确定在所述附加信息中包括的所有名词作为基本关键字。然而，处理器130不局限于此，并且可以确定所述内容的附加信息中包括的名词中仅以预定频率或更高频率使用的名词作为基本关键字。下面将描述与其相关的内容。
此外，处理器130根据基本关键字来确定相关关键字(S230)。相关关键字可以是通过分析在特定服务器中连续地检索的关键字之间的关系而确定的关键字。例如，可以在特定服务器中检索基本关键字，并且可以将连续检索的关键字确定为相关关键字。另外，可以将连续检索的关键字的关系累积地存储，以基于累积的数据来确定相关关键字。
此外，特定服务器可以是与电子设备100分离地提供的检索引擎服务器。例如，可以从特定检索引擎服务器检索基本关键字作为相关关键字，并且电子设备100可以确定连续检索的关键字。然而，电子设备100不局限于此，并且当电子设备100向特定检索引擎服务器发送基本关键字时，电子设备100可以接收从特定检索引擎服务器与所述基本关键字相连续检索到的关键字的至少一个。电子设备100可以确定所接收的关键字的至少一个作为相关关键字。另外，特定检索引擎服务器可以基于连续检索的关键字的关系来确定相关关键字，并且电子设备100可以使用接收的关键字本身作为相关关键字，而无须确定接收的关键字中的相关关键字。此外，特定服务器可以不是检索引擎服务器，并且制造电子设备100的制造商可以直接具有所述特定服务器。此外，电子设备100可以存储与基本关键字相关的相关关键字信息。
另外，处理器130可以确定基本关键字的同义词作为相关关键字，或者从特定服务器接收所述同义词。例如，当基本关键字是“犯罪(crime)”时，处理器130可以确定诸如“犯法(law-breaking)”、“非法行为(illegalact)”等之类的同义词作为相关关键字。此外，处理器130可以确定基本关键字的方言或者旧说法作为相关关键字，或者确定与诸如“判决(judge)”、“法院(court)”和“高级法院(supremecourt)”之类的相关关键字作为相关关键字。
图3是描述了根据示例性实施例的用于根据情节信息310来确定相关关键字20的图。
参考图3，处理器130可以从通过通信单元110接收的情节信息310中去除动词、限定词、副词等并且仅提取名词。情节信息310可以是通过对内容的数据加以概述而获取的信息。另外，情节信息310可以是文本信息。然而，情节信息310不局限于此，并且情节信息310可以通过文本和图片组成，并且在这种情况下，处理器130提取所述文本以确定基本关键字10。
处理器130可以从提取的名词中删除重复的名词，并且确定剩余的名词作为基本关键字10。例如，处理器130可以从情节信息310中提取诸如“morning”、“Manolin”、“man”、“shack”、“sight”、“friend”、“hand”、“friend”等之类的名词。这里，处理器130可以通过去除重复的第二个“friend”来确定由“morning”、“Manolin”、“man”、“shack”、“sight”、“friend”、“hand”、等组成的基本关键字10。
当确定了基本关键字10时，处理器130可以根据基本关键字10来确定相关关键字20。在图3中，示出了针对基本关键字10中的“man”的相关关键字20。处理器130可以确定“male”、“guy”、“dude”等作为“man”和“men”的同义词，并且确定“woman”、“boy”等作为相关检索字。这里，相关检索字可以是通过分析连续检索的关键字的关系来确定的关键字。然而，相关关键字不局限于此，并且可以将反义词和/或除了同义词、相关检索字等之外的关键字确定为相关关键字。另外，在图3中列出的所有相关关键字20可以不使用，并且可以按照任意程度选择性地使用。下面将描述使用由处理器130确定基本关键字10和相关关键字20的仅一些的结构。
在图3中描述了基于情节信息310来确定基本关键字10和相关关键字20的方法，但是所述方法不局限于此。例如，处理器130可以根据元数据来检测基本关键字，并且可以确定与所述基本关键字相关的相关关键字。另外，处理器130可以使用动词作为基本关键字，并且基于多个基本关键字来确定相关关键字。此外，处理器130可以仅使用基本关键字10而不使用相关关键字20。
另外在图3中描述了接收情节信息310作为附加信息，但是如果附加信息不是所述情节信息310，而是图像信息或者包括图像在内的信息，可以通过信号处理单元120提取元数据。处理器130可以从元数据提取基本关键字。
图4是描述了根据示例性实施例的用于检测针对每一个区段的视频帧的方法的图。
参考图4，处理器130可以将内容410划分为多个内容区段411、412、423、414、415和416，并且将情节信息310划分为在范围上分别与多个内容区段相对应的多个情节区段311、312、313、314、315和316。此外，处理器130可以针对多个情节区段的每一个来确定基本关键字10和相关关键字20，并且可以发现与针对与每一个情节区段相对应的每一个内容区段而确定的关键字相对应的音频信号区段。
详细地，处理器130可以将接收到的内容410划分为六个区段。在这种情况下，将接收到的内容410划分为图4中的六个区段，但是不局限于此，甚至可以基于内容的再生时间等将内容410划分为六个区段或者更多。另外，用户接收所述区段的个数以将所述内容410划分为具有接收到的个数的内容的区段。
此外，处理器130可以将情节信息310划分为在范围上分别与多个内容区段411、412、413、414、415和416相对应的多个情节区段311、312、313、314、315和316。在这种情况下，处理器310基于数据容量、行数、段数等将情节信息划分为在范围上分别与所述内容区段相对应的多个情节区段。例如，当基于行数假设情节信息310的所有行的个数是120行时，处理器130可以将情节信息310划分为多个(例如六个)情节区段，每一个情节区段都由20行构成。另外，当基于段落假设情节信息310的所有段落的个数是18时，处理器130可以将情节信息310划分为多个(例如六个)情节区段，每一个情节区段均由3个段构成。
处理器130可以确定针对每一个区段的基本关键字10。结果，在情节信息310的第一区段311中确定第一关键字11并且在第二区段312中确定第二基本关键字12，并且可以在其余区段中按照类似一致的方式针对每一个区段来确定基本关键字10。因为上文已经描述了针对每一个区段来确定基本关键字10的方法，省略了所述方法的描述。
处理器130可以通过上述方法根据针对每一个区段的基本关键字10来确定相关关键字20。结果，可以根据第一基本关键字11来确定第一相关关键字21，并且可以根据第二基本关键字12来确定第二相关关键字，并且可以在其余区段中按照类似一致的方式针对每一个区段来确定相关关键字20。因为上文已经描述了针对每一个区段来确定相关关键字20的方法，省略了所述方法的描述。
处理器130通过关于所述内容410的第一区段411使用第一相关关键字21来检测视频帧。详细地，处理器130可以通过收集与对应于所述内容410的第一区段411中的第一基本关键字11和第一相关关键字21的至少一个的多个音频信号区段同步的多个视频帧，来产生针对所述内容410的第一区段411的第一概要内容。处理器130产生和收集针对所有区段的各个概要内容，以产生一个概要内容。
在这种示例中，针对每一个区段来比较内容410和情节信息310，以减小字的错误检测，从而有效地产生概要内容。
图5是描述了根据示例性实施例的用于将特定区段的整体封装到概要内容中的方法的图。
参考图5，当在所述内容的特定区段中检测到与基本关键字10和相关关键字20的至少一个相对应的预定个数或更多的音频信号区段时，处理器130可以将所述特定区段的整体封装概要内容中。例如，当将所述内容410划分为如图4所示的六个区段时，处理器130可以相对于所述内容的相应区段来检测与基本关键字10和相关关键字20的至少一个相对应的多个音频信号区段。另外，处理器130可以计算在每一个区段中检测的音频信号区段的个数。
当假设预定的个数是150时，在内容410的第五区段415中，检测的音频信号的个数是预定个数或更多，如151。结果，处理器130可以将内容410的第五区段415的整体封装在概要内容中。然而在内容410的其他区段中，检测到的音频信号的个数不与预定的个数或更多的个数相对应。因此，处理器130可以关于各个区段仅收集与对应于基本关键字10和相关关键字20的至少一个的多个音频信号区段同步的多个帧。同时，可以通过用户设置预定个数的音频信号区段。
根据示例性实施例，可以在概要内容中包括与关键字相对应的更多所选择的音频区段的整体，结果是可以容易地检测主要区段，并且可以产生在传达意思时有利的概要内容。
图6是描述了根据示例性实施例的用于将附加的视频帧添加至多个视频帧的方法的图。
根据图6，当作为多个视频帧之一的第一视频帧和作为多个视频帧的另一个视频帧的第二视频帧之间的时间差小于预定阈值时间时，处理器130可以将第一视频帧和第二视频帧之间的所有视频帧封装在概要内容中。
处理器130可以关于所有内容检测与对应于基本关键字10和相关关键字20的至少一个的多个音频信号部分同步的多个视频帧的相对位置。图6的第一区段示出了通过处理器130提取的视频帧区段611、612、613、614和615。另外，整体内容是67分钟，第一提取视频帧区段611是5至11分钟，第二提取视频帧区段612是23至38分钟，并且第三提取视频帧区段613是40至49分钟。
基于提取的视频帧的时间信息，当第一视频帧和第二视频帧之间的时间差小于预定阈值时间时处理器130将在第一视频帧和第二视频帧之间没有被提取的视频帧封装在概要内容中。例如，当假设在图6的第一区段中预定阈值时间是3分钟时，第二和第三提取视频帧区段612和613之间的时间以及第四和第五提取视频帧区段614和615之间的时间小于预定阈值时间两分钟。因此，处理器130可以将与第二和第三提取视频帧区段612和613之间的时间以及第四和第五提取视频帧区段614和615之间的时间相对应的视频帧621和622封装到概要内容中。这在图6的第二区段中示出。
然而，第一和第二提取视频帧区段611和612之间的时间是12分钟，并且第三和第四提取视频帧区段613和614之间的时间是4分钟，处理器130不能将大于预定阈值时间的区段封装在概要内容中。
在这个示例中，可以通过用户选择所述预定阈值时间。另外，当产生概要内容时，可以在概要内容中包括小于预定阈值时间的区段，并且结果可以更加平滑地产生概要内容。
图7是描述了根据示例性实施例的用于确定基本关键字10的方法的图。
根据图7，处理器130可以从基本关键字10中排除情节信息310中包括的相应字中以预定频率或更小频率使用的字。假设在图7中提取了在情节信息310中包括的名词。处理器130可以计算在情节信息310中使用相应提取的名词的频率。在图7中，假设分别使用“morning”、“Manolin”、“man”、“shack”和“sight”23次、25次、7次、31次和17次。
处理器130可以检查相应提取的名词的使用频率是否是预定频率或更小频率。在这种情况下，可以通过用户设置预定使用频率。在图7中，假设预定频率是20。作为检查的结果，处理器130可以从基本关键字中排除其使用频率是预定频率或更小频率的“man”和“sight”，并且仅确定“morning”、“Manolin”和“shack”作为基本关键字10。
假设通过用户设置预定使用频率，但是不局限于此。例如，可以基于相应提取的名词的使用频率中的最高使用频率来确定使用频率的基准，或者可以将相应提取的名词的使用频率的平均值确定为是使用频率的基准。
图7公开了从基本关键字10中排除相应的字中使用频率是预定使用频率或更小的字的结构。然而，本发明不局限于此，并且可以与使用频率成正比地确定相关关键字20的个数。这将在图8中描述。
图8是描述了根据示例性实施例的用于确定相关关键字20的方法的图。
根据图8，处理器130可以确定与使用频率成正比的相关关键字20的个数。详细地，处理器130可以确定相关关键字，使得使用频率较高的“shack”的相关关键字20的个数最大，并且使用频率较低的“man”的相关关键字20的个数最小。也就是说，处理器130可以允许具有较高使用频率的“shack”具有四个相关关键字20“hut”、“cabin”、“shanty”和“whare”，以及具有较低使用频率的“man”具有一个相关关键字20“male”。在图8中，通过将个数上舍入到使用频率的个位来设置相应基本关键字之间的比例关系。然而，本发明不局限于此，并且可以通过舍入或下舍入来设置所述比例关系。
另外在图8中，使用同义词作为相关关键字20，因此没有确定作为适当的代词“Manolin”的相关关键字20。然而，这只是示例性实施例，并且当使用相关检索字作为相关关键字20时，可以确定针对“Manolin”的相关关键字20。
另外，处理器130可以在从图7所示的基本关键字10中排除以小于预定使用频率来使用的字，基于仅剩余字的使用频率来确定相关关键字的个数。
在这个示例中，通过将在情节信息310中包括的所有数字字作为基本关键字10或者控制相关关键字20的个数，可以解决概要内容的产生时间非常长的问题。
图9是描述了根据示例性实施例的进一步使用人物的图像的情况的图。
根据图9，通过通信单元110接收的内容的附加信息可以包括内容的人物的图像。处理器130可以将多个视频帧中包括人物的图像在内的视频帧添加至概要内容。也就是说，处理器130可以通过使用与关键字相对应的视频区段911和912以及与人物的图像相对应的视频区段921和911的全部来产生概要内容。
详细地，处理器130可以基于与关键字或者人物的图像相对应的视频帧的时间信息，来提取与关键字和人物的图像的至少一个相对应的视频帧931、912和922的时间信息。随后，处理器130基于提取的时间信息去除没有提取的视频帧以产生最终的概要内容940。
在图9中，描述了提取与关键字和人物的图像的至少一个相对应视频帧的结构，但是不局限于此。例如，处理器130可以仅提取与关键字和人物的图像两者相对应的视频帧，或者仅提取与人物的图像相对应的视频帧。
图10是描述了根据示例性实施例的通过反映各个人物的重要性而产生概要内容的图。
根据图10，处理器130可以检验针对整个内容中的每一个人物而显示图像的视频帧的频率。在图10中，假设第一人物1010出现了多至423帧，第二人物1020出现了多至225帧，第三人物1030出现了多至57帧，第四人物1040出现了多至631帧，并且第五人物1050出现了多至817帧。
此外，在以预定频率或更小频率出现的人物的情况下，处理器130可以在排除显示有所述人物的图像的视频帧的同时产生概要内容。当假设预定频率是300帧时，处理器130可以在排除显示第二人物1020和第三人物1030的图像的视频帧的同时产生概要内容。
所述预定频率可以由用户预先设置，但是不局限于此。例如，可以在计算针对每一个人物而显示的图像的视频帧的频率之后，不是用户而是处理器130可以基于所述频率的平均来确定预定频率。
通过这样的示例，处理器130可以根据人物在全部内容中出现的频率来确定主要人物，并且产生主要针对主要人物的概要内容。
图11A、11B和11C是描述了根据不同的示例性实施例的用于显示概要内容的图。根据图11，电子设备100还可以包括显示单元。另外在图11中，描述了产生和显示概要内容的结构。
概要内容可以由服务提供商来产生。在这种情况下，电子设备100可以是服务器。用户可以通过访问服务器来选择特定内容，并且电子设备100可以将针对特定内容预先产生的概要内容发送至用户。
同时，概要内容可以由用户来产生。在这种情况下，用户设备100可以是家庭中的显示设备或机顶盒。用户可以在观看特定内容期间或者在提供内容列表的UI屏幕上输入概要内容的产生命令。下面将描述其详细内容。
图11A是示出了根据示例性实施例的提供内容列表的UI屏幕的图。
根据图11A，处理器130可以显示提供内容列表的UI屏幕。处理器130可以在内容列表的左栏上显示针对相应内容的概要内容，并且在右栏上显示与对应内容有关的信息。然而，处理器不局限于此，并且处理器130可以在左栏上显示内容的缩略图，并且具体地当电子设备100支持焦点时仅重新产生聚焦的内容1110作为概要内容。在这种情况下，处理器130可以仅产生所聚焦的内容1110的概要内容，并且关于没有聚焦的其余内容显示缩略图，或者在停止没有聚焦的剩余概要内容的初始屏幕的同时显示所述缩略图。在这种情况下，当将焦点改变至另一个位置时，可以在处于停止状态的初始屏幕上显示所述概要内容。
与聚焦的内容有关的信息1120可以包括内容的标题、运行时间和情节。然而，所述信息1120不局限于此，并且还可以包括与概要内容有关的信息。
图11B是示出了根据另一个示例性实施例的提供内容概要信息的UI屏幕的图。
根据图11B，处理器130可以显示提供内容概要信息的UI屏幕。当在诸如图11A之类的屏幕上选择任意一个内容时，可以显示提供所述内容概要信息的UI屏幕。
处理器130可以在提供内容概要信息的UI屏幕上显示概要内容1130以及与对应内容有关的信息1140。处理器130可以重新产生概要内容1130，但是不局限于此。例如，概要内容1130可以作为静止图片，并且可以根据用户的重新产生命令等来重新产生。
同时，与内容有关的信息1140可以包括如上所述的内容的标题、运行时间和情节。然而，可以显示比图11A更多的信息，并且具体地，当重新产生概要内容1130时，可以显示对应情节信息。
图11C是示出了根据另一个示例性实施例的显示概要内容的屏幕的图。
根据图11C，处理器130可以控制显示单元显示概要内容1150和与正在重新产生的概要内容的场景相对应的情节信息1160。详细地，处理器130可以根据不同的示例性实施例产生概要内容，并且在产生概要内容期间使得与情节信息1160相对应的视频帧与每一个情节信息1160相对应。随后，当完成概要内容的产生时，处理器130可以同时地显示概要内容。然而，处理器130不局限于此，并且处理器130可以配置为在产生概要内容之后，从情节信息1160中提取与所述概要内容相对应的区段。
同时在图11C中，描述了处理器130显示概要内容1150和与通过显示单元重新产生的概要内容的场景相对应的情节信息1160，但是不局限于此。例如，处理器130可以对与产生概要内容之前的概要内容的场景相对应的情节信息1160进行封装，以产生概要内容1150。也就是说，处理器130可以不与概要内容分离地显示情节信息1160，而是显示包括情节信息1160在内的概要内容。
同时在图11中，描述了一种方法，其中在产生和存储概要内容的同时，在UI屏幕上显示所述概要内容，但是所述方法不局限于此。例如，当用户输入概要内容的产生命令时，控制器130可以控制产生针对相应内容的概要内容。下面描述了所述方法的详细描述。当完成概要内容的产生时，处理器130可以控制显示所产生的概要内容。替代地，处理器130可以向用户显示概要内容的产生完成，或者允许根据用户的重新产生命令来重新产生所述概要内容。
在图11中描述了一种向用户提供预先产生的概要内容的方法。在图12中描述了一种通过用户产生概要内容的方法。
图12是描述了根据示例性示例的用于产生概要内容的方法的图。
图12的第一部分是其中在显示特定内容的同时用户输入概要内容的产生命令的图。用户可以在观看特定内容期间出门或者在发生观看困难的其他情况下输入概要内容的产生命令。另外，用户可以输入概要内容的产生命令以便将观看特定内容上载到SNS等上。在这种情况下，处理器130可以控制将所产生的概要内容发送至SNS服务器。
另外，当输入针对特定内容(正被流传输)概要内容的产生命令时，处理器130可以在接收到所有特定内容之前一直等待，随后当完成所述接收时产生概要内容。然而，处理器不局限于此，并且产生概要内容仅直到完成重新产生的特定内容部分，并且当完成接收时，所述处理器产生还没有完成重新产生的那部分作为概要内容，以与预先产生的概要内容合并。下文中描述了接收所有特定内容并且随后产生概要内容。
当用户输入概要内容的产生命令时，处理器130可以显示检验消息1210，例如“你想要产生概要内容？(Doyouwanttogeneratethesummarycontents？)”。然而这仅是示例性实施例，并且可以根据用户的概要内容产生命令来立即产生概要内容，而无须显示检验消息1210。
图12的第二区段是其中在显示检验消息1210的同时用户选择“是”的图。结果，处理器130产生概要内容。处理器130可以在产生概要内容的同时显示诸如“正在产生概要内容”之类的消息1220。然而这只是示例性实施例，并且可以连续地显示正在显示的内容，而无须显示消息1220。另外，尽管关闭了显示设备100，可以在供电的同时产生概要内容。
图12的第三区段是概要内容的产生完成、并且因此显示概要内容的图。当产生概要内容时，处理器130可以立即显示所产生的概要内容。然而，处理器130不局限于此，并且可以仅显示对产生概要内容加以表示的消息。
同时在图12中，描述了在用户观看内容的同时产生概要内容的情况，但是本发明不局限于此。例如，用户可以在如图11A和11B所示的提供内容列表的UI屏幕上或者在提供内容概要信息的UI屏幕上输入针对特定内容的概要内容产生命令。
图13是描述了根据示例性实施例的内容的附加信息的图。省略了图13的结构中与图1中重复的部分的描述。
根据图13，除了通信单元110、信号处理单元120和处理器130之外，显示设备100可以附加地包括存储单元140。处理器130可以通过通信单元130接收内容和针对所述内容的附加信息。信号处理单元120对所述内容进行信号处理以将经信号处理的内容分离为音频信号、视频帧和元数据。其中，可以将元数据存储在存储单元140中。另外，处理器130可以将针对通过通信单元110接收的内容的附加信息存储在存储单元140中。
处理器130可以分析所接收的内容的音频信号、视频帧和元数据。例如，当分析音频信号时，处理器130可以将音频信号转换为文本，并且将属于所述音频信号的文本存储在存储单元140中。在这种情况下，可以使用语音识别技术。另外当分析视频帧时，处理器130可以从视频帧中提取人物的图像，并且将所提取的图像存储在存储单元140中。在这种情况下，可以使用脸部识别技术。
除了针对内容的附加信息之外，存储单元140甚至可以存储通过分析所述内容所产生的信息。处理器130可以基于所存储的信息来确定基本关键字。另外，处理器130可以用于通过人物的图像来产生概要内容。
另外，存储单元140可以将所产生的概要内容与基本关键字、相关关键字和情节一起存储。然而，存储单元140不局限于此，并且存储单元140可以仅将概要内容和与所述概要内容相对应的内容一起存储。另外，当概要内容的个数增加时，并且因此存储空间不足时，可以根据所产生的顺序删除概要内容。当删除概要内容时，可以向用户询问是否删除概要内容。
图14是描述了根据示例性实施例的通过电子设备100来产生概要内容的方法的流程图。
根据图14，电子设备100接收内容和针对所述内容的附加信息(S1410)。针对所述内容的附加信息可以是通过因特网接收的信息，并且也可以是通过分析内容而产生的信息。此外，将所述内容进行信号处理以分离为音频信号和视频帧(S1420)。另外，可以在信号处理期间产生元数据。
此外，通过使用附加信息来确定基本关键字10和与基本关键字10相关的相关关键字20(S1430)。可以通过特定的过滤处理从针对所述内容的附加信息中提取基本关键字10。可以通过预定方法从基本关键字10中得出相关关键字20，并且可以通过特定的过滤处理从相关关键字20中排除所得到的相关关键字20的一些。
此外，可以通过从所产生的音频信号区段中收集与对应于基本关键字和相关关键字的至少一个的多个音频信号区段同步的多个视频帧来产生概要内容。
另外，附加信息包括通过对内容的数据加以概述并且在确定相关关键字时获取的情节信息(S1430)，可以将在所述情节信息中包括的每一个字检测为基本关键字，并且可以在预定的服务器中检索所述基本关键字并且将与所述基本关键字相连续地检索到的关键字确定为相关关键字。
此外，在产生概要内容时(S1440)，可以将所述内容划分为多个内容区段，可以将情节信息划分为在范围上分别与多个内容区段相对应的多个情节区段，可以针对多个情节区段的每一个来确定基本关键字和相关关键字，并且可以针对与每一个情节区段相对应的每一个内容区段来发现与所确定的关键字相对应的音频信号区段。
另外，在产生概要内容时(S1440)，当在所述内容的特定区段内检测到与基本关键字和相关关键字的至少一个相对应预定个数或更多的音频信号区段时，可以在概要内容中包括所述特定区段的整体。
此外，在产生概要内容时(S1440)，当作为多个视频帧之一的第一视频帧和作为另一个视频帧的第二视频帧之间的时间差小于预定阈值时间时，可以在概要内容中包括第一视频帧和第二视频帧之间的所有视频帧。
此外，在产生概要内容时(S1440)，可以从基本关键字中排除在所述情节信息中包括的相应字中以预定频率或更小频率使用的字。
此外，附加信息可以包括所述内容的人物的图像，并且在产生概要内容时(S1440)，可以将多个视频帧中显示图像的视频帧添加至概要内容。
另外，在产生概要内容时(S1440)，可以关于以预定频率或更小频率出现的人物，通过针对整个内容中的每一个人物检验显示有图像的视频帧的频率，在排除显示有人物的图像的视频帧的同时产生概要内容。
此外，在确定相关关键字时(S1430)，可以根据元数据来检测基本关键字，并且可以确定与基本关键字相关的相关关键字。
另外，可以在提供内容列表的UI屏幕和提供内容概要信息的UI屏幕的至少一个上显示概要内容。
同时，描述了上述电子设备100是基本上使用所述关键字的部件。下文中将描述更加不同的示例性实施例。
图15是描述了不同的示例性实施例的图。
根据图15，处理器130可以提取与关键字相对应的视频帧区段911和912。此外，处理器130可以通过仅使用提取的视频帧区段911和912来产生主要针对所述关键字的概要内容。上面进行了处理器的描述。
另外，处理器130可以提取与人物的图像相对应的视频帧921和922。此外，处理器130可以通过仅使用提取的视频帧921和922，产生主要基于所述人物的概要内容。上述结构不同于将与人物的图像相对应的视频帧921和922添加至与关键字相对应的视频帧911和912的结构。当通过仅使用与人物的图像相对应的视频帧来产生概要内容时，可以将视觉效果最大化。
在图15中，示出了提取视频帧以对应关键字或人物的图像的结构，但是本发明不局限于此。例如，可以提取仅包括当检测到人脸时产生的特定音频信号在内的视频帧。
同时，处理器130可以通过使用与关键字相对应的视频帧911和912以及与人物的图像相对应的视频帧921和922来产生概要内容。因为这是前述结构，将省略所述结构的详细描述。
图16是示出了根据另一个示例性实施例的电子设备100’的详细结构的方框图。根据图16，电子设备100’包括通信单元110、信号处理单元120、处理器130、存储单元140、显示单元150、用户接口单元160、扬声器180、按钮181、摄像机182和麦克风183。将省略图16中示出的部件中与图1中所示的部件重复的部件的详细描述。
处理器130通常通过使用在存储单元140中存储的各种程序来控制电子设备100’的操作。
详细地，处理器130包括RAM131、ROM132、主CPU133、图形处理单元134、第一和第n接口135-1至135-n和总线136。
RAM131、ROM132、主CPU133、图形处理单元134以及第一和第n接口135-1至135-n可以通过总线136彼此相连。
第一至第n接口135-1至135-n与各种部件相连。接口中的一个可以是通过网络与外部设备相连的网络接口。
主CPU133使用在存储单元140中存储的O/S访问存储单元140以执行引导。此外，主CPU133通过使用在存储单元140中存储的各种程序来执行各种操作。
ROM132存储用于系统引导的命令集等。当输入接通命令以供电时，主CPU133根据在ROM132中存储的命令将在存储单元140中存储的O/S复制到RAM131，并且执行O/S以引导系统。当完成引导时，主CPU133将存储单元140中存储的各种应用程序复制到RAM131中，并且执行复制到RAM131的应用程序以执行各种操作。
图形处理单元134通过使用计算单元(未示出)和呈现单元(未示出)来产生包括各种对象的屏幕，所述对象包括图标、图像、文本等。计算单元(未示出)基于接收到的控制命令来计算包括坐标值、形状、尺寸、颜色等在内的属性值，根据所述属性值根据屏幕的布局显示相应的对象。呈现单元(未示出)基于在计算单元(未示出)中计算的属性值来产生具有包括所述对象的在内的各种布局的屏幕。在显示单元150的显示区域总显示在呈现单元(未示出)中产生的屏幕。
同时，处理器130可以通过在存储单元140中存储的程序来操作。
存储单元140存储各种数据，所述数据包括用于驱动电子设备100’的操作系统(O/S)软件、关键字提取模块、视频帧提取模块、语音识别模块等。
在这种情况下，处理器130基于在存储单元140中存储的信息来提取关键字以产生概要内容。
用户接口单元160接收各种用户相互作用。这里，可以根据电子设备100’的实施示例将用户接口单元160实现为各种形式。当将电子设备100实现为数字电视时，用户接口单元160可以通过从遥控装置接收遥控信号的遥控接收机、感测用户运动的摄像机、接收用户的语音的麦克风等。另外，当将电子设备100’实现为基于触摸的便携设备时，可以将接口单元160实现为具有触摸垫的层间结构的触摸屏形式。在这种情况下，用户接口单元160可以用作显示单元150。
扬声器180是输出除了信号处理单元120处理的各种音频数据之外还输出各种通知声音或语音消息的部件。
按钮181可以是在预定区域中各种类型的按钮，所述按钮包括机械按钮、触摸垫、滚轮等，所述预定区域例如是电子设备100’的主体区段的前表面、侧边、后表面等。
摄像机182是根据用户的控制对静止图像或移动图像拍摄的部件。摄像机182可以通过包括摄像机来实现，例如前置摄像机和后置摄像机。麦克风183是接收用户的语音或其他声音的部件，并且将接收的用户的语音或其他声音转换为音频数据的部件。
如上所述，根据不同的示例性实施例，电子设备可以自动地产生概要内容。详细地，电子设备提取所述内容中的附加信息中的关键字，并且收集与所述关键字相对应的视频帧以产生概要内容。结果，因为可以在忠实地反映所述内容的同时方便地产生概要内容，改进了效率。
同时，可以对根据各种示例性实施例的方法进行编程以存储在各种存储介质中。结果，在执行存储介质的各种类型的电子设备中，可以实现根据各种示例性实施例的方法。
详细地，根据示例性实施例，一种非临时计算机可读介质存储程序，所述程序顺序地执行以下操作：接收内容和针对所述内容的附加信息；对所述内容进行信号处理，并且将经信号处理的内容分离为音频信号和视频帧；通过使用所述附加信息确定基本关键字和针对所述基本关键字的相关关键字；以及通过收集与对应于所述基本关键字和所述相关关键字的至少一个的多个音频信号区段同步的多个视频帧来产生概要内容。
非临时计算机可读介质并非意味着短时间存储数据的介质，例如寄存器、高速缓存、内存等，而是意味着可以半永久地存储数据并且通过设备可读的介质。详细地，可以在非临时计算机可读介质中存储各种应用或程序的同时提供各种应用或程序，所述非临时计算机可读介质例如是CD、DVD、硬盘、蓝光盘、USB、存储卡、ROM等。
根据不同的示例性实施例，电子设备通过使用针对内容的附加信息来确定关键字，并且收集与对应于所述关键字的音频信号区段同步的视频帧来自动地产生概要内容。结果，可以在产生概要内容时改进效率。
前述示例性实施例和优势只是示例性的，而不应该解释为限制本发明。可以将本发明的教导容易地应用于其他类型的设备。同样，本发明示例性实施例的描述是说明性的，而不是为了限制权利要求的范围，许多替代、改进和变化对于本领域普通技术人员是清楚明白的。

Claims (15)

1.一种电子设备，包括：
通信单元，配置为接收内容和针对所述内容的附加信息；
信号处理单元，配置为执行对所述内容的信号处理，并且确定经信号处理的内容作为音频信号和视频帧之一；以及
处理器，配置为通过使用所述附加信息来确定第一关键字和针对所述第一关键字的第二关键字，并且根据与对应于所述第一关键字和所述第二关键字的至少一个的多个音频信号区段同步的多个视频帧，产生概要内容。
2.根据权利要求1所述的电子设备，其中所述附加信息包括对所述内容加以概述的情节信息，以及
所述处理器检测在所述情节信息中包括的至少一个字作为所述第一关键字，从服务器检索所述第一关键字，并且确定与所述第一关键字相连续地检索到的关键字作为所述第二关键字。
3.根据权利要求2所述的电子设备，其中所述处理器将所述内容划分为多个内容区段，将所述情节信息划分为多个情节区段以分别与所划分的多个内容区段相对应；以及
所述处理器确定针对所述多个情节区段的第一关键字和第二关键字，并且针对与所述多个情节区段相对应的所述多个内容区段来确定对应的音频信号区段。
4.根据权利要求3所述的电子设备，其中确定包括所述对应音频信号区段在内的多个音频信号区段以与所述第一关键字和所述第二关键字中的至少一个相对应，以及
当所确定的多个音频信号区段在所述多个内容区段中的一区段内等于或大于预定个数时，所述处理器将所述区段的整体封装在所述概要内容中。
5.根据权利要求1所述的电子设备，其中当所述多个视频帧的第一视频帧和所述多个视频帧的第二视频帧之间的时间差小于阈值时，所述处理器将所述多个视频帧的第一视频帧和第二视频帧之间的所有视频帧封装在所述概要内容中。
6.根据权利要求2所述的电子设备，其中所述处理器从所述第一关键字中排除所述情节信息中包括的其他字中以预定频率或更小频率使用的字。
7.根据权利要求1所述的电子设备，其中：
所述附加信息包括所述内容的人物的图像；以及
所述处理器将所述多个视频帧中显示所述图像的视频帧添加至所述概要内容。
8.根据权利要求7所述的电子设备，其中关于以预定频率或更小频率出现的人物，所述处理器通过针对整体内容中的每一个人物检验显示有所述图像的视频帧的频率，在排除显示有所述人物的图像的视频帧的同时产生所述概要内容。
9.根据权利要求1所述的电子设备，其中所述处理器根据元数据来检测所述第一关键字，并且确定与所述第一关键字相关的第二关键字。
10.根据权利要求2所述的电子设备，还包括：
显示单元，以及
其中所述处理器控制将所述概要内容显示在提供内容列表的用户界面UI屏幕和提供内容概要信息的UI屏幕的至少一个上。
11.一种通过电子设备产生概要信息的方法，所述方法包括：
接收内容和针对所述内容的附加信息；
对所述内容进行信号处理，并且确定经信号处理的内容作为音频信号和视频帧之一；
通过使用所述附加信息，确定第一关键字和针对所述第一关键字的第二关键字；以及
通过收集与对应于所述第一关键字和所述第二关键字的至少一个的多个音频信号区段同步的多个视频帧，产生概要内容。
12.根据权利要求11所述的方法，其中所述附加信息包括对所述内容加以概述的情节信息；以及
确定所述第二关键字包括：检测在所述情节信息中包括的至少一个字作为所述第一关键字，从服务器检索所述第一关键字，以及确定与所述第一关键字相连续地检索到的关键字作为所述第二关键字。
13.根据权利要求12所述的方法，其中在产生所述概要内容时，将所述内容划分为多个内容区段，将所述情节信息划分为多个情节区段以分别与所述多个内容区段相对应，以及
针对所述多个情节区段确定所述第一关键字和所述第二关键字，并且针对与所述多个情节区段相对应的多个内容区段来确定对应的音频信号区段。
14.根据权利要求13所述的方法，其中确定包括所述对应的音频信号区段在内的多个音频信号区段以与所述第一关键字和所述第二关键字的至少一个相对应，以及
在产生所述概要内容时，当所确定的多个音频信号区段在所述多个内容区段中的一区段内等于或大于预定个数时，在所述概要内容中包括所述区段的整体。
15.根据权利要求11所述的方法，其中在产生所述概要内容时，当所述多个视频帧的第一视频帧和所述多个视频帧的第二视频帧之间的时间差小于阈值时，在所述概要内容中包括所述多个视频帧的第一视频帧和第二视频帧之间的所有视频帧。
CN201510779068.9A 2014-11-14 2015-11-13 产生概要内容的电子设备及其方法 Pending CN105611382A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0159019 2014-11-14
KR1020140159019A KR20160057864A (ko) 2014-11-14 2014-11-14 요약 컨텐츠를 생성하는 전자 장치 및 그 방법

Publications (1)

Publication Number Publication Date
CN105611382A true CN105611382A (zh) 2016-05-25

Family

ID=54608267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510779068.9A Pending CN105611382A (zh) 2014-11-14 2015-11-13 产生概要内容的电子设备及其方法

Country Status (5)

Country Link
US (1) US9654845B2 (zh)
EP (1) EP3021233A1 (zh)
KR (1) KR20160057864A (zh)
CN (1) CN105611382A (zh)
WO (1) WO2016076540A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108307250A (zh) * 2018-01-23 2018-07-20 浙江大华技术股份有限公司 一种生成视频摘要的方法及装置
JP2019208239A (ja) * 2018-09-30 2019-12-05 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド エッセンシャルビデオの生成方法、装置、機器及び記憶媒体

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10984248B2 (en) * 2014-12-15 2021-04-20 Sony Corporation Setting of input images based on input music
US20170300748A1 (en) * 2015-04-02 2017-10-19 Scripthop Llc Screenplay content analysis engine and method
US10095786B2 (en) 2015-04-09 2018-10-09 Oath Inc. Topical based media content summarization system and method
KR102484257B1 (ko) 2017-02-22 2023-01-04 삼성전자주식회사 전자 장치, 그의 문서 표시 방법 및 비일시적 컴퓨터 판독가능 기록매체
WO2018155807A1 (ko) * 2017-02-22 2018-08-30 삼성전자 주식회사 전자 장치, 그의 문서 표시 방법 및 비일시적 컴퓨터 판독가능 기록매체
US10762284B2 (en) * 2017-08-21 2020-09-01 International Business Machines Corporation Automated summarization of digital content for delivery to mobile devices
KR102426089B1 (ko) * 2018-02-13 2022-07-28 삼성전자주식회사 전자 장치 및 전자 장치의 요약 영상 생성 방법
KR102585777B1 (ko) 2018-05-29 2023-10-10 삼성전자주식회사 전자 장치 및 그 제어방법
KR102128659B1 (ko) * 2018-10-16 2020-06-30 주식회사 포스코아이씨티 키워드 추출 및 요약문 생성 시스템 및 방법
KR102656963B1 (ko) 2019-04-03 2024-04-16 삼성전자 주식회사 전자 장치 및 전자 장치의 제어 방법
US10924629B1 (en) * 2019-12-12 2021-02-16 Amazon Technologies, Inc. Techniques for validating digital media content
US10904476B1 (en) 2019-12-12 2021-01-26 Amazon Technologies, Inc. Techniques for up-sampling digital media content
KR20220006926A (ko) 2020-07-09 2022-01-18 삼성전자주식회사 요약 비디오를 생성하는 디바이스 및 방법
KR102280696B1 (ko) * 2020-08-01 2021-07-22 주식회사 크리스피웨일즈 비디오 컨텐츠로부터 키워드를 추출하는 전자 장치 및 비디오 컨텐츠로부터 키워드를 추출하는 방법
KR102408303B1 (ko) * 2020-11-17 2022-06-10 주식회사 카카오 컨텐츠 정보 제공 방법 및 컨텐츠 정보를 제공하는 사용자 단말
WO2023182542A1 (ko) * 2022-03-22 2023-09-28 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR102652009B1 (ko) * 2023-09-07 2024-03-27 아이보람 주식회사 모국어 습득 원리를 적용한 영어 교육을 수행함에 있어, 뉴럴 네트워크를 이용하여 사용자 단말에게 동영상을 기반으로 하는 이북을 제공하는 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101131850A (zh) * 2006-08-21 2008-02-27 索尼株式会社 节目提供方法及节目提供设备
US20100005485A1 (en) * 2005-12-19 2010-01-07 Agency For Science, Technology And Research Annotation of video footage and personalised video generation
CN101778233A (zh) * 2009-01-09 2010-07-14 索尼公司 数据处理装置、数据处理方法及程序
US8051446B1 (en) * 1999-12-06 2011-11-01 Sharp Laboratories Of America, Inc. Method of creating a semantic video summary using information from secondary sources
CN103793449A (zh) * 2012-10-26 2014-05-14 三菱电机株式会社 信息处理装置和信息处理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664227A (en) 1994-10-14 1997-09-02 Carnegie Mellon University System and method for skimming digital audio/video data
JP3642019B2 (ja) * 2000-11-08 2005-04-27 日本電気株式会社 Ａｖコンテンツ自動要約システム及びａｖコンテンツ自動要約方法
KR101109023B1 (ko) * 2003-04-14 2012-01-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 콘텐트 분석을 사용하여 뮤직 비디오를 요약하는 방법 및 장치
JP4359069B2 (ja) * 2003-04-25 2009-11-04 日本放送協会 要約生成装置及びそのプログラム
JP4346613B2 (ja) * 2006-01-11 2009-10-21 株式会社東芝 映像要約装置及び映像要約方法
JP4920395B2 (ja) * 2006-12-12 2012-04-18 ヤフー株式会社 動画要約自動作成装置、方法、及びコンピュータ・プログラム
US9111582B2 (en) * 2009-08-03 2015-08-18 Adobe Systems Incorporated Methods and systems for previewing content with a dynamic tag cloud
US9146993B1 (en) * 2012-03-16 2015-09-29 Google, Inc. Content keyword identification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8051446B1 (en) * 1999-12-06 2011-11-01 Sharp Laboratories Of America, Inc. Method of creating a semantic video summary using information from secondary sources
US20100005485A1 (en) * 2005-12-19 2010-01-07 Agency For Science, Technology And Research Annotation of video footage and personalised video generation
CN101131850A (zh) * 2006-08-21 2008-02-27 索尼株式会社 节目提供方法及节目提供设备
CN101778233A (zh) * 2009-01-09 2010-07-14 索尼公司 数据处理装置、数据处理方法及程序
CN103793449A (zh) * 2012-10-26 2014-05-14 三菱电机株式会社 信息处理装置和信息处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108307250A (zh) * 2018-01-23 2018-07-20 浙江大华技术股份有限公司 一种生成视频摘要的方法及装置
CN108307250B (zh) * 2018-01-23 2020-10-30 浙江大华技术股份有限公司 一种生成视频摘要的方法及装置
JP2019208239A (ja) * 2018-09-30 2019-12-05 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド エッセンシャルビデオの生成方法、装置、機器及び記憶媒体
US11140462B2 (en) 2018-09-30 2021-10-05 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus, and device for generating an essence video and storage medium

Also Published As

Publication number Publication date
WO2016076540A1 (en) 2016-05-19
US9654845B2 (en) 2017-05-16
EP3021233A1 (en) 2016-05-18
US20160142794A1 (en) 2016-05-19
KR20160057864A (ko) 2016-05-24

Similar Documents

Publication Publication Date Title
CN105611382A (zh) 产生概要内容的电子设备及其方法
KR101994592B1 (ko) 비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템
CN108370447B (zh) 内容处理装置及其内容处理方法、服务器
US8750681B2 (en) Electronic apparatus, content recommendation method, and program therefor
CN101202864B (zh) 动画再现装置
US9100701B2 (en) Enhanced video systems and methods
CN105373768B (zh) 提供图像内容的方法和设备
US20130124551A1 (en) Obtaining keywords for searching
KR20160087222A (ko) 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
WO2016184051A1 (zh) 图片搜索方法、装置、设备及非易失性计算机存储介质
CN105874451A (zh) 用于呈现对应于点播媒体内容的补充信息的方法、系统和介质
CN109408672B (zh) 一种文章生成方法、装置、服务器及存储介质
CN101553814A (zh) 用于产生视频数据流摘要的方法和设备
KR102298066B1 (ko) 영상 콘텐츠 제공 방법 및 영상 콘텐츠 제공 장치
KR20140044663A (ko) 방송 수신 장치 및 디스플레이 장치와 이를 이용한 검색 방법
KR102144978B1 (ko) 영상의 쇼트 분류를 이용한 사용자 맞춤형 영상 추천 시스템
Luo et al. Personalized news video recommendation
Berrani et al. Constraint satisfaction programming for video summarization
JP2017021672A (ja) 検索装置
JP2012178028A (ja) アルバム作成装置、アルバム作成装置の制御方法、及びプログラム
CN109151599B (zh) 视频处理方法和装置
JP6305538B2 (ja) 電子機器及び方法及びプログラム
CN111339359B (zh) 一种基于九宫格的视频缩略图自动生成方法
CN104396262A (zh) 同步电影概要
JP5492314B2 (ja) 映像再生装置及び映像再生方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160525

WD01 Invention patent application deemed withdrawn after publication