CN101553814B - 用于产生视频数据流摘要的方法和设备 - Google Patents
用于产生视频数据流摘要的方法和设备 Download PDFInfo
- Publication number
- CN101553814B CN101553814B CN2007800423343A CN200780042334A CN101553814B CN 101553814 B CN101553814 B CN 101553814B CN 2007800423343 A CN2007800423343 A CN 2007800423343A CN 200780042334 A CN200780042334 A CN 200780042334A CN 101553814 B CN101553814 B CN 101553814B
- Authority
- CN
- China
- Prior art keywords
- data stream
- video data
- text message
- expression
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Circuits (AREA)
Abstract
在视频数据流中检测(105)文本信息的表示(例如记分板),将其合并到(107)视频数据流摘要中。所述摘要包括可能尚未显示在为摘要选择的帧中的文本信息。
Description
技术领域
本发明涉及产生视频数据流摘要以包括文本信息的表示。
背景技术
体育广播构成很大部分的电视广播。虽然当前的消费者产品(例如HDD记录器和媒体中心PC)使用户有可能记录许多体育内容,但用户不能容易地浏览该记录,并且不能把冗长的体育事件缩短成精华部分,例如包括体育广播的主要事件(例如进球得分)的摘要。
为此,已经开发了许多自动体育摘要系统,例如Ekin,A.M Tekalp和R.Mehrotra提出的“Automatic Soccer Video analysis andsummarization”,IEEE Tran.Image Processing,June 2003。基于视频中重要事件(例如任意球,进球等等)的检测,这些系统从视频材料中选择片段来创建比赛或体育事件的重要瞬间的概要。
在体育广播中,文本信息通常在广播期间显示,以转播信息(例如比分),或者可选地,可以捕获物理记分板。该信息在整个广播过程中总是不连续地显示。这经常发生在重放和慢动作场景中。自动产生的摘要总是包括许多重放和慢动作场景,结果是文本信息(比分)不能在摘要回放期间显示。
然而,经常希望该信息是可用的。用户发现要理解摘要回放时脱离它们的上下文显示的广播片段是困难的。使这样的文本信息可见将会提高自动产生的体育摘要的感知质量。
US 2002/0126143 A1公开了一种能够有效地总结新闻视频的方法和一种能够利用该方法实现有效的搜索和过滤的基于文章的视频浏览系统。提供了基于文章的新闻视频内容摘要方法、浏览界面和浏览系统,其通过使用新闻视频流的主持人关键帧、情节关键帧、合成文本关键帧和新闻图标来总结并且浏览至少一种新闻文章。从主持人镜头中提取主持人关键帧。从情节场景中提取情节关键帧。通过将新闻文章中的视频帧中的重要文本总结为图像来产生合成文本帧。新闻图标包括图像、图形元素等,它们出现在主持人镜头中,用于总结新闻文章的内容。
发明内容
本发明旨在提供其中包括文本信息的表示的视频数据流的自动摘要。
根据本发明一方面,这通过一种产生视频数据流摘要的方法来实现,该方法包括以下步骤:检测显示在视频数据流中的文本信息的表示;产生视频数据流摘要,所述摘要包括从所述视频数据流选择的多个帧的,其中在至少一个所选择的没有文本信息的视频数据流的帧中,合并了在先前或相继帧中检测到的文本信息。
根据本发明另一方面,这还通过一种产生视频数据流摘要的设备来实现,所述设备包括:检测器,用于检测显示在视频数据流中的文本信息的表示;用于产生视频数据流摘要的装置,所述摘要包括从所述视频数据流选择的多个帧,其中在至少一个所选择的没有文本信息的视频数据流的帧中,合并了在先前或相继帧中检测到的文本信息。
可以通过以下方法产生摘要:将检测到的文本信息合并到至少一个其它帧中,并且选择多个帧来产生包括合并所述检测到的文本信息的该至少一个其它帧的摘要。可选地,通过选择多个帧并且合并所述检测到的文本信息来产生摘要。通过这种方式,摘要将自动包括显示在不一定包括在该摘要中的帧中的信息,以便确保用户具有所有可用信息(例如最新的比分、或比赛的各种统计信息等)。
在优选实施例中,可以识别目标对象,并且在数据(例如他们的名字等)出现在摘要中时,可以显示所述数据。
附图说明
为了更完整地理解本发明,现在结合附图参考以下描述,其中:
图1是根据第一实施例的设备的简化示意图;
图2是根据第二实施例的设备的简化示意图。
具体实施方式
现在将参照图1描述本发明的第一实施例。设备100包括输入端子101。输入端子101连接到检测器103,检测器103用于例如使用任何已知的方法(例如D.Zhang,P.K.Rajendran和S.F.Chang,“Generaland domain specific techniques for detecting and recognizingsuperimposed text in video”,IEEE 2002 International Conference onImage Processing,Rochester,NY)自动检测文本信息(例如屏上图形信息数据或者物理记分板)的表示。
检测器103连接到本地存储装置(剪贴板)105和粘贴装置107。粘贴装置107连接到摘要产生器109。摘要产生器109连接到存储装置111和输出端子113。
现在将更详细地描述该设备的操作。在输入端子101输入视频数据流(例如体育广播)。该视频数据流包括多个帧。检测器103检测显示在输入视频数据流的帧中的文本信息的表示,该文本信息被提取并且存储在本地存储装置105中。与其中显示该文本信息的帧相关的数据也被记录在本地存储装置105中。
然后输入视频数据流输入到粘贴装置107,在粘贴装置107中,没有文本信息的帧(或者至少一个帧)被识别,并且存储在本地存储装置(105)中的先前或相继帧中的文本信息的表示被粘贴到没有文本信息的帧中。
待粘贴的文本信息的表示可以被选择为已经显示在与没有文本信息的帧最近的帧中的信息。通过这种方式,最相关的文本信息显示在摘要的那个帧中。可以基于显示在先前的一个(或多个)帧中来选择文本信息的表示,并且文本可以粘贴到没有文本信息的所有后续帧中,直到检测到新的文本信息。
然后摘要产生器109通过选择包含事件的帧(例如检测重放和慢动作场景的出现)来对编辑过的视频数据流产生摘要。现在,由于附加的帧(优先地,所有的帧)包括文本信息的表示,因此摘要现在将包括文本信息。摘要可以存储在存储装置111中,并且当需要时在输出端子113上输出用于回放。
现在将参照图2来描述本发明的第二实施例。设备200包括第一输入端子201和第二输入端子202。第一输入端子201连接到摘要产生器109,类似于图1。第二输入端子202连接到检测器103。检测器103如第一实施例中那样连接到本地存储装置105。检测器103和摘要产生器109连接到粘贴装置107。粘贴装置107连接到存储装置111和输出端子213。
图2的设备200的元件与图1的设备100的对应元件类似,并且在这里将不再说明它们操作的详细描述。摘要产生器109通过从在第一输入端子201上输入的视频数据流中选择多个帧来产生摘要。做过摘要的视频数据流然后输入到粘贴装置107,参照第一实施例所描述的由检测器103检测并且提取的文本信息被合并到所述做过摘要的视频数据流。编辑过的摘要然后在输出端子203上输出或者存储到存储装置111中,以根据需要稍后进行回放。
文本信息的表示可以包括体育事件的比分的屏上图形表示,或者可以包括其它数据(例如关于具体运动员、比赛、上下文等的各种统计数字和信息),或者可选地可以是由视频捕获的物理记分板。
检测到的文本信息也可以包括与其上下文相关(例如当显示运动员时显示关于该运动员的统计数字)并且当同样的上下文(例如同一运动员)出现在摘要中时显示在摘要中的信息。在这方面,可以通过提取面部特征并且使用已知的识别技术来识别运动员,然后在该运动员在摘要中随后出现时,可以显示与该运动员关联的文本信息。
该设备可以用在数字视频记录器、电视机、自动摘要系统、视频点播系统等中。
虽然已经在附图中示出并且在前面的描述中描述了本发明的优选实施例,但应理解,本发明并不限于所公开的实施例,而是能够在不脱离所附权利要求书中陈述的本发明的范围的情况下进行许多修改。本发明在于每一个新颖的特有特征和特有特征的每一个组合。权利要求中的标号不限制它们的保护范围。动词“包括”及其变形的使用不排除除了权利要求中声明的那些元件之外的元件的存在。在元件前使用冠词“一”不排除存在多个这样的元件。
如对本领域技术人员显而易见的是,“装置”意味着包括任何硬件(例如分离的或集成的电路或电子元件)或软件(例如程序或程序部分),它们在操作中执行,或被设计为执行指定的功能,不论是独立的或者与其他功能结合,不论是隔离的或者与其他元件协同操作。本发明可以通过包括若干独特元件的硬件和适当编程的计算机来实现。在列举了若干装置的设备权利要求中,这些装置中的若干装置可以通过同一个硬件物品来实施。“计算机程序产品”应该理解为表示存储在计算机可读介质上的(例如软盘),通过网络(例如因特网)可下载的,或以任何其它方式市售的任何软件产品。
Claims (7)
1.一种产生视频数据流的摘要的方法,该方法包括以下步骤:
检测显示在视频数据流中的文本信息的表示;
产生所述视频数据流的摘要,所述摘要包括从所述视频数据流选择的多个帧,其中在至少一个所选择的没有文本信息的视频数据流的帧中,合并了在先前或相继帧中检测到的文本信息。
2.根据权利要求1中的方法,其中,产生所述视频数据流的摘要的步骤包括以下步骤:
将所述检测到的文本信息的表示合并到所述视频数据流的至少一个其它帧中;
选择所述多个帧来产生所述摘要,所述多个帧包括合并所述检测到的文本信息的表示的所述至少一个其它帧。
3.根据权利要求1中的方法,其中,产生所述视频数据流的摘要的步骤包括以下步骤:
选择所述多个帧来产生所述摘要;
将检测的文本信息的表示合并到至少一个所述选择的帧中。
4.根据权利要求1中的方法,其中,所述检测到的文本信息的表示被合并到所有后续帧中,直到检测到新的文本信息的表示。
5.根据权利要求1中的方法,其中,该方法进一步包括以下步骤:
识别所述视频数据流中的对象;以及
产生所述视频数据流的摘要,所述视频数据流的摘要在后续出现所述识别的对象时显示检测到的与所述识别的对象关联的文本信息的表示。
6.根据权利要求1中的方法,其中,所述文本信息的表示包括比分的指示。
7.一种用于产生视频数据流的摘要的设备,该设备包括:
检测器,用于检测显示在视频数据流中的文本信息的表示;
用于产生所述视频数据流的摘要的装置,所述摘要包括从所述视频数据流选择的多个帧,其中在至少一个所选择的没有文本信息的视频数据流的帧中,合并了在先前或相继帧中检测到的文本信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP06123981 | 2006-11-14 | ||
EP06123981.0 | 2006-11-14 | ||
PCT/IB2007/054558 WO2008059416A1 (en) | 2006-11-14 | 2007-11-09 | Method and apparatus for generating a summary of a video data stream |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101553814A CN101553814A (zh) | 2009-10-07 |
CN101553814B true CN101553814B (zh) | 2012-04-25 |
Family
ID=39125224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800423343A Expired - Fee Related CN101553814B (zh) | 2006-11-14 | 2007-11-09 | 用于产生视频数据流摘要的方法和设备 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20100002137A1 (zh) |
EP (1) | EP2089820B1 (zh) |
JP (1) | JP2010509830A (zh) |
KR (1) | KR20090079262A (zh) |
CN (1) | CN101553814B (zh) |
WO (1) | WO2008059416A1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10091552B2 (en) * | 2012-09-19 | 2018-10-02 | Rovi Guides, Inc. | Methods and systems for selecting optimized viewing portions |
KR20140040474A (ko) * | 2012-09-26 | 2014-04-03 | 한국전자통신연구원 | 비디오 요약 장치, 방법 및 시스템 |
KR102070924B1 (ko) * | 2014-01-20 | 2020-01-29 | 한화테크윈 주식회사 | 영상 기록 시스템 |
CN105100893A (zh) * | 2014-04-21 | 2015-11-25 | 联想(北京)有限公司 | 一种视频分享的方法和装置 |
US10681408B2 (en) * | 2015-05-11 | 2020-06-09 | David Leiberman | Systems and methods for creating composite videos |
CN108353213A (zh) * | 2015-10-30 | 2018-07-31 | 惠普发展公司,有限责任合伙企业 | 视频内容概括和类选择 |
US20180295427A1 (en) * | 2017-04-07 | 2018-10-11 | David Leiberman | Systems and methods for creating composite videos |
US11036995B2 (en) | 2019-01-25 | 2021-06-15 | Gracenote, Inc. | Methods and systems for scoreboard region detection |
US11087161B2 (en) | 2019-01-25 | 2021-08-10 | Gracenote, Inc. | Methods and systems for determining accuracy of sport-related information extracted from digital video frames |
US11805283B2 (en) | 2019-01-25 | 2023-10-31 | Gracenote, Inc. | Methods and systems for extracting sport-related information from digital video frames |
US11010627B2 (en) | 2019-01-25 | 2021-05-18 | Gracenote, Inc. | Methods and systems for scoreboard text region detection |
US10997424B2 (en) | 2019-01-25 | 2021-05-04 | Gracenote, Inc. | Methods and systems for sport data extraction |
JP7464437B2 (ja) | 2020-04-23 | 2024-04-09 | 株式会社Nttドコモ | 情報処理装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005062610A1 (en) * | 2003-12-18 | 2005-07-07 | Koninklijke Philips Electronics N.V. | Method and circuit for creating a multimedia summary of a stream of audiovisual data |
CN1795506A (zh) * | 2003-05-26 | 2006-06-28 | 皇家飞利浦电子股份有限公司 | 用于产生视听节目内容的视听概要的系统和方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10232884A (ja) * | 1996-11-29 | 1998-09-02 | Media Rinku Syst:Kk | 映像ソフトウェア処理方法及び映像ソフトウェア処理装置 |
JP2002033993A (ja) * | 2000-07-17 | 2002-01-31 | Sanyo Electric Co Ltd | 映像記録再生装置 |
KR100411340B1 (ko) | 2001-03-09 | 2003-12-18 | 엘지전자 주식회사 | 뉴스 비디오 콘텐트의 뉴스 기사 기반 요약 및 브라우징시스템 |
KR100374040B1 (ko) * | 2001-03-09 | 2003-03-03 | 엘지전자 주식회사 | 비디오 텍스트 합성 키 프레임 추출방법 |
US7474698B2 (en) * | 2001-10-19 | 2009-01-06 | Sharp Laboratories Of America, Inc. | Identification of replay segments |
US8214741B2 (en) * | 2002-03-19 | 2012-07-03 | Sharp Laboratories Of America, Inc. | Synchronization of video and data |
KR100486709B1 (ko) * | 2002-04-17 | 2005-05-03 | 삼성전자주식회사 | 객체기반 대화형 동영상 서비스 시스템 및 그 방법 |
KR100612862B1 (ko) * | 2004-10-05 | 2006-08-14 | 삼성전자주식회사 | 스포츠 동영상의 요약 방법 및 장치 |
EP1955205B1 (en) * | 2005-11-15 | 2012-08-29 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for producing a video synopsis |
-
2007
- 2007-11-09 CN CN2007800423343A patent/CN101553814B/zh not_active Expired - Fee Related
- 2007-11-09 JP JP2009535865A patent/JP2010509830A/ja active Pending
- 2007-11-09 WO PCT/IB2007/054558 patent/WO2008059416A1/en active Application Filing
- 2007-11-09 US US12/514,149 patent/US20100002137A1/en not_active Abandoned
- 2007-11-09 KR KR1020097012192A patent/KR20090079262A/ko not_active Application Discontinuation
- 2007-11-09 EP EP07827039.4A patent/EP2089820B1/en not_active Not-in-force
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1795506A (zh) * | 2003-05-26 | 2006-06-28 | 皇家飞利浦电子股份有限公司 | 用于产生视听节目内容的视听概要的系统和方法 |
WO2005062610A1 (en) * | 2003-12-18 | 2005-07-07 | Koninklijke Philips Electronics N.V. | Method and circuit for creating a multimedia summary of a stream of audiovisual data |
Also Published As
Publication number | Publication date |
---|---|
WO2008059416A1 (en) | 2008-05-22 |
US20100002137A1 (en) | 2010-01-07 |
EP2089820A1 (en) | 2009-08-19 |
CN101553814A (zh) | 2009-10-07 |
JP2010509830A (ja) | 2010-03-25 |
EP2089820B1 (en) | 2013-08-21 |
KR20090079262A (ko) | 2009-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101553814B (zh) | 用于产生视频数据流摘要的方法和设备 | |
JP7511482B2 (ja) | 埋め込まれた情報カード位置特定およびコンテンツ抽出のためのビデオ処理 | |
KR101994592B1 (ko) | 비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템 | |
CN101398843B (zh) | 用于浏览视频概要描述数据的设备及方法 | |
CN109657100B (zh) | 视频集锦生成方法及装置、电子设备及存储介质 | |
JP4643829B2 (ja) | ビデオフレーム中の検出されたテキストを使用してビデオコンテンツを分析するシステム及び方法 | |
CN103052953B (zh) | 信息处理设备、信息处理方法 | |
US8750681B2 (en) | Electronic apparatus, content recommendation method, and program therefor | |
US9510044B1 (en) | TV content segmentation, categorization and identification and time-aligned applications | |
US7949207B2 (en) | Video structuring device and method | |
US20130124551A1 (en) | Obtaining keywords for searching | |
EP2204747A1 (en) | Identification of segments within audio, video, and multimedia items | |
JP5135024B2 (ja) | コンテンツのシーン出現を通知する装置、方法およびプログラム | |
KR20160057864A (ko) | 요약 컨텐츠를 생성하는 전자 장치 및 그 방법 | |
CN101868795A (zh) | 生成视频摘要的方法 | |
CN102194493A (zh) | 图像处理装置、图像处理方法以及图像处理系统 | |
JP2012010265A (ja) | 要約映像生成装置及び要約映像生成プログラム | |
CN107239503A (zh) | 视频展示方法及装置 | |
CN106713973A (zh) | 搜索节目的方法及装置 | |
CN107180058B (zh) | 一种用于基于字幕信息进行查询的方法和装置 | |
Anjum et al. | Video summarization: Sports highlights generation | |
Li et al. | Bridging the semantic gap in sports | |
Yu et al. | Interactive broadcast services for live soccer video based on instant semantics acquisition | |
JP5410128B2 (ja) | コンテンツ表示制御装置、コンテンツ表示制御方法、プログラム、記録媒体 | |
Smith et al. | Multimodal video characterization and summarization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120425 Termination date: 20121109 |