CN1441596A - 视频合成和编辑方法 - Google Patents

视频合成和编辑方法 Download PDF

Info

Publication number
CN1441596A
CN1441596A CN03106310A CN03106310A CN1441596A CN 1441596 A CN1441596 A CN 1441596A CN 03106310 A CN03106310 A CN 03106310A CN 03106310 A CN03106310 A CN 03106310A CN 1441596 A CN1441596 A CN 1441596A
Authority
CN
China
Prior art keywords
input material
plan
image
image sequence
description
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN03106310A
Other languages
English (en)
Inventor
B·莫里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1441596A publication Critical patent/CN1441596A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明提出了一种视频合成和编辑方法，其易于使用并可被实施于仅具有有限显示和/或计算能力的消费者设备上。本发明包括采用视频输入材料Vi的描述(如，例如MPEG－7类型的描述)，以及要求用户提供多部分计划，用于他希望作为输出而获得的视频材料Vo。然后计划被逐部分地分析以产生涉及每个部分的搜索准则。然后在描述D中搜索所产生的每个搜索准则。以这种方式被选择的视频段被并列以形成视频输出材料。非专业视频合成和编辑，拍静止或移动画面的数字照相机。

Description

视频合成和编辑方法
发明领域
本发明涉及一种合成和编辑方法，用于从包括图像和/或图像序列的输入材料产生输出材料。本发明亦涉及一种包括指令的程序，该指令用于当程序由处理器运行时实施这种合成和编辑方法。
本发明亦涉及一项电子设备，其被装配有用于读取包括图像和/或图像序列的输入材料的装置，并有用于处理所述输入材料以从所述输入材料产生输出材料的装置。
发明背景
US专利5,404,316描述了一种使得视频编辑能被实现的视频处理方法。被描述于该专利的方法适用于专业应用。它过于复杂以至于不能由一般公众来使用，它亦是过于复杂的以至于不能被实施于仅具有有限处理和/或显示能力的消费者电子设备上，并特别是在便携式电子设备上。
发明内容
本发明的目的是提出一种预期由一般公众使用的合成和编辑方法，其能被实施于仅具有有限处理和/或显示能力的消费者电子设备上，如在拍静止或移动画面的数字照相机上。
这个目的通过如在起始段中所述的、依照本发明的合成和编辑方法而被实现，其特征在于它包括：
用于获得在多个部分中并涉及所述输出材料的计划的至少一个步骤，
用于从所述输入材料的描述选择对应于所述部分的图像和/或图像序列的至少一个步骤，
用于依照所述计划按顺序放置所选图像和/或图像序列的至少一个步骤。
任选地，为允许产生所述描述，依照本发明的合成和编辑方法亦可包括：
-用于从所述输入材料自动提取结构的步骤，
-用于从由用户提供的语义信息来注释(annotate)所述结构的步骤。
因此，依照本发明，取代进行常规合成和编辑操作如选择、剪接和整理(collate)图像或图像序列，用户提供了用于输出材料的计划，并且在特定情况下，他注释所述输入材料的结构特征，所述结构由自动提取而获得。然后通过遵循由用户限定的计划，合成和编辑被自动进行。
用于输出材料的计划和语义信息由用户以其自然语言提供，如通过使用键盘手动地或通过使用语音识别工具口头地提供。
至此，由用户依照本发明进行的操作比那些用现有技术合成和编辑方法进行的简单。他们不需要任何专门技能。具体来说，不需要知道如何正确操作计算机化的工具以使用依照本发明的合成和编辑方法。
而且，不必要有可用的复杂用户界面以实施依照本发明的合成和编辑方法。因此，本发明可被实施以各种各样的电子设备项并特别是便携式电子设备项，如拍静止或移动画面的数字照相机。
本发明亦具有这样的优点：使得用户能修改所获得的合成，并简单地且按他所希望的次数这样做。这是因为一组视频输出材料Vo可为依照本发明的合成和编辑方法的再运行而形成新的输入材料Vi’。获得新合成所需要的指示欲被修订的计划P，如通过例如删除或移动语句。
附图简述
本发明的这些和其它方面从以下所述的实施例来看是显然的，并将参照这些实施例被说明。
在通过非限定的实例给出的附图中：
图1为示出依照本发明的合成和编辑方法主要步骤的图。
图2示出依照本发明的一项电子设备的实例。
发明实施例描述
图1中所示为总结依照本发明的合成和编辑方法各个步骤的图。依照本发明的合成和编辑方法允许通过考虑由用户U限定的指令，从包括图像和/或图像序列的输入材料Vi产生输出材料Vo。
依照本发明的合成和编辑方法利用了输入材料Vi的描述D。
依照本发明的方法包括步骤S1，用于获得涉及用户希望获得的输出材料的计划P。这个计划P由用户U来限定。它包括多个部分Tj(j＝1...N)。
依照本发明的方法包括选择步骤S2，用于从描述D选择对应于计划P的每个部分Tj的图像和/或图像序列。它亦包括排序步骤S3，用于按顺序放置根据计划P选择的图像和/或图像序列。
为实现步骤S2和S3，计划P被逐部分地运行。对于每个部分Tj：
-用于部分Tj的内容的逻辑分析的步骤S2-1使得涉及所述部分的搜索准则被产生，
-用于在描述D中进行搜索的步骤S2-2使得符合搜索准则Q(Tj)的一个或多个图像和/或图像序列VS(j，kj)被选择，
-以及排序步骤S3包括将所选图像和/或图像序列加给先前所选图像和/或图像序列的序列(succession)。
图像和/或图像序列的序列(succession)在最后的结尾处被获得，排序步骤S3形成输出材料Vo。这个输出材料Vo可为步骤S1、S2和S3的再运行而形成新的输入材料Vi’。当情况是这样时，在步骤S1中，用户可限定新计划P’或通过附加、删除或移动一个或多个部分Tj来修订原计划P。
依照本发明的合成和编辑方法有利地包括用于产生描述D的任选步骤S0。当没有可用于输入材料Vi的描述时，步骤S0被进行。步骤S0有利地包括：
-用于从输入材料Vi自动提取结构的步骤S0-1，
-用于从由用户提供的语义信息来注释所述结构的步骤S0-2。
用于产生这种输入材料的描述的工具被描述于例如名为“A Surveyon the automatic Indexing of Video Data(有关视频数据的自动索引的调查)”的文章，其由R.Brunelli、O.Mich和C.M.Modena在出版物“Journal of Visual Communication and ImageRepresentation(可视通信和图像表示期刊)”10，78-112(1999)中发表。
由这种类型的工具产生的描述有利地遵循MPEG-7标准。MPEG-7描述为视频段的分级结构，其包括为MPEG-7标准中限定的描述符的实例的元素。在MPEG-7标准中限定的描述符中是这样的描述符，其意欲被用于描述不能自动从输入材料(如上下文、位置、时间、动作、对象、人物等)推出的概念性方面的描述符。作为这种描述符的实例的元素内容必须由操作者来提供。当依照本发明的合成和编辑方法包括用于产生描述D的步骤S0时，为这种描述符实例的元素内容通过由用户U提供的语义信息I来形成。
为使得在计划P和描述D之间建立对应，有必要使计划P和语义信息I以相同的语言来限定，如以用户U所讲的语言。如果情况是这样，计划P的每个部分Tj由一语句形成。计划P和语义信息I通过使用键盘手动地或通过使用声音识别装置口头地输入。
现在针对由用户在其假期内所拍的视频序列形成的输入材料给出描述D的实例(描述D为遵循MPEG-7标准的描述；其以由W3C联合企业定义的XML markup语言编写)：描述的实例
Figure A0310631000091
Figure A0310631000101
在这个实例中，语义信息I的项被以黑体字母来表示。该描述包括涉及整个输入材料Vi的被称为<Audio Visual>的段。这个<AudioVisual>段又包括涉及4个视频段的4个被称为<Segment>的实体。<Segment>实体具体包括分别描述动作特性、动作发生的地方、动作的时间和动作如何发生的被称为<WhatAction>、<Where>、<When>和<How>的实体，并且它们包含语义信息。<Audio Visual>段和<Segment>实体每个都具有包含标题的属性“id”。这个标题亦为语义信息。
现在将给出计划P的实例，其可被用于从被描述于以上描述中的输入材料Vi产生输出材料Vo：
计划实例
“During the vacation we spent two days in Paris.Wes tayedat the Beauséjour hotel.We had a walk round the Pantheon.Wealso visited the Eiffel tower.We finished our trip with aromantic evening meal.
在这个实例中，输出材料将包括被包含于输入材料Vi的4个视频段，但被再安排如下：“Arrival in Paris”、“Our hotel”、“A walkround the Pantheon”、“Visit to the Eiffel Tower”、“Romanticevening meal”，
为实施用于确定搜索准则的步骤S2-1，有多个实施例可被使用。
在第一实施例中，搜索准则由整个语句形成。
在第二实施例中，一个或多个有效字(significant)被从语句Tj提取(例如通过使用字典来删除不需要的字，如字之间的冠词、介词和连词等)。然后所提取的字被相互独立地使用以形成搜索准则。
在第三实施例中，以在有效字之间建立逻辑连接的方式来进行语法分析，而所提取的字然后被组合使用以形成搜索准则。语法分析亦有利地被用于确定对包含于搜索准则中的每个字或字的组合搜索应覆盖的描述符。例如，如果语法分析表明语句中的第一有效字为涉及人物的适当名词，对这个第一字而将被仔细检查(scrutinize)的描述符将是“Who”描述符。如果语法分析表明语句中的第二有效字为地方，对这个第二字而将被仔细检查的描述符将是“Where”描述符，等等。如果情况是这样，符合搜索准则的<Segment>视频段是这样的：
-<Who>元素包含所述第一字，
-并且<Where>元素包含所述第二字。
在图2中，所示为依照本发明的电子设备项的实例。如图2中所示，依照本发明的设备项10包括用于读取输入材料Vi的装置11、程序存储器12和处理器14。输入材料Vi被存储于数据存储器15，其可形成或可不形成设备项10的部分。这个数据存储器15可例如由部件如硬盘，或由盘、磁带、磁盘等类型的可拆卸介质来形成。设备项10亦包括用户界面16，其使得至少用户能输入计划P以实现依照本发明的合成和编辑方法。任选地，用户界面16亦使得欲被用于注释输入材料Vi的描述的语义信息I能被输入。在第一实施例中，界面16为声音界面。它包括话筒和被存储于程序存储器12的软件语音识别装置。作为任选项，它亦可包括显示屏幕。在第二实施例中，界面16为触摸界面。它包括例如键盘和显示屏幕或触摸屏幕。
程序存储器12具体包含程序CP，其包括当程序CP由处理器14运行时，用于实施依照本发明的合成和编辑方法的指令。由依照本发明的合成和编辑方法产生的输出材料Vo例如被存储于数据存储器15。
在某些情况下，设备项10亦包括用于捕获输入材料Vi的装置20。

Claims (8)

1.一种合成和编辑方法，用于从包括图像和/或图像序列的至少一项输入材料(Vi)产生输出材料(Vo)，特征在于它包括：
-用于获得在多个部分(Tj)中并涉及所述输出材料的计划(P)的至少一个步骤(S1)，
-用于从所述输入材料的描述(D)选择对应于所述部分的图像和/或图像序列的至少一个步骤(S2)，
-用于依照所述计划按顺序放置所选图像和/或图像序列的至少一个步骤(S3)。
2.权利要求1的合成和编辑方法，特征在于，它包括产生所述描述的：
-步骤(S0-1)，用于从所述输入材料自动提取结构，
-步骤(S0-2)，用于从由用户(U)提供的语义信息(I)来注释所述结构。
3.权利要求1的合成和编辑方法，特征在于所述选择步骤包括：
-步骤(S2-1)，用于分析所述计划(P)以产生涉及每个所述部分(Tj)的至少一个搜索准则(Q(Tj))，
-步骤(S2-2)，用于在所述描述(D)中搜索满足每个搜索准则(Q(Tj))的一个或多个图像和/或图像序列。
4.一项电子设备，其被装配有用于读取包括图像和/或图像序列的输入材料(Vi)的装置(11)，并有用于处理所述输入材料以从所述输入材料产生输出材料(Vo)的装置(12、14、16、CP)，特征在于所述处理装置包括：
-用于获得在多个部分中并涉及所述输出材料的计划的装置，
-用于从所述输入材料的描述选择对应于所述部分的图像和/或图像序列的装置，
-用于依照所述计划按顺序放置所选图像和/或图像序列的装置。
5.权利要求4的一项电子设备，特征在于所述选择装置包括：
-用于分析所述计划以产生涉及每个所述部分的至少一个搜索准则的装置，
-用于在所述描述中搜索满足每个搜索准则的一个或多个图像和/或图像序列的装置。
6.权利要求4的一项电子设备，特征在于为产生所述描述，它包括：
-用于从所述输入材料自动提取结构的装置，
-用于从由用户提供的语义信息来注释所述结构的装置。
7.权利要求4的一项电子设备，特征在于它包括用于捕获所述输入材料的装置(20)。
8.一种包括指令的程序(CP)，该指令用于当所述程序由处理器(14)运行时实施权利要求1和2两者之一的合成和编辑方法。
CN03106310A 2002-02-26 2003-02-21 视频合成和编辑方法 Pending CN1441596A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR02/02396 2002-02-26
FR0202396A FR2836567A1 (fr) 2002-02-26 2002-02-26 Procede de montage video

Publications (1)

Publication Number Publication Date
CN1441596A true CN1441596A (zh) 2003-09-10

Family

ID=27636434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN03106310A Pending CN1441596A (zh) 2002-02-26 2003-02-21 视频合成和编辑方法

Country Status (6)

Country Link
US (1) US20030170002A1 (zh)
EP (1) EP1339061A1 (zh)
JP (1) JP2003274355A (zh)
KR (1) KR20030070856A (zh)
CN (1) CN1441596A (zh)
FR (1) FR2836567A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI235962B (en) * 2003-06-06 2005-07-11 Ind Tech Res Inst Method for converting high level motion scripts to computer animations
US7716572B2 (en) 2006-07-14 2010-05-11 Muvee Technologies Pte Ltd. Creating a new music video by intercutting user-supplied visual data with a pre-existing music video
US20090079840A1 (en) * 2007-09-25 2009-03-26 Motorola, Inc. Method for intelligently creating, consuming, and sharing video content on mobile devices

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404316A (en) * 1992-08-03 1995-04-04 Spectra Group Ltd., Inc. Desktop digital video processing system
US6038368A (en) * 1996-02-05 2000-03-14 Sony Corporation System for acquiring, reviewing, and editing sports video segments
US20030091329A1 (en) * 1997-04-12 2003-05-15 Tetsuro Nakata Editing system and editing method
EP0899737A3 (en) * 1997-08-18 1999-08-25 Tektronix, Inc. Script recognition using speech recognition
US6336093B2 (en) * 1998-01-16 2002-01-01 Avid Technology, Inc. Apparatus and method using speech recognition and scripts to capture author and playback synchronized audio and video
GB2335125A (en) * 1998-03-04 1999-09-08 Ibm System and method for creating or editing mutimedia presentation
WO2001028238A2 (en) * 1999-10-08 2001-04-19 Sarnoff Corporation Method and apparatus for enhancing and indexing video and audio signals
ATE398382T1 (de) * 1999-12-16 2008-07-15 Muvee Technologies Pte Ltd System und verfahren zur videoproduktion
GB2361128A (en) * 2000-04-05 2001-10-10 Sony Uk Ltd Video and/or audio processing apparatus

Also Published As

Publication number Publication date
JP2003274355A (ja) 2003-09-26
FR2836567A1 (fr) 2003-08-29
KR20030070856A (ko) 2003-09-02
US20030170002A1 (en) 2003-09-11
EP1339061A1 (fr) 2003-08-27

Similar Documents

Publication Publication Date Title
US7739601B1 (en) Media authoring and presentation
Smith et al. Parsing Movies in Context.
Vinet et al. The cuidado project
JPH06110945A (ja) 音楽データベース作成装置及びその検索装置
US20080313158A1 (en) Database file management system, integration module and browsing interface of database file management system, database file management method
Boyer et al. Audio descriptors and descriptor schemes in the context of MPEG-7
Stamou et al. Multimedia content and the semantic Web
US20050216913A1 (en) Annotating / rating / organizing / relating content rendered on computer device during idle mode thereof
CN106790558B (zh) 一种影片多版本整合存储和提取系统
Xambo Sedo et al. Live repurposing of sounds: Mir explorations with personal and crowdsourced databases
WO2021167238A1 (ko) 내용 기반 동영상 목차 자동생성 방법 및 시스템
JP2003256432A (ja) 映像素材情報記述方法、遠隔検索システム、遠隔検索方法、編集装置および遠隔検索端末、遠隔編集システム、遠隔編集方法、編集装置および遠隔編集端末、ならびに、映像素材情報記憶装置および方法
CN1441596A (zh) 视频合成和编辑方法
US20020062210A1 (en) Voice input system for indexed storage of speech
Li et al. Dynamic object clustering for video database manipulations
Zhang et al. A video database system for digital libraries
JP2004046870A (ja) 情報単位群操作装置
JPH0668168A (ja) 音響キーワードによる映像検索方法および装置
Egyed-Zsigmond et al. A graph based audio-visual document annotation and browsing system.
Bond Streaming audio from African‐American oral history collections
Fingerhut et al. Filling gaps between current musicological practice and computer technology at ircam
WO2006030995A1 (en) Index-based authoring and editing system for video contents
Hirzalla et al. A multimedia query user interface
Purswani et al. Content based Multimedia Retrieval using Automatic Speech Recognition
JP2005303840A (ja) 動画編集装置及び動画編集方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned