CN116801003A - 用于根据脚本自动制作视频节目的方法和系统 - Google Patents

用于根据脚本自动制作视频节目的方法和系统 Download PDF

Info

Publication number
CN116801003A
CN116801003A CN202310765361.4A CN202310765361A CN116801003A CN 116801003 A CN116801003 A CN 116801003A CN 202310765361 A CN202310765361 A CN 202310765361A CN 116801003 A CN116801003 A CN 116801003A
Authority
CN
China
Prior art keywords
media asset
video
text
content
script
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310765361.4A
Other languages
English (en)
Inventor
保罗·沈
克里斯托弗·拜尔
马修·理查德·麦克尤恩
贾斯汀·陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TVU Networks Corp
Original Assignee
TVU Networks Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TVU Networks Corp filed Critical TVU Networks Corp
Publication of CN116801003A publication Critical patent/CN116801003A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8186—Monomedia components thereof involving executable data, e.g. software specially adapted to be executed by a peripheral of the client device, e.g. by a reprogrammable remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/278—Content descriptor database or directory service for end-user access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45457—Input to filtering algorithms, e.g. filtering a region of the image applied to a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及用于根据脚本自动制作视频节目的方法和系统。在内容数据库中记录和/或存储各种媒体资产，连同与所述媒体资产中的每一个有关的元数据。以唯一内容ID标记每个媒体资产，所述唯一内容ID使所述元数据与所述媒体资产相关联。接着索引化所述媒体资产。接着使用自然语言处理来分析来自脚本的文本以定位一或多个相关索引化媒体资产。根据所述脚本而将所定位一或多个媒体资产汇编成视频节目。

Description

用于根据脚本自动制作视频节目的方法和系统
分案申请的相关信息
本申请是申请号为201910277353.9、申请日为2019年4月8日、发明名称为“用于根据脚本自动制作视频节目的方法和系统”的中国发明专利申请的分案申请。
本申请要求2018年4月5日提交的第62/653,066号美国临时申请(包含附录)的权益，所述美国临时申请出于所有目的而全文并入本文中且以引用方式成为本文的一部分。
技术领域
本发明涉及视频制作的领域。更具体地说，本发明涉及视频内容的自动化制作，包含如何使用各种功能模块以创建自动化制作过程来标记、索引化并组合媒体内容。本发明提供用于根据书面脚本而自动创建视频节目的方法、系统和设备。
背景技术
视频制作过程是极其人为驱动的过程。原始视频材料在视频制作过程中被视为被动成分。制作最终视频节目目前需要人为参与制作过程的每个步骤。即使制片人依据脚本进行工作并知道倾向观众的一切，制作成本还是极高的。
降低制作成本并使视频制作方法中的一些或全部自动化将是有利的，从而至少省去一些人为参与。
本发明的方法、设备和系统提供前述和其它优点。
发明内容
本发明涉及用于根据书面脚本而自动创建视频节目的方法、系统和设备。
根据一种用于根据脚本而自动制作视频节目的方法的实例实施例，在内容数据库中记录和或存储各种媒体资产，连同与所述媒体资产中的每一个有关的元数据。以唯一内容ID标记每个媒体资产，所述唯一内容ID使所述元数据与所述媒体资产相关联。接着索引化所述媒体资产。接着使用自然语言处理来分析来自脚本的文本以定位一或多个相关索引化媒体资产。根据所述脚本而将所述所定位一或多个媒体资产汇编成视频节目。
所述方法可进一步包括将时间代码分配给媒体资产的每个帧，并使所述时间代码与对应媒体资产的元数据相关联。所述时间代码可包括时间戳或序列号中的一个。
所述索引化可包括分析来自所述媒体资产的图像以辨识包括物品、动作和人中的至少一个的特征。可确定与所述特征中的至少一些相关联的关键词。可将来自所述媒体资产的语音转换成文本。可使所述特征、关键词和文本与所述媒体资产的所述内容ID连同所述时间代码相关联，从而识别所述特征、关键词、和文本在所述媒体资产内的位置。可在所述内容数据库中存储所述特征、关键词和文本连同所述相关联内容ID和所述时间代码。
分析来自所述脚本的所述文本以定位一或多个相关媒体资产可包括将来自所述脚本的文本解析成脚本关键词。可接着搜索所述内容数据库以使用所述自然语言处理来定位与所述脚本关键词相关的所存储元数据、特征、关键词或文本。可接着基于对应元数据、特征、关键词或文本的内容ID和时间代码而获得对应于所述所定位元数据、特征、关键词或文本的一或多个媒体资产。
所述方法可进一步包括利用人类输入来从所述媒体资产确定特征、关键词和文本。
所述媒体资产可包括视频、视频的一部分、视频的单个帧、视频的多个帧和静态图像中的至少一个。
所述视频节目可包括新闻节目、体育节目、天气节目、直播节目、直播事件、娱乐节目等中的一个。
所述媒体资产从用户的记录装置、原始视频连续镜头的记录、电视制作视频内容、第三方内容提供商、用户计算机上的本地存储、云存储等获得。
所述元数据可包括对应媒体资产记录的日期和时间信息和指示记录期间的所述记录装置的记录位置的地理位置信息中的至少一个。所述元数据可进一步包括记录装置位置、视频长度、视频和音频格式、时间代码、视频文件大小、记录装置识别信息、所有权和版权信息、和由所述用户预定义或动态录入的额外元数据信息等中的至少一个。
所述额外元数据信息可包括赋值名称、地理位置、用户名、故事标题、主题参考、节目名称、来源信息、记录设备的类型和用户评论中的至少一个。此额外元数据可通过文本或话音键入，且与所述媒体资产相关联。
所述以所述内容ID标记每个媒体资产可包括以规则间隔将所述内容ID插入到所述媒体资产的视频流中。所述以所述内容ID标记每个媒体资产可包括以下各项中的一个：在所述媒体资产的经压缩视频流中嵌入所述内容ID；在所述媒体资产的经压缩音频流中嵌入所述内容ID；在所述媒体资产的未压缩视频流中嵌入所述内容ID作为水印；在所述媒体资产的未压缩音频流中嵌入所述内容ID作为水印；嵌入所述内容ID作为所述媒体资产的文件名；以及在所述媒体资产的串行数字接口(SDI)信号中嵌入所述内容ID。
所述媒体资产中的至少某些媒体资产可包括特效图形和视频剪辑。可响应于所述脚本中的特效关键词而在所述视频节目中包含此类特效。
所述方法可进一步包括根据目标概况而根据目标个体或目标群组中的一个定制视频节目。
本发明还包含用于执行所述方法的设备和系统。一种用于根据脚本而自动制作视频节目的系统的实例实施例可包括内容数据库，其用于存储各种媒体资产，连同与所述媒体资产中的每一个有关的元数据，并还可包括用于执行以下操作的处理器和一或多个相关联软件平台：以唯一内容ID标记每个媒体资产，所述唯一内容ID使所述元数据与所述媒体资产相关联；索引化所述媒体资产；使用自然语言处理来分析来自脚本的文本以定位一或多个相关索引化媒体资产；以及根据所述脚本而将所述所定位一或多个媒体资产汇编成视频节目。
本发明的系统和设备还可包含上文所论述的方法实施例的各种特征。
附图说明
将在下文中结合附图描述本发明。
图1展示根据本发明的用于自动制作视频节目的系统的框图。
具体实施方式
随后详细描述仅提供示范性实施例，且并不意图限制本发明的范围、适用性或配置。实际上，示范性实施例的随后详细描述将向所属领域的技术人员提供对实施本发明实施例的启发性描述。应理解，在不脱离如在所附权利要求书中所阐述的本发明的精神和范围的情况下，可对元件的功能和布置进行各种改变。
本发明涉及用于针对脚本而自动创建视频节目的方法、系统和设备，所述脚本可根据特定观众定制。
电视台可被视作视频节目的制造商。视频节目的制作过程由以下各项组成：获取材料(拍摄视频连续镜头以获得原材料)、将视频连续镜头发射到制作设施、并进行制作(针对直播或非实况陈述)将原材料汇编到一起以创建视频节目。接着，可将视频节目分发给观众(例如空中广播、点播、串流传输等)。本发明提供用以自动化此视频制作制程的大多数或全部的计算机化方法、设备和系统。
在当前视频制作过程中，可针对特定脚本专门拍摄原始视频连续镜头。在大多数状况下，不使用和/或舍弃95％的原始视频连续镜头。原始视频连续镜头的剩余部分仅用于所述特定节目。在本发明的情况下，可索引化原始视频内容，使得其可易于搜索，从而使得视频内容能够用于可能相关的任何其它视频节目。另外，可有效地推送视频内容，或以其它方式使视频内容对可能够将其再次使用的任何节目可用。此过程可应用于所记录内容或实况内容。
另外，媒体公司(例如，电视台、新闻渠道等等)常常由多个不同平台组成，例如广播、一或多个社交媒体渠道、数字媒体分发平台等。因此，常常需要运用以特定平台和/或观众为目标的不同脚本来制作同一故事。本发明使得能够根据不同平台和观众的脚本的修改而自动修改视频连续镜头。
具体地说，本发明使得能够根据目标个体或群组以及故事或脚本而自动创建专门根据目标个体(或群组)定制的视频节目。系统将自动将书面故事或脚本变成根据特定观众定制的视频节目。举例来说，在创建关于底特律车展的故事时，脚本可以是展示新车型的概述。如果视频节目根据对家用车感兴趣的某人定制，那么将修改视频节目以展示家用车。类似地，可通过在视频节目中展示赛车来针对对赛车感兴趣的某人自动修改同一视频节目。根据脚本和客户(或群组)概况，可在将内容伺服到客户时自动创建最终视频内容。
各种客户、观众、群组或个体概况可存储于中央服务器位置处或局部存储于用以记录或创建视频节目的用户装置上。
系统可用以创建各种类型的视频节目，包含新闻节目、体育、天气、直播节目或赛事、娱乐等等。
系统可完全或部分自动化。但甚至在未全自动化的情况下，本发明将仍在视频制作过程中提供显著的改良和优势。作为实例，在本发明的情况下，可根据其故事和脚本将相关原始视频剪辑自动递送给制片人。制片人可接着作出关于应使用何视频内容和如何使用此视频内容来建构其视频节目的最后决定。
图1展示根据本发明的自动视频制作系统的实例实施例。系统包括硬件/软件平台10，其由若干功能模块组成，包含但不限于：贡献自动化12、AI服务14(包含转录器服务16和对象辨识服务18)、元数据服务20、媒体搜索引擎22、工作流引擎24、开放API 26、制作器28和告警服务30。系统还包括通过网路40与硬件/软件平台10通信的一或多个内容数据库32、新闻系统34和调度系统36。另外，一或多个录像机38可通过网路40将媒体资产(例如，原始视频内容或视频内容的部分)提供给内容数据库32(在本文中还被称作“媒体存储装置”)和硬件/软件平台10。媒体资产可接着由平台10的功能模块使用，如在下文详细描述。
具有用户接口的用户装置44实现与硬件/软件平台10的用户交互。用户接口可包括在具因特网功能的用户装置上运行的应用程序或网络浏览器中的一个。用户装置44可包括计算机、笔记本计算机、便携式计算机、平板计算机、智能电话、智能手表、个人计算装置、具因特网功能的用户装置等中的一个。
录像机38可包括以下各项中的一或多个：摄像机、摄录像机、电视摄像机、电影摄像机、便携式电子装置、平板计算机、智能手机、IP或网络摄像机等等。
网路40可包括有线或无线网络。另外，所属领域的技术人员将了解，平台10的各种功能模块可以软件、硬件、或硬件与软件的组合实施，并可组合成单个装置，或实施于单独装置或使用一或多个计算机处理器的计算机平台上。
媒体资产可由一或多个录像机38记录并自动存储于内容数据库32中。所属领域的技术人员将了解，媒体资产可存储于一或多个数据库32上或从其它来源获得(例如，从用户的记录装置、原始视频连续镜头的记录、电视制作视频内容(例如，新闻系统34)、第三方内容提供商、用户计算机上的本地存储装置、云存储或其它存储装置等获得)。媒体资产可包含音频内容以及视频内容。媒体资产的自动获取可由贡献自动化模块12管理，所述贡献自动化模块还使得能够将内容推送到所有连接的装置。
还可在数据库中记录并存储与媒体资产中的每一个有关的元数据。所属领域的技术人员将了解，元数据可连同媒体资产存储于内容数据库32中，或存储于单独元数据数据库中。举例来说，单独元数据数据库可提供为元数据服务模块20的部分。
元数据可包括记录的日期和时间信息和指示记录期间的记录装置38的记录位置的地理位置信息(例如，GPS数据)。元数据信息可进一步包括以下各项中的至少一个：记录装置位置、视频长度、视频和音频格式、时间码、视频文件大小、记录装置识别信息、所有权和版权信息，和由用户预定义或动态录入的额外元数据信息。额外元数据信息(由用户预定义或录入)可包括赋值名称、地理位置、用户名、故事标题、主题参考、节目名称、来源信息、记录设备类型和用户评论等中的至少一个。额外元数据可通过文本或话音键入，且通过贡献自动化模块12与媒体资产相关联。而且，可通过AI服务14创建元数据来用于辨识媒体资产内的语音和对象。通过指示媒体资产中的语音和对象的位置的唯一内容ID和时间代码，那些内容特定元数据与媒体资产相关联。可通过元数据信息中的任一个或元数据信息中的任一个的组合搜索媒体资产。
AI服务14实现语音转文本识别，使得媒体资产中的任何语音可转换成文本。可接着将文本存储于内容数据库32中，并使用内容ID和时间代码来使文本与媒体资产相关联。AI服务14还提供对象辨识能力，使得识别出媒体资产中的对象、人、动作或甚至特定个体。可判定关键词(例如，与对象、动作、人或个体相关联的对象名称、人名、对应描述符等)，并将其存储于内容数据库32中，并通过唯一内容ID和时间代码与媒体资产相关联。
所属领域的技术人员将了解，如本文所使用的术语媒体资产包含任何类型的所记录媒体或视频内容，不论是否具有音频，以及所记录视频内容的任何部分，包含视频内容的单个或多个帧，以及静态图像。
为了更好地是相关元数据与媒体资产相关联，如果尚未在视频流中呈现唯一内容ID，那么每个媒体资产由录像机38或由中间处理单元(例如编码器或发射器)标记有唯一内容ID。内容ID使元数据与媒体资产相关联。内容ID可嵌入到视频流中。除了内容ID以外，还例如使用唯一时间代码(例如，时间戳或序列号)来索引化每个视频流中的每个帧。因此，可使用内容ID时间代码来唯一地识别任何给定帧。为了确保可识别媒体资产，以规则间隔将唯一ID注入到视频流中。可运用以下方法中的一或多个嵌入唯一ID：
1.嵌入于媒体资产的经压缩视频流中；
2.嵌入于媒体资产的经压缩音频流中；
3.嵌入于媒体资产的未压缩视频流中；
4.作为水印嵌入于媒体资产的未压缩音频流中；
5.嵌入为媒体资产的文件名；和/或
6.嵌入于媒体资产的串行数字接口(serial digital interface，SDI)信号中。
一旦嵌入有唯一ID，那么可分拣、分类并索引化媒体资产。系统利用人为输入、人工智能(artificial intelligence，AI)服务14或人类输入与AI服务14两者的组合以分析与内容相关联的元数据并还辨识内容的各种特征，例如媒体资产中的声音、语音、图像、物品、对象、动作和人。接着使这些特征与内容的唯一ID和唯一时间代码相关联。可为每个媒体资产提供索引化。媒体资产可由整个视频内容、视频内容的一部分、视频内容帧或数个视频内容帧组成。换句话说，系统可识别具有某些声音、语音、对象、动作人等的视频内容，或可识别具有此类特征的媒体资产的一或多个帧。此类可存储为关键词或额外元数据，且与媒体资产和/或媒体资产的帧相关联。
使与媒体资产相关联的所有信息可用来进行实时搜索。搜索引擎模块22使得系统能够识别视频内容，或来自视频内容的与词、句子、段落、对象、动作、人存在、特定人或来自脚本的文本的章节有关的精确帧或帧集合。举例来说，可将脚本或脚本的一部分键入到搜索引擎22中(例如，通过具有用户接口的用户装置44)。搜索引擎22可将脚本解析成关键词(在本文中被称作“脚本关键词”)并在内容数据库32中搜索媒体资产，并使用自然语言处理技术来搜索相关联索引化信息(例如与媒体资产一起存储的元数据、关键词、特征、文本(从语音转换)等)，以定位与脚本或其部分相关的视频内容或视频内容的一或多个帧。
所属领域的技术人员将了解，以软件和/或硬件方式，平台的数据库和搜索引擎部分可单独地实施或实施为单个模块。
由媒体搜索引擎22定位的相关视频内容将被提供给工作流引擎24，所述工作流引擎允许系统适应于各种不同工作流并还允许工作流演变。举例来说，工作流引擎24将根据脚本而将相关材料从内容数据库32推送到制作器模块28。告警服务30提供关于被提供给系统的新故事或内容的告警。开放API模块26允许其它例如新获取单元(录像机38)、新闻系统34、接收器、路由器、编码器等功能单元集成到平台10中和/或与其连接。
新闻系统34可包括用于使用平台10来产生新闻节目或向平台10或内容数据库32提供新闻内容的新闻制作平台，包含规划并组织新闻节目的所有相关材料，例如故事、脚本和原材料。调度系统36可包括用于调度使用平台10产生的节目的制作、分发或广播的各种电视或媒体制作排程平台，包含资源管理，例如根据调度而将设备和摄像机操作员分配到各个位置。
制作器模块28将根据脚本而自动创建内容或使得用户能够用户装置44手动创建/编辑内容。一旦选定(由系统自动或由用户手动选定)，那么接着将视频内容汇编成视频节目，所述视频节目可包括视频节目文件或实况视频输出。
另外，响应于脚本中的特效关键词，可在视频节目中包含制作过程中的特效图形或特效视频剪辑的添加。举例来说，体育赛事的脚本中出现的文本「展示比分」将致使比分叠对展示于最终视频节目中的视频内容的顶部上。
采样过程
媒体资产，如所获取，标记有唯一ID且存储于内容数据库32中。系统辨识所有内容和其索引，此后将内容与所有元数据和识别信息一起存储于数据库32中。用户可使用系统来在在用户装置44上书写脚本时创建视频内容。脚本将由搜索引擎22解析成脚本关键词。搜索引擎22将根据脚本关键词而从内容数据库32自动识别相关内容，并从一或多个媒体资产选择恰当内容和/或效果。依序汇编相关视频内容以根据脚本而编译视频节目。当用户完成脚本时，系统将输出完整视频节目(输出到文件或输出为实况视频流)。
在申请人的所要求发明的情况下，系统以类似于使用计算机程序的方式使用脚本——系统使用脚本以产生输出，在此状况下制作视频节目。而非使用计算机编程语言，本发明使用自然语言处理以使来自脚本的文本(脚本关键词)与相关联于所存储媒体资产的信息(元数据、特征和/或关键词)相关联，以定位相关媒体资产并根据脚本而将对应视频内容汇编成视频节目。
应了解，平台不仅可用于自动视频制作，而且可帮助内容的搜索和探索。运用基于时间代码的元数据，用户可直接去往他们通过搜索感兴趣的视频资产的位置。这相比于其它媒体资产管理软件提供优点，在其中当前用户在物理上必须在视觉上扫描材料以发现会感兴趣的内容。而且，运用如本发明提供的基于云的搜索引擎和全局元数据数据库，用户可探索其自有组织之外的内容(例如，第三方内容或来自其它来源的内容)。本发明可集成到视频市场和/或视频分销系统中，从而实现视频内容的购买、销售和分销。
现应了解，本发明提供用于根据脚本而自动制作视频节目的有利方法和设备。
虽然已结合各种所说明实施例描述本发明，但可在不脱离如在所附权利要求书中阐述的本发明的精神和范围的情况下对其做出众多修改和调整。

Claims (34)

1.一种用于根据脚本而自动制作视频节目的方法，其包括：
在内容数据库中记录和/或存储各种媒体资产连同与所述媒体资产中的每一个有关的元数据；
以唯一内容ID标记每个媒体资产，所述唯一内容ID使所述元数据与所述媒体资产相关联；
将时间代码分配给媒体资产的每个帧；
将所述时间代码与对应媒体资产的所述元数据相关联；
索引化所述媒体资产；
使用自然语言处理来分析来自由用户输入的脚本的文本和来自所述媒体资产的信息以定位一或多个相关索引化媒体资产；以及
根据所述脚本而将经定位一或多个媒体资产汇编成视频节目；
其中：
分析来自所述脚本的所述文本以定位一或多个相关媒体资产包括：
将来自所述脚本的文本解析为脚本关键字；
搜索所述内容数据库以使用所述自然语言处理来定位与所述脚本关键字相关的所存储元数据；以及
基于经定位的所述所存储元数据的所述唯一内容ID和所述时间代码而获得对应于所述经定位的所述所存储元数据的一或多个媒体资产；
所述各种媒体资产包括从与在不同时间和/或在不同位置记录的各种不同视频内容主题相关的各种来源获得的原始视频片段或部分原始视频片段；
所述脚本包括书面故事；
所述各种媒体资产最初不是根据所述脚本而制作的；
使用所述自然语言处理分析来自所述媒体资产的所述信息至少包括所述媒体资产的语音到文本处理；以及
所述元数据包括由所述用户预定义或由所述用户动态记录的额外元数据信息。
2.根据权利要求1所述的方法，其中所述时间代码包括时间戳或序列号中的一个。
3.根据权利要求1所述的方法，其中所述索引化包括：
分析来自所述媒体资产的图像以辨识包括物品、动作和人中的至少一个的特征；
确定与所述特征中的至少一些相关联的关键词；
将来自所述媒体资产的语音转换成文本；
使所述特征、关键词和文本与所述媒体资产的所述唯一内容ID连同所述时间代码相关联，从而识别所述特征、关键词、和文本在所述媒体资产内的位置；以及
在所述内容数据库中存储所述特征、关键词和文本连同相关联唯一内容ID和所述时间代码。
4.根据权利要求1所述的方法，其中所述分析来自所述脚本的所述文本以定位一或多个相关媒体资产包括：
搜索所述内容数据库以使用所述自然语言处理来定位与所述脚本关键词相关的特征、关键词或文本；以及
基于对应特征、关键词或文本的所述唯一内容ID和时间代码而获得对应于经定位特征、关键词或文本的一或多个媒体资产。
5.根据权利要求3所述的方法，其进一步包括利用人类输入来从所述媒体资产确定特征、关键词和文本。
6.根据权利要求1所述的方法，其中所述媒体资产包括视频、视频的一部分、视频的单个帧、视频的多个帧和静态图像中的至少一个。
7.根据权利要求1所述的方法，其中所述视频节目包括新闻节目、体育节目、天气节目、直播节目、直播事件或娱乐节目中的一个。
8.根据权利要求1所述的方法，其中所述媒体资产从用户的记录装置、原始视频连续镜头的记录、电视制作视频内容、第三方内容提供商、用户计算机上的本地存储，和云存储获得。
9.根据权利要求1所述的方法，其中所述元数据包括对应媒体资产记录的日期和时间信息和指示记录期间的记录装置的记录位置的地理位置信息中的至少一个。
10.根据权利要求9所述的方法，其中所述元数据进一步包括记录装置位置、视频长度、视频和音频格式、时间代码、视频文件大小、记录装置识别信息以及所有权和版权信息中的至少一个。
11.根据权利要求1所述的方法，其中：
所述额外元数据信息包括赋值名称、地理位置、用户名、故事标题、主题参考、节目名称、来源信息、记录设备的类型和用户评论中的至少一个；且
所述额外元数据信息通过文本或话音键入，且与所述媒体资产相关联。
12.根据权利要求1所述的方法，其中所述以所述唯一内容ID标记每个媒体资产包括以规则间隔将所述唯一内容ID插入到所述媒体资产的视频流中。
13.根据权利要求1所述的方法，其中所述以所述唯一内容ID标记每个媒体资产包括以下各项中的一个：
在所述媒体资产的经压缩视频流中嵌入所述唯一内容ID；
在所述媒体资产的经压缩音频流中嵌入所述唯一内容ID；
在所述媒体资产的未压缩视频流中嵌入所述唯一内容ID作为水印；
在所述媒体资产的未压缩音频流中嵌入所述唯一内容ID作为水印；
嵌入所述唯一内容ID作为所述媒体资产的文件名；以及
在所述媒体资产的串行数字接口SDI信号中嵌入所述唯一内容ID。
14.根据权利要求1所述的方法，其中：
所述媒体资产中的至少某些媒体资产包括特效图形和视频剪辑；
响应于所述脚本中的特效关键词而在所述视频节目中包含特效。
15.根据权利要求1所述的方法，其进一步包括根据目标概况而根据目标个体或目标群组中的一个定制所述视频节目。
16.根据权利要求1所述的方法，其中所述脚本是在不了解所述媒体资产的情况下创建的。
17.根据权利要求1所述的方法，其中所述媒体资产的至少一部分包括通过视频市场向用户收费提供的第三方资产。
18.一种用于根据脚本而自动制作视频节目的系统，其包括：
内容数据库，其用于存储各种媒体资产，连同与所述媒体资产中的每一个有关的元数据；
处理器和一或多个相关联软件平台，其用于：
以唯一内容ID标记每个媒体资产，所述唯一内容ID使所述元数据与所述媒体资产相关联；
将时间代码分配给媒体资产的每个帧；
将所述时间代码与对应媒体资产的所述元数据相关联；
索引化所述媒体资产；
使用自然语言处理来分析来自由用户输入的脚本的文本和来自所述媒体资产的信息以定位一或多个相关索引化媒体资产；以及
根据所述脚本而将经定位一或多个媒体资产汇编成视频节目；
其中：
分析来自所述脚本的所述文本以定位一或多个相关媒体资产包括：
将来自所述脚本的文本解析为脚本关键字；
搜索所述内容数据库以使用所述自然语言处理来定位与所述脚本关键字相关的所存储元数据；以及
基于经定位的所述所存储元数据的所述唯一内容ID和所述时间代码而获得对应于所述经定位的所述所存储元数据的一或多个媒体资产；
所述各种媒体资产包括从与在不同时间和/或在不同位置记录的各种不同视频内容主题相关的各种来源获得的原始视频片段或部分原始视频片段；
所述脚本包括书面故事；
所述各种媒体资产最初不是根据所述脚本而制作的；
使用所述自然语言处理分析来自所述媒体资产的所述信息至少包括所述媒体资产的语音到文本处理；以及
所述元数据包括由所述用户预定义或由所述用户动态记录的额外元数据信息。
19.根据权利要求18所述的系统，其中所述时间代码包括时间戳或序列号中的一个。
20.根据权利要求18所述的系统，其中所述索引化包括：
分析来自所述媒体资产的图像以辨识包括物品、动作和人中的至少一个的特征；
确定与所述特征中的至少一些相关联的关键词；
将来自所述媒体资产的语音转换成文本；
使所述特征、关键词和文本与所述媒体资产的所述唯一内容ID连同所述时间代码相关联，从而识别所述特征、关键词、和文本在所述媒体资产内的位置；以及
在所述内容数据库中存储所述特征、关键词和文本连同相关联唯一内容ID和所述时间代码。
21.根据权利要求18所述的系统，其中所述分析来自所述脚本的所述文本以定位一或多个相关媒体资产包括：
搜索所述内容数据库以使用所述自然语言处理来定位与所述脚本关键词相关的特征、关键词或文本；以及
基于对应元数据、特征、关键词或文本的所述唯一内容ID和时间代码而获得对应于经定位特征、关键词或文本的一或多个媒体资产。
22.根据权利要求20所述的系统，其进一步包括利用人类输入来从所述媒体资产确定特征、关键词和文本。
23.根据权利要求18所述的系统，其中所述媒体资产包括视频、视频的一部分、视频的单个帧、视频的多个帧和静态图像中的至少一个。
24.根据权利要求18所述的系统，其中所述视频节目包括新闻节目、体育节目、天气节目、直播节目、直播事件或娱乐节目中的一个。
25.根据权利要求18所述的系统，其中所述媒体资产从用户的记录装置、原始视频连续镜头的记录、电视制作视频内容、第三方内容提供商、用户计算机上的本地存储，和云存储获得。
26.根据权利要求18所述的系统，其中所述元数据包括对应媒体资产记录的日期和时间信息和指示记录期间的记录装置的记录位置的地理位置信息中的至少一个。
27.根据权利要求26所述的系统，其中所述元数据进一步包括记录装置位置、视频长度、视频和音频格式、时间代码、视频文件大小、记录装置识别信息以及所有权和版权信息中的至少一个。
28.根据权利要求18所述的系统，其中：
所述额外元数据信息包括赋值名称、地理位置、用户名、故事标题、主题参考、节目名称、来源信息、记录设备的类型和用户评论中的至少一个；且
所述额外元数据信息通过文本或话音键入，且与所述媒体资产相关联。
29.根据权利要求18所述的系统，其中所述以所述唯一内容ID标记每个媒体资产包括以规则间隔将所述唯一内容ID插入到所述媒体资产的视频流中。
30.根据权利要求18所述的系统，其中所述以所述唯一内容ID标记每个媒体资产包括以下各项中的一个：
在所述媒体资产的经压缩视频流中嵌入所述唯一内容ID；
在所述媒体资产的经压缩音频流中嵌入所述唯一内容ID；
在所述媒体资产的未压缩视频流中嵌入所述唯一内容ID作为水印；
在所述媒体资产的未压缩音频流中嵌入所述唯一内容ID作为水印；
嵌入所述唯一内容ID作为所述媒体资产的文件名；以及
在所述媒体资产的串行数字接口SDI信号中嵌入所述唯一内容ID。
31.根据权利要求18所述的系统，其中：
所述媒体资产中的至少某些媒体资产包括特效图形和视频剪辑；
响应于所述脚本中的特效关键词而在所述视频节目中包含特效。
32.根据权利要求18所述的系统，其中根据目标概况而根据目标个体或目标群组中的一个定制所述视频节目。
33.根据权利要求18所述的系统，其中所述脚本是在不了解所述媒体资产的情况下创建的。
34.根据权利要求18所述的系统，其中所述媒体资产的至少一部分包括通过视频市场向用户收费提供的第三方资产。
CN202310765361.4A 2018-04-05 2019-04-08 用于根据脚本自动制作视频节目的方法和系统 Pending CN116801003A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862653066P 2018-04-05 2018-04-05
US62/653,066 2018-04-05
US16/369,105 US11295783B2 (en) 2018-04-05 2019-03-29 Methods, apparatus, and systems for AI-assisted or automatic video production
US16/369,105 2019-03-29
CN201910277353.9A CN110351578B (zh) 2018-04-05 2019-04-08 用于根据脚本自动制作视频节目的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910277353.9A Division CN110351578B (zh) 2018-04-05 2019-04-08 用于根据脚本自动制作视频节目的方法和系统

Publications (1)

Publication Number Publication Date
CN116801003A true CN116801003A (zh) 2023-09-22

Family

ID=66286055

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910277353.9A Active CN110351578B (zh) 2018-04-05 2019-04-08 用于根据脚本自动制作视频节目的方法和系统
CN202310765361.4A Pending CN116801003A (zh) 2018-04-05 2019-04-08 用于根据脚本自动制作视频节目的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910277353.9A Active CN110351578B (zh) 2018-04-05 2019-04-08 用于根据脚本自动制作视频节目的方法和系统

Country Status (6)

Country Link
US (1) US11295783B2 (zh)
EP (1) EP3550845A1 (zh)
JP (1) JP2019195156A (zh)
KR (1) KR20190116943A (zh)
CN (2) CN110351578B (zh)
CA (1) CA3038767A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089133B (zh) * 2018-08-07 2020-08-11 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN114788293B (zh) 2019-06-11 2023-07-14 唯众挚美影视技术公司 用于制作包括电影的多媒体数字内容的系统、方法和介质
WO2021022499A1 (en) 2019-08-07 2021-02-11 WeMovie Technologies Adaptive marketing in cloud-based content production
WO2021068105A1 (en) 2019-10-08 2021-04-15 WeMovie Technologies Pre-production systems for making movies, tv shows and multimedia contents
WO2021112419A1 (en) * 2019-12-04 2021-06-10 Samsung Electronics Co., Ltd. Method and electronic device for automatically editing video
CN111083312B (zh) * 2019-12-30 2021-04-20 北京文香信息技术有限公司 一种演播室系统和节目视频制作方法及装置
US11681752B2 (en) * 2020-02-17 2023-06-20 Honeywell International Inc. Systems and methods for searching for events within video content
US11599575B2 (en) * 2020-02-17 2023-03-07 Honeywell International Inc. Systems and methods for identifying events within video content using intelligent search query
WO2021225608A1 (en) 2020-05-08 2021-11-11 WeMovie Technologies Fully automated post-production editing for movies, tv shows and multimedia contents
CN111629230B (zh) * 2020-05-29 2023-04-07 北京市商汤科技开发有限公司 视频处理、脚本生成方法、装置、计算机设备及存储介质
US20230224502A1 (en) * 2020-06-09 2023-07-13 Telefonaktiebolaget Lm Ericsson (Publ) Providing semantic information with encoded image data
US20230353795A1 (en) * 2020-07-15 2023-11-02 Sony Group Corporation Information processing apparatus, information processing method, and program
US20230260549A1 (en) * 2020-07-15 2023-08-17 Sony Group Corporation Information processing apparatus, information processing method, and program
US11070888B1 (en) 2020-08-27 2021-07-20 WeMovie Technologies Content structure aware multimedia streaming service for movies, TV shows and multimedia contents
US11166086B1 (en) 2020-10-28 2021-11-02 WeMovie Technologies Automated post-production editing for user-generated multimedia contents
US11812121B2 (en) 2020-10-28 2023-11-07 WeMovie Technologies Automated post-production editing for user-generated multimedia contents
US11818408B2 (en) * 2021-03-03 2023-11-14 James R. Jeffries Mechanism to automate the aggregation of independent videos for integration
WO2022204456A1 (en) * 2021-03-26 2022-09-29 Ready Set, Inc. Smart creative feed
WO2023287468A1 (en) * 2021-07-13 2023-01-19 Arris Enterprises Llc A system and method for teaching smart devices to recognize audio and visual events
US11330154B1 (en) 2021-07-23 2022-05-10 WeMovie Technologies Automated coordination in multimedia content production
US11941902B2 (en) * 2021-12-09 2024-03-26 Kpmg Llp System and method for asset serialization through image detection and recognition of unconventional identifiers
US11321639B1 (en) 2021-12-13 2022-05-03 WeMovie Technologies Automated evaluation of acting performance using cloud services

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
US6336093B2 (en) * 1998-01-16 2002-01-01 Avid Technology, Inc. Apparatus and method using speech recognition and scripts to capture author and playback synchronized audio and video
US20070147654A1 (en) * 2005-12-18 2007-06-28 Power Production Software System and method for translating text to images
US9025673B2 (en) * 2006-04-05 2015-05-05 Qualcomm Incorporated Temporal quality metric for video coding
US20080036917A1 (en) 2006-04-07 2008-02-14 Mark Pascarella Methods and systems for generating and delivering navigatable composite videos
US8934717B2 (en) 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
US9241176B2 (en) * 2009-01-20 2016-01-19 Arris Enterprises, Inc. Content validation techniques
US8422852B2 (en) * 2010-04-09 2013-04-16 Microsoft Corporation Automated story generation
US20120128334A1 (en) * 2010-11-19 2012-05-24 Samsung Electronics Co. Ltd. Apparatus and method for mashup of multimedia content
US20130151534A1 (en) * 2011-12-08 2013-06-13 Digitalsmiths, Inc. Multimedia metadata analysis using inverted index with temporal and segment identifying payloads
KR102047200B1 (ko) 2011-12-28 2019-11-20 인텔 코포레이션 데이터 스트림들의 실시간 자연어 처리
US9788084B2 (en) 2013-04-05 2017-10-10 NBCUniversal, LLC Content-object synchronization and authoring of dynamic metadata
US9640223B2 (en) * 2014-03-27 2017-05-02 Tvu Networks Corporation Methods, apparatus and systems for time-based and geographic navigation of video content
US9583149B2 (en) * 2014-04-23 2017-02-28 Daniel Stieglitz Automated video logging methods and systems
US11182431B2 (en) * 2014-10-03 2021-11-23 Disney Enterprises, Inc. Voice searching metadata through media content
US10299012B2 (en) * 2014-10-28 2019-05-21 Disney Enterprises, Inc. Descriptive metadata extraction and linkage with editorial content
US9721611B2 (en) * 2015-10-20 2017-08-01 Gopro, Inc. System and method of generating video from video clips based on moments of interest within the video clips
US10445360B2 (en) * 2015-11-24 2019-10-15 Comcast Cable Communications, Llc Content analysis to enhance voice search
US10290320B2 (en) 2015-12-09 2019-05-14 Verizon Patent And Licensing Inc. Automatic media summary creation systems and methods
KR102444712B1 (ko) * 2016-01-12 2022-09-20 한국전자통신연구원 다중-모달리티 특징 융합을 통한 퍼스널 미디어 자동 재창작 시스템 및 그 동작 방법
CN107172476B (zh) * 2017-06-09 2019-12-10 创视未来科技（深圳）有限公司 一种交互式脚本录制视频简历的系统及实现方法

Also Published As

Publication number Publication date
CN110351578A (zh) 2019-10-18
JP2019195156A (ja) 2019-11-07
CN110351578B (zh) 2023-07-14
KR20190116943A (ko) 2019-10-15
US20190311743A1 (en) 2019-10-10
US11295783B2 (en) 2022-04-05
CA3038767A1 (en) 2019-10-05
EP3550845A1 (en) 2019-10-09

Similar Documents

Publication Publication Date Title
CN110351578B (zh) 用于根据脚本自动制作视频节目的方法和系统
US20210294833A1 (en) System and method for rich media annotation
CN109275046B (zh) 一种基于双视频采集的教学数据标注方法
US9888279B2 (en) Content based video content segmentation
US20050114357A1 (en) Collaborative media indexing system and method
US20120078899A1 (en) Systems and methods for defining objects of interest in multimedia content
US20120078691A1 (en) Systems and methods for providing multimedia content editing and management tools
US20120079380A1 (en) Systems and methods for managing interactive features associated with multimedia content
JP2006155384A (ja) 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
EP2304951A2 (en) Device and method for providing a television sequence
US10805029B2 (en) Real-time automated classification system
CN114845149B (zh) 视频片段的剪辑方法、视频推荐方法、装置、设备及介质
CN111444685B (zh) 基于大数据和人工智能的新闻生产系统及方法
US20150026147A1 (en) Method and system for searches of digital content
Knauf et al. Produce. annotate. archive. repurpose-- accelerating the composition and metadata accumulation of tv content
US20150032718A1 (en) Method and system for searches in digital content
CN1777953A (zh) 用于利用菜单信息补充视频/音频信号的菜单发生器设备和菜单产生方法
Bozzon et al. Chapter 8: Multimedia and multimodal information retrieval
Barbosa et al. Browsing videos by automatically detected audio events
US20080229376A1 (en) Comprehensive system for broadcast information capture and access for data mining purposes
WO2005052732A2 (en) Collaborative media indexing system and method
Hopfgartner et al. Toward an Adaptive Video Retrieval System
CN117014679A (zh) 一种内容检测的方法、相关装置、设备以及存储介质
KR101472430B1 (ko) 컨텐트 데이터에 기초하여 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
CN114564614A (zh) 一种视频片段自动搜索方法、系统、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination