CN108449631A - 使用人脸检测来连接视频序列的系统和方法 - Google Patents

使用人脸检测来连接视频序列的系统和方法 Download PDF

Info

Publication number
CN108449631A
CN108449631A CN201810153795.8A CN201810153795A CN108449631A CN 108449631 A CN108449631 A CN 108449631A CN 201810153795 A CN201810153795 A CN 201810153795A CN 108449631 A CN108449631 A CN 108449631A
Authority
CN
China
Prior art keywords
video
frame
video frame
client
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810153795.8A
Other languages
English (en)
Other versions
CN108449631B (zh
Inventor
米甲·沙菲尔尼尔
利亚特·萨德斯腾伯格
罗娜·霍里内尔罗森
塔马尔·拉维夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuchter
New Delphi
Original Assignee
Fu Xi Ke Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fu Xi Ke Co Ltd filed Critical Fu Xi Ke Co Ltd
Publication of CN108449631A publication Critical patent/CN108449631A/zh
Application granted granted Critical
Publication of CN108449631B publication Critical patent/CN108449631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及使用人脸检测来连接视频序列的系统和方法。提供了媒体处理的方法和设备，包括由网络或客户端设备提供媒体资产源库的包括至少一个源视频的至少一个媒体资产源；由网络或客户端设备接收包括客户端视频的媒体记录；将客户端视频和源视频分别解析为多个客户端视频帧和源视频帧；用人脸检测识别多个源视频帧的至少一帧中的至少一人脸和多个客户端视频帧的至少一帧中的至少另一人脸；在多个源视频帧的识别的至少一人脸上叠加一个或更多个标记；用一个或更多个标记处理客户端视频帧以适应源视频帧的大小或形状；连接处理的客户端视频帧与源视频帧，包括使处理的客户端视频帧与多个客户端视频帧的帧速率和分辨率匹配来产生混合媒体资产。

Description

使用人脸检测来连接视频序列的系统和方法
交叉引用
本申请要求于2017年2月16日提交的标题为“CONCATENATING VIDEO SEQUENCESUSING FACE RECOGNITION”的美国临时申请序列号No.62/459,620(律师档案号FU002/USP)的利益，该临时申请的全部公开通过引用被并入本文。
发明领域
本发明总体上涉及媒体处理，且特别地涉及来自不同源的视频流的自动编辑和连接。
通过引用并入
本说明书中提及的所有出版物、专利和专利申请通过引用并入本文，其程度如同每一个单独的出版物、专利或专利申请被具体和单独地指明通过引用并入的相同程度。
发明背景
社交移动视频平台和在线视频平台(包括例如YouTube、Instagram、Snapchat和社交媒体网站例如Facebook)上的现场直播选项在流行性方面仍然增长。因此，在本领域中已知的用于数字图形设计、图像编辑、音频编辑、视频混合和视频编辑的各种应用和系统向社交平台用户提供用于创建各种媒体内容的工具。
上面提到的视频混合和编辑应用在至少一些方面可能不太理想。之前的视频编辑应用耗时且需要专业的编辑技能，因为通常图像混合和融合、滤镜添加和图像处理都是手动地执行的。例如，在多个媒体内容例如来自不同源的视频被组合为单个电影文件的情况下，编辑过程需要将许多视频或视频序列手动地编辑到时间线(timeline)中。外行编辑(例如社交媒体用户)将接着发现弄清楚视频应该如何被组合、对齐或修剪是很困难和耗时的。此外，在组合视频中的任何进一步变化将需要在编辑过程中的附加视频同步步骤。外行编辑于是将不愿意对视频源进行额外的变化，因为这需要在多个地方中进行多个校正。作为结果，上传的组合视频将是不专业的，有增加组合视频视图的数量的低可能性。
发明概述
根据一些实施例的第一方面，提供了一种用于媒体处理的方法，其包括：经由网络或客户端设备提供从媒体资产源库中选择的至少一个媒体资产源，至少一个媒体资产源包括至少一个源视频；经由网络或客户端设备接收包括由客户端设备的用户记录的客户端视频的媒体记录；将客户端视频和源视频分别解析为多个(a plurality of)客户端视频帧和多个源视频帧；通过人脸检测识别在多个源视频帧的至少一个帧中的至少一个人脸和在多个客户端视频帧的至少一个帧中的至少另一个人脸；在多个源视频帧的所识别的至少一个人脸上叠加一个或更多个标记；通过使用所述一个或更多个标记来处理所述客户端视频帧以适应所述源视频帧的大小或形状；将所述经处理的客户端视频帧与所述源视频帧连接，其中所述连接包括使经处理的客户端视频帧的帧速率和分辨率与多个客户端视频帧的帧速率和分辨率匹配以产生混合媒体资产。
在一些实施例中，处理包括：从所识别的所述至少一个人脸图像提取所述一个或更多个标记，并将所提取的一个或更多个标记叠加在其它至少一个所识别的人脸上；以及调整其它至少一个所识别的人脸的大小以匹配在多个源视频帧的至少一个帧中的至少一个所识别的人脸的大小或形状。
在一些实施例中，处理还包括裁剪或缩放在用户视频帧中的所识别的所述至少另一个人脸以匹配源视频帧中的所识别的所述至少一个人脸图像的大小或形状。
在一些实施例中，处理包括：过滤经处理的客户端视频帧。
在一些实施例中，该处理包括：过滤源视频帧。
在一些实施例中，过滤包括使客户端视频帧的比特率或帧速率或分辨率中的一个或更多个与源视频帧匹配，反之亦然。
在一些实施例中，过滤包括下面的过滤过程中的一个或更多个：快进过滤；慢动作过滤；彩色过滤；以及黑白过滤。
在一些实施例中，人脸检测包括识别在多个视频源帧的至少一个帧中的一个或更多个人脸元素以及在至少一个客户端视频帧中的其他一个或更多个人脸元素的位置；以及调整在至少一个客户端视频帧中的其他至少一个所识别的人脸元素的大小以匹配在多个源视频帧的至少一个帧中的至少一个所识别的人脸元素的大小和形状。
在一些实施例中，人脸检测包括在多个视频源帧的至少一个帧中的所识别的一个或更多个人脸元素上叠加一个或更多个标记。
在一些实施例中，媒体资产源为从由下列项组成的组中选择的形式：图形交换格式(GIF)；或MP4；VP8；m4v；mov；avi；fav；mpg；wmv；h265。
在一些实施例中，人脸检测选自由下列项组成的组：
a.SMQT特征和SNOW分类器方法(SFSC)
b.高效和秩亏人脸检测方法(ERDFD)
c.Gabor特征提取与神经网络方法(GFENN)
d.高效的人脸候选选择器特征方法(EFCSF)
根据一些实施例的第二方面，提供了一种用于媒体处理的装置，包括：被配置为保存一个或更多个源媒体视频的存储器；以及处理器，其被配置为：将一个或更多个源媒体视频传输到客户端设备；经由网络或客户端设备接收包括由客户端设备的用户记录的客户端视频的媒体记录；分别将客户端视频和源视频解析为多个客户端视频帧和多个源视频帧；通过人脸检测位置识别在多个源视频帧的至少一个帧中的至少一个人脸和在多个客户端视频帧的至少一个帧中的至少另一个人脸；将一个或更多个标记叠加在多个源视频帧的所识别的至少一个人脸图像上；通过使用所述一个或更多个标记来处理所述客户端视频帧以适应所述源视频帧的大小或形状；将所述经处理的客户端视频帧与所述源视频帧连接，其中所述连接包括使经处理的客户端视频帧的帧速率和分辨率与多个客户端视频帧的帧速率和分辨率匹配以产生混合媒体资产。
根据一些实施例的第三方面，提供了一种计算机软件产品，其包括存储有程序指令的非临时计算机可读介质，指令在被计算机读取时使计算机经由网络将从媒体资产源库中选择的至少一个媒体资产源提供到客户端设备，至少一个媒体资产源包括至少一个源视频；经由网络从客户端设备接收包括由客户端设备的用户记录的客户端视频的媒体记录；将客户端视频和源视频分别解析为多个客户端视频帧和多个源视频帧；通过人脸检测位置识别在多个源视频帧的至少一个帧中的至少一个人脸和在多个客户端视频帧的至少一个帧中的至少另一个人脸；在多个源视频帧的所识别的至少一个人脸上叠加一个或更多个标记；通过使用所述一个或更多个标记来处理所述客户端视频帧以适应所述源视频帧的大小或形状；以及将所述经处理的客户端视频帧与所述源视频帧连接，其中所述连接包括使经处理的客户端视频帧的帧速率和分辨率与多个客户端视频帧的帧速率和分辨率匹配以产生混合媒体资产。
附图说明
通过参考下面的详细描述和附图来获得对本公开的特征和优点的更好的理解，该详细描述阐述说明性实施例，其中本公开的实施例的原理被利用。
图1是根据实施例的自动实时视频创建器和分配系统的示意图；
图2示出根据实施例的自动实时视频创建器模块的框图；
图3A示出根据实施例的用于使用人脸检测手段来将第一视频与第二视频连接以形成新的连贯、无缝且同步的视频的方法的流程图；
图3B到3D示出根据实施例的用于使用人脸检测手段来将第一视频与第二视频连接的方法的例子；以及
图4是根据实施例的用户界面屏幕的示意图。
在下面的详细描述中，将描述本发明的各种方面。为了说明的目的，阐述了许多具体细节以便提供对本说明书的透彻理解。对于本领域中的技术人员将明显，具有在细节上有所不同而不影响其基本性质的本发明的其他实施例。因此，本发明不被在附图中所示和在说明书中描述的事物所限制，但仅如在所附权利要求中所指示的，其中适当的范围仅由所述权利要求的最宽解释确定。
本发明的详细描述
在阐述本发明的详细描述之前，阐述在下文中将使用的某些术语的定义可能是有帮助的。
如在本文中使用的以及在整个说明书和权利要求书中的术语“媒体资产源”或“现有媒体资产源”应该被理解为包括视频，例如用户希望与他的媒体记录例如视频记录混合(例如连接)的现有视频。媒体资产源可以是或者可以包括媒体剪辑，其为媒体资产的短版本。
如在本文中使用的以及在整个说明书和权利要求书中的术语“混合媒体资产”应被理解为包括与用户媒体记录混合或连接的媒体资产源。
如在本文中使用的以及在整个说明书和权利要求书中的术语“人脸检测”或“人脸探测”应当被理解为包括识别在数字图像或视频帧中的人脸或非人脸的方法或设备。
如在本文使用的，相似的字符表示相似的元件。
许多视频剪辑观看者(例如卡通粉丝)将自己想象为有趣或很棒的视频剪辑或动画片的一部分。例如Bugs Bunny动画片的动画粉丝可能希望创建他自己的视频——其呈现与Bugs Bunny吃胡萝卜的众所周知的所下载的动画剪辑连接的、呈现客户自己吃胡萝卜的他的记录的视频序列，并在流行的网站中共享新的混合剪辑。录音室使粉丝和客户能够实现那些组合记录，但是从时间、金钱和努力方面具有高成本。
在个人电脑和移动设备(例如智能手机和家庭娱乐控制台)中的媒体记录硬件和软件允许用户记录和编辑他们自己的视频(例如自拍照)，然后他们可以将视频上传到他们自己的移动设备或流行的网站，例如和此外，在移动设备中的用于与网络服务器交互作用的计算能力允许移动用户下载任何所选择的现有视频源，例如动画片、视频剪辑等。然而，将来自不同源(通常来自不同格式)的视频混合在一起仍然是挑战，且有时超出大多数用户和设备自由处置的能力。
特别地，关于连接视频序列和/或视频源，今天用于以最小的文件大小和下载时间在Web中传送动态图形内容的最流行的图像格式之一是GIF(图形界面格式)和MP4，较不常用的其他视频格式是例如VP8、m4v、mov、avi、fav、mpg、wmv、h265等。
GIF包含对于每个图像支持每像素高达8位的位图图像格式，允许单个图像参考从24位RGB颜色空间中选择的多达256种不同的颜色的它自己的调色板。它还支持动画，并对于每个帧允许多达256种颜色的单独调色板。通常，GIF非常适合于较简单的图像，例如带有实心颜色区域的图形或标识。动画GIF——其为GIF标准的扩展——是一种特别是在网页中呈现动态内容例如视频的快速和容易的方式，允许通过将一组帧塞入到单个文件内用于连续重放来创建动画图像。这些优点使GIF成为用于在社交媒体中共享图像或视频剪辑的常用格式之一，并且自然地存在对将两个或更多个视频GIF或两个不同的视频格式例如客户的视频剪辑记录与现有图像或视频剪辑(例如GIF视频)编辑、混合或连接在一起的增长的需要。
当前，今天用于连接两个视频的现有技术解决方案包括手动地处理和编辑两个视频。因而产生的手动地混合的视频最终看起来不连贯，并且视频帧不同步和兼容。此外，在许多情况下，第一视频的帧速率和/或帧分辨率和/或比特率不同于第二视频的帧速率和/或帧分辨率和/或比特率，因此这两个视频在预定的时间线内将不完美地匹配，因此例如使用常规编辑工具手动地组合第一和第二视频是困难且时间密集的。例如，在许多情况下，由于在组合视频帧速率之间的差异，可能存在由混合帧速率编辑的限制引起的在混合视频上的一个或更多个帧移位。这就混合GIF与客户端的记录视频序列而论特别常见，因为GIF是低分辨率和低帧速率格式，而客户端的记录通常以高分辨率和高速率格式被记录。
按照上述内容，克服现有编辑和混合方法的至少一些上面提到的缺陷的视频序列的改进的编辑和混合将是有益的。理想地，这样的方法操作起来简单和方便，是用户友好的，且因而产生的视频混合应该是无缝且连贯的。
下文描述的实施例通过使用户能够以简单且自动的方式将一个或更多个媒体资产源例如现有媒体资产(例如视频、电影或卡通片)与用户媒体记录混合(例如连接)并同步来解决这个未满足的需要。用户的媒体记录可以包括一个或更多个用户的图像或视频。可选地，用户记录可以包括任何合适种类的媒体内容，例如自拍记录。
在所公开的实施例中，系统设备或方法被配置为经由网络或客户端设备接收一个或更多个用户媒体记录，其中每个用户媒体记录包括视频(例如客户端视频)并且可选地还包括源音频数据。用户可以在他的设备或其他设备上记录视频例如自拍，并将他的记录上传到服务器或他的设备。在上传之后或者在上传之前或者在上传期间(例如实时地)，用户可以选择例如在用户界面菜单上或者在他希望与他的记录混合的网站上呈现的一个或者更多个媒体资产源。在下一步骤中，服务器或用户设备自动处理用户媒体记录和/或媒体资产源以匹配彼此的维度(例如大小、速率、颜色等)。在接下来的步骤中，例如通过将媒体资产或所选媒体资产序列与用户记录连接来将处理后的用户媒体记录或媒体资产源集合在一起，以生成连贯且无缝地互连并且看起来自然地、合乎逻辑地和均匀地连接的一个或更多个组合的媒体资产(例如混合媒体资产)，并在用户的设备显示器处进一步显示混合媒体资产。最后，用户可以经由网络通过例如一个或更多个社交移动视频平台将一个或更多个混合媒体资产共享到其他客户端设备。根据一个实施例，处理步骤包括将例如由用户记录的客户端视频和源视频分别解析为多个客户端视频帧和多个源视频帧；通过人脸检测识别在多个源视频帧的至少一个帧中的至少一个人脸和在多个客户端视频帧的至少一个帧中的至少另一个人脸；在多个源视频帧的所识别的至少一个人脸上叠加一个或更多个标记；通过使用所述一个或更多个标记来处理所述客户端视频帧以适应所述源视频帧的大小或形状；将所述经处理的客户端视频帧与所述源视频帧连接，其中所述连接包括使经处理的客户端视频帧的帧速率和分辨率与多个客户端视频帧的帧速率和分辨率匹配以产生混合媒体资产。
图1是根据实施例的混合媒体资产创建和分配系统100的示意图。媒体服务器22包括处理器24和存储器26，其可以存储多个媒体资产。存储器26还存储不同用户的多个个人记录，例如处理器24从用户客户端接收到的媒体记录。典型地，服务器22包括合适的通用计算机(或这种计算机的集群)，其用软件被编程以执行本文描述的功能。例如，该软件可以通过网络以电子形式被下载到计算机。另外地或可选地，软件可以存储在有形非临时计算机可读介质例如磁性、光学或电子存储介质上。
服务器22通过网络28与多个客户端设备30、32、34通信。通常，网络28包括公共因特网，并且服务器22经由合适的Web接口与客户端设备通信，如在本领域中已知的。可选地，服务器和客户端可以使用任何其他合适类型的网络和接口进行通信。
客户端设备30、32、34可以包括例如台式、膝上型或平板电脑、媒体控制台、个人数字助理或智能电话或具有与服务器22交互所需的网络、视频和音频接口以及计算能力类型的任何其他类型的设备。作为例子，客户端设备30包括用于播放媒体资产的具有处理器36、存储器、视频显示器38和扬声器40的计算机以及用于记录的视频相机42和麦克风44。客户端设备32和34被类似地配备，尽管采用不同的配置。
在操作中，用户46、48和50可以例如在他们的设备30、32和34上记录他们的媒体记录，并且在一些情况下将他们的记录分别存储在他们的设备30、32和34上，例如在他们的设备的存储装置例如存储器上。可选地或组合地，例如根据实施例，用户46、48和50可以将相应用户的记录经由网络上传到服务器22，处理器24被配置为将用户的记录存储在存储器26中。用户46、48和50可以选择存储在例如存储器26上或设备36、32、34上(例如设备30、32和34的存储装置，例如存储器)的媒体资产(例如源媒体资产)，并请求服务器22或其设备30、32和34例如由设备30、32和34的相应处理器来播放和混合(例如连接)与用户的任何记录混合的所选资产。如将在下面关于图2、图3A-3D、图4详细地进一步所示的，处理器24或其它处理器(例如设备36、32、34的相应处理器)被配置为检测在客户端媒体记录内的一个或更多个图像资产例如人脸图像和/或源媒体资产，并自动编辑所选图像资产，因此用户媒体记录和媒体源都将是兼容的。根据实施例，处理器可以进一步将所选择的资产和经编辑的用户媒体记录(例如，来自媒体源和经处理的客户端媒体记录的视频帧的串联序列)集合，生成混合媒体资产。一旦组合过程完成，用户46、48和50就可以从服务器22下载混合媒体资产并在他们各自的客户端设备30、32和34上播放和/或通过网络发送或共享给朋友。
图2示出根据实施例的自动实时视频创建器模块200的方框图。具体地，根据实施例，视频创建器模块200被配置为接收例如从例如源视频库选择的现有媒体资产源(例如，包括以GIF、MP4等形式的一个或更多个源视频)的第一输入202和包括例如用户记录的视频(例如客户端视频)的第二输入204，并且处理这两个所接收的输入以生成混合媒体资产，其例如包括这两个所接收的输入的无缝的、连贯的、同步的格式。在一些情况下，视频创建器模块200可以由一个或更多个处理器例如客户端设备30的处理器36或客户端设备32和34的处理器或如图1所示的处理器24执行。
根据一些实施例，视频创建器模块200可以包括可以根据实施例彼此通信的分析器模块210、编辑模块220、一个或更多个混合模块例如第一混合模块230和第二混合模块235以及过滤器生成器模块240。
分析器模块210被配置为例如实时地接收例如包括例如从服务器22下载的现有媒体资产源202(例如，以例如GIF或MP4的形式的视频)的第一输入和包括如由在用户50的移动设备34处的成像装置记录的用户记录的视频204(例如客户端视频)的第二输入，并且例如同时处理每个所接收的视频以检测在每个接收到的视频处的一个或更多个人脸图像或人脸元素的位置(例如，第一输入中的人脸图像和第二输入中的另一人脸图像)。在一些情况下，使用任何适当的检测方法例如人脸检测算法来执行检测，这样的算法的非限制性例子包括：
a.SMQT特征和SNOW分类器方法(SFSC)
b.高效和秩亏人脸检测方法(ERDFD)
c.Gabor特征提取与神经网络方法(GFENN)
d.高效的人脸候选选择器特征方法(EFCSF)
具体地，人脸检测过程包括在每个接收到的视频(例如现有媒体资产源202和/或用户记录的视频204)处检测一个或更多个人脸图像，例如单个人脸图像，并且通过一个或更多个标记(例如人脸标记)来标记检测到的人脸图像。在一些实施例中，现有媒体源202可以是视频GIF，并且标记叠加在视频GIF的检测到的人脸图像上，用于标记在GIF视频处的人脸图像的位置和地点(例如坐标)。在一些实施例中，标记可以指示人脸元素的位置，例如每个检测到的人脸图像的左眼位置和/或右眼位置和/或嘴部位置。
编辑模块220被配置为从分析器模块210接收包括关于检测到的人脸图像或人脸元素的位置和地点(例如坐标)的信息的数据以及包括客户端记录视频的第二输入。在一些情况下，该数据可以包括指示人脸图像或人脸元素的位置的一个或更多个相应标记(例如人脸标记)。根据一些实施例，编辑模块220还被配置为例如从服务器22接收现有媒体源202的测量数据207。测量数据207可以包括例如媒体资产源202的特征和测量结果(例如大小和帧速率)的信息。基于接收到的数据测量结果207和相应标记，编辑接收到的用户记录的视频204。具体地，编辑过程包括根据第一视频输入(例如GIF)的所接收的人脸标记的位置来调整和/或裁剪和/或缩放在用户记录的视频204中的一个或更多个元素，例如在用户的视频记录中的检测到的人脸图像或人脸元素，使得在客户端记录的视频204中的检测到的人脸图像或人脸元素(例如眼睛和/或嘴巴位置)将与现有媒体源202(例如视频GIF)的人脸图像或特征(例如眼睛和/或嘴巴)的位置和/或大小匹配。
根据实施例，编辑模块220和分析器模块210被配置为通过连续分析第一输入和第二输入的每个帧以识别在第一和第二输入处的一个或更多个人脸并且根据在每个相关的先前帧处的所识别的人脸的位置编辑在第二输入的每个帧处的所识别的人脸来例如同时分析和编辑第一输入和第二输入，第一输入包括例如现有媒体资产源202(例如，以例如GIF或MP4的形式的客户端视频)，第二输入包括用户记录视频204。
第一混合模块230被配置为接收和连接来自所编辑的客户端记录的视频204的所编辑的客户端记录的视频204或视频序列和现有媒体源202(例如视频GIF)并产生新的连接的视频(例如混合媒体资产)。
第一混合模块还被配置为使所编辑的客户端记录视频204的帧速率和/或分辨率和/或比特率与现有媒体源202(例如视频GIF)的帧速率和/或分辨率和/或比特率匹配。因为通常现有媒体源202(例如视频GIF)的帧速率和/或分辨率和/或比特率低于客户端记录的视频帧速率和/或分辨率和/或比特率，第一混合模块230将在一些情况下降低在较高速率下的视频(例如客户端视频记录)的帧速率和/或分辨率和/或比特率以匹配在较低速率下的视频(例如现有媒体源-视频GIF)的帧速率和/或分辨率和/或比特率。
根据一些实施例，如在第一混合模块230处混合的新形成的所连接的视频(例如混合媒体209)可以例如直接传输到转换模块213，用于将所连接的视频转换和打包为MP4或GIF视频并进一步由用户在社交媒体源上上传并分享它。
过滤器生成器模块240被配置为从第一混合模块230或从编辑模块220接收编辑后的用户记录视频204并且例如自动地或根据用户的预先选择的过滤选项来对所编辑的视频执行一个或更多个过滤过程以增强混合视频观看体验。
根据一些实施例，如在第一混合模块230处混合并在过滤器生成器模块240处过滤的新形成的所连接和过滤的视频(例如混合媒体209)可以例如直接传输到转换模块213用于将所连接的视频转换和打包为MP4或GIF视频，并且可以在社交媒体源上被用户上传和共享。
根据一些实施例，过滤器生成器模块240可以例如根据用户过滤选择来激活以下过滤选项中的一个或更多个：
a.快进：提高帧速率。例如，对于X帧速率，视频显示每秒Y帧(其中Y>X)。
b.慢动作：降低帧速率。例如，对于X帧速率，视频显示每秒Y帧(其中Y<X)。
c.增强颜色变化亮度层(Y)以便消除亮度并在每个帧中的不同颜色之间创建增强的颜色对比度。
d.黑白：只使用亮度层(Y)，且只显示灰度缩放的视频。
e.自然过滤器找到第一输入(例如GIF)的平均色度，并创建彩色过滤器以在第二输入(例如客户端视频记录)上用于产生更好和自然的无缝混合视频。
第二混合模块235被配置为从过滤器生成器模块240接收所编辑和过滤的客户端记录的视频204和例如来自服务器22的现有媒体源202，并且将所接收的视频连接以产生新的经过滤的连接的视频(例如混合媒体资产209)。在一些情况下，新形成的所过滤和连接的视频可以由转换模块213转换并打包为MP4或GIF视频，并且可以由用户在社交媒体源上上传和共享。
图3A示出根据实施例的、用于使用人脸检测手段或方法将第一视频(例如至少一个现有媒体源202)与第二视频(例如至少一个用户或客户端记录的视频204)连接以形成新的连贯无缝和同步的视频(例如混合媒体资产209)的方法300的流程图。在步骤310，基于用户操作来从视频库中选择第一视频源(例如现有媒体源202)。通常，客户端设备(例如客户端设备34)的用户从在由服务器22维护的网站上的可用选择的菜单或视频库中选择源媒体视频。在一些情况下，该库包括以视频GIF或MP4视频的形式的许多视频剪辑。例如，如图3B所示，第一选定视频源可以是包括人303的图像的原始视频GIF 302。在步骤315，例如通过分析器模块210来将所选择的第一视频解析为多个帧。在步骤320，用户例如通过数字照相机或设备例如客户端设备34的嵌入式照相机来记录他自己的记录(例如第二视频用户的所记录的视频204)。可选地，第二视频可由用户从在由服务器维护的网站上的可用选择的菜单中或从存储在用户设备处的视频源中选择。例如，如图3B所示，第二视频可以是包括例如第二用户305的图像的用户记录的视频304。根据实施例，第一视频源包括与第二选定视频不同的视频数据或对象。另外，在一些情况下，第一视频和第二视频的分辨率和帧速率彼此不同。例如，第一选定视频可以是有具有约15FPS的SD的分辨率和帧速率的人或动物的动画GIF视频或MP4视频，而第二视频可以是有具有约60FPS的HD的分辨率和帧速率的高分辨率用户自拍视频。
在步骤325，例如由分析器模块将第二视频解析为多个帧。在步骤330，使用例如在本领域中已知的和如中本文所述的人脸检测手段或方法(例如SMQT、SFSC、ERDFD、GFENN、EFCS)在第一视频和第二视频中识别一个或更多个人脸图像或人脸元素例如眼睛(例如左和右)和/或鼻子和/或嘴。在步骤335，一个或更多个标记叠加在一个或更多个识别的人脸图像或人脸元素上，以标记所识别的一个或更多个人脸图像或人脸元素的位置和/或定位。在步骤340，人脸位置标记306从第一视频被提取并叠加在第二视频的一个或更多个帧的所识别的人脸图像上。例如，如图3B所示，分析器模块210被配置为识别在GIF视频302中的人303的人脸303'，并且因此多个“+”形标记(例如六个标记)306被叠加在人的眼睛、鼻子和嘴上。然后，标记306从第一视频帧302被提取并叠加在所识别的第二用户305的人脸图像305'上。
在步骤345，根据在第二视频帧中的所提取的标记306的位置处理第二视频帧，以产生与第一视频的大小相匹配的所编辑的第二视频，例如具有例如适应第一视频的元素的大小和形状的人脸图像或其他元素的元素。具体地，处理包括基于在第二视频帧(例如，先于第二视频的帧的第一视频的视频帧)上的标记306的位置来调整和/或裁剪和/或缩放第二视频帧以匹配和/或适应第一视频帧的大小和形状。更具体地，该处理包括根据如从第一视频(例如源视频)的前面的帧提取的标记306的位置来调整和/或裁剪和/或缩放每个第二视频帧或第二帧的实质上所有帧。例如，如图3B所示，第一源视频302的帧在时间上在第二视频304的帧之前。相应地，基于提取的标记306的位置来例如实时地调整和裁剪第二用户305以产生被调整大小和裁剪的视频309，其部分地或完全地匹配第一源视频302的人303的图像的大小和形状。具体地，如图3B所示，原始的用户记录的视频304的大小减小到源视频302的大小。
在步骤350，第一视频和所编辑的第二视频帧例如通过连接第一和第二视频而被集合在一起(例如连接)以产生包括匹配彼此的大小、形状和速率的所连接的视频帧的新视频(例如混合视频资产)。
具体地，集合(例如连接)包括使所编辑的客户端记录的视频204的帧速率和/或分辨率和/或比特率与现有媒体源202(例如视频GIF)的帧速率和/或分辨率和/或比特率匹配以产生新的连贯、无缝和同步的视频。因为通常现有媒体源202(例如视频GIF)的帧速率和/或分辨率和/或比特率低于客户端记录的视频的帧速率和/或分辨率和/或比特率，第一混合模块230将在一些情况下降低具有较高速率的视频(例如用户记录)的帧速率和/或分辨率和/或比特率以匹配具有较低速率的视频(例如现有媒体源-视频GIF)的帧速率和/或分辨率和/或比特率。
例如，如图3C所示，原始第一视频302的帧(例如原始GIF帧302(i)、302(ii)...302(x))与所编辑的第二视频帧309(例如用户调整大小的视频帧309(i)、309(ii)...309(x))连接以创建新的连贯和无缝的视频312。在一些情况下，如图3C所示，所编辑的第二视频的帧309可以在第一视频帧302之后连接。在一些情况下，第一视频帧302可以在所编辑的第二视频的帧309之后连接。
根据一些实施例，在步骤355，由例如过滤器生成器模块240根据预先选择的或自动激活的过滤过程来过滤新的所连接的视频。过滤过程可以包括一个或更多个下面的过滤行动：
·通过快进/慢动作过滤来增加/降低帧速率；
·更改一个或更多个帧颜色以消除亮度并在帧的不同颜色之间创建增强；
·更改一个或更多个帧分辨率。在一些实施例中，改变的分辨率是相对于另一视频包括较高的分辨率的视频的分辨率。例如，使用例如下采样方法来降低检测到的视频的高分辨率以匹配低分辨率。
·更改视频或帧比特率。在一些实施例中，通过删除一个或更多个帧来减少具有较高帧速率/比特率的视频以匹配另一个视频的较低帧速率/比特率，如图3D所示。
例如，如图3D所示，在时间线311上的所编辑的第二视频309(例如，包括例如12帧)被“快进”过滤，产生密集视频帧的序列313(例如，包括16帧/t)。可选地，在时间线311上的所编辑的第二帧309可以被“慢运动”过滤，产生慢速率帧的序列(例如6帧/t)。
在一些情况下，在步骤360，例如自动地将经过滤和连接的帧转换为选定格式例如GIF或MP4格式或其他格式例如VP8、m4v、mov、avi、fav、mpg、wmv、h265。
在一些情况下，所连接的帧不被过滤，且新的视频可以直接转换为选定格式之一。
在步骤365，视频(例如转换后的视频)可以例如在用户的设备显示器上显示和/或在选定的网站上手动地或自动地被共享。
可选地或组合地，根据实施例，第二视频(例如客户端视频记录)的处理可以包括将第一视频(例如源视频)在部分透明的配置中定位在第二视频上，以使用户能够例如实时地移动他的脸，同时记录自己，并将它放置在所显示的第一视频的人脸上。
可选地或组合地，根据实施例，第二视频(例如客户端视频记录)的处理可以包括将指示第一视频的人脸的位置的第一视频的一个或更多个标记叠加在第二视频上，以例如实时地指导用户将他的脸定位在哪里，因此用户脸在第二视频中的位置将与在第一视频中的人脸的位置相匹配。相应地，一旦在第一和第二视频中的帧中的人脸位置匹配，第一视频的帧就可以被裁剪和/或调整大小，相应地具有同步比率。
图4是根据一个实施例的从服务器22传输到客户端设备30、32、34的用户界面屏幕410的示意图。服务器22自动将屏幕调整为客户端设备及它正运行的软件的类型。例如，不同的屏幕版本可以为平板电脑和其他移动设备而提供，以及用于集成到社交网络应用例如中。
屏幕410允许用户选择不同的功能以便创建和/或播放混合媒体资产。例如，根据一些实施例，屏幕410可以呈现“视频源库”窗口420，其包括客户端设备用户可以选择的、与例如以GIF的形式的多个不同视频源(例如，十个或更多个)有关的多个图标或帧422。当用户选择这些帧中的一个时，通过选择“记录你的部分”选项430，他或她被提示创建并上传相应的媒体记录。在一些情况下，所选的GIF在屏幕的上侧处被呈现给用户，而“实时”视频记录440被显示给用户，因此他可以模仿所选的GIF。例如，如图4所示，用户选择呈现弹钢琴的猫的GIF视频424，并且因此用户被提示模仿猫的运动以提供所连接的视频，包括与可以实时地呈现在屏幕460上的用户记录混合的猫GIF视频。在一些情况下，屏幕460可以包括社交移动视频平台的图标462，包括例如Gmail、YouTube和社交媒体网站例如Facebook的共享和现场直播选项，所以用户可以实时地或接近实时地共享混合媒体资产。
在另外的实施例中，处理单元可以是包括执行设备的功能的一个或更多个硬件中央处理单元(CPU)的数字处理设备。在又一些另外的实施例中，数字处理设备还包括被配置为执行可执行指令的操作系统。在一些实施例中，数字处理设备可选地连接到计算机网络。在另外的实施例中，数字处理设备可选地连接到互联网，使得它访问万维网。在又一些另外的实施例中，数字处理设备可选地连接到云计算基础设施。在其他实施例中，数字处理设备可选地连接到内联网。在其他实施例中，数字处理设备可选地连接到数据存储设备。
根据本文的描述，作为非限制性例子，合适的数字处理设备包括服务器计算机、台式计算机、膝上型计算机、笔记本计算机、子笔记本计算机、上网本计算机、netpad计算机、机顶计算机、手持计算机、互联网电器、移动智能手机、平板电脑、个人数字助理、视频游戏控制台和车辆。本领域中的技术人员将认识到，许多智能手机适合于在本文描述的系统中使用。本领域中的技术人员还将认识到，具有可选计算机网络连接的选定电视机适合于在本文描述的系统中使用。合适的平板电脑包括具有本领域中的技术人员已知的小册子、写字板和可转换的配置的平板电脑。
在一些实施例中，数字处理设备包括被配置为执行可执行指令的操作系统。例如，操作系统是软件，包括程序和数据，其管理设备的硬件并提供用于应用的执行的服务。本领域中的技术人员将认识到，作为非限制性例子，合适的服务器操作系统包括FreeBSD、OpenBSD、Linux、Mac OS XWindows和本领域中的技术人员将认识到，作为非限制性例子，合适的个人计算机操作系统包括Mac OS和UNIX型操作系统，例如在一些实施例中，操作系统由云计算提供。本领域中的技术人员还将认识到，作为非限制性例子，合适的移动智能电话操作系统包括OS、 Research InBlackBerry WindowsOS、WindowsOS、和
在一些实施例中，该设备包括存储和/或存储器设备。存储和/或存储器设备是用于在临时或永久基础上存储数据或程序的一个或更多个物理装置。在一些实施例中，该设备是易失性存储器并且需要电力来维持所存储的信息。在一些实施例中，该设备是非易失性存储器并且当数字处理设备未被供电时保留所存储的信息。在另外的实施例中，非易失性存储器包括闪存。在一些实施例中，非易失性存储器包括动态随机存取存储器(DRAM)。在一些实施例中，非易失性存储器包括铁电随机存取存储器(FRAM)。在一些实施例中，非易失性存储器包括相变随机存取存储器(PRAM)。在其他实施例中，该设备是存储设备，作为非限制性例子包括CD-ROM、DVD、闪存设备，磁盘驱动器、磁带驱动器、光盘驱动器以及基于云计算的存储器。在另外的实施例中，存储和/或存储器设备是例如在本文公开的那些设备的组合的设备。
在一些实施例中，数字处理设备包括将视觉信息发送给用户的显示器。在一些实施例中，显示器是阴极射线管(CRT)。在一些实施例中，显示器是液晶显示器(LCD)。在另外的实施例中，显示器是薄膜晶体管液晶显示器(TFT-LCD)。在一些实施例中，显示器是有机发光二极管(OLED)显示器。在各种另外的实施例中，在OLED显示器上是无源矩阵OLED(PMOLED)或有源矩阵OLED(AMOLED)显示器。在一些实施例中，显示器是等离子体显示器。在其他实施例中，显示器是视频投影机。在又一些另外的实施例中，显示器是例如本文公开的那些设备的组合的设备。
在一些实施例中，数字处理设备包括用于从用户接收信息的输入设备。在一些实施例中，输入设备是键盘。在一些实施例中，输入设备是指示设备，作为非限制性例子包括鼠标、轨迹球、触控板、操纵杆、游戏控制器或指示笔。在一些实施例中，输入设备是触摸屏或多点触摸屏。在其他实施例中，输入设备是用于捕获语音或其他声音输入的麦克风。在其他实施例中，输入设备是捕获运动或视觉输入的摄像机。在又一些另外的实施例中，输入设备是例如本文公开的那些设备的组合的设备。
在一些实施例中，本文公开的系统包括用程序编码的一个或更多个非临时计算机可读存储介质，程序包括由可选地联网的数字处理设备的操作系统可执行的指令。在另外的实施例中，计算机可读存储介质是数字处理设备的有形部件。在又一些另外的实施例中，计算机可读存储介质可选地从数字处理设备可移除。
在一些实施例中，作为非限制性例子，计算机可读存储介质包括CD-ROM、DVD、闪存设备、固态存储器、磁盘驱动器、磁带驱动器、光盘驱动器、云计算系统和服务等。在一些情况下，程序和指令在介质上永久地、实质上永久地、半永久地或非临时地被编码。在一些实施例中，本文公开的系统包括至少一个计算机程序或其使用。计算机程序包括在数字处理设备的CPU中可执行的、被写入以执行指定的任务的一系列指令。计算机可读指令可以被实现为执行特定任务或实现特定抽象数据类型的程序模块，例如功能、对象、应用编程接口(API)、数据结构等。根据在本文提供的公开，本领域中的技术人员将认识到，可以用各种语言的各种版本来编写计算机程序。
计算机可读指令的功能可以根据需要在各种环境中被组合或分配。在一些实施例中，计算机程序包括一个指令序列。在一些实施例中，计算机程序包括多个指令序列。在一些实施例中，从一个位置提供计算机程序。在其他实施例中，从多个位置提供计算机程序。在各种实施例中，计算机程序包括一个或更多个软件模块。在各种实施例中，计算机程序部分地或全部包括一个或更多个web应用、一个或更多个移动应用、一个或更多个独立应用、一个或更多个web浏览器插件、扩展、加载项或附件或其组合。
在一些实施例中，计算机程序包括提供给移动数字处理设备的移动应用。在一些实施例中，移动应用在它被制造的时间被提供给移动数字处理设备。在其他实施例中，经由在本文描述的计算机网络来将移动应用提供给移动数字处理设备。
鉴于在本文提供的公开，通过本领域中的技术人员已知的技术使用本领域已知的硬件、语言和开发环境来创建移动应用。在本领域中的技术人员将认识到，移动应用是用几种语言编写的。作为非限制性例子，合适的编程语言包括C、C++、C#、Objective-C、JavaTM、Javascript、Pascal、Object Pascal、PythonTM、Ruby、VB.NET、WML和有或没有CSS的XHTML/HTML或其组合。
合适的移动应用开发环境从几个源可获得。作为非限制性例子，商业上可得到的开发环境包括AirplaySDK、alcheMo、Celsius、Bedrock、Flash Lite、.NETCompact Framework、Rhomobile和WorkLight移动平台。其他开发环境在没有成本的情况下可获得，作为非限制性例子包括Lazarus、MobiFlex、MoSync和Phonegap。此外，作为非限制性例子，移动设备制造商分发软件开发工具包包括iPhone和iPad(iOS)SDK、AndroidTM SDK、SDK、BREW SDK、OS SDK、Symbian SDK、webOS SDK和Mobile SDK。
本领域的技术人员将认识到，几个商业论坛可用于分发移动应用，作为非限制性例子包括App Store、AndroidTM Market、App World、用于Palm设备的App Store、用于webOS的App catalog、用于Mobile的Marketplace、用于设备的Ovi Store、Apps和DSi Shop。
在一些实施例中，在本文公开的系统包括软件、服务器和/或数据库模块或其使用。鉴于这里提供的公开，通过本领域中的技术人员已知的技术使用本领域已知的机器、软件和语言来创建软件模块。本文公开的软件模块以多种方式实现。在各种实施例中，软件模块包括文件、代码段、编程对象、编程结构或其组合。在另外的各种实施例中，软件模块包括多个文件、多个代码段、多个编程对象、多个编程结构或其组合。在各种实施例中，作为非限制性例子，一个或更多个软件模块包括网络应用、移动应用和独立应用。在一些实施例中，软件模块在一个计算机程序或应用中。在其他实施例中，软件模块在多于一个计算机程序或应用中。在一些实施例中，软件模块被托管在一台机器上。在其他实施例中，软件模块被托管在多于一台机器上。在另外的实施例中，软件模块被托管在云计算平台上。在一些实施例中，软件模块被托管在一个位置中的一台或更多台机器上。在其他实施例中，软件模块被托管在多于一个位置中的一台或多台机器上。
在一些实施例中，这本文公开的系统包括一个或更多个数据库或其使用。鉴于本文提供的公开，本领域中的技术人员将认识到，许多数据库适合于如本文所述的信息的存储和检索。在各种实施例中，作为非限制性例子，合适的数据库包括关系数据库、非关系数据库、面向对象的数据库、对象数据库、实体-关系模型数据库、联合数据库和XML数据库。在一些实施例中，数据库是基于互联网的。在另外的实施例中，数据库是基于web的。在又一些另外的实施例中，数据库是基于云计算的。在其他实施例中，数据库基于一个或更多个本地计算机存储设备。
在上面的描述中，实施例是本发明的例子或实现。“一个实施例”、“实施例”或“一些实施例”的各种出现并不一定都指相同的实施例。
尽管本发明的各种特征可以在单个实施例的上下文中进行描述，这些特征也可以单独地或以任何合适的组合提供。相反，尽管为了清楚起见，本发明可在本文中在单独实施例的上下文中进行描述，本发明也可以在单个实施例中实现。
说明书中对“实施例”、“一个实施例”、“一些实施例”或“其他实施例”的提及意指结合实施例所描述的特定的特征、结构或特性被包括在发明的至少一些实施例中，但不一定是所有实施例。
应该理解，在本文使用的措辞和术语不应被解释为限制性的，并且仅用于描述性目的。
参考所附说明书、附图和例子可以更好地理解本发明的教导的原理和用途。
应该理解，在本文阐述的细节并不解释对本发明的应用的限制。
此外，可以理解的是，本发明可以按照各种方式执行或实施，并且本发明可以在不同于上述描述中概括的实施例的实施例中实现。
应该理解，术语“包括(including)”、“包括(comprising)”、“由...组成”及其语法变体并不排除一个或更多个组件、特征、步骤或完整事物或其组的添加，并且术语应被解释为指定组件、特征、步骤或完整事物。
如果说明书或权利要求提到“附加的”元件，其并不排除有多于一个的附加的元件。
应该理解，在权利要求或说明书提到“一个(a)”或“一个(an)”元件的情况下，这样的提及并不被解释为仅存在该元件中的一个。应理解，在说明书规定组件、特征、结构或特性“可以”、“可能”、“能”或“能够”被包括的场合，该特定的组件、特征、结构或特性不要求被包括。在可适用的情况下，虽然可以使用状态图、流程图或两者来描述实施例，但是本发明不限于这些图或相应的描述。例如，流程不需要移动经过每个示出的框或状态，或按照与图示和描述完全相同的顺序移动。本发明的方法可以通过手动地、自动地或其组合执行或完成所选择的步骤或任务来实现。
在权利要求书和说明书中呈现的描述、例子、方法和材料不应被解释为限制性的，而更确切地是仅仅是说明性的。本文使用的技术和科学术语的含义是如本发明所属领域的普通技术人员通常理解的含义，除非另有规定。本发明可以在使用本文所述的那些方法和材料等同或相似的方法和材料的测试或实践中实现。
虽然本发明关于有限数量的实施方案进行了描述，但是这些不应被解释为对本发明的范围的限制，而是应作为一些优选实施方案的示例。其他可能的变化、修改和应用也落入本发明的范围内。相应地，本发明的范围不应被迄今为止已经描述的内容限定，而是由所附的权利要求及其法律等效物限定。
在本说明书中提及的所有出版物、专利和专利申请通过引用并入本说明书中，其程度如同每个单独的出版物、专利或专利申请被具体和单独地指明通过引用并入本文。此外，本申请中引用或标识任何参考文献不应解释为承认该参考文献可用作本发明的现有技术。在使用章节标题的范围内，不应将其解释为必然的限制。

Claims (10)

1.一种用于媒体处理的方法，包括：
经由网络或客户端设备提供从媒体资产源库中选择的至少一个媒体资产源，所述至少一个媒体资产源包括至少一个源视频；
经由所述网络或所述客户端设备接收包括由所述客户端设备的用户记录的客户端视频的媒体记录；
将所述客户端视频和所述源视频分别解析为多个客户端视频帧和多个源视频帧；
通过人脸检测识别在所述多个源视频帧的至少一个帧中的至少一个人脸和在所述多个客户端视频帧的至少一个帧中的至少另一个人脸；
在所述多个源视频帧的所识别的至少一个人脸上叠加一个或更多个标记；
通过使用所述一个或更多个标记来处理所述客户端视频帧以适应所述源视频帧的大小或形状；
将所述经处理的客户端视频帧与所述源视频帧连接，其中所述连接包括使所述经处理的客户端视频帧的帧速率和分辨率与所述多个客户端视频帧的帧速率和分辨率匹配以产生混合媒体资产。
2.根据权利要求1所述的方法，其中所述处理包括：
从所识别的至少一个人脸图像提取所述一个或更多个标记，并将所提取的一个或更多个标记叠加在所识别的所述至少另一个人脸上；以及
调整所识别的所述至少另一个人脸的大小以匹配在所述多个源视频帧的所述至少一个帧中的所识别的至少一个人脸的大小或形状。
3.根据权利要求2所述的方法，其中所述处理还包括裁剪或缩放在所述用户视频帧中的所识别的所述至少另一个人脸以匹配所述源视频帧中的所识别的至少一个人脸图像的大小或形状。
4.根据权利要求1所述的方法，其中所述处理包括：
过滤所述经处理的客户端视频帧，并且过滤所述源视频帧。
5.根据权利要求4所述的方法，其中所述过滤包括使所述客户端视频帧的比特率或帧速率或分辨率中的一个或更多个与所述源视频帧匹配，反之亦然。
6.根据权利要求4所述的方法，其中所述过滤包括下面的过滤过程中的一个或更多个：快进过滤；慢动作过滤；彩色过滤；黑白过滤。
7.根据权利要求1所述的方法，其中所述人脸检测包括识别在所述多个视频源帧的至少一个帧中的一个或更多个人脸元素以及在所述至少一个客户端视频帧中的其他一个或更多个人脸元素的位置；以及
调整在所述至少一个客户端视频帧中的其他至少一个所识别的人脸元素的大小以匹配在所述多个源视频帧的所述至少一个帧中的至少一个所识别的人脸元素的大小和形状。
8.根据权利要求7所述的方法，其中所述人脸检测包括在所述多个视频源帧的所述至少一个帧中的所识别的一个或更多个人脸元素上叠加一个或更多个标记。
9.根据权利要求1所述的方法，其中所述媒体资产源为从由下列项组成的组中选择的形式：
图形交换格式(GIF)；或MP4；VP8；m4v；mov；avi；fav；mpg；wmv；h265。
10.一种计算机软件产品，包括存储有程序指令的非临时计算机可读介质，所述指令在被计算机读取时使所述计算机经由网络将从媒体资产源库中选择的至少一个媒体资产源提供到客户端设备，所述至少一个媒体资产源包括至少一个源视频；
经由所述网络从所述客户端设备接收包括由所述客户端设备的用户记录的客户端视频的媒体记录；
将所述客户端视频和所述源视频分别解析为多个客户端视频帧和多个源视频帧；
通过人脸检测位置识别在所述多个源视频帧的至少一个帧中的至少一个人脸和在所述多个客户端视频帧的至少一个帧中的至少另一个人脸；
在所述多个源视频帧的所识别的至少一个人脸图像上叠加一个或更多个标记；
通过使用所述一个或更多个标记来处理所述客户端视频帧以适应所述源视频帧的大小或形状；以及
将所述经处理的客户端视频帧与所述源视频帧连接，其中所述连接包括使所述经处理的客户端视频帧的帧速率和分辨率与所述多个客户端视频帧的帧速率和分辨率匹配以产生混合媒体资产。
CN201810153795.8A 2017-02-16 2018-02-22 用于媒体处理的方法、装置及可读介质 Active CN108449631B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762459620P 2017-02-16 2017-02-16
US62/459,620 2017-02-16

Publications (2)

Publication Number Publication Date
CN108449631A true CN108449631A (zh) 2018-08-24
CN108449631B CN108449631B (zh) 2022-04-26

Family

ID=63104780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810153795.8A Active CN108449631B (zh) 2017-02-16 2018-02-22 用于媒体处理的方法、装置及可读介质

Country Status (2)

Country Link
US (3) US10734027B2 (zh)
CN (1) CN108449631B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110072119A (zh) * 2019-04-11 2019-07-30 西安交通大学 一种基于深度学习网络的内容感知视频自适应传输方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10734027B2 (en) * 2017-02-16 2020-08-04 Fusit, Inc. System and methods for concatenating video sequences using face detection
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
JP6635208B1 (ja) * 2019-02-22 2020-01-22 日本電気株式会社 検索装置、検索方法、およびプログラム
US11581018B2 (en) 2020-09-03 2023-02-14 Fusit, Inc. Systems and methods for mixing different videos
CN114724055A (zh) * 2021-01-05 2022-07-08 华为技术有限公司 视频切换方法、装置、存储介质及设备
CN113873176B (zh) * 2021-10-27 2024-03-08 北京奇艺世纪科技有限公司 一种媒体文件合并方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154684A1 (en) * 2010-12-17 2012-06-21 Jiebo Luo Method for producing a blended video sequence
US20120257817A1 (en) * 2009-12-15 2012-10-11 Koichi Arima Image output apparatus
CN103053163A (zh) * 2010-12-16 2013-04-17 松下电器产业株式会社 图像生成装置、图像生成系统、方法及程序
US20140079297A1 (en) * 2012-09-17 2014-03-20 Saied Tadayon Application of Z-Webs and Z-factors to Analytics, Search Engine, Learning, Recognition, Natural Language, and Other Utilities
US20150363635A1 (en) * 2014-06-12 2015-12-17 Microsoft Corporation Rule-Based Video Importance Analysis
CN106021496A (zh) * 2016-05-19 2016-10-12 海信集团有限公司 视频搜索方法及视频搜索装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5523182B2 (ja) 2010-04-20 2014-06-18 キヤノン株式会社 映像編集装置および映像編集方法
US20140028662A1 (en) 2012-07-24 2014-01-30 Sharp Laboratories Of America, Inc. Viewer reactive stereoscopic display for head detection
US9866887B2 (en) * 2016-03-08 2018-01-09 Flipboard, Inc. Auto video preview within a digital magazine
US10748579B2 (en) * 2016-10-26 2020-08-18 Adobe Inc. Employing live camera feeds to edit facial expressions
US10734027B2 (en) * 2017-02-16 2020-08-04 Fusit, Inc. System and methods for concatenating video sequences using face detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120257817A1 (en) * 2009-12-15 2012-10-11 Koichi Arima Image output apparatus
CN103053163A (zh) * 2010-12-16 2013-04-17 松下电器产业株式会社 图像生成装置、图像生成系统、方法及程序
US20120154684A1 (en) * 2010-12-17 2012-06-21 Jiebo Luo Method for producing a blended video sequence
US20140079297A1 (en) * 2012-09-17 2014-03-20 Saied Tadayon Application of Z-Webs and Z-factors to Analytics, Search Engine, Learning, Recognition, Natural Language, and Other Utilities
US20150363635A1 (en) * 2014-06-12 2015-12-17 Microsoft Corporation Rule-Based Video Importance Analysis
CN106021496A (zh) * 2016-05-19 2016-10-12 海信集团有限公司 视频搜索方法及视频搜索装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高广宇: "影视视频结构解析及自动编目技术研究", 《中国博士学位论文全文数据库（电子期刊）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110072119A (zh) * 2019-04-11 2019-07-30 西安交通大学 一种基于深度学习网络的内容感知视频自适应传输方法
CN110072119B (zh) * 2019-04-11 2020-04-10 西安交通大学 一种基于深度学习网络的内容感知视频自适应传输方法

Also Published As

Publication number Publication date
US20220068315A1 (en) 2022-03-03
US20200349978A1 (en) 2020-11-05
US11189320B2 (en) 2021-11-30
US20180233175A1 (en) 2018-08-16
CN108449631B (zh) 2022-04-26
US10734027B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
CN108449631A (zh) 使用人脸检测来连接视频序列的系统和方法
US11443491B2 (en) 3D object camera customization system
US11488355B2 (en) Virtual world generation engine
CN112256127B (zh) 球形视频编辑
WO2022001593A1 (zh) 视频生成方法、装置、存储介质及计算机设备
US8907984B2 (en) Generating slideshows using facial detection information
Howse OpenCV computer vision with python
US9626103B2 (en) Systems and methods for identifying media portions of interest
US20200074738A1 (en) Video clip object tracking
US8135724B2 (en) Digital media recasting
CN108140263A (zh) 应用于图像或视频的ar显示系统及方法
US20210098023A1 (en) System and methods for generating media assets
DE102019005884A1 (de) Schnittstellen und Techniken zum Einpassen von 2D-Anleitungsvideos in 3D-Tutorials in der virtuellen Realität
US11581018B2 (en) Systems and methods for mixing different videos
CN112839190A (zh) 虚拟图像与现实场景同步视频录制或直播的方法
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20240185546A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20230334791A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20230326095A1 (en) Overlaying displayed digital content with regional transparency and regional lossless compression transmitted over a communication network via processing circuitry
US20240098213A1 (en) Modifying digital content transmitted to devices in real time via processing circuitry
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039885A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039887A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023205145A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230201

Address after: California, USA

Patentee after: New Delphi

Address before: Israel Tel Aviv

Patentee before: Fusic Ltd.

Effective date of registration: 20230201

Address after: California, USA

Patentee after: Fuchter

Address before: California, USA

Patentee before: New Delphi

TR01 Transfer of patent right