CN114051110A - 视频生成方法、装置、电子设备和存储介质 - Google Patents
视频生成方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114051110A CN114051110A CN202111317547.0A CN202111317547A CN114051110A CN 114051110 A CN114051110 A CN 114051110A CN 202111317547 A CN202111317547 A CN 202111317547A CN 114051110 A CN114051110 A CN 114051110A
- Authority
- CN
- China
- Prior art keywords
- signal
- sequence
- video
- response
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004044 response Effects 0.000 claims abstract description 64
- 239000013077 target material Substances 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012217 deletion Methods 0.000 claims description 10
- 230000037430 deletion Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 108010001267 Protein Subunits Proteins 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 230000008034 disappearance Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
- G06F3/0447—Position sensing using the local deformation of sensor cells
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种视频生成方法,涉及计算机技术领域,尤其涉及计算机视觉技术和视频处理技术。具体实现方案为:针对检测到的至少一个信号,响应于每个信号,执行以下操作,得到与至少一个信号对应的至少一个视频帧序列:响应于检测到该信号,执行生成视频帧序列的操作;响应于检测到该信号消失,执行停止生成该视频帧序列的操作,得到与该信号对应的视频帧序列;根据至少一个视频帧序列,生成目标视频。本公开还提供了一种视频生成装置、电子设备和存储介质。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及计算机视觉技术和视频处理技术。更具体地,本公开提供了一种视频生成方法、装置、电子设备和存储介质。
背景技术
视频是信息传播的一种重要载体。在完成视频的拍摄或录制之后,可以对视频进行编辑,以得到所需视频。例如,可以利用拍摄设备拍摄视频,之后再利用视频编辑软件对该视频进行编辑,以得到所需视频。
发明内容
本公开提供了一种视频生成方法、装置、设备以及存储介质。
根据第一方面,提供了一种视频生成方法,该方法包括:针对检测到的至少一个信号,响应于每个信号,执行以下操作,得到与至少一个信号对应的至少一个视频帧序列:响应于检测到该信号,执行生成视频帧序列的操作;响应于检测到该信号消失,执行停止生成该视频帧序列的操作,得到与该信号对应的视频帧序列;根据至少一个视频帧序列,生成目标视频。
根据第二方面,提供了一种视频生成装置,该装置包括:第一执行模块,用于针对检测到的至少一个信号,响应于每个信号,通过以下子模块执行相关操作,得到与至少一个信号对应的至少一个视频帧序列:第一执行子模块,用于响应于检测到该信号,执行生成视频帧序列的操作;第二执行子模块,用于响应于检测到该信号消失,执行停止生成该视频帧序列的操作,得到与该信号对应的视频帧序列;生成模块,用于根据至少一个视频帧序列,生成目标视频。
根据第三方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行根据本公开提供的方法。
根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行根据本公开提供的方法。
根据第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据本公开提供的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开一个实施例的可以应用视频生成方法和装置的示例性系统架构示意图;
图2是根据本公开一个实施例的视频生成方法的流程图;
图3是根据本公开另一个实施例的视频生成方法的流程图;
图4A是根据本公开一个实施例的目标素材的示意图;
图4B是根据本公开一个实施例的一个图像帧的示意图;
图4C是根据本公开一个实施例的另一个图像帧的示意图;
图4D是根据本公开另一个实施例的一个图像帧的示意图;
图5是根据本公开一个实施例的视频生成装置的框图;以及
图6是根据本公开一个实施例的可以应用视频生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
相关技术中,视频的拍摄和编辑是两个彼此独立的过程。在视频的拍摄过程中,需要获取足够多的素材。在视频的编辑过程中,再对获取的素材进行处理。如果在视频的编辑过程中,发现素材不足或素材不满足需求,就需要重新进行拍摄,导致大量的资源或时间的浪费。
图1是根据本公开一个实施例的可以应用视频生成方法和装置的示例性系统架构示意图。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括多个终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线和/或无线通信链路等等。
用户可以使用终端设备101通过网络102与服务器103进行交互,以接收或发送消息等。终端设备101可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机等等。
本公开实施例所提供的视频生成方法中的一般可以由服务器103执行。相应地,本公开实施例所提供的视频生成装置一般可以设置于服务器103中。本公开实施例所提供的视频生成方法也可以由不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群执行。相应地,本公开实施例所提供的视频生成装置也可以设置于不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群中。
图2是根据本公开一个实施例的视频生成方法的流程图。
如图2所示,该方法200可以包括操作S210至操作S240。
在操作S210,针对检测到的至少一个信号,响应于每个信号,执行以下操作,得到与至少一个信号对应的至少一个视频帧序列。
在本公开实施例中,响应于每个信号,可以执行下述操作S220至操作S230。
在本公开实施例中,信号可以是压力信号。
例如,压力信号可以是在用户按压触摸屏产生的。
例如,用户可以按压触摸屏,以产生可被检测到的压力信号。之后,用户可以不再按压触摸屏,以不再产生可被检测到的压力信号。重复至少一次,可以产生至少一个压力信号。
在一些示例中,压力信号可以包括至少一个压力子信号。
在一个示例中,可以按照预定频率检测压力子信号,比如每10毫秒检测一次。若每次都能检测到信号,则可以将该信号作为当前压力信号的压力子信号。
在一个示例中,可以按照预定频率检测压力子信号。若在一次检测时,没有检测到信号,则将最后的检测到的信号作为当前压力信号的最后一个压力子信号。将下一次检测到的信号作为下一个压力信号的第一个压力子信号。在一个示例中,按照预定频率检测可以是每10毫秒检测一次。
在本公开实施例中,信号可以是语音信号。
例如,用户可以发出语音,以产生可被检测到的语音信号。之后,用户可以不再发出语音,以不再产生可被检测到的语音信号。重复至少一次,可以产生至少一个语音信号。
在一些示例中,语音信号可以包括至少一个语音子信号。
在一个示例中,可以按照预定频率检测语音子信号,比如每10毫秒检测一次。若每次都能检测到信号,则可以将该信号作为当前语音信号的语音子信号。
在一个示例中,可以按照预定频率检测语音子信号。若在一次检测时,没有检测到信号,则将最后的检测到的信号作为当前语音信号的最后一个语音子信号。将下一次检测到的信号作为下一个语音信号的第一个语音子信号。在一个示例中,按照预定频率检测可以是每10毫秒检测一次。
在本公开实施例中,信号可以是基于隔空手势产生的手势信号。
例如,用户可以在应用该方法200的设备上触发隔空手势,以产生手势信号。在一个示例中,用户可以在该设备上方作出隔空手势,该隔空手势被该设备的摄像头捕捉,以产生手势信号。
在一些示例中,手势信号可以包括至少一个手势子信号。
在一个示例中,可以按照预定频率检测手势子信号,比如每10毫秒检测一次。若每次都能检测到信号(比如摄像头每次都检测到手势),则可以将该信号作为当前手势信号的手势子信号。
在一个示例中,可以按照预定频率检测手势子信号。若在一次检测时,没有检测到信号,则将最后的检测到的信号作为当前手势信号的最后一个手势子信号。将下一次检测到的信号作为下一个手势信号的第一个手势子信号。在一个示例中,按照预定频率检测可以是每10毫秒检测一次。
在本公开实施例中,视频帧序列可以包括图像帧序列。
例如,图像帧序列可以由多个图像帧组成。每个图像帧具有与该图像帧对应时间信息。
在本公开实施例中,视频帧序列可以包括音频帧序列。
例如,音频帧序列可以由多个音频帧组成。每个音频帧具有与该音频帧对应时间信息。
在本公开实施例中,每个信号可以对应一个视频帧序列。
例如,每个压力信号可以对应一个图像帧序列。
例如,每个语音信号可以对应一个音频帧序列。
例如,每个手势信号可以对应一个图像帧序列。
在操作S220,响应于检测到该信号,执行生成视频帧序列的操作。
例如,执行生成视频帧序列的操作后可以生成至少一个视频帧,并将最新生成的视频帧添加到与该信号对应的视频帧序列中,以生成视频帧序列。
在本公开实施例中,可以针对检测到的该压力信号的至少一个压力子信号,响应于每个压力子信号,执行以下操作,得到与该至少一个压力子信号对应的至少一个图像帧。
例如,每个压力子信号可以对应一个图像帧。
例如,响应于该压力子信号,可以确定与该压力子信号对应的轨迹信息。
在一些示例中,响应于该压力子信号,可以获取与该压力子信号对应的坐标,将该坐标作为一个轨迹信息。该坐标可以是屏幕图像上的一个或多个像素的坐标,该屏幕图像在应用该方法200的设备的屏幕上显示。
例如,根据该轨迹信息,可以得到与该压力子信号对应的图像帧。
在一些示例中,可以将屏幕图像中与上述坐标对应的像素的像素值转换为预定值(比如255),得到转换后的图像,将该转换后的图像作为该压力子信号对应的图像帧。
在一些示例中,可以根据上一个图像帧生成下一个图像帧。在响应于第一个压力子信号生成第一个图像帧时,可以根据屏幕图像生成第一个图像帧。可以生成一个带有轨迹线的图像帧,轨迹线可以表征用户的手指在屏幕上的移动轨迹,以便用户标记屏幕图像上的某一位置。
在本公开实施例中,可以根据该至少一个图像帧,执行生成图像帧序列的操作。
例如,可以根据该至少一个图像帧,执行生成图像帧序列的操作,将最新生成的图像帧添加到图像帧序列中,以生成图像帧序列。每个图像帧具有与该图像帧对应时间信息。
在本公开实施例中,可以响应于检测到该语音信号,执行生成音频帧序列的操作。
例如,响应于检测到该语音信号,可以利用应用该方法200的设备上的录音装置,生成音频帧,以执行生成音频帧序列的操作。
在操作S230,响应于检测到该信号消失,执行停止生成该视频帧序列的操作,得到与该信号对应的视频帧序列。
例如,执行停止生成该视频帧序列的操作后,可以将根据最后一个视频帧更新的视频帧序列作为与该信号对应的视频帧序列,以得到与该信号对应的视频帧序列。
在一些示例中,响应于检测到压力信号消失,可以执行停止生成图像帧序列的操作。可以将根据最后一个图像帧更新的图像帧序列作为与该信号对应的图像帧序列,以得到与该信号对应的图像帧序列。
在一些示例中,响应于检测到语音信号消失,可以执行停止生成音频帧序列的操作。可以将根据最后一个音频帧更新的音频帧序列作为与该信号对应的音频帧序列,得到与该信号对应的音频帧序列。
在一些示例中,响应于检测到手势信号消失,可以执行停止生成图像帧序列的操作。可以将根据最后一个图像帧更新的图像帧序列作为与该信号对应的图像帧序列,以得到与该信号对应的图像帧序列。
在本公开实施例中,可以响应于检测到针对目标视频帧序列的展示信号,展示目标视频帧序列。
例如,目标视频帧序列可以为当前时刻已生成的至少一个视频帧序列中的一个。
例如,目标视频帧序列可以为当前时刻已生成的至少一个视频帧序列中的多个。
例如,用户可以在每个信号消失之后,发出展示信号。在一个示例中,在一个信号消失之后,用户可以通过触发展示控件发出展示信号。
例如,用户可以在任一个信号消失后,发出展示信号。在一个示例中,在任一个信号消失之后,用户均可以通过触发展示控件发出展示信号。
例如,目标视频帧序列可以是最新生成的视频帧序列,也可以是已生成的至少一个视频帧序列中的一个或多个。
在本公开实施例中,可以响应于检测到针对目标视频帧序列的删除信号,删除目标视频帧序列。
例如,在展示目标视频帧序列之后,删除控件变为可用状态,此时可以响应于检测到针对目标视频帧序列的删除信号,删除目标视频帧序列。
例如,删除控件一直处于可用状态,可以直接响应于检测到针对目标视频帧序列的删除信号,删除目标视频帧序列。
在操作S240,根据至少一个视频帧序列,生成目标视频。
例如,可以根据至少一个图像帧序列,生成目标视频。
例如,可以根据至少一个音频帧序列,生成目标视频。
在本公开实施例中,可以重复执行上述操作S220至操作S230,至不再检测到信号或者检测到停止视频生成的信号。
例如,根据至少一个压力信号和至少一个语音信号,得到至少一个图像帧序列和至少一个音频帧序列。
例如,可以根据至少一个图像帧序列和至少一个音频帧序列,生成目标视频。在一个示例中,根据每个图像帧序列和每个音频帧序列生成的前后顺序,组合图像帧序列和音频帧序列,以生成视频。可以使用各种方法来根据视频帧、图像帧或音频帧生成目标视频,本公开实施例不对此进行限制。
在一些示例中,目标视频可以是针对屏幕图像的讲解视频。
通过本公开实施例,在视频的生成过程中就对视频进行了编辑,将图像生成和图像编辑的整合在一个流程中,可以节约视频生成后视频编辑时间,节约了大量的人力资源,提高了用户体验。
图3是根据本公开的另一个实施例的视频生成方法的流程图。
如图3所示,该方法可以响应于检测到该信号,执行生成视频帧序列的操作,下面将参考下述操作S321至操作S322进行详细说明。
在操作S321,响应于检测到该信号,确定与该信号对应的目标素材。
在本公开实施例中,目标素材可以是一个图像。
例如,目标素材可以是从存储空间获取的一个图像。又例如,目标素材可以是一个视频中的视频帧。又例如,目标素材可以是根据其他视频生成的图像,比如在其他视频播放过程中通过截屏工具截取的图像。
在本公开实施例中,可以响应于检测到该信号,获取屏幕图像。
例如,针对正在播放的视频,可以响应于检测到该信号,停止播放,以便获取屏幕图像。
例如,针对正在播放的视频,检测到由按压触摸屏产生的压力信号,可以将当前的播放的视频帧作为屏幕图像或者利用截屏工具获取屏幕图像。
例如,针对正在播放的视频,检测到语音信号,可以将当前的播放的视频帧作为屏幕图像或者利用截屏工具获取屏幕图像。
在本公开实施例中,可以根据屏幕图像,确定与该信号对应的目标素材。
例如,可以直接将屏幕图像确定为与信号对应的目标素材。
例如,可以对屏幕图像进行处理(比如二值化),将处理后的屏幕图像确定为与信号对应的目标素材。
例如,可以将屏幕图像作为生成与该信号对应的第一个图像帧的目标素材。针对与该信号对应的其他图像帧,可以根据上一个图像帧生成下一个图像帧。
在操作S322,根据与该信号对应的目标素材,执行生成视频帧序列的操作。
例如,可以根据与该信号对应的目标素材,参照例如图2中操作S220的方法执行生成视频帧序列的操作。
在一些示例中,可以响应于压力子信号,获取与该压力子信号对应的目标素材上的坐标,将该坐标作为一个轨迹信息。接下来,将目标素材中与上述坐标对应的像素的像素值转换为预定值(比如255),得到一个转换后的图像,将该转换后的图像作为该压力子信号对应的图像帧。
下面将结合图4A至图4D,对本公开的视频生成方法进行详细说明。
需要说明的是,在图4A至图4D中,以压力信号为示例,对本公开的视频生成方法进行了详细说明。但本公开的视频生成方法中的信号也可以是语音信号或手势信号。
图4A是根据本公开一个实施例的目标素材的示意图。
如图4A所示,目标素材401内包含一折线图402。
图4B是根据本公开一个实施例的一个图像帧的示意图。
如图4B所示,响应于检测到一个压力信号,执行生成视频帧序列的操作。该压力信号包含至少一个压力子信号。在执行生成视频帧序列的操作过程中,响应于检测到第一个压力子信号,确定与第一个压力子信号对应的轨迹点A 403的信息。进而,根据轨迹点A403的信息(比如该点的坐标)和例如图4A所示的目标素材401中的折线图402,得到与压力子信号对应的一个图像帧404。
在一个示例中,可以将图像帧404作为图像帧序列的第一个图像帧,以执行生成图像帧序列的操作。
图4C是根据本公开一个实施例的另一个图像帧的示意图。
如图4C所示,在执行生成视频帧序列的操作过程中,响应于检测到另一个压力子信号,可以确定与该压力子信号对应的轨迹点B 405的信息。进而,根据轨迹点B 405的信息(比如该点的坐标),可以得到与该压力子信号对应的另一个图像帧406。与图像帧406对应的压力子信号,可以是与例如图4B中图像帧404对应的压力子信号的下一个压力子信号。可以根据例如图4B的图像帧404生成图像帧406。
在一个示例中,在生成图像帧406之后,将图像帧406添加到图像帧404之后,以更新例如图4B的实施例中得到图像帧序列。之后,该压力信号消失,可以执行停止生成该视频帧序列的操作,将根据图像帧406更新后的图像帧序列作为与该信号对应的图像帧序列,以得到一个图像帧序列。该图像帧序列可以包含图像帧404和图像帧406。
图4D是根据本公开另一个实施例的一个图像帧的示意图。
如图4D所示,在执行生成视频帧序列的操作过程中,响应于检测到另一个压力子信号,可以确定与该压力子信号对应的轨迹点B’405’的信息。进而,根据轨迹点B’405’的信息(比如该点的坐标),可以得到与该压力子信号对应的另一个图像帧408。图像帧408内包含一个轨迹线407。轨迹线407包含轨迹点A 403和轨迹点B’405’。图像帧408和图像帧404之间可以相隔多个图像帧。
在一个示例中,在生成图像帧408之后,将图像帧408添加到上一个图像帧之后,以更新例如图4B的实施例中得到图像帧序列。之后,该压力信号消失,可以执行停止生成该视频帧序列的操作,将根据图像帧408更新后的图像帧序列作为与该信号对应的图像帧序列,以得到一个图像帧序列。该图像帧序列可以包含图像帧404、图像帧404和图像帧408之间的多个图像帧以及图像帧408。
图5是根据本公开一个实施例的视频生成装置的框图。
如图5所示,该装置500可以包括第一执行模块510、第一执行子模块520、第二执行子模块530和生成模块540。
第一执行模块510,用于针对检测到的至少一个信号,响应于每个信号,通过以下子模块执行相关操作,得到与上述至少一个信号对应的至少一个视频帧序列。
第一执行子模块520,用于响应于检测到该信号,执行生成视频帧序列的操作。
第二执行子模块530,用于响应于检测到该信号消失,执行停止生成该视频帧序列的操作,得到与该信号对应的视频帧序列。
生成模块540,用于根据上述至少一个视频帧序列,生成目标视频。
在一些实施例中,上述信号包括压力信号,上述压力信号包括至少一个压力子信号,上述视频帧序列包括图像帧序列,上述第一执行子模块包括:第一执行单元,用于针对检测到的该压力信号的至少一个压力子信号,响应于每个压力子信号,通过以下子单元执行相关操作,得到与该至少一个压力子信号对应的至少一个图像帧:第一确定子单元,用于响应于该压力子信号,确定与该压力子信号对应的轨迹信息;获得子单元,用于根据该轨迹信息,得到与该压力子信号对应的图像帧;第二执行单元,用于根据该至少一个图像帧,执行生成图像帧序列的操作。
在一些实施例中,上述信号包括语音信号,上述视频帧序列包括音频帧序列。
在一些实施例中,上述视频帧序列包括图像帧序列和音频帧序列,上述生成模块还用于:根据至少一个图像帧序列和至少一个音频帧序列,生成上述目标视频。
在一些实施例中,上述第一执行子模块包括:确定单元,用于响应于检测到该信号,确定与该信号对应的目标素材;第三执行单元,用于根据与该信号对应的目标素材,执行生成视频帧序列的操作。
在一些实施例中,上述确定单元包括:获取子单元,用于响应于检测到该信号,获取屏幕图像;第二确定子单元,用于根据上述屏幕图像,确定与该信号对应的目标素材。
在一些实施例中,该装置500还包括:展示模块,用于响应于检测到针对目标视频帧序列的展示信号,展示上述目标视频帧序列,其中,上述目标视频帧序列为当前时刻已生成的至少一个视频帧序列中的一个;和/或删除模块,用于响应于检测到针对目标视频帧序列的删除信号,删除上述目标视频帧序列。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如视频生成方法。例如,在一些实施例中,视频生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的视频生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行视频生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (17)
1.一种视频生成方法,包括:
针对检测到的至少一个信号,响应于每个信号,执行以下操作,得到与所述至少一个信号对应的至少一个视频帧序列:
响应于检测到该信号,执行生成视频帧序列的操作;
响应于检测到该信号消失,执行停止生成该视频帧序列的操作,得到与该信号对应的视频帧序列;
根据所述至少一个视频帧序列,生成目标视频。
2.根据权利要求1所述的方法,其中,所述信号包括压力信号,所述压力信号包括至少一个压力子信号,所述视频帧序列包括图像帧序列,
所述响应于检测到该信号,执行生成视频帧序列的操作包括:
针对检测到的该压力信号的至少一个压力子信号,响应于每个压力子信号,执行以下操作,得到与该至少一个压力子信号对应的至少一个图像帧:
响应于该压力子信号,确定与该压力子信号对应的轨迹信息;
根据该轨迹信息,得到与该压力子信号对应的图像帧;
根据该至少一个图像帧,执行生成图像帧序列的操作。
3.根据权利要求1所述的方法,其中,所述信号包括语音信号,所述视频帧序列包括音频帧序列。
4.根据权利要求1所述的方法,其中,所述视频帧序列包括图像帧序列和音频帧序列,
所述根据所述至少一个视频帧序列,生成目标视频包括:
根据至少一个图像帧序列和至少一个音频帧序列,生成所述目标视频。
5.根据权利要求1至4任一项所述的方法,其中,所述响应于检测到该信号,执行生成视频帧序列的操作包括:
响应于检测到该信号,确定与该信号对应的目标素材;
根据与该信号对应的目标素材,执行生成视频帧序列的操作。
6.根据权利要求5所述的方法,其中,所述响应于检测到该信号,确定与该信号对应的目标素材包括:
响应于检测到该信号,获取屏幕图像;
根据所述屏幕图像,确定与该信号对应的目标素材。
7.根据权利要求1所述的方法,所述根据至少一个视频帧序列,生成目标视频之前还包括:
响应于检测到针对目标视频帧序列的展示信号,展示所述目标视频帧序列,其中,所述目标视频帧序列为当前时刻已生成的至少一个视频帧序列中的一个;和/或
响应于检测到针对目标视频帧序列的删除信号,删除所述目标视频帧序列。
8.一种视频生成装置,包括:
第一执行模块,用于针对检测到的至少一个信号,响应于每个信号,通过以下子模块执行相关操作,得到与所述至少一个信号对应的至少一个视频帧序列:
第一执行子模块,用于响应于检测到该信号,执行生成视频帧序列的操作;
第二执行子模块,用于响应于检测到该信号消失,执行停止生成该视频帧序列的操作,得到与该信号对应的视频帧序列;
生成模块,用于根据所述至少一个视频帧序列,生成目标视频。
9.根据权利要求8所述的装置,其中,所述信号包括压力信号,所述压力信号包括至少一个压力子信号,所述视频帧序列包括图像帧序列,
所述第一执行子模块包括:
第一执行单元,用于针对检测到的该压力信号的至少一个压力子信号,响应于每个压力子信号,通过以下子单元执行相关操作,得到与该至少一个压力子信号对应的至少一个图像帧:
第一确定子单元,用于响应于该压力子信号,确定与该压力子信号对应的轨迹信息;
获得子单元,用于根据该轨迹信息,得到与该压力子信号对应的图像帧;
第二执行单元,用于根据该至少一个图像帧,执行生成图像帧序列的操作。
10.根据权利要求8所述的装置,其中,所述信号包括语音信号,所述视频帧序列包括音频帧序列。
11.根据权利要求8所述的装置,其中,所述视频帧序列包括图像帧序列和音频帧序列,
所述生成模块还用于:
根据至少一个图像帧序列和至少一个音频帧序列,生成所述目标视频。
12.根据权利要求8至11任一项所述的装置,其中,所述第一执行子模块包括:
确定单元,用于响应于检测到该信号,确定与该信号对应的目标素材;
第三执行单元,用于根据与该信号对应的目标素材,执行生成视频帧序列的操作。
13.根据权利要求12所述的装置,其中,所述确定单元包括:
获取子单元,用于响应于检测到该信号,获取屏幕图像;
第二确定子单元,用于根据所述屏幕图像,确定与该信号对应的目标素材。
14.根据权利要求8所述的装置,还包括:
展示模块,用于响应于检测到针对目标视频帧序列的展示信号,展示所述目标视频帧序列,其中,所述目标视频帧序列为当前时刻已生成的至少一个视频帧序列中的一个;和/或
删除模块,用于响应于检测到针对目标视频帧序列的删除信号,删除所述目标视频帧序列。
15.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至7中任一项所述的方法。
17.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111317547.0A CN114051110B (zh) | 2021-11-08 | 2021-11-08 | 视频生成方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111317547.0A CN114051110B (zh) | 2021-11-08 | 2021-11-08 | 视频生成方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114051110A true CN114051110A (zh) | 2022-02-15 |
CN114051110B CN114051110B (zh) | 2024-04-02 |
Family
ID=80207591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111317547.0A Active CN114051110B (zh) | 2021-11-08 | 2021-11-08 | 视频生成方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114051110B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005050978A1 (en) * | 2003-10-21 | 2005-06-02 | Multi-Format, Inc. | Video production system with mixed frame removal |
CN108900776A (zh) * | 2018-08-22 | 2018-11-27 | 北京百度网讯科技有限公司 | 用于确定响应时间的方法和装置 |
CN109618224A (zh) * | 2018-12-18 | 2019-04-12 | 腾讯科技(深圳)有限公司 | 视频数据处理方法、装置、计算机可读存储介质和设备 |
CN112019768A (zh) * | 2020-09-04 | 2020-12-01 | 北京奇艺世纪科技有限公司 | 一种视频生成方法、装置及电子设备 |
US20210090610A1 (en) * | 2019-09-20 | 2021-03-25 | Beijing Xiaomi Mobile Software Co., Ltd. | Video processing method, video playing method, devices and storage medium |
CN112861612A (zh) * | 2020-12-31 | 2021-05-28 | 上海米哈游天命科技有限公司 | 拍摄图像的方法、装置、电子设备及存储介质 |
CN113301430A (zh) * | 2021-07-27 | 2021-08-24 | 腾讯科技(深圳)有限公司 | 视频剪辑方法、装置、电子设备以及存储介质 |
CN113378770A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 手势识别方法、装置、设备、存储介质以及程序产品 |
CN113420719A (zh) * | 2021-07-20 | 2021-09-21 | 北京百度网讯科技有限公司 | 生成动作捕捉数据的方法、装置、电子设备以及存储介质 |
CN113518187A (zh) * | 2021-07-13 | 2021-10-19 | 北京达佳互联信息技术有限公司 | 视频编辑方法及设备 |
-
2021
- 2021-11-08 CN CN202111317547.0A patent/CN114051110B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005050978A1 (en) * | 2003-10-21 | 2005-06-02 | Multi-Format, Inc. | Video production system with mixed frame removal |
CN108900776A (zh) * | 2018-08-22 | 2018-11-27 | 北京百度网讯科技有限公司 | 用于确定响应时间的方法和装置 |
CN109618224A (zh) * | 2018-12-18 | 2019-04-12 | 腾讯科技(深圳)有限公司 | 视频数据处理方法、装置、计算机可读存储介质和设备 |
US20210090610A1 (en) * | 2019-09-20 | 2021-03-25 | Beijing Xiaomi Mobile Software Co., Ltd. | Video processing method, video playing method, devices and storage medium |
CN112019768A (zh) * | 2020-09-04 | 2020-12-01 | 北京奇艺世纪科技有限公司 | 一种视频生成方法、装置及电子设备 |
CN112861612A (zh) * | 2020-12-31 | 2021-05-28 | 上海米哈游天命科技有限公司 | 拍摄图像的方法、装置、电子设备及存储介质 |
CN113378770A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 手势识别方法、装置、设备、存储介质以及程序产品 |
CN113518187A (zh) * | 2021-07-13 | 2021-10-19 | 北京达佳互联信息技术有限公司 | 视频编辑方法及设备 |
CN113420719A (zh) * | 2021-07-20 | 2021-09-21 | 北京百度网讯科技有限公司 | 生成动作捕捉数据的方法、装置、电子设备以及存储介质 |
CN113301430A (zh) * | 2021-07-27 | 2021-08-24 | 腾讯科技(深圳)有限公司 | 视频剪辑方法、装置、电子设备以及存储介质 |
Non-Patent Citations (2)
Title |
---|
周微: "基于运动目标检测的智能视频监控系统", 《江南大学学报》 * |
年福东: "基于关键点表示的语音驱动说话人脸视频生成", 《模式识别与人工智能》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114051110B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6986187B2 (ja) | 人物識別方法、装置、電子デバイス、記憶媒体、及びプログラム | |
CN111858318B (zh) | 一种响应时间的测试方法、装置、设备和计算机存储介质 | |
CN112866809B (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
CN113365146B (zh) | 用于处理视频的方法、装置、设备、介质和产品 | |
CN113325954B (zh) | 用于处理虚拟对象的方法、装置、设备和介质 | |
CN113359995B (zh) | 人机交互方法、装置、设备以及存储介质 | |
CN112527115A (zh) | 用户形象生成方法、相关装置及计算机程序产品 | |
CN114449327B (zh) | 视频片段的分享方法、装置、电子设备及可读存储介质 | |
CN108763350B (zh) | 文本数据处理方法、装置、存储介质及终端 | |
CN114554110B (zh) | 视频生成方法、装置、电子设备和存储介质 | |
CN110570830B (zh) | 设备调节方法、装置、存储介质及电子设备 | |
CN114051110B (zh) | 视频生成方法、装置、电子设备和存储介质 | |
CN115134523A (zh) | 远程控制方法、装置、操作终端、控制设备和存储介质 | |
CN112988105A (zh) | 播放状态控制方法、装置、电子设备和存储介质 | |
CN113327311A (zh) | 基于虚拟角色的显示方法、装置、设备、存储介质 | |
CN111708674A (zh) | 用于确定重点学习内容的方法、装置、设备及存储介质 | |
CN114222073B (zh) | 视频输出方法、装置、电子设备和存储介质 | |
CN114979471B (zh) | 界面显示方法、装置、电子设备及计算机可读存储介质 | |
CN113840177B (zh) | 直播互动方法、装置、存储介质与电子设备 | |
CN113722378B (zh) | 用于采集信息的方法、装置、电子设备和介质 | |
CN114422841B (zh) | 字幕生成方法、装置、电子设备及存储介质 | |
CN112584226B (zh) | 一种共享桌面时的截屏方法和装置 | |
CN116662276B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN113225596B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN113760431B (zh) | 应用程序的控制方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |