CN113556495B - 视频录制方法、视频处理方法及相应设备 - Google Patents
视频录制方法、视频处理方法及相应设备 Download PDFInfo
- Publication number
- CN113556495B CN113556495B CN202110826559.XA CN202110826559A CN113556495B CN 113556495 B CN113556495 B CN 113556495B CN 202110826559 A CN202110826559 A CN 202110826559A CN 113556495 B CN113556495 B CN 113556495B
- Authority
- CN
- China
- Prior art keywords
- frame
- original image
- file
- video
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 154
- 238000009877 rendering Methods 0.000 claims abstract description 64
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 6
- 239000007787 solid Substances 0.000 description 4
- 208000003028 Stuttering Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012958 reprocessing Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本公开提供了一种视频录制方法、视频处理方法及相应设备。所述视频处理方法包括：获取视频文件和丢帧文件，其中，所述视频文件包括：在录制视频时通过对实时采集的原始图像帧进行实时图像处理后得到的渲染图像帧，所述丢帧文件包括所述录制过程中丢弃的原始图像帧，丢弃的原始图像帧为：由于未对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧；对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧，并将待插入的渲染图像帧插入所述视频文件的视频帧队列中，以形成新的视频文件。
Description
技术领域
本公开总体说来涉及视频技术领域，更具体地讲，涉及一种视频录制方法、视频处理方法及相应设备。
背景技术
随着电子技术的高速发展，用户在录制视频时，可选择在拍摄装置(例如，相机)实时采集的图像帧上添加美颜、滤镜、魔法表情等特效，从而使得录制的视频中的每个视频帧均具有特效效果，但在播放这种视频时往往会出现卡顿的问题。
发明内容
本公开的示例性实施例在于提供一种视频录制方法、视频处理方法及相应设备，以至少解决上述相关技术中的问题。
根据本公开实施例的第一方面，提供一种视频录制方法，包括：对实时采集的原始图像帧进行实时图像处理，以得到渲染图像帧；对得到的渲染图像帧进行实时录制，以形成对应的视频文件；将录制过程中丢弃的原始图像帧保存为丢帧文件；其中，丢弃的原始图像帧为：由于未对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
可选地，采集所述原始图像帧的帧率高于对所述原始图像帧进行图像处理的帧率，其中，丢弃的原始图像帧为：由于未能够及时对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
可选地，将所述录制过程中丢弃的原始图像帧保存为丢帧文件的步骤包括：分别将所述录制过程中丢弃的每个原始图像帧压缩为与其一一对应的一个压缩文件；或者将所述录制过程中丢弃的至少一个原始图像帧保存为另一视频文件。
可选地，所述方法还包括：生成并保存所述图像处理的算法及算法参数的配置文件。
根据本公开实施例的第二方面，提供一种视频处理方法，包括：获取视频文件和丢帧文件，其中，所述视频文件包括：在录制视频时通过对实时采集的原始图像帧进行实时图像处理后得到的渲染图像帧，所述丢帧文件包括所述录制过程中丢弃的原始图像帧，丢弃的原始图像帧为：由于未对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧；对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧，并将待插入的渲染图像帧插入所述视频文件的视频帧队列中，以形成新的视频文件。
可选地，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧的步骤包括：按照所述图像处理的算法及算法参数，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧；其中，将待插入的渲染图像帧插入所述视频文件的视频帧队列中的步骤包括：根据待插入的渲染图像帧所对应的原始图像帧与所述视频文件中的渲染图像帧所对应的原始图像帧的采集顺序，将待插入的渲染图像帧插入所述视频帧队列中。
可选地，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧，并将待插入的渲染图像帧插入所述视频文件的视频帧队列中，以形成新的视频文件的步骤包括：按照所述视频文件中的帧序，顺序对所述视频文件中的每一渲染图像帧进行解码和重编码以生成重编码的帧队列，并确定该渲染图像帧所对应的原始图像帧的下一原始图像帧是否为丢弃的原始图像帧；当所述下一原始图像帧为丢弃的原始图像帧时，对所述下一原始图像帧进行所述图像处理以得到所述下一原始图像帧所对应的渲染图像帧；对所述下一原始图像帧所对应的渲染图像帧进行重编码，并插入所述重编码的帧队列中，以形成新的视频文件。
可选地，按照所述图像处理的算法及算法参数，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧的步骤包括：读取所述录制过程中所使用的图像处理算法及算法参数的配置文件；根据所述配置文件加载所述图像处理算法及算法参数，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧。
可选地，采集所述原始图像帧的帧率高于对所述原始图像帧进行图像处理的帧率，其中，丢弃的原始图像帧为：由于未能够及时对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
可选地，所述丢帧文件为丢弃的原始图像帧的压缩文件；或者所述丢帧文件为包括至少一个丢弃的原始图像帧的视频文件。
可选地，当用户触发用于防止视频卡顿的控件时，执行所述方法。
根据本公开实施例的第三方面，提供一种视频录制设备，包括：图像处理单元，被配置为对实时采集的原始图像帧进行实时图像处理，以得到渲染图像帧；录制单元，被配置为对得到的渲染图像帧进行实时录制，以形成对应的视频文件；丢帧保存单元，被配置为将录制过程中丢弃的原始图像帧保存为丢帧文件；其中，丢弃的原始图像帧为：由于未对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
可选地，采集所述原始图像帧的帧率高于对所述原始图像帧进行图像处理的帧率，其中，丢弃的原始图像帧为：由于未能够及时对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
可选地，丢帧保存单元分别将所述录制过程中丢弃的每个原始图像帧压缩为与其一一对应的一个压缩文件；或者将所述录制过程中丢弃的至少一个原始图像帧保存为另一视频文件。
可选地，所述设备还包括：算法配置保存单元，被配置为生成并保存所述图像处理的算法及算法参数的配置文件。
根据本公开实施例的第四方面，提供一种视频处理设备，包括：文件获取单元，被配置为获取视频文件和丢帧文件，其中，所述视频文件包括：在录制视频时通过对实时采集的原始图像帧进行实时图像处理后得到的渲染图像帧，所述丢帧文件包括所述录制过程中丢弃的原始图像帧，丢弃的原始图像帧为：由于未对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧；视频处理单元，被配置为对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧，并将待插入的渲染图像帧插入所述视频文件的视频帧队列中，以形成新的视频文件。
可选地，视频处理单元按照所述图像处理的算法及算法参数，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧；其中，视频处理单元根据待插入的渲染图像帧所对应的原始图像帧与所述视频文件中的渲染图像帧所对应的原始图像帧的采集顺序，将待插入的渲染图像帧插入所述视频帧队列中。
可选地，视频处理单元按照所述视频文件中的帧序，顺序对所述视频文件中的每一渲染图像帧进行解码和重编码以生成重编码的帧队列，并确定该渲染图像帧所对应的原始图像帧的下一原始图像帧是否为丢弃的原始图像帧；当所述下一原始图像帧为丢弃的原始图像帧时，对所述下一原始图像帧进行所述图像处理以得到所述下一原始图像帧所对应的渲染图像帧；并对所述下一原始图像帧所对应的渲染图像帧进行重编码，并插入所述重编码的帧队列中，以形成新的视频文件。
可选地，视频处理单元读取所述录制过程中所使用的图像处理算法及算法参数的配置文件；并根据所述配置文件加载所述图像处理算法及算法参数，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧。
可选地，采集所述原始图像帧的帧率高于对所述原始图像帧进行图像处理的帧率，其中，丢弃的原始图像帧为：由于未能够及时对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
可选地，所述丢帧文件为丢弃的原始图像帧的压缩文件；或者所述丢帧文件为包括至少一个丢弃的原始图像帧的视频文件。
可选地，当用户触发用于防止视频卡顿的控件时，文件获取单元获取视频文件和丢帧文件。
根据本公开实施例的第五方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的视频录制方法和/或如上所述的视频处理方法。
根据本公开实施例的第六方面，提供一种计算机可读存储介质，当述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的视频录制方法和/或如上所述的视频处理方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现如上所述的视频录制方法和/或如上所述的视频处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：能够将录制视频时丢弃的原始采样视频帧进行相应图像处理后恢复到视频文件中，从而解决视频卡顿的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1示出根据本公开示例性实施例的视频录制方法的流程图；
图2示出根据本公开示例性实施例的视频处理方法的流程图；
图3示出根据本公开示例性实施例的视频录制方法的示例；
图4示出根据本公开示例性实施例的视频处理方法的示例；
图5示出根据本公开示例性实施例的视频录制设备的结构框图；
图6示出根据本公开示例性实施例的视频处理设备的结构框图；
图7示出根据本公开示例性实施例的电子设备的结构框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
图1示出根据本公开示例性实施例的视频录制方法的流程图。作为示例，所述视频录制方法可由客户端来执行。
参照图1，在步骤S101，对实时采集的原始图像帧进行实时图像处理，以得到渲染图像帧。
作为示例，所述图像处理可包括但不限于以下项之中的至少一项：美颜、滤镜、添加魔法表情、图像增强。应该理解，所述图像处理可包括其他适合的图像处理方式，本公开对此不作限制。
作为示例，可通过拍摄装置(例如，相机等)采集原始图像帧。
在步骤S102，对得到的渲染图像帧进行实时录制，以形成对应的视频文件。即，对实时得到的渲染图像帧进行实时录制，以形成视频。
在步骤S103，将录制过程中丢弃的原始图像帧保存为丢帧文件。
这里，丢弃的原始图像帧为：由于未对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。换言之，所述视频文件中不存在与丢弃的原始图像帧对应的渲染图像帧。
作为示例，采集所述原始图像帧的帧率可高于对所述原始图像帧进行图像处理的帧率，相应地，丢弃的原始图像帧可为：由于未能够及时对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。例如，如果采集原始图像帧的帧率为每秒30帧(30fps)，对原始图像帧进行图像处理的帧率为每秒28帧(28fps)，则对进行所述图像处理后的视频序列帧进行录制时，必然会导致每秒有2帧的原始采集图像帧无法被及时进行所述图像处理而只能被丢弃。应该理解，原始图像帧也可由于其他原因在录制视频时被丢弃，本公开对此不作限制。
作为示例，可分别将所述录制过程中丢弃的每个原始图像帧压缩为与其一一对应的一个压缩文件。作为另一示例，可将所述录制过程中丢弃的至少一个原始图像帧保存为另一视频文件。
作为示例，根据本公开示例性实施例的视频录制方法还可包括：生成并保存所述图像处理的算法及算法参数的配置文件。
图2示出根据本公开示例性实施例的视频处理方法的流程图。作为示例，所述视频处理方法可由客户端或服务器端执行。作为示例，可当用户触发用于防止视频卡顿的控件时，执行所述视频处理方法。例如，用于防止视频卡顿的控件可为视频处理用户界面中的控件。
参照图2，在步骤S201，获取视频文件和丢帧文件。
这里，所述视频文件包括：在录制视频时通过对实时采集的原始图像帧进行实时图像处理后得到的渲染图像帧。换言之，录制实时得到的渲染图像帧以形成所述视频文件。
所述丢帧文件包括所述录制过程中丢弃的原始图像帧，丢弃的原始图像帧为：由于未对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
作为示例，采集所述原始图像帧的帧率可高于对所述原始图像帧进行图像处理的帧率，相应地，丢弃的原始图像帧可为：由于未能够及时对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
作为示例，所述丢帧文件可为丢弃的原始图像帧的压缩文件；或者所述丢帧文件可为包括至少一个丢弃的原始图像帧的视频文件。
在步骤S202，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧，并将待插入的渲染图像帧插入所述视频文件的视频帧队列中，以形成新的视频文件。
作为示例，可按照所述图像处理的算法及算法参数，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧。进一步地，作为示例，可读取所述录制过程中所使用的图像处理算法及算法参数的配置文件；并根据所述配置文件加载所述图像处理算法及算法参数，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧。
作为示例，可根据待插入的渲染图像帧所对应的原始图像帧与所述视频文件中的渲染图像帧所对应的原始图像帧的采集顺序，将待插入的渲染图像帧插入所述视频帧队列中。
作为示例，可按照所述视频文件中的帧序，顺序对所述视频文件中的每一渲染图像帧进行解码和重编码以生成重编码的帧队列，并确定该渲染图像帧所对应的原始图像帧的下一原始图像帧是否为丢弃的原始图像帧(即，是否为丢帧文件中的原始图像帧)；当所述下一原始图像帧为丢弃的原始图像帧时，对所述下一原始图像帧进行所述图像处理以得到所述下一原始图像帧所对应的渲染图像帧；对所述下一原始图像帧所对应的渲染图像帧进行重编码，并插入所述重编码的帧队列中，以形成新的视频文件。
下面，将结合图3和图4来描述根据本公开示例性实施例的视频录制方法及视频处理方法的示例。在图3和图4中，实线直角方框表示相机实时采集的原始图像帧，实线圆角方框表示经过图像处理得到的渲染图像帧，虚线直角方框表示丢帧文件，虚线圆角方框表示重新编码的图像帧，框内的数字表示帧号。
图3示出视频录制阶段，参照图3，相机采集的帧序列是1，2，3，…，在图像处理和录制时，由于图像处理(例如，也称为渲染)需要耗时，收到第1帧时，对第1帧进行图像处理。当处理完第1帧后，第2帧已经收到，对第2帧进行图像处理。当处理完第2帧时，第3帧和第4帧都已经收到，此时丢弃第3帧直接处理第4帧。根据本公开的实施例，这时第3帧没有直接被丢弃，而是压缩成jpeg文件后保存到本地3.jpg文件。
当对第4帧进行图像处理后，第5帧和第6帧都已经收到，此时丢弃第5帧直接处理第6帧。根据本公开的实施例，这时第5帧没有直接被丢弃，而是压缩成jpeg文件后保存到本地5.jpg文件。
当处理完第6帧后，第7帧已经收到，对第7帧进行图像处理。以此类推处理各帧。
结束录制后，生成了录制完的视频文件，保存了丢帧文件，还可生成该录制过程中使用的图像处理算法及算法参数的配置文件并保存。此外，可将这些文件一起传入到后处理阶段(即，视频处理阶段)。
作为示例，关于保存被丢弃的图像帧，可使用但不限于jpeg这种压缩方式，例如，可以使用任意的图像压缩格式，或者对图像不做压缩也可以，但是不做压缩会导致暂用存储空间较大。作为另一示例，在保存被丢弃的图像帧时，可不压缩成图片格式保存，而是也编码成一个视频文件，即生成一个包括被丢弃的图像帧的视频文件，相应地，在后处理阶段，解码该包括被丢弃的图像帧的视频文件，同样可以生成被丢弃的图像帧。
图4示出视频后处理阶段，例如，视频文件的再编辑或者服务端转码等阶段，可按照下述的视频处理方法对录制的视频文件进行解码，并重新编码。例如，当录制完视频，用户在用于编辑视频的用户界面中触发用于防止视频卡顿的控件时，可按照下述的视频处理方法对录制的视频文件进行解码，并重新编码。
参照图4，解码的视频帧序为1，2，4，6，7…，对应录制阶段的视频文件内的渲染图像帧。
解码第1帧，将第1帧重编码。
解码第2帧，将第2帧重编码。
此时确定原始的第3帧是丢弃帧，则将3.jpg加载为图像帧，即第3帧，将该图像帧经过图像算法重新处理，生成图像处理后的第3帧，然后将图像处理后的第3帧重编码。
解码第4帧，将第4帧重编码。
此时确定原始的第5帧是丢弃帧，则将5.jpg加载为图像帧，即第5帧，将该图像帧经过图像算法重新处理，生成图像处理后的第5帧，然后将图像处理后的第5帧重编码。
解码第6帧，将第6帧重编码。
解码第7帧，将第7帧重编码。以此类推处理各帧。
结束重编码后，重编码后的视频文件的帧序为1，2，3，4，5，6，7…，即，重编码后的视频文件是没有丢帧的视频文件，同时视频文件中的图像都带有用户所需的图像处理效果。
根据本公开的实施例，在重编码时由于只需要对被丢弃帧做图像算法的重新处理，非丢弃帧不需要做图像算法的重新处理，所以重新编码效率较高。
本公开考虑到导致视频卡顿的原因是：开启了美颜/滤镜/魔法表情/图像增强等图像处理功能后，由于硬件或系统的渲染能力不足，使得录制的视频有丢帧，导致了视频内容播放时有卡顿。为此，本公开提出上述解决方案，解决由于图像处理(渲染)性能不足时导致的丢帧，进而导致录制的视频卡顿的问题。可以对比下经过本公开的视频处理方法重建后的视频与未重建的视频的差异，经过该视频处理方法重建后的视频在第3帧和第5帧的位置，由于没有丢帧，所以播放时不会出现卡顿现象。
图5示出根据本公开示例性实施例的视频录制设备的结构框图。
如图5所示，根据本公开示例性实施例的视频录制设备10包括：图像处理单元101、录制单元102、以及丢帧保存单元103。
具体说来，图像处理单元101被配置为对实时采集的原始图像帧进行实时图像处理，以得到渲染图像帧。
录制单元102被配置为对得到的渲染图像帧进行实时录制，以形成对应的视频文件。
丢帧保存单元103被配置为将录制过程中丢弃的原始图像帧保存为丢帧文件。
这里，丢弃的原始图像帧为：由于未对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
作为示例，采集所述原始图像帧的帧率可高于对所述原始图像帧进行图像处理的帧率，其中，丢弃的原始图像帧可为：由于未能够及时对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
作为示例，丢帧保存单元103可分别将所述录制过程中丢弃的每个原始图像帧压缩为与其一一对应的一个压缩文件；或者可将所述录制过程中丢弃的至少一个原始图像帧保存为另一视频文件。
作为示例，根据本公开示例性实施例的视频录制设备10还可包括：算法配置保存单元(未示出)，算法配置保存单元被配置为生成并保存所述图像处理的算法及算法参数的配置文件。
图6示出根据本公开示例性实施例的视频处理设备的结构框图。
如图6所示，根据本公开示例性实施例的视频处理设备20包括：文件获取单元201和视频处理单元202。
具体说来，文件获取单元201被配置为获取视频文件和丢帧文件，其中，所述视频文件包括：在录制视频时通过对实时采集的原始图像帧进行实时图像处理后得到的渲染图像帧，所述丢帧文件包括所述录制过程中丢弃的原始图像帧，丢弃的原始图像帧为：由于未对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
视频处理单元202被配置为对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧，并将待插入的渲染图像帧插入所述视频文件的视频帧队列中，以形成新的视频文件。
作为示例，视频处理单元202可按照所述图像处理的算法及算法参数，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧。
作为示例，视频处理单元202可根据待插入的渲染图像帧所对应的原始图像帧与所述视频文件中的渲染图像帧所对应的原始图像帧的采集顺序，将待插入的渲染图像帧插入所述视频帧队列中。
作为示例，视频处理单元202可按照所述视频文件中的帧序，顺序对所述视频文件中的每一渲染图像帧进行解码和重编码以生成重编码的帧队列，并确定该渲染图像帧所对应的原始图像帧的下一原始图像帧是否为丢弃的原始图像帧；当所述下一原始图像帧为丢弃的原始图像帧时，对所述下一原始图像帧进行所述图像处理以得到所述下一原始图像帧所对应的渲染图像帧；并对所述下一原始图像帧所对应的渲染图像帧进行重编码，并插入所述重编码的帧队列中，以形成新的视频文件。
作为示例，视频处理单元202可读取所述录制过程中所使用的图像处理算法及算法参数的配置文件；并根据所述配置文件加载所述图像处理算法及算法参数，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧。
作为示例，采集所述原始图像帧的帧率可高于对所述原始图像帧进行图像处理的帧率，其中，丢弃的原始图像帧可为：由于未能够及时对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
作为示例，所述丢帧文件可为丢弃的原始图像帧的压缩文件；或者所述丢帧文件可为包括至少一个丢弃的原始图像帧的视频文件。
作为示例，可当用户触发用于防止视频卡顿的控件时，文件获取单元201获取视频文件和丢帧文件。
关于上述实施例中的设备，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
此外，应该理解，根据本公开示例性实施例的视频录制设备10和视频处理设备20中的各个单元可被实现硬件组件和/或软件组件。本领域技术人员根据限定的各个单元所执行的处理，可以例如使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现各个单元。
图7示出根据本公开示例性实施例的电子设备的结构框图。参照图7，该电子设备30包括：至少一个存储器301和至少一个处理器302，所述至少一个存储器301中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器302执行时，执行如上述示例性实施例所述的视频录制方法和/或视频处理方法。
作为示例，电子设备30可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备30并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备30还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
在电子设备30中，处理器302可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器302还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
处理器302可运行存储在存储器301中的指令或代码，其中，存储器301还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
存储器301可与处理器302集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器301可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器301和处理器302可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器302能够读取存储在存储器中的文件。
此外，电子设备30还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备30的所有组件可经由总线和/或网络而彼此连接。
根据本公开的示例性实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行如上述示例性实施例所述的视频录制方法和/或视频处理方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品中的指令可由至少一个处理器执行以完成如上述示例性实施例所述的视频录制方法和/或视频处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (25)
1.一种视频录制方法，其特征在于，包括：
对实时采集的原始图像帧进行实时图像处理，以得到渲染图像帧；
对得到的渲染图像帧进行实时录制，以形成对应的视频文件；
将录制过程中丢弃的原始图像帧保存为丢帧文件；
其中，丢弃的原始图像帧为：由于未对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧，
其中，所述丢帧文件被用于形成新的视频文件，其中，通过对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧，并根据待插入的渲染图像帧所对应的原始图像帧与所述视频文件中的渲染图像帧所对应的原始图像帧的采集顺序，将待插入的渲染图像帧插入所述视频文件的视频帧队列中，以形成新的视频文件。
2.根据权利要求1所述的方法，其特征在于，采集所述原始图像帧的帧率高于对所述原始图像帧进行图像处理的帧率，
其中，丢弃的原始图像帧为：由于未能够及时对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
3.根据权利要求1所述的方法，其特征在于，将所述录制过程中丢弃的原始图像帧保存为丢帧文件的步骤包括：
分别将所述录制过程中丢弃的每个原始图像帧压缩为与其一一对应的一个压缩文件；或者
将所述录制过程中丢弃的至少一个原始图像帧保存为另一视频文件。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
生成并保存所述图像处理的算法及算法参数的配置文件。
5.一种视频处理方法，其特征在于，包括：
获取视频文件和丢帧文件，其中，所述视频文件包括：在录制视频时通过对实时采集的原始图像帧进行实时图像处理后得到的渲染图像帧，所述丢帧文件包括所述录制过程中丢弃的原始图像帧，丢弃的原始图像帧为：由于未对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧；
对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧，并根据待插入的渲染图像帧所对应的原始图像帧与所述视频文件中的渲染图像帧所对应的原始图像帧的采集顺序，将待插入的渲染图像帧插入所述视频文件的视频帧队列中，以形成新的视频文件。
6.根据权利要求5所述的方法，其特征在于，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧的步骤包括：按照所述图像处理的算法及算法参数，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧。
7.根据权利要求5所述的方法，其特征在于，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧，并将待插入的渲染图像帧插入所述视频文件的视频帧队列中，以形成新的视频文件的步骤包括：
按照所述视频文件中的帧序，顺序对所述视频文件中的每一渲染图像帧进行解码和重编码以生成重编码的帧队列，并确定该渲染图像帧所对应的原始图像帧的下一原始图像帧是否为丢弃的原始图像帧；
当所述下一原始图像帧为丢弃的原始图像帧时，对所述下一原始图像帧进行所述图像处理以得到所述下一原始图像帧所对应的渲染图像帧；
对所述下一原始图像帧所对应的渲染图像帧进行重编码，并插入所述重编码的帧队列中，以形成新的视频文件。
8.根据权利要求6所述的方法，其特征在于，按照所述图像处理的算法及算法参数，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧的步骤包括：
读取所述录制过程中所使用的图像处理算法及算法参数的配置文件；
根据所述配置文件加载所述图像处理算法及算法参数，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧。
9.根据权利要求5所述的方法，其特征在于，采集所述原始图像帧的帧率高于对所述原始图像帧进行图像处理的帧率，
其中，丢弃的原始图像帧为：由于未能够及时对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
10.根据权利要求5所述的方法，其特征在于，
所述丢帧文件为丢弃的原始图像帧的压缩文件；或者
所述丢帧文件为包括至少一个丢弃的原始图像帧的视频文件。
11.根据权利要求5所述的方法，其特征在于，当用户触发用于防止视频卡顿的控件时，执行所述方法。
12.一种视频录制设备，其特征在于，包括：
图像处理单元，被配置为对实时采集的原始图像帧进行实时图像处理，以得到渲染图像帧；
录制单元，被配置为对得到的渲染图像帧进行实时录制，以形成对应的视频文件；
丢帧保存单元，被配置为将录制过程中丢弃的原始图像帧保存为丢帧文件；
其中，丢弃的原始图像帧为：由于未对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧，
其中，所述丢帧文件被用于形成新的视频文件，其中，通过对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧，并根据待插入的渲染图像帧所对应的原始图像帧与所述视频文件中的渲染图像帧所对应的原始图像帧的采集顺序，将待插入的渲染图像帧插入所述视频文件的视频帧队列中，以形成新的视频文件。
13.根据权利要求12所述的设备，其特征在于，采集所述原始图像帧的帧率高于对所述原始图像帧进行图像处理的帧率，
其中，丢弃的原始图像帧为：由于未能够及时对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
14.根据权利要求12所述的设备，其特征在于，丢帧保存单元分别将所述录制过程中丢弃的每个原始图像帧压缩为与其一一对应的一个压缩文件；或者将所述录制过程中丢弃的至少一个原始图像帧保存为另一视频文件。
15.根据权利要求12所述的设备，其特征在于，所述设备还包括：
算法配置保存单元，被配置为生成并保存所述图像处理的算法及算法参数的配置文件。
16.一种视频处理设备，其特征在于，包括：
文件获取单元，被配置为获取视频文件和丢帧文件，其中，所述视频文件包括：在录制视频时通过对实时采集的原始图像帧进行实时图像处理后得到的渲染图像帧，所述丢帧文件包括所述录制过程中丢弃的原始图像帧，丢弃的原始图像帧为：由于未对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧；
视频处理单元，被配置为对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧，并根据待插入的渲染图像帧所对应的原始图像帧与所述视频文件中的渲染图像帧所对应的原始图像帧的采集顺序，将待插入的渲染图像帧插入所述视频文件的视频帧队列中，以形成新的视频文件。
17.根据权利要求16所述的设备，其特征在于，视频处理单元按照所述图像处理的算法及算法参数，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧。
18.根据权利要求16所述的设备，其特征在于，视频处理单元按照所述视频文件中的帧序，顺序对所述视频文件中的每一渲染图像帧进行解码和重编码以生成重编码的帧队列，并确定该渲染图像帧所对应的原始图像帧的下一原始图像帧是否为丢弃的原始图像帧；当所述下一原始图像帧为丢弃的原始图像帧时，对所述下一原始图像帧进行所述图像处理以得到所述下一原始图像帧所对应的渲染图像帧；并对所述下一原始图像帧所对应的渲染图像帧进行重编码，并插入所述重编码的帧队列中，以形成新的视频文件。
19.根据权利要求17所述的设备，其特征在于，视频处理单元读取所述录制过程中所使用的图像处理算法及算法参数的配置文件；并根据所述配置文件加载所述图像处理算法及算法参数，对所述丢帧文件中包括的原始图像帧进行所述图像处理以得到待插入的渲染图像帧。
20.根据权利要求16所述的设备，其特征在于，采集所述原始图像帧的帧率高于对所述原始图像帧进行图像处理的帧率，
其中，丢弃的原始图像帧为：由于未能够及时对其进行实时图像处理而使得所述视频文件中不存在与其对应的渲染图像帧的原始图像帧。
21.根据权利要求16所述的设备，其特征在于，
所述丢帧文件为丢弃的原始图像帧的压缩文件；或者
所述丢帧文件为包括至少一个丢弃的原始图像帧的视频文件。
22.根据权利要求16所述的设备，其特征在于，当用户触发用于防止视频卡顿的控件时，文件获取单元获取视频文件和丢帧文件。
23.一种电子设备，其特征在于，包括：
至少一个处理器；
至少一个存储计算机可执行指令的存储器，
其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1至4中任一项所述的视频录制方法和/或如权利要求5至11中任一项所述的视频处理方法。
24.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1至4中任一项所述的视频录制方法和/或如权利要求5至11中任一项所述的视频处理方法。
25.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被至少一个处理器执行时实现如权利要求1至4中任一项所述的视频录制方法和/或如权利要求5至11中任一项所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110826559.XA CN113556495B (zh) | 2021-07-21 | 2021-07-21 | 视频录制方法、视频处理方法及相应设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110826559.XA CN113556495B (zh) | 2021-07-21 | 2021-07-21 | 视频录制方法、视频处理方法及相应设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113556495A CN113556495A (zh) | 2021-10-26 |
| CN113556495B true CN113556495B (zh) | 2022-10-28 |
Family
ID=78132453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110826559.XA Active CN113556495B (zh) | 2021-07-21 | 2021-07-21 | 视频录制方法、视频处理方法及相应设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113556495B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105118077A (zh) * | 2015-09-02 | 2015-12-02 | 广东建设职业技术学院 | 一种提高文件拍摄流畅性的方法及系统 |
| CN106447595A (zh) * | 2016-09-23 | 2017-02-22 | 努比亚技术有限公司 | 一种分布式图像图形的渲染方法及终端 |
| CN109120936A (zh) * | 2018-09-27 | 2019-01-01 | 贺禄元 | 一种视频图像的解码方法和装置 |
| CN110149552A (zh) * | 2019-05-08 | 2019-08-20 | 百度在线网络技术（北京）有限公司 | 一种视频流帧数据的处理方法及终端 |
| CN110475065A (zh) * | 2019-08-19 | 2019-11-19 | 北京字节跳动网络技术有限公司 | 图像处理的方法、装置、电子设备及存储介质 |
| CN110996170A (zh) * | 2019-12-10 | 2020-04-10 | Oppo广东移动通信有限公司 | 视频文件播放方法及相关设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7817900B2 (en) * | 2005-06-30 | 2010-10-19 | Microsoft Corporation | GPU timeline with render-ahead queue |
-
2021
- 2021-07-21 CN CN202110826559.XA patent/CN113556495B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105118077A (zh) * | 2015-09-02 | 2015-12-02 | 广东建设职业技术学院 | 一种提高文件拍摄流畅性的方法及系统 |
| CN106447595A (zh) * | 2016-09-23 | 2017-02-22 | 努比亚技术有限公司 | 一种分布式图像图形的渲染方法及终端 |
| CN109120936A (zh) * | 2018-09-27 | 2019-01-01 | 贺禄元 | 一种视频图像的解码方法和装置 |
| CN110149552A (zh) * | 2019-05-08 | 2019-08-20 | 百度在线网络技术（北京）有限公司 | 一种视频流帧数据的处理方法及终端 |
| CN110475065A (zh) * | 2019-08-19 | 2019-11-19 | 北京字节跳动网络技术有限公司 | 图像处理的方法、装置、电子设备及存储介质 |
| CN110996170A (zh) * | 2019-12-10 | 2020-04-10 | Oppo广东移动通信有限公司 | 视频文件播放方法及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113556495A (zh) | 2021-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6590925B2 (ja) | 動画像を作成するための方法 | |
| JP4919743B2 (ja) | デジタルイメージでサムネイルを生成する方法及び装置 | |
| US8006201B2 (en) | Method and system for generating thumbnails for video files | |
| EP1635575A1 (en) | System and method for embedding scene change information in a video bitstream | |
| EP1610557A1 (en) | System and method for embedding multimedia processing information in a multimedia bitstream | |
| US10593019B2 (en) | Method and apparatus for storing, processing and reconstructing full resolution image out of sub band encoded images | |
| CN105282474B (zh) | 用于时移视频获取和压缩的系统和方法 | |
| WO2013053259A1 (zh) | 流媒体数据的处理方法、播放方法以及装置 | |
| US20060210246A1 (en) | Data processing apparatus | |
| JP5259780B2 (ja) | 映像ファイル作成装置および映像ファイル作成方法 | |
| JP2010022003A (ja) | 動画ファイル再生装置、動画ファイル再生方法、プログラム | |
| JP2017068255A (ja) | イメージ処理装置及び方法 | |
| CN113556495B (zh) | 视频录制方法、视频处理方法及相应设备 | |
| JP2017192080A (ja) | 画像圧縮装置、画像復号装置、画像圧縮方法及び画像圧縮プログラム | |
| JP4878054B2 (ja) | 映像解析装置，映像解析方法および映像解析プログラム | |
| CN101902640A (zh) | 信息处理设备以及方法 | |
| US20180189143A1 (en) | Simultaneous compression of multiple stored videos | |
| US20150149578A1 (en) | Storage device and method of distributed processing of multimedia data | |
| US20070230895A1 (en) | Processing of scalable compressed video data formats for nonlinear video editing systems | |
| US20150265921A1 (en) | Game-Aware Compression Algorithms for Efficient Video Uploads | |
| US9588694B1 (en) | Storage device optimization | |
| US8171212B2 (en) | Data processing apparatus and data processing program storage medium | |
| CN115086730B (zh) | 签约视频生成方法、系统、计算机设备及介质 | |
| CN113724225B (zh) | 应用程序传输质量的确定方法及装置 | |
| US9456191B2 (en) | Reproduction apparatus and reproduction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |