CN113438508B - 视频数据处理方法、装置、设备、介质及程序产品 - Google Patents
视频数据处理方法、装置、设备、介质及程序产品 Download PDFInfo
- Publication number
- CN113438508B CN113438508B CN202110697119.9A CN202110697119A CN113438508B CN 113438508 B CN113438508 B CN 113438508B CN 202110697119 A CN202110697119 A CN 202110697119A CN 113438508 B CN113438508 B CN 113438508B
- Authority
- CN
- China
- Prior art keywords
- video data
- frame
- image
- focal length
- zooming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000008859 change Effects 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 37
- 230000000694 effects Effects 0.000 claims abstract description 19
- 238000004590 computer program Methods 0.000 claims description 10
- 230000007704 transition Effects 0.000 abstract description 9
- 238000013461 design Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供了一种视频数据处理方法、装置、设备、介质及程序产品，通过获取视频数据，并判断视频数据中是否存在变焦操作；若是，则检测预设时段内的焦距变化率是否满足预设变焦要求；若否，则根据补帧模型以及焦距变化率确定补偿帧数据；将补偿帧数据添加到视频数据中，以使视频数据在变焦过程中的画面效果达到预设变焦要求。解决了手动变焦时，由于拍摄者操作不当造成的画面变化速度不均匀的技术问题。达到了无需经过后期视频处理人员的人为调整即可实现变焦过程中画面平滑均匀过渡的技术效果。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种视频数据处理方法、装置、设备、介质及程序产品。
背景技术
随着互联网技术的不断发展，近年来网络短视频成为了自媒体互联网平台的一种重要的信息传递手段，人们对于网络短视频的需求也逐年增加。
目前，人们在进行视频拍摄时，在某些时候由于拍摄的需求，需要手动进行变焦操作，以放大或缩小画面，或者是改变镜头拍摄的聚焦角度获取不同的画面内容。但是，由于手动物理变焦不稳定，导致画面变化非常突兀，十分影响视频的观感质量。而拍摄需求又必须用手动变焦，这就提高了对摄影师的操作要求，增加了视频的拍摄成本。
因此，如何弥补手动变焦时，由于拍摄者的操作差异造成的画面变化速度不均匀成为了亟待解决的技术问题。
发明内容
本申请提供一种视频数据处理方法、装置、设备、介质及程序产品，以解决如何弥补手动变焦时，由于拍摄者的操作差异造成的画面变化速度不均匀的技术问题。
第一个方面，本申请提供一种视频数据处理方法，包括：
获取视频数据，并判断视频数据中是否存在变焦操作；
若是，则检测预设时段内的焦距变化率是否满足预设变焦要求；
若否，则根据补帧模型以及焦距变化率确定补偿帧数据；
将补偿帧数据添加到视频数据中，以使视频数据在变焦过程中的画面效果达到预设变焦要求。
可选的，预设变焦要求包括：焦距连续变化，和/或，焦距变化率的取值在预设范围内。
在一种可能的设计中，根据补帧模型以及焦距变化率确定补偿帧数据，包括：
根据焦距变化率确定至少一个待补偿的图像帧对，图像帧对包括：初始图像帧以及目标图像帧；
利用补帧模型，根据图像帧对，确定补偿帧数据，补偿帧数据包括介于初始图像帧以及目标图像帧之间的至少一个补偿图像帧。
在一种可能的设计中，判断视频数据中是否存在变焦操作，包括：
在录像设备对视频数据进行录制的过程中，获取录像设备上的焦距调节元件所发送的调节指令；
根据调节指令判断是否存在变焦操作；
或者，
在视频数据录制完成后，利用焦距识别模型，根据视频数据中任意相邻两个图像帧中的图像特征，判断是否存在变焦操作。
在一种可能的设计中，将补偿帧数据添加到视频数据中，以使视频数据在变焦过程中的画面效果达到预设变焦要求，包括：
根据补偿帧数据中各个补偿帧图像所对应的焦距，调整各个补偿帧图像的尺寸，以满足预设变焦要求。
在一种可能的设计中，若在录像设备对视频数据进行录制的过程中，确定存在变焦操作，且焦距变化率不满足预设变焦要求时，
根据补帧模型以及焦距变化率确定补偿帧数据，将补偿帧数据添加到视频数据中，包括：
增加录像设备的图像采集频率，以增加在变焦操作时所录制的图像，并将图像作为补偿帧数据。
第二方面，本申请提供一种视频数据处理装置，包括：
获取模块，用于获取视频数据；
处理模块，用于：
根据视频数据判断视频数据中是否存在变焦操作；
若是，则检测预设时段内的焦距变化率是否满足预设变焦要求；
若否，则根据补帧模型以及焦距变化率确定补偿帧数据；
将补偿帧数据添加到视频数据中，以使视频数据在变焦过程中的画面效果达到预设变焦要求。
可选的，预设变焦要求包括：焦距连续变化，和/或，焦距变化率的取值在预设范围内。
在一种可能的设计中，处理模块，用于：
根据焦距变化率确定至少一个待补偿的图像帧对，图像帧对包括：初始图像帧以及目标图像帧；
利用补帧模型，根据图像帧对，确定补偿帧数据，补偿帧数据包括介于初始图像帧以及目标图像帧之间的至少一个补偿图像帧。
在一种可能的设计中，处理模块，用于：
在录像设备对视频数据进行录制的过程中，获取录像设备上的焦距调节元件所发送的调节指令；
根据调节指令判断是否存在变焦操作。
在一种可能的设计中，处理模块，用于在视频数据录制完成后，利用焦距识别模型，根据视频数据中任意相邻两个图像帧中的图像特征，判断是否存在变焦操作。
在一种可能的设计中，处理模块，用于根据补偿帧数据中各个补偿帧图像所对应的焦距，调整各个补偿帧图像的尺寸，以满足预设变焦要求。
在一种可能的设计中，若在录像设备对视频数据进行录制的过程中，确定存在变焦操作，且焦距变化率不满足预设变焦要求时，处理模块，用于增加录像设备的图像采集频率，以增加在变焦操作时所录制的图像，并将图像作为补偿帧数据。
第三方面，本申请提供一种电子设备，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，执行第一方面所提供的任意一种可能的视频数据处理方法。
第四方面，本申请提供一种存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行第一方面所提供的任意一种可能的视频数据处理方法。
第五方面，本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所提供的任意一种可能的视频数据处理系统方法。
本申请提供了一种视频数据处理方法、装置、设备、介质及程序产品，通过获取视频数据，并判断视频数据中是否存在变焦操作；若是，则检测预设时段内的焦距变化率是否满足预设变焦要求；若否，则根据补帧模型以及焦距变化率确定补偿帧数据；将补偿帧数据添加到视频数据中，以使视频数据在变焦过程中的画面效果达到预设变焦要求。解决了手动变焦时，由于拍摄者操作不当造成的画面变化速度不均匀的技术问题。达到了无需经过后期视频处理人员的人为调整即可实现变焦过程中画面平滑均匀过渡的技术效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请提供的一种数据汇总的场景示意图；
图2为本申请实施例提供的一种视频数据处理方法的流程示意图；
图3为本申请实施提供的另一种视频数据处理方法的流程示意图；
图4为本申请实施例提供的一种银行并账场景的示意图；
图5为本申请实施例提供的一种视频数据处理装置的结构示意图；
图6为本申请提供的一种电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，包括但不限于对多个实施例的组合，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前，人们在进行视频拍摄时，在某些时候由于拍摄的需求，必须要手动进行变焦操作，以放大或缩小画面，或者是改变镜头拍摄的聚焦角度获取不同的画面内容。
但是，由于手动物理变焦不稳定，导致画面变化非常突兀，十分影响视频的观感质量。而拍摄需求又必须用手动变焦，这就提高了对摄影师的操作要求，增加了视频的拍摄成本。
现有技术一般都是考虑用自动变焦来替代手动变焦，但是目前的自动变焦算法还不足以支撑所有的拍摄需求，并且也有摄影师为了创造出具备个性化的视频，刻意采用了手动变焦的操作。因此现有的采用自动来替代手动变焦的解决方案，并不能解决上述的问题。
为解决上述技术问题。本申请的发明构思是：
在检测到手动变焦不符合预设变焦要求，即画面变化不够均匀，可能会影响视频的观感时，自动生成补充帧来填充过渡的视频区间，使得画面在变焦时更均匀顺滑。这样就不需要完全自动变焦，而是通过画面调节算法让画面的变化过渡更均匀，并不是去直接对焦距进行调校，而是直接作用于画面。
这个生成补偿帧的过程，既可以是在拍摄过程中，也可以是在拍摄的视频数据存储到永久存储器时自动进行。这样就避免了后期视频处理，降低了视频处理成本。
图1为本申请提供的一种视频录制的场景示意图。如图1所示，用户通过摄像机100进行视频录制，在拍摄到图像200时，用户通过调节调焦旋钮101，使得拍摄的画面的焦距放大，变成图像201所示的效果。由于是视频录制，变焦操作的整个过程也会被记录下来。若用户在调节调焦旋钮101时，操作不当，就会使得在从图像200到图像201的整个过程变化不平顺，给观众的观感不佳。为解决此问题，本申请提出了一种新的视频数据处理方法，下面对该方法的具体步骤进行介绍。
图2为本申请实施例提供的一种视频数据处理方法的流程示意图。如图2所示，该视频数据处理方法的具体步骤，包括：
S201、获取视频数据。
在本实施例中，视频数据处理方法响应于视频存储命令而触发。在监测到视频数据要存入存储器之前，执行本方法。
在本步骤中，用户通过摄像设备采集视频图像，并将相关的参数一起组合为视频数据。摄像设备的控制器实时监测读取镜头采集到的视频数据。
具体的，可以理解为逐一获取并监测图像帧数据。
S202、判断视频数据中是否存在变焦操作。
在本实施例中，在视频数据录制完成后，利用焦距识别模型，根据视频数据中任意相邻两个图像帧中的图像特征，判断是否存在变焦操作，若是，则执行步骤S203；若否，则不进行操作。
具体的，可以分为两种方式进行判断：
第一种是，通过图像识别判断视频图像是否进行了变焦放缩，或监测视频数据中的焦距是否发生了变化。
第二种是，监测焦距调节模块，如图1中的调焦旋钮101是否存在输入信号，若是，则证明用户进行了变焦操作。
S203、检测预设时段内的焦距变化率是否满足预设变焦要求。
在本步骤中，若否，则执行步骤S204，若是则返回S202继续监测下一帧视频数据是否发生变焦操作。
可选的，预设变焦要求包括：焦距连续变化，和/或，焦距变化率的取值在预设范围内。
需要说明的是，焦距连续变化包括：焦距变化率曲线是连续的，不间断的，且过渡平滑。即焦距变化率所对应的函数是连续的，函数图像是一条连续变化的平滑曲线。
焦距变化率的取值在预设范围内，例如焦距变化率j的取值范围是j∈[0，5](单位：mm)。
S204、根据补帧模型以及焦距变化率确定补偿帧数据。
在本实施例中，根据焦距变化率确定至少一个待补偿的图像帧对，图像帧对包括：初始图像帧以及目标图像帧；
利用补帧模型，根据图像帧对，确定补偿帧数据，补偿帧数据包括介于初始图像帧以及目标图像帧之间的至少一个补偿图像帧。
具体的，变焦操作开始前的最后一帧图像即为初始图像帧，变焦操作结束后的首个图像帧即为目标图像帧。在这两个图像帧之间，用户手动操作的焦距变化率与视频录制设备的采样频率相互影响，可能会导致视频播放时，这个过渡过程过于突兀，变化过快，或者是变化不平顺，时断时续，影响观感。此时，就需要通过计算初始图像帧以及目标图像帧，两个焦距的差值，通过平滑函数模拟其变化过程，插入至少一个补偿帧图像。
在一种可能的设计中，在初始图像帧以及目标图像帧之间可能还存在一个或多个中间图像帧，那么可以将所有的图像帧的焦距值，通过曲线拟合的方式得到对应的焦距平滑变换函数，从而确定补偿帧的数量以及各个补偿帧所对应的焦距值。例如，可以通过最小二乘法得到各个补偿帧的焦距值。
S205、将补偿帧数据添加到视频数据中，以使视频数据在变焦过程中的画面效果达到预设变焦要求。
在本步骤中，根据补偿帧数据中各个补偿帧图像所对应的焦距，调整各个补偿帧图像的尺寸，以满足预设变焦要求。
具体的，补偿帧图像可以利用初始图像帧或目标图像帧，进行一定比例的放大或缩小而得到。然后，将放大或缩小后的图像尺寸调整到初始图像帧或目标图像帧对应的大小。
本实施例提供了一种视频数据处理系统方法，通过获取视频数据，并判断视频数据中是否存在变焦操作；若是，则检测预设时段内的焦距变化率是否满足预设变焦要求；若否，则根据补帧模型以及焦距变化率确定补偿帧数据；将补偿帧数据添加到视频数据中，以使视频数据在变焦过程中的画面效果达到预设变焦要求。解决了手动变焦时，由于拍摄者操作不当造成的画面变化速度不均匀的技术问题。达到了无需经过后期视频处理人员的人为调整即可实现变焦过程中画面平滑均匀过渡的技术效果。
下面对于在录像设备对视频数据进行录制的过程中，如何利用本申请所提供的视频数据处理方法来平滑焦距变换过程进行具体介绍。
图3为本申请实施提供的另一种视频数据处理方法的流程示意图。如图3所示，该视频数据处理方法的具体步骤包括：
S301、获取视频数据，并判断视频数据中是否存在变焦操作。
在本实施例中，在录像设备对视频数据进行录制的过程中，获取录像设备上的焦距调节元件(如图1中的调焦旋钮101)所发送的调节指令；根据调节指令判断是否存在变焦操作。
S302、若是，则检测预设时段内的焦距变化率是否满足预设变焦要求。
在本步骤中，预设时段包括：连续n(n≥2)个图像帧录制时所对应的时间。
预设变焦要求，包括：焦距连续变化，和/或，所述焦距变化率的取值在预设范围内。
S303、若否，则增加录像设备的图像采集频率，以增加在变焦操作时所录制的图像。
S304、将增加的图像作为变焦操作过程中的补偿帧数据。
在步骤S303～S304中，当检测到焦距变化过快，或者存在短时间内断断续续地变焦操作时，可以增加图像的采集频率，比如原始图像采集频率为每秒24帧，那么此时将采集频率提高到每秒32帧。
图4为本申请提供的一种在初始图像帧和目标图像帧之间添加补偿帧图像的示意图。如图4所示，初始图像帧401的焦距为20mm，目标图像帧402的焦距为200mm，在两者之间，添加利用预设插值算法，动态改变图像采集频率，即以非匀速的方式进行图像采集，增加了7张中间过渡的补偿帧图像，其对应的焦距分别为：24mm，28mm，35mm，50mm，70mm，100mm，135mm。
需要说明的是，图4也可以表示图2所示实施例中S204中根据补帧模型以及焦距变化率确定的补偿帧图像。
S305、将补偿帧数据添加到视频数据中，以使视频数据在变焦过程中的画面效果达到预设变焦要求。
在本实施例中，通过增加图像采集频率的方式，无需另外增加计算处理过程，节省了控制器的运算资源，也更真实地接近变焦操作过程中图像的变化。
本实施例提供了一种视频数据处理系统方法，通过获取视频数据，并判断视频数据中是否存在变焦操作；若是，则检测预设时段内的焦距变化率是否满足预设变焦要求；若否，则根据补帧模型以及焦距变化率确定补偿帧数据；将补偿帧数据添加到视频数据中，以使视频数据在变焦过程中的画面效果达到预设变焦要求。解决了手动变焦时，由于拍摄者操作不当造成的画面变化速度不均匀的技术问题。达到了无需经过后期视频处理人员的人为调整即可实现变焦过程中画面平滑均匀过渡的技术效果。
图5为本申请实施例提供的一种视频数据处理装置的结构示意图。该视频数据处理装置500可以通过软件、硬件或者两者的结合实现。
如图5所示，该视频数据处理装置500包括：
获取模块501，用于获取视频数据；
处理模块502，用于：
根据视频数据判断视频数据中是否存在变焦操作；
若是，则检测预设时段内的焦距变化率是否满足预设变焦要求；
若否，则根据补帧模型以及焦距变化率确定补偿帧数据；
将补偿帧数据添加到视频数据中，以使视频数据在变焦过程中的画面效果达到预设变焦要求。
可选的，预设变焦要求包括：焦距连续变化，和/或，焦距变化率的取值在预设范围内。
在一种可能的设计中，处理模块502，用于：
根据焦距变化率确定至少一个待补偿的图像帧对，图像帧对包括：初始图像帧以及目标图像帧；
利用补帧模型，根据图像帧对，确定补偿帧数据，补偿帧数据包括介于初始图像帧以及目标图像帧之间的至少一个补偿图像帧。
在一种可能的设计中，处理模块502，用于：
在录像设备对视频数据进行录制的过程中，获取录像设备上的焦距调节元件所发送的调节指令；
根据调节指令判断是否存在变焦操作。
在一种可能的设计中，处理模块502，用于在视频数据录制完成后，利用焦距识别模型，根据视频数据中任意相邻两个图像帧中的图像特征，判断是否存在变焦操作。
在一种可能的设计中，处理模块502，用于根据补偿帧数据中各个补偿帧图像所对应的焦距，调整各个补偿帧图像的尺寸，以满足预设变焦要求。
在一种可能的设计中，若在录像设备对视频数据进行录制的过程中，确定存在变焦操作，且焦距变化率不满足预设变焦要求时，处理模块502，用于增加录像设备的图像采集频率，以增加在变焦操作时所录制的图像，并将图像作为补偿帧数据。
值得说明的是，图5所示实施例提供的装置，可以执行上述任一方法实施例中所提供的方法，其具体实现原理、技术特征、专业名词解释以及技术效果类似，在此不再赘述。
图6为本申请实施例提供的一种电子设备的结构示意图。如图6所示，该电子设备600，可以包括：至少一个处理器601和存储器602。图6示出的是以一个处理器为例的电子设备。
存储器602，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器602可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器601用于执行存储器602存储的计算机执行指令，以实现以上各方法实施例所述的方法。
其中，处理器601可能是一个中央处理器(central processing unit，简称为CPU)，或者是特定集成电路(application specific integrated circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选地，存储器602既可以是独立的，也可以跟处理器601集成在一起。当所述存储器602是独立于处理器601之外的器件时，所述电子设备600，还可以包括：
总线603，用于连接所述处理器601以及所述存储器602。总线可以是工业标准体系结构(industry standard architecture，简称为ISA)总线、外部设备互连(peripheralcomponent，PCI)总线或扩展工业标准体系结构(extended industry standardarchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器602和处理器601集成在一块芯片上实现，则存储器602和处理器601可以通过内部接口完成通信。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序指令，程序指令用于上述各方法实施例中的方法。
本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由本申请的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (7)
1.一种视频数据处理方法，其特征在于，包括：
获取视频数据，并判断所述视频数据中是否存在变焦操作；
若是，则检测预设时段内的焦距变化率是否满足预设变焦要求；
若所述焦距变化率不满足预设变焦要求，则根据补帧模型以及所述焦距变化率确定补偿帧数据；所述补偿帧数据包括介于变焦操作开始前最后一帧图像与变焦操作结束后首帧图像之间的至少一个补偿图像帧；
将所述补偿帧数据添加到所述视频数据中，以使所述视频数据在变焦过程中的画面效果达到所述预设变焦要求；
所述判断所述视频数据中是否存在变焦操作，包括：
在录像设备对所述视频数据进行录制的过程中，获取所述录像设备上的焦距调节元件所发送的调节指令；
根据所述调节指令判断是否存在所述变焦操作；
或者，
在所述视频数据录制完成后，利用焦距识别模型，根据所述视频数据中任意相邻两个图像帧中的图像特征，判断是否存在所述变焦操作；
若在所述录像设备对所述视频数据进行录制的过程中，确定存在所述变焦操作，且所述焦距变化率不满足预设变焦要求时，
所述根据补帧模型以及所述焦距变化率确定补偿帧数据，将所述补偿帧数据添加到所述视频数据中，包括：
增加所述录像设备的图像采集频率，以增加在所述变焦操作时所录制的图像，并将所述图像作为所述补偿帧数据。
2.根据权利要求1所述的视频数据处理方法，其特征在于，所述预设变焦要求包括：焦距连续变化，和/或，所述焦距变化率的取值在预设范围内。
3.根据权利要求2所述的视频数据处理方法，其特征在于，所述根据补帧模型以及所述焦距变化率确定补偿帧数据，包括：
根据所述焦距变化率确定至少一个待补偿的图像帧对，所述图像帧对包括：初始图像帧以及目标图像帧；
利用所述补帧模型，根据所述图像帧对，确定所述补偿帧数据，所述补偿帧数据包括介于所述初始图像帧以及所述目标图像帧之间的至少一个补偿图像帧。
4.根据权利要求1所述的视频数据处理方法，其特征在于，所述将所述补偿帧数据添加到所述视频数据中，以使所述视频数据在变焦过程中的画面效果达到所述预设变焦要求，包括：
根据所述补偿帧数据中各个补偿帧图像所对应的焦距，调整各个所述补偿帧图像的尺寸，以满足所述预设变焦要求；
若在所述录像设备对所述视频数据进行录制的过程中，确定存在所述变焦操作，且所述焦距变化率不满足预设变焦要求时，
所述根据补帧模型以及所述焦距变化率确定补偿帧数据，将所述补偿帧数据添加到所述视频数据中，包括：
增加所述录像设备的图像采集频率，以增加在所述变焦操作时所录制的图像，并将所述图像作为所述补偿帧数据。
5.一种视频数据处理装置，其特征在于，包括：
获取模块，用于获取视频数据；
处理模块，用于：
根据所述视频数据判断所述视频数据中是否存在变焦操作；
若是，则检测预设时段内的焦距变化率是否满足预设变焦要求；
若所述焦距变化率不满足预设变焦要求，则根据补帧模型以及所述焦距变化率确定补偿帧数据；所述补偿帧数据包括介于变焦操作开始前最后一帧图像与变焦操作结束后首帧图像之间的至少一个补偿图像帧；
将所述补偿帧数据添加到所述视频数据中，以使所述视频数据在变焦过程中的画面效果达到所述预设变焦要求；
所述处理模块，具体用于：
在录像设备对所述视频数据进行录制的过程中，获取所述录像设备上的焦距调节元件所发送的调节指令；根据所述调节指令判断是否存在所述变焦操作；或者，
在所述视频数据录制完成后，利用焦距识别模型，根据所述视频数据中任意相邻两个图像帧中的图像特征，判断是否存在所述变焦操作；
若在所述录像设备对所述视频数据进行录制的过程中，确定存在所述变焦操作，且所述焦距变化率不满足预设变焦要求时，所述处理模块，还具体用于增加所述录像设备的图像采集频率，以增加在所述变焦操作时所录制的图像，并将所述图像作为所述补偿帧数据。
6.一种电子设备，其特征在于，包括：
处理器；以及，
存储器，用于存储所述处理器的计算机程序；
其中，所述处理器配置为经由执行所述计算机程序来执行权利要求1至4任一项所述的视频数据处理方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述的视频数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110697119.9A CN113438508B (zh) | 2021-06-23 | 2021-06-23 | 视频数据处理方法、装置、设备、介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110697119.9A CN113438508B (zh) | 2021-06-23 | 2021-06-23 | 视频数据处理方法、装置、设备、介质及程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113438508A CN113438508A (zh) | 2021-09-24 |
| CN113438508B true CN113438508B (zh) | 2022-07-01 |
Family
ID=77753474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110697119.9A Active CN113438508B (zh) | 2021-06-23 | 2021-06-23 | 视频数据处理方法、装置、设备、介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113438508B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116634261A (zh) * | 2021-12-10 | 2023-08-22 | 荣耀终端有限公司 | 一种拍摄参数的控制方法及装置 |
| CN114286007A (zh) * | 2021-12-28 | 2022-04-05 | 维沃移动通信有限公司 | 图像处理电路、图像处理方法、电子设备和可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109379537A (zh) * | 2018-12-30 | 2019-02-22 | 北京旷视科技有限公司 | 滑动变焦效果实现方法、装置、电子设备及计算机可读存储介质 |
| CN111756996A (zh) * | 2020-06-18 | 2020-10-09 | 影石创新科技股份有限公司 | 视频处理方法、视频处理装置、电子设备及计算机可读存储介质 |
| CN111885305A (zh) * | 2020-07-28 | 2020-11-03 | Oppo广东移动通信有限公司 | 预览画面处理方法及装置、存储介质和电子设备 |
| CN112351193A (zh) * | 2020-09-17 | 2021-02-09 | 格科微电子（上海）有限公司 | 基于时序控制的变焦方法、图像采集设备及存储介质 |
| CN112584234A (zh) * | 2020-12-09 | 2021-03-30 | 广州虎牙科技有限公司 | 视频图像的补帧方法及相关装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8941722B2 (en) * | 2012-01-03 | 2015-01-27 | Sony Corporation | Automatic intelligent focus control of video |
-
2021
- 2021-06-23 CN CN202110697119.9A patent/CN113438508B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109379537A (zh) * | 2018-12-30 | 2019-02-22 | 北京旷视科技有限公司 | 滑动变焦效果实现方法、装置、电子设备及计算机可读存储介质 |
| CN111756996A (zh) * | 2020-06-18 | 2020-10-09 | 影石创新科技股份有限公司 | 视频处理方法、视频处理装置、电子设备及计算机可读存储介质 |
| CN111885305A (zh) * | 2020-07-28 | 2020-11-03 | Oppo广东移动通信有限公司 | 预览画面处理方法及装置、存储介质和电子设备 |
| CN112351193A (zh) * | 2020-09-17 | 2021-02-09 | 格科微电子（上海）有限公司 | 基于时序控制的变焦方法、图像采集设备及存储介质 |
| CN112584234A (zh) * | 2020-12-09 | 2021-03-30 | 广州虎牙科技有限公司 | 视频图像的补帧方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113438508A (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8988529B2 (en) | Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera | |
| CN101309367B (zh) | 成像装置 | |
| US10291854B2 (en) | Image capture apparatus and method of controlling the same | |
| US8629915B2 (en) | Digital photographing apparatus, method of controlling the same, and computer readable storage medium | |
| JP5592006B2 (ja) | 三次元画像処理 | |
| CN113438508B (zh) | 视频数据处理方法、装置、设备、介质及程序产品 | |
| US11025879B2 (en) | Image processing apparatus, image processing method, and storage medium storing program | |
| US20100214445A1 (en) | Image capturing method, image capturing apparatus, and computer program | |
| US9762804B2 (en) | Image processing apparatus, image pickup apparatus, and image processing method for aberration correction | |
| JP6720881B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN105493493A (zh) | 摄像装置、摄像方法及图像处理装置 | |
| CN111107265B (zh) | 图像处理方法及装置、计算机可读介质、电子设备 | |
| US20150356356A1 (en) | Apparatus and method of providing thumbnail image of moving picture | |
| JP2006094082A (ja) | 画像撮影装置およびプログラム | |
| KR20120071972A (ko) | 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법 | |
| JP2012050082A (ja) | 光軸移動量の算出方法および光軸移動量の算出装置 | |
| EP2200275B1 (en) | Method and apparatus of displaying portrait on a display | |
| CN110933304B (zh) | 待虚化区域的确定方法、装置、存储介质与终端设备 | |
| JP4482933B2 (ja) | 動きベクトル検出装置、画像表示装置、画像撮像装置、動きベクトル検出方法、プログラムおよび記録媒体 | |
| US20100045813A1 (en) | Digital image capture device and video capturing method thereof | |
| EP3836540B1 (en) | Image processing apparatus and image capturing apparatus | |
| WO2020187197A1 (zh) | 成像设备的变焦方法、图像处理方法及成像设备 | |
| JP4936799B2 (ja) | 電子カメラ | |
| CN109510939A (zh) | 相机缩放对焦的roi调整方法、装置及存储介质 | |
| JP6742862B2 (ja) | 撮像装置、画像処理装置、撮像装置の制御方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |