CN117425064A - 帧率调节方法、装置、设备及系统 - Google Patents
帧率调节方法、装置、设备及系统 Download PDFInfo
- Publication number
- CN117425064A CN117425064A CN202210799229.0A CN202210799229A CN117425064A CN 117425064 A CN117425064 A CN 117425064A CN 202210799229 A CN202210799229 A CN 202210799229A CN 117425064 A CN117425064 A CN 117425064A
- Authority
- CN
- China
- Prior art keywords
- frame rate
- event
- video
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000008859 change Effects 0.000 claims abstract description 141
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000009825 accumulation Methods 0.000 claims description 38
- 238000005259 measurement Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 11
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012806 monitoring device Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009790 rate-determining step (RDS) Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种帧率调节方法、装置、设备及系统，涉及图像处理领域。该方法包括：拍摄设备采用默认拍摄帧率对目标进行拍摄时，确定目标与拍摄设备的相对运动状态，根据该相对运动状态对拍摄设备的拍摄帧率进行调节，在相对运动状态指示目标的图像变化快慢程度较快时提高拍摄帧率，在相对运动状态指示目标的图像变化快慢程度较慢时降低拍摄帧率。由此，第一视频中的目标自身状态发生变化或与拍摄设备存在相对运动的情况下，拍摄设备都能使用适用于图像变化快慢程度的第二帧率采集第二视频，提高了帧率调节的准确度，提高了拍摄设备根据调节后的第二帧率采集的第二视频的流畅度。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种帧率调节方法、装置、设备及系统。
背景技术
帧率(Frame rate)是用于指示拍摄设备拍摄视频的画面的频率。帧率的单位为每秒显示帧数(Frames per Second，FPS)。拍摄设备拍摄视频时采用的帧率越高，人眼感知视频越流畅。反之，拍摄设备拍摄视频时采用的帧率越低，人眼感知视频的卡顿现象越严重。
目前，拍摄设备采用一种固定的帧率对目标进行拍摄采集视频。如果拍摄设备采用较高的帧率拍摄相对拍摄设备运动速度较慢的目标，则拍摄设备会采集到较多的冗余图像，增加了拍摄设备的功耗。如果拍摄设备采用较低的帧率拍摄相对拍摄设备运动速度较快的目标，则拍摄设备无法全面地捕捉目标的运动信息，导致采集到的视频中目标的运动不流畅。
通常，拍摄设备可以对采集的视频进行重新编码，生成不同帧率的视频。但是，拍摄设备采用较低的帧率拍摄视频已造成运动信息的丢失，无法通过后续编码对运动信息进行补偿，存在视频不流畅的问题。
发明内容
本申请实施例提供一种帧率调节方法、装置、设备及系统，由此提高拍摄设备采集的视频的流畅度。
第一方面，提供一种帧率调节方法。该帧率调节方法由拍摄设备执行，具体包括如下步骤：拍摄设备采用第一帧率对拍摄的目标进行拍摄，获得第一视频。拍摄设备根据拍摄设备自身与拍摄的目标的相对运动状态确定第二帧率。相对运动状态用于指示第一视频中的目标的图像变化快慢程度较慢的程度。第二帧率是适用于拍摄相对拍摄设备处于该相对运动状态的目标的帧率，第二帧率可以大于或小于第一帧率。
由此，拍摄设备根据自身与第一视频中目标的相对运动状态对拍摄帧率进行动态调节，在相对运动状态指示目标的图像变化快慢程度较快时提高拍摄帧率，在相对运动状态指示目标的图像变化快慢程度较慢时降低拍摄帧率，保证了第二视频的流畅度。因此，第一视频中的目标与拍摄设备相对静止但自身发生变化(例如：亮度变化)或第一视频中的目标与拍摄设备存在相对运动，拍摄设备都能使用适用于图像变化快慢程度的第二帧率采集第二视频，提高了帧率调节的准确度，从而进一步提高了拍摄设备根据调节后的第二帧率采集的第二视频的流畅度。
例如，该相对运动状态指示第一视频中的目标的图像变化快慢程度较慢，拍摄设备采用比第一帧率更低的帧率对目标进行拍摄获得的视频也能满足人眼对视频流畅度的需求，则第二帧率小于第一帧率。又如，该相对运动状态指示第一视频中的目标的图像变化快慢程度较快，拍摄设备采用第一帧率对目标进行拍摄获得的视频无法满足人眼对视频流畅度的需求，则第二帧率大于第一帧率。
作为一种可能的实现方式，拍摄设备先确定第一视频中目标的图像的变化速度，再根据第一视频中目标的图像的变化速度和第一关联关系确定第二帧率。其中，第一关联关系用于指示相对运动状态与帧率的关系。
基于上述实现方式，由于第一关联关系用于指示相对运动状态与帧率的关系，因此拍摄设备根据第一关联关系确定的第二帧率既保证了第二视频的流畅度，又避免了拍摄帧率过高导致的拍摄设备功耗高的问题。
由于相对运动状态用于指示第一视频中目标的图像的变化快慢程度，拍摄设备可以确定第一视频中的图像变化速度，利用图像的变化速度来表示相对运动状态，再根据图像的变化速度和第一关联关系确定第二帧率。
其中，第一关联关系用于指示相对运动状态与帧率的关系。例如，图像的变化速度的每个数值表示不同的相对运动状态，则拍摄设备根据图像的变化速度查询第一关联关系，确定与该图像的变化速度对应的帧率为第二帧率。又如，图像的变化速度的不同取值区间表示不同的相对运动状态，则拍摄设备确定图像的变化速度所属的取值区间，然后查询第一关联关系，确定与该取值区间对应的帧率为第二帧率。由此，本实施例提供的根据图像的变化速度确定第二帧率的方式不止一种，可以根据帧率调节的精确度需求和拍摄设备的性能情况选择第二帧率的确定方式，从而提高了帧率调节的灵活性。
本实施例不对拍摄设备确定第一视频中目标的图像的变化速度的方式进行限定，拍摄设备可以根据不同传感器采集的不同类型的传感信息确定第一视频中目标的图像的变化速度。
作为一种可能的实现方式，拍摄设备包括动态视觉传感器(Dynamic VisionSensor，DVS)，拍摄设备根据DVS输出的异步事件确定第一视频中目标的图像的变化速度。异步事件是DVS在局部像素级亮度变化(称为事件)超过设定阈值时输出的带有时间戳的信号。由于DVS能够感知并输出目标的图像中像素级的亮度变化，从而提高了拍摄设备确定图像的变化速度的精确度。
可选地，拍摄设备根据异步事件确定事件积累速度，根据事件积累速度确定第一视频中目标的图像的变化速度。其中，事件积累速度用于指示DVS输出异步事件的速度。
例如，上述事件积累速度是单位时间内DVS的感光阵列上的所述异步事件的总数。拍摄设备的DVS的感光阵列也可以称为靶面。单位时间可以是预设时长的时间段，该预设时长可以根据拍摄设备和目标的需求进行灵活调节。
又如，上述事件积累速度是事件帧中存在事件的区域的像素个数。事件帧是基于单位时间内累积的多个异步事件输出的事件图像。
以事件积累速度是事件帧中存在事件的区域的像素个数为例，拍摄设备在DVS输出异步事件的连续时长超过预设时长和/或异步事件的累积数量超过预设数量时，根据异步事件生成事件帧。拍摄设备还可以对事件帧进行形态学滤波处理，来修复第一视频中由于目标运动导致事件帧的边缘纹理区域存在拖影或残缺，并去除稀疏离散的背景噪声。从而减少了拖影、残缺和背景噪声对事件积累速度的计算带来的影响，保证了事件积累速度的准确率。
作为另一种可能的实现方式，拍摄设备包括惯性测量单元(InertialMeasurement Unit，IMU)，拍摄设备根据IMU采集的惯性数据确定拍摄设备的运动速度，并根据拍摄设备的运动速度确定第一视频中目标的图像的变化速度。
可选地，拍摄设备根据IMU采集的加速度和角速度计算拍摄设备的运动速度的向量长度。由于拍摄设备自身的运动速度会导致拍摄设备与目标发生相对运动，若目标的运动速度较慢，拍摄设备可以使用拍摄设备的运动速度的向量长度来表示第一视频中目标的图像的变化速度。从而通过在拍摄设备中较普遍的IMU采集的惯性数据确定第一视频中目标的图像的变化速度，简化了第一视频中目标的图像的变化速度的确定步骤，并提高了帧率调节方法的适用性。
作为又一种可能的实现方式，拍摄设备包括DVS和IMU，拍摄设备根据IMU采集的惯性数据和DVS输出的异步事件确定第一视频中目标的图像的变化速度，
例如，拍摄设备根据IMU采集的惯性数据确定第一视频中目标的图像的第一变化速度，并根据DVS输出的异步事件确定第一视频中目标的图像的第二变化速度。然后拍摄设备分别在第一关联关系中查询第一变化速度对应的帧率和第二变化速度对应的帧率。拍摄设备确定第一变化速度和第二变化速度中对应的帧率较高的变化速度作为第一视频中目标的图像的变化速度，使拍摄设备根据第一视频中目标的图像的变化速度确定的第二帧率能够采集流畅度较高的第二视频，提高了帧率调节的准确度。
第二方面，提供了一种帧率调节装置，所述装置包括用于执行第一方面或第一方面任一种可能实现方式中的帧率调节方法的各个模块。
需要说明的是，第二方面所述的帧率调节装置可以是终端设备或网络设备，也可以是可设置于终端设备或网络设备中的芯片(系统)或其他部件或组件，还可以是包含终端设备或网络设备的装置，本申请对此不做限定。
此外，第二方面所述的图像处理装置的技术效果可以参考第一方面所述的帧率调节方法的技术效果，此处不再赘述。
第三方面，提供了一种计算设备，包括存储器和处理器，所述存储器用于存储一组计算机指令，当所述处理器执行所述一组计算机指令时，用于执行第一方面中任一种可能设计中的帧率调节方法的操作步骤。
此外，第三方面所述的计算设备的技术效果可以参考第一方面所述的帧率调节方法的技术效果，此处不再赘述。
第四方面，提供一种计算机可读存储介质，包括：计算机软件指令；当计算机软件指令在计算设备中运行时，使得计算设备执行如第一方面中任意一种可能的实现方式中所述方法的操作步骤。
第五方面，提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面中任意一种可能的实现方式中所述方法的操作步骤。
本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
附图说明
图1是本申请实施例提供的一种帧率调节系统的结构示意图；
图2为本申请实施例提供的一种帧率调节方法的流程示意图；
图3为本申请实施例提供的另一种帧率调节方法的流程示意图；
图4为本申请实施例提供的一种第二帧率确定步骤的流程示意图；
图5为本申请实施例提供的一种事件帧去噪对比示意图；
图6为本申请实施例提供的一种帧率调节装置的示意图；
图7为本申请实施例提供的一种计算设备的结构示意图。
具体实施方式
本申请实施例提供一种帧率调节方法，尤其是一种基于拍摄设备与拍摄目标的相对运动状态对拍摄设备的拍摄帧率进行调节的方法，即拍摄设备根据第一帧率采集第一视频的过程中，根据拍摄设备与第一视频中目标的相对运动状态确定第二帧率，拍摄设备将拍摄帧率调节至第二帧率后进行第二视频的采集，其中，相对运动状态用于指示第一视频中目标的图像的变化快慢程度。由此，拍摄设备根据拍摄设备与第一视频中目标的相对运动状态即第一视频中目标的图像的变化快慢程度对拍摄帧率进行调节，使拍摄设备能够根据第二帧率采集目标的自身变化(例如：亮度变化)以及目标与拍摄设备的相对运动的图像信息，从而提高了帧率调节的准确度，保证了拍摄设备根据调节后的第二帧率采集的第二视频的流畅度。
下面结合附图对本申请实施例的实施方式进行说明。
图1是本申请实施例提供的一种帧率调节系统100的结构示意图。如图1所示，帧率调节系统100包括控制设备110、计算设备120、数据存储系统130和拍摄设备140。
控制设备110可以是终端，如手机、平板电脑、笔记本电脑、虚拟现实(virtualreality，VR)设备、增强现实(augmented reality，AR)设备、混合现实(Mixed Reality，MR)设备、扩展现实(Extended Reality，ER)、车载摄像设备等。
计算设备120可以是终端，还可以是其他计算设备，如服务器或者云端设备等。计算设备120可以是图形处理单元(graphic processing unit，GPU)、中央处理器(centralprocessing unit，CPU)、其他通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。训练设备720可以是图形处理器(graphics processing unit，GPU)、神经网络处理器(neuralnetwork processing unit，NPU)、微处理器、特定应用集成电路(application-specificintegrated circuit，ASIC)、或一个或多个用于控制本申请方案程序执行的集成电路。
数据存储系统130用于存储控制设备110需要调用的数据，以及控制设备110输出的数据。
拍摄设备140用于使用传感器采集传感数据，并将采集的传感数据发送至计算设备120。作为一种可能的实现方式，拍摄设备140包括图像传感器141、惯性测量单元(Inertial Measurement Unit，IMU)142和动态视觉传感器(Dynamic Vision Sensor，DVS)143。传感数据包括惯性测量单元142采集的惯性数据、图像传感器采集141的视频以及动态视觉传感器143输出的异步事件等。图像传感器141用于利用光电器件的光电转换功能将感光面上的光像转换为与光像成相应比例关系的电信号，图像传感器141可以是但不限于是互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)、电荷耦合元件(Charge-coupled Device，CCD)等。图像传感器141采集的视频可以包括拍摄设备140根据第一帧率采集的第一视频，以及根据第二帧率采集的第二视频。其中，第一帧率和第二帧率用于指示拍摄设备140拍摄目标的帧率，第一帧率和第二帧率不同。
计算设备120用于利用惯性数据和/或异步事件计算第一视频中目标的相对运动状态，并根据相对运动状态确定第二帧率。进而，计算设备120向控制设备110发送确定的第二帧率。控制设备110用于实现根据第二帧率调节拍摄设备140的拍摄帧率的功能，以及指示拍摄设备140采用第二帧率拍摄第二视频的功能。
上述帧率调节系统100是对帧率调节方法应用的系统的一个举例，本申请实施例提供的帧率调节方法可以应用于各种具有拍摄功能的系统。在可能的示例中，帧率调节系统100还可以是用于进行人像摄影、电影拍摄或航空摄影的系统以及手机、平板电脑等。图1仅是本申请实施例提供的一种系统架构的示意图，图1中所示设备、器件、模块等之间的位置关系不构成任何限制，控制设备110、计算设备120和拍摄设备140可以设置于同一物理设备。示例地，拍摄设备140可以为相机，控制设备110为控制镜头的控制组件，计算设备120为相机内设置的处理器。控制设备110可以是手机中用于控制摄像头的控制组件，计算设备120是手机中的处理器，拍摄设备140是手机中的摄像头。控制设备110、计算设备120和拍摄设备140可以设置于同一物理设备还可以设置于不同的物理设备。示例地，控制设备110是导演对摄影机进行监视和控制的监控设备，计算设备120是与监控设备连接的计算机，拍摄设备140是与监控设备以及计算机连接摄影机。
例如，对于电影拍摄的场景：控制设备110是导演对摄影机进行监视和控制的监控设备。计算设备120与控制设备110连接，计算设备120用于对控制设备110传输的数据进行处理，例如对控制设备110获取的视频进行图像处理。拍摄设备140通过有线连接或无线连接方式与监控设备和计算设备120连接，拍摄设备140是用于对奔跑的马匹、滚动的足球等运动物体进行拍摄的摄影机。摄影机的默认的拍摄帧率为第一帧率，摄影机基于第一帧率对运动物体进行拍摄，并将拍摄到的第一视频发送至计算设备120。此外，摄影机还利用惯性测量单元142采集惯性数据，和/或利用动态视觉传感器143采集异步事件，并将惯性数据和/或异步事件发送至计算设备120。计算设备120根据惯性数据和/或异步事件确定摄影机与第一视频中的运动物体的相对运动状态，该相对运动状态表示运动物体与摄影机的相对运动速度的快慢程度，并根据相对运动状态确定用于对足球进行拍摄的第二帧率。计算设备120将第二帧率发送至监控设备，监控设备根据第二帧率对摄影机的拍摄帧率进行调节，使监控设备采用第二帧率对足球进行拍摄，得到第二视频。
又如，对于使用手机拍摄播放视频的显示器的场景：控制设备110、计算设备120和拍摄设备140设置于同一个手机中。控制设备110是手机中用于控制摄像头的控制组件，计算设备120是手机的处理器，拍摄设备140是手机的摄像头。用户利用手机的操作界面打开拍摄应用程序，拍摄应用程序启动摄像头，采用默认的第一帧率对正在播放视频的显示器进行拍摄，获得第一视频。摄像头利用惯性测量单元142采集惯性数据，和/或利用动态视觉传感器143采集异步事件，并将惯性数据和/或异步事件发送至处理器。处理器根据惯性数据和/或异步事件确定摄像头与第一视频中显示器相对运动状态，该相对运动状态用于指示第一视频中目标的图像的变化快慢程度，第一视频中的目标指显示器，目标的图像的变化快慢程度是指显示器的亮度变化的快慢程度。处理器根据相对运动状态确定用于对显示器进行拍摄的第二帧率。处理器将第二帧率发送至控制组件，控制组件根据第二帧率对摄像头的拍摄帧率进行调节，使摄像头采用第二帧率对显示器进行拍摄，得到第二视频。
在上述电影拍摄的场景下或拍摄播放视频的显示器的场景下，第一视频中的运动物体与拍摄设备140的相对运动速度的快慢程度会造成拍摄设备140采集的视频的图像发生变化，显示器播放视频时的亮度变化也会造成拍摄设备140采集的视频的图像发生变化。计算设备120根据用于指示第一视频中目标的图像的变化快慢程度的相对运动状态作为指标，来确定用于对目标采集第二视频的第二帧率。因此，在目标与拍摄设备140发生相对运动或目标自身发生亮度等变化的情况下，计算设备120都能将拍摄帧率调节至适用于对目标进行拍摄的第二帧率，使拍摄设备140采用第二帧率拍摄的第二视频具有足够的流畅度，又避免拍摄设备140采用过高帧率对图像变化快慢程度较慢的目标进行拍摄，降低了拍摄设备140的功耗。
进一步地，根据控制设备110所执行的功能，还可以进一步将控制设备110细分为如图1所示的架构，如图1所示，控制设备110配置有计算模块111、I/O接口112和处理模块113。I/O接口112用于与外部设备进行数据交互。拍摄设备140向I/O接口112输入数据。输入数据可以包括图像、视频、惯性数据和异步事件等。
计算模块111用于对计算设备120的输入数据进行处理。在本申请实施例中，计算模块111用于根据计算设备120输入的第二帧率生成第二帧率调整指令，并通过I/O接口112向拍摄设备140发送第二帧率调整指令。
处理模块113用于根据I/O接口112或计算设备120接收到的输入数据进行处理。在本申请实施例中，处理模块113用于对从I/O接口112接收到的输入数据进行图像信号处理(Image Signal Processing，ISP)，生成可变帧率的媒体文件。
在控制设备110对输入数据进行图像处理，或者在控制设备110的计算模块111执行计算等相关的处理过程中，控制设备110可以调用数据存储系统130中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据和指令等存入数据存储系统130中。
最后，I/O接口112将处理结果返回给拍摄设备140，从而提供给用户，以便用户查看处理结果。
接下来请参考图2，对帧率调节方法进行详细阐述。在这里以图1中的拍摄设备140、控制设备110和计算设备120为同一物理设备举例，即拍摄设备140包括控制设备110和计算设备120。下文中以拍摄设备140为执行主体对帧率调节方法的具体步骤进行说明。
步骤210、拍摄设备140根据第一帧率采集第一视频。
拍摄设备140将拍摄帧率设置为第一帧率，根据第一帧率采集第一视频。其中，第一帧率用于指示拍摄设备140拍摄目标的拍摄帧率。第一帧率可以是拍摄设备140的默认帧率。
步骤220、拍摄设备140根据拍摄设备140与第一视频中目标的相对运动状态确定第二帧率。
拍摄设备140利用计算设备120，根据第一视频中目标的图像的变化速度确定拍摄设备140与第一视频中目标的相对运动状态，根据相对运动状态确定第二帧率。其中，第二帧率用于指示拍摄设备140对目标进行拍摄的拍摄帧率。
第一种可能的实现方式，上述第一视频中目标的图像的变化速度可以是指目标与拍摄设备140的相对运动导致的目标在拍摄设备140的拍摄画面中的位置变化速度。例如，目标为运动的足球时，目标的图像的变化速度是足球在拍摄设备140的拍摄画面中的位置变化速度。
可选地，针对拍摄设备140自身处于运动状态，目标处于静止状态或运动速度相对拍摄设备140较慢的情况，拍摄设备140可以将拍摄设备140自身的运动速度作为拍摄设备140与第一视频中目标的相对运动速度。由于拍摄设备140的运动会导致拍摄画面发生变化，拍摄设备140与第一视频中目标的不同相对运动速度会导致目标的图像在拍摄设备140的拍摄画面中的位置发生变化，使目标在拍摄设备140中的图像发生变化。因此，拍摄设备140的运动速度与第一视频中目标的图像的变化速度存在对应关系。
计算设备120根据惯性测量单元142采集的惯性数据确定拍摄设备140的运动速度，以及拍摄设备140的运动速度与第一视频中目标的图像的变化速度的对应关系，确定第一视频中目标的图像的变化速度。
第二种可能的实现方式，上述第一视频中目标的图像的变化速度还可以是指目标自身变化导致目标在拍摄设备140的拍摄画面中的亮度变化速度。例如，目标为播放视频的显示器时，显示器由于播放的视频的亮度持续变化，拍摄设备140的拍摄画面中显示器的亮度存在变化。目标的图像的变化速度是显示器显示的画面在拍摄设备140的拍摄画面中的亮度变化速度。
可选地，针对第一视频中目标处于运动状态，例如目标相对拍摄设备140存在相对运动，或目标自身存在变化而导致拍摄设备140的拍摄画面中目标的图像存在亮度变化的情况，计算设备120可以根据动态视觉传感器143根据拍摄图像中的亮度变化输出的异步事件确定第一视频中目标的图像的变化速度。
其中，DVS又叫事件相机，是一种新型的神经拟态传感器。不同于传统的图像传感器以“帧”的方式输出信号，DVS是识别每个像素的状态，当像素亮度变化时输出异步的事件信号即异步事件。因此动态视觉传感器143能够记录拍摄设备140的拍摄画面中发生的变化，具有较高的运动信息捕捉能力。
第三种的实现方式，计算设备120还可以根据惯性测量单元142采集的惯性数据以及动态视觉传感器143输出的异步事件确定第一视频中目标的图像的变化速度。从而使拍摄设备140利用计算设备120在目标自身存在变化，或拍摄设备140自身处于运动状态，以及目标自身存在变化且拍摄设备140自身处于运动状态的情况下，更加精确地确定的第一视频中目标的图像的变化速度。
计算设备120确定第一视频中目标的图像的变化速度后，再根据第一视频中目标的图像的变化速度，确定拍摄设备140与第一视频中目标的相对运动状态。
在一些实施例中，相对运动状态包括多个目标的图像变化的快慢程度，例如静止状态、低速状态和高速状态三种快慢程度，静止状态、低速状态和高速状态分别包括不同的图像的变化速度的取值区间。计算设备120根据第一视频中目标的图像的变化速度属于静止状态、低速状态或高速状态的取值区间，来确定第一视频中目标的相对运动状态。
计算设备120根据相对运动状态和第一关联关系，确定用于对目标进行拍摄的第二帧率。第一关联关系用于指示相对运动状态与帧率的关系。例如，静止状态对应的帧率为A，低速状态对应的帧率为B，高速状态对应的帧率为C，其中，帧率的单位为赫兹(HZ)，A、B、C的数值依次增大。
本实施例中第一视频中目标的相对运动状态与相对运动状态的对应关系，以及相对运动状态与帧率的对应关系只是举例说明，不予限定。例如，第一视频中目标的图像的变化速度的每个取值表示目标处于一个相对运动状态，目标的图像的变化速度的每个取值与相对运动状态一一对应，每个相对运动状态与帧率一一对应。考虑到相对运动状态和帧率的划分粒度越小，拍摄设备140进行帧率调节的频率越高，对拍摄设备140的性能消耗较高，拍摄设备140可以根据自身性能高低对相对运动状态和帧率的划分粒度进行灵活设置。
上述确定第一视频中目标的图像的变化速度的具体步骤，以及拍摄设备140确定第二帧率的具体步骤请参考图4，在此不再赘述。
步骤230、拍摄设备140根据第二帧率采集第二视频。
拍摄设备140将图像传感器141拍摄帧率设置为第二帧率，根据第二帧率采集第二视频。例如，计算设备120将计算得到的第二帧率输出至计算模块111，计算模块111通过I/O接口112向拍摄设备140的图像传感器141发送第二帧率调节指令。其中，第二帧率调节指令用于指示拍摄设备140将图像传感器141的拍摄帧率设置为第二帧率。
基于本实施例提供的上述帧率调节方法，拍摄设备140根据自身与第一视频中目标的相对运动状态对拍摄帧率进行动态调节，在相对运动状态指示目标的图像变化快慢程度较快时提高拍摄帧率，保证了第二视频的流畅度。拍摄设备140在相对运动状态指示目标的图像变化快慢程度较慢时降低拍摄帧率，在保证第二视频的流畅度且避免拍摄设备140的功耗过高。由于拍摄设备140是根据目标的图像变化快慢程度对拍摄帧率进行调节，第一视频中的目标与拍摄设备140相对静止但自身发生变化(例如：亮度变化)或第一视频中的目标与拍摄设备140存在相对运动的情况下，拍摄设备140确定的第二帧率都能保证第二视频的流畅度，从而进一步提高了第二视频的流畅度，且提高了帧率调节的适用性。
作为一种可能的实现方式，为了方便用户观看第二视频，如图3所示，拍摄设备140在执行步骤230后，还可以执行步骤240：拍摄设备140输出第二视频。
拍摄设备140的图像传感器141采用第二帧率采集第二视频的信号后，利用处理模块113对第二视频的信号进行图像信号处理实现第二视频的成像，并输出第二视频的图像。
上文结合图2对帧率调节方法的整体流程进行了说明，接下来结合图4对基于动态视觉传感器143输出的异步事件和惯性测量单元142采集的惯性数据确定第二帧率的步骤进行举例说明。步骤220可以包括如下步骤。
步骤221、拍摄设备140根据惯性测量单元142采集的惯性数据确定第一视频中目标的图像的第一变化速度。
拍摄设备140利用计算设备120对惯性数据进行预积分，得到拍摄设备140的运动速度V(Vx,Vy,Vz)，然后根据V(Vx,Vy,Vz)计算向量长度，确定第一视频中目标的图像的第一变化速度为向量长度V1。
其中，惯性测量单元142采集的惯性数据包括角速度(gx,gy,gz)和加速度(ax,ay,az)，惯性数据的示例如表1所示，计算设备120计算运动速度V(Vx,Vy,Vz)和向量长度V1的示例如表2所示。
表1
| t(us) | ax | ay | az | gx | gy | gz |
| 1538040153272000 | -0.055 | -0.028 | -0.013 | 9.347 | 1.111 | 2.969 |
| 1538040153274000 | -0.057 | -0.031 | -0.012 | 9.347 | 1.101 | 2.959 |
| 1538040153277000 | -0.058 | -0.029 | -0.017 | 9.347 | 1.101 | 2.950 |
| 1538040153278000 | -0.060 | -0.029 | -0.017 | 9.347 | 1.101 | 2.931 |
| 1538040153281000 | -0.061 | -0.029 | -0.015 | 9.357 | 1.101 | 2.931 |
| 1538040153283000 | -0.063 | -0.028 | -0.015 | 9.357 | 1.101 | 2.931 |
| 1538040153285000 | -0.063 | -0.026 | -0.015 | 9.347 | 1.111 | 2.940 |
| 1538040153287000 | -0.063 | -0.025 | -0.014 | 9.337 | 1.111 | 2.950 |
| 1538040153288000 | -0.066 | -0.025 | -0.013 | 9.328 | 1.111 | 2.969 |
| 1538040153290000 | -0.065 | -0.021 | -0.013 | 9.299 | 1.111 | 2.988 |
| 1538040153292000 | -0.069 | -0.022 | -0.012 | 9.299 | 1.111 | 2.978 |
| … | … | … | … | … | … | … |
表2
| T(s) | Px | Py | Pz | Vx | Vy | Vz | V1 |
| 153.412 | -0.31288 | -0.16407 | 1.483026 | 0.036656 | -0.06877 | 0.180213 | 0.196339 |
| 153.691 | -0.30266 | -0.18326 | 1.533306 | 0.016426 | 0.004534 | 0.082224 | 0.083971 |
| 155.849 | -0.26721 | -0.17347 | 1.710746 | -0.19144 | 0.004671 | -0.25367 | 0.317835 |
| 156.888 | -0.46612 | -0.16862 | 1.447184 | -0.04906 | -0.02239 | -0.26731 | 0.272699 |
| 157.168 | -0.47985 | -0.17489 | 1.372337 | -0.00409 | -0.04177 | -0.27011 | 0.273347 |
| 157.448 | -0.481 | -0.18658 | 1.296707 | 0.004876 | -0.01473 | -0.20852 | 0.209095 |
| 158.766 | -0.47457 | -0.206 | 1.021879 | 0.212769 | -0.0311 | -0.05165 | 0.221147 |
| 159.206 | -0.38095 | -0.21968 | 0.999152 | 0.262209 | -0.01775 | -0.01911 | 0.263503 |
| 159.765 | -0.23438 | -0.22961 | 0.988467 | 0.100241 | -0.01608 | 0.04129 | 0.109598 |
| 160.244 | -0.18636 | -0.23731 | 1.008245 | -0.00116 | -0.00148 | 0.006292 | 0.006568 |
| … | … | … | … | … | … | … |
步骤222、拍摄设备140根据动态视觉传感器143输出的异步事件确定第一视频中目标的图像的第二变化速度。
拍摄设备140利用计算设备120，根据动态视觉传感器143输出的异步事件确定事件积累速度，根据事件积累速度确定第一视频中目标的图像的第二变化速度。
作为一种可能的实现方式，计算设备120首先对事件帧形成参数进行初始化，根据事件帧形成参数生成事件帧，再根据事件帧确定事件积累速度。
动态视觉传感器143输出的异步事件可以表示为一个四元组(x，y，p，t),如(32，88，1，1596163547341660)，其中(x,y)＝(340，104)为事件发生的像素坐标位置，t代表事件发生的时间，可以是绝对时间戳t＝1596163547341660，也可以是以某一时刻tx＝1596163547000000为参考的相对时间戳t＝341660，p为事件的极性，p的取值可以是1或-1，1和-1分别用于指示该像素位置亮度增加或降低。异步事件的示例可以如表3所示。
表3
| 时间戳t | x | y | p |
| 1596163547341650 | 295 | 198 | 1 |
| 1596163547341660 | 340 | 104 | 0 |
| 1596163547341660 | 229 | 208 | 1 |
| 1596163547341670 | 0 | 120 | 0 |
| …… | …… | …… | …… |
| 1596163547342140 | 214 | 132 | 1 |
| 1596163547342150 | 19 | 164 | 1 |
| 1596163547342170 | 342 | 248 | 0 |
| 1596163547342180 | 217 | 204 | 0 |
| 1596163547342180 | 14 | 167 | 0 |
| 1596163547342180 | 326 | 92 | 0 |
| …… | …… | …… | …… |
例如，事件帧形成参数包括事件帧起始时间t0、压帧时间间隔T0和局部区域包括的异步事件的个数N0，t0＝1648103440010042，T0＝1ms，N0＝10000。应说明的是，本实施例中t0＝1648103440010042，T0＝1ms，N0＝10000为一个示例，并未限定t0和T0的值。
拍摄设备140在上一个事件帧输出后，对异步事件进行累积计数，累积计数的值为n。拍摄设备140在t≥t0+T0，或n≥N0时形成一个事件帧。
可选地，计算设备120在根据事件帧确定事件积累速度之前对事件帧进行滤波处理。例如，计算设备120对事件帧进行空域的中值滤波、均值滤波、二值化处理或膨胀腐蚀等形态学滤波去除杂散的背景噪声，强化场景信号的边缘轮廓。请参考图5，(a)表示带噪声事件帧，(b)表示异步时空邻域去噪后的事件帧，(c)表示形态学去噪后的事件帧。目标的图像的变化快慢程度较快时，DVS电路对像素的亮度变化处理不及时导致异步事件输出时间滞后，所形成事件帧的边缘纹理区域会形成拖影或残缺。通过形态学开闭运算可以有效修复残缺的边缘，同时更彻底去除稀疏离散的背景噪声，从而提高了第一视频中目标的图像的变化速度的准确度。
本实施例中不对事件积累速度的具体含义进行限定。
例如，事件积累速度可以是指单位时间内动态视觉传感器143的感光阵列上的异步事件的总数。若V2表示第二变化速度即事件积累速度，事件积累速度计算方式可以是：V2＝N/T0。V2的示例如表4所示。
表4
又如，事件积累速度可以是指事件帧中存在事件的区域的像素个数。若V2表示第二变化速度即事件积累速度，Nt表示事件帧中存在事件的区域的像素个数，计算设备120在单个事件帧内对图5的(c)中白色的事件区域的像素个数进行累加，当像素个数累积达到N0即Nt＝N0时，确定V2＝Nt。可选地，计算设备120还可以计算事件区域占整个动态视觉传感器143的感光阵列区域的百分比，确定事件积累速度为该百分比。示例地，V2＝Nt/(W*H)，其中，W为动态视觉传感器143的宽分辨率，H为动态视觉传感器143的高分辨率，则在Nt＝N0时，V2＝10000/640/480＝3.25％。
步骤223、拍摄设备140根据第一变化速度和第二变化速度确定相对运动状态。
拍摄设备140利用计算设备120确定第一视频中目标的图像的变化速度为第一变化速度V1和第二变化速度V2中对应的相对运动状态较高的变化速度。
假设相对运动状态包括静止状态、低速状态和高速状态。相对运动状态的高低是指静止状态、低速状态和高速状态的对比，例如，高速状态高于低速状态，低速状态高于静止状态。
示例地，如表5所示，对于第一变化速度V1设置有取值区间A1、A2和A3，A1的取值区间为[0,0.5]，A2的取值区间为(0.5，2]，A3的取值区间为(2,100]。如表6所示，对于第二变化速度V2设置有取值区间B1、B2和B3，B1的取值区间为[0,1000]，B2的取值区间为(1000，10000]，B3的取值区间为(10000,100000]。其中，A1、A2和A3分别对应静止状态、低速状态和高速状态，B1、B2和B3分别对应静止状态、低速状态和高速状态。
表5
| V1 | 帧率 |
| A1[0,0.5] | 5HZ |
| A2(0.5,2] | 30HZ |
| A3(2,100] | 200HZ |
表6
| V2 | 帧率 |
| B1[0,1000] | 5HZ |
| B2(1000,10000] | 30HZ |
| B3(10000,100000] | 200HZ |
可选地，上述第一变化速度V1和第二变化速度V2的每个取值区间的端点值仅为示例，本实施例对每个取值区间的端点值不作限定。
假设计算设备120确定的第一变化速度V1＝0.209095，第二变化速度V2＝18000，第一变化速度V1对应的取值区间为A1，第二变化速度V2对应的取值区间为B2，则第一变化速度V1对应的相对运动状态为静止状态，第二变化速度V2对应的相对运动状态为低速状态，计算设备120确定相对运动状态为低速状态。
步骤224、拍摄设备140根据相对运动状态和第一关联关系确定第二帧率。
拍摄设备140利用计算设备120，根据相对运动状态查询第一关联关系，确定第二帧率。其中，第一关联关系用于指示相对运动状态与帧率的关系。
示例地，如表5和表6所示，假设相对运动状态包括静止状态、低速状态和高速状态，拍摄帧率包括与静止状态、低速状态和高速状态分别对应的三个档位，例如5HZ、30HZ和200HZ。例如，计算设备120确定的相对运动状态为低速状态，则计算设备120确定第二帧率为30HZ。
拍摄帧率的档位数量不限于例中所述的3个档位，可设2个或多于2个的任意个数，以适应不同应用场景需要。
可选地，拍摄设备140还可以利用计算设备120，根据相对运动状态对事件帧形成参数进行调节。
动态视觉传感器143对拍摄画面中的运动信息敏感，拍摄画面中目标的运动速度或状态变化会导致输出异步事件的稠密度实时变化，运动速度越快，相同时间内生成的异步事件数就越稠密，反之越稀疏。因此拍摄设备140利用计算设备120，根据相对运动状态对事件帧形成参数进行调节，能有效避免运动目标过小或缺少纹理的拍摄画面中异步事件过于稀疏，以及运动目标过大或纹理丰富场景，异步事件过于稠密的情况。在一些实施例中，拍摄设备140可以利用计算设备120根据相对运动状态对图像传感器141的采集帧率以及动态视觉传感器143的事件帧形成参数进行调节，或利用计算设备120根据相对运动状态单独对图像传感器141的采集帧率进行调节，又或者利用计算设备120根据相对运动状态单独对动态视觉传感器143的事件帧形成参数进行调节。
作为一种可能的实现方式，拍摄设备140的视场大小和分辨率一定时，运动区域越大、纹理越丰富的拍摄画面单位时间内产生的异步事件数越多，异步事件形成参数的阈值应当提高。例如，计算设备120确定单位时间内事件区域在动态视觉传感器143的感光阵列的整体占比p或已累积的事件数n，当p超过阈值6％或n超过阈值20000时，减小N0或T0的数值，从而提高事件帧的输出帧率，反之增大N0或T0的数值，从而降低事件帧的输出帧率。
基于图4示出的确定第二帧率的方式，计算设备120对惯性测量单元142采集的惯性数据和动态视觉传感器143输出的异步事件做融合处理得到第一视频中目标的相对运动状态，并以此作为第一视频中目标的图像的变化快慢的依据。对于静止状态或低速状态，拍摄设备140采用与静止状态或低速状态对应的较低帧率拍摄第二视频，降低拍摄设备140在运动较小的拍摄场景(例如：目标处于静止状态、拍摄设备140处于手持拍摄状态等)下拍摄设备140拍摄视频、处理图像的功耗。对于高速状态拍摄设备140采用与高速状态对应的较高帧率拍摄第二视频，从而提升拍摄设备140在运动较大的拍摄场景(例如：目标处于奔跑、跳跃、极限运动等运动状态，拍摄设备140处于高速运动状态)下的画面精细度和流畅度。
在另一种可能的实现方式中，拍摄设备140可以仅根据惯性测量单元142采集的惯性数据确定第一视频中目标的图像的变化速度，根据第一变化速度确定相对运动状态，再根据相对运动状态和第一关联关系确定第二帧率。该实现方式与图4所示的确定第二帧率的方式的区别在于，拍摄设备140不执行步骤222，且在步骤223中仅根据第一变化速度确定相对运动状态，在此不再赘述。
在又一种可能的实现方式中，拍摄设备140可以仅根据动态视觉传感器143输出的异步事件确定第一视频中目标的图像的变化速度，根据第一变化速度确定相对运动状态，再根据相对运动状态和第一关联关系确定第二帧率。该实现方式与图4所示的确定第二帧率的方式的区别在于，拍摄设备140不执行步骤221，且在步骤223中仅根据第二变化速度确定相对运动状态，在此不再赘述。
上文结合图2-图5详细描述了根据本实施例所提供的帧率调节方法，下面将结合图6，描述本实施例所提供的帧率调节装置。
图6为本实施例提供的可能的帧率调节装置的示意图。帧率调节装置可以用于实现上述方法实施例中执行设备的功能，因此也能实现上述方法实施例所具备的有益效果。在本实施例中，该帧率调节装置可以是如图1所示的计算设备120，还可以是应用于服务器的模块(如芯片)。
帧率调节装置600包括采集模块610和处理模块620。帧率调节装置600用于实现上述图2、图3或图4中所示的方法实施例中计算设备的功能。
采集模块610，用于根据第一帧率采集第一视频，第一帧率用于指示拍摄设备拍摄目标的帧率。
处理模块620，用于根据拍摄设备与第一视频中目标的相对运动状态确定第二帧率。其中，相对运动状态用于指示第一视频中目标的图像的变化快慢程度，第二帧率用于指示所述拍摄设备拍摄目标的帧率，第二帧率大于或小于所述第一帧率。
采集模块610，还用于根据第二帧率采集第二视频。
作为一种可能的实现方式，处理模块620在根据拍摄设备与第一视频中目标的相对运动状态确定第二帧率时，具体用于：确定第一视频中目标的图像的变化速度；根据第一视频中目标的图像的变化速度和第一关联关系确定第二帧率。其中，第一关联关系用于指示相对运动状态与帧率的关系。
作为一种可能的实现方式，拍摄设备140包括动态视觉传感器143，处理模块620在确定第一视频中目标的图像的变化速度时，具体用于：根据动态视觉传感器143输出的异步事件确定第一视频中目标的图像的变化速度。
作为一种可能的实现方式，处理模块620在根据动态视觉传感器143输出的异步事件确定第一视频中目标的图像的变化速度时，具体用于：根据异步事件确定事件积累速度；根据事件积累速度确定第一视频中目标的图像的变化速度。其中，事件累积速度用于指示动态视觉传感器143输出异步事件的速度。
例如，事件积累速度包括单位时间内动态视觉传感器143的感光阵列上的异步事件的总数。
又如，所述事件累积速度包括事件帧中存在事件的区域的像素个数，事件帧是基于单位时间内累积的多个异步事件输出的事件图像。
作为一种可能的实现方式，处理模块620在根据异步事件确定事件积累速度时，具体用于：在动态视觉传感器143输出异步事件的连续时长超过预设时长和/或异步事件的累积数量超过预设数量时，根据异步事件生成事件帧；对事件帧进行形态学滤波处理；确定形态学滤波后的事件帧中存在异步事件的区域的像素个数，得到事件累积速度。
作为一种可能的实现方式，拍摄设备140包括惯性测量单元142，处理模块620在确定第一视频中目标的图像的变化速度时，具体用于：根据惯性测量单元142采集的惯性数据和异步事件确定第一视频中目标的图像的变化速度。
应理解的是，本申请实施例的帧率调节装置600可以通过GPU、NPU、ASIC实现，或可编程逻辑器件(programmable logic device，PLD)实现，上述PLD可以是复杂程序逻辑器件(complex programmable logical device，CPLD)，现场可编程门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。在通过软件实现图2、图3或图4所示的方法时，帧率调节装置600及其各个模块也可以为软件模块。
根据本申请实施例的帧率调节装置600可对应于执行本申请实施例中描述的方法，并且帧率调节装置600中的各个单元的上述和其它操作和/或功能分别为了实现图2、图3或图4中的各个方法的相应流程，为了简洁，在此不再赘述。
本申请实施例还提供了一种计算设备，请参考图7，图7为本申请实施例提供的一种计算设备的结构示意图。计算设备700包括存储器701、处理器702、通信接口703以及总线704。其中，存储器701、处理器702、通信接口703通过总线704实现彼此之间的通信连接。
存储器701可以是只读存储器，静态存储设备，动态存储设备或者随机存取存储器。存储器701可以存储计算机指令，当存储器701中存储的计算机指令被处理器702执行时，处理器702和通信接口703用于帧率调节方法中的步骤。存储器还可以存储数据集合，例如：存储器701中的一部分存储资源被划分成一个区域，用于存储实现本申请实施例中实现帧率调节装置600的功能的程序。
处理器702可以采用通用的CPU，应用专用集成电路(application specificintegrated circuit，ASIC)，GPU或其任意组合。处理器702可以包括一个或多个芯片。处理器702可以包括NPU。处理器702根据存储器701中实现帧率调节装置600的功能的程序，执行实现采集模块610的功能和处理模块620的功能的方法。
通信接口703使用例如但不限于收发器一类的收发模块，来实现计算设备700与其他设备或通信网络之间的通信。例如，可以通过通信接口703获取第一视频或第二视频，以及反馈第二帧率。
总线704可包括在计算设备700各个部件(例如，存储器701、处理器702、通信接口703)之间传送信息的通路。
计算设备700可以为云数据中心中的计算机(例如：服务器)，或边缘数据中心中的计算机，或终端。
每个计算设备700上都可以部署计算设备120的功能。例如，GPU用于实现计算设备120的功能。
对于同一个计算设备700内部署的计算设备120的功能和控制设备110的功能，计算设备120可以通过总线704与控制设备110进行通信。
对于不同计算设备700内部署的计算设备120的功能和控制设备110的功能，计算设备120可以通过通信网络与控制设备110进行通信。
本实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于终端设备中。当然，处理器和存储介质也可以作为分立组件存在于网络设备或终端设备中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (18)
1.一种帧率调节方法，其特征在于，所述方法由拍摄设备执行，所述方法包括：
根据第一帧率采集第一视频，所述第一帧率用于指示所述拍摄设备拍摄目标的帧率；
根据所述拍摄设备与所述第一视频中目标的相对运动状态确定第二帧率，所述相对运动状态用于指示所述第一视频中目标的图像的变化快慢程度，所述第二帧率用于指示所述拍摄设备拍摄所述目标的帧率，所述第二帧率大于或小于所述第一帧率；
根据所述第二帧率采集第二视频。
2.根据权利要求1所述的方法，其特征在于，根据所述拍摄设备与所述第一视频中目标的相对运动状态确定第二帧率，包括：
确定所述第一视频中目标的图像的变化速度；
根据所述第一视频中目标的图像的变化速度和第一关联关系确定所述第二帧率，所述第一关联关系用于指示所述第一视频中目标的相对运动状态与帧率的关系。
3.根据权利要求2所述的方法，其特征在于，所述拍摄设备包括动态视觉传感器DVS；所述确定所述第一视频中目标的图像的变化速度，包括：
根据所述DVS输出的异步事件确定所述第一视频中目标的图像的变化速度。
4.根据权利要求3所述的方法，其特征在于，所述根据所述DVS输出的异步事件确定所述第一视频中目标的图像的变化速度，包括：
根据所述异步事件确定事件积累速度，所述事件累积速度用于指示所述DVS输出所述异步事件的速度；
根据所述事件积累速度确定所述第一视频中目标的图像的变化速度。
5.根据权利要求4所述的方法，其特征在于，所述事件积累速度包括单位时间内所述DVS的感光阵列上的所述异步事件的总数。
6.根据权利要求4所述的方法，其特征在于，所述事件累积速度包括事件帧中存在事件的区域的像素个数，所述事件帧是基于单位时间内累积的多个异步事件输出的事件图像。
7.根据权利要求6所述的方法，其特征在于，所述根据所述异步事件确定事件积累速度，包括：
在所述DVS输出异步事件的连续时长超过预设时长和/或所述异步事件的累积数量超过预设数量时，根据所述异步事件生成所述事件帧；
对所述事件帧进行形态学滤波处理；
确定形态学滤波后的事件帧中存在异步事件的区域的像素个数，得到事件累积速度。
8.根据权利要求3所述的方法，其特征在于，所述拍摄设备还包括惯性测量单元IMU；所述确定所述第一视频中目标的图像的变化速度，包括：
根据所述IMU采集的惯性数据和所述异步事件确定所述第一视频中目标的图像的变化速度。
9.一种帧率调节装置，其特征在于，所述装置包括：
采集模块，用于根据第一帧率采集第一视频，所述第一帧率用于指示拍摄设备拍摄目标的帧率；
处理模块，用于根据所述拍摄设备与所述第一视频中目标的相对运动状态确定第二帧率，所述相对运动状态用于指示所述第一视频中目标的图像的变化快慢程度，所述第二帧率用于指示所述拍摄设备拍摄所述目标的帧率，所述第二帧率大于或小于所述第一帧率；
所述采集模块，还用于根据所述第二帧率采集第二视频。
10.根据权利要求9所述的装置，其特征在于，所述处理模块具体用于：
确定所述第一视频中目标的图像的变化速度；
根据所述第一视频中目标的图像的变化速度和第一关联关系确定所述第二帧率，所述第一关联关系用于指示相对运动状态与帧率的关系。
11.根据权利要求10所述的装置，其特征在于，所述拍摄设备包括动态视觉传感器DVS，所述处理模块具体用于：
根据所述DVS输出的异步事件确定所述第一视频中目标的图像的变化速度。
12.根据权利要求11所述的装置，其特征在于，所述处理模块具体用于：
根据所述异步事件确定事件积累速度，所述事件累积速度用于指示所述DVS输出所述异步事件的速度；
根据所述事件积累速度确定所述第一视频中目标的图像的变化速度。
13.根据权利要求12所述的装置，其特征在于，所述事件积累速度包括单位时间内所述DVS的感光阵列上的所述异步事件的总数。
14.根据权利要求12所述的装置，其特征在于，所述事件累积速度包括事件帧中存在事件的区域的像素个数，所述事件帧是基于单位时间内累积的多个异步事件输出的事件图像。
15.根据权利要求14所述的装置，其特征在于，所述处理模块具体用于：
在所述DVS输出异步事件的连续时长超过预设时长和/或所述异步事件的累积数量超过预设数量时，根据所述异步事件生成所述事件帧；
对所述事件帧进行形态学滤波处理；
确定形态学滤波后的事件帧中存在异步事件的区域的像素个数，得到事件累积速度。
16.根据权利要求11所述的装置，其特征在于，所述拍摄设备还包括惯性测量单元IMU，所述处理模块具体用于：
根据所述IMU采集的惯性数据和所述异步事件确定所述拍摄设备的运动速度；
根据所述拍摄设备的运动速度确定所述第一视频中目标的图像的变化速度。
17.一种计算设备，其特征在于，所述计算设备包括存储器和至少一个处理器，所述存储器用于存储一组计算机指令；当所述处理器执行所述一组计算机指令时，执行上述权利要求1至8中任一所述的方法的操作步骤。
18.一种帧率调节系统，其特征在于，所述帧率调节系统包括如权利要求17所述的计算设备，所述计算设备用于执行上述权利要求1至8中任一所述的方法的操作步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210799229.0A CN117425064A (zh) | 2022-07-06 | 2022-07-06 | 帧率调节方法、装置、设备及系统 |
| PCT/CN2023/096968 WO2024007769A1 (zh) | 2022-07-06 | 2023-05-29 | 帧率调节方法、装置、设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210799229.0A CN117425064A (zh) | 2022-07-06 | 2022-07-06 | 帧率调节方法、装置、设备及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117425064A true CN117425064A (zh) | 2024-01-19 |
Family
ID=89454118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210799229.0A Pending CN117425064A (zh) | 2022-07-06 | 2022-07-06 | 帧率调节方法、装置、设备及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117425064A (zh) |
| WO (1) | WO2024007769A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117750191A (zh) * | 2024-02-19 | 2024-03-22 | 荣耀终端有限公司 | 一种摄像头控制方法、电子设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104967803B (zh) * | 2015-07-01 | 2018-01-19 | 广东欧珀移动通信有限公司 | 一种视频录制方法及装置 |
| US10110913B2 (en) * | 2016-09-30 | 2018-10-23 | Intel Corporation | Motion estimation using hybrid video imaging system |
| CN107396019B (zh) * | 2017-08-11 | 2019-05-17 | 维沃移动通信有限公司 | 一种慢动作视频录制方法及移动终端 |
| CN112153301B (zh) * | 2020-09-27 | 2021-07-27 | 维沃移动通信有限公司 | 拍摄方法和电子设备 |
-
2022
- 2022-07-06 CN CN202210799229.0A patent/CN117425064A/zh active Pending
-
2023
- 2023-05-29 WO PCT/CN2023/096968 patent/WO2024007769A1/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117750191A (zh) * | 2024-02-19 | 2024-03-22 | 荣耀终端有限公司 | 一种摄像头控制方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024007769A1 (zh) | 2024-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8179466B2 (en) | Capture of video with motion-speed determination and variable capture rate | |
| US8988529B2 (en) | Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera | |
| US7546026B2 (en) | Camera exposure optimization techniques that take camera and scene motion into account | |
| US10298853B2 (en) | Image processing apparatus, method of controlling image processing apparatus, and imaging apparatus | |
| CN108093158B (zh) | 图像虚化处理方法、装置、移动设备和计算机可读介质 | |
| CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| EP2608529B1 (en) | Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene | |
| CN108184165B (zh) | 视频播放方法、电子装置和计算机可读存储介质 | |
| CN110266954B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN112822412B (zh) | 曝光方法、装置、电子设备和存储介质 | |
| CN113099122A (zh) | 拍摄方法、装置、设备和存储介质 | |
| JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
| CN110290325B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN105407266A (zh) | 摄像装置及其控制方法 | |
| WO2024007769A1 (zh) | 帧率调节方法、装置、设备及系统 | |
| CN114390209A (zh) | 拍摄方法、拍摄装置、电子设备和可读存储介质 | |
| CN112511859A (zh) | 一种视频处理方法、装置和存储介质 | |
| CN110351508B (zh) | 基于录像模式的防抖处理方法和装置、电子设备 | |
| CN108833801B (zh) | 基于图像序列的自适应运动检测方法 | |
| CN113014817B (zh) | 高清高帧视频的获取方法、装置及电子设备 | |
| CN112884805A (zh) | 一种跨尺度自适应映射的光场成像方法 | |
| CN110581957B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US11361448B2 (en) | Image processing apparatus, method of controlling image processing apparatus, and storage medium | |
| CN108476286B (zh) | 一种图像输出方法以及电子设备 | |
| CN115564695A (zh) | 一种处理方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |