CN111756996A - 视频处理方法、视频处理装置、电子设备及计算机可读存储介质 - Google Patents

视频处理方法、视频处理装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111756996A
CN111756996A CN202010556962.0A CN202010556962A CN111756996A CN 111756996 A CN111756996 A CN 111756996A CN 202010556962 A CN202010556962 A CN 202010556962A CN 111756996 A CN111756996 A CN 111756996A
Authority
CN
China
Prior art keywords
frame
video
target
video frame
fov
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010556962.0A
Other languages
English (en)
Inventor
许睿
姜文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202010556962.0A priority Critical patent/CN111756996A/zh
Publication of CN111756996A publication Critical patent/CN111756996A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种视频处理方法，该方法包括：获取待处理视频的视频帧；识别各视频帧中的同一感兴趣区域的目标框；调整视频帧中的目标框的FOV值，将目标框在视频帧中的占比调整至理想比值；对调整后的视频帧进行渲染生成滑动变焦的图像。本发明仅需在初始时刻确定感兴趣目标框，然后通过调整视频帧中的目标框的FOV值以将感兴趣区域的目标框在视频帧中的占比调整至预定值，再通过对调整后的视频帧进行渲染即可生成滑动变焦的图像，具有操作简单、低运算复杂度的优点，同时实时性好、鲁棒性高。

Description

视频处理方法、视频处理装置、电子设备及计算机可读存储 介质
技术领域
本申请实施例涉及视频处理技术领域，具体涉及一种的视频处理方法、视频处理装置、电子设备及计算机可读存储介质。
背景技术
滑动变焦(Dolly Zoom)是指在视频拍摄过程中，变焦和机位移动同时进行，但画面里的指定目标对象所处的空间却保持不动的视觉效果。
目前滑动变焦视频的拍摄有以下几种：一，对于有光学变焦镜头的相机，通过滑轨，复杂的机械结构，或摄影师的手法，在移动过程中，根据移动距离控制变焦，将移动过程和变焦过程相匹配；二，在录制同时不采用变焦，而在后期编辑时通过剪裁的方式，保证目标物体大小不变。三，通过深度相机或3D重建技术分离前后景，保持前景不变，后景去进行透视变化的模拟。
这些方法中固定目标物体像素高度和照片总像素之比，以调整光学变焦，需要比较复杂体积大的变焦镜头且较为依赖于变焦滑轨的机械结构或人为控制；基于分离前后景的方式，难以模拟真实的由于物距变化导致的透视效果，且如果主体是运动的，分离前后景则难以反映这种活动。因此，目前实现滑动变焦效果的手段非常复杂。
发明内容
本发明的目的在于提供一种视频处理方法、视频处理装置、电子设备和计算机可读存储介质，旨在解决现有滑动变焦处理过于复杂的问题。
第一方面，本发明提供了一种视频处理方法，该方法包括：获取待处理视频的视频帧；识别各视频帧中的同一感兴趣区域的目标框；调整视频帧中的目标框的FOV值，将目标框在视频帧中的占比调整至理想比值；对调整后的视频帧进行渲染生成滑动变焦的图像。
第二方面，本发明提供了一种视频处理装置，所述装置包括：获取模块，用于获取待处理视频的视频帧；识别模块，用于识别视频帧中的感兴趣区域的目标框；调整模块，用于调整视频帧中的目标框的FOV值，以将感兴趣区域的目标框在视频帧中的占比调整至预定值；渲染模块，用于对调整后的视频帧进行渲染生成滑动变焦的图像。
第三方面，本发明提供了一种电子设备，包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述的视频处理方法。
第四方面，一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的视频处理方法。
本发明仅需在初始时刻确定感兴趣目标框，然后通过调整视频帧中的目标框的FOV值以将感兴趣区域的目标框在视频帧中的占比调整至预定值，再通过对调整后的视频帧进行渲染即可生成滑动变焦的图像，具有操作简单、低运算复杂度的优点，同时实时性好、鲁棒性高。
附图说明
图1是本发明视频处理方法的一较佳实施例。
图2是待处理视频的某一视频帧的原始图像。
图3是图2经本发明实施例中的视频处理方法处理后的图像。
图4是本发明实施二中的视频处理装置的模块示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例1
如图1所示，为本发明方法视频处理方法的一较佳实施例，本实施例中的视频处理方法由具备处理器的计算机设备执行，该计算机设备可以是终端设备，如相机或具备拍照功能的手机，该计算机设备也可以为服务器，该方法包括以下步骤。
S1：获取待处理视频的视频帧。
具体地，计算机设备从图像传感器接收待处理视频，例如，该待处理视频的时长为2秒且每秒包含25帧的视频帧，则合计有50个视频帧，获取的视频帧可以是全部的50个视频帧，或者从这50个视频帧中随机抽取多个视频帧，或者每间隔一段时间（如200毫秒）抽取一个视频帧，或者每间隔若干帧后抽取一个视频帧（如间隔20帧，即抽取第1帧、第21帧、第41帧）。
S2：识别各视频帧中的同一感兴趣区域的目标框。
首个视频帧感兴趣目标的目标框（如图2中红色框所示）的初始获取方式可以由预设感兴趣目标方式获得，例如通过人工在显示界面选取当前视频帧的一个目标框，或者通过目标识别算法自动获得，或者通过目标识别算法获得多个感兴趣的目标框在显示界面显示，再由人工进行选择；其中，感兴趣目标可为人、动物、建筑物等物体，视频帧可为全景平面视频帧或者普通视频帧，感兴趣目标的目标框可以用矩形框、圆形框等；后续视频帧的目标框为采用目标跟踪算法对输入视频帧进行跟踪获得，即采用目标跟踪算法跟踪前面输入视频帧得到的得到后续视频帧的目标框，目标跟踪算法可以采用经典的Online objecttracking等算法，或者申请人的专利申请号为202010023864.0、专利名称为“全景视频的目标跟踪方法、可读存储介质及计算机设备”中的目标跟踪算法。
S3：调整视频帧中的目标框的FOV值，将目标框在视频帧中的占比调整至理想比值。
在本实例中，视频帧的目标框的FOV值Fovi 可通过计算公式（1）获得：
Fovi =arctan(tan(Fi)*(Ri/Rg)) （1）
其中，Fi为待处理视频当前第i个视频帧的FOV值，该Ri为当前视频帧中的目标框在视频帧中的占比，Rg为目标框在视频帧中的理想比值。理想比值可以根据所选目标框的宽高比和输入图像的宽高比来确定。
由于直接使用目标跟踪的结果计算目标框的FOV值会存在不稳定的情况，导致在反映FOV的变化趋势上不够准确，易受到噪声的干扰，影响用户体验，在本实施例中，对视频帧的目标框的FOV值Fovi进行了平滑滤波处理，具体地，可采用卡尔曼滤波算法，先对前述i-1帧的第二FOV值建立自适应权重，对第i个视频帧的目标框的FOV值Fovi 进行滤波以得到第二FOV值Fov i’，需要说明的是，当i等于1时，即进行第一个视频帧处理时，由于没有前述的视频帧，因此第一帧的目标框的FOV值Fov1等于其第二FOV值Fov1’。
S4：对调整后的视频帧进行渲染生成滑动变焦的图像。
本实施例中，根据各视频帧的第二FOV值Fovi’（在没有对目标框的FOV值Fovi进行了平滑滤波的情况下，则根据各视频帧的目标框FOV值Fovi），在当前视频帧上渲染出新的平面图像为滑动变焦的图像（如图3为经过若干帧处理后生成的滑动变焦图像），为并对该滑动变焦图像继续采用目标跟踪进行滑动变焦处理进一步生成滑动变焦视频。
可以理解的是，通过对多个调整后的视频帧进行渲染并生成多个视频帧图像，然后将这些视频帧按时间顺序输出，即可获得滑动变焦视频。
如图2、图3所示，为本实施例中的视频帧在本实施例的视频处理方法在处理前和处理后的图像对比，从两幅视频帧的图像对比可以看出，本处理方法明显提升了视频帧的图像质量。
实施例2：
请参阅图4，本发明视频处理装置的模块示意图，本实施例中的视频处理装置包括：
获取模块，用于获取待处理视频的视频帧；
识别模块，用于识别视频帧中的感兴趣区域的目标框；
调整模块，用于调整视频帧中的目标框的FOV值，以将感兴趣区域的目标框在视频帧中的占比调整至预定值；
渲染模块，用于对调整后的视频帧进行渲染生成滑动变焦的图像。
实施例3：
本发明实施例三提供了一种电子设备，包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序以实现实施例1中的视频处理方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的全景相机的测光方法的步骤。
实施例4：
本实施例中提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如本发明实施例1提供的视频处理方法的步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，RandomAccess Memory）、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频处理方法，其特征在于，
S1：获取待处理视频的视频帧；
S2：识别各视频帧中的同一感兴趣区域的目标框；
S3：调整视频帧中的目标框的FOV值，将目标框在视频帧中的占比调整至理想比值；
S4：对调整后的视频帧进行渲染生成滑动变焦的图像。
2.如权利要求1所述的视频处理方法，其特征在于，
所述步骤S2中的首次确定的感兴趣区域的目标框为人工选取视频帧的目标框或采用目标识别算法得到的目标框。
3.如权利要求2所述的视频处理方法，其特征在于，
后续视频帧的感兴趣区域的目标框通过目标跟踪算法跟踪上一帧的目标框获得。
4.如权利要求1所述的视频处理方法，其特征在于，
所述步骤S3中的视频帧的目标框的FOV值Fovi 的计算公式（1）如下：
Fovi =arctan(tan(Fi)*(Ri/Rg)) （1）
在公式（1）中，Fi为待处理视频当前第i个视频帧的FOV值，Ri为当前视频帧中的目标框在视频帧中的占比，Rg为目标框在视频帧中的理想比值。
5.如权利要求4所述的视频处理方法，其特征在于，
所述步骤S3还包括对第i个视频帧中的目标框的FOV值Fovi 进行平滑滤波得到第二FOV值Fov i’。
6.如权利要求5所述的视频处理方法，其特征在于，
所述平滑滤波采用卡尔曼滤波算法，先对前述i-1帧的第二FOV值建立自适应权重，再对第i个视频帧的目标框的FOV值Fovi 进行滤波以得到第二FOV值Fov i’。
7.如权利要求1所述的视频处理方法，其特征在于，
所述待处理视频的视频帧为全景平面视频帧。
8.一种视频处理装置，其特征在于，包括：
获取模块，用于获取待处理视频的视频帧；
识别模块，用于识别视频帧中的感兴趣区域的目标框；
调整模块，用于调整视频帧中的目标框的FOV值，以将感兴趣区域的目标框在视频帧中的占比调整至预定值；
渲染模块，用于对调整后的视频帧进行渲染生成滑动变焦的图像。
9.一种电子设备，包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至7任一项所述的视频处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的视频处理方法。
CN202010556962.0A 2020-06-18 2020-06-18 视频处理方法、视频处理装置、电子设备及计算机可读存储介质 Pending CN111756996A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010556962.0A CN111756996A (zh) 2020-06-18 2020-06-18 视频处理方法、视频处理装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010556962.0A CN111756996A (zh) 2020-06-18 2020-06-18 视频处理方法、视频处理装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111756996A true CN111756996A (zh) 2020-10-09

Family

ID=72676252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010556962.0A Pending CN111756996A (zh) 2020-06-18 2020-06-18 视频处理方法、视频处理装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111756996A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112087579A (zh) * 2020-09-17 2020-12-15 维沃移动通信有限公司 视频拍摄方法、装置和电子设备
CN112804444A (zh) * 2020-12-30 2021-05-14 影石创新科技股份有限公司 一种视频处理方法、装置、计算设备及存储介质
CN113438508A (zh) * 2021-06-23 2021-09-24 北京蜂巢世纪科技有限公司 视频数据处理方法、装置、设备、介质及程序产品
CN114697517A (zh) * 2020-12-28 2022-07-01 北京小米移动软件有限公司 视频处理方法、装置、终端设备及存储介质
CN114786051A (zh) * 2022-03-31 2022-07-22 北京百度网讯科技有限公司 一种视频渲染方法、装置、电子设备及存储介质
WO2022160748A1 (zh) * 2021-01-29 2022-08-04 深圳壹秘科技有限公司 一种视频处理方法及其装置
WO2023165390A1 (zh) * 2022-03-03 2023-09-07 北京字跳网络技术有限公司 变焦特效的生成方法、装置、设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112087579A (zh) * 2020-09-17 2020-12-15 维沃移动通信有限公司 视频拍摄方法、装置和电子设备
CN114697517A (zh) * 2020-12-28 2022-07-01 北京小米移动软件有限公司 视频处理方法、装置、终端设备及存储介质
CN112804444A (zh) * 2020-12-30 2021-05-14 影石创新科技股份有限公司 一种视频处理方法、装置、计算设备及存储介质
WO2022160748A1 (zh) * 2021-01-29 2022-08-04 深圳壹秘科技有限公司 一种视频处理方法及其装置
CN113438508A (zh) * 2021-06-23 2021-09-24 北京蜂巢世纪科技有限公司 视频数据处理方法、装置、设备、介质及程序产品
CN113438508B (zh) * 2021-06-23 2022-07-01 北京蜂巢世纪科技有限公司 视频数据处理方法、装置、设备、介质及程序产品
WO2023165390A1 (zh) * 2022-03-03 2023-09-07 北京字跳网络技术有限公司 变焦特效的生成方法、装置、设备及存储介质
CN114786051A (zh) * 2022-03-31 2022-07-22 北京百度网讯科技有限公司 一种视频渲染方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111756996A (zh) 视频处理方法、视频处理装置、电子设备及计算机可读存储介质
JP6961797B2 (ja) プレビュー写真をぼかすための方法および装置ならびにストレージ媒体
CN110488481B (zh) 一种显微镜对焦方法、显微镜及相关设备
US7805066B2 (en) System for guided photography based on image capturing device rendered user recommendations according to embodiments
JP4351996B2 (ja) モノスコープ・イメージから立体的なイメージを生成するための方法
JP6899002B2 (ja) 画像処理方法、装置、コンピュータ読み取り可能記憶媒体及び電子機器
JP2022064987A (ja) デジタル媒体と観察者の相互作用の構成及び実現
US20230040548A1 (en) Panorama video editing method,apparatus,device and storage medium
CN108877848B (zh) 在虚拟三维空间讲房模式中应对用户操作的方法及装置
CN110677591B (zh) 样本集构建方法、图像成像方法、装置、介质及电子设备
WO2018100131A1 (en) Determining size of virtual object
CN114286064A (zh) 一种实时对焦方法、装置、系统和计算机可读存储介质
CN109413335A (zh) 一种双重曝光合成hdr图像的方法和装置
CN107645628B (zh) 一种信息处理方法及装置
KR101672691B1 (ko) 소셜 네트워크 서비스 플랫폼에서 이모티콘 생성 방법 및 장치
CN110677557B (zh) 图像处理方法、装置、存储介质及电子设备
Stengel et al. Temporal video filtering and exposure control for perceptual motion blur
US11622099B2 (en) Information-processing apparatus, method of processing information, and program
US8159523B2 (en) Method for capturing convergent-type multi-view image
CN101557469B (zh) 图像处理设备及图像处理方法
CN110519526B (zh) 曝光时长控制方法、装置、存储介质及电子设备
CN111292234A (zh) 一种全景图像生成方法及装置
CN115082537A (zh) 单目自监督水下图像深度估计方法、装置及存储介质
JP6632134B2 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
KR101741150B1 (ko) 영상에디팅을 수행하는 영상촬영장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination