CN113115106B - 全景视频的自动剪辑方法、装置、终端及存储介质 - Google Patents

全景视频的自动剪辑方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN113115106B
CN113115106B CN202110351843.6A CN202110351843A CN113115106B CN 113115106 B CN113115106 B CN 113115106B CN 202110351843 A CN202110351843 A CN 202110351843A CN 113115106 B CN113115106 B CN 113115106B
Authority
CN
China
Prior art keywords
video frame
time point
point pair
video
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110351843.6A
Other languages
English (en)
Other versions
CN113115106A (zh
Inventor
万顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202110351843.6A priority Critical patent/CN113115106B/zh
Publication of CN113115106A publication Critical patent/CN113115106A/zh
Priority to PCT/CN2022/079779 priority patent/WO2022206312A1/zh
Application granted granted Critical
Publication of CN113115106B publication Critical patent/CN113115106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明适用于视频处理技术领域，提供了一种全景视频的自动剪辑方法、装置、终端及存储介质，该方法包括：获取全景视频文件中标记的第一时间点对，第一时间点对表征用户期望裁剪掉的视频片段，基于第一时间点对使用预设的特征匹配算法获取第二时间点对，第二时间点对表征实际待裁剪的视频片段，根据当前视频帧的拍摄视角或第二时间点对对应的动画插值类型计算渲染模型的渲染参数，根据渲染参数对贴合在渲染模型的全景视频画面进行渲染，直至当前视频帧为最后一帧，生成剪辑后的平面视频，从而实现了一镜到底视频的自动剪辑，降低了剪辑复杂度，并提高了剪辑效率。

Description

全景视频的自动剪辑方法、装置、终端及存储介质
技术领域
本发明属于视频处理技术领域，尤其涉及一种全景视频的自动剪辑方法、装置、终端及存储介质。
背景技术
一镜到底在视频后期处理中的应用极其广泛，在一段拍摄视频中，去掉中间不需要的视频片段(例如，包含障碍物的片段)，裁剪出多段视频片段，然后利用软件技术将多段视频连接到一起，在视频上让人觉得多段片段是一镜到底拍摄的，而无明显跳帧痕迹。但基于现有技术都是通过手动完成的，剪辑复杂度高、效率低。
发明内容
基于此，有必要针对上述技术问题，提供一种全景视频的自动剪辑方法、装置、终端及存储介质。
一方面，本发明一实施例提供一种全景视频的自动剪辑方法，所述方法包括下述步骤：
获取全景视频文件中标记的第一时间点对，所述第一时间点对表征用户期望裁剪掉的视频片段；
基于所述第一时间点对使用预设的特征匹配算法获取第二时间点对，所述第二时间点对表征实际待裁剪的视频片段；
根据当前视频帧的拍摄视角或所述第二时间点对对应的动画插值类型计算渲染模型的渲染参数，根据所述渲染参数对贴合在所述渲染模型的全景视频画面进行渲染，重复该步骤直至当前视频帧为最后一帧，生成剪辑后的平面视频。
优选地，所述基于所述第一时间点对使用预设的特征匹配算法获取第二时间点对的步骤之前，还包括：
从所述全景视频文件中获取每个视频帧，将获取到的每个视频帧渲染成全景画面；
所述基于所述第一时间点对使用预设的特征匹配算法获取第二时间点对的步骤，包括：
基于所述每个视频帧的全景画面以及所述第一时间点对使用预设的特征匹配算法获取第二时间点对。
优选地，所述第一时间点对包括第一初始时间戳和第一终止时间戳，所述基于所述第一时间点对使用预设的特征匹配算法获取第二时间点对的步骤，包括：
使用所述特征匹配算法查找与所述第一视频帧匹配的第二视频帧，其中，所述第二视频帧的时间戳与所述第一终止时间戳的差值在第二差值范围内；
若查找到所述第二视频帧，则将当前第一视频帧的时间戳和查找到的所述第二视频帧的时间戳设置为所述第二时间点对，若未查找到所述第二视频帧，则跳转至根据所述第一初始时间戳确定当前第一视频帧的步骤。
优选地，所述使用所述特征匹配算法查找与所述第一视频帧匹配的第二视频帧的步骤，包括：
根据当前第一视频帧的拍摄视角确定第一注视点区域画面，使用所述特征匹配算法查找与所述第一注视点区域画面匹配的第二视频帧。
优选地，所述第一时间点对包括第一初始时间戳和第一终止时间戳，所述基于所述第一时间点对使用预设的特征匹配算法获取第二时间点对的步骤，还包括：
根据所述第一终止时间戳确定当前第三视频帧，其中，当前第三视频帧的时间戳与所述第一终止时间戳的差值在第三差值范围内；
使用所述特征匹配算法查找与当前第三视频帧匹配的第四视频帧，其中，所述第四视频帧的时间戳与所述第一初始时间戳的差值在第四差值范围内；
若查找到所述第四视频帧，则将当前第三视频帧的时间戳和查找到的所述第四视频帧的时间戳设置为所述第二时间点对，若未查找到所述第四视频帧，则跳转至根据所述第二初始时间戳确定当前第三视频帧的步骤。
优选地，所述使用所述特征匹配算法查找与当前第三视频帧匹配的第四视频帧的步骤，包括：
根据当前第三视频帧的拍摄视角确定第二注视点区域画面，使用所述特征匹配算法查找与所述第二注视点区域画面匹配的第四视频帧。
优选地，所述根据当前视频帧的拍摄视角或所述第二时间点对对应的动画插值类型计算渲染模型的渲染参数的步骤，包括：
若当前解码时间戳不处于由所述第二时间点对构成的时间段内，则根据当前视频帧的拍摄视角计算渲染模型的渲染参数；
若当前解码时间戳处于由所述第二时间点对构成的时间段内，则根据当前解码时间戳、所述第二时间点对对应的视频帧的拍摄视角、并使用所述动画插值类型进行插值计算，根据插值计算结果计算渲染模型的渲染参数。
优选地，所述动画插值类型为线性、慢进快出、快进慢出或先慢后快再慢中的一种或多种。
优选地，所述第二时间点对包括第二初始时间戳和第二终止时间戳，所述根据所述渲染参数对贴合在所述渲染模型的全景视频画面进行渲染的步骤之前，还包括：
获取所述第二初始时间戳对应的视频帧与所述第二终止时间戳对应的视频帧的曝光度差；
根据所述曝光度差获取每个待融合处理的视频帧的渐变融合参数；
根据所述渲染参数对贴合在所述渲染模型的全景视频画面进行渲染的步骤，包括：
根据所述渲染参数和所述渐变融合参数对贴合在所述渲染模型的全景视频画面进行渲染。
另一方面，本发明一实施例提供了一种全景视频的自动剪辑装置，其特征在于，所述装置包括：
标记获取单元，用于获取全景视频文件中标记的第一时间点对，所述第一时间点对表征用户期望裁剪掉的视频片段；
裁剪区域确定单元，用于基于所述第一时间点对使用预设的特征匹配算法获取第二时间点对，所述第二时间点对表征实际待裁剪的视频片段；以及
视频生成单元，用于根据当前视频帧的拍摄视角或所述第二时间点对对应的动画插值类型计算渲染模型的渲染参数，根据所述渲染参数对贴合在所述渲染模型的全景视频画面进行渲染，直至当前视频帧为最后一帧，生成剪辑后的平面视频。
另一方面，本发明一实施例还提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
另一方面，本发明一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明获取全景视频文件中标记的第一时间点对，第一时间点对表征用户期望裁剪掉的视频片段，基于第一时间点对使用预设的特征匹配算法获取第二时间点对，第二时间点对表征实际待裁剪的视频片段，根据当前视频帧的拍摄视角或第二时间点对对应的动画插值类型计算渲染模型的渲染参数，根据渲染参数对贴合在渲染模型的全景视频画面进行渲染，从而实现了一镜到底视频的自动剪辑，降低了剪辑复杂度，并提高了剪辑效率。
附图说明
图1是本发明实施例一提供的全景视频的自动剪辑方法的实现流程图；
图2是本发明实施例二提供的全景视频的自动剪辑装置的结构示意图；以及
图3是本发明实施例三提供的终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的全景视频的自动剪辑方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，获取全景视频文件中标记的第一时间点对。
本发明实施例适用于终端设备，该终端设备包括电脑、相机、智能手机和平板等，该终端设备可通过安装相应的全景视频处理软件或插件实现本方法。
在本发明实施例中，该第一时间点对包括第一初始时间戳和第一终止时间戳，该第一时间点对表征用户期望裁剪掉的视频片段，即第一初始时间戳和第一终止时间戳之间的视频片段即为用户期望裁剪掉的视频片段，该第一时间点对可根据用户在拍摄过程中的打点编辑操作得到。
在步骤S102中，基于第一时间点对使用预设的特征匹配算法获取第二时间点对。
在本发明实施例中，基于用户打点编辑过程中标记的第一时间点对并不十分精确，在实际播放过程中可能出现跳帧的情况，因此，需要重新确定实际需要裁减掉的视频片段，本方法中基于第一时间点对使用预设的特征匹配算法获取第二时间点对，该第二时间点对表征实际待裁剪的视频片段，该第二时间点对包括第二初始时间戳和第二终止时间戳，即第二初始时间戳和第二终止时间戳之间的视频片段即为使用特征匹配算法获取到的实际待裁剪的视频片段，特征匹配算法可以是SIFT、SURF、ORB、BRISK或FREAK等算法。
在使用预设的特征匹配算法获取第二时间点对时，优选地，根据第一初始时间戳确定当前第一视频帧，使用特征匹配算法查找与当前第一视频帧匹配的第二视频帧，若查找到第二视频帧，则将当前第一视频帧的时间戳和查找到的第二视频帧的时间戳设置为第二时间点对，即第二时间点对的第二初始时间戳为当前第一视频帧的时间戳，第二时间点对的第二终止时间戳为查找到的第二视频帧的时间戳。进一步地，若未查找到第二视频帧，则跳转至根据第一初始时间戳确定当前第一视频帧的步骤，以根据重新确定的当前第一视频帧进行第二视频帧的查找。其中，当前第一视频帧的时间戳与第一初始时间戳的差值在第一差值范围内，该第一差值范围可以根据用户预设的第一固定值及第一初始时间戳确定，进一步地，可将该第一差值范围的最大值设置为零，即当前第一视频帧为第一初始时间戳之前的视频帧；第二视频帧的时间戳与第一终止时间戳的差值在第二差值范围内，该第二差值范围同样可以根据用户预设的第二固定值及第一初始时间戳确定，进一步地，可将该第二差值范围的最小值设置为零，即查找到的第二视频帧为第一终止时间戳之后的视频帧。
在使用特征匹配算法查找与当前第一视频帧匹配的第二视频帧时，可以将查找到的、与当前第一视频帧的匹配度达到匹配度阈值的视频帧作为第二视频帧，优选地，根据当前第一视频帧的拍摄视角确定第一注视点区域画面，使用特征匹配算法查找与第一注视点区域画面匹配的第二视频帧，从而减小了特征匹配过程中的计算量。
在确定当前第一视频帧时，可以设置一初始时间戳，为便于描述，用第三初始时间戳表示该设置的初始时间戳，将第三初始时间戳对应的视频帧作为首个第一视频帧，例如，若该第三初始时间戳等于第一初始时间戳，则将第一初始时间戳对应的视频帧作为首个第一视频帧，若根据该第一视频帧未查找到第二视频帧，则依照由近到远的顺序将获取到的该第三初始时间戳的前一时间戳或后一时间戳对应的视频帧作为当前第一视频帧，直至查找到第二视频帧或第一差值范围内对应的所有视频帧都进行了特征匹配。此外，考虑到实际拍摄过程中当碰到障碍物等情况时通常会有一个短时间的逗留，因此，第三初始时间戳对应的视频帧可以是第一初始时间戳之前预设时长的视频帧，例如第一初始时间戳之前4秒的视频帧，相应地，第一差值范围也根据该第三初始时间戳进行相应地调整。当然，第三初始时间戳也可以通过特征匹配算法得到，具体地，可以根据第一初始时间戳之前N个视频帧的视频画面的变化情况确定第三初始时间戳。
在查找第二视频帧时，可以同样设置一初始时间戳，为便于描述，用第四初始时间戳表示该设置的初始时间戳，首先使用第四初始时间戳对应的视频帧进行特征匹配，例如，若该第四时间戳等于第一终止时间戳，则首先使用第一终止时间戳对应的视频帧进行特征匹配，若未查找到第二视频帧，则依照由近到远的顺序获取该第四初始时间戳的前一时间戳或后一时间戳对应的视频帧进行特征匹配，直至查找到第二视频帧或第二差值范围内对应的所有视频帧都进行了特征匹配。此外，考虑到实际拍摄过程中在刚绕过障碍物等情况时同样可能会有一个短时间的逗留，因此，第四初始时间戳对应的视频帧可以是第一终止时间戳之后预设时长的视频帧，例如第一终止时间戳之后4秒的视频帧，相应地，第一差值范围也根据该第四初始时间戳进行调整。当然，第四初始时间戳也可以通过特征匹配算法得到，具体地，可以根据第一终止时间戳之后N个视频帧的视频画面的变化情况确定第四初始时间戳。
在使用预设的特征匹配算法获取第二时间点对时，又一优选地，根据第一终止时间戳确定当前第三视频帧，使用特征匹配算法查找与当前第一视频帧匹配的第二视频帧，若查找到第四视频帧，则将当前第三视频帧的时间戳和第四视频帧的时间戳设置为第二时间点对，若未查找到第四视频帧，则跳转至根据第二初始时间戳确定当前第三视频帧的步骤，以根据重新确定的当前第三视频帧进行第四视频帧的查找。其中，当前第三视频帧的时间戳与第一终止时间戳的差值在第三差值范围内，第四视频帧的时间戳与第一初始时间戳的差值在第四差值范围内。根据当前第三视频帧查找第四视频帧的具体实现方式与根据第一视频帧查找第二视频帧的具体实现方式类似，在此不作赘述。
在使用特征匹配算法查找与当前第三视频帧匹配的第四视频帧时，优选地，根据当前第三视频帧的拍摄视角确定第二注视点区域画面，使用特征匹配算法查找与第二注视点区域画面匹配的第四视频帧，从而减小了特征匹配过程中的计算量。
考虑到拍摄过程中相机抖动幅度较大时会影响剪辑效果，因此，在使用预设的特征匹配算法获取第二时间点对时，进一步地，判断垂直方向是否满足约束条件，只有满足约束条件时才使用特征匹配算法进一步获取第二时间点对，以提高第二时间点对获取的有效性，并保证视频剪辑效果。具体地，可以将第一初始时间戳对应的视频帧的注视点区域作为参考图像，将第一终止时间戳对应的视频帧作为待检测图像，然后对待检测图像和参考图像进行角点检测，基于角点检测结果确定是否满足垂直方向的约束。
优选地，在基于第一时间点对使用预设的特征匹配算法获取第二时间点对之前，从全景视频文件中获取每个视频帧，将获取到的每个视频帧渲染成全景画面，在基于第一时间点对使用预设的特征匹配算法获取第二时间点对时，基于每个视频帧的全景画面以及第一时间点对使用预设的特征匹配算法获取第二时间点对，换言之，在使用特征匹配算法获取第二时间点对时全部基于全景画面进行获取。
在这里需要指出的是，用户实际期望裁剪掉的视频片段可能为多个，即，全景视频文件中可能标记有多组第一时间点对，对于每组第一时间点对，均可采用本步骤描述的方法查找对应的第二时间点对。
在步骤S103中，根据当前视频帧的拍摄视角或第二时间点对对应的动画插值类型计算渲染模型的渲染参数，根据渲染参数对贴合在渲染模型的全景视频画面进行渲染。
在本发明实施例中，渲染参数可以包括虚拟相机的pitch(俯仰角)、yaw(偏航角)、roll(横滚角)、fov(视场角)和distance(距离)等，每个视频帧的拍摄视角可通过拍摄全景视频文件时的陀螺仪的数据得到。
基于当前解码时间戳处于第二时间点对构成的时间段之内或之外时渲染参数的计算方式不同，从而优选地，若当前解码时间戳不处于由第二时间点对构成的时间段内，则根据当前视频帧的拍摄视角计算渲染模型的渲染参数，若当前解码时间戳处于由第二时间点对构成的时间段内，则根据当前解码时间戳、第二时间点对对应的视频帧的拍摄视角并使用动画插值类型进行插值计算，根据插值计算结果计算渲染模型的渲染参数，从而根据当前解码时间戳所处的时间段确定渲染参数的计算方式。其中，该第二时间点对对应的视频帧的拍摄视角具体是指该第二时间点对的第二初始时间戳对应的视频帧的拍摄视角，以及该第二时间点对的第二终止时间戳对应的视频帧的拍摄视角。
在这里需要指出的是，若存在多组第二时间点对，且当前解码时间戳处于由某一第二时间点对构成的时间段内，则根据构成该时间段的第二时间点对对应的视频帧的拍摄视角并使用动画插值类型进行插值计算，根据插值计算结果计算渲染模型的渲染参数。
优选地，动画插值类型为线性、慢进快出、快进慢出或先慢后快再慢中的一种或多种，以丰富动画制作效果，其中，该插值类型可以是用户预先指定的一种类型，也可以是多种组合，例如，动画插值类型为先线性再快进慢出。
考虑到待裁剪掉的视频片段拍摄前后可能存在曝光度的差异，从而优选地，在根据渲染参数对贴合在渲染模型的全景视频画面进行渲染之前，获取第二初始时间戳对应的视频帧与第二终止时间戳对应的视频帧的曝光度差，根据曝光度差获取每个待融合处理的视频帧的渐变融合参数，若当前视频帧为待融合处理的视频帧，则根据渲染参数和渐变融合参数对贴合在渲染模型的全景视频画面进行渲染，以进一步提高第二时间点对对应的过渡视频动画的视觉效果。其中，渐变融合参数通常包括透明度。在根据曝光度差获取每个待融合处理的视频帧的渐变融合参数之前，进一步地，判断曝光度差是否大于预设的曝光度差阈值，若未超过该曝光度差阈值，则根据曝光度差获取每个待融合处理的视频帧的渐变融合参数，若超过该曝光度差阈值，则向用户发出相应的提醒，以在曝光度差较大时提醒用户是否继续自动剪辑视频，从而提高了自动剪辑的有效性。在这里需要说明的是，若存在多组第二时间点对，则可采用以上描述方法获取每组第二时间点对对应的待融合处理的视频帧的渐变融合参数，并基于渲染参数和渐变融合参数进行渲染。
在步骤S104中，判断当前视频帧是否为最后一帧，若否，则跳转至步骤S103，若是，则执行步骤S105。
在步骤S105中，生成剪辑后的视频。
在本发明实施例中，在生成剪辑后的平面视频之后，可以导出该剪辑后的视频，以便于用户将导出后的该视频在视频播放设备上进行播放。
在本发明实施例中，获取全景视频文件中标记的第一时间点对，第一时间点对表征用户期望裁剪掉的视频片段，基于第一时间点对使用预设的特征匹配算法获取第二时间点对，第二时间点对表征实际待裁剪的视频片段，根据当前视频帧的拍摄视角或第二时间点对对应的动画插值类型计算渲染模型的渲染参数，根据渲染参数对贴合在渲染模型的全景视频画面进行渲染，直至当前视频帧为最后一帧，生成剪辑后的平面视频，从而实现了一镜到底视频的自动剪辑，降低了剪辑复杂度，并提高了剪辑效率。
实施例二：
图2示出了本发明实施例二提供的全景视频的自动剪辑装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
标记获取单元21，用于获取全景视频文件中标记的第一时间点对，第一时间点对表征用户期望裁剪掉的视频片段；
裁剪区域确定单元22，用于基于第一时间点对使用预设的特征匹配算法获取第二时间点对，第二时间点对表征实际待裁剪的视频片段；以及
视频生成单元23，用于根据当前视频帧的拍摄视角或第二时间点对对应的动画插值类型计算渲染模型的渲染参数，根据渲染参数对贴合在渲染模型的全景视频画面进行渲染，直至当前视频帧为最后一帧，生成剪辑后的平面视频。
优选地，该装置还包括：
全景视频生成单元，用于从全景视频文件中获取每个视频帧，将获取到的每个视频帧渲染成全景画面；
该裁剪区域确定单元还包括：
区域确定子单元，用于基于每个视频帧的全景画面以及第一时间点对使用预设的特征匹配算法获取第二时间点对。
优选地，第一时间点对包括第一初始时间戳和第一终止时间戳，该裁剪区域确定单元包括：
第一确定单元，用于根据第一初始时间戳确定当前第一视频帧，其中，当前第一视频帧的时间戳与第一初始时间戳的差值在第一差值范围内；
第一查找单元，用于使用特征匹配算法查找与当前第一视频帧匹配的第二视频帧，其中，第二视频帧的时间戳与第一终止时间戳的差值在第二差值范围内；以及
第一获取单元，用于若查找到第二视频帧，则将当前第一视频帧的时间戳和查找到的第二视频帧的时间戳设置为第二时间点对，若未查找到第二视频帧，则触发第一确定单元根据第一初始时间戳确定当前第一视频帧。
优选地，第一查找单元还包括：
第一查找子单元，用于根据当前第一视频帧的拍摄视角确定第一注视点区域画面，使用特征匹配算法查找与第一注视点区域画面匹配的第二视频帧。
优选地，第一时间点对包括第一初始时间戳和第一终止时间戳，该裁剪区域确定单元包括：
第二确定单元，用于根据第一终止时间戳确定当前第三视频帧，其中，当前第三视频帧的时间戳与第一终止时间戳的差值在第三差值范围内；
第二查找单元，用于使用特征匹配算法查找与当前第三视频帧匹配的第四视频帧，其中，第四视频帧的时间戳与第一初始时间戳的差值在第四差值范围内；以及
第二获取单元，用于若查找到第四视频帧，则将当前第三视频帧的时间戳和查找到的第四视频帧的时间戳设置为第二时间点对，若未查找到第四视频帧，则触发第二确定单元根据第二初始时间戳确定当前第三视频帧。
优选地，第二查找单元包括：
第二查找子单元，用于根据当前第三视频帧的拍摄视角确定第二注视点区域画面，使用特征匹配算法查找与第二注视点区域画面匹配的第四视频帧
优选地，视频生成单元还包括：
第一参数计算单元，用于若当前解码时间戳不处于由第二时间点对构成的时间段内，则根据当前视频帧的拍摄视角计算渲染模型的渲染参数；以及
第二参数计算单元，用于若当前解码时间戳处于由第二时间点对构成的时间段内，则根据当前解码时间戳、第二时间点对对应的视频帧的拍摄视角、并使用动画插值类型进行插值计算，根据插值计算结果计算渲染模型的渲染参数。
优选地，动画插值类型为线性、慢进快出、快进慢出或先慢后快再慢中的一种或多种。
优选地，第二时间点对包括第二初始时间戳和第二终止时间戳，该装置还包括：
曝光度获取单元，用于获取第二初始时间戳对应的视频帧与第二终止时间戳对应的视频帧的曝光度差；以及
融合参数获取单元，用于根据曝光度差获取每个待融合处理的视频帧的渐变融合参数；
视频生成单元还包括：
渲染融合单元，用于根据渲染参数和渐变融合参数对贴合在渲染模型的全景视频画面进行渲染。
在本发明实施例中，全景视频的自动剪辑装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。全景视频的自动剪辑装置的各单元的具体实施方式可参考前述方法实施例的描述，在此不再赘述。
实施例三：
图3示出了本发明实施例三提供的终端的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的终端3包括处理器30、存储器31以及存储在存储器31中并可在处理器30上运行的计算机程序32。该处理器30执行计算机程序32时实现上述各方法实施例中的步骤，例如图1所示的步骤S101至S105。或者，处理器30执行计算机程序32时实现上述各装置实施例中各单元的功能，例如图2所示单元21至23的功能。
在本发明实施例中，获取全景视频文件中标记的第一时间点对，第一时间点对表征用户期望裁剪掉的视频片段，基于第一时间点对使用预设的特征匹配算法获取第二时间点对，第二时间点对表征实际待裁剪的视频片段，根据当前视频帧的拍摄视角或第二时间点对对应的动画插值类型计算渲染模型的渲染参数，根据渲染参数对贴合在渲染模型的全景视频画面进行渲染，直至当前视频帧为最后一帧，生成剪辑后的平面视频，从而实现了一镜到底视频的自动剪辑，降低了剪辑复杂度，并提高了剪辑效率。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤S101至S105。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图2所示单元21至23的功能。
在本发明实施例中，获取全景视频文件中标记的第一时间点对，第一时间点对表征用户期望裁剪掉的视频片段，基于第一时间点对使用预设的特征匹配算法获取第二时间点对，第二时间点对表征实际待裁剪的视频片段，根据当前视频帧的拍摄视角或第二时间点对对应的动画插值类型计算渲染模型的渲染参数，根据渲染参数对贴合在渲染模型的全景视频画面进行渲染，直至当前视频帧为最后一帧，生成剪辑后的平面视频，从而实现了一镜到底视频的自动剪辑，降低了剪辑复杂度，并提高了剪辑效率。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种全景视频的自动剪辑方法，其特征在于，所述方法包括下述步骤：
获取全景视频文件中标记的第一时间点对，所述第一时间点对表征用户期望裁剪掉的视频片段；
基于所述第一时间点对使用预设的特征匹配算法获取第二时间点对，所述第二时间点对表征实际待裁剪的视频片段；
根据当前视频帧的拍摄视角或所述第二时间点对对应的动画插值类型计算渲染模型的渲染参数，根据所述渲染参数对贴合在所述渲染模型的全景视频画面进行渲染，重复该步骤直至当前视频帧为最后一帧，生成剪辑后的平面视频；
所述根据当前视频帧的拍摄视角或所述第二时间点对对应的动画插值类型计算渲染模型的渲染参数的步骤，包括：
若当前解码时间戳不处于由所述第二时间点对构成的时间段内，则根据当前视频帧的拍摄视角计算渲染模型的渲染参数；
若当前解码时间戳处于由所述第二时间点对构成的时间段内，则根据当前解码时间戳和所述第二时间点对对应的视频帧的拍摄视角，并使用所述动画插值类型进行插值计算，根据插值计算结果计算渲染模型的渲染参数。
2.如权利要求1所述的方法，其特征在于，所述基于所述第一时间点对使用预设的特征匹配算法获取第二时间点对的步骤之前，还包括：
从所述全景视频文件中获取每个视频帧，将获取到的每个视频帧渲染成全景画面；
所述基于所述第一时间点对使用预设的特征匹配算法获取第二时间点对的步骤，包括：
基于所述每个视频帧的全景画面以及所述第一时间点对使用预设的特征匹配算法获取第二时间点对。
3.如权利要求1所述的方法，其特征在于，所述第一时间点对包括第一初始时间戳和第一终止时间戳，所述基于所述第一时间点对使用预设的特征匹配算法获取第二时间点对的步骤，包括：
根据所述第一初始时间戳确定当前第一视频帧，其中，当前第一视频帧的时间戳与所述第一初始时间戳的差值在第一差值范围内；
使用所述特征匹配算法查找与当前第一视频帧匹配的第二视频帧，其中，所述第二视频帧的时间戳与所述第一终止时间戳的差值在第二差值范围内；
若查找到所述第二视频帧，则将当前第一视频帧的时间戳和查找到的所述第二视频帧的时间戳设置为所述第二时间点对，若未查找到所述第二视频帧，则跳转至根据所述第一初始时间戳确定当前第一视频帧的步骤；
所述使用所述特征匹配算法查找与当前第一视频帧匹配的第二视频帧的步骤，包括：
根据当前第一视频帧的拍摄视角确定第一注视点区域画面，使用所述特征匹配算法查找与所述第一注视点区域画面匹配的第二视频帧。
4.如权利要求1所述的方法，其特征在于，所述第一时间点对包括第一初始时间戳和第一终止时间戳，所述基于所述第一时间点对使用预设的特征匹配算法获取第二时间点对的步骤，包括：
根据所述第一终止时间戳确定当前第三视频帧，其中，当前第三视频帧的时间戳与所述第一终止时间戳的差值在第三差值范围内；
使用所述特征匹配算法查找与当前第三视频帧匹配的第四视频帧，其中，所述第四视频帧的时间戳与所述第一初始时间戳的差值在第四差值范围内；
若查找到所述第四视频帧，则将当前第三视频帧的时间戳和查找到的所述第四视频帧的时间戳设置为所述第二时间点对，若未查找到所述第四视频帧，则跳转至根据所述第一终止时间戳确定当前第三视频帧的步骤；
所述使用所述特征匹配算法查找与当前第三视频帧匹配的第四视频帧的步骤，包括：
根据当前第三视频帧的拍摄视角确定第二注视点区域画面，使用所述特征匹配算法查找与所述第二注视点区域画面匹配的第四视频帧。
5.如权利要求1所述的方法，其特征在于，所述动画插值类型为线性、慢进快出、快进慢出或先慢后快再慢中的一种或多种。
6.如权利要求1所述的方法，其特征在于，所述第二时间点对包括第二初始时间戳和第二终止时间戳，所述根据所述渲染参数对贴合在所述渲染模型的全景视频画面进行渲染的步骤之前，还包括：
获取所述第二初始时间戳对应的视频帧与所述第二终止时间戳对应的视频帧的曝光度差；
根据所述曝光度差获取每个待融合处理的视频帧的渐变融合参数；
根据所述渲染参数对贴合在所述渲染模型的全景视频画面进行渲染的步骤，包括：
根据所述渲染参数和所述渐变融合参数对贴合在所述渲染模型的全景视频画面进行渲染。
7.一种全景视频的自动剪辑装置，其特征在于，所述装置包括：
标记获取单元，用于获取全景视频文件中标记的第一时间点对，所述第一时间点对表征用户期望裁剪掉的视频片段；
裁剪区域确定单元，用于基于所述第一时间点对使用预设的特征匹配算法获取第二时间点对，所述第二时间点对表征实际待裁剪的视频片段；以及
视频生成单元，用于根据当前视频帧的拍摄视角或所述第二时间点对对应的动画插值类型计算渲染模型的渲染参数，根据所述渲染参数对贴合在所述渲染模型的全景视频画面进行渲染，直至当前视频帧为最后一帧，生成剪辑后的平面视频；
视频生成单元在根据当前视频帧的拍摄视角或所述第二时间点对对应的动画插值类型计算渲染模型的渲染参数时，包括：若当前解码时间戳不处于由所述第二时间点对构成的时间段内，则根据当前视频帧的拍摄视角计算渲染模型的渲染参数；若当前解码时间戳处于由所述第二时间点对构成的时间段内，则根据当前解码时间戳和所述第二时间点对对应的视频帧的拍摄视角，并使用所述动画插值类型进行插值计算，根据插值计算结果计算渲染模型的渲染参数。
8.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN202110351843.6A 2021-03-31 2021-03-31 全景视频的自动剪辑方法、装置、终端及存储介质 Active CN113115106B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110351843.6A CN113115106B (zh) 2021-03-31 2021-03-31 全景视频的自动剪辑方法、装置、终端及存储介质
PCT/CN2022/079779 WO2022206312A1 (zh) 2021-03-31 2022-03-08 全景视频的自动剪辑方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110351843.6A CN113115106B (zh) 2021-03-31 2021-03-31 全景视频的自动剪辑方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN113115106A CN113115106A (zh) 2021-07-13
CN113115106B true CN113115106B (zh) 2023-05-05

Family

ID=76713516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110351843.6A Active CN113115106B (zh) 2021-03-31 2021-03-31 全景视频的自动剪辑方法、装置、终端及存储介质

Country Status (2)

Country Link
CN (1) CN113115106B (zh)
WO (1) WO2022206312A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113115106B (zh) * 2021-03-31 2023-05-05 影石创新科技股份有限公司 全景视频的自动剪辑方法、装置、终端及存储介质
CN115002335B (zh) * 2021-11-26 2024-04-09 荣耀终端有限公司 视频处理方法、装置、电子设备和计算机可读存储介质
CN114866837B (zh) * 2022-05-26 2023-10-13 影石创新科技股份有限公司 视频处理方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107529091A (zh) * 2017-09-08 2017-12-29 广州华多网络科技有限公司 视频剪辑方法及装置
CN107888988A (zh) * 2017-11-17 2018-04-06 广东小天才科技有限公司 一种视频剪辑方法及电子设备
WO2018126922A1 (zh) * 2017-01-05 2018-07-12 阿里巴巴集团控股有限公司 全景视频渲染方法、装置及电子设备
CN109618093A (zh) * 2018-12-14 2019-04-12 深圳市云宙多媒体技术有限公司 一种全景视频直播方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10154228B1 (en) * 2015-12-23 2018-12-11 Amazon Technologies, Inc. Smoothing video panning
CN107968922A (zh) * 2017-11-23 2018-04-27 深圳岚锋创视网络科技有限公司 一种全景视频录制为平面视频的方法、装置及便携式终端
CN108322831A (zh) * 2018-02-28 2018-07-24 广东美晨通讯有限公司 视频播放控制方法、移动终端及计算机可读存储介质
CN108366294A (zh) * 2018-03-06 2018-08-03 广州市千钧网络科技有限公司 一种视频裁剪方法及装置
WO2020103040A1 (en) * 2018-11-21 2020-05-28 Boe Technology Group Co., Ltd. A method for generating and displaying panorama images based on rendering engine and a display apparatus
CN109688463B (zh) * 2018-12-27 2020-02-18 北京字节跳动网络技术有限公司 一种剪辑视频生成方法、装置、终端设备及存储介质
CN110087123B (zh) * 2019-05-15 2022-07-22 腾讯科技（深圳）有限公司 视频文件制作方法、装置、设备及可读存储介质
CN110691202A (zh) * 2019-08-28 2020-01-14 咪咕文化科技有限公司 视频剪辑方法、装置及计算机存储介质
CN110703976B (zh) * 2019-08-28 2021-04-13 咪咕文化科技有限公司 剪辑方法、电子设备和计算机可读存储介质
CN110971929B (zh) * 2019-10-31 2022-07-29 咪咕互动娱乐有限公司 云游戏视频处理方法、电子设备及存储介质
CN110855904B (zh) * 2019-11-26 2021-10-01 Oppo广东移动通信有限公司 视频处理方法、电子装置和存储介质
CN113115106B (zh) * 2021-03-31 2023-05-05 影石创新科技股份有限公司 全景视频的自动剪辑方法、装置、终端及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018126922A1 (zh) * 2017-01-05 2018-07-12 阿里巴巴集团控股有限公司 全景视频渲染方法、装置及电子设备
CN107529091A (zh) * 2017-09-08 2017-12-29 广州华多网络科技有限公司 视频剪辑方法及装置
CN107888988A (zh) * 2017-11-17 2018-04-06 广东小天才科技有限公司 一种视频剪辑方法及电子设备
CN109618093A (zh) * 2018-12-14 2019-04-12 深圳市云宙多媒体技术有限公司 一种全景视频直播方法及系统

Also Published As

Publication number Publication date
CN113115106A (zh) 2021-07-13
WO2022206312A1 (zh) 2022-10-06

Similar Documents

Publication Publication Date Title
CN113115106B (zh) 全景视频的自动剪辑方法、装置、终端及存储介质
JP6818912B2 (ja) ビデオの安定化
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
US9621786B2 (en) Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images
US8988529B2 (en) Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera
CN107948517B (zh) 预览画面虚化处理方法、装置及设备
US20180359415A1 (en) Panoramic video processing method and device and non-transitory computer-readable medium
US9036936B2 (en) Image processing device, image processing method, and image processing program
US20230040548A1 (en) Panorama video editing method,apparatus,device and storage medium
US9743000B2 (en) Moving image processing apparatus, imaging apparatus, and moving image processing method
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
US9706104B2 (en) Image auto-focusing method and camera using same
JP2008118644A (ja) ぼけたデジタル画像の点像分布関数の概算方法、および、実行時に、ぼけたデジタル画像の点像分布関数の概算方法を実施する、コンピュータで読取可能な命令を有する１つまたは複数のコンピュータで読取可能な媒体
US9888187B2 (en) Method for determination of focal length for a zoom lens
CN109996005B (zh) 一种聚焦校正方法及装置
CN103577520A (zh) 目标检索装置、目标检索方法以及计算机可读取记录介质
CN111798422B (zh) 棋盘格角点识别方法、装置、设备及存储介质
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
KR102126370B1 (ko) 동작 인식 장치 및 방법
CN111654618A (zh) 一种摄像头对焦灵敏度控制方法及装置
CN112804477B (zh) 预置点图像参数的确定方法、装置、电子设备及存储介质
CN112995498B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
CN112866663A (zh) 对焦校准方法及相关装置
KR101945243B1 (ko) 영상을 배속 재생하는 방법 및 장치
CN113709366B (zh) 一种信息处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant