CN111163267B - 一种全景视频剪辑方法、装置、设备及存储介质 - Google Patents
一种全景视频剪辑方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111163267B CN111163267B CN202010015747.XA CN202010015747A CN111163267B CN 111163267 B CN111163267 B CN 111163267B CN 202010015747 A CN202010015747 A CN 202010015747A CN 111163267 B CN111163267 B CN 111163267B
- Authority
- CN
- China
- Prior art keywords
- panoramic video
- target
- panoramic
- video frame
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Abstract
本发明适用于全景视频技术领域，提供了一种全景视频剪辑方法、装置、设备及存储介质，该方法包括：获取全景相机拍摄的全景视频，并记录所述全景相机在移动拍摄时的前进方向视角；对获取的所述全景视频进行抽帧操作，以得到对应的全景视频帧，对所述全景视频帧进行显著性目标检测，采用预设的目标跟踪算法对检测到的所述显著性目标进行追踪，并获取追踪的所述显著性目标所在视角；根据所述前进方向视角和所述显著性目标所在视角，对所述全景视频进行剪辑，生成所述全景视频对应的目标视频，实现了全景视频的自动剪辑，同时保证了目标视频中转场的流畅性、以及内容的有效性和趣味性。
Description
技术领域
本发明属于全景视频技术领域，尤其涉及一种全景视频剪辑方法、装置、设备及存储介质。
背景技术
全景视频是利用全景摄像机进行全方位360度进行拍摄而得到的视频，用户能够任意观看在全景摄像机拍摄角度范围内的动态视频。在观看全景视频时，由于平面显示器某一时刻只能显示全景视频其中一个视角的图像，当用户在全景视频播放过程中的某个时间段想要观看某一个显著目标对象时，可能由于目标消失在当前视角而需要不断控制显示器转动视角，因此操作比较麻烦，同时也会影响观看体验。
发明内容
本发明实施例提供一种全景视频剪辑方法、装置、设备及存储介质，用于解决由于现有技术无法提供一种有效的全景视频剪辑方法，导致全景视频在输出时流畅性不高的问题。
一方面，本发明实施例提供了一种全景视频剪辑方法，所述方法包括下述步骤：
获取全景相机拍摄的全景视频，并记录所述全景相机在移动拍摄时的前进方向视角；
对获取的所述全景视频进行抽帧操作，以得到对应的全景视频帧，对所述全景视频帧进行显著性目标检测，采用预设的目标跟踪算法对检测到的所述显著性目标进行追踪，并获取追踪的所述显著性目标所在视角；
根据所述前进方向视角和所述著性目标所在视角，对所述全景视频进行剪辑，生成所述全景视频对应的目标视频。
优选地，记录所述全景相机在移动拍摄时的前进方向视角的步骤，包括：
根据所述全景视频获取所述全景相机移动拍摄时的前进方向，获取所述前进方向视角对应的镜头图像，所述全景视频为原始球面视频。
优选地，对获取的所述全景视频进行抽帧操作，以得到对应的全景视频帧，依次对所述全景视频帧进行显著性目标检测，采用预设的目标跟踪算法对检测到的所述显著性目标进行追踪，并获取追踪的所述显著性目标所在视角的步骤，包括：
对所述全景视频进行抽帧操作，以得到对应的全景视频帧，对所述全景视频帧进行显著性目标检测；
当在当前被检测全景视频帧中检测出当前显著性目标时，采用预设的目标跟踪算法依次在后续全景视频帧中对所述当前显著性目标进行追踪，并获取所述当前显著性目标所在视角。
进一步优选地，获取所述当前显著性目标所在视角的步骤之后，还包括：
检测所述当前显著性目标的停止追踪事件，当检测到所述当前显著性目标的停止追踪事件时，跳转至对所述全景视频进行抽帧操作的步骤，以继续进行显著性目标检测。
进一步优选地，对所述全景视频帧进行显著性目标检测的步骤，包括：
当在当前被检测全景视频帧中检测出预设的目标种类时，将显著性值最大的目标设置为所述当前被检测全景视频帧的当前显著性目标。
进一步优选地，采用预设的目标跟踪算法依次在后续全景视频帧中对所述当前显著性目标进行追踪，并获取所述当前显著性目标所在视角的步骤，包括：
获取所述当前被检测全景视频帧中当前显著性目标追踪框的中心坐标，根据所述中心坐标计算所述当前显著性目标的球面视点坐标；
根据所述球面视点坐标，获取所述显著性目标所在视角对应的镜头图像。
优选地，所述停止追踪事件为丢失所述当前显著性目标、或所述追踪框的面积小于预设面积。
优选地，根据所述前进方向视角和所述著性目标所在视角，对所述全景视频进行剪辑，生成所述全景视频对应的目标视频的步骤，包括：
遍历所述全景视频帧的全景视频帧，当所述全景视频帧不存在显著性目标时，剪辑全景视频帧中前进方向视角对应的镜头图像，并设置所述镜头图像的播放速度；
当所述全景视频帧存在显著性目标时，根据每个显著性目标被追踪到的帧数，确定剪辑全景视频帧中对应视角的镜头图像，并设置所述镜头图像的播放速度；
根据剪辑的镜头图像和设置的对应播放速度，生成所述全景视频对应的目标视频。
进一步优选地，根据每个显著性目标被追踪到的帧数，确定剪辑全景视频帧中每个显著性目标所在视角的镜头图像，并设置所述镜头图像的播放速度的步骤，包括：
判断每个显著性目标被连续追踪到的帧数，当所述帧数小于设定阈值时，剪辑全景视频帧中前进方向视角对应的镜头图像，并设置所述镜头图像的播放速度为快速播放；
当所述帧数大于所述设定阈值时，在第一时间段内剪辑全景视频帧中从前进方向视角过渡到显著性目标所在视角对应的镜头图像，设置所述镜头图像的播放速度为快速播放，在第二时间段内剪辑全景视频帧中显著性目标所在视角对应的镜头图像，设置所述镜头图像的播放速度为慢速播放，在第三时间段内剪辑全景视频帧中从显著性目标所在视角过渡到前进方向视角对应的镜头图像，设置所述镜头图像的播放速度为快速播放。
另一方面，本发明实施例还提供了一种全景视频剪辑装置，所述装置包括：
视角记录单元，用于获取全景相机拍摄的全景视频，并记录所述全景相机在移动拍摄时的前进方向视角；
视角获取单元，用于对获取的所述全景视频进行抽帧操作，以得到对应的全景视频帧，对所述全景视频帧进行显著性目标检测，采用预设的目标跟踪算法对检测到的所述显著性目标进行追踪，并获取追踪的所述显著性目标所在视角；以及
视频生成单元，用于根据所述前进方向视角和所述著性目标所在视角，对所述全景视频进行剪辑，生成所述全景视频对应的目标视频。
另一方面，本发明实施例还提供了一种全景视频剪辑设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
另一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明实施例在获取全景相机拍摄的全景视频后，记录全景相机在移动拍摄时的前进方向视角，对获取的全景视频进行抽帧操作，以得到对应的全景视频帧，依次对全景视频帧进行显著性目标检测，采用预设的目标跟踪算法对检测到的显著性目标进行追踪，并获取追踪的显著性目标所在视角，根据前进方向视角和著性目标所在视角，对全景视频进行剪辑，生成全景视频对应的目标视频，实现了全景视频的自动剪辑，同时保证了目标视频中转场的流畅性、以及内容的有效性和趣味性。
附图说明
图1是本发明实施例一提供的全景视频剪辑方法的实现流程图；
图2是本发明实施例二提供的全景视频剪辑装置的结构示意图；以及
图3是本发明实施例三提供的全景视频剪辑设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的全景视频剪辑方法的实现流程。本发明实施例提供的全景视频剪辑方法可应用在计算设备上，其中，计算设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和全景相机。
为了便于说明，图1仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，获取全景相机拍摄的全景视频，并记录全景相机在移动拍摄时的前进方向视角。
本发明实施例适用于全景视频剪辑，以用于剪辑全景视频，该全景视频通过全景相机拍摄得到，全景相机由2个或2个以上鱼眼镜头组成，得到的全景视频为原始球面视频。在记录全景相机在拍摄时的前进方向视角时，具体地，根据全景视频获取全景相机移动拍摄时的前进方向，进而获取前进方向视角对应的镜头图像，从而通过前进方向视角对应的镜头图像实现全景相机前进方向视角的记录。
在步骤S102中，对获取的全景视频进行抽帧操作，以得到对应的全景视频帧，依次对全景视频帧进行显著性目标检测，采用预设的目标跟踪算法对检测到的显著性目标进行追踪，并获取追踪的显著性目标所在视角。
在本发明实施例中，按照预设的时间间隔对获取的全景视频进行抽帧，以得到对应的全景视频帧，依次对全景视频帧进行显著性目标检测，采用预设的目标跟踪算法对检测到的显著性目标进行追踪，并获取追踪的显著性目标所在视角时，通过以下步骤来实现：
(1)对全景视频进行抽帧操作，以得到对应的全景视频帧，对全景视频帧进行显著性目标检测；
在本发明实施例中，在对全景视频帧进行显著性目标检测时，当在当前被检测的全景视频帧中检测出预设目标种类下的显著性目标时，将显著性值最大的目标设置为当前被检测全景视频帧的当前显著性目标，从而在检测到多个显著性目标时准确地获取当前被检测全景视频帧中的待追踪显著性目标，当在当前被检测全景视频帧中未检测出目标种类下的显著性目标时，确认当前被检测全景视频帧不存在显著性目标。目标种类可以根据全景相机预设的拍摄场景设置，以进一步提高目标检测的准确性，例如，目标种类可以为雕塑类、石碑类、花坛类和标志性建筑类，雕塑类下的显著性目标则可以有动物雕塑、植物雕塑、人体雕塑等。具体地，对全景视频帧进行显著性目标检测时，可以采用包括但不限于FT(Frequency-tuned Salient Region Detection，基于频率调谐显著区域检测)算法或超像素卷积神经网络(例如，A Superpixelwise Convolutional Neural Network for SalientObject Detection，用于显著性目标检测的超像素卷积神经网络)等算法，从而提高目标检测的准确性，同时保证目标检测的稳定性。
(2)当在当前被检测全景视频帧中检测出当前显著性目标时，采用预设的目标跟踪算法依次在后续全景视频帧中对当前显著性目标进行追踪，并获取当前显著性目标所在视角；
在本发明实施例中，当在当前被检测全景视频帧中检测出当前显著性目标时，采用预设的目标跟踪算法依次在该帧后续的全景视频帧中对当前显著性目标进行追踪，并获取当前显著性目标所在视角。其中，目标跟踪算法可采用包括但不限于KCF(High-speedTracking with Kernelized Correlation filters，基于核相关滤波器的高速追踪)算法或DSST(Accurate Scale Estimation for Robust Visual Tracking，用于鲁棒视觉跟踪的精确尺度估计)算法等。
具体地，在采用预设的目标跟踪算法依次在该帧后续的全景视频帧中对当前显著性目标进行追踪，并获取当前显著性目标所在视角时，获取当前被检测全景视频帧中当前显著性目标追踪框的面积和中心坐标，根据中心坐标计算当前显著性目标的球面视点坐标，根据球面视点坐标，获取显著性目标所在视角对应的镜头图像，从而简化了显著性目标所在视角的记录方式，提高了显著性目标所在视角获取的准确性。
在本发明实施例中，在获取追踪的显著性目标所在视角时，检测当前显著性目标的停止追踪事件，当检测到当前显著性目标的停止追踪事件时，跳转至步骤(1)，以继续进行显著性目标检测。
在本发明实施例中，当在当前被检测全景视频帧后续一全景视频帧的目标追踪过程中检测到当前显著性目标的停止追踪事件时，跳转至步骤(1)，以继续进行显著性目标检测，即对该后续一全景视频帧进行显著性目标检测，此时该后续一全景视频帧成为当前被检测全景视频帧，如此循环，从而实现对所有全景视频帧进行目标检测和追踪。其中，停止追踪事件为丢失当前显著性目标、或追踪框的面积小于预设面积，以准确地判定是否停止目标追踪。
在步骤S103中，根据前进方向视角和显著性目标所在视角，对全景视频进行剪辑，生成全景视频对应的目标视频。
在本发明实施例中，在获取或记录好抽取的全景视频帧的前进方向视角和显著性目标所在视角后，为了生成全景视频对应的目标视频，遍历全景视频帧，当遍历到的全景视频帧不存在显著性目标时，剪辑全景视频帧中前进方向视角对应的镜头图像，并设置镜头图像的播放速度，当全景视频帧存在显著性目标时，根据每个显著性目标被追踪到的帧数，确定剪辑全景视频帧中每个显著性目标所在视角的镜头图像，并设置镜头图像的播放速度，根据剪辑的镜头图像和设置的对应播放速度，生成全景视频对应的目标视频，从而实现全景视频的自动剪辑，同时保证目标视频中转场的流畅性、以及内容的有效性和趣味性。其中，目标视频为单一视角视频或平面视频。
优选地，当遍历到的全景视频帧不存在显著性目标时，剪辑全景视频帧中前进方向视角对应的镜头图像，设置镜头图像的播放速度为快速播放，从而快速定位到用户感兴趣的内容，提高全景视频播放内容的有效性和趣味性。
为了进一步提高全景视频播放时的流畅性、以及内容的有效性和趣味性，在根据每个显著性目标被追踪到的帧数确定剪辑全景视频帧中对应视角的镜头图像，并设置所述镜头图像的播放速度时，优选地，判断每个显著性目标被连续追踪到的帧数，当帧数小于设定阈值时，剪辑全景视频帧中前进方向视角对应的镜头图像，并设置镜头图像的播放速度为快速播放，当帧数大于设定阈值时，在第一时间段内剪辑全景视频帧中从前进方向视角过渡到显著性目标所在视角对应的镜头图像，设置镜头图像的播放速度为快速播放，在第二时间段内剪辑全景视频帧中显著性目标所在视角对应的镜头图像，设置镜头图像的播放速度为慢速播放，在第三时间段内剪辑全景视频帧中从显著性目标所在视角过渡到前进方向视角对应的镜头图像，设置镜头图像的播放速度为快速播放。第一时间段、第二时间段和第三时间段为显著性目标被连续追踪到的帧数对应的时间段的一部分。优选地，第一时间段、第二时间段和第三时间段均为显著性目标被连续追踪到的帧数对应的时间段的1/3，从而提高全景视频播放内容的有效性和趣味性。
实施例二：
图2示出了本发明实施例二提供的全景视频剪辑装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
在本发明实施例中，全景视频剪辑装置包括视角记录单元21、视角获取单元22以及视频生成单元23，其中：
视角记录单元21，用于获取全景相机拍摄的全景视频，并记录全景相机在移动拍摄时的前进方向视角；
在本发明实施例中，视角记录单元21在记录全景相机在移动拍摄时的前进方向视角时，具体地，根据全景视频获取全景相机移动拍摄时的前进方向，进而获取前进方向视角对应的镜头图像，从而通过前进方向视角对应的镜头图像实现全景相机前进方向视角的记录。
视角获取单元22，用于对获取的全景视频进行抽帧操作，以得到对应的全景视频帧，对全景视频帧进行显著性目标检测，采用预设的目标跟踪算法对检测到的显著性目标进行追踪，并获取追踪的显著性目标所在视角；
视角获取单元22在对获取的全景视频进行抽帧操作，以得到对应的全景视频帧，对全景视频帧进行显著性目标检测，采用预设的目标跟踪算法对检测到的显著性目标进行追踪，并获取追踪的显著性目标所在视角时，包括以下步骤：
(1)对全景视频进行抽帧操作，以得到对应的全景视频帧，对全景视频帧进行显著性目标检测；
在本发明实施例中，在对全景视频帧进行显著性目标检测时，当在当前被检测的全景视频帧中检测出预设的目标种类下的显著性目标时，将显著性值最大的目标设置为当前被检测全景视频帧的当前显著性目标，从而在检测到多个显著性目标时准确地获取当前被检测全景视频帧中的待追踪显著性目标，当在当前被检测全景视频帧中未检测出目标种类下的显著性目标时，确认当前被检测全景视频帧不存在显著性目标。目标种类可以根据全景相机预设的拍摄场景设置，以进一步提高目标检测的准确性。
(2)当在当前被检测全景视频帧中检测出当前显著性目标时，采用预设的目标跟踪算法依次在后续全景视频帧中对当前显著性目标进行追踪，并获取当前显著性目标所在视角；
在本发明实施例中，当在当前被检测全景视频帧中检测出当前显著性目标时，采用预设的目标跟踪算法依次在该帧后续的全景视频帧中对当前显著性目标进行追踪，并获取当前显著性目标所在视角。具体地，在采用预设的目标跟踪算法依次在该帧后续的全景视频帧中对当前显著性目标进行追踪，并获取当前显著性目标所在视角时，获取当前被检测全景视频帧中当前显著性目标追踪框的面积和中心坐标，根据中心坐标计算当前显著性目标的球面视点坐标，根据球面视点坐标，获取显著性目标所在视角对应的镜头图像，从而简化了显著性目标所在视角的记录方式。
在本发明实施例中，在获取追踪的显著性目标所在视角时，检测当前显著性目标的停止追踪事件，当检测到当前显著性目标的停止追踪事件时，跳转至步骤(1)，以继续进行显著性目标检测。
在本发明实施例中，当在当前被检测全景视频帧后续一全景视频帧的目标追踪过程中检测到当前显著性目标的停止追踪事件时，跳转至步骤(1)，以继续进行显著性目标检测，即对该后续一全景视频帧进行显著性目标检测，此时该后续一全景视频帧成为当前被检测全景视频帧，如此循环，以对所有全景视频帧进行目标检测和追踪。其中，停止追踪事件为丢失当前显著性目标或追踪框的面积小于预设面积，以准确地判定是否停止目标追踪。
视频生成单元23，用于根据前进方向视角和显著性目标所在视角，对全景视频进行剪辑，生成全景视频对应的目标视频。
在本发明实施例中，在获取或记录好抽取的全景视频帧的前进方向视角和显著性目标所在视角后，为了生成全景视频对应的目标视频，遍历全景视频帧，当遍历到的全景视频帧不存在显著性目标时，剪辑全景视频帧中前进方向视角对应的镜头图像，并设置镜头图像的播放速度，当全景视频帧存在显著性目标时，根据每个显著性目标被追踪到的帧数，确定剪辑全景视频帧中每个显著性目标所在视角的镜头图像，并设置镜头图像的播放速度，根据剪辑的镜头图像和设置的对应播放速度，生成全景视频对应的目标视频，从而实现全景视频的自动剪辑，同时保证目标视频中转场的流畅性、以及内容的有效性和趣味性。
优选地，当遍历到的全景视频帧不存在显著性目标时，剪辑全景视频帧中前进方向视角对应的镜头图像，设置镜头图像的播放速度为快速播放，从而快速定位到用户感兴趣的内容，提高全景视频播放内容的有效性和趣味性。
为了进一步提高全景视频播放时的流畅性、以及内容的有效性和趣味性，在根据每个显著性目标被追踪到的帧数确定剪辑全景视频帧中对应视角的镜头图像，并设置所述镜头图像的播放速度时，优选地，判断每个显著性目标被连续追踪到的帧数，当帧数小于设定阈值时，剪辑全景视频帧中前进方向视角对应的镜头图像，并设置镜头图像的播放速度为快速播放，当帧数大于设定阈值时，在第一时间段内剪辑全景视频帧中从前进方向视角过渡到显著性目标所在视角对应的镜头图像，设置镜头图像的播放速度为快速播放，在第二时间段内剪辑全景视频帧中显著性目标所在视角对应的镜头图像，设置镜头图像的播放速度为慢速播放，在第三时间段内剪辑全景视频帧中从显著性目标所在视角过渡到前进方向视角对应的镜头图像，设置镜头图像的播放速度为快速播放。
在本发明实施例中，全景视频剪辑装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例三：
图3示出了本发明实施例三提供的全景视频剪辑设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的全景视频剪辑设备3包括处理器30、存储器31以及存储在存储器31中并可在处理器30上运行的计算机程序32。该处理器30执行计算机程序32时实现上述全景视频剪辑方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，处理器30执行计算机程序32时实现上述装置实施例中各单元的功能，例如图2所示单元21至23的功能。
本发明实施例在获取全景相机拍摄的全景视频后，记录全景相机在移动拍摄时的前进方向视角，对获取的全景视频进行抽帧操作，以得到对应的全景视频帧，依次对全景视频帧进行显著性目标检测，采用预设的目标跟踪算法对检测到的显著性目标进行追踪，并获取追踪的显著性目标所在视角，根据前进方向视角和显著性目标所在视角，对全景视频进行剪辑，生成全景视频对应的目标视频，实现了全景视频的自动剪辑，同时保证了目标视频中转场的流畅性、以及内容的有效性和趣味性。
本发明实施例的全景视频剪辑设备可以为智能手机、个人计算机或全景相机本身等。该全景视频剪辑设备3中处理器30执行计算机程序32时实现全景视频剪辑方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述全景视频剪辑方法实施例中的步骤，例如，图1所示的步骤S101至S103。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图2所示单元21至23的功能。
在本发明实施例中，获取全景相机拍摄的全景视频后记录全景相机在移动拍摄时的前进方向视角，对获取的全景视频进行抽帧操作，以得到对应的全景视频帧，依次对全景视频帧进行显著性目标检测，采用预设的目标跟踪算法对检测到的显著性目标进行追踪，并获取追踪的显著性目标所在视角，根据前进方向视角和著性目标所在视角，对全景视频进行剪辑，生成全景视频对应的目标视频，实现了全景视频的自动剪辑，同时保证了目标视频中转场的流畅性、以及内容的有效性和趣味性。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种全景视频剪辑方法，其特征在于，所述方法包括下述步骤：
获取全景相机拍摄的全景视频，并记录所述全景相机在移动拍摄时的前进方向视角；
对获取的所述全景视频进行抽帧操作，以得到对应的全景视频帧，对所述全景视频帧进行显著性目标检测，采用预设的目标跟踪算法对检测到的所述显著性目标进行追踪，并获取追踪的所述显著性目标所在视角；
根据所述前进方向视角和所述显著性目标所在视角，对所述全景视频进行剪辑，生成所述全景视频对应的目标视频；
根据所述前进方向视角和所述显著性目标所在视角，对所述全景视频进行剪辑，生成所述全景视频对应的目标视频的步骤，包括：
遍历所述全景视频帧的全景视频帧，当所述全景视频帧不存在显著性目标时，剪辑全景视频帧中前进方向视角对应的镜头图像，并设置所述镜头图像的播放速度；
当所述全景视频帧存在显著性目标时，根据每个显著性目标被追踪到的帧数，确定剪辑全景视频帧中每个显著性目标所在视角的镜头图像，并设置所述镜头图像的播放速度；
根据剪辑的镜头图像和设置的对应播放速度，生成所述全景视频对应的目标视频。
2.如权利要求1所述的全景视频剪辑方法，其特征在于，记录所述全景相机在移动拍摄时的前进方向视角的步骤，包括：
根据所述全景视频获取所述全景相机移动拍摄时的前进方向，获取所述前进方向视角对应的镜头图像，所述全景视频为原始球面视频。
3.如权利要求1所述的全景视频剪辑方法，其特征在于，对获取的所述全景视频进行抽帧操作，以得到对应的全景视频帧，对所述全景视频帧进行显著性目标检测，采用预设的目标跟踪算法对检测到的所述显著性目标进行追踪，并获取追踪的所述显著性目标所在视角的步骤，包括：
对所述全景视频进行抽帧操作，以得到对应的全景视频帧，对所述全景视频帧进行显著性目标检测；
当在当前被检测全景视频帧中检测出当前显著性目标时，采用预设的目标跟踪算法依次在后续全景视频帧中对所述当前显著性目标进行追踪，并获取所述当前显著性目标所在视角。
4.如权利要求3所述的全景视频剪辑方法，其特征在于，获取所述当前显著性目标所在视角的步骤之后，还包括：
检测所述当前显著性目标的停止追踪事件，当检测到所述当前显著性目标的停止追踪事件时，跳转至对所述全景视频进行抽帧操作的步骤，以继续进行显著性目标检测。
5.如权利要求3所述的全景视频剪辑方法，其特征在于，对所述全景视频帧进行显著性目标检测的步骤，包括：
当在当前被检测全景视频帧中检测出预设的目标种类时，将显著性值最大的目标设置为所述当前被检测全景视频帧的当前显著性目标。
6.如权利要求4所述的全景视频剪辑方法，其特征在于，采用预设的目标跟踪算法依次在后续全景视频帧中对所述当前显著性目标进行追踪，并获取所述当前显著性目标所在视角的步骤，包括：
获取所述当前被检测全景视频帧中当前显著性目标追踪框的中心坐标，根据所述中心坐标计算所述当前显著性目标的球面视点坐标；
根据所述球面视点坐标，获取所述显著性目标所在视角对应的镜头图像。
7.如权利要求6所述的全景视频剪辑方法，其特征在于，所述停止追踪事件为丢失所述当前显著性目标或所述追踪框的面积小于预设面积。
8.如权利要求1所述的全景视频剪辑方法，其特征在于，根据每个显著性目标被追踪到的帧数，确定剪辑全景视频帧中每个显著性目标所在视角的镜头图像，并设置所述镜头图像的播放速度的步骤，包括：
判断每个显著性目标被连续追踪到的帧数，当所述帧数小于设定阈值时，剪辑全景视频帧中前进方向视角对应的镜头图像，并设置所述镜头图像的播放速度为快速播放；
当所述帧数大于所述设定阈值时，在第一时间段内剪辑全景视频帧中从前进方向视角过渡到显著性目标所在视角对应的镜头图像，设置所述镜头图像的播放速度为快速播放，在第二时间段内剪辑全景视频帧中显著性目标所在视角对应的镜头图像，设置所述镜头图像的播放速度为慢速播放，在第三时间段内剪辑全景视频帧中从显著性目标所在视角过渡到前进方向视角对应的镜头图像，设置所述镜头图像的播放速度为快速播放。
9.一种全景视频剪辑装置，其特征在于，所述装置包括：
视角记录单元，用于获取全景相机拍摄的全景视频，并记录所述全景相机在移动拍摄时的前进方向视角；
视角获取单元，用于对获取的所述全景视频进行抽帧操作，以得到对应的全景视频帧，对所述全景视频帧进行显著性目标检测，采用预设的目标跟踪算法对检测到的所述显著性目标进行追踪，并获取追踪的所述显著性目标所在视角；以及
视频生成单元，用于根据所述前进方向视角和所述显著性目标所在视角，对所述全景视频进行剪辑，生成所述全景视频对应的目标视频，所述根据所述前进方向视角和所述显著性目标所在视角，对所述全景视频进行剪辑，生成所述全景视频对应的目标视频，包括：
遍历所述全景视频帧的全景视频帧，当所述全景视频帧不存在显著性目标时，剪辑全景视频帧中前进方向视角对应的镜头图像，并设置所述镜头图像的播放速度；
当所述全景视频帧存在显著性目标时，根据每个显著性目标被追踪到的帧数，确定剪辑全景视频帧中每个显著性目标所在视角的镜头图像，并设置所述镜头图像的播放速度；
根据剪辑的镜头图像和设置的对应播放速度，生成所述全景视频对应的目标视频。
10.一种全景视频剪辑设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述方法的步骤。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述方法的步骤。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010015747.XA CN111163267B (zh) | 2020-01-07 | 2020-01-07 | 一种全景视频剪辑方法、装置、设备及存储介质 |
| US17/790,991 US20230040548A1 (en) | 2020-01-07 | 2021-01-07 | Panorama video editing method,apparatus,device and storage medium |
| EP21738819.8A EP4090001A4 (en) | 2020-01-07 | 2021-01-07 | METHOD, DEVICE, DEVICE AND STORAGE MEDIA FOR PANORAMIC VIDEO CLIPS |
| PCT/CN2021/070702 WO2021139731A1 (zh) | 2020-01-07 | 2021-01-07 | 一种全景视频剪辑方法、装置、设备及存储介质 |
| JP2022541890A JP2023509746A (ja) | 2020-01-07 | 2021-01-07 | パノラマビデオ編集方法、装置、機器及び記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010015747.XA CN111163267B (zh) | 2020-01-07 | 2020-01-07 | 一种全景视频剪辑方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111163267A CN111163267A (zh) | 2020-05-15 |
| CN111163267B true CN111163267B (zh) | 2021-12-21 |
Family
ID=70561750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010015747.XA Active CN111163267B (zh) | 2020-01-07 | 2020-01-07 | 一种全景视频剪辑方法、装置、设备及存储介质 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230040548A1 (zh) |
| EP (1) | EP4090001A4 (zh) |
| JP (1) | JP2023509746A (zh) |
| CN (1) | CN111163267B (zh) |
| WO (1) | WO2021139731A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111163267B (zh) * | 2020-01-07 | 2021-12-21 | 影石创新科技股份有限公司 | 一种全景视频剪辑方法、装置、设备及存储介质 |
| CN114095780A (zh) * | 2020-08-03 | 2022-02-25 | 影石创新科技股份有限公司 | 一种全景视频剪辑方法、装置、存储介质及设备 |
| CN114598810A (zh) * | 2022-01-18 | 2022-06-07 | 影石创新科技股份有限公司 | 全景视频的自动剪辑方法、全景相机、计算机程序产品及可读存储介质 |
| CN114598809A (zh) * | 2022-01-18 | 2022-06-07 | 影石创新科技股份有限公司 | 全景视频的视角选取方法、电子设备、计算机程序产品及可读存储介质 |
| CN116112782B (zh) * | 2022-05-25 | 2024-04-02 | 荣耀终端有限公司 | 录像方法和相关装置 |
| CN115294493A (zh) * | 2022-07-26 | 2022-11-04 | 影石创新科技股份有限公司 | 视角路径获取方法、装置、电子设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105847379A (zh) * | 2016-04-14 | 2016-08-10 | 乐视控股（北京）有限公司 | 全景视频运动方向追踪方法及追踪装置 |
| CN106358036A (zh) * | 2016-08-31 | 2017-01-25 | 杭州当虹科技有限公司 | 一种以预设视角观看虚拟现实视频的方法 |
| CN107633241A (zh) * | 2017-10-23 | 2018-01-26 | 三星电子（中国）研发中心 | 一种全景视频自动标注和追踪物体的方法和装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101694689B1 (ko) * | 2011-03-25 | 2017-01-12 | 삼성전자주식회사 | 동영상 데이터 생성 방법 및 이를 적용한 영상 촬영 장치 |
| JP5664605B2 (ja) * | 2012-07-26 | 2015-02-04 | 株式会社デンソー | ドライブ映像記録装置及びドライブ映像記録システム |
| US10230866B1 (en) * | 2015-09-30 | 2019-03-12 | Amazon Technologies, Inc. | Video ingestion and clip creation |
| US9888174B2 (en) * | 2015-10-15 | 2018-02-06 | Microsoft Technology Licensing, Llc | Omnidirectional camera with movement detection |
| US10277858B2 (en) * | 2015-10-29 | 2019-04-30 | Microsoft Technology Licensing, Llc | Tracking object of interest in an omnidirectional video |
| US10142540B1 (en) * | 2016-07-26 | 2018-11-27 | 360fly, Inc. | Panoramic video cameras, camera systems, and methods that provide data stream management for control and image streams in multi-camera environment with object tracking |
| US10147191B1 (en) * | 2016-07-26 | 2018-12-04 | 360fly, Inc. | Panoramic video cameras, camera systems, and methods that provide object tracking and object based zoom |
| US10609284B2 (en) * | 2016-10-22 | 2020-03-31 | Microsoft Technology Licensing, Llc | Controlling generation of hyperlapse from wide-angled, panoramic videos |
| CN106961597B (zh) * | 2017-03-14 | 2019-07-26 | 深圳Tcl新技术有限公司 | 全景视频的目标追踪显示方法及装置 |
| US11272160B2 (en) * | 2017-06-15 | 2022-03-08 | Lenovo (Singapore) Pte. Ltd. | Tracking a point of interest in a panoramic video |
| US10523913B2 (en) * | 2017-06-30 | 2019-12-31 | Apple Inc. | Packed image format for multi-directional video |
| TWI698117B (zh) * | 2018-08-07 | 2020-07-01 | 宏碁股份有限公司 | 多媒體檔案的產生方法與播放方法、多媒體檔案產生裝置與多媒體檔案播放裝置 |
| CN111163267B (zh) * | 2020-01-07 | 2021-12-21 | 影石创新科技股份有限公司 | 一种全景视频剪辑方法、装置、设备及存储介质 |
-
2020
- 2020-01-07 CN CN202010015747.XA patent/CN111163267B/zh active Active
-
2021
- 2021-01-07 WO PCT/CN2021/070702 patent/WO2021139731A1/zh unknown
- 2021-01-07 JP JP2022541890A patent/JP2023509746A/ja active Pending
- 2021-01-07 US US17/790,991 patent/US20230040548A1/en active Pending
- 2021-01-07 EP EP21738819.8A patent/EP4090001A4/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105847379A (zh) * | 2016-04-14 | 2016-08-10 | 乐视控股（北京）有限公司 | 全景视频运动方向追踪方法及追踪装置 |
| CN106358036A (zh) * | 2016-08-31 | 2017-01-25 | 杭州当虹科技有限公司 | 一种以预设视角观看虚拟现实视频的方法 |
| CN107633241A (zh) * | 2017-10-23 | 2018-01-26 | 三星电子（中国）研发中心 | 一种全景视频自动标注和追踪物体的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021139731A1 (zh) | 2021-07-15 |
| JP2023509746A (ja) | 2023-03-09 |
| EP4090001A4 (en) | 2023-05-17 |
| EP4090001A1 (en) | 2022-11-16 |
| US20230040548A1 (en) | 2023-02-09 |
| CN111163267A (zh) | 2020-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111163267B (zh) | 一种全景视频剪辑方法、装置、设备及存储介质 | |
| Lai et al. | Semantic-driven generation of hyperlapse from 360 degree video | |
| JP7048764B6 (ja) | パノラマビデオのターゲット追跡方法及びパノラマカメラ | |
| JP6043856B2 (ja) | Ｒｇｂｄカメラを用いた頭部ポーズ推定 | |
| JP6408019B2 (ja) | 画像デバイスにおける写真構図および位置ガイダンス | |
| US10488195B2 (en) | Curated photogrammetry | |
| KR102346437B1 (ko) | 증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들 | |
| CN107404615B (zh) | 图像录制方法及电子设备 | |
| US11636610B2 (en) | Determining multiple camera positions from multiple videos | |
| JP2007129480A (ja) | 撮像装置 | |
| CN113973190A (zh) | 视频虚拟背景图像处理方法、装置及计算机设备 | |
| Bell et al. | A non-linear filter for gyroscope-based video stabilization | |
| US20200349704A1 (en) | Control method and device for mobile platform, and computer readable storage medium | |
| WO2019104569A1 (zh) | 一种对焦方法、设备及可读存储介质 | |
| US20230014854A1 (en) | Systems and methods for generating time-lapse videos | |
| WO2022028407A1 (zh) | 一种全景视频剪辑方法、装置、存储介质及设备 | |
| CN110490131B (zh) | 一种拍摄设备的定位方法、装置、电子设备及存储介质 | |
| CN107645628B (zh) | 一种信息处理方法及装置 | |
| KR102126370B1 (ko) | 동작 인식 장치 및 방법 | |
| CN115589532A (zh) | 防抖处理方法、装置、电子设备和可读存储介质 | |
| US20190164298A1 (en) | System and Method for Tracking the Speed of an Object Using Video | |
| EP4040268A1 (en) | Object sharing method and apparatus | |
| CN112860360B (zh) | 一种画面拍摄方法、装置、存储介质及电子设备 | |
| WO2018195892A1 (zh) | 三维立体水印添加方法、装置及终端 | |
| CN107481324B (zh) | 一种虚拟漫游的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |