CN113906731B - 一种视频处理方法和装置 - Google Patents
一种视频处理方法和装置 Download PDFInfo
- Publication number
- CN113906731B CN113906731B CN202080041521.5A CN202080041521A CN113906731B CN 113906731 B CN113906731 B CN 113906731B CN 202080041521 A CN202080041521 A CN 202080041521A CN 113906731 B CN113906731 B CN 113906731B
- Authority
- CN
- China
- Prior art keywords
- user
- video
- target
- sub
- display object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种视频处理方法和装置,其中,所述方法包括:响应于用户的对象内容编辑操作,获取用户编辑的展示对象(101);响应于用户的对象位置编辑操作,获取所述展示对象在空间中的位置信息(102);获取合成的视频,所述合成的视频是:根据所述展示对象在空间中的位置信息和可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频,其中,所述目标视频为可移动平台在所述空间中移动时可移动平台的拍摄装置采集到的视频(103);显示所述合成的视频(104)。本发明仅需要用户输入展示对象和位置,以将用户输入的展示对象根据位置合成到视频中,降低了用户的操作复杂度。
Description
技术领域
本发明涉及视频处理技术领域,尤其涉及一种视频处理方法和装置。
背景技术
随着视频在日常生活中使用的越来越多,其处理方式也越来越丰富,用户可以向视频中添加信息。
现有技术中,用户可以在视频处理程序中向视频中添加各种对象,包括但不限于文字、物体、图像等。然而这些都需要专业用户具有专业的图像处理技术才可以完成,从而需要一种简单的图像处理方法以使用户向视频中添加对象。
发明内容
本发明实施例提供一种视频处理方法和装置,以解决向视频中添加对象的上述问题。
一方面,本发明实施例公开了一种视频处理方法,应用于遥控设备,包括:
响应于用户的对象内容编辑操作,获取用户编辑的展示对象;
响应于用户的对象位置编辑操作,获取所述展示对象在空间中的位置信息;
获取合成的视频,所述合成的视频是:根据所述展示对象在空间中的位置信息和可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频,其中,所述目标视频为可移动平台在所述空间中移动时可移动平台的拍摄装置采集到的视频;
显示所述合成的视频。
另一方面,本发明实施例还公开了一种视频处理装置,所述装置包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时用于:
响应于用户的对象内容编辑操作,获取用户编辑的展示对象;
响应于用户的对象位置编辑操作,获取所述展示对象在空间中的位置信息;
获取合成的视频,所述合成的视频是:根据所述展示对象在空间中的位置信息和可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频,其中,所述目标视频为可移动平台在所述空间中移动时可移动平台的拍摄装置采集到的视频;
显示所述合成的视频。
在本发明实施例中,响应于用户的对象内容编辑操作,获取用户编辑的展示对象;响应于用户的对象位置编辑操作,获取所述展示对象在空间中的位置信息;获取合成的视频,所述合成的视频是:根据所述展示对象在空间中的位置信息和可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频,其中,所述目标视频为可移动平台在所述空间中移动时可移动平台的拍摄装置采集到的视频;显示所述合成的视频。本发明仅需要用户输入展示对象和位置,以将用户输入的展示对象根据位置合成到视频中,降低了用户的操作复杂度。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例一中的一种视频处理方法的步骤流程图;
图2示出了本发明实施例一中的另一种视频处理方法的步骤流程图;
图3示出了本发明实施例一中的另一种视频处理方法的步骤流程图;
图4示出了本发明实施例一中的另一种视频处理方法的步骤流程图;
图5示出了本发明实施例一中的另一种视频处理方法的步骤流程图;
图6示出了本申请实时例二中的一种视频处理装置的结构框图。
具体实施例
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明用于接收用户编辑的展示对象和展示对象在空间中的位置信息,以合成视频,合成的视频中展示对象是根据空间中的位置信息投影到视频中的,即展示对象是不是直接置于二维图像中,展示对象在合成的视频中是一种立体展示。本发明可以应用于视频处理应用程序,用户可以将目标视频导入视频处理应用程序中,并输入展示对象,系统可以自动获取到展示对象在空间中的位置信息,降低了用户的操作复杂度。
下面通过列举几个具体的实施例详细介绍本发明提供的一种视频处理方法和装置。
参照图1,示出了本发明实施例一的一种视频处理方法的步骤流程图,具体可以包括如下步骤:
步骤101,响应于用户的对象内容编辑操作,获取用户编辑的展示对象。
其中,对象内容编辑操作可以为用户输入展示对象的任意操作,例如,提供一个输入框,用户可以在该输入框中输入文字;又例如,提供一个对象库,并在待选区域中展示该对象库中的对象,用户可以从待选区域中选取其中一个对象作为展示对象。当然,用户还可以取消之前已经选取的展示对象,并重新选取新的展示对象。
其中,展示对象可以包括任意可展示的对象,例如,文字、图片等,文字内容、图片内容、文字颜色、字体、图片形状等都不限定。
步骤102,响应于用户的对象位置编辑操作,获取所述展示对象在空间中的位置信息。
在接收到用户编辑的展示对象之后,可以为该展示对象确定在空间中的位置信息,空间中的位置信息由空间中的三维坐标表示或经纬度表示。本发明对其不加以限制。空间中的位置信息可以是用户直接编辑的空间位置,或,在目标视频的图像中确定的像素点位置投影到空间中的位置信息,或,在目标视频中自动识别的某一对象的空间位置信息。
其中,对象位置编辑操作用于输入一个位置,该位置可以是空间中的三维坐标,从而展示对象在空间中的位置信息为用户输入的空间中的三维坐标;用户输入的位置也可以是用户在目标视频中任一图像帧中确定的像素位置,该像素位置需要投影到空间中的位置信息,从而投影到的空间中的位置信息为展示对象在空间中的位置信息。
本发明不仅可以由用户编辑展示对象还可以由用户输入位置,以使展示对象展示在用户指定的位置上,使得合成的视频的效果更加符合用户需求。
步骤103,获取合成的视频,所述合成的视频是:根据所述展示对象在空间中的位置信息和可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频,其中,所述目标视频为可移动平台在所述空间中移动时可移动平台的拍摄装置采集到的视频。
具体地,首先,根据展示对象在空间中的位置信息和位姿信息确定展示对象在目标视频中每一帧图像中的投影位置和投影姿态;然后,根据展示对象在每一帧图像中的投影位置和投影姿态将展示对象投影到每一帧图像中以获取目标合成的视频。
其中,目标视频可以是可移动平台的拍摄装置拍摄的视频,可移动平台可以是任意可以在空间中移动的设备,例如,飞行器、滑动设备、汽车、火车等,可移动平台上安装有拍摄设备,拍摄装置在拍摄视频过程中随着可移动平台的移动,而使得拍摄装置的位姿信息不同。拍摄设备可以为任意具有拍摄功能的设备,例如,摄像机、具有拍摄功能的手机、平板电脑等。
其中,拍摄装置的位姿信息包括拍摄装置的位置和姿态,由于拍摄装置的位置由平移改变,姿态由旋转改变,从而拍摄设备的位姿信息可以用平移矩阵和旋转矩阵来表示,拍摄装置的位姿信息用于表示在三维空间中拍摄装置的坐标系与世界坐标系之间的位移和旋转关系。
步骤104,显示所述合成的视频。
具体地,可以将合成的视频展示给用户,以使用户查看合成的效果,若用户对合成的效果满意,则可以存储、分享该合成的视频;若用户对合成的效果不满意,则可以删除该合成的视频。
可选地,参照图2所示的另一种视频处理方法的步骤流程图,所述方法还包括步骤105:
步骤105,响应于用户的视频选取操作,根据所述视频选取操作从所述可移动平台的拍摄装置采集的视频中确定所述目标视频。
其中,视频选取操作用于从可移动平台的拍摄装置采集的视频中选取目标视频,具体地,可移动平台的拍摄装置采集的视频可以按照可移动平台分类展示或混合展示,以使用户从展示的视频中选取目标视频。用户可以直接从展示的视频中选取其中一个视频作为目标视频,用户也可以输入可移动平台的标识,然后从过滤之后的视频中选取其中一个视频作为目标视频。
可以理解,视频选取操作可以为直接对目标视频的选取操作,也可以为对可移动平台的选取操作和对目标视频的选取操作的结合。其中,选取操作均可以为点击、长按、拖动等操作。
可选地,所述视频选取操作包括第一可移动平台选取子操作,所述步骤105包括子步骤1051:
子步骤1051,响应于用户的所述第一可移动平台选取子操作,在多个可移动平台中确定目标可移动平台,并将所述目标可移动平台的拍摄装置采集的视频确定为所述目标视频。
其中,第一可移动平台选取子操作用于从展示的多个可移动平台中选取其中一个可移动平台视频作为目标可移动平台。第一可移动平台选取子操作可以是用户对其中一个可移动平台的点击操作、拖动操作、长按操作等。
具体地,首先,向用户展示可选的可移动平台,用户可以选取其中一个可移动平台,或,直接在输入框中输入可移动平台的标识;然后,展示用户选取的可移动平台拍摄的视频,若用户选取的可移动平台拍摄的视频只有一个,则可以直接将该视频作为目标视频;若用户选取的可移动平台拍摄的视频有多个,还需要提供针对每个可移动平台的选取控件,以使用户选取其中一个视频作为目标视频。
本发明可以向用户提供可移动平台的选取功能,在存在大量可移动平台时,可以辅助用户快速过滤出目标视频。
可选地,所述视频选取操作包括第一视频选取子操作,所述步骤105包括子步骤1052:
子步骤1052,响应于用户在视频集中的所述第一视频选取子操作,将用户选取的视频确定为目标视频,所述视频集包括至少一个可移动平台的拍摄装置采集的视频。
其中,第一视频选取子操作用于从展示的视频集中选取其中一个视频作为目标视频。第一视频选取操作可以是用户对其中一个视频的点击操作、拖动操作、长按操作等。
本发明还可以将所有可移动平台拍摄的所有视频都展示在待选区域中,以使用户从中选取其中一个视频作为目标视频。在用户不记得可移动平台的标识时,可以辅助用户直接选取视频,提高目标视频的选取成功率。
可选地,所述视频选取操作包括第二可移动平台选取子操作和第二视频选取子操作,所述步骤105包括子步骤1053至1054:
子步骤1053,响应于用户的所述第二可移动平台选取子操作,将用户选取的可移动平台的拍摄装置采集的视频作为候选视频进行展示。
其中,第二可移动平台选取子操作用于从展示的多个可移动平台中选取其中一个可移动平台视频作为目标可移动平台。第二可移动平台选取子操作可以是用户对其中一个可移动平台的点击操作、拖动操作、长按操作等。
可以理解,用户可以选取一个可移动平台,也可以选取多个可移动平台。若用户选取一个可移动平台,则将该可移动平台采集的视频进行展示;若用户选取多个可移动平台,则将多个可移动平台采集的视频按照可移动平台分别进行展示,或,将多个可移动平台采集的视频混合展示在一起。
子步骤1054,响应于用户对所述候选视频的所述第二视频选取子操作,将用户选取的视频确定为所述目标视频。
其中,第二视频选取子操作用于从用户选取的可移动平台采集的视频中选取目标视频。第二视频选取操作可以是用户对其中一个视频的点击操作、拖动操作、长按操作等。
本发明可以使用户先选取可移动平台再选取视频,通过可移动平台先过滤出一部分候选视频,使得用户选取视频时的可选视频数量减小,避免用户从大量视频中直接选取视频,有助于提高用户选取视频的速度。
可选地,所述视频选取操作包括片段选取子操作,所述步骤105包括子步骤1055:
子步骤1055,响应于用户的所述片段选取子操作,在待剪辑视频中确定视频片段作为所述目标视频,其中,所述待剪辑视频包括如下的一种:用户在一个或多个可移动平台的拍摄装置采集的视频中选取的视频、用户选取的可移动平台的拍摄装置采集的视频、用户从选取的可移动平台的拍摄装置采集的视频中选取的视频。
其中,片段选取子操作用于从一个或多个待剪辑视频中选取多帧图像以组成目标视频。片段选取操作可以通过设置待剪辑视频中的起始图像和结束图像实现,从而目标视频为该待剪辑视频中起始图像和结束图像之间的图像构成的视频片段。片段选取操作还可以通过选取每帧图像实现,从而目标视频为在待剪辑视频中选取若干连续或不连续的图像构成的视频片段。片段选取操作还可以通过设置待剪辑视频中的起始播放时间和结束播放时间实现,从而目标视频为起始播放时间和结束播放时间之间的视频片段。
当然,还可以将基于上述三种方式获取的多个视频片段拼接为目标视频。
上述待剪辑视频可以类似子步骤1051选取目标视频的过程,是用户选取的可移动平台的拍摄装置采集的视频,也可以类似子步骤1052选取目标视频的过程,是用户在一个或多个可移动平台的拍摄装置采集的视频中选取的视频,还可以类似子步骤1053至1054选取目标视频的过程,是用户从选取的可移动平台的拍摄装置采集的视频中选取的视频。
本发明实施例还可以通过剪辑的方式获取目标视频,以使目标视频更加符合用户的需求。
可选地,所述步骤101包括子步骤1011:
子步骤1011,响应于用户的对象内容编辑操作,获取用户编辑的展示对象对应的三维模型;所述合成的视频为将所述展示对象对应的所述三维模型投影到所述目标视频中每一帧图像上得到的视频。
在一种示例中,用户可以直接在展示的三维模型中选取其中一个三维模型;在另一种示例中,用户可以在输入三维模型的标识以得到对应的三维模型。
可选地,所述对象内容编辑操作包括第一输入子操作;所述子步骤1011包括子步骤10111:
子步骤10111,响应于用户的所述第一输入子操作,获取用户输入的对象标识,并将所述对象标识对应的三维模型确定为所述展示对象。
其中,第一输入操作用于输入对象标识,用户可以在输入框中输入对象标识,从而从三维模型库中获取该对象标识对应的三维模型。对象标识是展示对象的唯一标识,可以包括如下的至少一种:数字、字母、特殊符号。
可以理解,三维模型可以是任意物体、生物、文字等的三维模型。
可选地,所述对象内容编辑操作包括第二输入子操作和第一模型选取子操作;所述子步骤1011包括子步骤10112至10113:
子步骤10112,响应于用户的所述第二输入子操作,获取用户输入的对象标识,并将所述对象标识对应的三维模型作为候选模型进行展示。
在实际应用中,同一个对象标识可以对应有多个不同类型、样式的三维模型,从而用户可以从同一个对象标识对应的多个三维模型中选取其中一个作为展示对象。例如,对于文字,可以按照字体分为:楷体的三维模型、宋体的三维模型、黑体的三维模型等;还可以按照颜色分为:红色的三维模型、黑色的三维模型、绿色的三维模型等;还可以按照样式分为:正体的三维模型、斜体的三维模型、加粗的三维模型等。
子步骤10113,响应于用户对所述候选模型的所述第一模型选取子操作,将用户选取的候选模型确定为所述展示对象。
其中,第一模型选取子操作用于从指定的对象标识的多个三维模型中选取其中一个三维模型作为展示对象。第一模型选取子操作可以是对三维模型的点击、长按、拖动等操作。
本发明可以针对同一对象标识提供不同的三维模型,以供用户选取,有助于提高三维模型的丰富性和多样性,进而更能满足用户的需求。
可选地,所述对象内容编辑操作包括:第二模型选取子操作,所述子步骤1011包括子步骤10114至10115:
子步骤10114,展示多个候选三维模型。
其中,候选三维模型可以是任意三维模型,供用户选取。可以将候选三维模型按照一定顺序在待选区域中展示,以供用户选取。
子步骤10115,响应于用户的所述第二模型选取子操作,将用户在多个候选三维模型中选取的任意所述三维模型确定为所述展示对象。
其中,第二模型选取子操作用于从多个候选三维模型中选取其中一个三维模型作为展示对象。第二模型选取子操作可以是对三维模型的点击、长按、拖动等操作。
本发明可以将提供的所有候选三维模型展示给用户,以供用户选取,有助于提高用户选择的灵活性。
可选地,所述展示对象包括数字、字母、特殊符号、物体标识中的至少一种。
其中,物体标识可以是物体的名称、编号等。
具体地,展示对象可以是数字、字母、特殊符号、物体标识中的一种,也可以是其中两种以上的组合,本发明实施例对其不加以限制。
可选地,所述子步骤1011之后还包括子步骤1012:
子步骤1012,响应于用户的属性编辑子操作,获取用户输入的对象属性信息,并根据所述对象属性信息对所述展示对象进行设置,所述对象属性信息包括如下的至少一种:展示对象的尺寸、展示对象的透明度、展示对象的虚化程度、展示对象的颜色。
其中,属性编辑子操作用于调整展示对象的属性。具体地,展示对象的尺寸可以通过拖动展示对象的边界直接调整,展示对象的透明度和虚化程度均可以通过滑动条或直接输入的方式调整,展示对象的颜色可以从颜色盘中选取。
本发明可以灵活的调整展示对象的属性,有助于丰富合成的视频的效果。
可选地,所述步骤102包括子步骤1021:
子步骤1021,响应于用户的对象位置编辑操作,获取用户在目标图像帧中编辑的目标像素位置,并根据所述目标像素位置在空间中的投影位置确定所述展示对象在所述空间中的所述位置信息,所述目标图像帧是所述目标视频中的一图像帧。
其中,目标像素位置在空间中的投影位置是目标像素位置在空间中的位置,可以根据拍摄装置的位姿信息和目标像素位置确定。目标像素位置可以是用户选取的位置,也可以是根据预设规则确定的位置。从而,对象位置编辑操作可以是对其中一个像素位置的点击操作、长按操作或拖动操作等。目标像素位置是目标图像帧中用像素表示的位置,可以用二维坐标表示,图像可以用二维矩阵表示,其中一个维度用于表示图像的行数,另一个维度标识图像的列数。例如,目标像素位置(10,20)代表图像中第10行第20列的像素位置。
目标像素位置是基于目标图像帧选取的,目标图像帧可以是目标视频中的任一帧图像,也可以是基于一定原则确定的图像帧。当目标图像帧为任一帧图像时,合成的视频的效果较差;当目标图像帧为按照一定原则确定的图像帧,合成的视频的效果较好。
可选地,所述对象位置编辑操作包括第一对象位置编辑子操作或第二对象位置编辑子操作,所述子步骤1021包括子步骤10211或10212:
子步骤10211,响应于用户的所述第一对象位置编辑子操作,根据用户在所述目标图像帧中选取的像素点在所述目标图像帧中的位置确定所述目标像素位置。
其中,第一对象位置编辑子操作用于在目标图像帧中选取像素点,第一对象位置编辑子操作可以是对其中一个像素点的点击、长按、拖动等操作,也可以在是像素点位置的输入操作。
子步骤10212,响应于用户的所述第二对象位置编辑子操作,根据用户在所述目标图像帧中选中的像素点区域在所述目标图像帧中的位置确定所述目标像素位置。
其中,第二对象位置编辑子操作用于在目标图像帧中选取像素点区域,第二对象位置编辑子操作可以是用户在目标图像帧中圈定一个范围的操作,或对像素点区域的边界输入操作。例如,对于为矩形区域的像素点区域,用户既可以直接圈出一个矩形区域,也可以输入矩形区域的起始行和结束行、起始列和结束列。
可以理解,像素点区域的中心位置可以作为目标像素位置,也可以根据实际应用将像素点区域内的任意位置确定为目标像素位置。
本发明可以通过多种方式选取目标像素位置,实现了目标像素位置的多样化选取。
可选地,所述方法还包括子步骤10213:
子步骤10213,若所述用户选取的像素点或像素点区域指示的空间中物体为静止物体,或,用户选取的像素点区域中的特征点的数目小于或等于预设特征点数阈值,则展示第三提示信息,所述第三提示信息用于提示用户所述像素点或所述像素点区域不可选,或,提示用户选取其他像素点或像素点区域。
其中,第三提示信息可以为任意形式的信息,包括:文字、声音、图案、颜色等,例如,可以展示文字“该像素点不可选,请选取其余像素点”或“该像素点区域不可选,请选取其余像素点区域”,或跳出代表不可选的图案等。
可以理解,在用户选取的像素点或像素点区域对应一个静止物体时,若将展示对象展示在该位置,会导致该展示对象一直处于静止状态,从而使得合成的视频效果较差,本发明通过识别像素点或像素点区域是否对应静止物体,从而提示用户选取一个非静止物体的位置,从而有助于提高合成的视频效果。
其中,特征点可以通过HarrisCorner、HOG(Histogram of Oriented Gradient,方向梯度直方图)等特征提取方法获取得到,如果用户选取的像素点区域中的特征点的数目小于或等于预设特征点数阈值,则代表特征点不够多,说明纹理太弱,不具有跟踪性,从而提示用户该区域不可选。
可选地,所述子步骤10212包括子步骤102121:
子步骤102121,将用户在所述目标图像帧中选取的像素点区域的中心位置确定为所述目标像素位置。
其中,像素点的中心位置可以为像素点区域中各像素点的位置的平均值,还可以是根据像素点区域的几何形状确定几何形状的中心位置。
可选地,所述子步骤10212包括子步骤102122至102123:
子步骤102122,展示用户在所述目标图像帧中选取的像素点区域,并在所述像素点区域中标记展示特征点。
具体地,可以在目标图像帧中标记展示像素点区域的边界像素点,例如,将像素点区域的边界像素点用特殊的颜色展示或加粗展示等。同样,特征点可以用特殊颜色展示,或加粗展示等。
子步骤102123,响应于用户在所述像素点区域中的特征点选取子操作,根据用户选取的特征点的位置确定目标像素位置。
其中,特征点选取子操作用于从像素点区域中选取其中一个特征点,特征点选取子操作可以为对其中一个特征点的点击操作、长按操作、拖动操作等。
本发明可以标记展示像素点区域和像素点区域内的特征点,以辅助用户选取特征点,从而确定目标像素位置。
可选地,所述子步骤102121包括子步骤1021211:
子步骤1021211,根据用户在所述目标图像帧中选中的像素点区域内的特征点的位置确定将所述像素点区域的重心位置,并将所述重心位置确定为目标像素位置。
具体地,可以将像素点区域内的特征点的位置求平均得到目标像素位置。例如,若像素点区域内的特征点存在三个:P1(x1,y1)、P2(x2,y2)、P3(x3,y3),其中,x1和y1为第一个特征点P1的行号和列号,x2和y2为第二个特征点P2的行号和列号,x3和y3为第三个特征点P3的行号和列号,从而可以分别计算行号的平均值和列号的平均值得到中心位置的行号和列号:(x1+x2+x3)/3、(y1+y2+y3)/3。
可选地,所述方法还包括子步骤1022:
子步骤1022,将用户编辑的展示对象展示在所述目标图像帧的所述目标像素位置。
本发明可以在编辑过程中将用户编辑的展示对象展示在目标像素位置,以向用户展示效果,使用户对效果有一个预期,从而若用户对效果不满意时,可以重新选取目标像素位置,使得用户可以根据预期调整目标像素位置。
可选地,所述方法还包括子步骤1023至1024:
子步骤1023,展示所述目标视频中的目标子视频,所述目标子视频包括:拍摄装置的运动状态满足预设的运动条件时拍摄装置采集到的视频。
其中,预设的运动条件是指拍摄装置在拍摄时发生了位移,而非静止或仅在原地摇头。目标子视频由多个连续图像帧构成,这多个连续图像需满足两个条件。第一个条件是,相邻的图像帧之间特征点的平均平移量之和大于或等于预设的距离阈值,以确保足够的平移量。第二个条件是,多个连续图像帧的视差大于或等于预设的视差阈值,可过滤拍摄装置在原地摇头导致的平移量。此外,多个连续图像帧的数量需大于或等于预设的图像数量阈值。由于多个连续图像帧具有足够大的移动量,因此连续图像帧的数量过少就意味着拍摄装置在较短的时间内发生了较大的移动,会造成连续观测到的特征点数量较少而不便于计算。通过限定图像数量阈值,可确保在多个连续图像帧中能够连续观测到的特征点的数量足够多,保证兴趣点计算的准确度。
子步骤1024,响应于用户在所述目标子视频中的第一图像帧选取子操作,将用户在所述目标子视频中选取的图像帧确定为目标图像帧。
其中,第一图像帧选取子操作用于从目标子视频中选取目标图像帧。在实际应用中,可以将目标子视频标记展示,以使用户选取其中一帧图像作为目标图像帧。用户可以点击、长按、拖动其中一个图像帧,或,点击每个图像帧的选取控件。
本发明可以从视差比较大的目标子视频中确定目标图像帧,由于视差较大代表拍摄目标子视频时拍摄装置的运动较明显,从而将展示对象合成到该目标子视频中会使得展示对象在合成的视频中表现出明显的运动性和变化,有助于提高合成的视频的丰富性。
可选地,所述方法还包括子步骤1025:
子步骤1025,响应于用户在其余子视频中的第二图像帧选取子操作,展示第一提示信息,所述第一提示信息用于提示所述其余子视频不可选,所述其余子视频包括目标子视频之外的视频。
其中,第二图像帧选取子操作用于在其余子视频中选取目标图像帧,第二图像帧选取子操作在本发明中是不合法的,当用户进行了第二图像帧选取子操作时,不会将用户选取的视频帧确定为目标视频,并会提示其余子视频不可选。第一提示信息可以为任意形式的信息,包括:文字、声音、图案、颜色等,例如,可以展示文字“该图像帧不可选”,或跳出代表不可选的图案等。
本发明可以在用户选取了非目标子视频中的图像帧时提示用户不可选,实现了人性化的交互。
可选地,所述第一提示信息包括第一提示子信息,所述子步骤1025包括子步骤10251:
子步骤10251,响应于用户在其余子视频中的第二图像帧选取子操作,展示所述第一提示子信息,所述第一提示子信息用于提示用户在所述目标子视频中选取图像帧。
其中,第一提示信息可以为任意形式的提示,标记展示目标子视频之后,并将提示用户目标子视频中选取目标图像帧。第一提示信息包括:文字、声音、图案、颜色等,例如,将目标子视频中的每帧图像采用蒙版标记展示,并展示文字“请选取有蒙版的目标子视频中选取目标图像帧”。
本发明可以在用户选取了不可选的图像帧时,可以提示用户可选的目标子视频,进一步实现了更加友好的交互。
可选地,所述将用户在所述目标子视频中选取的图像帧确定为所述目标图像帧,包括子步骤10241至10242:
子步骤10241,展示所述目标子视频中的关键帧。
其中,关键帧是目标子视频中包含信息较多的图像帧,目标子视频中可能包括一个或多个关键帧。具体地,可以将关键帧标记展示,例如,将关键帧以较大尺寸展示,或关键帧上覆盖一定颜色的蒙版。
子步骤10242,响应于用户在所述关键帧中的第三图像帧选取子操作,将用户选中的关键帧确定为所述目标图像帧,并展示所述目标图像帧。
其中,第三图像帧选取子操作用于从多个关键帧中选取其中一个关键帧作为目标图像帧。第三图像帧选取子操作可以是对关键帧点击、长按、拖动等的操作。
在展示目标图像帧时可以将目标图像帧从目标子视频中提取出来,并在单独的区域中展示;也可以在继续在目标子视频中展示,但需要标记展示目标图像帧。例如,将目标图像帧以较大尺寸展示,或以一定颜色蒙版遮盖。
可选地,所述方法还包括子步骤10243:
子步骤10243,响应于用户在其余图像帧中的第四图像帧选取子操作,展示第二提示信息,所述第二提示信息用于提示所述其余图像帧不可选,所述其余图像帧包括所述目标子视频中所述关键帧之外的图像帧。
其中,第四图像帧选取子操作用于从目标子视频中关键帧之外的图像帧中选取图像帧,该第四图像帧选取子操作在本发明中是不合法的,当用户进行了该第四图像帧选取子操作时,选取目标图像帧失败,并通过第二提示信息提示用户该图像帧不可选。第二提示信息可以为任意形式的信息,包括:文字、声音、图案、颜色等,例如,可以展示文字“该图像帧不可选”,或跳出代表不可选的图案等。
本发明可以提供信息较多的关键帧供用户选取,从而使得选取的目标图像帧包括更多的信息,以向用户提供更多的可选像素位置。
可选地,所述10241包括子步骤102411:
子步骤102411,在所述目标子视频中标记展示所述关键帧。
具体地,标记展示用于将关键帧明显区别于目标子视频中的其与图像帧。例如,将关键帧以较大尺寸展示,或关键帧上覆盖一定颜色的蒙版。
本发明实施例可以标记关键帧,以使用户更加容易看到关键帧,方便用户选取目标图像帧。
可选地,所述关键帧满足如下至少一个条件:
当前的所述关键帧与前一个所述关键帧之间的平移量大于平移阈值;
当前的所述关键帧与前一个所述关键帧之间的旋转量大于旋转阈值;
所述关键帧中跟踪匹配成功的所述特征点的总数小于匹配阈值;
所述关键帧上的所述特征点的数量小于数量阈值。
其中,平移信息的值是拍摄装置拍摄当前关键帧的位置与拍摄前一个关键帧的位置之间的距离。可以理解,平移信息的值越大,代表拍摄装置在拍摄时在平移,平移信息的值可以通过拍摄装置在拍摄每个关键帧的位姿信息计算得到。
旋转信息的值是拍摄装置拍摄当前关键帧与拍摄前一个关键帧时拍摄装置旋转的角度。可以理解,旋转信息的值越大,代表代表拍摄装置在拍摄时在旋转,旋转信息的值可以通过拍摄装置在拍摄每个关键帧的位姿信息计算得到。
关键帧中跟踪匹配成功的特征点是同时出现在不同关键帧中的特征点的数目。可以理解,跟踪匹配成功的特征点越少,图像帧中的特征点越少,代表该图像帧无法继续跟踪,需要基于该图像帧重新进行特征点计算。
可选地,所述展示所述目标图像帧,包括子步骤102421:
子步骤102421,在展示的所述目标图像帧中标记所述目标图像帧中的特征点。
在展示目标图像帧时,可以在目标图像帧中标记特征点,标记特征点的方式包括但不限于:用特殊颜色标记、圈出特征点、加重特征点的颜色等。
本发明可以通过标记特征点,提示用户可以选取特征点作为目标像素位置,方便用户选取,提高了目标像素位置的选取效率。
可选地,参照图3所示的另一种视频处理方法的步骤流程图,所述方法还包括步骤106:
步骤106,响应于用户的对象内容编辑操作,在编辑界面中展示用户编辑的展示对象。
其中,编辑界面是用户编辑对象的界面,编辑界面可以是一个输入框。在用户编辑过程中可以展示用户编辑的展示对象,从而使得用户可以实时的看到输入的展示对象是否正确。
可选地,所述目标视频是可移动平台对所述空间中的目标对象进行跟踪时由所述拍摄装置拍摄获取的,所述获取所述展示对象在空间中的位置信息,包括子步骤1026至1027:
子步骤1026,获取可移动平台的拍摄装置的跟踪对象的位置信息。
在实际应用中,可移动平台可以围绕或移动的方式跟踪一个对象进行拍摄,该对象通常代表了拍摄的目标视频的主题,从而用户可以编辑主题,主题的展示位置通常可以在该对象所在位置的周围范围内。
子步骤1027,根据所述追踪对象的位置信息确定所述展示对象在所述空间中的位置信息。
具体地,可以根据追踪对象的位置信息确定一个不会覆盖追踪对象的位置,作为目标像素位置,或,直接将追踪对象的位置信息确定为目标像素位置,例如,根据该追踪对象的位置信息确定该追踪对象的前方位置或后方位置或左方位置或右方位置,作为目标像素位置;然后,将目标像素位置在空间中的投影位置确定为展示对象在空间中的位置信息。
本发明可以根据追踪对象的位置信息确定展示对象在空间中的位置信息,在追踪拍摄的场景下可以避免用户编辑位置信息,进一步降低了用户操作复杂度。
可选地,参照图4所示的另一种视频处理方法的步骤流程图,所述方法还包括步骤107:
步骤107,响应于用户对所述展示对象的位置调整操作,调整所述展示对象在空间中的位置信息。
在本发明中,用户还可以对展示对象在空间中的位置信息直接进行调整,用户将调整之后的位置信息进行确认,以使调整后的位置信息生效,原位置信息失效。具体地,用户可以在输入框中输入调整后的空间中的位置信息对应的三维坐标,或,在输入三维坐标的调整量,或,直接拖动展示对象。
本发明可以使用户灵活调整展示对象的位置信息,以使合成的视频更加符合用户需求。
可选地,参照图5所示的另一种视频处理方法的步骤流程图,所述方法还包括步骤108:
步骤108,响应于用户对所述展示对象的朝向调整操作,调整所述展示对象的朝向;
所述根据所述展示对象在空间中的位置信息和可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频,包括:根据所述展示对象在空间中的位置信息、可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息和调整之后的所述展示对象的朝向,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频。
其中,展示对象的朝向用于表征所述展示对象的空间位置和所述目标像素位置在空间中的投影位置之间的相对位姿关系,不同的朝向,展示对象在不同图像帧中的投影不同。在用户将展示对象添加到目标图像中时,可以将展示对象的朝向设置为默认朝向。展示对象的默认朝向可以是展示对象的任意朝向。
朝向调整操作用于调整展示对象的朝向,具体地,用户可以对展示对象进行旋转,或,在输入框中输入旋转参数,旋转参数可以包括旋转角度和方向。
在实际应用中,用户可以仅调整展示对象的位置或朝向,也可以同时调整朝向和位置。本发明实施例可以由用户灵活的调整展示对象的朝向,以使合成的视频符合用户需求。
可以理解,所述展示对象在空间中的位置信息是所述展示对象的空间位置在坐标系下的坐标位置,所述展示对象的朝向是所述展示对象在所述坐标系下的朝向;其中,所述坐标系为所述目标像素位置在空间中的投影位置为原点建立的坐标系。
可以理解,坐标系是三维坐标系,坐标位置是基于三维坐标系中的三维坐标,展示对象的空间位置的朝向可以用基于三维坐标系中的向量表示。例如,展示对象的空间位置在坐标系下的坐标位置可以为(10,12,30),可以看出,展示对象的空间位置距离目标像素位置在空间中的投影位置之间在x轴上的距离为10,在y轴上的距离为12,在z轴上的距离为30。又例如,展示对象的空间位置在所述坐标系下的朝向可以为(-10,-12,-30),代表展示对象面对目标像素位置在空间中的投影位置。
可选地,所述107包括子步骤1071至1073:
子步骤1071,响应于用户在操作界面上的点击操作,获取所述点击操作对应的初始触点位置。
其中,操作界面为用于调整展示对象的位姿的界面。在一种示例中,可以单独启动一个子窗口作为操作界面,该子窗口中展示对象以初始位姿展示,用户在该子窗口中调整展示对象的位姿之后,可以点击该子窗口中的保存控件,以保存调整后的位姿,在调整之后可以关闭该子窗口,展示对象以调整后的位姿在目标图像帧中展示,以使用户查看效果。
在另一种示例中,可以直接在目标图像帧中调整位姿,目标图像帧所在的界面作为操作界面。
上述两种操作界面中,用户可以点击展示对象上的任意位置,作为初始触点位置。
子步骤1072,响应于用户在所述操作界面上的拖动操作,获取所述拖动操作对应的触点位置变化量。
其中,触点位置变化量是在操作界面上的变化量。触点位置变化量可以用像素点的数目表示,触点位置变化量是矢量,不仅代表大小还代表方向。触点位置变化量可以用二维坐标表示。
子步骤1073,根据所述触点位置变化量,调整所述展示对象在空间中的位置信息。
其中,空间位置变化量是在空间中的位置变化量,空间位置变化量可以用空间距离表示,空间位置变化量是矢量,不仅代表大小还代表方向。空间位置变化量可以用三维坐标表示。
具体地,可以预设二维坐标和三维坐标之间的转换关系,从而根据触点位置变化量确定对应的空间位置变化量,例如,可以通过2×3的矩阵将二维坐标转换为三维坐标,然后根据空间位置变化量与调整之前展示对象在空间中的位置信息,确定调整后的展示对象在空间中的位置信息。
本发明可以通过拖动操作实现空间位置的调整。
可选地,所述展示合成的视频之后,还包括步骤1091和/或步骤1092和/或步骤1093和/或步骤1094:
步骤1091,响应于用户对所述合成的视频的播放操作,播放所述合成的视频。
具体地,用户可以点击、长按、拖动合成的视频以播放合成的视频,或,将合成的视频导入到播放软件中播放。
步骤1092,响应于用户对所述合成的视频的确认操作,存储所述合成的视频。
具体地,用户可以将合成的视频存储至指定的存储设备中,其中,存储设备包括但不限于:磁盘、光盘、缓存。
步骤1093,响应于用户对所述合成的视频的删除操作,删除所述合成的视频。
具体地,用户可以在选取合成的视频之后对删除控件进行操作,以删除合成的视频。
步骤1094,响应于用户对所述合成的视频的分享操作,将所述合成的视频发送给所述分享操作指定的目标用户,所述目标用户包括:在不同应用程序中注册的用户。
具体地,用户可以通过具有分享文件功能的应用程序实现合成的视频的分享,例如,可以通过社交软件分享合成的视频。
可选地,所述可移动平台为无人飞行器。
在本发明实施例中,响应于用户的对象内容编辑操作,获取用户编辑的展示对象;响应于用户的对象位置编辑操作,获取所述展示对象在空间中的位置信息;获取合成的视频,所述合成的视频是:根据所述展示对象在空间中的位置信息和可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频,其中,所述目标视频为可移动平台在所述空间中移动时可移动平台的拍摄装置采集到的视频;显示所述合成的视频。本发明仅需要用户输入展示对象和位置,以将用户输入的展示对象根据位置合成到视频中,降低了用户的操作复杂度。
参照图6,示出了本申请实施例二的一种视频处理装置的结构框图,具体包括处理器210、存储器220以及存储在所述存储器220上并可在所述处理器210上运行的计算机程序,所述处理器执行所述计算机程序时用于:
响应于用户的对象内容编辑操作,获取用户编辑的展示对象;
响应于用户的对象位置编辑操作,获取所述展示对象在空间中的位置信息;
获取合成的视频,所述合成的视频是:根据所述展示对象在空间中的位置信息和可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频,其中,所述目标视频为可移动平台在所述空间中移动时可移动平台的拍摄装置采集到的视频;
显示所述合成的视频。
可选地,所述处理器还用于:
响应于用户的视频选取操作,根据所述视频选取操作从所述可移动平台的拍摄装置采集的视频中确定所述目标视频。
可选地,所述视频选取操作包括第一可移动平台选取子操作,所述处理器还用于:
响应于用户的所述第一可移动平台选取子操作,在多个可移动平台中确定目标可移动平台,并将所述目标可移动平台的拍摄装置采集的视频确定为所述目标视频。
可选地,所述视频选取操作包括第一视频选取子操作,所述处理器还用于:
响应于用户在视频集中的所述第一视频选取子操作,将用户选取的视频确定为目标视频,所述视频集包括至少一个可移动平台的拍摄装置采集的视频。
可选地,所述视频选取操作包括第二可移动平台选取子操作和第二视频选取子操作,所述处理器还用于:
响应于用户的所述第二可移动平台选取子操作,将用户选取的可移动平台的拍摄装置采集的视频作为候选视频进行展示;
响应于用户对所述候选视频的所述第二视频选取子操作,将用户选取的视频确定为所述目标视频。
可选地,所述视频选取操作包括片段选取子操作,所述处理器还用于:
响应于用户的所述片段选取子操作,在待剪辑视频中确定视频片段作为所述目标视频,其中,所述待剪辑视频包括如下的一种:用户在一个或多个可移动平台的拍摄装置采集的视频中选取的视频、用户选取的可移动平台的拍摄装置采集的视频、用户从选取的可移动平台的拍摄装置采集的视频中选取的视频。
可选地,所述处理器还用于:
响应于用户的对象内容编辑操作,获取用户编辑的展示对象对应的三维模型;
所述合成的视频为将所述展示对象对应的所述三维模型投影到所述目标视频中每一帧图像上得到的视频。
可选地,所述对象内容编辑操作包括第一输入子操作;所述处理器还用于:
响应于用户的所述第一输入子操作,获取用户输入的对象标识,并将所述对象标识对应的三维模型确定为所述展示对象。
可选地,所述对象内容编辑操作包括第二输入子操作和第一模型选取子操作;所述处理器还用于:
响应于用户的所述第二输入子操作,获取用户输入的对象标识,并将所述对象标识对应的三维模型作为候选模型进行展示;
响应于用户对所述候选模型的所述第一模型选取子操作,将用户选取的候选模型确定为所述展示对象。
可选地,所述对象内容编辑操作包括:第二模型选取子操作,所述处理器还用于:
展示多个候选三维模型;
响应于用户的所述第二模型选取子操作,将用户在多个候选三维模型中选取的任意所述三维模型确定为所述展示对象。
可选地,所述展示对象包括数字、字母、特殊符号、物体标识中的至少一种。
可选地,所述处理器还用于:
响应于用户的属性编辑子操作,获取用户输入的对象属性信息,并根据所述对象属性信息对所述展示对象进行设置,所述对象属性信息包括如下的至少一种:展示对象的尺寸、展示对象的透明度、展示对象的虚化程度、展示对象的颜色。
可选地,所述处理器还用于:
响应于用户的对象位置编辑操作,获取用户在目标图像帧中编辑的目标像素位置,并根据所述目标像素位置在空间中的投影位置确定所述展示对象在所述空间中的所述位置信息,所述目标图像帧是所述目标视频中的一图像帧。
可选地,所述对象位置编辑操作包括第一对象位置编辑子操作或第二对象位置编辑子操作,所述处理器还用于:
响应于用户的所述第一对象位置编辑子操作,根据用户在所述目标图像帧中选取的像素点在所述目标图像帧中的位置确定所述目标像素位置;或,
响应于用户的所述第二对象位置编辑子操作,根据用户在所述目标图像帧中选中的像素点区域在所述目标图像帧中的位置确定所述目标像素位置。
可选地,所述处理器还用于:
若所述用户选取的像素点或像素点区域指示的空间中物体为静止物体,或,用户选取的像素点区域中的特征点的数目小于或等于预设特征点数阈值,则展示第三提示信息,所述第三提示信息用于提示用户所述像素点或所述像素点区域不可选,或,提示用户选取其他像素点或像素点区域。
可选地,所述处理器还用于:
将用户在所述目标图像帧中选取的像素点区域的中心位置确定为所述目标像素位置。
可选地,所述处理器还用于:
展示用户在所述目标图像帧中选取的像素点区域,并在所述像素点区域中标记展示特征点;
响应于用户在所述像素点区域中的特征点选取子操作,根据用户选取的特征点的位置确定目标像素位置。
可选地,所述处理器还用于:
根据用户在所述目标图像帧中选中的像素点区域内的特征点的位置确定将所述像素点区域的重心位置,并将所述重心位置确定为目标像素位置。
可选地,所述处理器还用于:
将用户编辑的展示对象展示在所述目标图像帧的所述目标像素位置。
可选地,所述处理器还用于:
展示所述目标视频中的目标子视频,所述目标子视频包括:拍摄装置的运动状态满足预设的运动条件时拍摄装置采集到的视频;
响应于用户在所述目标子视频中的第一图像帧选取子操作,将用户在所述目标子视频中选取的图像帧确定为目标图像帧。
可选地,所述处理器还用于:
响应于用户在其余子视频中的第二图像帧选取子操作,展示第一提示信息,所述第一提示信息用于提示所述其余子视频不可选,所述其余子视频包括目标子视频之外的视频。
可选地,所述第一提示信息包括第一提示子信息,所述处理器还用于:
响应于用户在其余子视频中的第二图像帧选取子操作,展示所述第一提示子信息,所述第一提示子信息用于提示用户在所述目标子视频中选取图像帧。
可选地,所述处理器还用于:
展示所述目标子视频中的关键帧;
响应于用户在所述关键帧中的第三图像帧选取子操作,将用户选中的关键帧确定为所述目标图像帧,并展示所述目标图像帧。
可选地,所述处理器还用于:
响应于用户在其余图像帧中的第四图像帧选取子操作,展示第二提示信息,所述第二提示信息用于提示所述其余图像帧不可选,所述其余图像帧包括所述目标子视频中所述关键帧之外的图像帧。
可选地,所述所述处理器还用于:
在所述目标子视频中标记展示所述关键帧。
可选地,所述关键帧满足如下至少一个条件:
当前的所述关键帧与前一个所述关键帧之间的平移量大于平移阈值;
当前的所述关键帧与前一个所述关键帧之间的旋转量大于旋转阈值;
所述关键帧中跟踪匹配成功的所述特征点的总数小于匹配阈值;
所述关键帧上的所述特征点的数量小于数量阈值。
可选地,所述处理器还用于:
在展示的所述目标图像帧中标记所述目标图像帧中的特征点。
可选地,所述处理器还用于:
响应于用户的对象内容编辑操作,在编辑界面中展示用户编辑的展示对象。
可选地,所述目标视频是可移动平台对所述空间中的目标对象进行跟踪时由所述拍摄装置拍摄获取的,所述处理器还用于:
获取可移动平台的拍摄装置的跟踪对象的位置信息;
根据所述追踪对象的位置信息确定所述展示对象在所述空间中的位置信息。
可选地,所述处理器还用于:
响应于用户对所述展示对象的位置调整操作,调整所述展示对象在空间中的位置信息。
可选地,所述处理器还用于:
响应于用户对所述展示对象的朝向调整操作,调整所述展示对象的朝向;
根据所述展示对象在空间中的位置信息、可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息和调整之后的所述展示对象的朝向,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频。
可选地,所述处理器还用于:
响应于用户在操作界面上的点击操作,获取所述点击操作对应的初始触点位置;
响应于用户在所述操作界面上的拖动操作,获取所述拖动操作对应的触点位置变化量;
根据所述触点位置变化量,调整所述展示对象在空间中的位置信息。
可选地,所述处理器还用于:
响应于用户对所述合成的视频的播放操作,播放所述合成的视频;和/或,
响应于用户对所述合成的视频的确认操作,存储所述合成的视频;和/或,
响应于用户对所述合成的视频的删除操作,删除所述合成的视频;和/或,
响应于用户对所述合成的视频的分享操作,将所述合成的视频发送给所述分享操作指定的目标用户,所述目标用户包括:在不同应用程序中注册的用户。
可选地,所述可移动平台为无人飞行器。
在本发明实施例中,响应于用户的对象内容编辑操作,获取用户编辑的展示对象;响应于用户的对象位置编辑操作,获取所述展示对象在空间中的位置信息;获取合成的视频,所述合成的视频是:根据所述展示对象在空间中的位置信息和可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频,其中,所述目标视频为可移动平台在所述空间中移动时可移动平台的拍摄装置采集到的视频;显示所述合成的视频。本发明仅需要用户输入展示对象和位置,以将用户输入的展示对象根据位置合成到视频中,降低了用户的操作复杂度。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着,结合实施例描述的特定特征、结构或者特性包括在本申请的至少一个实施例中。此外,请注意,这里“在一个实施例中”的词语例子不一定全指同一个实施例。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (68)
1.一种视频处理方法,其特征在于,所述方法包括:
响应于用户的对象内容编辑操作,获取用户编辑的展示对象;
响应于用户的对象位置编辑操作,获取所述展示对象在空间中的位置信息;
获取合成的视频,所述合成的视频是:根据所述展示对象在空间中的位置信息和可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频,其中,所述目标视频为可移动平台在所述空间中移动时可移动平台的拍摄装置采集到的视频;
显示所述合成的视频。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于用户的视频选取操作,根据所述视频选取操作从所述可移动平台的拍摄装置采集的视频中确定所述目标视频。
3.根据权利要求2所述的方法,其特征在于,所述视频选取操作包括第一可移动平台选取子操作,所述响应于用户的视频选取操作,根据所述视频选取操作从所述可移动平台的拍摄装置采集的视频中确定所述目标视频,包括:
响应于用户的所述第一可移动平台选取子操作,在多个可移动平台中确定目标可移动平台,并将所述目标可移动平台的拍摄装置采集的视频确定为所述目标视频。
4.根据权利要求2所述的方法,其特征在于,所述视频选取操作包括第一视频选取子操作,所述响应于用户的视频选取操作,根据所述视频选取操作从所述可移动平台的拍摄装置采集的视频中确定所述目标视频,包括:
响应于用户在视频集中的所述第一视频选取子操作,将用户选取的视频确定为目标视频,所述视频集包括至少一个可移动平台的拍摄装置采集的视频。
5.根据权利要求2所述的方法,其特征在于,所述视频选取操作包括第二可移动平台选取子操作和第二视频选取子操作,所述响应于用户的视频选取操作,根据所述视频选取操作从所述可移动平台的拍摄装置采集的视频中确定所述目标视频,包括:
响应于用户的所述第二可移动平台选取子操作,将用户选取的可移动平台的拍摄装置采集的视频作为候选视频进行展示;
响应于用户对所述候选视频的所述第二视频选取子操作,将用户选取的视频确定为所述目标视频。
6.根据权利要求2所述的方法,其特征在于,所述视频选取操作包括片段选取子操作,所述响应于用户的视频选取操作,根据所述视频选取操作从所述可移动平台的拍摄装置采集的视频中确定所述目标视频,包括:
响应于用户的所述片段选取子操作,在待剪辑视频中确定视频片段作为所述目标视频,其中,所述待剪辑视频包括如下的一种:用户在一个或多个可移动平台的拍摄装置采集的视频中选取的视频、用户选取的可移动平台的拍摄装置采集的视频、用户从选取的可移动平台的拍摄装置采集的视频中选取的视频。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述响应于用户的对象内容编辑操作,获取用户编辑的展示对象,包括:
响应于用户的对象内容编辑操作,获取用户编辑的展示对象对应的三维模型;
所述合成的视频为将所述展示对象对应的所述三维模型投影到所述目标视频中每一帧图像上得到的视频。
8.根据权利要求7所述的方法,其特征在于,所述对象内容编辑操作包括第一输入子操作;所述响应于用户的对象内容编辑操作,获取用户编辑的展示对象对应的三维模型,包括:
响应于用户的所述第一输入子操作,获取用户输入的对象标识,并将所述对象标识对应的三维模型确定为所述展示对象。
9.根据权利要求7所述的方法,其特征在于,所述对象内容编辑操作包括第二输入子操作和第一模型选取子操作;所述响应于用户的对象内容编辑操作,获取用户编辑的展示对象对应的三维模型,包括:
响应于用户的所述第二输入子操作,获取用户输入的对象标识,并将所述对象标识对应的三维模型作为候选模型进行展示;
响应于用户对所述候选模型的所述第一模型选取子操作,将用户选取的候选模型确定为所述展示对象。
10.根据权利要求7所述的方法,其特征在于,所述对象内容编辑操作包括:第二模型选取子操作,所述响应于用户的对象内容编辑操作,获取用户编辑的展示对象对应的三维模型,包括:
展示多个候选三维模型;
响应于用户的所述第二模型选取子操作,将用户在多个候选三维模型中选取的任意所述三维模型确定为所述展示对象。
11.根据权利要求8-10任一项所述的方法,其特征在于,所述展示对象包括数字、字母、特殊符号、物体标识中的至少一种。
12.根据权利要求-8-10任一项所述的方法,其特征在于,所述响应于用户的对象内容编辑操作,获取用户编辑的展示对象对应的三维模型之后,还包括:
响应于用户的属性编辑子操作,获取用户输入的对象属性信息,并根据所述对象属性信息对所述展示对象进行设置,所述对象属性信息包括如下的至少一种:展示对象的尺寸、展示对象的透明度、展示对象的虚化程度、展示对象的颜色。
13.根据权利要求1-6、8-10任一项所述的方法,其特征在于,所述响应于用户的对象位置编辑操作,获取所述展示对象在空间中的位置信息,包括:
响应于用户的对象位置编辑操作,获取用户在目标图像帧中编辑的目标像素位置,并根据所述目标像素位置在空间中的投影位置确定所述展示对象在所述空间中的所述位置信息,所述目标图像帧是所述目标视频中的一图像帧。
14.根据权利要求13所述的方法,其特征在于,所述对象位置编辑操作包括第一对象位置编辑子操作或第二对象位置编辑子操作,所述响应于用户的对象位置编辑操作,获取用户在目标图像帧中编辑的目标像素位置,包括:
响应于用户的所述第一对象位置编辑子操作,根据用户在所述目标图像帧中选取的像素点在所述目标图像帧中的位置确定所述目标像素位置;或,
响应于用户的所述第二对象位置编辑子操作,根据用户在所述目标图像帧中选取的像素点区域在所述目标图像帧中的位置确定所述目标像素位置。
15.根据权利要求14所述的方法,其特征在于,所述方法还包括:
若用户选取所述的像素点或像素点区域指示的空间中物体为静止物体,或,用户选取的所述像素点区域中的特征点的数目小于或等于预设特征点数阈值,则展示第三提示信息,所述第三提示信息用于提示用户所述像素点或所述像素点区域不可选,或,提示用户选取其他像素点或像素点区域。
16.根据权利要求14或15所述的方法,其特征在于,所述根据用户在所述目标图像帧中选中的像素点区域在所述目标图像帧中的位置确定所述目标像素位置,包括:
将用户在所述目标图像帧中选取的像素点区域的中心位置确定为所述目标像素位置。
17.根据权利要求14或15所述的方法,其特征在于,所述根据用户在所述目标图像帧中选中的像素点区域在所述目标图像帧中的位置确定所述目标像素位置,包括:
展示用户在所述目标图像帧中选取的像素点区域,并在所述像素点区域中标记展示特征点;
响应于用户在所述像素点区域中的特征点选取子操作,根据用户选取的特征点的位置确定目标像素位置。
18.根据权利要求16所述的方法,其特征在于,所述将用户在所述目标图像帧中选取的像素点区域的中心位置确定为所述目标像素位置,包括:
根据用户在所述目标图像帧中选中的像素点区域内的特征点的位置确定将所述像素点区域的重心位置,并将所述重心位置确定为目标像素位置。
19.根据权利要求14-15、18任一项所述的方法,其特征在于,所述方法还包括:
将用户编辑的展示对象展示在所述目标图像帧的所述目标像素位置。
20.根据权利要求14-15、18任一项所述的方法,其特征在于,所述方法还包括:
展示所述目标视频中的目标子视频,所述目标子视频包括:拍摄装置的运动状态满足预设的运动条件时拍摄装置采集到的视频;
响应于用户在所述目标子视频中的第一图像帧选取子操作,将用户在所述目标子视频中选取的图像帧确定为目标图像帧。
21.根据权利要求20所述的方法,其特征在于,所述方法还包括:
响应于用户在其余子视频中的第二图像帧选取子操作,展示第一提示信息,所述第一提示信息用于提示所述其余子视频不可选,所述其余子视频包括目标子视频之外的视频。
22.根据权利要求21所述的方法,其特征在于,所述第一提示信息包括第一提示子信息,所述响应于用户在其余子视频中的第二图像帧选取子操作,展示第一提示信息,包括:
响应于用户在其余子视频中的第二图像帧选取子操作,展示所述第一提示子信息,所述第一提示子信息用于提示用户在所述目标子视频中选取图像帧。
23.根据权利要求20所述的方法,其特征在于,所述将用户在所述目标子视频中选取的图像帧确定为所述目标图像帧,包括:
展示所述目标子视频中的关键帧;
响应于用户在所述关键帧中的第三图像帧选取子操作,将用户选中的关键帧确定为所述目标图像帧,并展示所述目标图像帧。
24.根据权利要求23所述的方法,其特征在于,所述方法还包括:
响应于用户在其余图像帧中的第四图像帧选取子操作,展示第二提示信息,所述第二提示信息用于提示所述其余图像帧不可选,所述其余图像帧包括所述目标子视频中所述关键帧之外的图像帧。
25.根据权利要求23所述的方法,其特征在于,所述展示所述目标子视频中的关键帧,包括:
在所述目标子视频中标记展示所述关键帧。
26.根据权利要求23所述的方法,其特征在于,所述关键帧满足如下至少一个条件:
当前的所述关键帧与前一个所述关键帧之间的平移量大于平移阈值;
当前的所述关键帧与前一个所述关键帧之间的旋转量大于旋转阈值;
所述关键帧中跟踪匹配成功的所述特征点的总数小于匹配阈值;
所述关键帧上的所述特征点的数量小于数量阈值。
27.根据权利要求23-26任一项所述的方法,其特征在于,所述展示所述目标图像帧,包括:
在展示的所述目标图像帧中标记所述目标图像帧中的特征点。
28.根据权利要求1-6、8-10、14-15、18、21-26任一项所述的方法,其特征在于,所述方法还包括:
响应于用户的对象内容编辑操作,在编辑界面中展示用户编辑的展示对象。
29.根据权利要求1所述的方法,其特征在于,所述目标视频是可移动平台对所述空间中的目标对象进行跟踪时由所述拍摄装置拍摄获取的,所述获取所述展示对象在空间中的位置信息,包括:
获取可移动平台的拍摄装置的跟踪对象的位置信息;
根据所述跟踪对象的位置信息确定所述展示对象在所述空间中的位置信息。
30.根据权利要求1-6、8-10、14-15、18、21-26、29任一项所述的方法,其特征在于,所述方法还包括:
响应于用户对所述展示对象的位置调整操作,调整所述展示对象在空间中的位置信息。
31.根据权利要求1-6、8-10、14-15、18、21-26、29任一项所述的方法,其特征在于,所述方法还包括:
响应于用户对所述展示对象的朝向调整操作,调整所述展示对象的朝向;
所述根据所述展示对象在空间中的位置信息和可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频,包括:
根据所述展示对象在空间中的位置信息、可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息和调整之后的所述展示对象的朝向,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频。
32.根据权利要求30所述的方法,其特征在于,所述响应于用户对所述展示对象的位置调整操作,调整所述展示对象在空间中的位置信息,包括:
响应于用户在操作界面上的点击操作,获取所述点击操作对应的初始触点位置;
响应于用户在所述操作界面上的拖动操作,获取所述拖动操作对应的触点位置变化量;
根据所述触点位置变化量,调整所述展示对象在空间中的位置信息。
33.根据权利要求1-6、8-10、14-15、18、21-26、29、32任一项所述的方法,其特征在于,显示所述合成的视频之后,还包括:
响应于用户对所述合成的视频的播放操作,播放所述合成的视频;和/或,
响应于用户对所述合成的视频的确认操作,存储所述合成的视频;和/或,
响应于用户对所述合成的视频的删除操作,删除所述合成的视频;和/或,
响应于用户对所述合成的视频的分享操作,将所述合成的视频发送给所述分享操作指定的目标用户,所述目标用户包括:在不同应用程序中注册的用户。
34.根据权利要求1-6、8-10、14-15、18、21-26、29、32任一项所述的方法,其特征在于,所述可移动平台为无人飞行器。
35.一种视频处理装置,其特征在于,所述装置包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时用于:
响应于用户的对象内容编辑操作,获取用户编辑的展示对象;
响应于用户的对象位置编辑操作,获取所述展示对象在空间中的位置信息;
获取合成的视频,所述合成的视频是:根据所述展示对象在空间中的位置信息和可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频,其中,所述目标视频为可移动平台在所述空间中移动时可移动平台的拍摄装置采集到的视频;
显示所述合成的视频。
36.根据权利要求35所述的装置,其特征在于,所述处理器还用于:
响应于用户的视频选取操作,根据所述视频选取操作从所述可移动平台的拍摄装置采集的视频中确定所述目标视频。
37.根据权利要求36所述的装置,其特征在于,所述视频选取操作包括第一可移动平台选取子操作,所述处理器还用于:
响应于用户的所述第一可移动平台选取子操作,在多个可移动平台中确定目标可移动平台,并将所述目标可移动平台的拍摄装置采集的视频确定为所述目标视频。
38.根据权利要求36所述的装置,其特征在于,所述视频选取操作包括第一视频选取子操作,所述处理器还用于:
响应于用户在视频集中的所述第一视频选取子操作,将用户选取的视频确定为目标视频,所述视频集包括至少一个可移动平台的拍摄装置采集的视频。
39.根据权利要求36所述的装置,其特征在于,所述视频选取操作包括第二可移动平台选取子操作和第二视频选取子操作,所述处理器还用于:
响应于用户的所述第二可移动平台选取子操作,将用户选取的可移动平台的拍摄装置采集的视频作为候选视频进行展示;
响应于用户对所述候选视频的所述第二视频选取子操作,将用户选取的视频确定为所述目标视频。
40.根据权利要求36所述的装置,其特征在于,所述视频选取操作包括片段选取子操作,所述处理器还用于:
响应于用户的所述片段选取子操作,在待剪辑视频中确定视频片段作为所述目标视频,其中,所述待剪辑视频包括如下的一种:用户在一个或多个可移动平台的拍摄装置采集的视频中选取的视频、用户选取的可移动平台的拍摄装置采集的视频、用户从选取的可移动平台的拍摄装置采集的视频中选取的视频。
41.根据权利要求35-40任一项所述的装置,其特征在于,所述处理器还用于:
响应于用户的对象内容编辑操作,获取用户编辑的展示对象对应的三维模型;
所述合成的视频为将所述展示对象对应的所述三维模型投影到所述目标视频中每一帧图像上得到的视频。
42.根据权利要求41所述的装置,其特征在于,所述对象内容编辑操作包括第一输入子操作;所述处理器还用于:
响应于用户的所述第一输入子操作,获取用户输入的对象标识,并将所述对象标识对应的三维模型确定为所述展示对象。
43.根据权利要求41所述的装置,其特征在于,所述对象内容编辑操作包括第二输入子操作和第一模型选取子操作;所述处理器还用于:
响应于用户的所述第二输入子操作,获取用户输入的对象标识,并将所述对象标识对应的三维模型作为候选模型进行展示;
响应于用户对所述候选模型的所述第一模型选取子操作,将用户选取的候选模型确定为所述展示对象。
44.根据权利要求41所述的装置,其特征在于,所述对象内容编辑操作包括:第二模型选取子操作,所述处理器还用于:
展示多个候选三维模型;
响应于用户的所述第二模型选取子操作,将用户在多个候选三维模型中选取的任意所述三维模型确定为所述展示对象。
45.根据权利要求42-44任一项所述的装置,其特征在于,所述展示对象包括数字、字母、特殊符号、物体标识中的至少一种。
46.根据权利要求42-44任一项所述的装置,其特征在于,所述处理器还用于:
响应于用户的属性编辑子操作,获取用户输入的对象属性信息,并根据所述对象属性信息对所述展示对象进行设置,所述对象属性信息包括如下的至少一种:展示对象的尺寸、展示对象的透明度、展示对象的虚化程度、展示对象的颜色。
47.根据权利要求35-40、42-44任一项所述的装置,其特征在于,所述响应于用户的对象位置编辑操作,获取所述展示对象在空间中的位置信息,包括:
响应于用户的对象位置编辑操作,获取用户在目标图像帧中编辑的目标像素位置,并根据所述目标像素位置在空间中的投影位置确定所述展示对象在所述空间中的所述位置信息,所述目标图像帧是所述目标视频中的一图像帧。
48.根据权利要求47所述的装置,其特征在于,所述对象位置编辑操作包括第一对象位置编辑子操作或第二对象位置编辑子操作,所述处理器还用于:
响应于用户的所述第一对象位置编辑子操作,根据用户在所述目标图像帧中选取的像素点在所述目标图像帧中的位置确定所述目标像素位置;或,
响应于用户的所述第二对象位置编辑子操作,根据用户在所述目标图像帧中选取的像素点区域在所述目标图像帧中的位置确定所述目标像素位置。
49.根据权利要求 48所述的装置,其特征在于,所述处理器还用于:
若用户选取的所述像素点或所述像素点区域指示的空间中物体为静止物体,或,用户选取的所述像素点区域中的特征点的数目小于或等于预设特征点数阈值,则展示第三提示信息,所述第三提示信息用于提示用户所述像素点或所述像素点区域不可选,或,提示用户选取其他像素点或像素点区域。
50.根据权利要求48所述的装置,其特征在于,所述处理器还用于:
将用户在所述目标图像帧中选取的像素点区域的中心位置确定为所述目标像素位置。
51.根据权利要求49所述的装置,其特征在于,所述处理器还用于:
展示用户在所述目标图像帧中选取的像素点区域,并在所述像素点区域中标记展示特征点;
响应于用户在所述像素点区域中的特征点选取子操作,根据用户选取的特征点的位置确定目标像素位置。
52.根据权利要求50所述的装置,其特征在于,所述处理器还用于:
根据用户在所述目标图像帧中选中的像素点区域内的特征点的位置确定将所述像素点区域的重心位置,并将所述重心位置确定为目标像素位置。
53.根据权利要求48-52任一项所述的装置,其特征在于,所述处理器还用于:
将用户编辑的展示对象展示在所述目标图像帧的所述目标像素位置。
54.根据权利要求51所述的装置,其特征在于,所述处理器还用于:
展示所述目标视频中的目标子视频,所述目标子视频包括:拍摄装置的运动状态满足预设的运动条件时拍摄装置采集到的视频;
响应于用户在所述目标子视频中的第一图像帧选取子操作,将用户在所述目标子视频中选取的图像帧确定为目标图像帧。
55.根据权利要求54所述的装置,其特征在于,所述处理器还用于:
响应于用户在其余子视频中的第二图像帧选取子操作,展示第一提示信息,所述第一提示信息用于提示所述其余子视频不可选,所述其余子视频包括目标子视频之外的视频。
56.根据权利要求55所述的装置,其特征在于,所述第一提示信息包括第一提示子信息,所述处理器还用于:
响应于用户在其余子视频中的第二图像帧选取子操作,展示所述第一提示子信息,所述第一提示子信息用于提示用户在所述目标子视频中选取图像帧。
57.根据权利要求54所述的装置,其特征在于,所述处理器还用于:
展示所述目标子视频中的关键帧;
响应于用户在所述关键帧中的第三图像帧选取子操作,将用户选中的关键帧确定为所述目标图像帧,并展示所述目标图像帧。
58.根据权利要求57所述的装置,其特征在于,所述处理器还用于:
响应于用户在其余图像帧中的第四图像帧选取子操作,展示第二提示信息,所述第二提示信息用于提示所述其余图像帧不可选,所述其余图像帧包括所述目标子视频中所述关键帧之外的图像帧。
59.根据权利要求57所述的装置,其特征在于,所述处理器还用于:
在所述目标子视频中标记展示所述关键帧。
60.根据权利要求57所述的装置,其特征在于,所述关键帧满足如下至少一个条件:
当前的所述关键帧与前一个所述关键帧之间的平移量大于平移阈值;
当前的所述关键帧与前一个所述关键帧之间的旋转量大于旋转阈值;
所述关键帧中跟踪匹配成功的所述特征点的总数小于匹配阈值;
所述关键帧上的所述特征点的数量小于数量阈值。
61.根据权利要求57-60任一项所述的装置,其特征在于,所述处理器还用于:
在展示的所述目标图像帧中标记所述目标图像帧中的特征点。
62.根据权利要求35-40、42-44、48-52、54-60任一项所述的装置,其特征在于,所述处理器还用于:
响应于用户的对象内容编辑操作,在编辑界面中展示用户编辑的展示对象。
63.根据权利要求35所述的装置,其特征在于,所述目标视频是可移动平台对所述空间中的目标对象进行跟踪时由所述拍摄装置拍摄获取的,所述处理器还用于:
获取可移动平台的拍摄装置的跟踪对象的位置信息;
根据所述跟踪对象的位置信息确定所述展示对象在所述空间中的位置信息。
64.根据权利要求35-40、42-44、48-52、54-60、63任一项所述的装置,其特征在于,所述处理器还用于:
响应于用户对所述展示对象的位置调整操作,调整所述展示对象在空间中的位置信息。
65.根据权利要求35-40、42-44、48-52、54-60、63任一项所述的装置,其特征在于,所述处理器还用于:
响应于用户对所述展示对象的朝向调整操作,调整所述展示对象的朝向;
根据所述展示对象在空间中的位置信息、可移动平台的拍摄装置在拍摄目标视频中每一帧图像时的位姿信息和调整之后的所述展示对象的朝向,将所述展示对象投影到所述目标视频中每一帧图像上得到的视频。
66.根据权利要求64所述的装置,其特征在于,所述处理器还用于:
响应于用户在操作界面上的点击操作,获取所述点击操作对应的初始触点位置;
响应于用户在所述操作界面上的拖动操作,获取所述拖动操作对应的触点位置变化量;
根据所述触点位置变化量,调整所述展示对象在空间中的位置信息。
67.根据权利要求35-40、42-44、48-52、54-60、63、66任一项所述的装置,其特征在于,所述处理器还用于:
响应于用户对所述合成的视频的播放操作,播放所述合成的视频;和/或,
响应于用户对所述合成的视频的确认操作,存储所述合成的视频;和/或,
响应于用户对所述合成的视频的删除操作,删除所述合成的视频;和/或,
响应于用户对所述合成的视频的分享操作,将所述合成的视频发送给所述分享操作指定的目标用户,所述目标用户包括:在不同应用程序中注册的用户。
68.根据权利要求35-40、42-44、48-52、54-60、63、66任一项所述的装置,其特征在于,所述可移动平台为无人飞行器。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/087350 WO2021217385A1 (zh) | 2020-04-28 | 2020-04-28 | 一种视频处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113906731A CN113906731A (zh) | 2022-01-07 |
CN113906731B true CN113906731B (zh) | 2023-10-13 |
Family
ID=78373253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080041521.5A Active CN113906731B (zh) | 2020-04-28 | 2020-04-28 | 一种视频处理方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113906731B (zh) |
WO (1) | WO2021217385A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117793279A (zh) * | 2022-09-20 | 2024-03-29 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN116567166B (zh) * | 2023-07-07 | 2023-10-17 | 广东省电信规划设计院有限公司 | 一种视频融合方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013008257A (ja) * | 2011-06-27 | 2013-01-10 | Celsys:Kk | 画像合成プログラム |
CN104036476A (zh) * | 2013-03-08 | 2014-09-10 | 三星电子株式会社 | 用于提供增强现实的方法以及便携式终端 |
WO2015056826A1 (ko) * | 2013-10-18 | 2015-04-23 | 주식회사 이미지넥스트 | 카메라의 영상 처리 장치 및 방법 |
CN108346171A (zh) * | 2017-01-25 | 2018-07-31 | 阿里巴巴集团控股有限公司 | 一种图像处理方法、装置、设备和计算机存储介质 |
CN109857905A (zh) * | 2018-11-29 | 2019-06-07 | 维沃移动通信有限公司 | 一种视频编辑方法及终端设备 |
CN110505498A (zh) * | 2019-09-03 | 2019-11-26 | 腾讯科技(深圳)有限公司 | 视频的处理、播放方法、装置及计算机可读介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101630416A (zh) * | 2008-07-17 | 2010-01-20 | 鸿富锦精密工业(深圳)有限公司 | 图片编辑系统及其编辑方法 |
CN106097435A (zh) * | 2016-06-07 | 2016-11-09 | 北京圣威特科技有限公司 | 一种增强现实拍摄系统及方法 |
-
2020
- 2020-04-28 WO PCT/CN2020/087350 patent/WO2021217385A1/zh active Application Filing
- 2020-04-28 CN CN202080041521.5A patent/CN113906731B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013008257A (ja) * | 2011-06-27 | 2013-01-10 | Celsys:Kk | 画像合成プログラム |
CN104036476A (zh) * | 2013-03-08 | 2014-09-10 | 三星电子株式会社 | 用于提供增强现实的方法以及便携式终端 |
WO2015056826A1 (ko) * | 2013-10-18 | 2015-04-23 | 주식회사 이미지넥스트 | 카메라의 영상 처리 장치 및 방법 |
CN108346171A (zh) * | 2017-01-25 | 2018-07-31 | 阿里巴巴集团控股有限公司 | 一种图像处理方法、装置、设备和计算机存储介质 |
CN109857905A (zh) * | 2018-11-29 | 2019-06-07 | 维沃移动通信有限公司 | 一种视频编辑方法及终端设备 |
CN110505498A (zh) * | 2019-09-03 | 2019-11-26 | 腾讯科技(深圳)有限公司 | 视频的处理、播放方法、装置及计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021217385A1 (zh) | 2021-11-04 |
CN113906731A (zh) | 2022-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lai et al. | Semantic-driven generation of hyperlapse from 360 degree video | |
US10861159B2 (en) | Method, system and computer program product for automatically altering a video stream | |
US9877010B2 (en) | Camera tracker target user interface for plane detection and object creation | |
JP2021511729A (ja) | 画像、又はビデオデータにおいて検出された領域の拡張 | |
KR20170122725A (ko) | 파라미터를 갖는 마커를 사용한 증강 현실의 장면 수정 | |
US9973744B2 (en) | 3D tracked point visualization using color and perspective size | |
US20140248950A1 (en) | System and method of interaction for mobile devices | |
CN104508680B (zh) | 改善之视讯追踪 | |
CN113906731B (zh) | 一种视频处理方法和装置 | |
US11184558B1 (en) | System for automatic video reframing | |
CN110737414B (zh) | 交互显示方法、装置、终端设备及存储介质 | |
WO2024077909A1 (zh) | 基于视频的交互方法、装置、计算机设备和存储介质 | |
CN112954195A (zh) | 对焦方法、装置、电子设备及介质 | |
CN111614905A (zh) | 图像处理方法、图像处理装置和电子设备 | |
US10789987B2 (en) | Accessing a video segment | |
CN113709544B (zh) | 视频的播放方法、装置、设备及计算机可读存储介质 | |
CN110737326A (zh) | 虚拟对象的显示方法、装置、终端设备及存储介质 | |
KR101909994B1 (ko) | 나노블럭을 이용한 3d 증강현실 서비스 제공 방법 | |
CN115379195A (zh) | 视频生成方法、装置、电子设备和可读存储介质 | |
CN114237800A (zh) | 文件处理方法、文件处理装置、电子设备及介质 | |
CN114779981B (zh) | 全景视频中可拖拽式热点交互方法、系统及存储介质 | |
US11605171B1 (en) | Method and apparatus for processing reference inputs for video compositing with replacement | |
CN114339029B (zh) | 拍摄方法、装置及电子设备 | |
CN111625101B (zh) | 一种展示控制方法及装置 | |
JP5844697B2 (ja) | 映像再生装置、映像再生方法、および映像再生用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |