CN112995491B - 视频生成方法、装置、电子设备及计算机存储介质 - Google Patents

视频生成方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN112995491B
CN112995491B CN201911282418.5A CN201911282418A CN112995491B CN 112995491 B CN112995491 B CN 112995491B CN 201911282418 A CN201911282418 A CN 201911282418A CN 112995491 B CN112995491 B CN 112995491B
Authority
CN
China
Prior art keywords
image
panoramic
image frame
frame
image element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911282418.5A
Other languages
English (en)
Other versions
CN112995491A (zh
Inventor
陈炳辉
伍晖
马君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201911282418.5A priority Critical patent/CN112995491B/zh
Publication of CN112995491A publication Critical patent/CN112995491A/zh
Application granted granted Critical
Publication of CN112995491B publication Critical patent/CN112995491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种视频生成方法、装置、电子设备及计算机存储介质。其中，所述视频生成方法包括：从图像采集设备采集的至少一个图像帧中，获取第一图像元素，第一图像元素用于指示图像帧的图像元素；根据所述图像帧对应的所述图像采集设备的姿态数据和全景图像中预设的参照基准的位置信息，确定全景图像中与所述姿态数据对应的第二图像元素，第二图像元素包括全景图像中的部分图像元素；使用所述第一图像元素及所述第二图像元素，生成与所述图像帧对应的合成图像帧；根据合成图像帧生成全景视频。通过本发明实施例，生成的视频的真实度更高。

Description

视频生成方法、装置、电子设备及计算机存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种视频生成方法、装置、电子设备及计算机存储介质。
背景技术
随着社会生产力和科学技术的不断发展，社会生产和日常生活中对视频技术的需求日益旺盛。视频技术是一种综合利用计算机、电子信息和图像处理的技术。随着视频技术越来越成熟，其应用范围也越来越广泛。例如，在社交领域，用户通过拍摄、分享视频进行互动和社交。
为了提升社交的趣味性，一些用户希望拍摄一些合成视频，例如，用户在A地拍摄视频，但希望视频中呈现的场景是用户身处B地或者是处于更加有趣的场景(如宇宙、海底等)中。但是，现有技术中通常仅是简单地将用户拍摄的视频的背景替换为单一的、固定背景，导致最终拍摄出的视频真实性不足，拍摄和观看的用户都没有较为逼真的身临其境的体验。
发明内容
有鉴于此，本发明实施例提供一种视频生成方案，以解决上述部分或全部问题。
根据本发明实施例的第一方面，提供了一种视频生成方法，包括：从图像采集设备采集的至少一个图像帧中，获取第一图像元素，所述第一图像元素用于指示所述图像帧的图像元素；根据所述图像帧对应的图像采集设备的姿态数据和全景图像中预设的参照基准的位置信息，确定全景图像中与姿态数据对应的第二图像元素，所述第二图像元素包括所述全景图像中的部分图像元素；使用所述第一图像元素及第二图像元素，生成与所述图像帧对应的合成图像帧；根据合成图像帧生成全景视频。
根据本发明实施例的第二方面，提供了一种图像处理方法，包括：采集图像帧；获取根据所述图像帧生成的全景视频，所述全景视频根据与全景图像关联的合成图像帧生成，所述合成图像帧至少使用第一图像元素和第二图像元素合成，所述第一图像元素根据采集的所述图像帧确定，所述第二图像元素根据图像采集设备的姿态数据和全景图像中预设的参照基准的位置信息确定，所述参照基准的位置信息用于指示所述图像帧与全景图像的匹配依据；提供所述全景视频。
根据本发明实施例的第三方面，提供了一种视频生成装置，包括：第一获取模块，用于从图像采集设备采集的至少一个图像帧中，获取第一图像元素，所述第一图像元素用于指示所述图像帧的图像元素；第二获取模块，用于根据所述图像帧对应的图像采集设备的姿态数据和全景图像中预设的参照基准的位置信息，确定全景图像中与姿态数据对应的第二图像元素，第二图像元素包括所述全景图像中的部分图像元素；合成模块，用于使用所述第一图像元素及第二图像元素，生成与所述图像帧对应的合成图像帧；生成模块，用于根据合成图像帧生成全景视频。
根据本发明实施例的第四方面，提供了图像处理装置，包括：图像采集模块，用于采集图像帧；视频生成模块，用于获取根据所述图像帧生成的全景视频，所述全景视频根据与全景图像关联的合成图像帧生成，所述合成图像帧至少使用第一图像元素和第二图像元素合成，所述第一图像元素根据采集的所述图像帧确定，所述第二图像元素根据图像采集设备的姿态数据和全景图像中预设的参照基准的位置信息确定，所述参照基准的位置信息用于指示所述图像帧与全景图像的匹配依据；视频提供模块，用于提供所述全景视频。
根据本发明实施例的第五方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的视频生成方法对应的操作或使所述处理器执行如第二方面所述的图像处理方法对应的操作。
根据本发明实施例的第六方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的视频生成方法或执行时实现如第二方面所述的图像处理方法。
根据本发明实施例提供的视频生成方案，对于图像帧根据图像采集设备的姿态数据，从预先准备的全景图像中确定对应的部分图像作为第二图像元素，并与从图像帧中获得的第一图像元素相结合，生成合成图像帧，连续的多个合成图像帧形成为视频。因合成图像帧中的部分图像是根据姿态数据从全景图像中提取出的，当多个合成图像帧的姿态数据连续变化时，多个连续的合成图像帧中来自全景图像中的部分(即第二图像元素)也是连续变化的，这样在更加合成图像帧生成全景视频时，该视频就具有了全景图像具有的观看感更加真实的特点，从而使得观看的真实感更强。当第一图像元素为摄像图像的用户图像时，可以达到使合成出的全景视频是用户身处全景图像中的场景拍摄的视频的逼真效果，丰富了视频表现形式和表达效果，提升了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1a为根据本发明实施例一的一种视频生成方法的步骤流程图；
图1b为根据本发明的实施例一的一种视频生成方法中根据姿态数据确定第二图像元素的示意图；
图2为根据本发明实施例二的一种视频生成方法的步骤流程图；
图3为根据本发明实施例二的一种视频生成方法获取的蒙版的示意图；
图4a为一种使用场景中终端与服务器连接的示意图；
图4b为一种使用场景中生成视频的流程示意图；
图5a为根据本发明实施例三的一种图像处理方法的步骤流程图；
图5b为根据本发明实施例三的一种使用场景中的生成全景视频的步骤流程示意图；
图5c为根据本发明实施例四的一种使用场景中的终端生成合成图像帧的界面变化示意图；
图6为根据本发明实施例四的一种视频生成装置的结构框图；
图7为根据本发明实施例五的一种图像处理装置的结构框图；
图8为根据本发明实施例六的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
实施例一
参照图1a，示出了根据本发明实施例一的一种视频生成方法的步骤流程图。
本实施例的视频生成方法可以配置在终端中由终端执行，终端可以是具有图像采集设备的移动终端，如配置有摄像头的手机、PAD等，也可以是具有计算能力的摄像机、照相机等；或者该方法也可以配置在服务端(服务端包括服务器或云端)，由服务端执行。
该视频生成方法包括以下步骤：
步骤S102：从图像采集设备采集的至少一个图像帧中，获取第一图像元素。
在本实施例中，第一图像元素用于指示图像帧的图像元素。例如，第一图像元素可以是区分出图像帧中的前景区域和背景区域的图像。前景区域可以是图像帧中的任意的对象对应的图像区域，如图像帧中的人物、动物、或其他对象对应的图像区域，背景区域可以是图像帧中前景区域之外的区域。
本领域技术人员可以根据需要采用任何适当的方式获取某一图像帧对应的第一图像元素。例如，使用已有的背景分割算法获取到第一图像元素。
步骤S104：根据所述图像帧对应的图像采集设备的姿态数据和全景图像中预设的参照基准的位置信息，确定全局图像中与所述姿态数据对应的第二图像元素。
在本实施例中，第二图像元素包括全景图像中的部分图像元素。例如，第二图像元素可以是用于处于图像采集设备的姿态数据所指示的视角时，全景图像中可见的区域。
图像采集设备的姿态数据用于指示在拍摄某一图像帧时，图像采集设备的姿态，包括但不限于倾斜角度、视角的朝向等等。在一具体实现中，视角可以通过图像采集设备的俯仰角(pitch，指示绕x轴转动的角度)、滚动角 (roll，指示绕z轴转动的角度)和偏航角(yaw，指示绕y轴转动的角度) 的方式指示。
在本实施例中，获取的姿态数据可以包括图像采集设备的欧拉角。当然，在其他实施例中，可以获取其他种类的姿态数据。
全景图像中预设的参照基准的位置信息用于指示与第一图像元素相适配时的基准，包括但不限于全景图像中的基准点、基准线或基准面等，以便能够根据该基准信息和姿态数据，确定全景图像中相对应的部分图像(如视角可见的部分图像等)，进而根据该部分图像生成第二图像元素。
一种根据姿态数据和全景图像中预设的参照基准的位置信息(以其为基准线为例)，确定第二图像元素的简单说明如图1b所示，用户在使用设置有图像采集设备的终端(如带有摄像头的手机，或者带有计算功能的相机等) 采集图像时，终端中的陀螺仪或者向量传感器检测终端的姿态数据，并被终端中的应用程序获取。根据该姿态数据和预先准备的全景图像(该全景图像可以是用户预先选择的)的基准线(图1b中1处所示)，确定全景图像中与姿态数据对应的部分图像作为第二图像元素。
其中，全景图像能够进行360°观看，本领域技术人员可以采用任何适当的方式获取全景图像，本实施例对此不作限制。例如，采用能够拍摄全景图像的图像采集设备获取，或者使用任何适当的全景图像生成算法根据预先拍摄的图像生成。
步骤S106：使用所述第一图像元素及第二图像元素，生成与所述图像帧对应的合成图像帧。
针对不同类型的第一图像元素，可以采用不同的方式生成合成图像帧，本实施例对此不作限制。
例如，在一种可行方式中，针对摄像头采集的图像帧中的当前图像帧A (包括前景区域A1和背景区域A2)和预先准备的全景图像B，假设第一图像元素X为图像帧A的前景区域A1的图像(当然也可以为背景区域A2的图像)，可以根据采集图像帧A时的姿态数据，及全景图像B的基准信息如基准线P，从全景图像B中确定出与姿态数据对应的第二图像元素Y，第二图像元素Y 是处于姿态数据指示的视角查看全景图像时，全景图像中可见的部分图像，然后，对第一图像元素X和第二图像元素Y进行融合，生成合成图像帧。后续，可以根据连续的多个图像帧对应的合成图像帧生成相应的视频。
又例如，在另一中可行方式中，针对摄像头采集的图像帧中的当前图像帧A(包括前景区域A1和背景区域A2)和预先准备的全景图像B，假设第一图像元素X为与图像帧A对应的区分其前景区域和背景区域的蒙版，第二图像元素Y是根据姿态数据确定的全景图像中与姿态数据对应的部分图像，例如，第二图像元素Y是处于姿态数据指示的视角查看全景图像时，全景图像中可见的部分图像，则可以将第一图像元素X、第二图像元素Y和对应的图像帧A进行融合，生成合成图像帧。
在合成图像帧中，可以将用户采集的图像帧中的前景区域或背景区域替换为全景图像中的部分图像。由于全景图像具有较好的空间感，给用户更好的身临其境的感觉，因而使用其中的部分图像生成的合成图像的真实感更好，与在实际场景中进行拍摄的效果更加一致，从而使拍摄效果更好。
当对连续的采集的图像帧进行了上述相应处理后，将对应获得连续的合成图像帧，由此，可在后续生成相应的虚拟视频。
步骤S108：根据合成图像帧生成全景视频。
在获得多个合成图像帧后，可以采用任何适当的方式将这些合成图像帧进行处理并生成需要的全景视频。本领域技术人员可以采用任何现有的、适当的方式生成视频，本实施例对此不作赘述。
通过本实施例，对于图像帧根据图像采集设备的姿态数据，从预先准备的全景图像中确定对应的部分图像作为第二图像元素，并与从图像帧中获得的第一图像元素相结合，生成合成图像帧，连续的多个合成图像帧形成为视频。因合成图像帧中的部分图像是根据姿态数据从全景图像中提取出的，当多个合成图像帧的姿态数据连续变化时，多个连续的合成图像帧中来自全景图像中的部分(即第二图像元素)也是连续变化的，这样在更加合成图像帧生成全景视频时，该视频就具有了全景图像具有的观看感更加真实的特点，从而使得观看的真实感更强。当第一图像元素为摄像图像的用户图像时，可以达到使合成出的全景视频是用户身处全景图像中的场景拍摄的视频的逼真效果，丰富了视频表现形式和表达效果，提升了用户体验。
本实施例的视频生成方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC 机等。
实施例二
参照图2，示出了根据本发明实施例二的一种视频生成方法的步骤流程图。
本实施例对实施例一中第一图像元素和第二图像元素的确定方式进行了进一步的优化和说明。本实施例的视频生成方法也包括前述的步骤S102～步骤S108。
其中，步骤S102和步骤S104的执行可以不分先后顺序，也可以并行执行，本实施例对此不作限制。
其中，在一种可行方式中，步骤S102可以实现为：针对从图像采集设备采集的至少一个图像帧，使用背景分割算法计算图像帧对应的第一图像元素，其中，所述第一图像元素用于指示对应的图像帧的前景区域和/或背景区域。
背景分割算法可以是任何适当的算法，本实施例对此不作限制。例如，背景分割算法可以使用训练的、能够实现前景和背景分割的神经网络模型(如卷积神经网络模型，CNN)等。
根据需要的不同，可以采用不同的背景分割算法，以获得需要类型的输出。
例如，在一种可行方式中，所述使用背景分割算法计算图像帧对应的第一图像元素，包括：使用背景分割算法计算图像帧中的前景区域和背景区域，根据计算结果生成区分所述前景区域和所述背景区域的蒙版图像，将所述蒙版蒙版作为所述第一图像元素。
具体地，将图像帧输入到神经网络模型中，通过的能够进行背景分割的神经网络模型对图像帧进行处理，神经网络模型输出与输入的图像帧对应的蒙版图像(如图3所示)，该蒙版图像可以以不同的颜色值指示图像帧中的前景区域和背景区域。例如，图3中以白色指示前景区域(图3中1处指示区域)，以黑色指示背景区域。
又例如，在另一种可行方式中，所述使用背景分割算法计算图像帧对应的第一图像元素，包括：使用背景分割算法计算图像帧中的前景区域和背景区域，获得计算结果；对所述计算结果进行二值化处理，获得所述第一图像元素。
具体地，可以使用背景差分法等背景分割算法对图像帧进行计算，获得用于指示图像帧的前景区域和背景区域的计算结果，对计算结果进行二值化处理，使前景区域为“1”，背景区域为“0”，以获得第一图像元素。
可选地，在一种可行方式中，步骤S104包括以下子步骤：
子步骤S1041：根据所述图像帧对应的所述图像采集设备的姿态数据，确定所述图像采集设备的视角矩阵。
姿态数据可以通过调用设置了图像采集设备的终端(如手机、平板电脑、相机、摄像机等设备)的API的方式获取。不同的图像采集设备返回的姿态数据的形式可能不同，例如，可以采用航空次序欧拉角的方式返回姿态数据。
根据获取的姿态数据，将其转换为旋转矩阵或者四元数，进而根据转换出的旋转矩阵或四元数计算确定出图像采集设备的视角矩阵。该视角矩阵就可以指示图像采集设备在采集对应的图像帧时的姿态和方向信息。例如，图像采集设备的朝向，向上或向下的倾角等。
子步骤S1042：根据所述视角矩阵和全景图像中预设的参照基准的位置信息，确定与所述全景图像对应的投影矩阵。
全景图像中预设的参照基准的位置信息可以是预先定义的信息，本领域技术人员可以根据需要设置适当的参照基准的位置信息。例如，参照基准的位置信息可以是全景图像中的基准点的坐标信息、基准线的坐标信息或者基准面的坐标信息等。
在一具体实现方式中，参照基准的位置信息可以采用矩阵的方式，获取投影矩阵时，可以通过将视角矩阵和参照基准的位置信息的矩阵相乘的方式。当然，在其他实施例中，可以采用其他方式确定投影矩阵，本实施例对此不作限制。
子步骤S1043：根据所述投影矩阵和所述全景图像，绘制与所述姿态数据对应的第二图像元素。
在获取投影矩阵后，使用OpenGL根据投影矩阵从全景图像中获取对应的部分图像并进行绘制，获得姿态数据对应的第二图像元素。
这样在图像采集设备中的视角发生变化而导致姿态数据变化时，获取的第二图像元素也不同，这样使得后续根据这些第二图像元素生成的全景视频中的背景可以跟随视角的变化而变化，从而使视频的真实度更好，使得拍摄出来的全景视频就像用户真正身处全景图像所在的场景当中一样。
可选地，在本实施例中，步骤S106可以实现为：将所述图像帧、与对应的所述第一图像元素及所述第二图像元素进行融合，生成与各个所述图像帧对应的合成图像帧。
例如，第一图像元素为蒙版图像，将图像帧、对应的第一图像元素和第二图像元素三者进行融合，生成前景为图像帧中的前景图像(例如用户的图像)、背景为全景图像中的部分图像的合成图像帧，后续可以使用这个合成图像帧生成全景视频，使得全景视频中的背景图像为全景图像中的至少部分图像。这样即使用户身处A地，也可以拍摄出逼真的看起来是用户在B地拍摄的全景视频，使全景视频看起来真实度更高。
基于上述过程中，可选地，还可以如图4a所示，方案中的全景图像可以是通过网络从服务端(服务端包括服务器或云端)中获取的全景图像，当然，也可以是终端本地存储的全景图像。在根据多个合成图像帧生成相应的视频后，还可以将该视频上传服务器，以便后续用户可以根据需要将视频分享给其他用户或终端。
以下，以一个示例为例，对上述过程进行示例性说明，如图4b所示。
图4b中用户在A地通过设置在终端(如手机、平板电脑、相机、摄像机等设备)上的图像采集设备实时采集图像帧，如图4b中1处所示。
进而，使用背景分割算法对采集的当前图像帧进行处理，例如，将当前图像帧输入卷积神经网络模型，通过卷积神经网络模型对当前图像帧进行处理后，输出与该图像帧对应的蒙版图像作为该图像帧对应的第一图像元素，蒙版图像如图4b中2处所示。其中，蒙版图像中的白色部分指示图像帧的前景区域，即人像所在区域，蒙版中的黑色部分指示图像帧的背景区域，即人像所在外部环境区域。
在采集和处理当前图像帧的同时，还可以通过调用图像采集设备所在终端提供的API获取拍摄当前图像帧时图像采集设备的姿态数据(该姿态数据可以是终端中的陀螺仪或者向量传感器检测并输出的数据)，根据该姿态数据和预设的全景图像及其的参照基准的位置信息(该全景图像可以是用户预先选取的全景图像，例如，用户选择的B地的全景图像)，使用OpenGL绘制与姿态数据指示的视角对应的部分图像作为与该图像帧对应的第二图像元素，第二图像元素如图4b中3处所示。
进而，可以使用适当的图像融合算法，将当前图像帧、第一图像元素和第二图像元素进行融合处理，生成合成图像帧，该合成图像帧实现了将图像帧中的背景替换为第二图像元素的效果。
由此完成了针对一个图像帧的处理过程。通过对多个图像帧进行上述的处理过程，可以生成包含用户拍摄的图像帧的前景区域，且背景区域是用户预先选择的全景图像中的至少部分图像的视频。且该视频中的背景图像可以根据图像采集设备的视角变化而变化，视频中当前景区域的人像随着视角的变化而产生不同的视觉效果时，背景区域可以产生与该视角匹配的视觉效果，从而使得视频观看的真实度更高，使用户体验更好。
通过本实施例，使用背景分割算法计算图像帧的前景区域和背景区域，并根据计算的前景区域和背景区域生成蒙版作为第一图像元素或者生成二值化的第一图像元素，使得对图像帧的前景区域和背景区域的分割更加准确，从而有助于后续生成的合成图像帧的真实性，减少违和感。
另外，根据使用姿态数据计算出的投影矩阵绘制全景图像中与姿态数据对应的第二图像元素，使得不同的姿态数据对应的第二图像元素不同，使得后续根据这些第二图像元素生成的视频中的背景图像可以根据视角的变化而变化，从而使观看的真实感更强。
本实施例的视频生成方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC 机等。
实施例三
参照图5a，示出了根据本发明实施例三的一种图像处理方法的步骤流程示意图。
本实施例的图像处理方法包括以下步骤：
步骤S502：采集图像帧。
若该方法由终端执行，则终端可以通过调用本地的图像采集设备(如摄像头)的API的方式，利用图像采集设备采集图像帧。例如，通过图像采集设备拍摄视频，则视频中的每一帧都可以是采集的图像帧。
如该方法由服务端执行，则服务端可以通过网络向连接的图像采集设备发送指令，以通过连接的图像采集设备采集图像帧。
步骤S504：获取根据所述图像帧生成的全景视频。
全景视频可以由终端在本地根据采集的图像帧生成，也可以由终端将图像帧发送到服务端，由服务端生成全景视频后再返回给终端。
该全景视频可以是基于其他用户拍摄的全景视频生成的合拍视频。合拍视频包括但不限于多人互动视频、交换场景视频。
在第一种可行方式中，如图5b所示，示出了一种由终端采集图像帧，由服务端根据图像帧生成全景视频的示意图。
所述全景视频根据与全景图像关联的合成图像帧生成，所述合成图像帧至少使用第一图像元素和第二图像元素合成，所述第一图像元素根据采集的所述图像帧确定，所述第二图像元素根据图像采集设备的姿态数据和全景图像中预设的参照基准的位置信息确定，所述参照基准的位置信息用于指示所述图像帧与全景图像的匹配依据。
例如，终端将拍摄的视频中的图像帧发送到云端，同时可以将每个图像帧在拍摄时的图像采集设备的姿态数据以及需要使用的全景图像的信息均可以发送给云端。
在云端中，使用背景分割算法对图像帧进行处理，获取其中前景区域(即人像所在区域)作为第一图像元素。同时，使用全景投影算法根据全景图像、全景图像的参照基准的位置信息和姿态数据，从全景图像中与姿态数据指示的视角对应的部分图像作为第二图像元素，之后将第一图像元素和第二图像元素进行合成，生成合成图像帧。
之后，根据各个图像帧的时序和各个图像帧对应的合成图像帧，生成全景视频，并将全景视频发送给终端。
下面结合一个具体的生成合拍视频的使用场景，对通过服务端生成全景视频的过程进行说明如下：
在终端通过图像采集设备采集到图像帧(该图像帧可以是用户拍摄的视频中的一个或多个图像帧)之后，在合拍互动模式下，可以将其采集的图像帧中的部分图像元素添加到其他用户拍摄的全景视频中，生成具有多人(该多人可以是双人或双人以上)互动效果的多人互动视频；或者，可以使用其采集的图像帧中的部分图像元素替换其他用户拍摄的全景视频中的部分图像元素，生成交换场景视频。
下面针对生成多人互动视频和交换场景视频的过程分别进行说明如下：
在根据采集的图像帧生成多人互动视频时，终端可以将通过图像采集设备采集的图像帧、以及选择的其他用户拍摄的全景视频的信息发送给服务端。
在服务端，一方面，可以通过实施例一或二所述的实现方式，从采集的图像帧中获取第一图像元素(该第一图像元素例如为图像帧中用户A的图像)；另一方面，根据其他用户拍摄的全景视频(该全景视频例如为包含用户B的图像的全景视频)生成全景图像，并通过实施例一或二所述的实现方式，根据图像帧对应的姿态数据，从基于其他用户拍摄的全景视频生成的全景图像中确定与姿态数据对应的第二图像元素。
之后，根据第一图像元素和第二图像元素生成合成图像帧。该合成图像帧中既包含用户A的图像也包含用户B的图像。这样根据合成图像帧生成的全景视频即为用户A与用户B多人互动的全景视频。
在根据采集的图像帧生成交换场景视频时，终端可以将通过图像采集设备采集的图像帧、以及选择的其他用户拍摄的全景视频的信息发送给服务端。
在服务端，一方面，可以通过实施例一或二所述的实现方式，从采集的图像帧中获取第一图像元素(该第一图像元素例如为图像帧中用户A的图像)；另一方面，根据其他用户(如用户B)拍摄的全景视频，提取出其中的背景图像，并根据背景图像生成全景图像，并通过实施例一或二所述的实现方式，根据图像帧对应的姿态数据，从基于其他用户拍摄的全景视频生成的全景图像中确定与姿态数据对应的第二图像元素。
之后，根据第一图像元素和第二图像元素生成合成图像帧。该合成图像帧中前景是用户A的图像，背景是用户B拍摄的全景视频中的背景图像。后续可以根据合成图像帧生成的全景视频。
下面以一个具体的展示四季变换过程的全景视频为例，对交换场景视频的生成过程进行详细说明。
针对地点1，用户A通过图像采集设备拍摄了一个包含地点1春季图像和夏季图像的全景视频1。用户B拍摄的全景视频2中包含地点1秋季的图像和冬季的图像。
在生成四季变换过程的全景视频时，可以将全景视频1中的部分包含夏季图像的图像帧作为采集的图像帧，将采集的图像帧的信息、对应的姿态数据和全景视频1发送给服务端。
在服务端，从采集的图像帧中获取其前景图像(即用户A的图像)作为第一图像元素。此外，根据全景视频2中的各图像帧的背景图像生成全景图像，并根据姿态数据确定全景图像中的部分图像作为第二图像元素，之后根据第一图像元素和第二图像元素生成合成图像帧(合成图像帧中即为用户A在地点1拍摄的秋季的图像或冬季的图像)。再根据每个采集的图像帧对应的合成图像帧、以及全景视频1生成新的全景视频，该新的全景视频为用户A在地点1拍摄的视频，且全景视频中包含了地点1四季的变换。
当然，需要说明的是，前述以在服务端生成全景视频为例进行了说明，在其他实施例中，上述过程可以在终端执行，以实现在终端生成全景视频。
在第二种可行方式中，如图5c所示，示出了一种由终端采集图像帧，并生成全景视频中的合成图像帧的界面变化示意图。图5c中界面1示出了用户通过具有图像采集设备的终端采集图像帧的界面示意图。
此可行方式中，步骤S504包括以下子步骤：
子步骤S5041：获取用户对展示的候选全景图像的选择操作。
在采集图像帧之后，可以通过终端界面展示候选全景图像。其展示界面如图5c中界面2所示。
候选全景图像可以预设在终端本地，也可以由终端通过网络向服务端请求获得。在本实施例中，候选全景图像中可以包括付费全景图像和免费全景图像。其中，付费全景图像可以是其他用户(例如商家)制作并上传的全景图像。
若选择操作指示用户基于展示的候选全景图像，选择了免费全景图像，则根据采集图像帧时的图像采集设备的姿态数据、选择的免费全景图像及其中预设的参照基准的位置信息，确定选择的免费全景图像与姿态数据对应的第二图像元素。
此外，从采集的图像帧中获取第一图像元素。需要的说明的是，获取第一图像元素和第二图像元素的具体实现方式可以采用实施例一或二中所述的实现方式，本实施例在此不再赘述。根据获取的第一图像元素、第二图像元素生成合成图像帧，以根据合成图像帧生成全景视频。
若选择操作指示用户基于展示的候选全景图像，选择了付费全景图像，则执行子步骤S5042。
子步骤S5042：若所述选择操作指示的候选全景图像为付费全景图像，则根据所述选择操作展示付费界面。
展示的付费界面如图5c中界面3所示。在付费界面中包含付费选项，用户可以通过触发付费选项进行支付。支付完成后，执行子步骤S5043。通过支付选项进行支付的实现方式可以采用现有技术中任意适当的实现方式，本实施例对此不作限制。
在步骤S5043：根据选择的所述全景图像和所述图像帧，生成全景视频。
在用户针对付费全景图像支付完成后，根据该全景图像，可以采用上述的实施例一或二中所述的实现方式获取全景图像中的第二图像元素、以及图像帧中的第一图像元素，并根据第二图像元素和第一图像元素生成合成图像帧，合成图像帧如图5c界面4所示。以便后续根据合成图像帧生成全景视频。
生成全景视频的实现方式可以采用前述的方式，故不再赘述。
步骤S506：提供所述全景视频。
终端可以通过显示屏向用户提供全景视频，供用户观看。由于生成该全景视频的过程中根据姿态数据指示的视角不同，从全景图像中提取与视角对应的部分图像(即第二图像元素)作为全景视频中的背景，这样使得全景视频中的背景具有全景图像本身具有的真实感强的特性，从而用户在观看生成的全景视频时，随着拍摄视角的变化，全景视频中的背景也会随之变化，从而使全景视频的真实感更好、观看效果更好。
通过本实施例，针对采集的图像帧，在使用其生成全景视频时，从图像帧中提取出前景图像，并根据采集时的姿态数据从全景图像中提取出部分图像作为背景图像，再将前景图像和背景图像融合，这样生成的合成图像帧中，不同的姿态数据对应的背景图像不同，使得拍摄视角产生变化时背景图像跟随视角变化，因而可以生成十分逼真的、与全景图像对应的全景视频供用户观看。
实施例四
参照图6，示出了根据本发明实施例四的一种视频生成装置的结构框图。
本实施例的视频生成装置包括：第一获取模块602，用于从图像采集设备采集的至少一个图像帧中，获取第一图像元素，所述第一图像元素用于指示所述图像帧的图像元素；第二获取模块604，用于根据所述图像帧对应的图像采集设备的姿态数据和全景图像中预设的参照基准的位置信息，确定全景图像中与所述姿态数据对应的第二图像元素，第二图像元素包括全景图像中的部分图像元素；合成模块606，用于使用所述第一图像元素及第二图像元素，生成与所述图像帧对应的合成图像帧；生成模块608，用于根据合成图像帧生成全景视频。
可选地，所述第二获取模块604包括：第一确定模块6041，用于根据所述图像帧对应的图像采集设备的姿态数据，确定所述图像采集设备的视角矩阵；第二确定模块6042，用于根据所述视角矩阵和所述全景图像中预设的参照基准的位置信息，确定与所述全景图像对应的投影矩阵；绘制模块6043，用于根据所述投影矩阵和所述全景图像，绘制与所述姿态数据对应的第二图像元素。
可选地，所述第一获取模块602用于在所述从图像采集设备采集的至少一个图像帧中，获取第一图像元素时，针对从图像采集设备采集的至少一个图像帧，使用背景分割算法计算图像帧对应的第一图像元素，其中，所述第一图像元素用于指示对应的图像帧的前景区域和/或背景区域。
可选地，所述第一获取模块602在使用背景分割算法计算图像帧对应的第一图像元素时，使用背景分割算法计算图像帧中的前景区域和背景区域，根据计算结果生成区分所述前景区域和背景区域的蒙版图像，将所述蒙版图像作为所述第一图像元素。
可选地，所述第一获取模块602在所述使用背景分割算法计算图像帧对应的第一图像元素时，使用背景分割算法计算图像帧中的前景区域和背景区域，获得计算结果；对所述计算结果进行二值化处理，获得所述第一图像元素。
可选地，所述合成模块606用于将所述图像帧、与对应的所述第一图像元素及所述第二图像元素进行融合，生成与所述图像帧对应的合成图像帧。
本实施例的视频生成装置用于实现前述多个方法实施例中相应的视频生成方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的视频生成装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例五
参照图7，示出了根据本发明实施例五的一种图像处理装置的结构框图。
在本实施例中，图像处理装置包括图像采集模块702，用于采集图像帧；
视频生成模块704，用于获取根据所述图像帧生成的全景视频，所述全景视频根据与全景图像关联的合成图像帧生成，所述合成图像帧至少使用第一图像元素和第二图像元素合成，所述第一图像元素根据采集的所述图像帧确定，所述第二图像元素根据图像采集设备的姿态数据和全景图像中预设的参照基准的位置信息确定，所述参照基准的位置信息用于指示所述图像帧与全景图像的匹配依据；视频提供模块706，用于提供所述全景视频。
可选地，所述视频生成模块704包括：操作接收模块7041，用于获取用户对展示的候选全景图像的选择操作，其中，所述候选全景图像包括付费全景图像和/或免费全景图像；付费展示界面7042，用于若所述选择操作指示的候选全景图像为所述付费全景图像，则根据所述选择操作展示付费界面；全景合成模块7043，用于根据选择的所述全景图像和所述图像帧，生成全景视频。
本实施例的图像处理装置用于实现前述多个方法实施例中相应的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的图像处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例六
参照图8，示出了根据本发明实施例六的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图8所示，该电子设备可以包括：处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。
其中：
处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。
通信接口804，用于与其它电子设备如终端设备或服务器进行通信。
处理器802，用于执行程序810，具体可以执行上述视频生成方法或图像处理方法实施例中的相关步骤。
具体地，程序810可以包括程序代码，该程序代码包括计算机操作指令。
处理器802可能是中央处理器CPU，或者是特定集成电路ASIC (ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器806，用于存放程序810。存储器806可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序810具体可以用于使得处理器802执行以下操作：从图像采集设备采集的至少一个图像帧中，获取第一图像元素，所述第一图像元素用于指示所述图像帧的图像元素；根据所述图像帧对应的图像采集设备的姿态数据和全景图像中预设的参照基准的位置信息，确定全景图像中与姿态数据对应的第二图像元素，所述第二图像元素包括所述全景图像中的部分图像元素；使用所述第一图像元素及第二图像元素，生成与所述图像帧对应的合成图像帧；根据合成图像帧生成全景视频。
在一种可选的实施方式中，程序810还用于使得处理器802在根据所述图像帧对应的图像采集设备的姿态数据和全景图像中预设的参照基准的位置信息，确定全景图像中与所述姿态数据对应的第二图像元素时，根据所述图像帧对应的图像采集设备的姿态数据，确定所述图像采集设备的视角矩阵；根据所述视角矩阵和所述全景图像中预设的参照基准的位置信息，确定与所述全景图像对应的投影矩阵；根据所述投影矩阵和所述全景图像，绘制与所述姿态数据对应的第二图像元素。
在一种可选的实施方式中，程序810还用于使得处理器802在从图像采集设备采集的至少一个图像帧中，获取第一图像元素时，针对从图像采集设备采集的至少一个图像帧，使用背景分割算法计算所述图像帧对应的第一图像元素，其中，所述第一图像元素用于指示图像帧的前景区域和/或背景区域。
在一种可选的实施方式中，程序810还用于使得处理器802在使用背景分割算法计算所述图像帧对应的第一图像元素时，使用背景分割算法确定所述图像帧中的前景区域和背景区域，根据计算结果生成区分所述前景区域和背景区域的蒙版图像，将所述蒙版图像作为第一图像元素。
在一种可选的实施方式中，程序810还用于使得处理器802在所述使用背景分割算法计算所述图像帧对应的第一图像元素时，使用背景分割算法计算所述图像帧中的前景区域和背景区域，获得计算结果；对所述计算结果进行二值化处理，获得所述第一图像元素。
在一种可选的实施方式中，程序810还用于使得处理器802在使用所述第一图像元素及第二图像元素，生成与所述图像帧对应的合成图像帧时，将所述图像帧与对应的第一图像元素及第二图像元素进行融合，生成与所述图像帧对应的合成图像帧。
或者，程序810具体可以用于使得处理器802执行以下操作：采集图像帧；获取根据所述图像帧生成的全景视频，所述全景视频根据与全景图像关联的合成图像帧生成，所述合成图像帧至少使用第一图像元素和第二图像元素合成，所述第一图像元素根据采集的所述图像帧确定，所述第二图像元素根据图像采集设备的姿态数据和全景图像中预设的参照基准的位置信息确定，所述参照基准的位置信息用于指示所述图像帧与全景图像的匹配依据；提供所述全景视频。
在一种可选的实施方式中，程序810还用于使得处理器802在获取根据所述图像帧生成的全景视频时，获取用户对展示的候选全景图像的选择操作，其中，所述候选全景图像包括付费全景图像和/或免费全景图像；若所述选择操作指示的候选全景图像为所述付费全景图像，则根据所述选择操作展示付费界面；根据选择的所述全景图像和所述图像帧，生成全景视频。
程序810中各步骤的具体实现可以参见上述视频生成方法或图像处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
通过本实施例的电子设备，能够生成真实感强、效果逼真的全景视频。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如 ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的视频生成方法或图像处理方法。此外，当通用计算机访问用于实现在此示出的视频生成方法或图像处理方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的视频生成方法或图像处理方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (18)

1.一种视频生成方法，其特征在于，包括：
从图像采集设备采集的至少一个图像帧中，获取第一图像元素，所述第一图像元素用于指示所述图像帧的图像元素；
根据所述图像帧对应的图像采集设备的姿态数据，确定所述图像采集设备的视角矩阵，根据所述视角矩阵和全景图像中预设的参照基准的位置信息的矩阵乘积，确定所述图像采集设备的投影矩阵，根据所述投影矩阵，确定全景图像中与姿态数据对应的第二图像元素，所述第二图像元素包括所述全景图像中的部分图像元素；
使用所述第一图像元素及第二图像元素，生成与所述图像帧对应的合成图像帧；
根据合成图像帧生成全景视频。
2.根据权利要求1所述的方法，其特征在于，根据所述投影矩阵，确定全景图像中与姿态数据对应的第二图像元素，包括：
根据所述投影矩阵和所述全景图像，绘制与所述姿态数据对应的第二图像元素。
3.根据权利要求1所述的方法，其特征在于，所述从图像采集设备采集的至少一个图像帧中，获取第一图像元素，包括：
针对从图像采集设备采集的至少一个图像帧，使用背景分割算法计算所述图像帧对应的第一图像元素，其中，所述第一图像元素用于指示图像帧的前景区域和/或背景区域。
4.根据权利要求3所述的方法，其特征在于，所述使用背景分割算法计算所述图像帧对应的第一图像元素，包括：
使用背景分割算法确定所述图像帧中的前景区域和背景区域，根据计算结果生成区分所述前景区域和背景区域的蒙版图像，将所述蒙版图像作为第一图像元素。
5.根据权利要求3所述的方法，其特征在于，所述使用背景分割算法计算所述图像帧对应的第一图像元素，包括：
使用背景分割算法计算所述图像帧中的前景区域和背景区域，获得计算结果；
对所述计算结果进行二值化处理，获得所述第一图像元素。
6.根据权利要求1所述的方法，其特征在于，所述使用所述第一图像元素及第二图像元素，生成与所述图像帧对应的合成图像帧，包括：
将所述图像帧与对应的第一图像元素及第二图像元素进行融合，生成与所述图像帧对应的合成图像帧。
7.一种图像处理方法，其特征在于，包括：
采集图像帧；
获取根据所述图像帧生成的全景视频，所述全景视频根据与全景图像关联的合成图像帧生成，所述合成图像帧至少使用第一图像元素和第二图像元素合成，所述第一图像元素根据采集的所述图像帧确定，所述第二图像元素以下述方式确定：根据图像采集设备的姿态数据，确定所述图像采集设备的视角矩阵，根据所述视角矩阵和全景图像中预设的参照基准的位置信息的矩阵乘积，确定所述图像采集设备的投影矩阵，根据所述投影矩阵确定所述第二图像元素，所述参照基准的位置信息用于指示所述图像帧与全景图像的匹配依据；
提供所述全景视频。
8.根据权利要求7所述的方法，其特征在于，所述获取根据所述图像帧生成的全景视频，包括：
获取用户对展示的候选全景图像的选择操作，其中，所述候选全景图像包括付费全景图像和/或免费全景图像；
若所述选择操作指示的候选全景图像为所述付费全景图像，则根据所述选择操作展示付费界面；
根据选择的所述全景图像和所述图像帧，生成全景视频。
9.一种视频生成装置，其特征在于，包括：
第一获取模块，用于从图像采集设备采集的至少一个图像帧中，获取第一图像元素，所述第一图像元素用于指示所述图像帧的图像元素；
第二获取模块，用于根据所述图像帧对应的图像采集设备的姿态数据，确定所述图像采集设备的视角矩阵，根据所述视角矩阵和全景图像中预设的参照基准的位置信息的矩阵乘积，确定所述图像采集设备的投影矩阵，根据所述投影矩阵，确定全景图像中与姿态数据对应的第二图像元素，第二图像元素包括所述全景图像中的部分图像元素；
合成模块，用于使用所述第一图像元素及第二图像元素，生成与所述图像帧对应的合成图像帧；
生成模块，用于根据合成图像帧生成全景视频。
10.根据权利要求9所述的装置，其特征在于，所述第二获取模块包括：
绘制模块，用于根据所述投影矩阵和所述全景图像，绘制与所述姿态数据对应的第二图像元素。
11.根据权利要求9所述的装置，其特征在于，所述第一获取模块用于在所述从图像采集设备采集的至少一个图像帧中，获取第一图像元素时，针对从图像采集设备采集的至少一个图像帧，使用背景分割算法计算所述图像帧对应的第一图像元素，其中，所述第一图像元素用于指示图像帧的前景区域和/或背景区域。
12.根据权利要求11所述的装置，其特征在于，所述第一获取模用于在所述使用背景分割算法计算所述图像帧对应的第一图像元素时，使用背景分割算法计算所述图像帧中的前景区域和背景区域，根据计算结果生成区分所述前景区域和背景区域的蒙版图像，将所述蒙版图像作为第一图像元素。
13.根据权利要求11所述的装置，其特征在于，所述第一获取模块用于在所述使用背景分割算法计算图像帧对应的第一图像元素时，使用背景分割算法计算所述图像帧中的前景区域和背景区域，获得计算结果；对所述计算结果进行二值化处理，获得所述第一图像元素。
14.根据权利要求9所述的装置，其特征在于，所述合成模块用于将所述图像帧、与对应的第一图像元素及第二图像元素进行融合，生成与所述图像帧对应的合成图像帧。
15.一种图像处理装置，其特征在于，包括：
图像采集模块，用于采集图像帧；
视频生成模块，用于获取根据所述图像帧生成的全景视频，所述全景视频根据与全景图像关联的合成图像帧生成，所述合成图像帧至少使用第一图像元素和第二图像元素合成，所述第一图像元素根据采集的所述图像帧确定，所述第二图像元素以下述方式确定：根据图像采集设备的姿态数据，确定所述图像采集设备的视角矩阵，根据所述视角矩阵和全景图像中预设的参照基准的位置信息的矩阵乘积，确定所述图像采集设备的投影矩阵，根据所述投影矩阵确定所述第二图像元素，所述参照基准的位置信息用于指示所述图像帧与全景图像的匹配依据；
视频提供模块，用于提供所述全景视频。
16.根据权利要求15所述的装置，其特征在于，所述视频生成模块包括：
操作接收模块，用于获取用户对展示的候选全景图像的选择操作，其中，所述候选全景图像包括付费全景图像和/或免费全景图像；
付费展示界面，用于若所述选择操作指示的候选全景图像为所述付费全景图像，则根据所述选择操作展示付费界面；
全景合成模块，用于根据选择的所述全景图像和所述图像帧，生成全景视频。
17.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-6中任一项所述的视频生成方法对应的操作，或者，执行如权利要求7或8所述的图像处理方法对应的操作。
18.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-6中任一所述的视频生成方法，或者，执行时实现如权利要求7或8所述的图像处理装置。
CN201911282418.5A 2019-12-13 2019-12-13 视频生成方法、装置、电子设备及计算机存储介质 Active CN112995491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911282418.5A CN112995491B (zh) 2019-12-13 2019-12-13 视频生成方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911282418.5A CN112995491B (zh) 2019-12-13 2019-12-13 视频生成方法、装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112995491A CN112995491A (zh) 2021-06-18
CN112995491B true CN112995491B (zh) 2022-09-16

Family

ID=76332410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911282418.5A Active CN112995491B (zh) 2019-12-13 2019-12-13 视频生成方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112995491B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570612B (zh) * 2021-09-23 2021-12-17 苏州浪潮智能科技有限公司 一种图像处理方法、装置及设备
CN114615426A (zh) * 2022-02-17 2022-06-10 维沃移动通信有限公司 拍摄方法、装置、电子设备和可读存储介质
CN114900621A (zh) * 2022-04-29 2022-08-12 北京字跳网络技术有限公司 特效视频确定方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101309389A (zh) * 2008-06-19 2008-11-19 深圳华为通信技术有限公司 一种合成可视图像的方法、装置和终端
CN105376500A (zh) * 2014-08-18 2016-03-02 三星电子株式会社 用于产生全景视频的视频处理设备及其方法
CN107018336A (zh) * 2017-04-11 2017-08-04 腾讯科技（深圳）有限公司 图像处理的方法和装置及视频处理的方法和装置
CN107613360A (zh) * 2017-09-20 2018-01-19 北京奇虎科技有限公司 视频数据实时处理方法及装置、计算设备
CN108010105A (zh) * 2016-11-02 2018-05-08 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN108769739A (zh) * 2018-06-27 2018-11-06 哈尔滨市舍科技有限公司 从全景视频中获取图片和短视频的方法
CN108830820A (zh) * 2018-05-31 2018-11-16 康键信息技术（深圳）有限公司 电子装置、图像采集方法和计算机可读存储介质
CN110062176A (zh) * 2019-04-12 2019-07-26 北京字节跳动网络技术有限公司 生成视频的方法、装置、电子设备和计算机可读存储介质
CN110298862A (zh) * 2018-03-21 2019-10-01 广东欧珀移动通信有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
CN110309721A (zh) * 2019-05-31 2019-10-08 百度在线网络技术（北京）有限公司 视频处理方法、终端和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108260020B (zh) * 2018-01-24 2021-07-06 阿里巴巴（中国）有限公司 在全景视频中显示互动信息的方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101309389A (zh) * 2008-06-19 2008-11-19 深圳华为通信技术有限公司 一种合成可视图像的方法、装置和终端
CN105376500A (zh) * 2014-08-18 2016-03-02 三星电子株式会社 用于产生全景视频的视频处理设备及其方法
CN108010105A (zh) * 2016-11-02 2018-05-08 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN107018336A (zh) * 2017-04-11 2017-08-04 腾讯科技（深圳）有限公司 图像处理的方法和装置及视频处理的方法和装置
CN107613360A (zh) * 2017-09-20 2018-01-19 北京奇虎科技有限公司 视频数据实时处理方法及装置、计算设备
CN110298862A (zh) * 2018-03-21 2019-10-01 广东欧珀移动通信有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
CN108830820A (zh) * 2018-05-31 2018-11-16 康键信息技术（深圳）有限公司 电子装置、图像采集方法和计算机可读存储介质
CN108769739A (zh) * 2018-06-27 2018-11-06 哈尔滨市舍科技有限公司 从全景视频中获取图片和短视频的方法
CN110062176A (zh) * 2019-04-12 2019-07-26 北京字节跳动网络技术有限公司 生成视频的方法、装置、电子设备和计算机可读存储介质
CN110309721A (zh) * 2019-05-31 2019-10-08 百度在线网络技术（北京）有限公司 视频处理方法、终端和存储介质

Also Published As

Publication number Publication date
CN112995491A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112995491B (zh) 视频生成方法、装置、电子设备及计算机存储介质
CN109788189B (zh) 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法
JP7387202B2 (ja) ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
CN108958469B (zh) 一种基于增强现实的在虚拟世界增加超链接的方法
CN112039937B (zh) 一种显示方法、位置确定方法及装置
CN113220251B (zh) 物体显示方法、装置、电子设备及存储介质
CN109788359B (zh) 一种视频数据处理方法和相关装置
CN111402404B (zh) 全景图补全方法、装置、计算机可读存储介质及电子设备
CN115690382A (zh) 深度学习模型的训练方法、生成全景图的方法和装置
CN111741223B (zh) 一种全景图像拍摄方法、装置和系统
CN114442805A (zh) 一种监控场景展示方法、系统、电子设备及存储介质
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
CN111402136A (zh) 全景图生成方法、装置、计算机可读存储介质及电子设备
CN108961424B (zh) 虚拟信息处理方法、设备及存储介质
WO2024104439A1 (zh) 图像插帧方法、装置、设备及计算机可读存储介质
CN113132708B (zh) 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
JP2018033107A (ja) 動画の配信装置及び配信方法
US11910068B2 (en) Panoramic render of 3D video
CN115761190A (zh) 基于场景映射的多用户增强现实相片浏览方法及系统
CN115131528A (zh) 虚拟现实场景确定方法、装置及系统
CN112634339B (zh) 商品对象信息展示方法、装置及电子设备
CN114900742A (zh) 基于视频推流的场景旋转过渡方法以及系统
CN114900743A (zh) 基于视频推流的场景渲染过渡方法以及系统
CN113822936A (zh) 数据处理方法、装置、计算机设备及存储介质
CN112312041A (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant