CN115002442B - 一种图像展示方法、装置、电子设备及存储介质 - Google Patents

一种图像展示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115002442B
CN115002442B CN202210575768.6A CN202210575768A CN115002442B CN 115002442 B CN115002442 B CN 115002442B CN 202210575768 A CN202210575768 A CN 202210575768A CN 115002442 B CN115002442 B CN 115002442B
Authority
CN
China
Prior art keywords
image
background
target
coordinate system
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210575768.6A
Other languages
English (en)
Other versions
CN115002442A (zh
Inventor
焦少慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202210575768.6A priority Critical patent/CN115002442B/zh
Publication of CN115002442A publication Critical patent/CN115002442A/zh
Priority to PCT/CN2023/089010 priority patent/WO2023226628A1/zh
Application granted granted Critical
Publication of CN115002442B publication Critical patent/CN115002442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开实施例公开了一种图像展示方法、装置、电子设备及存储介质。该方法包括：获取与目标视频中的各视频帧分别对应的转换图像；获取背景拍摄设备于目标时刻下的背景位姿，从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像；根据背景位姿，将视角图像中的像素点转换到背景拍摄设备所在的背景拍摄坐标系下，得到目标图像；将背景拍摄设备于目标时刻下拍摄的背景图像、与目标图像进行合并，并将合并后得到的增强现实图像进行展示。本公开实施例的技术方案，可以基于AR方式展示目标视频中的视频帧，即基于AR方式播放目标视频，其通过AR方式实现了目标视频的交互式观看过程，从而保证了用户观看目标视频时的自由度。

Description

一种图像展示方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及数据处理技术领域，尤其涉及一种图像展示方法、装置、电子设备及存储介质。
背景技术
自由视角视频是时下热门的一种视频形式，其是通过向用户提供交互选择观看角度的功能，赋予了固定二维(two dimensional,2D)视频“移步换景”的观看体验，从而给用户带来了强烈的立体冲击。
目前主要是通过构建单独的交互式播放器来展示自由视角视频，该交互式播放器可以通过滑动条方式展现给用户，以使用户通过拖动滑动条来观看不同视角下的视频。但是，这种方式会导致用户观看的自由度受到限制，体验不佳。
发明内容
本公开实施例提供了一种图像展示方法、装置、电子设备及存储介质，以基于增强现实(Augmented Reality,AR)方式展示目标视频中的视频帧，即基于AR方式展示目标视频，从而保证用户观看目标视频时的自由度。
第一方面，本公开实施例提供了一种图像展示方法，可以包括：
获取与目标视频中的各视频帧分别对应的转换图像，其中，转换图像是将前景图像中位于图像坐标系下的像素点转换到增强现实坐标系下后得到的图像，前景图像是从视频帧中提取出的包含前景对象的图像，目标视频包括自由视角视频或是光场视频；
获取背景拍摄设备于目标时刻下的背景位姿，从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像；
根据背景位姿，将视角图像中的像素点转换到背景拍摄设备所在的背景拍摄坐标系下，得到目标图像；
将背景拍摄设备于目标时刻下拍摄的背景图像、与目标图像进行合并，并将合并后得到的增强现实图像进行展示。
第二方面，本公开实施例还提供了一种图像展示装置，可以包括：
转换图像获取模块，用于获取目标视频中的各视频帧分别对应的转换图像，其中，转换图像是将前景图像中的位于图像坐标系下的像素点转换到增强现实坐标系下后得到的图像，前景图像是从视频帧中提取出的包含前景对象的图像，目标视频包括自由视角视频或是光场视频；
视角图像确定模块，用于获取背景拍摄设备于目标时刻下的背景位姿，从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像；
目标图像得到模块，用于根据背景位姿，将视角图像中的像素点转换到背景拍摄设备所在的背景拍摄坐标系下，得到目标图像；
增强现实图像展示模块，用于将背景拍摄设备于目标时刻下拍摄到的背景图像、与目标图像进行合并，并将合并后得到的增强现实图像进行展示。
第三方面，本公开实施例还提供了一种电子设备，可以包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本公开任意实施例所提供的图像展示方法。
第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本公开任意实施例所提供的图像展示方法。
本公开实施例的技术方案，通过获取与目标视频中的各视频帧分别对应的转换图像，该转换图像可以是将从视频帧中提取出的前景图像中位于图像坐标系下的像素点转换到AR坐标系下后的图像；获取背景拍摄设备于目标时刻下的背景位姿，并从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像；根据背景位姿将视角图像中像素点转换到背景拍摄设备所在的背景拍摄坐标系，得到目标图像；从而，将背景拍摄设备于目标时刻下拍摄的背景图像、与目标图像进行合并，并将合并后得到的AR图像进行展示。上述技术方案，可以基于AR方式展示目标视频中的视频帧，即基于AR方式播放目标视频，其通过AR方式实现了目标视频的交互式观看过程，从而保证了用户观看目标视频时的自由度，用户体验较佳。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1是本公开实施例中的一种图像展示方法的流程图；
图2是本公开实施例中的另一种图像展示方法的流程图；
图3是本公开实施例中的另一种图像展示方法的流程图；
图4是本公开实施例中的另一种图像展示方法中可选示例的示意图；
图5是本公开实施例中的一种图像展示装置的结构框图；
图6是本公开实施例中的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
图1是本公开实施例中所提供的一种图像展示方法的流程图。本实施例可适用于通过AR方式展示目标视频中的视频帧，从而实现目标视频的AR展示的情况。该方法可以由本公开实施例提供的图像展示装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在电子设备上，该电子设备可以是各种终端设备(如手机、平板电脑或头戴式显示设备等)或是服务器。
参见图1，本公开实施例的方法具体包括如下步骤：
S110、获取目标视频中的各视频帧分别对应的转换图像，其中，转换图像是将前景图像中的位于图像坐标系下的像素点转换到增强现实坐标系下后得到的图像，前景图像是从视频帧中提取出的包含前景对象的图像，目标视频包括自由视角视频或是光场视频。
其中，目标视频可以是具有多个视角的视频，具体说可以是自由视角视频或是光场视频，该自由视角视频可以是多台前景拍摄设备呈圆环形环绕部署在被拍摄对象(即前景对象)的周围，以便对该前景对象进行同步采集后得到的视频；该光场视频可以是通过分布在平面或球面上的多台前景拍摄设备来同时捕获目标空间内来自不同视点即视角的光场样本后得到的视频，该目标空间内设置有前景对象。需要说明的是，上述前景拍摄设备可以是相机(如光场相机或是普通相机)、摄像机或是摄像头等；上述阐述的自由视角视频和光场视频的得到过程仅是示例，也可以基于其余方式得到它们，在此未做具体限定。
视频帧可以是目标视频中的一张视频图像，针对每个视频帧，从中提取(即抠取)出包含前景对象的前景图像，该前景对象可以是目标视频中的主体对象和/或主体对象的手持物等。每个视频帧均对应有各自的转换图像，该转换图像可以理解为将与该视频帧对应的前景图像中位于图像坐标系下的像素点转换到AR坐标系下后的图像，该图像坐标系可以理解为该前景图像所在的空间坐标系，该AR坐标系可以理解为用于展示后续生成的AR图像的图像展示设备的屏幕坐标系。需要说明的是，转换图像设置的意义是，以前景拍摄设备是相机为例，为了实现视频帧的AR展示，拍摄视频帧时的多相机采集点无法与AR展示时的虚拟相机位置点匹配上，因此这里需要投影变换，并生成虚拟相机位置点上的新视角图像(即转换图像)，从而可以与AR展示相匹配，得到相机变换情况下的正确视角图像(即需要正确显示的图像)。除此外，图像展示装置可以直接获取到预先处理完成的转换图像并应用，也可以对直接获取到的各视频帧分别进行处理后得到转换图像再应用，等等，在此未做具体限定。
S120、获取背景拍摄设备于目标时刻下的背景位姿，并从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像。
其中，背景拍摄设备可以是不同于前景拍摄设备的用于拍摄AR图像中的背景对象的设备，背景位姿可以是该背景拍摄设备于目标时刻下的位姿，具体可以通过设备位置和设备朝向进行表示，6个自由度；该目标时刻可以是历史时刻、当前时刻或是未来时刻等，在此未做具体限定。针对与目标时刻下展示的AR图像对应的视频帧，与目标时刻对应的各转换图像可以理解为与该视频帧同步采集的那些视频帧对应的转换图像。示例性的，假设目前时刻下展示的AR图像对应的视频帧是目标视频中的第50帧视频帧，那么与目标时刻对应的各转换图像可以是与同步采集到的那些第50帧视频帧分别对应的转换图像。与目标时刻对应的各转换图像的拍摄视角互不相同，从各拍摄视角中确定与背景位姿对应的背景视角，该背景视角可以理解为用户在目标时刻下的观看视角，然后将这些转换图像中具有该观看视角的转换图像作为视角图像，以便基于该视角图像生成并展示的AR图像是与观看视角匹配的图像。
S130、根据背景位姿，将视角图像中的像素点转换到背景拍摄设备所在的背景拍摄坐标系下，得到目标图像。
其中，背景拍摄坐标系可以是背景拍摄设备所在的空间坐标系，需要说明的是，AR坐标系和背景拍摄坐标系是不同的空间坐标系，如AR坐标系可以是手机的屏幕坐标系，背景拍摄坐标系可以是手机内的相机所在的空间坐标系；再如AR坐标系可以是头戴式显示设备的屏幕坐标系，背景拍摄坐标系可以是平板内的相机所在的空间坐标系；等等，在此未做具体限定。
根据背景位姿将位于AR坐标系下的视角图像转换到背景拍摄坐标系下，得到目标图像。在实际应用中，可选的，为了得到与背景图像更为匹配的目标图像，除考虑背景位姿外，还可以考虑背景拍摄设备的背景内参，其可以反映出背景拍摄设备的焦距和畸变等情况。在此基础上，示例性的，假设目标图像中的像素点通过Pt-cam进行表示，那么Pt-cam＝Kcam[Rcam|tcam]PAR，其中，PAR表示视角图像中的像素点，Kcam表示背景内参，Rcam表示背景拍摄设备的旋转矩阵，tcam表示背景拍摄设备的平移矩阵，这里通过Rcam和tcam表示背景位姿。
S140、将背景拍摄设备于目标时刻下拍摄的背景图像与目标图像进行合并，并将合并后得到的增强现实图像进行展示。
其中，背景图像可以是背景拍摄设备于目标时刻下拍摄到的图像，将背景图像和目标图像进行合并，具体合并方式可以是融合或是叠加等，然后将合并后得到的AR图像进行展示，由此实现了视频帧的AR展示的效果。那么，在按照目标视频中的各视频帧的先后采集顺序依次展示相应的AR图像时，由此实现了目标视频的AR展示的效果。这样一来，用户通过挪动背景拍摄设备的空间位置这种交互方式即可观看到目标视频中相应视角下的视频，从而保证了用户观看目标视频时的自由度，实现了六自由度的目标视频的用户观看过程。另外，上述技术方案通过将目标视频放到AR领域中进行播放来实现目标视频的展示过程，并非是通过渲染三维模型来实现，由此可以展示出三维模型无法表现出的精细感，如人物发丝的清晰展示，用户体验更佳。
本公开实施例的技术方案，通过获取与目标视频中的各视频帧分别对应的转换图像，该转换图像可以是将从视频帧中提取出的前景图像中位于图像坐标系下的像素点转换到AR坐标系下后的图像；获取背景拍摄设备于目标时刻下的背景位姿，并从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像；根据背景位姿将视角图像中像素点转换到背景拍摄设备所在的背景拍摄坐标系，得到目标图像；从而，将背景拍摄设备于目标时刻下拍摄的背景图像、与目标图像进行合并，并将合并后得到的AR图像进行展示。上述技术方案，可以基于AR方式展示目标视频中的视频帧，即基于AR方式播放目标视频，其通过AR方式实现了目标视频的交互式观看过程，从而保证了用户观看目标视频时的自由度，用户体验较佳。
一种可选的技术方案，在上述实施例的基础上，从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像，可以包括：将于目标时刻的上一时刻展示的增强现实图像对应的视频帧作为上一帧，并从各视频帧中确定上一帧的下一帧；将与各下一帧分别对应的各转换图像作为与目标时刻对应的各转换图像，分别获取目标时刻对应的各转换图像的拍摄视角；从各拍摄视角中确定与背景位姿对应的背景视角，并将目标时刻对应的各转换图像中具有背景视角的转换图像作为视角图像。其中，上一帧可以是各视频帧中与目标时刻的上一时刻展示的AR图像对应的视频帧，即与在合并得到该AR时涉及的目标图像对应的视频帧。下一帧可以是各视频帧中在上一帧播放完毕后可播放的视频帧，由于目标视频是具有多个视角的视频，因此这里存在多个同步采集到的下一帧。与各下一帧分别对应的各转换图像作为与目标时刻对应的各转换图像，并分别获取每个转换图像的拍摄视角，其可以表示出用于拍摄该转换图像对应的视频帧的前景拍摄设备是以什么视角进行拍摄。从而，可以从各拍摄视角中确定与背景位姿对应的背景视角，其可以反映出用户在目标时刻下的观看视角，然后将目标时刻对应的各转换图像中具有该背景视角的转换图像作为视角图像，以基于该视角图像生成并展示的AR图像是与背景视角匹配的图像。
另一种可选的技术方案，在上述实施例的基础上，将背景拍摄设备于目标时刻下拍摄的背景图像与目标图像进行合并，并将合并后得到的增强现实图像进行展示，可以包括：获取背景拍摄设备于目标时刻下拍摄的背景图像，识别背景图像中的背景平面，得到背景平面在背景图像中的平面位置；基于平面位置对背景图像与目标图像进行合并，以使合并后得到的增强现实图像中的前景对象位于背景平面上；展示增强现实图像。其中，背景平面可以是背景图像中的用于依托前景对象的平面，即背景拍摄设备拍摄到的平面；平面位置可以是背景平面在背景图像中的位置。基于平面位置对背景图像与目标图像进行合并，以使由此得到的AR图像中的前景对象位于背景平面上，如跳舞小女孩站立在办公桌面上跳舞，由此增加了AR图像的趣味性。
图2是本公开实施例中提供的另一种图像展示方法的流程图。本实施例以上述实施例中各个可选方案为基础进行优化。本实施例中，可选的，上述图像展示方法，还可以包括：针对每个视频帧，从视频帧中提取出前景图像；获取用于拍摄视频帧的前景拍摄设备的标定结果；根据标定结果将前景图像中的位于图像坐标系下的像素点转换到前景拍摄设备所在的前景拍摄坐标系下，得到标定图像；将标定图像中的像素点转换到增强现实坐标系下，得到转换图像。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
相应的，如图2所示，本实施例的方法具体可以包括如下步骤：
S210、针对目标视频中的每个视频帧，从视频帧中提取出包含前景对象的前景图像，其中，目标视频包括自由视角视频或是光场视频。
其中，假设目标视频由N个前景拍摄设备拍摄得到，并且各前景拍摄设备同步采集M帧视频帧，N和M均是正整数，那么可以基于S210-S230分别处理这M*N帧视频帧中的每一帧。具体的，针对每个视频帧，从中提取出前景图像，这一提取过程可以理解为抠图过程，可以通过多种方式实现，如对视频帧进行二分类、人像抠图、基于背景先验的抠图或是绿幕抠图等，从而得到前景图像。
S220、获取用于拍摄视频帧的前景拍摄设备的标定结果，根据标定结果将前景图像中的位于图像坐标系下的像素点转换到前景拍摄设备所在的前景拍摄坐标系下，得到标定图像。
其中，标定结果可以是对前景拍摄设备进行标定后得到的结果，实际应用中可以通过前景位姿和前景内参进行表示。示例性的，为了缩短标定时间并且降低标定难度，可以采用如下方式进行标定：分别获取各前景拍摄设备拍摄的视频帧序列，并确定这些视频帧序列之间的特征匹配关系；根据特征匹配关系分别得到各前景拍摄设备的标定结果。由于上述标定过程是自标定过程，通过拍摄的各视频帧序列即可完成，无需涉及到标定板，由此达到了缩短标定时间并且降低标定难度的效果。当然，上述示例仅仅是标定结果的得到过程的一种可选方案，还可以基于其余方式获取到标定结果，在此未做具体限定。
前景拍摄坐标系可以是前景拍摄设备所在的坐标系，根据标定结果将前景图像中的各像素点分别转换到前景拍摄坐标系下，得到标定图像。示例性的，假设标定图像中的像素点通过P进行表示，则P＝[R|t]-1K-1pt，其中，pt表示前景图像中的像素点，R表示前景拍摄设备的旋转矩阵，t表示前景拍摄设备的平移矩阵，这里通过R和t表示前景位姿，K表示前景内参。
S230、将标定图像中的像素点转换到增强现实坐标系下，得到转换图像。
其中，如果各前景拍摄设备在拍摄目标视频前，已经过对齐处理，这意味着各前景拍摄坐标系是同一空间坐标系，那么可以直接将标定图像中的像素点转换到AR坐标系下，得到转换图像；否则，可以先对各前景拍摄坐标系进行定轴处理，然后再对标定图像中的像素点进行转换；等等。
S240、获取背景拍摄设备于目标时刻下的背景位姿，并从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像。
S250、根据背景位姿，将视角图像中的像素点转换到背景拍摄设备所在的背景拍摄坐标系下，得到目标图像。
S260、将背景拍摄设备于目标时刻下拍摄的背景图像与目标图像进行合并，并将合并后得到的增强现实图像进行展示。
本公开实施例的技术方案，针对每个视频帧，通过从视频帧中提取出前景图像，然后根据用于拍摄该视频帧的前景拍摄设备的标定结果将该前景图像中的各像素点分别转换到前景拍摄坐标系下，进而将由此得到的标定图像转换到AR坐标系下，由此实现了转换图像的准确得到的效果。
一种可选的技术方案，在上述实施例的基础上，将标定图像中的像素点转换到增强现实坐标系下，得到转换图像，包括：获取定轴坐标系，其中，定轴坐标系包括根据各前景拍摄设备的前景位姿或是拍摄的视频帧确定的坐标系；将标定图像中的像素点转换到定轴坐标系下，得到定轴图像；将定轴图像中的像素点转换到增强现实坐标系下，得到转换图像。
其中，人工在搭建多台前景拍摄设备时，通常期望将它们搭建到同一平面上，但这一要求通过人工对齐很难实现，耗时耗力并且精度难以保证。但是，未对齐的各前景拍摄设备拍摄出的目标视频在视角变换时存在抖动现象，这会直接影响到用户对于目标视频的观看体验。为了解决这一问题，可以获取用于实现定轴功能的定轴坐标系，然后让标定图像转换到定轴坐标系下，从而得到在视角变换时不会存在抖动现象的定轴图像。实际应用中，可选的，上述定轴坐标系可以通过多种方式得到，如根据各前景拍摄设备的前景位姿得到，具体来说可以是基于各前景位姿计算出相应单应矩阵，从而得到定轴坐标系；再如根据各前景拍摄设备拍摄的视频帧确定，如对这些视频帧进行特征匹配，从而得到定轴坐标系；等等，在此未做具体限定。进一步，将定轴图像转换到AR坐标系下，得到转换图像，以避免出现视角变换下的转换图像发生抖动的情况。
在此基础上，可选的，将标定图像中的像素点转换到定轴坐标系下，得到定轴图像，可以包括：获取前景拍摄坐标系到定轴坐标系的第一单应矩阵，并基于第一单应矩阵将标定图像中的像素点转换到定轴坐标系下，得到定轴图像。示例性的，假设定轴图像中的像素点通过Pfix-axis进行表示，则Pfix-axis＝HFP，其中，P表示标定图像中的像素点，HF表示第一单应矩阵。
另一可选的，将定轴图像中的像素点转换到增强现实坐标系下，得到转换图像，可以包括：获取定轴坐标系到增强现实坐标系的第二单应矩阵，并基于第二单应矩阵将定轴图像中的像素点转换到增强现实坐标系下，得到转换图像。示例性的，假设转换图像中的像素点通过PAR进行表示，则PAR＝HAPfix-axis，其中，Pfix-axis表示定轴图像中的像素点，HA表示第二单应矩阵。
图3是本公开实施例中提供的另一种图像展示方法的流程图。本实施例以上述实施例中各个可选方案为基础进行优化。在本实施例中，可选的，将背景拍摄设备于目标时刻下拍摄的背景图像与目标图像进行合并，并将合并后得到的增强现实图像进行展示，可以包括：获取背景拍摄设备于目标时刻下拍摄的背景图像；基于目标图像中各像素点的透明信息，将目标图像和背景图像进行融合，得到增强现实图像，并展示增强现实图像。其中，与上述各实施例相同或是相应的术语的解释在此不再赘述。
相应的，如图3所示，本实施例的方法具体可以包括如下步骤：
S310、获取目标视频中的各视频帧分别对应的转换图像，其中，转换图像是将前景图像中的位于图像坐标系下的像素点转换到增强现实坐标系下后得到的图像，前景图像是从视频帧中提取出的包含前景对象的图像，目标视频包括自由视角视频或是光场视频。
S320、获取背景拍摄设备于目标时刻下的背景位姿，并从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像。
S330、根据背景位姿，将视角图像中的像素点转换到背景拍摄设备所在的背景拍摄坐标系下，得到目标图像。
S340、获取背景拍摄设备于目标时刻下拍摄的背景图像。
S350、基于目标图像中的各像素点的透明信息，将目标图像和背景图像进行融合，得到增强现实图像，并展示增强现实图像。
其中，针对目标图像中的每个像素点，其的透明信息可以表示出该像素点在透明通道(即alpha通道)下的信息，基于各像素点的透明信息可以实现目标图像和背景图像的融合，从而得到AR图像。示例性的，针对目标图像中的任一像素点foreground，基于alpha表示其的透明信息，那么该像素点与背景图像中相应的像素点background进行融合后的像素点可以表示为：Pixel_final＝alpha*foreground+(1-alpha)*background，其中，Pixel_final表示融合后的像素点。需要说明的是，正如上文所述，本公开实施例是将目标视频放到AR领域中进行播放来实现目标视频的展示过程，并非是通过光照实时绘制三维模型来实现，换言之，目标视频无法再次被绘制，其本身就是视频数据，因此这里是通过融合方式得到AR图像。
本公开实施例的技术方案，通过目标图像中各像素点的透明信息实现目标图像和背景图像的融合，从而保证了AR图像的有效得到的效果。
一种可选的技术方案，在上述实施例基础上，在基于目标图像中的各像素点的透明信息，将目标图像和背景图像进行融合前之前，上述图像展示方法，还可以包括：获取背景图像的色温；基于色温对目标图像的图像参数进行调整，并根据调整结果更新目标图像，其中，图像参数包括白平衡和/或亮度。其中，为了保证融合后得到的AR图像中的前景对象和背景对象相匹配，在进行融合前，可以先获取背景图像的色温，从而基于色温对目标图像的白平衡和/或亮度等图像参数进行调整，以使调整后的目标图像在色调上与背景图像匹配，从而保证了后续融合后得到的AR图像的整体一致性，用户体验较好。
为了从整体上更好地理解上述各技术方案，下面结合具体示例，对其进行示例性说明。示例性的，参见图4，针对每个视频帧，对用于拍摄该视频帧的相机进行标定，并根据标定结果实现该视频帧中的各像素点的空间转换，从而得到标定图像；获取定轴坐标系，并将标定图像中的各像素点转换到定轴坐标系下，得到定轴图像；获取AR坐标系，并将定轴图像中的各像素点转换到AR坐标系下，得到目标图像；为了扩展目标视频的观看视角，可以基于物理视角下的目标图像生成虚拟视角下的虚拟图像，并将该虚拟图像也作为目标图像；将目标图像和手机内的摄像头拍摄到的背景图像进行融合，从而得到AR图像；依次展示各AR图像，从而实现了目标视频的AR展示效果。
图5为本公开实施例中提供的图像展示装置的结构框图，该装置用于执行上述任意实施例所提供的图像展示方法。该装置与上述各实施例的图像展示方法属于同一个构思，在图像展示装置的实施例中未详尽描述的细节内容，可以参考上述图像展示方法的实施例。参见图5，该装置具体可以包括：转换图像获取模块410、视角图像确定模块420、目标图像得到模块430和增强现实图像展示模块440。
其中，转换图像获取模块410，用于获取与目标视频中的各视频帧分别对应的转换图像，其中，转换图像是将前景图像中的位于图像坐标系下的像素点转换到增强现实坐标系下后得到的图像，前景图像是从视频帧中提取出的包含前景对象的图像，目标视频包括自由视角视频或是光场视频；
视角图像确定模块420，用于获取背景拍摄设备于目标时刻下的背景位姿，并从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像；
目标图像得到模块430，用于根据背景位姿，将视角图像中的像素点转换到背景拍摄设备所在的背景拍摄坐标系下，得到目标图像；
增强现实图像展示模块440，用于将背景拍摄设备于目标时刻下拍摄的背景图像、与目标图像进行合并，并将合并后得到的增强现实图像进行展示。
可选的，在上述装置的基础上，该装置还可以包括：
前景图像提取模块，用于针对每个视频帧，从视频帧中提取出前景图像；
标定结果获取模块，用于获取用于拍摄视频帧的前景拍摄设备的标定结果；
标定图像得到模块，用于根据标定结果将前景图像中的位于图像坐标系下的像素点转换到前景拍摄设备所在的前景拍摄坐标系下，得到标定图像；
转换图像得到模块，用于将标定图像中的像素点转换到增强现实坐标系下，得到转换图像。
在此基础上，转换图像得到模块，可以包括：
定轴坐标系获取单元，用于获取定轴坐标系，其中，定轴坐标系包括根据各前景拍摄设备的前景位姿或是拍摄的视频帧确定的坐标系；
定轴图像得到单元，用于将标定图像中的各像素点转换到定轴坐标系下，得到定轴图像；
转换图像得到单元，用于将定轴图像中的像素点转换到增强现实坐标系下，得到转换图像。
在此基础上，可选的，定轴图像得到单元，具体可用于：
获取前景拍摄坐标系到定轴坐标系的第一单应矩阵，并基于第一单应矩阵将标定图像中的像素点转换到定轴坐标系下，得到定轴图像。
再可选的，转换图像得到单元，具体可用于：
获取定轴坐标系到增强现实坐标系的第二单应矩阵，并基于第二单应矩阵将定轴图像中的像素点转换到增强现实坐标系下，得到转换图像。
可选的，增强现实图像展示模块440，可以包括：
背景图像获取单元，用于获取背景拍摄设备于目标时刻下拍摄的背景图像；
增强现实图像展示单元，用于基于目标图像中的各像素点的透明信息，将目标图像和背景图像进行融合，得到增强现实图像，并展示增强现实图像。
可选的，在上述装置的基础上，该装置还可以包括：
色温获取模块，用于在基于目标图像中各像素点的透明信息，将目标图像和背景图像进行融合之前，获取背景图像的色温；
目标图像更新模块，用于基于色温对目标图像的图像参数进行调整，根据调整结果更新目标图像，其中，图像参数包括白平衡和/或亮度。
可选的，视角图像确定模块420，可以包括：
下一帧确定单元，用于将于目标时刻的上一时刻展示的增强现实图像对应的视频帧作为上一帧，并从各视频帧中确定上一帧的下一帧；
拍摄视角获取单元，用于将与各下一帧分别对应的各转换图像作为与目标时刻对应的各转换图像，分别获取目标时刻对应的各转换图像的拍摄视角；
视角图像得到单元，用于从各拍摄视角中确定与背景位姿对应的背景视角，并将目标时刻对应的各转换图像中具有背景视角的转换图像作为视角图像。
可选的，增强现实图像展示模块440，可以包括：
平面位置得到单元，用于获取背景拍摄设备于目标时刻下拍摄的背景图像，识别背景图像中的背景平面，得到背景平面在背景图像中的平面位置；
图像合并单元，用于基于平面位置对背景图像与目标图像进行合并，以使合并后得到的增强现实图像中的前景对象位于背景平面上；
增强现实图像展示单元，用于展示增强现实图像。
本公开实施例所提供的图像展示装置，通过转换图像获取模块获取与目标视频中的各视频帧分别对应的转换图像，该转换图像可以是将从视频帧中提取出的前景图像中的位于图像坐标系下的像素点转换到AR坐标系下后的图像；通过视角图像确定模块获取背景拍摄设备于目标时刻下的背景位姿，然后从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像；通过目标图像得到模块根据背景位姿将视角图像中的像素点转换到背景拍摄设备所在的背景拍摄坐标系，得到目标图像；从而，通过增强现实图像展示模块将背景拍摄设备于目标时刻下拍摄的背景图像、与目标图像进行合并，将合并后得到的AR图像进行展示。上述装置，可以基于AR方式展示目标视频中的视频帧，即可以基于AR方式播放目标视频，其通过AR方式实现了目标视频的交互式观看过程，从而保证了用户观看目标视频时的自由度，用户体验较佳。
本公开实施例所提供的图像展示装置可执行本公开任意实施例所提供的图像展示方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述图像展示装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开的保护范围。
下面参考图6，其示出了适于用来实现本公开实施例的电子设备(例如图6中的终端设备或服务器)500的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图6中示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
获取与目标视频中的各视频帧分别对应的转换图像，其中，转换图像是将前景图像中位于图像坐标系下的像素点转换到增强现实坐标系下后得到的图像，前景图像是从视频帧中提取出的包含前景对象的图像，目标视频包括自由视角视频或是光场视频；
获取背景拍摄设备于目标时刻下的背景位姿，从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像；
根据背景位姿，将视角图像中的像素点转换到背景拍摄设备所在的背景拍摄坐标系下，得到目标图像；
将背景拍摄设备于目标时刻下拍摄的背景图像、与目标图像进行合并，并将合并后得到的增强现实图像进行展示。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，转换图像获取模块还可以被描述为“获取目标视频中的各视频帧分别对应的转换图像，其中，转换图像是将前景图像中的位于图像坐标系下的像素点转换到增强现实坐标系下后得到的图像，前景图像是从视频帧中提取出的包含前景对象的图像，目标视频包括自由视角视频或是光场视频的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，【示例一】提供了一种图像展示方法，该方法可以包括：
获取与目标视频中的各视频帧分别对应的转换图像，其中，转换图像是将前景图像中位于图像坐标系下的像素点转换到增强现实坐标系下后得到的图像，前景图像是从视频帧中提取出的包含前景对象的图像，目标视频包括自由视角视频或是光场视频；
获取背景拍摄设备于目标时刻下的背景位姿，从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像；
根据背景位姿，将视角图像中的像素点转换到背景拍摄设备所在的背景拍摄坐标系下，得到目标图像；
将背景拍摄设备于目标时刻下拍摄的背景图像、与目标图像进行合并，并将合并后得到的增强现实图像进行展示。
根据本公开的一个或是多个实施例，【示例二】提供了示例一的方法，上述图像展示方法，还可以包括：
针对每个视频帧，从视频帧中提取出前景图像；
获取用于拍摄视频帧的前景拍摄设备的标定结果；
根据标定结果将前景图像中的位于图像坐标系下的像素点转换到前景拍摄设备所在的前景拍摄坐标系下，得到标定图像；
将标定图像中的像素点转换到增强现实坐标系下，得到转换图像。
根据本公开的一个或多个实施例，【示例三】提供了示例二的方法，将标定图像中的像素点转换到增强现实坐标系下，得到转换图像，可以包括：
获取定轴坐标系，其中，定轴坐标系包括根据各前景拍摄设备的前景位姿或是拍摄的视频帧确定的坐标系；
将标定图像中的像素点转换到定轴坐标系下，得到定轴图像；
将定轴图像中的像素点转换到增强现实坐标系下，得到转换图像。
根据本公开的一个或多个实施例，【示例四】提供了示例三的方法，将标定图像中的像素点转换到定轴坐标系下，得到定轴图像，可以包括：
获取前景拍摄坐标系到定轴坐标系的第一单应矩阵，并基于第一单应矩阵将标定图像中的像素点转换到定轴坐标系下，得到定轴图像。
根据本公开的一个或多个实施例，【示例五】提供了示例三的方法，将定轴图像中的像素点转换到增强现实坐标系下，得到转换图像，可以包括：
获取定轴坐标系到增强现实坐标系的第二单应矩阵，并基于第二单应矩阵将定轴图像中的像素点转换到增强现实坐标系下，得到转换图像。
根据本公开的一个或多个实施例，【示例六】提供了示例一的方法，将背景拍摄设备于目标时刻下拍摄的背景图像、与目标图像进行合并，并将合并后得到的增强现实图像进行展示，可以包括：
获取背景拍摄设备于目标时刻下拍摄的背景图像；
基于目标图像中的各像素点的透明信息，将目标图像和背景图像进行融合，得到增强现实图像，并展示增强现实图像。
根据本公开的一个或多个实施例，【示例七】提供了示例六的方法，在基于目标图像中的各像素点的透明信息，将目标图像和背景图像进行融合前，上述图像展示方法，还可以包括：
获取背景图像的色温；
基于色温对目标图像的图像参数进行调整，并根据调整结果更新目标图像，其中，图像参数包括白平衡和/或亮度。
根据本公开的一个或是多个实施例，【示例八】提供了示例一的方法，从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像，可以包括：
将于目标时刻的上一时刻展示的增强现实图像对应的视频帧作为上一帧，并从各视频帧中确定上一帧的下一帧；
将与各下一帧分别对应的各转换图像作为与目标时刻对应的各转换图像，分别获取目标时刻对应的各转换图像的拍摄视角；
从各拍摄视角中确定与背景位姿对应的背景视角，并将目标时刻对应的各转换图像中具有背景视角的转换图像作为视角图像。
根据本公开的一个或多个实施例，【示例九】提供了示例一的方法，将背景拍摄设备于目标时刻下拍摄的背景图像、与目标图像进行合并，并将合并后得到的增强现实图像进行展示，可以包括：
获取背景拍摄设备于目标时刻下拍摄的背景图像，识别背景图像中的背景平面，得到背景平面在背景图像中的平面位置；
基于平面位置对背景图像与目标图像进行合并，以使合并后得到的增强现实图像中的前景对象位于背景平面上；
展示增强现实图像。
根据本公开的一个或多个实施例，【示例十】提供了一种图像展示装置，该装置可以包括：
转换图像获取模块，用于获取目标视频中的各视频帧分别对应的转换图像，其中，转换图像是将前景图像中的位于图像坐标系下的像素点转换到增强现实坐标系下后得到的图像，前景图像是从视频帧中提取出的包含前景对象的图像，目标视频包括自由视角视频或是光场视频；
视角图像确定模块，用于获取背景拍摄设备于目标时刻下的背景位姿，从与目标时刻对应的各转换图像中确定与背景位姿对应的视角图像；
目标图像得到模块，用于根据背景位姿，将视角图像中的像素点转换到背景拍摄设备所在的背景拍摄坐标系下，得到目标图像；
增强现实图像展示模块，用于将背景拍摄设备于目标时刻下拍摄到的背景图像、与目标图像进行合并，并将合并后得到的增强现实图像进行展示。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (12)

1.一种图像展示方法，其特征在于，包括：
获取与目标视频中的各视频帧分别对应的转换图像，其中，所述转换图像是将前景图像中的位于图像坐标系下的像素点转换到增强现实坐标系下后得到的图像，所述前景图像是从所述视频帧中提取出的包含前景对象的图像，所述目标视频包括自由视角视频或是光场视频；
获取背景拍摄设备于目标时刻下的背景位姿，并从与所述目标时刻对应的各所述转换图像中确定与所述背景位姿对应的视角图像；
根据所述背景位姿，将所述视角图像中的像素点转换到所述背景拍摄设备所在的背景拍摄坐标系下，得到目标图像；
将所述背景拍摄设备于所述目标时刻下拍摄的背景图像、与所述目标图像进行合并，并将合并后得到的增强现实图像进行展示；
其中，所述图像坐标系为所述前景图像所在的空间坐标系，所述增强现实坐标系为用于展示所述增强现实图像的坐标系。
2.根据权利要求1所述的方法，其特征在于，还包括：
针对每个所述视频帧，从所述视频帧中提取出所述前景图像；
获取用于拍摄所述视频帧的前景拍摄设备的标定结果；
根据所述标定结果将所述前景图像中的位于图像坐标系下的像素点转换到所述前景拍摄设备所在的前景拍摄坐标系下，得到标定图像；
将所述标定图像中的像素点转换到所述增强现实坐标系下，得到所述转换图像。
3.根据权利要求2所述的方法，其特征在于，将所述标定图像中的像素点转换到所述增强现实坐标系下，得到所述转换图像，包括：
获取定轴坐标系，其中，所述定轴坐标系包括根据各所述前景拍摄设备的前景位姿或是拍摄的所述视频帧确定的坐标系；
将所述标定图像中的像素点转换到所述定轴坐标系下，得到定轴图像；
将所述定轴图像中的像素点转换到所述增强现实坐标系下，得到所述转换图像。
4.根据权利要求3所述的方法，其特征在于，将所述标定图像中的像素点转换到所述定轴坐标系下，得到定轴图像，包括：
获取所述前景拍摄坐标系到所述定轴坐标系的第一单应矩阵，并基于所述第一单应矩阵将所述标定图像中的像素点转换到所述定轴坐标系下，得到定轴图像。
5.根据权利要求3所述的方法，其特征在于，所述将所述定轴图像中的像素点转换到所述增强现实坐标系下，得到所述转换图像，包括：
获取所述定轴坐标系到所述增强现实坐标系的第二单应矩阵，并基于所述第二单应矩阵将所述定轴图像中的像素点转换到所述增强现实坐标系下，得到所述转换图像。
6.根据权利要求1所述的方法，其特征在于，所述将所述背景拍摄设备于所述目标时刻下拍摄的背景图像、与所述目标图像进行合并，并将合并后得到的增强现实图像进行展示，包括：
获取所述背景拍摄设备于所述目标时刻下拍摄的背景图像；
基于所述目标图像中的各像素点的透明信息，将所述目标图像和所述背景图像进行融合，得到增强现实图像，并展示所述增强现实图像。
7.根据权利要求6所述的方法，其特征在于，在所述基于所述目标图像中的各像素点的透明信息，将所述目标图像和所述背景图像进行融合前，还包括：
获取所述背景图像的色温；
基于所述色温对所述目标图像的图像参数进行调整，并根据调整结果更新所述目标图像，其中，所述图像参数包括白平衡和/或亮度。
8.根据权利要求1所述的方法，其特征在于，所述从与所述目标时刻对应的各所述转换图像中确定与所述背景位姿对应的视角图像，包括：
将于所述目标时刻的上一时刻展示的所述增强现实图像对应的所述视频帧作为上一帧，并从各所述视频帧中确定所述上一帧的下一帧；
将与各所述下一帧分别对应的各所述转换图像作为与所述目标时刻对应的各所述转换图像，分别获取所述目标时刻对应的各所述转换图像的拍摄视角；
从各所述拍摄视角中确定与所述背景位姿对应的背景视角，并将所述目标时刻对应的各所述转换图像中具有所述背景视角的所述转换图像作为视角图像。
9.根据权利要求1所述的方法，其特征在于，所述将所述背景拍摄设备于所述目标时刻下拍摄的背景图像、与所述目标图像进行合并，并将合并后得到的增强现实图像进行展示，包括：
获取所述背景拍摄设备于所述目标时刻下拍摄的背景图像，识别所述背景图像中的背景平面，得到所述背景平面在所述背景图像中的平面位置；
基于所述平面位置对所述背景图像与所述目标图像进行合并，以使合并后得到的增强现实图像中的所述前景对象位于所述背景平面上；
展示所述增强现实图像。
10.一种图像展示装置，其特征在于，包括：
转换图像获取模块，用于获取目标视频中的各视频帧分别对应的转换图像，其中，所述转换图像是将前景图像中的位于图像坐标系下的像素点转换到增强现实坐标系下后得到的图像，所述前景图像是从所述视频帧中提取出的包含前景对象的图像，所述目标视频包括自由视角视频或是光场视频；
视角图像确定模块，用于获取背景拍摄设备于目标时刻下的背景位姿，从与所述目标时刻对应的各所述转换图像中确定与所述背景位姿对应的视角图像；
目标图像得到模块，用于根据所述背景位姿，将所述视角图像中的像素点转换到所述背景拍摄设备所在的背景拍摄坐标系下，得到目标图像；
增强现实图像展示模块，用于将所述背景拍摄设备于所述目标时刻下拍摄的背景图像、与所述目标图像进行合并，并将合并后得到的增强现实图像进行展示；
其中，所述图像坐标系为所述前景图像所在的空间坐标系，所述增强现实坐标系为用于展示所述增强现实图像的坐标系。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的图像展示方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9中任一所述的图像展示方法。
CN202210575768.6A 2022-05-24 2022-05-24 一种图像展示方法、装置、电子设备及存储介质 Active CN115002442B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210575768.6A CN115002442B (zh) 2022-05-24 2022-05-24 一种图像展示方法、装置、电子设备及存储介质
PCT/CN2023/089010 WO2023226628A1 (zh) 2022-05-24 2023-04-18 图像展示方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210575768.6A CN115002442B (zh) 2022-05-24 2022-05-24 一种图像展示方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115002442A CN115002442A (zh) 2022-09-02
CN115002442B true CN115002442B (zh) 2024-05-10

Family

ID=83028855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210575768.6A Active CN115002442B (zh) 2022-05-24 2022-05-24 一种图像展示方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN115002442B (zh)
WO (1) WO2023226628A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002442B (zh) * 2022-05-24 2024-05-10 北京字节跳动网络技术有限公司 一种图像展示方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920202A (zh) * 2017-11-15 2018-04-17 阿里巴巴集团控股有限公司 基于增强现实的视频处理方法、装置及电子设备
CN108932750A (zh) * 2018-07-03 2018-12-04 百度在线网络技术（北京）有限公司 增强现实的展示方法、装置、电子设备及存储介质
CN112653848A (zh) * 2020-12-23 2021-04-13 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
WO2022095467A1 (zh) * 2020-11-06 2022-05-12 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、设备、介质及程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101669119B1 (ko) * 2010-12-14 2016-10-25 삼성전자주식회사 다층 증강 현실 시스템 및 방법
US10509533B2 (en) * 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
WO2017079278A1 (en) * 2015-11-04 2017-05-11 Intel Corporation Hybrid foreground-background technique for 3d model reconstruction of dynamic scenes
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质
CN113220251B (zh) * 2021-05-18 2024-04-09 北京达佳互联信息技术有限公司 物体显示方法、装置、电子设备及存储介质
CN115002442B (zh) * 2022-05-24 2024-05-10 北京字节跳动网络技术有限公司 一种图像展示方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920202A (zh) * 2017-11-15 2018-04-17 阿里巴巴集团控股有限公司 基于增强现实的视频处理方法、装置及电子设备
CN108932750A (zh) * 2018-07-03 2018-12-04 百度在线网络技术（北京）有限公司 增强现实的展示方法、装置、电子设备及存储介质
WO2022095467A1 (zh) * 2020-11-06 2022-05-12 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、设备、介质及程序
CN112653848A (zh) * 2020-12-23 2021-04-13 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023226628A1 (zh) 2023-11-30
CN115002442A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN110139028B (zh) 一种图像处理的方法及头戴式显示设备
WO2022161107A1 (zh) 三维视频的处理方法、设备及存储介质
CN113873264A (zh) 显示图像的方法、装置、电子设备及存储介质
WO2022037484A1 (zh) 图像处理方法、装置、设备及存储介质
CN114187366A (zh) 一种相机安装校正方法、装置、电子设备及存储介质
CN113989173A (zh) 视频融合方法、装置、电子设备及存储介质
CN107197135B (zh) 一种视频生成方法及视频生成装置
CN114004927A (zh) 3d视频模型重建方法、装置、电子设备及存储介质
CN115002442B (zh) 一种图像展示方法、装置、电子设备及存储介质
US20240037856A1 (en) Walkthrough view generation method, apparatus and device, and storage medium
CN114694136A (zh) 一种物品展示方法、装置、设备及介质
CN111818265B (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
CN113989717A (zh) 视频图像处理方法、装置、电子设备及存储介质
CN115002345B (zh) 一种图像校正方法、装置、电子设备及存储介质
CN115170395A (zh) 全景图像拼接方法、装置、电子设备、介质和程序产品
CN117745928A (zh) 一种图像处理方法、装置、设备及介质
CN114869528A (zh) 扫描数据处理方法、装置、设备及介质
CN113891057A (zh) 视频的处理方法、装置、电子设备和存储介质
CN113837918A (zh) 多进程实现渲染隔离的方法及装置
CN112308809A (zh) 一种图像合成方法、装置、计算机设备及存储介质
CN112991147B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN117745981A (zh) 图像生成方法、装置、电子设备和存储介质
CN115022613A (zh) 一种视频重建方法、装置、电子设备及存储介质
CN117152385A (zh) 图像处理方法、装置、电子设备及存储介质
CN114841984A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant