CN116112744A - 视频处理方法、装置、电子设备及存储介质 - Google Patents

视频处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116112744A
CN116112744A CN202310165713.2A CN202310165713A CN116112744A CN 116112744 A CN116112744 A CN 116112744A CN 202310165713 A CN202310165713 A CN 202310165713A CN 116112744 A CN116112744 A CN 116112744A
Authority
CN
China
Prior art keywords
perspective
scene
position information
window
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310165713.2A
Other languages
English (en)
Inventor
梁兴仑
李嘉维
张帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202310165713.2A priority Critical patent/CN116112744A/zh
Publication of CN116112744A publication Critical patent/CN116112744A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本公开实施例提供了一种视频处理方法、装置、电子设备及存储介质，其中，该方法包括：响应于展示透视画面的操作指令，在当前场景中展示透视窗口；基于目标对象的观测点信息和预先制作的透视场景，确定在透视窗口中所显示的透视画面；在当前场景中展示透视画面。本公开实施例的技术方案，实现了在用户处于当前场景的前提下，通过透视窗口，对另一个场景进行透视渲染的效果，提高了用户与虚拟现实设备之间的交互性体验，进而，提升了用户的沉浸式体验以及使用体验。

Description

视频处理方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
随着虚拟现实(Virtual Reality，VR)技术的快速发展，用户通过佩戴VR设备沉浸式体验虚拟世界已经成为比较常见的休闲娱乐方式。
一般情况下，用户在佩戴VR设备时，可以在显示区域中所展示的虚拟场景中走动，或者执行其他娱乐活动。
然而，现有的VR设备在进行场景显示时存在一定的局限性，无法实现在同一显示区域中同时与多个虚拟场景进行互动的功能，影响用户的使用体验。
发明内容
本公开提供一种视频处理方法、装置、电子设备及存储介质，以实现在用户处于当前场景的前提下，通过透视窗口，对另一个场景进行透视渲染的效果，提高了用户与虚拟现实设备之间的交互性体验，进而，提升了用户的沉浸式体验以及使用体验。
第一方面，本公开实施例提供了视频处理方法，该方法包括：
响应于展示透视画面的操作指令，在当前场景中展示透视窗口；
基于目标对象的观测点信息和预先制作的透视场景，确定在所述透视窗口中所显示的透视画面；其中，所述透视画面为所述透视场景中的至少部分画面；
在所述当前场景中展示所述透视画面。
第二方面，本公开实施例还提供了视频处理装置，该装置包括：
透视窗口展示模块，用于响应于展示透视画面的操作指令，在当前场景中展示透视窗口；
透视画面确定模块，用于基于目标对象的观测点信息和预先制作的透视场景，确定在所述透视窗口中所显示的透视画面；其中，所述透视画面为所述透视场景中的至少部分画面；
透视画面展示模块，用于在所述当前场景中展示所述透视画面。
第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的视频处理方法。
第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的视频处理方法。
本公开实施例的技术方案，通过响应于展示透视画面的操作指令，在当前场景中展示透视窗口，进一步的，基于目标对象的观测点信息和预先制作的透视场景，确定在透视窗口中所显示的透视画面，最后，在当前场景中展示透视画面，解决了现有技术中无法实现在同一显示区域中同时与多个虚拟场景进行互动等问题，实现了在用户处于当前场景的前提下，通过透视窗口，对另一个场景进行透视渲染的效果，提高了用户与虚拟现实设备之间的交互性体验，进而，提升了用户的沉浸式体验以及使用体验。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1是本公开实施例所提供的一种视频处理方法流程示意图；
图2是本公开实施例所提供的一种视频处理方法流程示意图；
图3是本公开实施例所提供的一种视频处理方法流程示意图；
图4是本公开实施例所提供的一种展示位置信息确定方法示意图；
图5是本公开实施例所提供的一种视频处理方法流程示意图；
图6是本公开实施例所提供的一种视频处理方法流程示意图；
图7是本公开实施例所提供的一种视频处理装置结构示意图；
图8是本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。
可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
在介绍本技术方案之前，可以先对应用场景进行示例性说明。可以将本公开实施例应用于在一个VR三维虚拟场景中，通过虚拟的窗口，观测另一虚拟场景中任意画面的场景中，示例性的，用户佩戴虚拟现实设备，以实现当前虚拟场景中进行移动，当检测到用户对于透视画面的展示操作指令时，可以在当前虚拟场景中确定用于展示透视画面的透视窗口，进一步的，可以确定用户观测透视画面时的观测点信息，以基于观测点信息，对透视窗口中的透视画面进行渲染，进而，可以确定透过透视窗口观看透视场景中的透视画面，从而，可以在当前场景中展示透视画面，实现了在用户处于当前场景的前提下，通过透视窗口，对另一个场景进行透视渲染的效果，同时，实现了在同一显示区域对两个虚拟场景进行渲染显示的效果。
图1是本公开实施例所提供的一种视频处理方法流程示意图，本公开实施例适用于当用户处于当前场景中，通过透视窗口，观测到另一个场景的情形，该方法可以由视频处理装置来执行，该装置可以通过软件和/或硬件的形式实现，可选的，通过电子设备来实现，该电子设备可以是移动终端、PC端或服务器等。
如图1所示，所述方法包括：
S110、响应于展示透视画面的操作指令，在当前场景中展示透视窗口。
其中，执行本公开实施例所提供的视频处理方法的装置，可以集成在支持视频处理功能的应用软件中，且该软件可以安装至电子设备中，可选的，电子设备可以是虚拟现实(Virtual Reality，VR)设备或其他设备等。应用软件可以是对图像/视频处理的一类软件，其具体的应用软件在此不再一一赘述，只要可以实现图像/视频处理即可。
在本实施例中，在支持视频处理功能的应用软件或程序中，可以预先开发用于展示透视画面的控件，或者，预先设置用于展示透视画面的预设手势动作，当检测到用户触发该控件，或者，当检测到用户的肢体动作信息与预设肢体动作相一致时，即可对该操作指令进行响应，从而在当前场景中展示透视窗口。在实际应用中，当用户佩戴虚拟现实设备时，可以基于手柄采集用户的肢体动作信息，并在检测到采集到的肢体动作信息与预设肢体动作相一致时，即可确定触发了展示透视画面的操作指令并对其进行相应；或者，当用户佩戴虚拟现实设备时，可以基于设置在VR眼镜外部前端的双目摄像头，采集用户的姿态运动信息如肢体动作信息等，当检测到采集到的肢体动作信息与预设肢体动作相一致时，则可以确定触发了展示透视画面的操作指令并对其进行响应。
其中，透视画面可以为被当前场景所遮挡，仅能通过预设区域范围的窗口观测到的画面。在实际应用中，用户佩戴虚拟现实设备，同时，虚拟现实设备的显示区域中显示的是当前场景，当检测到展示透视画面的操作指令时，可以从当前场景中划分预设区域范围的窗口，并使该窗口进行透视显示，此时，该窗口中会显示被当前场景所遮挡的画面，可以将该画面作为透视画面，相应的，当前场景可以为佩戴虚拟现实设备当前所在的虚拟场景，也就是说，当用户佩戴虚拟现实设备时，虚拟现实设备的显示区域所展示的场景。当前场景可以为三维立体场景。需要说明的是，当前场景可以为预先制作完成，并集成在虚拟现实设备中的场景。透视窗口可以为可以实现从当前场景观测到透视画面的窗口。需要说明的是，透视窗口可以为任意形状、任意尺寸的窗口，可选的，可以为圆形、方向、椭圆形以及用户自定义的形状的窗口。
在实际应用中，当用户佩戴虚拟现实设备，并且，虚拟现实设备的显示区域中展示当前场景时，若检测到用户触发了展示透视画面的操作指令，则可以在当前场景中的任意区域中确定透视窗口并展示。
S120、基于目标对象的观测点信息和预先制作的透视场景，确定在透视窗口中所显示的透视画面。
其中，目标对象可以为对透视画面进行观测的对象。目标对象可以为任意对象，可选的，可以为用户。观测点信息可以为用户基于自身需求，通过眼睛对透视画面进行观测时，用户眼睛所对应的观测位置信息。在实际应用中，当检测得到用户基于透视画面输入的触发操作时，透视画面会根据触发操作进行相应的移动或旋转，以得到用户所需的透视画面观测位置，此时，可以将该观测位置所对应的信息作为观测点信息，进而，可以基于观测点信息和预先制作的透视场景，确定在透视窗口中所显示的透视画面。
其中，透视场景可以为预先制作的，可以在当前场景通过透视窗口观测到的场景，即，除当前场景之外的任意场景。透视场景也同样可以为三维立体场景。在实际应用中，可以预先制作两个场景，并将这两个场景集成在虚拟现实设备中，当用户佩戴虚拟现实设备时，其显示区域中所显示的场景即为当前场景，进一步的，当检测到展示透视画面的指令时，通过透视窗口可以观测到的场景即为透视场景，进而，可以基于观测点信息和透视场景，确定在透视窗口中所显示的透视画面。
其中，透视画面为透视场景中的至少部分画面，也就是说，通过透视窗口所观测到的画面是透视场景中的其中一部分画面或者是全部画面。在本实施例中，用户不同观测点信息所观测到透视画面是不同的，也就是说，不同观测点信息下，透视场景的渲染角度是不同的。在实际应用中，可以通过改变观测点信息，以使透视窗口中所显示的透视画面为透视场景在不同渲染角度下的画面。
在实际应用中，在确定透视窗口并展示于当前场景中之后，可以确定观测点信息并从内存空间中调取预先制作的透视场景，进而，可以基于观测点信息确定透视场景于透视窗口中的渲染角度，从而确定在透视窗口中所显示的透视画面。
S130、在当前场景中展示透视画面。
在本实施例中，在确定透视窗口中所显示的透视画面后，即可在当前场景中的透视窗口中展示已确定的透视画面，从而可以实现从当前场景中，通过透视窗口观测到另一场景，即透视场景的效果。
本公开实施例的技术方案，通过响应于展示透视画面的操作指令，在当前场景中展示透视窗口，进一步的，基于目标对象的观测点信息和预先制作的透视场景，确定在透视窗口中所显示的透视画面，最后，在当前场景中展示透视画面，解决了现有技术中无法实现在同一显示区域中同时与多个虚拟场景进行互动等问题，实现了在用户处于当前场景的前提下，通过透视窗口，对另一个场景进行透视渲染的效果，提高了用户与虚拟现实设备之间的交互性体验，进而，提升了用户的沉浸式体验以及使用体验。
图2是本公开实施例所提供的一种视频处理方法流程示意图，在前述实施例的基础上，可以首先确定透视窗口的展示位置信息，以基于展示位置信息将透视窗口展示于当前场景中。其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图2所示，该方法具体包括如下步骤：
S210、响应于展示透视画面的操作指令，确定透视窗口在当前场景中的展示位置信息，以基于展示位置信息展示透视窗口。
其中，展示位置信息可以为用于表征透视窗口在当前场景中进行展示时所对应的位置信息。可选的，展示位置信息可以为基于预先设置的参数信息所确定的，也可以为基于用户于当前场景中的触发操作所确定的，本公开实施例对此不作具体限定。
在实际应用中，当检测到用户于当前场景中触发了展示透视画面的操作指令，即可对该操作指令进行响应，可以首先确定用于展示透视画面的透视窗口在当前场景中的展示位置信息，进而，可以基于展示位置信息展示透视窗口，从而可以使透视窗口在当前场景中进行展示。
S220、在当前场景中展示透视窗口。
S230、基于目标对象的观测点信息和预先制作的透视场景，确定在透视窗口中所显示的透视画面。
S240、在当前场景中展示透视画面。
本公开实施例的技术方案，通过响应于展示透视画面的操作指令，确定透视窗口在当前场景中的展示位置信息，以基于展示位置信息展示透视窗口，在当前场景中展示透视窗口，进一步的，基于目标对象的观测点信息和预先制作的透视场景，确定在透视窗口中所显示的透视画面，最后，在当前场景中展示透视画面，解决了现有技术中无法实现在同一显示区域中同时与多个虚拟场景进行互动等问题，实现了透视窗口的动态构建效果，进而，实现了在用户处于当前场景的前提下，通过透视窗口，对另一个场景进行透视渲染的效果，提升了用户的沉浸式体验以及使用体验。
图3是本公开实施例所提供的一种视频处理方法流程示意图，在前述实施例的基础上，可以基于预先设定辅助窗口的运动轨迹和透视场景的设定位置信息，确定展示位置信息。其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图3所示，该方法具体包括如下步骤：
S310、响应于展示透视画面的操作指令，基于预先设定辅助窗口的运动轨迹和透视场景的设定位置信息，确定透视窗口的展示位置信息，以基于展示位置信息展示透视窗口。
其中，辅助窗口可以为透视场景所对应的窗口，也就是说，当满足展示透视画面的条件时，可以基于该窗口观测到相应的透视场景，同时，该窗口还可以用于确定透视场景于显示界面中的渲染尺寸。辅助窗口可以为任意形状、任意布局的三维立体窗口，可选的，可以为球体。在本实施例中，运动轨迹可以为辅助窗口在当前场景中发生形态变化时所对应的轨迹。示例性的，运动轨迹可以为辅助窗口的尺寸放大或缩小过程中所对应的轨迹，或者，也可以为辅助窗口与用户观测点之间的距离由远及近或由近及远的移动过程中所对应的轨迹。设定位置信息可以为预先设定的，用于表征透视场景所在位置的信息。示例性的，若透视场景为球体场景，则设定位置信息可以为该球体的球心。在实际开发阶段，为了可以确定透视窗口的展示位置信息，可以引入辅助窗口，并预先设定辅助窗口的运动轨迹，以使辅助窗口在基于该运动轨迹进行移动时，可以与透视场景相交，得到多个交点，从而，可以基于这些交点，确定透视窗口的展示位置信息。
在实际应用中，在确定透视窗口的展示位置信息时，可以引入辅助窗口，并对辅助窗口的运动轨迹进行预先设定，以基于设定好的运动轨迹和透视场景的设定位置信息，确定展示位置信息。
可选的，基于预先设定辅助窗口运动轨迹和透视场景的设定位置信息，确定透视窗口的展示位置信息，包括：在辅助窗口依据运动轨迹运动的过程中，确定辅助窗口的中心点位置信息；根据中心点位置信息和设定位置信息，确定透视窗口的展示位置信息。
其中，中心点位置信息可以为辅助窗口的中心点在空间中的空间位置信息。示例性的，若辅助窗口为球体，则中心点位置信息为球心在空间中的空间位置信息。
需要说明的是，展示位置信息随运动轨迹的变化而变化，因此，在确定透视窗口的展示位置信息时，可以以运动轨迹中其中一个轨迹点下所对应的辅助窗口为例来进行说明。
在实际应用中，可以首先对辅助窗口的运动轨迹进行设定，以使辅助窗口在基于该运动轨迹进行运动时，可以与透视场景相交，然后，可以根据该运动轨迹，确定辅助窗口与透视场景相交时，辅助窗口的中心点位置信息，进一步的，获取透视场景的设定位置信息，以基于该设定位置信息以及辅助窗口的中心点位置信息，确定透视场景与辅助窗口的相交情况，进而，可以通过对相交情况进行分析，确定透视窗口的展示位置信息。这样设置的好处在于：可以根据辅助窗口与透视场景的相交情况，确定透视窗口的展示位置信息，使透视窗口的确定方式更加多样化，并且，还可以通过控制透视场景与辅助窗口的相对距离，来实现透视窗口大小、位置动态变化的效果。
在实际应用中，透视窗口可以对应于多种形状，可选的，可以为球形、长方体或者椭圆体。下面可以以球形为例来对透视窗口展示位置信息的确定过程进行说明。
可选的，根据中心点位置信息和设定位置信息，确定透视窗口的展示位置信息，包括：根据中心点位置信息和设定位置信息，确定辅助窗口与设定位置信息所属透视场景的交点信息；基于交点信息、中心点位置信息和设定位置信息，确定展示位置信息中的中心坐标以及展示半径。
其中，交点信息可以为辅助窗口与设定位置信息所属的透视场景相交时所得到的交点的空间位置信息。在实际应用中，在确定中心点位置信息和设定位置信息后，即可根据中心点位置信息确定辅助窗口在空间中的位置，以及根据设定位置信息确定透视场景在空间中的位置，进而，可以确定辅助窗口与透视场景的相交情况，以基于该相交情况，确定辅助窗口与透视场景之间的多个交点的交点信息。
在本实施例中，在得到辅助窗口与透视场景之间多个交点的交点信息后，即可根据多个交点信息、中心点位置信息以及设定位置信息，确定展示位置信息中的中心坐标以及展示半径。其中，中心坐标可以为透视窗口的中心点位置所对应的坐标。展示半径可以为透视窗口所对应的半径。
在实际应用中，当透视窗口对应于球形时，在确定透视窗口的展示位置信息时，可以将辅助窗口和透视场景投影到二维平面上，即可得到两个相交的二维图形，进一步的，可以基于多个交点中的任意一个交点、辅助窗口所对应的中心点以及透视场景所对应的设定位置点，构建三角形，其中，三角形的边长分别对应于辅助窗口的半径、透视场景的半径以及辅助窗口的中心点与透视场景的设定位置点之间的距离，然后，以构建三角形中的交点为起点，向三角形中与该交点相对的边作垂线，得到垂足，此时，可以将该垂足作为展示位置信息中的中心点，该垂线所对应的距离作为展示位置信息中的展示半径。这样设置的好处在于：可以较为准确地确定透视窗口的展示位置信息，进而，提高了透视窗口的渲染效率。
示例性的，可以结合图4对上述确定方式进行说明：以透视场景和辅助窗口均为球体为例，进而，将透视场景和辅助窗口投影至二维平面中，即可得到两个相交的圆形。其中，O1、R1对应于透视场景，分别为透视场景的圆心和半径，O2、R2对应于辅助窗口，分别为辅助窗口的圆心和半径，Q点和P点为辅助窗口与透视场景之间的交点，c点所对应的坐标为透视窗口的中心点坐标，r为透视窗口的展示半径。基于图4中所示图形并结合几何知识可得：
令x＝|O1-c|，y＝|c-O2|，d＝|O1-O2|，其中，||表示为相应向量的模长；
进一步的，将上述三个公式进行整理，则可以得到：x+y＝d；
并且，由图4可以看出，r为两个直角三角形的共同边，因此，可以得到：
R1*R1-x*x＝R2*R2-y*y；
将上述两个公式整理后可得：
x＝((R1*R1-R2*R2)/d+d)*0.5，y＝d-x
进而，可以基于如下公式确定展示c点坐标以及r：
r＝sqrt(R1*R1-x*x)；c＝O1+normalize(O2-O1)*x
其中，sqrt()为平方根函数，normalize(O2-O1)为归一化后的由O1指向O2的方向向量，*表示乘积。
需要说明的是，基于上述步骤可以确定当透视窗口对应于球形时的中心点坐标以及展示半径，因此，在创建与透视窗口相对应的三维模型时，可以基于己确定的中心点坐标以及展示半径来确定各个网格模型的节点，进而，创建与透视窗口相对应的三维模型，然而，在确定透视窗口的展示位置信息时，引入了辅助窗口，因此，可以将辅助窗口作为透视窗口的代理几何体进行模型创建，以得到透视窗口所对应的模型。这样设置的好处在于：无需在场景中添加新的网格模型，降低了内存的占用率，进而，提高了透视窗口的渲染效率。
在具体实施中，当辅助窗口与透视场景的交点个数为两个时，首先可以分别确定各个交点与辅助窗口的中心点之间的距离，分别为第一待处理距离和第二待处理距离，然后，确定辅助窗口的中心点与透视场景的设定位置点之间的距离，即为中心距离，进一步的，分别确定第一待处理距离与中心距离之间的余弦值，得到第一余弦值，以及第二待处理距离与中心距离之间的余弦值，得到第二余弦值，此时，基于第一余弦值和第二余弦值对辅助窗口进行切分，将处于基于第一余弦值和第二余弦值所构建的余弦值范围之内的几何体保留，并将这部分几何体作为透视窗口所对应的几何体。
示例性的，继续参照图4所示，首先计算交点P与O2之间的方向向量
Figure BDA0004096325660000151
交点Q与O2之间的方向向量
Figure BDA0004096325660000152
以及O1与O2之间的方向向量
Figure BDA0004096325660000153
进一步的，计算
Figure BDA0004096325660000154
与
Figure BDA0004096325660000155
之间的夹角余弦值，得到第一余弦值，同时，计算
Figure BDA0004096325660000156
与
Figure BDA0004096325660000157
之间的夹角余弦值，得到第二余弦值，从而，可以基于第一余弦值和第二余弦值对辅助窗口进行切分，保留处于基于第一余弦值和第二余弦值所构建的余弦值范围之内的几何体，即可得到透视窗口。
S320、在当前场景中展示透视窗口。
S330、基于目标对象的观测点信息和预先制作的透视场景，确定在透视窗口中所显示的透视画面。
S340、在当前场景中展示透视画面。
本公开实施例的技术方案，通过响应于展示透视画面的操作指令，基于预先设定辅助窗口的运动轨迹和透视场景的设定位置信息，确定透视窗口的展示位置信息，以基于展示位置信息展示透视窗口，在当前场景中展示透视窗口，进一步的，基于目标对象的观测点信息和预先制作的透视场景，确定在透视窗口中所显示的透视画面，最后，在当前场景中展示透视画面，解决了现有技术中无法实现在同一显示区域中同时与多个虚拟场景进行互动等问题，实现了在用户处于当前场景的前提下，通过透视窗口，对另一个场景进行透视渲染的效果，同时，还通过控制透视场景与辅助窗口的相对距离，实现了透视窗口大小、位置动态变化的效果，进而，提升了用户的使用体验。
图5是本公开实施例所提供的一种视频处理方法流程示意图，在前述实施例的基础上，可以通过操作用户在当前场景中的绘制轨迹，确定透视窗口的展示位置信息。其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图5所示，该方法具体包括如下步骤：
S410、响应于展示透视画面的操作指令，获取操作用户在当前场景中的绘制轨迹，并基于绘制轨迹，确定透视窗口的展示位置信息，以基于展示位置信息展示透视窗口。
其中，操作用户可以为佩戴并操作虚拟现实设备的用户。绘制轨迹可以为基于输入设备或用户手指控制当前场景中的触点进行划动后形成的轨迹。在实际应用中，基于显示区域中的当前场景绘制相应的绘制轨迹时，可以选择任意绘制点作为绘制轨迹的起点，进而，基于输入设备或用户手指控制该绘制点在显示界面中进行移动，当检测到绘制点在任意区域上的停留时间达到预设时长时，则可以将此时绘制点所在的位置作为绘制轨迹的终点所在位置，此时，途径起点与终点的轨迹即为绘制轨迹。可选的，输入设备可以为虚拟现实设备中的手柄。
在实际应用过程中，操作用户在当前场景中的绘制轨迹可以存在至少两种确定方式，下面可以分别对这两种确定方式以及基于绘制轨迹确定透视窗口的展示位置信息的具体过程进行说明。
一种方式可以为：获取操作用户在当前场景中的绘制轨迹，并基于绘制轨迹，确定透视窗口的展示位置信息，包括：基于手势识别算法获取操作用户在当前场景中的手势运动信息，并基于手势运动信息确定绘制轨迹；依据预设时间采样间隔对绘制轨迹采样处理，得到多个采样点；基于最小二乘拟合算法对多个采样点拟合处理，得到展示位置信息中的中心坐标以及展示半径。
其中，手势识别算法可以为对用户手势动作进行追踪定位，以确定用户手部在各个视频帧中的空间位置信息的算法。在本实施例中，当检测到操作用户在当前场景中的姿态信息发生变化时，可以基于预先设置在虚拟现实设备上的图像采集装置，采集包括操作用户的多张图像，进一步的，可以基于预先集成在虚拟现实设备中的手势识别算法对这些图像进行预处理，以得到包括操作用户手势的分割图像，然后，对这些分割图像进行手势特征提取，以基于提取后的手势特征确定手部关键点的位置变化信息，进而，可以根据该位置变化信息，确定操作用户在当前场景中的手势运动信息。手势运动信息可以为表征用户手势在当前场景中的运动情况的信息。示例性的，手势运动信息可以为操作用户在当前场景中用手指画了一个闭合形状时所对应的信息。
在实际应用中，当检测到操作用户在当前场景中的姿态信息发生变化时，可以基于手势识别算法对操作用户手部特征点进行追踪检测，确定手部特征点的位置变化信息，进而，可以根据位置变化信息，确定操作用户在当前场景中的手势运动信息，从而，可以基于手势运动信息确定绘制轨迹。示例性的，若手势运动信息可以为操作用户在当前场景中用手指画了一个闭合形状时所对应的信息，则其对应的绘制轨迹可以为该闭合形状所对应的轨迹。
进一步的，在得到绘制轨迹后，即可依据预设时间采样间隔对绘制轨迹进行采样处理，得到多个采样点。
其中，预设时间采样间隔可以为预先设置的，用于对绘制轨迹进行采样处理时两次采样之间的时间差。在实际应用中，在得到绘制轨迹后，可以依据预设时间采样间隔对绘制轨迹中所包含的各个轨迹点的空间位置信息进行采样处理，当新采样的采样点与第一个采样点近似重合时，则可以确定采样过程结束，此时，可以得到多个采样点。轨迹点中可以包括采样点。
进一步的，在得到多个采样点之后，即可基于最小二乘拟合算法对多个采样点进行拟合处理，从而可以得到展示位置信息中的中心坐标以及展示半径。
本领域技术人员应当理解，最小二乘拟合算法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配，利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和最小。最小二乘拟合算法还可以用于曲线拟合，也就是确定一条曲线，使数据点均在此曲线的上方或下方不远处。
在本实施例中，中心坐标可以为透视窗口的中心位置所对应的坐标。展示半径可以为透视窗口的半径。
在实际应用中，在得到多个采样点后，可以基于最小二乘拟合算法对这些采样点进行拟合处理，以得到一条拟合曲线，进一步的，对这条拟合曲线进行分析处理，从而可以得到展示位置信息中的中心坐标和展示半径。示例性的，拟合曲线可以为拟合圆。
另一种方式可以为：获取操作用户在当前场景中的绘制轨迹，并基于绘制轨迹，确定透视窗口的展示位置信息，包括：获取目标手柄在空间中的绘制轨迹；依据预设时间采样间隔对绘制轨迹采样处理，得到多个采样点；基于最小二乘拟合算法对多个采样点拟合处理，得到展示位置信息中的中心坐标以及展示半径。
其中，目标手柄可以为操作用户手持并在空间中做出轨迹绘制动作的手柄。
在实际应用中，当操作用户佩戴虚拟现实设备时，可以基于虚拟现实设备对目标对象的多个监测部位，如，手柄手持部位，的旋转角度和移动位移进行监测，当检测到操作用户手持任意手柄在空间中做出轨迹绘制动作时，可以将该手柄作为目标手柄，并对目标手柄在各个帧的空间位置信息进行采集，当检测到目标手柄不再移动，或者，目标手柄在空间中任意区域的停留时间达到预设时长时，则可以基于采集到的空间位置信息，生成绘制轨迹，进而，可以对绘制轨迹进行采样以及拟合处理，以得到展示位置信息中的中心坐标和展示半径。
需要说明的是，基于上述两种方式确定展示位置信息的好处在于：提高了用户与虚拟现实设备之间的交互性，同时，提高了虚拟现实设备的智能性，从而，提升了用户的使用体验。
S420、在当前场景中展示透视窗口。
S430、基于目标对象的观测点信息和预先制作的透视场景，确定在透视窗口中所显示的透视画面。
S440、在当前场景中展示透视画面。
本公开实施例的技术方案，通过响应于展示透视画面的操作指令，获取操作用户在当前场景中的绘制轨迹，并基于绘制轨迹，确定透视窗口的展示位置信息，以基于展示位置信息展示透视窗口，在当前场景中展示透视窗口，进一步的，基于目标对象的观测点信息和预先制作的透视场景，确定在透视窗口中所显示的透视画面，最后，在当前场景中展示透视画面，解决了现有技术中无法实现在同一显示区域中同时与多个虚拟场景进行互动等问题，实现了在用户处于当前场景的前提下，通过透视窗口，对另一个场景进行透视渲染的效果，提高了用户与虚拟现实设备之间的交互性体验，进而，提升了用户的沉浸式体验以及使用体验。
图6是本公开实施例所提供的一种视频处理方法流程示意图，在前述实施例的基础上，可以获取观测点信息，以基于观测点信息，确定透过透视窗口观看透视场景中的透视画面。其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图6所示，该方法具体包括如下步骤：
S510、响应于展示透视画面的操作指令，在当前场景中展示透视窗口。
S520、获取观测点信息。
在实际应用中，当检测到用户对透视窗口的触发操作，以使透视窗口根据触发操作进行相应的移动和旋转时，或者，检测到用户所佩戴的虚拟现实设备中的VR眼镜的观测角度发生变化时，可以对每发生一次变化时所对应的观测点的空间位置信息进行采集，从而可以得到满足用户需求的观测点信息。
需要说明的是，当透视窗口基于触发操作进行相应的移动和旋转时，或者，用户所佩戴的虚拟现实设备中的VR眼镜的观测角度发生变化时，可能会对应于多个观测点，并得到多个观测点的观测点信息，为了方便说明，可以以其中一个观测点的观测点信息为例来进行后续步骤的说明。
S530、基于观测点信息，确定透过透视窗口观看透视场景中的透视画面。
在本实施例中，在得到观测点信息后，即可确定透视场景在该观测点信息下进行渲染时的渲染视角，进而，可以确定透视场景中的透视画面。
需要说明的是，为了可以实现从当前场景透过透视窗口观看透视场景中的透视画面，同时，在对透视画面进行渲染时，不会将透视场景全部渲染出来，仅将透视窗口中所对应的透视画面渲染出来。
基于此，在基于观测点信息，确定透过透视窗观看透视场景中的透视画面之前，还包括：制作透视场景层以及遮罩层，以基于透视场景层、遮罩层以及透视窗口展示透视画面。
在本实施例中，透视场景层可以为与透视场景相对应的图层，即，基于透视场景所制作的图层。遮罩层可以为与遮罩体相应的图层，即，基于遮罩体所制作的图层。其中，遮罩体可以为任意形状的三维模型，可选的，可以为球体。需要说明的是，遮罩体可以遮盖住除了透视窗口之外的透视场景中的全部信息，相应的，遮罩层的尺寸也会大于透视场景层的尺寸。
在实际开发阶段，可以在当前场景中制作透视场景层和遮罩层，并且，遮罩层的尺寸要远大于透视场景层，进而，可以在实际应用过程中，在确定透视窗口后，可以基于透视场景层、遮罩层以及透视窗口，对透视画面进行渲染，以得到透视窗口中的透视画面。
在实际应用中，在确定透过透视窗口观看透视场景中的透视画面时，可以同时对透视画面以及遮罩层进行渲染，从而，可以实现仅在透视窗口中观看到透视画面的效果。
可选的，基于观测点信息，确定透过透视窗口观看透视场景中的透视画面，包括：根据观测点信息，确定对透视场景的渲染角度；基于渲染角度、预设参考像素值以及预设深度值，渲染遮罩层和透视画面；在透视场景层中显示遮罩层和透视画面。
其中，渲染角度可以为透视场景在透视窗口中所呈现出的角度，也可以理解为透视场景中面向于操作用户时所对应的角度。预设参考像素值可以为预先设置的，用于执行渲染过程中模板测试步骤的参考像素值。预设参考像素值可以为0-255中的任意像素值。预设深度值可以为预先设置的，用于执行渲染过程中深度测试步骤的深度值。
在实际应用中，在得到观测点信息后，即可确定操作用户对于透视窗口的观测视角，进而，可以根据该观测视角，确定与透视场景的渲染角度，从而，可以根据渲染角度、预设参考像素值以及预设深度值，渲染遮罩层和透视画面。
需要说明的是，在进行渲染时，其对应的渲染顺序可以为先渲染透视画面、再渲染遮罩层，这样设置的好处在于：可以保证透视画面的模板写入过程在遮罩层的模板写入过程之前。
在实际应用中，在对透视画面进行渲染时，可以通过图形处理器(GraphicsProcessing Unit，GPU)来进行渲染，在渲染过程中，可以通过设置相关参数，来实现透视画面的渲染过程，具体来说，首先，开启渲染管线中的模板测试功能模块，将模板测试函数设置为GL_ALWAYS(经常通过测试)，同时，将预设参考像素值写入到模板缓存中。其中，GL_ALWAYS的含义可以为不管像素点的像素值是否等于预设参考像素值，都可以对该像素点进行渲染。进一步的，开启渲染管线中的深度测试功能模块，以进行深度测试，基于观测视角，确定透视画面中各个像素点到相机的深度值，将各个深度值与预设深度值进行比对，以基于比对结果，对透视画面进行渲染，从而可以保证渲染出来的透视画面中各个物体之间的遮挡关系是正确的，同时，将深度写入功能关闭，以使先完成渲染过程的对象的深度值无法写入深度缓存中，以保证在渲染过程中，始终与预设深度值进行比对。最后，关闭透视窗口的颜色写入功能，以保证透视窗口模型本身不会渲染至最终所展示的图像中。
在实际应用中，在对遮罩层进行渲染时，同样可以通过图形处理器(GraphicsProcessing Unit，GPU)来进行渲染，在渲染过程中，可以通过设置相关参数，来实现遮罩层的渲染过程，具体来说，首先，关闭背面剔除功能；其中，背面剔除(Face Culling)可以理解为在对任意立体模型进行渲染时，对于用户无法观测到的面，则无需进行渲染，仅渲染用户可以观测到的平面。然后，开启渲染管线中的模板测试功能模块，将模板测试函数设置为GL_NOY_ALWAYS(不等于预设参考像素值才通过测试)，其对应的含义可以为当遮罩层中任意像素点的像素值不等于预设参考像素值时，才可以对该像素点进行渲染，并且，此时应用的预设参考像素值与透视画面所对应的预设参考像素值相同。需要说明的是，将模板测试参数进行这样配置的好处在于：在透视画面覆盖的像素区域，遮罩层的模板测试会失败，因此，不会进入到后续的深度写入环节，也就不会影响透视画面的渲染，从而可以实现挖洞透视的效果。进一步的，开启渲染管线中的深度测试功能模块，以进行深度测试，基于观测视角，确定遮罩层中各个像素点到相机的深度值，将各个深度值与预设深度值进行比对，以基于比对结果，对遮罩层进行渲染，从而可以保证渲染出来的遮挡关系是正确的，同时，将深度写入功能开启，目的是使深度值较大的透视场景深度测试失败进而实现透视场景的隐藏效果。最后，最后，关闭透视窗口的颜色写入功能，以保证遮罩体模型本身不会渲染至最终所展示的图像中
进一步的，在对遮罩层和透视画面渲染完成时，即可在透视场景层中显示遮罩层和透视画面，以保证在显示透视画面的同时，基于遮罩层遮挡透视场景中的其他信息，以使除透视画面外的其他部分均隐藏的效果。这样设置的好处在于：实现了正确的空间透视效果以及空间遮挡效果，进一步的，实现了在当前场景中，通过透视窗口观看另一场景的透视渲染效果。
S540、在当前场景中展示透视画面。
本公开实施例的技术方案，通过响应于展示透视画面的操作指令，在当前场景中展示透视窗口，进一步的，获取观测点信息，基于观测点信息，确定透过透视窗观看透视场景中的透视画面，最后，在当前场景中展示透视画面，解决了现有技术中无法实现在同一显示区域中同时与多个虚拟场景进行互动等问题，实现了在用户处于当前场景的前提下，通过透视窗口，对另一个场景进行透视渲染的效果，同时，在渲染过程中，保证了正确的空间透视效果以及空间遮挡效果。
图7是本公开实施例所提供的一种视频处理装置结构示意图，如图7所示，所述装置配置于虚拟现实设备中，包括：透视窗口展示模块610、透视画面确定模块620以及透视画面展示模块630。
其中，透视窗口展示模块610，用于响应于展示透视画面的操作指令，在当前场景中展示透视窗口；
透视画面确定模块620，用于基于目标对象的观测点信息和预先制作的透视场景，确定在所述透视窗口中所显示的透视画面；其中，所述透视画面为所述透视场景中的至少部分画面；
透视画面展示模块630，用于在所述当前场景中展示所述透视画面。
在上述各技术方案的基础上，所述装置还包括：展示位置信息确定模块。
展示位置信息确定模块，用于在所述当前场景中展示透视窗口之前，确定所述透视窗口在所述当前场景中的展示位置信息，以基于所述展示位置信息展示所述透视窗口。
在上述各技术方案的基础上，展示位置信息确定模块，具体用于基于预先设定辅助窗口的运动轨迹和所述透视场景的设定位置信息，确定所述透视窗口的展示位置信息。
在上述各技术方案的基础上，展示位置信息确定模块包括：中心点位置信息确定单元和展示位置信息确定单元。
中心点位置信息确定单元，用于在所述辅助窗口依据运动轨迹运动的过程中，确定所述辅助窗口的中心点位置信息；
展示位置信息确定单元，用于根据所述中心点位置信息和所述设定位置信息，确定所述透视窗口的展示位置信息；其中，所述展示位置信息随所述运动轨迹的变化而变化。
在上述各技术方案的基础上，所述透视窗口对应于球形，展示位置信息确定单元包括：交点信息确定单元和中心坐标确定单元。
交点信息确定单元，用于根据所述中心点位置信息和所述设定位置信息，确定所述辅助窗口与所述设定位置信息所属透视场景的交点信息；
中心坐标确定单元，用于基于所述交点信息、中心点位置信息和所述设定位置信息，确定所述展示位置信息中的中心坐标以及展示半径。
在上述各技术方案的基础上，展示位置信息确定模块，具体用于获取操作用户在所述当前场景中的绘制轨迹，并基于所述绘制轨迹，确定所述透视窗的展示位置信息。
在上述各技术方案的基础上，展示位置信息确定模块还包括：绘制轨迹确定单元、绘制轨迹获取单元、采样点确定单元以及展示位置信息确定单元。
绘制轨迹确定单元，用于基于手势识别算法获取所述操作用户在所述当前场景中的手势运动信息，并基于所述手势运动信息确定所述绘制轨迹；或，
绘制轨迹获取单元，用于获取目标手柄在空间中的绘制轨迹；
采样点确定单元，用于依据预设时间采样间隔对所述绘制轨迹采样处理，得到多个采样点；
展示位置信息确定单元，用于基于最小二乘拟合算法对所述多个采样点拟合处理，得到所述展示位置信息中的中心坐标以及展示半径。
在上述各技术方案的基础上，透视画面确定模块620包括：观测点信息获取单元和透视画面确定单元。
观测点信息获取单元，用于获取所述观测点信息；
透视画面确定单元，用于基于所述观测点信息，确定透过所述透视窗口观看所述透视场景中的透视画面。
在上述各技术方案的基础上，所述装置还包括：遮罩层制作模块。
遮罩层制作模块，用于在所述基于所述观测点信息，确定透过所述透视窗口观看所述透视场景中的透视画面之前，制作透视场景层以及遮罩层，以基于所述透视场景层、所述遮罩层以及所述透视窗口展示所述透视画面。
在上述各技术方案的基础上，透视画面确定单元包括：渲染角度确定子单元、透视画面渲染子单元以及透视画面显示子单元。
渲染角度确定子单元，用于根据所述观测点信息，确定对所述透视场景的渲染角度；
透视画面渲染子单元，用于基于所述渲染角度、预设参考像素值以及预设深度值，渲染所述遮罩层和所述透视画面；
透视画面显示子单元，用于在所述透视场景层中显示所述遮罩层和所述透视画面。
本公开实施例的技术方案，通过响应于展示透视画面的操作指令，在当前场景中展示透视窗口，进一步的，基于目标对象的观测点信息和预先制作的透视场景，确定在透视窗口中所显示的透视画面，最后，在当前场景中展示透视画面，解决了现有技术中无法实现在同一显示区域中同时与多个虚拟场景进行互动等问题，实现了在用户处于当前场景的前提下，通过透视窗口，对另一个场景进行透视渲染的效果，提高了用户与虚拟现实设备之间的交互性体验，进而，提升了用户的沉浸式体验以及使用体验。
本公开实施例所提供的视频处理装置可执行本公开任意实施例所提供的视频处理方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
图8为本公开实施例所提供的一种电子设备的结构示意图。下面参考图8，其示出了适于用来实现本公开实施例的电子设备(例如图8中的终端设备或服务器)700的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。编辑/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的视频处理方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的视频处理方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
响应于展示透视画面的操作指令，在当前场景中展示透视窗口；
基于目标对象的观测点信息和预先制作的透视场景，确定在所述透视窗口中所显示的透视画面；其中，所述透视画面为所述透视场景中的至少部分画面；
在所述当前场景中展示所述透视画面。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
响应于展示透视画面的操作指令，在当前场景中展示透视窗口；
基于目标对象的观测点信息和预先制作的透视场景，确定在所述透视窗口中所显示的透视画面；其中，所述透视画面为所述透视场景中的至少部分画面；
在所述当前场景中展示所述透视画面。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (13)

1.一种视频处理方法，其特征在于，包括：
响应于展示透视画面的操作指令，在当前场景中展示透视窗口；
基于目标对象的观测点信息和预先制作的透视场景，确定在所述透视窗口中所显示的透视画面；其中，所述透视画面为所述透视场景中的至少部分画面；
在所述当前场景中展示所述透视画面。
2.根据权利要求1所述的方法，其特征在于，在所述当前场景中展示透视窗口之前，还包括：
确定所述透视窗口在所述当前场景中的展示位置信息，以基于所述展示位置信息展示所述透视窗口。
3.根据权利要求2所述的方法，其特征在于，所述确定所述透视窗口在所述当前场景中的展示位置信息，包括：
基于预先设定辅助窗口的运动轨迹和所述透视场景的设定位置信息，确定所述透视窗口的展示位置信息。
4.根据权利要求3所述的方法，其特征在于，所述基于预先设定辅助窗口运动轨迹和所述透视场景的设定位置信息，确定所述透视窗口的展示位置信息，包括：
在所述辅助窗口依据运动轨迹运动的过程中，确定所述辅助窗口的中心点位置信息；
根据所述中心点位置信息和所述设定位置信息，确定所述透视窗口的展示位置信息；
其中，所述展示位置信息随所述运动轨迹的变化而变化。
5.根据权利要求4所述的方法，其特征在于，所述透视窗口对应于球形，所述根据所述中心点位置信息和所述设定位置信息，确定所述透视窗口的展示位置信息，包括：
根据所述中心点位置信息和所述设定位置信息，确定所述辅助窗口与所述设定位置信息所属透视场景的交点信息；
基于所述交点信息、中心点位置信息和所述设定位置信息，确定所述展示位置信息中的中心坐标以及展示半径。
6.根据权利要求2所述的方法，其特征在于，所述确定所述透视窗口在所述当前场景中的展示位置信息，包括：
获取操作用户在所述当前场景中的绘制轨迹，并基于所述绘制轨迹，确定所述透视窗口的展示位置信息。
7.根据权利要求6所述的方法，其特征在于，所述获取操作用户在所述当前场景中的绘制轨迹，并基于所述绘制轨迹，确定所述透视窗口的展示位置信息，包括：
基于手势识别算法获取所述操作用户在所述当前场景中的手势运动信息，并基于所述手势运动信息确定所述绘制轨迹；或，
获取目标手柄在空间中的绘制轨迹；
依据预设时间采样间隔对所述绘制轨迹采样处理，得到多个采样点；
基于最小二乘拟合算法对所述多个采样点拟合处理，得到所述展示位置信息中的中心坐标以及展示半径。
8.根据权利要求1所述的方法，其特征在于，所述基于目标对象的观测点信息和预先制作的透视场景，确定所述透视窗口中所显示的透视画面，包括：
获取所述观测点信息；
基于所述观测点信息，确定透过所述透视窗口观看所述透视场景中的透视画面。
9.根据权利要求8所述的方法，其特征在于，在所述基于所述观测点信息，确定透过所述透视窗口观看所述透视场景中的透视画面之前，还包括：
制作透视场景层以及遮罩层，以基于所述透视场景层、所述遮罩层以及所述透视窗口展示所述透视画面。
10.根据权利要求9所述的方法，其特征在于，所述基于所述观测点信息，确定透过所述透视窗口观看所述透视场景中的透视画面，包括：
根据所述观测点信息，确定对所述透视场景的渲染角度；
基于所述渲染角度、预设参考像素值以及预设深度值，渲染所述遮罩层和所述透视画面；
在所述透视场景层中显示所述遮罩层和所述透视画面。
11.一种视频处理装置，其特征在于，包括：
透视窗口展示模块，用于响应于展示透视画面的操作指令，在当前场景中展示透视窗口；
透视画面确定模块，用于基于目标对象的观测点信息和预先制作的透视场景，确定在所述透视窗口中所显示的透视画面；其中，所述透视画面为所述透视场景中的至少部分画面；
透视画面展示模块，用于在所述当前场景中展示所述透视画面。
12.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的视频处理方法。
13.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10中任一所述的视频处理方法。
CN202310165713.2A 2023-02-15 2023-02-15 视频处理方法、装置、电子设备及存储介质 Pending CN116112744A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310165713.2A CN116112744A (zh) 2023-02-15 2023-02-15 视频处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310165713.2A CN116112744A (zh) 2023-02-15 2023-02-15 视频处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116112744A true CN116112744A (zh) 2023-05-12

Family

ID=86254232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310165713.2A Pending CN116112744A (zh) 2023-02-15 2023-02-15 视频处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116112744A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116527748A (zh) * 2023-06-26 2023-08-01 亚信科技（中国）有限公司 一种云渲染交互方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116527748A (zh) * 2023-06-26 2023-08-01 亚信科技（中国）有限公司 一种云渲染交互方法、装置、电子设备及存储介质
CN116527748B (zh) * 2023-06-26 2023-09-15 亚信科技（中国）有限公司 一种云渲染交互方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US9213436B2 (en) Fingertip location for gesture input
US20150187137A1 (en) Physical object discovery
US11776209B2 (en) Image processing method and apparatus, electronic device, and storage medium
CN112965780B (zh) 图像显示方法、装置、设备及介质
CN112051961A (zh) 虚拟交互方法、装置、电子设备及计算机可读存储介质
US9400575B1 (en) Finger detection for element selection
CN114564106B (zh) 交互指示线的确定方法、装置、电子设备及存储介质
CN116112744A (zh) 视频处理方法、装置、电子设备及存储介质
US10606457B2 (en) Shake event detection system
CN110163977B (zh) 多世界虚拟场景中的虚拟通道渲染方法及装置
WO2024051633A1 (zh) 场景视角调整方法、装置、终端及存储介质
CN111833459B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111710046A (zh) 交互方法、装置和电子设备
US10895913B1 (en) Input control for augmented reality applications
CN116030221A (zh) 增强现实画面的处理方法、装置、电子设备及存储介质
CN115082368A (zh) 图像处理方法、装置、设备及存储介质
CN109472873B (zh) 三维模型的生成方法、装置、硬件装置
CN112991542B (zh) 房屋三维重建方法、装置和电子设备
CN110070600B (zh) 三维模型的生成方法、装置、硬件装置
CN117991967A (zh) 虚拟键盘交互方法、装置、设备、存储介质和程序产品
CN116048281A (zh) 一种虚拟现实场景中的交互方法、装置、设备及存储介质
CN114417204A (zh) 信息生成方法、装置和电子设备
CN115619918A (zh) 图像渲染方法、装置、设备及存储介质
CN117075770A (zh) 基于扩展现实的交互控制方法、装置、电子设备和存储介质
CN116091744A (zh) 虚拟三维物体显示方法和头戴式显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination