CN112165629B - 智能直播方法、可穿戴设备及智能直播系统 - Google Patents

智能直播方法、可穿戴设备及智能直播系统 Download PDF

Info

Publication number
CN112165629B
CN112165629B CN202011059621.9A CN202011059621A CN112165629B CN 112165629 B CN112165629 B CN 112165629B CN 202011059621 A CN202011059621 A CN 202011059621A CN 112165629 B CN112165629 B CN 112165629B
Authority
CN
China
Prior art keywords
coordinate information
target
panoramic video
wearable device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011059621.9A
Other languages
English (en)
Other versions
CN112165629A (zh
Inventor
赵斌
栗霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202011059621.9A priority Critical patent/CN112165629B/zh
Publication of CN112165629A publication Critical patent/CN112165629A/zh
Application granted granted Critical
Publication of CN112165629B publication Critical patent/CN112165629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种智能直播方法、可穿戴设备及智能直播系统，涉及虚拟现实技术领域，能够在直播中智能显示用户选定的目标图像，而用户无需去主动寻找目标对象，节约了用户的时间，使用户得到更好的直播观看体验。该方法应用于可穿戴设备，包括：接收目标全景视频和第一坐标信息，所述目标全景视频包含目标图像，所述第一坐标信息用于指示所述目标图像在所述目标全景视频中的第一位置；获取第二坐标信息，所述第二坐标信息用于指示所述可穿戴设备的姿态；基于所述第一坐标信息和所述第二坐标信息，所述可穿戴设备显示所述目标全景视频的目标画面，所述目标画面包含所述目标图像。

Description

智能直播方法、可穿戴设备及智能直播系统
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种智能直播方法、可穿戴设备及智能直播系统。
背景技术
在利用虚拟现实(virtual reality,VR)技术为载体的视频直播方案中，一般会部署多个360°全景摄像设备采集全景视频。当目标对象的位置改变，使得目标对象从一个全景摄像设备的采集范围移动至另一个全景摄像设备的采集范围时，利用图像识别技术，VR设备可以自动切换成显示包括该目标对象的全景视频。
但是，由于VR设备的用户可观看角度为360°，而VR设备的视场(field of view,FOV)通常设置为120°，因此，在VR设备切换成显示包括目标对象的全景视频之后，用户在看到的画面里也很可能找不到该目标对象。例如，目标对象出现在VR设备的视场之外。因此，用户需要转动头部去寻找目标对象，浪费了用户的时间和精力。
发明内容
本申请提供一种智能直播方法、可穿戴设备及智能直播系统，能够在直播中智能显示用户选定的目标图像，而用户无需去主动寻找目标对象，节约了用户的时间，使用户得到更好的直播观看体验。
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请提供一种智能直播方法，应用于可穿戴设备，该方法包括：接收目标全景视频和第一坐标信息，所述目标全景视频包含目标图像，所述第一坐标信息用于指示所述目标图像在所述目标全景视频中的第一位置；获取第二坐标信息，所述第二坐标信息用于指示所述可穿戴设备的姿态；基于所述第一坐标信息和所述第二坐标信息，所述可穿戴设备显示所述目标全景视频的目标画面，所述目标画面包含所述目标图像。
第二方面，本申请提供一种可穿戴设备，该可穿戴设备包括：接收模块、姿态获取模块和显示模块。其中，接收模块用于接收目标全景视频和第一坐标信息，所述目标全景视频包含目标图像，所述第一坐标信息用于指示所述目标图像在所述目标全景视频中的第一位置；姿态获取模块，用于获取第二坐标信息，所述第二坐标信息用于指示所述可穿戴设备的姿态；显示模块，用于基于所述第一坐标信息和所述第二坐标信息，显示所述目标全景视频的目标画面，所述目标画面包含目标图像。
第三方面，本申请提供一种可穿戴设备，该可穿戴设备包括：处理器、显示器、收发器和存储器。其中，存储器用于存储一个或多个程序。该一个或多个程序包括计算机执行指令，当该可穿戴设备运行时，处理器执行该存储器存储的该计算机执行指令，以使该可穿戴设备执行第一方面及其各种可选的实现方式中任意之一所述的智能直播方法。
第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，该计算机执行上述第一方面及其各种可选的实现方式中任意之一所述的智能直播方法。
第五方面，本申请提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面及其各种可选的实现方式中任意之一所述的智能直播方法。
第六方面，本申请提供一种智能直播系统，该智能直播系统包括全景图像采集设备、流媒体服务器、图形处理服务器和第三方面及其各种可选的实现方式中任意之一所述的可穿戴设备。
本申请提供的智能直播方法、可穿戴设备及智能直播系统，可穿戴设备接收目标全景视频和第一坐标信息，所述目标全景视频包含目标图像，所述第一坐标信息用于指示所述目标图像在所述目标全景视频中的第一位置；获取第二坐标信息，所述第二坐标信息用于指示所述可穿戴设备的姿态；基于所述第一坐标信息和所述第二坐标信息，所述可穿戴设备显示所述目标全景视频的目标画面，所述目标画面包含所述目标图像。相对于现有技术中，仅切换相应的全景摄像机位。本申请提供的智能直播方法，利用目标图像在目标全景视频中的位置信息，结合可穿戴设备的姿态坐标信息，将目标全景视频中包括目标图像的部分显示在可穿戴设备的视场中，从而能够在直播中智能显示用户选定的目标图像，而用户无需去主动寻找目标对象，节约了用户的时间，使用户得到更好的直播观看体验。
附图说明
图1为本申请实施例提供的智能直播方法及可穿戴设备应用的智能直播系统结构示意图；
图2为本申请实施例提供的智能直播方法示意图；
图3为本申请实施例提供的目标图像坐标示意图；
图4为本申请实施例提供的姿态角示意图；
图5为本申请实施例提供的另一种智能直播方法示意图；
图6为本申请实施例提供的可穿戴设备的结构示意图一；
图7为本申请实施例提供的可穿戴设备的结构示意图二。
具体实施方式
首先，对本申请实施例涉及的术语进行说明。
视场(FOV)：也称视场角，在光学仪器中，以光学仪器的镜头为顶点，以被测目标的物象可通过镜头的最大范围的两条边缘构成的夹角，称为视场角。在显示系统中，视场角就是显示器边缘与观察点(眼睛)连线的夹角。
姿态角：也称欧拉角，姿态角/欧拉角比较常用于航空航天领域，用于表示机体相对地面的姿态。如图4所示，姿态角包括俯仰角、滚转角和偏航角，俯仰角为机体相对于Y轴的旋转角，滚转角为机体相对于X轴的旋转角，偏航角为机体相对于Z轴的旋转角。对头戴式VR设备而言，俯仰角为VR设备相对于Y轴的旋转角，表示用户头部的前后俯仰角度；滚转角为VR设备相对于X轴的旋转角，表示用户头部的左右摇摆角度；偏航角为VR设备相对于Z轴的旋转角，表示用户头部的左右转动角度。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。
此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
下面结合附图对本申请实施例提供的智能直播方法、可穿戴设备及智能直播系统进行详细地描述。
本申请实施例提供的智能直播方法可以应用于图1所示的智能直播系统中，该智能直播系统可以包括多个全景图像采集设备、可穿戴设备、流媒体服务器和图形处理服务器，还可以包括其他的网络实体，本申请不予限制。
如图1所示，该智能直播系统可以包括：多个全景图像采集设备101、可穿戴设备102、流媒体服务器103和图形处理服务器104。其中，图1中的多个全景图像采集设备101可以用于实时采集其周围360度的全景视频并传输至服务器端；流媒体服务器103主要用于所述全景视频的采集、推流、转码和分发；图形处理服务器104主要用于所述全景视频的实时图像识别和图像比对，还用于计算目标图像在目标全景视频中的坐标信息；该可穿戴设备用于执行本申请实施例提供的智能直播方法。对于多个全景图像采集设备、可穿戴设备、流媒体服务器和图形处理服务器可以参见上述方法实施例和装置实施例中的相关描述，此处不再赘述。需要说明的是，图1仅为示例性架构图，除图1中所示功能单元之外，该网络架构还可以包括其他功能单元，本申请实施例对此不进行限定。
上述可穿戴设备102可以为头戴式设备，如：智能眼镜、智能头盔、VR设备、增强现实(augmented reality，AR)设备和/或用于为用户显示图像的其它头戴式设备。
本申请实施例提供的智能直播方法，应用于图1所示的智能直播系统中。本申请实施例的应用场景可以为：用户打开可穿戴设备，例如VR设备，访问直播网页或打开直播客户端，在初始化页面中选择自己想要追踪观看的目标对象，VR设备会在进入直播页面时自动显示包含目标图像的全景视频，并在后续直播过程中，始终切换至包含目标图像的全景视频进行直播。
本申请利用目标图像在目标全景视频中的位置信息，结合可穿戴设备的姿态坐标信息，将目标全景视频中包括目标图像的部分显示在可穿戴设备的视场中，从而能够在直播中智能显示用户选定的目标图像，而用户无需去主动寻找目标对象，节约了用户的时间，使用户得到更好的直播观看体验。
本申请实施例提供一种智能直播方法，如图2所示，该方法可以包括S101-S103：
S101、可穿戴设备接收目标全景视频和第一坐标信息。
示例性的，所述可穿戴设备可以是头戴式VR设备。所述目标全景视频包含目标图像，所述第一坐标信息用于指示所述目标图像在所述目标全景视频中的第一位置。可选的，所述第一位置为水平位置，所述第一坐标信息为一维坐标。
可选的，所述目标图像为用户指定的直播跟踪目标，可以是人物、动物或者事物，本申请不作限定。
在直播现场的不同位置布置了多个全景VR摄像机，多个全景VR摄像机将各自采集的全景视频传输至流媒体服务器。流媒体服务器接收多路全景视频，并完成多路全景视频的采集、推流、转码和分发。流媒体服务器将多路全景视频流发送至图形处理服务器。
图形处理服务器为用于图像处理的服务器，所述目标全景视频为图形处理服务器通过对全景视频的实时图像识别和图像对比后确定的、包含目标图像的一路全景视频。可选的，图形处理服务器接收流媒体服务器发送的所有路视频流，也可以将接收的视频流转换成图片流之后，对每一路视频进行图像识别分析，确定视频/图片中是否存在与目标图像同类型的图像。例如，当目标图像为人物时，分析视频/图片中是否存在人脸，如果不存在，则该路视频一定不含有我们要追踪的对象，如果检测出存在与目标图像同类型的图像，则进行图像比对，以确定目标全景视频。
图形处理服务器将检测到的所有与目标图像同类型的图像与目标图像库进行图像比对，当确定某一路全景视频存在至少一帧全景图像与目标图像匹配成功后，即确定该路全景视频为包含目标图像的目标全景视频，并将该路目标全景视频发送至可穿戴设备进行直播。其中，图像比对的过程例如可以采用现有的图像比对算法实现，这里不再详述。
可选的，如果存在多路全景视频与目标图像匹配成功，则选择其中匹配程度最高的一路作为目标全景视频，也可以按照目标图像在全景视频画面中的占比来选择，例如，选择目标图像占比更大一路作为目标全景视频。
由于图像识别和图像比对是实时进行的，若目标对象从一个全景摄像机的拍摄范围移动至另一全景摄像机的拍摄范围中，图形处理服务器会更新当前的目标全景视频，并将更新后的目标全景视频传输至可穿戴设备进行直播。
示例性的，如图3所示，以目标图像为某一人物为例，在一张全景视频/图片平面展开图中，从左到右观看范围为0°～360°。当图形处理服务器检测出画面中存在目标图像时，往往将人体/人脸标记特定颜色的外框，可得知该目标图像相对于0°～360°的位置，比如96°，则将该数据作为第一坐标信息发送至可穿戴设备。然后，执行步骤S102。
S102、可穿戴设备获取第二坐标信息。
其中，所述第二坐标信息用于指示所述可穿戴设备的姿态。示例性的，所述第二坐标信息包括偏航角、俯仰角、滚转角。
根据所述可穿戴设备中的定位装置，确定所述可穿戴设备的姿态，得到所述第二坐标信息。可选的，所述定位装置为陀螺仪，或者加速度传感器，本申请在此不作限定。然后，执行步骤S103。
S103、基于第一坐标信息和第二坐标信息，可穿戴设备显示目标全景视频的目标画面。
在VR设备中，由渲染引擎来进行显示画面的渲染，在确定目标路全景视频，并完成画面切换后，渲染引擎设定的默认偏航角为0，即默认画面切换后会对应默认FOV，该默认FOV对应用户观看的360度场景中的某一方向的可视角，可能不包含目标图像，例如，目标图像位于用户的正后方。
具体的，可穿戴设备接收第一坐标信息后，将第一坐标信息赋值给第二坐标信息中的偏航角坐标，得到与期望画面对应的更新后的偏航角，从而得到与期望FOV对应的第三坐标信息，其中，第三坐标信息包括所述更新后的偏航角、上述俯仰角和滚转角。例如，默认FOV中目标图像位于用户的正后方，第一坐标信息为180°，将第一坐标信息赋值给第二坐标信息中的偏航角坐标后，目标图像就从用户的正后方调整到了用户的正前方显示。
可穿戴设备根据第三坐标信息，确定在目标全景视频中需要显示的、包括目标图像的部分，即目标画面。可穿戴设备将目标全景视频画面中包含目标图像的部分显示在屏幕上，其结果为，显示在用户视场中的画面即为包含目标图像的目标画面。可选的，可穿戴设备可以将目标图像在用户视场的正中心显示，本申请在此不作限定。
本申请提供的智能直播方法，可穿戴设备利用目标图像在目标全景视频中的位置信息，结合可穿戴设备的姿态坐标信息，将目标全景视频中包括目标图像的部分显示在可穿戴设备的视场中。相对于现有技术中，仅切换相应的全景摄像机位。本申请提供的智能直播方法，利用目标图像在目标全景视频中的位置信息，结合可穿戴设备的姿态，将目标全景视频中包括目标图像的部分显示在可穿戴设备的视场中，从而能够在直播中智能显示用户选定的目标图像，而用户无需去主动寻找目标对象，节约了用户的时间，使用户得到更好的直播观看体验。
在成功将目标图像显示在用户视场中之后，若目标图像在目标全景视频中的位置发生变化，为了进一步提升直播体验效果，本申请实施例提供另一种智能直播方法，如图5所示，该方法可以包括S201-S2018：
S201、可穿戴设备将追踪指令发送至图形处理服务器。
具体的，所述追踪指令用于指示用户要求追踪的所述目标图像。所述目标图像为用户指定的直播跟踪目标，可以是人物、动物或者事物，本申请不作限定。可选的，可穿戴设备直接将目标图像作为追踪指令发送至图形处理服务器，图形处理服务器接收追踪指令后，将目标图像加入目标图像库。可穿戴设备也可以将目标图像的特征作为追踪指令发送至图形处理服务器，例如目标人物的姓名，图形处理服务器接收追踪指令后，从预定数据库中获取该追踪指令对应的目标图像，将目标图像加入目标图像库。然后，执行步骤S202。
S202、流媒体服务器接收多路全景视频。
在直播现场的不同位置布置了多个全景VR摄像机，多个全景VR摄像机将各自采集的全景视频传输至流媒体服务器。流媒体服务器接收多路全景视频，并完成多路全景视频的采集、推流、转码和分发。其中，全景摄像机与流媒体服务器之间的通信例如可以采用有线或无线通信。然后，执行步骤S203。
S203、流媒体服务器将多路全景视频流发送至图形处理服务器。
具体的，流媒体服务器的主要功能是对流媒体内容进行采集、推流、转码和分发。其中，图形处理服务器与流媒体服务器之间的通信例如可以采用有线或无线通信。然后，执行步骤S204。
S204、图形处理服务器进行图像识别。
图形处理服务器用于全景视频的实时图像识别和图像比对。可选的，图形处理服务器接收流媒体服务器发送的所有路视频流，也可以将接收的视频流转换成图片流之后，对每一路视频进行图像识别分析，确定视频/图片中是否存在与目标图像同类型的图像。例如，当目标图像为人物时，分析视频/图片中是否存在人脸，如果不存在，则该路视频一定不含有我们要追踪的对象，重复执行步骤S204。如果检测出存在与目标图像同类型的图像，则执行步骤S205。
S205、图形处理服务器进行图像比对，确定目标全景视频。
具体的，图形处理服务器已经在步骤S201中将目标图像添加到了目标图像库中。因此，图形处理服务器将步骤S204中检测到的所有与目标图像同类型的图像与目标图像库进行图像比对，当确定某一路全景视频存在至少一帧全景图像与目标图像匹配成功后，即确定该路全景视频为包含目标图像的目标全景视频，并将该路目标全景视频发送至可穿戴设备进行直播。其中，图像比对的过程例如可以采用现有的图像比对算法实现，这里不再详述。
可选的，如果存在多路全景视频与目标图像匹配成功，则选择其中匹配程度最高的一路作为目标全景视频，也可以按照目标图像在全景视频画面中的占比来选择，例如，选择目标图像占比更大一路作为目标全景视频。然后，执行步骤S206。
S206、图形处理服务器将目标全景视频发送至可穿戴设备。
具体的，由于图像识别和图像比对是实时进行的，若目标对象从一个全景摄像机的拍摄范围移动至另一全景摄像机的拍摄范围中，图形处理服务器会更新当前的目标全景视频，并将更新后的目标全景视频传输至可穿戴设备进行直播。然后，执行步骤S207。
S207、图形处理服务器计算第一坐标信息。
本步骤可参考步骤S101中的相关描述，不再赘述。然后，执行步骤S208。
S208、图形处理服务器将第一坐标信息发送至可穿戴设备。
本步骤可参考步骤S101中的相关描述，不再赘述。然后，执行步骤S209。
S209、可穿戴设备获取第二坐标信息。
本步骤可参考步骤S102中的相关描述，不再赘述。然后，执行步骤S2010。
S2010、基于第一坐标信息和第二坐标信息，可穿戴设备得到更新后的偏航角。
VR设备只会改变用户观看角度的偏航角，无需改变俯仰角和滚转角，原因在于，如果这两个角度发生改变，用户在观看视频时就会感觉天和地发生了变动，这样是违反正常观看规律的。只改变偏航角，看起来的效果只是呈现在用户面前画面东南西北的变化，所以只需要计算识别对象的水平位置信息即可。
在VR设备中，由渲染引擎来进行显示画面的渲染，在确定目标路全景视频，并完成画面切换后，渲染引擎设定的默认偏航角为0，即默认画面切换后会对应默认FOV，该默认FOV对应用户观看的360度场景中的某一方向的可视角，可能不包含目标图像，例如，目标图像位于用户的正后方。
具体的，可穿戴设备接收第一坐标信息后，将第一坐标信息赋值给第二坐标信息中的偏航角坐标，得到与期望画面对应的更新后的偏航角，从而得到与期望FOV对应的第三坐标信息。例如，默认FOV中目标图像位于用户的正后方，第一坐标信息为180°，将第一坐标信息赋值给第二坐标信息中的偏航角坐标后，目标图像就从用户的正后方调整到了用户的正前方显示。然后，执行步骤S2011。
S2011、在目标全景视频中确定与第三坐标信息对应的目标画面。
具体的，所述第三坐标信息包括所述更新后的偏航角、上述俯仰角和滚转角。可穿戴设备根据第三坐标信息，确定在目标全景视频中需要显示的、包括目标图像的部分，即目标画面。然后，执行步骤S2012。
S2012、在所述可穿戴设备的视场范围内显示所述目标画面。
本步骤可参考步骤S103中的相关描述，不再赘述。然后，执行步骤S2013。
S2013、确认用户选择的观看模式。
可选的，用户选择观看模式的操作可以在步骤S201的初始化页面中进行，也可以在显示目标画面后，显示选择页面来进行，本申请在此不作限定。根据用户选择的观看模式，执行步骤S2014(a)，或者执行步骤S2014(b)至S2018。
S2014(a)、若用户选择的是自主观看模式，则不更新偏航角。
具体的，坐标信息只是在切换目标全景视频发送一次，这样用户只是在开始直播的画面中可以看到目标画面，无需前后左右去查找，若目标图像发生位置变化，则需要用户主动转头去跟踪目标图像的位置。
S2014(b)、若用户选择的是追踪观看模式，则图形处理服务器计算第四坐标信息。
所述第四坐标信息用于指示所述目标图像在所述目标全景视频中的第二位置，也就是说，目标图像仍然在该全景摄像机的摄像范围内，但在目标全景视频中的位置发生了变化，对应第四坐标信息。第四坐标信息的计算方式可参考步骤S101中第一坐标信息的相关描述，不再赘述。然后，执行步骤S2015。
S2015、图形处理服务器将第四坐标信息发送至可穿戴设备。
本步骤可参考步骤S101中的相关描述，不再赘述。然后，执行步骤S2016。
S2016、根据所述第四坐标信息和所述第二坐标信息，得到更新后的偏航角。
本步骤可参考步骤S2010中的相关描述，不再赘述。然后，执行步骤S2017。
S2017、在目标全景视频中确定与第五坐标信息对应的目标画面。
本步骤可参考步骤S2011中的相关描述，不再赘述。然后，执行步骤S2018。
S2018、在所述可穿戴设备的视场范围内显示所述目标画面。
本步骤可参考步骤S2012中的相关描述，不再赘述。
本申请提供的智能直播方法，可穿戴设备通过成熟的图像识别、图像比对算法，计算出目标图像的位置信息，能够在全景摄像机位切换之后，将目标画面第一时间显示出来，无需主动去寻找目标图像，大大提升了直播用户体验。同时，本申请提供了两种观看模式，主动或被动跟踪目标画面，按照用户的习惯，加强了使用兼容性，使用更灵活。
本申请实施例可以根据上述方法示例对可穿戴设备进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图6示出了上述实施例中所涉及的可穿戴设备的一种可能的结构示意图。该可穿戴设备包括接收模块201、姿态获取模块202、显示模块203。
其中，所述接收模块201，用于接收目标全景视频和第一坐标信息，所述目标全景视频包含目标图像，所述第一坐标信息用于指示所述目标图像在所述目标全景视频中的第一位置。
所述姿态获取模块202，用于获取第二坐标信息，所述第二坐标信息用于指示所述可穿戴设备的姿态，所述第二坐标信息包括偏航角、俯仰角、滚转角。
所述显示模块203，用于基于所述第一坐标信息和所述第二坐标信息，显示所述目标全景视频的目标画面，所述目标画面包含目标图像。
本申请实施例提供的可穿戴设备，利用目标图像在目标全景视频中的位置信息，结合可穿戴设备的姿态坐标信息，将目标全景视频中包括目标图像的部分显示在可穿戴设备的视场中。相对于现有技术中，仅切换相应的全景摄像机位。本申请提供的智能直播方法，利用目标图像在目标全景视频中的位置信息，结合可穿戴设备的姿态坐标信息，将目标全景视频中包括目标图像的部分显示在可穿戴设备的视场中，从而能够在直播中智能显示用户选定的目标图像，而用户无需去主动寻找目标对象，节约了用户的时间，使用户得到更好的直播观看体验。
图7示出了上述实施例中所涉及的可穿戴设备的又一种可能的结构示意图。该可穿戴设备包括：处理器302和通信接口303。处理器302用于对可穿戴设备的动作进行控制管理，例如，执行上述姿态获取模块202、显示模块203执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信接口303用于支持可穿戴设备与其他网络实体的通信，例如，执行上述接收模块201执行的步骤。可穿戴设备还可以包括存储器301、显示器304和总线305，存储器301用于存储可穿戴设备的程序代码和数据。
其中，存储器301可以是可穿戴设备中的存储器等，该存储器可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。
上述处理器302可以是实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线305可以是扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线305可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请实施例提供一种智能直播系统，该智能直播系统可以包括多个全景图像采集设备101、可穿戴设备102、流媒体服务器103和图形处理服务器104，该多个全景图像采集设备101，用于实时采集其周围360度的全景视频并传输至服务器端，流媒体服务器103用于所述全景视频的采集、推流、转码和分发，图形处理服务器104用于所述全景视频的实时图像识别和图像比对，还用于计算目标图像在目标全景视频中的坐标信息，该可穿戴设备102用于执行本申请实施例提供的智能直播方法。对于多个全景图像采集设备、可穿戴设备、流媒体服务器和图形处理服务器可以参见上述方法实施例和装置实施例中的相关描述，此处不再赘述。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例所述的智能直播方法。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当网络设备执行该指令时，该网络设备执行上述方法实施例所示的方法流程中可穿戴设备执行的各个步骤。
其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种智能直播方法，应用于可穿戴设备，其特征在于，所述方法包括：
接收目标全景视频和第一坐标信息，所述目标全景视频包含目标图像，所述第一坐标信息用于指示所述目标图像在所述目标全景视频中的第一位置；
获取第二坐标信息，所述第二坐标信息用于指示所述可穿戴设备的姿态；
基于所述第一坐标信息和所述第二坐标信息，所述可穿戴设备显示所述目标全景视频的目标画面，具体包括：
接收所述第一坐标信息后，将所述第一坐标信息赋值给所述第二坐标信息中的偏航角坐标，得到与期望画面对应的更新后的偏航角，从而得到与期望FOV对应的第三坐标信息，其中，所述第三坐标信息包括所述更新后的偏航角、俯仰角和滚转角；
根据所述第三坐标信息，确定在所述目标全景视频中需要显示的所述目标画面，所述目标画面包含所述目标图像。
2.根据权利要求1所述的方法，其特征在于，所述获取第二坐标信息，包括：
根据所述可穿戴设备中的定位装置，确定所述可穿戴设备的姿态，得到所述第二坐标信息。
3.根据权利要求1或2所述的方法，其特征在于，所述第二坐标信息包括偏航角、俯仰角、滚转角；所述基于所述第一坐标信息和所述第二坐标信息，所述可穿戴设备显示所述目标全景视频的目标画面，具体包括：
根据所述第一坐标信息和所述第二坐标信息，得到更新后的偏航角；
在所述目标全景视频中确定与第三坐标信息对应的所述目标画面，其中，所述第三坐标信息包括所述更新后的偏航角、所述俯仰角和所述滚转角；
在所述可穿戴设备的视场范围内显示所述目标画面。
4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
发送追踪指令，所述追踪指令用于指示用户要求追踪的所述目标图像。
5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
确认用户选择的观看模式；
若用户选择追踪观看模式，则接收第四坐标信息，所述第四坐标信息用于指示所述目标图像在所述目标全景视频中的第二位置；
根据所述第四坐标信息和所述第二坐标信息，得到更新后的偏航角；
在所述目标全景视频中确定与第五坐标信息对应的所述目标画面，其中，所述第五坐标信息包含所述更新后的偏航角、所述俯仰角和所述滚转角；
在所述可穿戴设备的视场范围内显示所述目标画面。
6.一种可穿戴设备，其特征在于，包括：
接收模块，用于接收目标全景视频和第一坐标信息，所述目标全景视频包含目标图像，所述第一坐标信息用于指示所述目标图像在所述目标全景视频中的第一位置；
姿态获取模块，用于获取第二坐标信息，所述第二坐标信息用于指示所述可穿戴设备的姿态；
显示模块，用于基于所述第一坐标信息和所述第二坐标信息，显示所述目标全景视频的目标画面，所述目标画面包含目标图像；
所述显示模块，具体用于接收所述第一坐标信息后，将所述第一坐标信息赋值给所述第二坐标信息中的偏航角坐标，得到与期望画面对应的更新后的偏航角，从而得到与期望FOV对应的第三坐标信息，其中，所述第三坐标信息包括所述更新后的偏航角、俯仰角和滚转角；
根据所述第三坐标信息，确定在所述目标全景视频中需要显示的所述目标画面。
7.一种可穿戴设备，其特征在于，所述可穿戴设备包括：处理器、显示器、通信接口和存储器；其中，存储器用于存储一个或多个程序，该一个或多个程序包括计算机执行指令，当该可穿戴设备运行时，处理器执行该存储器存储的该计算机执行指令，以使该可穿戴设备执行权利要求1至5中任意之一所述的智能直播方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当计算机执行该指令时，该计算机执行上述权利要求1至5中任意之一所述的智能直播方法。
9.一种智能直播系统，其特征在于，所述系统包括：
多个全景图像采集设备，用于实时采集其周围360度的全景视频并传输至服务器端；
流媒体服务器和图形处理服务器，其中，所述流媒体服务器用于所述全景视频的采集、推流、转码和分发，所述图形处理服务器用于所述全景视频的实时图像识别和图像比对，还用于计算目标图像在目标全景视频中的坐标信息；
以及如上述权利要求7所述的可穿戴设备。
CN202011059621.9A 2020-09-30 2020-09-30 智能直播方法、可穿戴设备及智能直播系统 Active CN112165629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011059621.9A CN112165629B (zh) 2020-09-30 2020-09-30 智能直播方法、可穿戴设备及智能直播系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011059621.9A CN112165629B (zh) 2020-09-30 2020-09-30 智能直播方法、可穿戴设备及智能直播系统

Publications (2)

Publication Number Publication Date
CN112165629A CN112165629A (zh) 2021-01-01
CN112165629B true CN112165629B (zh) 2022-05-13

Family

ID=73862340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011059621.9A Active CN112165629B (zh) 2020-09-30 2020-09-30 智能直播方法、可穿戴设备及智能直播系统

Country Status (1)

Country Link
CN (1) CN112165629B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542583A (zh) * 2021-04-07 2021-10-22 厦门市思芯微科技有限公司 基于TensorFlowLite的移动客户端智能跟随方法及装置
CN113518423B (zh) * 2021-06-04 2024-06-21 维沃移动通信有限公司 定位方法、装置及电子设备
CN114125481A (zh) * 2021-11-17 2022-03-01 建信金融科技有限责任公司 Vr直播答题的实现方法、装置、系统、设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087145A (zh) * 2017-06-02 2017-08-22 深圳市本道科技有限公司 多路视频进行360度全景视频显示的方法及装置
CN108174152A (zh) * 2017-12-28 2018-06-15 深圳英飞拓科技股份有限公司 一种目标监控方法及目标监控系统
CN108479060A (zh) * 2018-03-29 2018-09-04 联想(北京)有限公司 一种显示控制方法及电子设备
CN109389036A (zh) * 2018-08-29 2019-02-26 中国建设银行股份有限公司 一种基于ar的信息推送方法、装置、终端及可读介质
CN109982036A (zh) * 2019-02-20 2019-07-05 华为技术有限公司 一种全景视频数据处理的方法、终端以及存储介质
CN110442295A (zh) * 2019-07-09 2019-11-12 努比亚技术有限公司 可穿戴设备控制方法、可穿戴设备及计算机可读存储介质
CN110784733A (zh) * 2019-11-07 2020-02-11 广州虎牙科技有限公司 直播数据处理方法、装置、电子设备及可读存储介质
CN111142673A (zh) * 2019-12-31 2020-05-12 维沃移动通信有限公司 场景切换方法及头戴式电子设备
CN111369684A (zh) * 2019-12-10 2020-07-03 杭州海康威视系统技术有限公司 目标跟踪方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10365711B2 (en) * 2012-05-17 2019-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
CN105872526B (zh) * 2015-01-21 2017-10-31 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
CN105704501B (zh) * 2016-02-06 2020-04-21 普宙飞行器科技（深圳）有限公司 一种基于无人机全景视频的虚拟现实直播系统
CN108701363B (zh) * 2017-07-07 2021-06-29 广东虚拟现实科技有限公司 使用多相机识别和追踪对象的方法、设备和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087145A (zh) * 2017-06-02 2017-08-22 深圳市本道科技有限公司 多路视频进行360度全景视频显示的方法及装置
CN108174152A (zh) * 2017-12-28 2018-06-15 深圳英飞拓科技股份有限公司 一种目标监控方法及目标监控系统
CN108479060A (zh) * 2018-03-29 2018-09-04 联想(北京)有限公司 一种显示控制方法及电子设备
CN109389036A (zh) * 2018-08-29 2019-02-26 中国建设银行股份有限公司 一种基于ar的信息推送方法、装置、终端及可读介质
CN109982036A (zh) * 2019-02-20 2019-07-05 华为技术有限公司 一种全景视频数据处理的方法、终端以及存储介质
CN110442295A (zh) * 2019-07-09 2019-11-12 努比亚技术有限公司 可穿戴设备控制方法、可穿戴设备及计算机可读存储介质
CN110784733A (zh) * 2019-11-07 2020-02-11 广州虎牙科技有限公司 直播数据处理方法、装置、电子设备及可读存储介质
CN111369684A (zh) * 2019-12-10 2020-07-03 杭州海康威视系统技术有限公司 目标跟踪方法、装置、设备及存储介质
CN111142673A (zh) * 2019-12-31 2020-05-12 维沃移动通信有限公司 场景切换方法及头戴式电子设备

Also Published As

Publication number Publication date
CN112165629A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
US10366511B2 (en) Method and system for image georegistration
CN112165629B (zh) 智能直播方法、可穿戴设备及智能直播系统
US11394950B2 (en) Augmented reality-based remote guidance method and apparatus, terminal, and storage medium
EP3149698B1 (en) Method and system for image georegistration
CN110457414B (zh) 离线地图处理、虚拟对象显示方法、装置、介质和设备
US9858643B2 (en) Image generating device, image generating method, and program
WO2019216491A1 (en) A method of analyzing objects in images recorded by a camera of a head mounted device
CN110062176B (zh) 生成视频的方法、装置、电子设备和计算机可读存储介质
CN113240692B (zh) 一种图像处理方法、装置、设备以及存储介质
US9392248B2 (en) Dynamic POV composite 3D video system
KR100964951B1 (ko) 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법
CN111627116A (zh) 图像渲染控制方法、装置及服务器
US10764493B2 (en) Display method and electronic device
CN110892714A (zh) 移动机器人的控制方法、装置、设备及存储介质
WO2017041740A1 (en) Methods and systems for light field augmented reality/virtual reality on mobile devices
CN110069125A (zh) 虚拟对象的控制方法和装置
CN112802206A (zh) 漫游视图的生成方法、装置、设备和存储介质
CN110730934A (zh) 轨迹切换的方法和装置
CN111833459B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111527375A (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
KR20180133052A (ko) 360도 이미지 및 비디오 기반의 증강현실 콘텐츠 저작 방법
CN109883414B (zh) 一种车辆导航方法、装置、电子设备及存储介质
CN109688381B (zh) Vr监控方法、装置、设备及存储介质
WO2020136633A1 (en) Methods and systems for camera 3d pose determination
CN116228862A (zh) 结合大空间视觉定位的ar眼镜协同系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant