CN114827684B - 一种基于5g的交互式视频服务方法及系统 - Google Patents

一种基于5g的交互式视频服务方法及系统 Download PDF

Info

Publication number
CN114827684B
CN114827684B CN202210442258.1A CN202210442258A CN114827684B CN 114827684 B CN114827684 B CN 114827684B CN 202210442258 A CN202210442258 A CN 202210442258A CN 114827684 B CN114827684 B CN 114827684B
Authority
CN
China
Prior art keywords
display
video image
source video
window
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210442258.1A
Other languages
English (en)
Other versions
CN114827684A (zh
Inventor
李边芳
耿晓娜
邓栋
张峰
王智
陈福生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Lexin Information Technology Service Co ltd
Qingdao Haier Lexinyun Technology Co ltd
Original Assignee
Qingdao Haier Lexin Information Technology Service Co ltd
Qingdao Haier Lexinyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Lexin Information Technology Service Co ltd, Qingdao Haier Lexinyun Technology Co ltd filed Critical Qingdao Haier Lexin Information Technology Service Co ltd
Priority to CN202210442258.1A priority Critical patent/CN114827684B/zh
Publication of CN114827684A publication Critical patent/CN114827684A/zh
Application granted granted Critical
Publication of CN114827684B publication Critical patent/CN114827684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明属于5G通信技术领域，具体涉及一种基于5G的交互式视频服务方法及系统。所述系统包括：图像获取端，配置用于设置取景窗口，在取景窗口内，获取全景图片，将全景图片按照获取的时间顺序以至少每秒24帧的帧率构建源视频图像；在源视频图像中，设置参考线和基准边，按照设置的参考线和基准边，将源视频图像划分为围住的区域和没有围住的区域。其通过图像获取端和用户端之间的参数信息，对源视频图像进行调整，以保证视频完整的转换，同时在传输时，基于5G的多码率，对不同的视频部分进行不同码率的传输，一方面可以在用户端直接进行还原，另一方面使得互动部分和显示部分能够以更合理的码率进行传输，提升了互动的效率和体验。

Description

一种基于5G的交互式视频服务方法及系统
技术领域
本发明属于5G通信技术领域，具体涉及一种基于5G的交互式视频服务方法及系统。
背景技术
5G网络(5G Network)是第五代移动通信网络，其峰值理论传输速度可达20Gbps，合2.5GB每秒，比4G网络的传输速度快10倍以上。举例来说，一部1G的电影可在4秒之内下载完成。随着5G技术的诞生，用智能终端分享3D电影、游戏以及超高画质(UHD)节目的时代正向我们走来。
交互式视频，是指通过各种技术手段，将交互体验融入到线性的视频的新型视频。它的风靡起源于2005年，随着当时宽带接入速度的提升和多媒体播放技术的成熟(主要是flash)，交互式视频越来越多。
最初主要是由广告商赞助的广告视频，借用各种新奇的交互方式来吸引人们点击观看，增加产品的曝光度，可以认为是病毒营销一种。发展到如今，已经诞生了各种专门设计制作交互式视频的公司，甚至个人也可以很方便的制作交互式视频。
专利申请号为CN201510096217.1A的专利文献公开了一种交互式视频显示的方法、设备及系统，涉及多媒体技术领域，能够解决现有技术中可视区域仅根据用户位置的平移变化进行简单变换导致用户浏览体验不真实的问题。具体方案为：获取用户的体态信息，体态信息包括用户的视角信息和用户的位置信息，根据体态信息调整视频中用于显示在客户端的调整前的可视区域，从而获得当前用于显示在客户端的调整后的可视区域。
该发明通过获取用户的体态信息来进行交互式视频显示，以此来提升用户体验，但其首先需要大量的分析设备进行分析，且存在准确率低和算法执行效率低的缺点。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于5G的交互式视频服务方法及系统，其通过图像获取端和用户端之间的参数信息，对源视频图像进行调整，以保证视频完整的转换，同时在传输时，基于5G的多码率，对不同的视频部分进行不同码率的传输，一方面可以在用户端直接进行还原，另一方面使得互动部分和显示部分能够以更合理的码率进行传输，提升了互动的效率和体验。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于5G的交互式视频服务方法，所述方法执行以下步骤：
步骤1：在图像获取端设置取景窗口，在取景窗口内，获取全景图片，将全景图片按照获取的时间顺序以至少每秒24帧的帧率构建源视频图像；在源视频图像中，设置参考线和基准边，按照设置的参考线和基准边，将源视频图像划分为围住的区域和没有围住的区域；
步骤2：设置显示窗口，基于显示窗口和取景窗口的尺寸和位置信息，在同一空间参考坐标系中，完成取景窗口和显示窗口的映射；
步骤3：将源视频图像发送至5G基站，5G基站对接收到的源视频图像进行图像码率发送分割，具体包括：通过边缘检测的方法获取源视频图像中的视频区域，再在视频区域中找到围住的区域和没有围住的区域；针对围住的区域，按照互动的优先级，将其划分为两个部分，分别为优先互动部分和非优先互动部分；对优先互动部分，使用设定的第一互动码率传输至用户端；针对非优先互动部分，使用设定的第二互动码率传输至用户端；针对没有围住的区域，按照显示的优先级，将其划分为两个部分，分别为优先显示部分和非优先显示部分；针对优先显示部分，使用设定的第一显示码率传输至用户端；针对非优先显示部分，使用设定的第二显示码率传输至用户端；
步骤4：用户端根据接收到的视频区域中各个部分的码率，将其在现实窗口中还原至对应的位置，完成源视频图像在用户端的显示；同时，提供给用户在用户端进行视频互动操作。
进一步的，所述步骤1中参考线的设置执行以下步骤：基于如下公式，确定参考线在源视频图像中的位置：
Figure BDA0003615231870000031
其中，/>
Figure BDA0003615231870000032
为一个设定值，互动部分定义为在用户端中提供给用户进行互动的视频图像的部分；显示部分定义为在用户端中提供给用户进行显示的视频图像部分；N为源视频图像的像素个数；x为源视频图像中按照从左至右，从下至上的顺序的第一个像素的横坐标。
进一步的，所述步骤1中基准边的设置执行以下步骤：选定源视频图像中距离参考线的欧式距离最大的边界线作为基准线。
进一步的，所述步骤1中按照设置的参考线和基准边，将源视频图像划分为围住的区域和没有围住的区域的方法包括：以参考线与基准线之间的部分作为没有围住的区域，以剩下的部分作为围住的区域。
进一步的，所述步骤2中设置显示窗口，基于显示窗口和取景窗口的尺寸和位置信息，在同一空间参考坐标系中，完成取景窗口和显示窗口的映射的方法包括：按照如下公式，将取景窗口中映射为显示窗口：x1＝sina*lgL*x*c,y1＝sina*lg L*y*c；x2＝cosa*lgL*x′*c,y2＝cosa*lg L*y′*c；x3＝tana*lg L*x″*c,y2＝tana*lg L*y″*c；x2＝cota*lg L*x″′*c,y2＝cota*lg L*y″′*c；其中，a为映射旋转角度，其取值为取景窗口与水平方向的夹角减去显示窗口与水平方向的夹角；x为按照从左至右，从下至上的顺序的第一个像素的横坐标；y为按照从左至右，从下至上的顺序的第一个像素的纵坐标；x′为按照从右至左，从下至上的顺序的第一个像素的横坐标；y′为按照从右至左，从下至上的顺序的第一个像素的纵坐标；x″为按照从左至右，从上至下的顺序的第一个像素的横坐标；y″为按照从左至右，从上至下的顺序的第一个像素的纵坐标；x″′为按照从右至左，从上至下的顺序的第一个像素的横坐标；y″′为按照从右至左，从上至下的顺序的第一个像素的纵坐标；c为调整系数，取值范围为0.2～1.2。
进一步的，所述步骤3中通过边缘检测的方法获取源视频图像中的视频区域的方法包括：在源视频图像中随机选取一帧图像，将该图像转换为二值图像，确定二值图像中的感兴趣区域；基于二值分布的先验概率分布进行区域分割，将搜索得到的先验概率分布极值对应的边缘位置作为相邻分割区域间的边界；所述先验概率分布中包括：利用沿边界的导数进行加权计算所获得的边缘约束条件。
进一步的，所述步骤3中在视频区域中找到围住的区域和没有围住的区域的方法包括：计算视频区域在源视频图像中的占比，根据计算得到的占比分别与源视频图像中围住的区域和没有围住的区域进行加权计算后，得到视频区域内围住的区域和没有围住的区域。
进一步的，所述第一互动码率和第二互动码率须满足以下约束条件：第一互动码率+第二互动码率<源视频图像的时间长度*24*8/3600；且，
Figure BDA0003615231870000041
进一步的，所述第一显示码率和第二显示码率须满足以下约束条件：第一显示码率+第二显示码率<源视频图像的时间长度*24*8/7200；且，
Figure BDA0003615231870000042
一种基于5G的交互式视频服务系统，所述系统包括：图像获取端，配置用于设置取景窗口，在取景窗口内，获取全景图片，将全景图片按照获取的时间顺序以至少每秒24帧的帧率构建源视频图像；在源视频图像中，设置参考线和基准边，按照设置的参考线和基准边，将源视频图像划分为围住的区域和没有围住的区域；将源视频图像发送至5G基站；设置端，配置用于设置显示窗口，基于显示窗口和取景窗口的尺寸和位置信息，在同一空间参考坐标系中，完成取景窗口和显示窗口的映射；5G基站，配置用于接收来自图像获取端的源视频图像，对接收到的源视频图像进行图像码率发送分割，具体包括：通过边缘检测的方法获取源视频图像中的视频区域，再在视频区域中找到围住的区域和没有围住的区域；针对围住的区域，按照互动的优先级，将其划分为两个部分，分别为优先互动部分和非优先互动部分；对优先互动部分，使用设定的第一互动码率传输至用户端；针对非优先互动部分，使用设定的第二互动码率传输至用户端；针对没有围住的区域，按照显示的优先级，将其划分为两个部分，分别为优先显示部分和非优先显示部分；针对优先显示部分，使用设定的第一显示码率传输至用户端；针对非优先显示部分，使用设定的第二显示码率传输至用户端；用户端，配置用于根据接收到的视频区域中各个部分的码率，将其在现实窗口中还原至对应的位置，完成源视频图像在用户端的显示；同时，提供给用户在用户端进行视频互动操作。
本发明的一种基于5G的交互式视频服务方法及系统，具有如下有益效果：本发明通过图像获取端和用户端之间的参数信息，对源视频图像进行调整，以保证视频完整的转换，同时在传输时，基于5G的多码率，对不同的视频部分进行不同码率的传输，一方面可以在用户端直接进行还原，另一方面使得互动部分和显示部分能够以更合理的码率进行传输，提升了互动的效率和体验。
附图说明
图1为本发明实施例提供的一种基于5G的交互式视频服务方法的方法流程示意图；
图2为本发明实施例提供的一种基于5G的交互式视频服务方法的以设定码率传输的原理示意图；
图3为本发明实施例提供的一种基于5G的交互式视频服务方法的取景窗口和现实窗口的映射的原理示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
实施例1
如图1所示，一种基于5G的交互式视频服务方法，所述方法执行以下步骤：
步骤1：在图像获取端设置取景窗口，在取景窗口内，获取全景图片，将全景图片按照获取的时间顺序以至少每秒24帧的帧率构建源视频图像；在源视频图像中，设置参考线和基准边，按照设置的参考线和基准边，将源视频图像划分为围住的区域和没有围住的区域；
步骤2：设置显示窗口，基于显示窗口和取景窗口的尺寸和位置信息，在同一空间参考坐标系中，完成取景窗口和显示窗口的映射；
步骤3：将源视频图像发送至5G基站，5G基站对接收到的源视频图像进行图像码率发送分割，具体包括：通过边缘检测的方法获取源视频图像中的视频区域，再在视频区域中找到围住的区域和没有围住的区域；针对围住的区域，按照互动的优先级，将其划分为两个部分，分别为优先互动部分和非优先互动部分；对优先互动部分，使用设定的第一互动码率传输至用户端；针对非优先互动部分，使用设定的第二互动码率传输至用户端；针对没有围住的区域，按照显示的优先级，将其划分为两个部分，分别为优先显示部分和非优先显示部分；针对优先显示部分，使用设定的第一显示码率传输至用户端；针对非优先显示部分，使用设定的第二显示码率传输至用户端；
步骤4：用户端根据接收到的视频区域中各个部分的码率，将其在现实窗口中还原至对应的位置，完成源视频图像在用户端的显示；同时，提供给用户在用户端进行视频互动操作。
具体的，本发明通过图像获取端获取全景图像，该全景图像为目标的全景图像，在采集全景图像时，按照时间顺序，构建源视频图像。按照每秒24帧的帧率来构建。
围住的区域和没有围住的区域为源视频图像中划定的部分。这个划定是根据在用户端显示时，互动部分和显示部分来确定的。围住的区域在映射后对应的时互动部分，没有围住的区域在映射后对应的时非互动部分。
在从5G基站发送至用户端时，首先通过边缘检测的方法获取源视频图像中的视频区域。该视频区域为源视频图像中有效的部分，这部分通过边缘检测的方式获取出来。再从这部分中筛选出围住的区域和没有围住的区域。
此时，实际上，用户端的互动部分对应的是视频区域中筛选出的围住的区域；显示部分对应的是视频区域中筛选出出的没有围住的部分。
所以，若没有进行基于边缘检测的过程，筛选出视频区域，则会导致某些无效的部分传送至用户端，降低视频图像的信息量。
实施例2
在上一实施例的基础上，所述步骤1中参考线的设置执行以下步骤：基于如下公式，确定参考线在源视频图像中的位置：
Figure BDA0003615231870000071
其中，/>
Figure BDA0003615231870000072
为一个设定值，互动部分定义为在用户端中提供给用户进行互动的视频图像的部分；显示部分定义为在用户端中提供给用户进行显示的视频图像部分；N为源视频图像的像素个数；x为源视频图像中按照从左至右，从下至上的顺序的第一个像素的横坐标。
参考图3，图3中展示了取景窗口和显示窗口的映射关系。这种映射关系也反映到源视频图像和用户端的视频图像的映射关系。
参考线的确定是基于用户端中提供给用户进行互动的视频图像的部分与用户端中提供给用户进行显示的视频图像部分的比例来决定的。
而基准线的确定则是为图像确立一个边界。
实施例3
在上一实施例的基础上，所述步骤1中基准边的设置执行以下步骤：选定源视频图像中距离参考线的欧式距离最大的边界线作为基准线。
实施例4
在上一实施例的基础上，所述步骤1中按照设置的参考线和基准边，将源视频图像划分为围住的区域和没有围住的区域的方法包括：以参考线与基准线之间的部分作为没有围住的区域，以剩下的部分作为围住的区域。
具体的，码率，也称比特率Bit Rate，或叫位速率，是单位时间内视频(或音频)的数据量，单位是bps(bit per second，位每秒)，一般使用kbps(千位每秒)或Mbps(百万位每秒)。不同的码率，决定着编码器压缩视频的程度，是决定视频最终质量和文件大小的关键因素。码率越低，表示压缩程度越高，画质越差。码率越高，视频质量相对越高，视频文件也就越大。较高码率的视频在网络观看时通常需要缓存才能不卡顿，即使在本地观看，对电脑的性能也会有更高的要求。
实施例5
在上一实施例的基础上，所述步骤2中设置显示窗口，基于显示窗口和取景窗口的尺寸和位置信息，在同一空间参考坐标系中，完成取景窗口和显示窗口的映射的方法包括：按照如下公式，将取景窗口中映射为显示窗口：x1＝sina*lg L*x*c,y1＝sina*lg L*y*c；x2＝cosa*lg L*x′*c,y2＝cosa*lg L*y′*c；x3＝tana*lg L*x″*c,y2＝tana*lg L*y″*c；x2＝cota*lg L*x″′*c,y2＝cota*lg L*y″′*c；其中，a为映射旋转角度，其取值为取景窗口与水平方向的夹角减去显示窗口与水平方向的夹角；x为按照从左至右，从下至上的顺序的第一个像素的横坐标；y为按照从左至右，从下至上的顺序的第一个像素的纵坐标；x′为按照从右至左，从下至上的顺序的第一个像素的横坐标；y′为按照从右至左，从下至上的顺序的第一个像素的纵坐标；x″为按照从左至右，从上至下的顺序的第一个像素的横坐标；y″为按照从左至右，从上至下的顺序的第一个像素的纵坐标；x″′为按照从右至左，从上至下的顺序的第一个像素的横坐标；y″′为按照从右至左，从上至下的顺序的第一个像素的纵坐标；c为调整系数，取值范围为0.2～1.2。
具体的，由于在实际情况中，显示窗口和取景窗口可能存在偏差，则会导致取景窗口获取到的图像在显示窗口中的位置出现偏差。本发明在图像传输中保持图像的相对位置处于不变的情况，这就使得若对这种偏差不加以校正，则会导致取景窗口获取到的图像直接显示在显示窗口中，这种情况则会导致图像出现失真。因此需要对取景窗口和显示窗口进行映射，完成映射后，后续图像在传输时，以这种映射，则可以完成图像在不同窗口显示的效果实现统一性。
在进行映射时，需要考虑显示窗口和取景窗口的角度偏差，以及用户进行互动的视频图像的部分与用户端中提供给用户进行显示的视频图像部分的比例。
实施例6
在上一实施例的基础上，所述步骤3中通过边缘检测的方法获取源视频图像中的视频区域的方法包括：在源视频图像中随机选取一帧图像，将该图像转换为二值图像，确定二值图像中的感兴趣区域；基于二值分布的先验概率分布进行区域分割，将搜索得到的先验概率分布极值对应的边缘位置作为相邻分割区域间的边界；所述先验概率分布中包括：利用沿边界的导数进行加权计算所获得的边缘约束条件。
具体的，在进行边缘检测前，还将对所述感兴趣区域进行二值校正，其包括：沿扫描线方向搜索二值极大值或极小值，并将所述极大值点或极小值作为校正点；计算区域的二值平均值；利用所述二值极大值或极小值和二值平均值的加权计算结果，对扫描线所述校正点以内的区域进行二值校正。
实施例7
在上一实施例的基础上，所述步骤3中在视频区域中找到围住的区域和没有围住的区域的方法包括：计算视频区域在源视频图像中的占比，根据计算得到的占比分别与源视频图像中围住的区域和没有围住的区域进行加权计算后，得到视频区域内围住的区域和没有围住的区域。
实施例8
在上一实施例的基础上，所述第一互动码率和第二互动码率须满足以下约束条件：第一互动码率+第二互动码率<源视频图像的时间长度*24*8/3600；且，
Figure BDA0003615231870000101
具体的，在第一互动码率和第二互动码率的加和值需要保证图像传输过来的速率不要超过设定的阈值，如果超过，则会导致图像出现跳帧的情况。而第一互动码率和第二互动码率的差值则需要满足大于设定的一个阈值，如果小于，则会导致前后两帧图像之间出现延迟。
实施例9
在上一实施例的基础上，所述第一显示码率和第二显示码率须满足以下约束条件：第一显示码率+第二显示码率<源视频图像的时间长度*24*8/7200；且，
Figure BDA0003615231870000102
具体的，针对显示码率，因为显示部分和互动部分存在不同。互动部分需要人为进行响应，因此在实际情况中则需要非常及时的响应，而显示部分对于实时性的要求要低一些。
一种基于5G的交互式视频服务系统，所述系统包括：图像获取端，配置用于设置取景窗口，在取景窗口内，获取全景图片，将全景图片按照获取的时间顺序以至少每秒24帧的帧率构建源视频图像；在源视频图像中，设置参考线和基准边，按照设置的参考线和基准边，将源视频图像划分为围住的区域和没有围住的区域；将源视频图像发送至5G基站；设置端，配置用于设置显示窗口，基于显示窗口和取景窗口的尺寸和位置信息，在同一空间参考坐标系中，完成取景窗口和显示窗口的映射；5G基站，配置用于接收来自图像获取端的源视频图像，对接收到的源视频图像进行图像码率发送分割，具体包括：通过边缘检测的方法获取源视频图像中的视频区域，再在视频区域中找到围住的区域和没有围住的区域；针对围住的区域，按照互动的优先级，将其划分为两个部分，分别为优先互动部分和非优先互动部分；对优先互动部分，使用设定的第一互动码率传输至用户端；针对非优先互动部分，使用设定的第二互动码率传输至用户端；针对没有围住的区域，按照显示的优先级，将其划分为两个部分，分别为优先显示部分和非优先显示部分；针对优先显示部分，使用设定的第一显示码率传输至用户端；针对非优先显示部分，使用设定的第二显示码率传输至用户端；用户端，配置用于根据接收到的视频区域中各个部分的码率，将其在现实窗口中还原至对应的位置，完成源视频图像在用户端的显示；同时，提供给用户在用户端进行视频互动操作。
需要说明的是，上述实施例提供的系统，仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元来完成，即将本发明实施例中的单元或者步骤再分解或者组合，例如，上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子单元，以完成以上描述的全部或者单元功能。对于本发明实施例中涉及的单元、步骤的名称，仅仅是为了区分各个单元或者步骤，不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应能够意识到，结合本文中所公开的实施例描述的各示例的单元、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件单元、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、QD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“另一部分”等是配置用于区别类似的对象，而不是配置用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者单元/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术标记作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述，仅为本发明的较佳实施例而已，并非配置用于限定本发明的保护范围。

Claims (8)

1.一种基于5G的交互式视频服务方法，其特征在于，所述方法执行以下步骤：
步骤1：在图像获取端设置取景窗口，在取景窗口内，获取全景图片，将全景图片按照获取的时间顺序以至少每秒24帧的帧率构建源视频图像；在源视频图像中，设置参考线和基准边，按照设置的参考线和基准边，将源视频图像划分为围住的区域和没有围住的区域；
步骤2：设置显示窗口，基于显示窗口和取景窗口的尺寸和位置信息，在同一空间参考坐标系中，完成取景窗口和显示窗口的映射；
步骤3：将源视频图像发送至5G基站，5G基站对接收到的源视频图像进行图像码率发送分割，具体包括：通过边缘检测的方法获取源视频图像中的视频区域，再在视频区域中找到围住的区域和没有围住的区域；针对围住的区域，按照互动的优先级，将其划分为两个部分，分别为优先互动部分和非优先互动部分；对优先互动部分，使用设定的第一互动码率传输至用户端；针对非优先互动部分，使用设定的第二互动码率传输至用户端；针对没有围住的区域，按照显示的优先级，将其划分为两个部分，分别为优先显示部分和非优先显示部分；针对优先显示部分，使用设定的第一显示码率传输至用户端；针对非优先显示部分，使用设定的第二显示码率传输至用户端；
步骤4：用户端根据接收到的视频区域中各个部分的码率，将其在显示窗口中还原至对应的位置，完成源视频图像在用户端的显示；同时，提供给用户在用户端进行视频互动操作；
所述步骤1中参考线的设置执行以下步骤：基于如下公式，确定参考线在源视频图像中的位置：
Figure QLYQS_1
其中，/>
Figure QLYQS_2
为一个设定值，互动部分定义为在用户端中提供给用户进行互动的视频图像的部分；显示部分定义为在用户端中提供给用户进行显示的视频图像部分；N为源视频图像的像素个数；x为源视频图像中按照从左至右，从下至上的顺序的第一个像素的横坐标；
所述步骤2中设置显示窗口，基于显示窗口和取景窗口的尺寸和位置信息，在同一空间参考坐标系中，完成取景窗口和显示窗口的映射的方法包括：按照如下公式，将取景窗口中映射为显示窗口：x1＝sina*lgL*x*c,y1＝sina*lg L*y*c；x2＝cosa*lgL*x′*c,y2＝cosa*lg L*y′*c；
x3＝tana*lgL*x″*c,y3＝tana*lg L*y″*c；x4＝cota*lgL*x″′*
c,y4＝cota*lg L*y″′*c；其中，a为映射旋转角度，其取值为取景窗口与水平方向的夹角减去显示窗口与水平方向的夹角；x为按照从左至右，从下至上的顺序的第一个像素的横坐标；y为按照从左至右，从下至上的顺序的第一个像素的纵坐标；x′为按照从右至左，从下至上的顺序的第一个像素的横坐标；y′为按照从右至左，从下至上的顺序的第一个像素的纵坐标；x″为按照从左至右，从上至下的顺序的第一个像素的横坐标；y″为按照从左至右，从上至下的顺序的第一个像素的纵坐标；x″′为按照从右至左，从上至下的顺序的第一个像素的横坐标；y″′为按照从右至左，从上至下的顺序的第一个像素的纵坐标；c为调整系数，取值范围为0.2～1.2。
2.如权利要求1所述的方法，其特征在于，所述步骤1中基准边的设置执行以下步骤：选定源视频图像中距离参考线的欧式距离最大的边界线作为基准线。
3.如权利要求2所述的方法，其特征在于，所述步骤1中按照设置的参考线和基准边，将源视频图像划分为围住的区域和没有围住的区域的方法包括：以参考线与基准线之间的部分作为没有围住的区域，以剩下的部分作为围住的区域。
4.如权利要求1所述的方法，其特征在于，所述步骤3中通过边缘检测的方法获取源视频图像中的视频区域的方法包括：在源视频图像中随机选取一帧图像，将该图像转换为二值图像，确定二值图像中的感兴趣区域；基于二值分布的先验概率分布进行区域分割，将搜索得到的先验概率分布极值对应的边缘位置作为相邻分割区域间的边界；所述先验概率分布中包括：利用沿边界的导数进行加权计算所获得的边缘约束条件。
5.如权利要求4所述的方法，其特征在于，所述步骤3中在视频区域中找到围住的区域和没有围住的区域的方法包括：计算视频区域在源视频图像中的占比，根据计算得到的占比分别与源视频图像中围住的区域和没有围住的区域进行加权计算后，得到视频区域内围住的区域和没有围住的区域。
6.如权利要求5所述的方法，其特征在于，所述第一互动码率和第二互动码率须满足以下约束条件：
第一互动码率+第二互动码率<源视频图像的时间长度*24*8/3600；且，
Figure QLYQS_3
7.如权利要求6所述的方法，其特征在于，所述第一显示码率和第二显示码率须满足以下约束条件：
第一显示码率+第二显示码率<源视频图像的时间长度*24*8/7200；且，
Figure QLYQS_4
8.一种5G的交互式视频服务系统，基于权利要求1至7之一所述方法，其特征在于，所述系统包括：图像获取端，配置用于设置取景窗口，在取景窗口内，获取全景图片，将全景图片按照获取的时间顺序以至少每秒24帧的帧率构建源视频图像；在源视频图像中，设置参考线和基准边，按照设置的参考线和基准边，将源视频图像划分为围住的区域和没有围住的区域；将源视频图像发送至5G基站；设置端，配置用于设置显示窗口，基于显示窗口和取景窗口的尺寸和位置信息，在同一空间参考坐标系中，完成取景窗口和显示窗口的映射；5G基站，配置用于接收来自图像获取端的源视频图像，对接收到的源视频图像进行图像码率发送分割，具体包括：通过边缘检测的方法获取源视频图像中的视频区域，再在视频区域中找到围住的区域和没有围住的区域；针对围住的区域，按照互动的优先级，将其划分为两个部分，分别为优先互动部分和非优先互动部分；对优先互动部分，使用设定的第一互动码率传输至用户端；针对非优先互动部分，使用设定的第二互动码率传输至用户端；针对没有围住的区域，按照显示的优先级，将其划分为两个部分，分别为优先显示部分和非优先显示部分；针对优先显示部分，使用设定的第一显示码率传输至用户端；针对非优先显示部分，使用设定的第二显示码率传输至用户端；用户端，配置用于根据接收到的视频区域中各个部分的码率，将其在显示窗口中还原至对应的位置，完成源视频图像在用户端的显示；同时，提供给用户在用户端进行视频互动操作；
所述设置显示窗口，基于显示窗口和取景窗口的尺寸和位置信息，在同一空间参考坐标系中，完成取景窗口和显示窗口的映射的方法包括：按照如下公式，将取景窗口中映射为显示窗口：x1＝sina*lgL*x*c,y1＝sina*lg L*y*c；x2＝cosa*lgL*x′*c,y2＝cosa*lg L*y′*c；x3＝tana*lgL*x″*c,y3＝tana*lg L*y″*c；x4＝cota*lgL*x″′*c,y4＝cota*lg L*y″′*c；其中，a为映射旋转角度，其取值为取景窗口与水平方向的夹角减去显示窗口与水平方向的夹角；x为按照从左至右，从下至上的顺序的第一个像素的横坐标；y为按照从左至右，从下至上的顺序的第一个像素的纵坐标；x′为按照从右至左，从下至上的顺序的第一个像素的横坐标；y′为按照从右至左，从下至上的顺序的第一个像素的纵坐标；x″为按照从左至右，从上至下的顺序的第一个像素的横坐标；y″为按照从左至右，从上至下的顺序的第一个像素的纵坐标；x″′为按照从右至左，从上至下的顺序的第一个像素的横坐标；y″′为按照从右至左，从上至下的顺序的第一个像素的纵坐标；c为调整系数，取值范围为0.2～1.2；
所述参考线的设置执行以下步骤：基于如下公式，确定参考线在源视频图像中的位置：
Figure QLYQS_5
其中，/>
Figure QLYQS_6
为一个设定值，互动部分定义为在用户端中提供给用户进行互动的视频图像的部分；显示部分定义为在用户端中提供给用户进行显示的视频图像部分；N为源视频图像的像素个数；x为源视频图像中按照从左至右，从下至上的顺序的第一个像素的横坐标。/>
CN202210442258.1A 2022-04-25 2022-04-25 一种基于5g的交互式视频服务方法及系统 Active CN114827684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210442258.1A CN114827684B (zh) 2022-04-25 2022-04-25 一种基于5g的交互式视频服务方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210442258.1A CN114827684B (zh) 2022-04-25 2022-04-25 一种基于5g的交互式视频服务方法及系统

Publications (2)

Publication Number Publication Date
CN114827684A CN114827684A (zh) 2022-07-29
CN114827684B true CN114827684B (zh) 2023-06-02

Family

ID=82508161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210442258.1A Active CN114827684B (zh) 2022-04-25 2022-04-25 一种基于5g的交互式视频服务方法及系统

Country Status (1)

Country Link
CN (1) CN114827684B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984495A (zh) * 2012-12-06 2013-03-20 北京小米科技有限责任公司 一种视频图像的处理方法及装置
WO2018103243A1 (zh) * 2016-12-09 2018-06-14 武汉斗鱼网络科技有限公司 一种带宽节省方法、系统、直播终端及可读取存储介质
CN111479162A (zh) * 2020-04-07 2020-07-31 广州酷狗计算机科技有限公司 直播数据传输方法、装置以及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7480873B2 (en) * 2003-09-15 2009-01-20 Sun Microsystems, Inc. Method and apparatus for manipulating two-dimensional windows within a three-dimensional display model
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984495A (zh) * 2012-12-06 2013-03-20 北京小米科技有限责任公司 一种视频图像的处理方法及装置
WO2018103243A1 (zh) * 2016-12-09 2018-06-14 武汉斗鱼网络科技有限公司 一种带宽节省方法、系统、直播终端及可读取存储介质
CN111479162A (zh) * 2020-04-07 2020-07-31 广州酷狗计算机科技有限公司 直播数据传输方法、装置以及计算机可读存储介质

Also Published As

Publication number Publication date
CN114827684A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
JP4118059B2 (ja) デジタル動画像処理のための方法及び装置
US20070237423A1 (en) Constructing image panorama using frame selection
CN110300316B (zh) 视频中植入推送信息的方法、装置、电子设备及存储介质
CN114584849A (zh) 视频质量评估方法、装置、电子设备及计算机存储介质
US20110142287A1 (en) Algorithms for estimating precise and relative object distances in a scene
US20120120192A1 (en) Hierarchical hole-filling for depth-based view synthesis in ftv and 3d video
US9159136B2 (en) Temporal smoothing apparatus and method for synthesizing intermediate image
US10152779B2 (en) Method and apparatus for image filtering
JP2003058894A (ja) ピクセル化された画像をセグメント化するための方法および装置
CN108600783B (zh) 一种帧率调节方法、装置及终端设备
CN111246052B (zh) 宽动态调整方法及装置、存储介质、电子装置
CN110889809A (zh) 图像处理方法及装置、电子设备、存储介质
CN112435244A (zh) 直播视频的质量评价方法、装置、计算机设备和存储介质
US9558421B2 (en) Image mastering systems and methods
Avraham et al. Ultrawide foveated video extrapolation
CN114827684B (zh) 一种基于5g的交互式视频服务方法及系统
JP2019149785A (ja) 映像変換装置及びプログラム
CN112419161B (zh) 图像处理方法及装置、存储介质及电子设备
Sayed et al. An efficient intensity correction algorithm for high definition video surveillance applications
CN115719316A (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN110933493A (zh) 视频绘制系统、方法及计算机可读存储介质
US9532040B2 (en) Virtual viewpoint interval determination sections apparatus and method
CN108322755B (zh) 一种图片压缩处理方法及系统
CN111988597B (zh) 虚拟视点合成方法、装置、电子设备及可读存储介质
CN111784733A (zh) 图像处理方法、装置、终端和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266000 Tonghe Street Office, Pingdu City, Qingdao City, Shandong Province, No. 88 Tonghe Road (within the Youth Community Service Center courtyard)

Applicant after: Qingdao Haier Lexinyun Technology Co.,Ltd.

Applicant after: Qingdao Haier Lexin Information Technology Service Co.,Ltd.

Address before: 266000 No. 88, Tonghe Road, Tonghe sub district office, Pingdu City, Qingdao, Shandong Province

Applicant before: QINGDAO RIRISHUN LEXIN CLOUD TECHNOLOGY Co.,Ltd.

Applicant before: Qingdao Riri shunlexin Information Technology Service Co.,Ltd.

GR01 Patent grant
GR01 Patent grant