CN116456124B - 高延时网络状态下的直播信息展示方法、系统及电子设备 - Google Patents
高延时网络状态下的直播信息展示方法、系统及电子设备 Download PDFInfo
- Publication number
- CN116456124B CN116456124B CN202310733883.6A CN202310733883A CN116456124B CN 116456124 B CN116456124 B CN 116456124B CN 202310733883 A CN202310733883 A CN 202310733883A CN 116456124 B CN116456124 B CN 116456124B
- Authority
- CN
- China
- Prior art keywords
- target object
- information
- object image
- target
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 239000000284 extract Substances 0.000 claims abstract description 29
- 238000013461 design Methods 0.000 description 18
- 238000004590 computer program Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/2625—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for delaying content or additional data distribution, e.g. because of an extended sport event
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
本申请提供一种高延时网络状态下的直播信息展示方法及系统。该方法通过采集终端上的摄像头获取直播场景视频,并通过网络设备将直播场景视频传输至服务端,然后,服务端通过第一预设信息提取模型提取直播场景视频中的关键特征信息,并将关键特征信息发送至第一目标播放终端,以在第一目标播放终端中对关键特征信息进行显示,从而实现了在高延时网络状态下的直播信息的有效展示。
Description
技术领域
本申请涉及数据处理技术,尤其涉及一种高延时网络状态下的直播信息展示方法、系统及电子设备。
背景技术
随着互联网技术的不断发展,网络已成为发展速度最快而且越来越占据主要地位的媒体,而网络视频直播是将音视频信号采集成数字信号,并经过网络传输的一种流媒体应用,通过视频直播,可以实现新闻发布会、体育比赛、教学交流实况、商业宣传、远程会议、开学开业典礼、庆典活动、结婚庆典等等的现场实况展示。
而由于视频直播过程中,所传输的数据量较大,对于网络质量要求较高,因此,当用户网络出现高延时,直播往往就会发生卡顿甚至直接无法继续观看,因此,亟需一种在高延时网络状态下,仍能进行直播信息展示的方法。
发明内容
本申请提供一种高延时网络状态下的直播信息展示方法、系统及电子设备,用以解决现有技术在高延时网络状态下,直播信息展示存在障碍的技术问题。
第一方面,本申请提供一种高延时网络状态下的直播信息展示方法,包括:
通过采集终端上的摄像头获取直播场景视频,并通过网络设备将所述直播场景视频传输至服务端,所述直播场景视频中的各帧图像包括目标对象展示区域以及显示屏所显示的画面展示区域,所述显示屏用于显示目标对象序列,所述目标对象序列包括目标对象对应的多个信息页面所组成的图像序列,所述目标对象展示区域用于展示所述目标对象;
所述服务端通过第一预设信息提取模型提取所述直播场景视频中的关键特征信息,所述关键特征信息包括当前时段下在所述显示屏中所展示的当前信息页面以及当前时段下基于所述直播场景视频中语音信息所转化的文字信息,其中,所述第一预设信息提取模型对所述当前信息页面进行提取的触发条件为检测到所述显示屏中展示的信息页面发生切换;
所述服务端将所述关键特征信息发送至第一目标播放终端,以在所述第一目标播放终端中对所述关键特征信息进行显示,其中,所述第一目标播放终端为网络延迟时长大于第一预设时长阈值的播放终端。
在一种可能的设计中,所述的高延时网络状态下的直播信息展示方法,还包括:
所述服务端通过第二预设信息提取模型提取当前时段下所述直播场景视频中所述目标对象展示区域对应的补充特征信息,所述第二预设信息提取模型对所述目标对象展示区域进行对应的图像信息进行提取的触发条件为检测到所述目标对象展示区域中的所述目标对象发生切换;
所述服务端将所述补充特征信息发送至第二目标播放终端,以在所述第二目标播放终端中对所述关键特征信息以及所述补充特征信息进行显示,其中,所述第二目标播放终端为网络延迟时长小于或等于所述第一预设时长阈值且大于第二预设时长阈值的播放终端,所述第一预设时长阈值大于所述第二预设时长阈值。
在一种可能的设计中,所述服务端通过第二预设信息提取模型提取当前时段下所述直播场景视频中所述目标对象展示区域对应的补充特征信息,包括:
获取当前时段起始时刻下所述目标对象展示区域对应的第一目标对象图像M以及终止时刻下所述目标对象展示区域对应的第二目标对象图像N;
根据公式1确定所述第一目标对象图像M与所述第二目标对象图像N之间的像素特征近似指数SR(M,N),所述公式1为:
,
其中,为所述第一目标对象图像M与所述第二目标对象图像N之间的像素亮度近似指数;/>为所述第一目标对象图像M与所述第二目标对象图像N之间的像素对比度近似指数;/>为所述第一目标对象图像M与所述第二目标对象图像N之间的像素结构分布近似指数;/>为大于或等于1的第一常数,/>的取值大小与所述第一目标对象图像M的像素点平均亮度成正比;/>为大于或等于1的第二常数,/>的取值大小与所述第一目标对象图像M的像素点平均对比度成正比;/>为大于或等于1的第三常数,/>的取值大小与所述目标对象在所述第一目标对象图像M中的面积占比成正比;
根据公式2确定所述像素亮度近似指数,所述公式2为:
,
其中,为所述第一目标对象图像M的像素点平均亮度,/>为所述第二目标对象图像N的像素点平均亮度,/>为大于0的第四常数;
根据公式3确定所述像素对比度近似指数,所述公式3为:
,
其中,为所述第一目标对象图像M的像素点平均对比度,/>为所述第二目标对象图像N的像素点平均对比度,/>为大于0的第五常数;
根据公式4确定所述像素结构分布近似指数,所述公式4为:
,
其中,为所述目标对象在所述第一目标对象图像M中的面积占比,/>为所述目标对象在所述第二目标对象图像N中的面/>积占比,/>为大于0的第六常数;
若所述像素特征近似指数SR(M,N)小于预设像素特征近似阈值,则确定所述目标对象展示区域中的所述目标对象发生切换,以提取所述第二目标对象图像N作为所述补充特征信息。
在一种可能的设计中,在所述确定所述目标对象展示区域中的所述目标对象发生切换之后,包括:
所述服务端将所述目标对象在目标对象显示列表中的次序从首位变更为次首位,并将所述目标对象在所述目标对象显示列表中所对应的价格信息变更为预设字符;
所述服务端将变更后的目标对象显示列表下发至所述第二目标播放终端,以在所述第二目标播放终端上显示变更后的目标对象显示列表。
在一种可能的设计中,所述服务端通过第一预设信息提取模型提取所述直播场景视频中的关键特征信息,包括:
获取当前时段下基于所述直播场景视频中语音信息,并通过语音识别将所述语音信息转化为文字信息;
获取当前时段起始时刻下所述显示屏中所展示的第一信息页面K以及终止时刻下所述显示屏中所展示的第二信息页面P;
根据公式5确定所述第一信息页面K与所述第二信息页面P之间的像素特征差异指数TR(K,P),所述公式5为:
,
其中,所述第一信息页面K与所述第二信息页面P的像素点个数均为,/>为所述第一信息页面K中第i个像素点的第一颜色通道特征值,/>为所述第二信息页面P中第i个像素点的第一颜色通道特征值,/>为所述第一信息页面K中第i个像素点的第二颜色通道特征值,/>为所述第二信息页面P中第i个像素点的第二颜色通道特征值,/>为所述第一信息页面K中第i个像素点的第三颜色通道特征值,/>为所述第二信息页面P中第i个像素点的第三颜色通道特征值;
若所述像素特征差异指数TR(K,P)大于预设像素特征差异阈值,则确定所述显示屏中展示的信息页面发生切换,以提取所述第二信息页面P作为所述当前信息页面。
在一种可能的设计中,在所述服务端将所述关键特征信息发送至第一目标播放终端之前,还包括:
根据所述关键特征信息生成待显示布局页面,所述待显示布局页面包括第一显示区域以及第二显示区域,所述第一显示区域用于显示所述当前信息页面,所述第一显示区域用于显示所述文字信息;
将所述第一显示区域均分为h个图形区域,以生成图形区域集合H,其中,,其中,/>为所述图形区域集合H中第h个图形区域;
对图形区域集合H中的各个图形区域进行离散余弦变换,并确定对应的离散余弦变换系数C;
根据公式6确定所述第一显示区域对应的细节特征参数F,所述公式6为:
,
其中,为所述图形区域集合H中第i个图形区域所对应的离散余弦变换系数;
若所述细节特征参数F大于预设细节特征阈值,则在目标图形区域内嵌入预设数字水印,其中,目标图像区域为所述图形区域集合H中所述离散余弦变换系数最大的图形区域。
在一种可能的设计中,在所述服务端将所述关键特征信息发送至第一目标播放终端之前,还包括:
若所述第一目标播放终端确定所述网络延迟时长从第一网络延迟时长转变为第二网络延迟时长时,所述第一目标播放终端向所述服务端发起直播模式切换请求,以使所述服务端响应于所述直播模式切换请求将发送至所述第一目标播放终端的数据切换为所述关键特征信息,其中,所述第一网络延迟时长小于或等于所述第一预设时长阈值,所述第二网络延迟时长大于所述第一预设时长阈值。
第二方面,本申请提供一种高延时网络状态下的直播信息展示系统,包括:采集终端、服务端以及播放终端集合;
通过所述采集终端上的摄像头获取直播场景视频,并通过网络设备将所述直播场景视频传输至所述服务端,所述直播场景视频中的各帧图像包括目标对象展示区域以及显示屏所显示的画面展示区域,所述显示屏用于显示目标对象序列,所述目标对象序列包括所述目标对象对应的多个信息页面所组成的图像序列;
所述服务端通过第一预设信息提取模型提取所述直播场景视频中的关键特征信息,所述关键特征信息包括当前时段下在所述显示屏中所展示的当前信息页面以及当前时段下基于所述直播场景视频中语音信息所转化的文字信息,其中,所述第一预设信息提取模型对所述当前信息页面进行提取的触发条件为检测到所述显示屏中展示的信息页面发生切换;
所述服务端将所述关键特征信息发送至第一目标播放终端,以在所述第一目标播放终端中对所述关键特征信息进行显示,其中,所述第一目标播放终端为所述播放终端集合中网络延迟时长大于第一预设时长阈值的播放终端。
在一种可能的设计中,所述服务端通过第二预设信息提取模型提取当前时段下所述直播场景视频中所述目标对象展示区域对应的补充特征信息,所述第二预设信息提取模型对所述目标对象展示区域进行对应的图像信息进行提取的触发条件为检测到所述目标对象展示区域中的所述目标对象发生切换;
所述服务端将所述补充特征信息发送至第二目标播放终端,以在所述第二目标播放终端中对所述关键特征信息以及所述补充特征信息进行显示,其中,所述第二目标播放终端为网络延迟时长小于或等于所述第一预设时长阈值且大于第二预设时长阈值的播放终端,所述第一预设时长阈值大于所述第二预设时长阈值。
在一种可能的设计中,所述服务端,具体用于:
获取当前时段起始时刻下所述目标对象展示区域对应的第一目标对象图像M以及终止时刻下所述目标对象展示区域对应的第二目标对象图像N;
根据公式1确定所述第一目标对象图像M与所述第二目标对象图像N之间的像素特征近似指数SR(M,N),所述公式1为:
,
其中,为所述第一目标对象图像M与所述第二目标对象图像N之间的像素亮度近似指数;/>为所述第一目标对象图像M与所述第二目标对象图像N之间的像素对比度近似指数;/>为所述第一目标对象图像M与所述第二目标对象图像N之间的像素结构分布近似指数;/>为大于或等于1的第一常数,/>的取值大小与所述第一目标对象图像M的像素点平均亮度成正比;/>为大于或等于1的第二常数,/>的取值大小与所述第一目标对象图像M的像素点平均对比度成正比;/>为大于或等于1的第三常数,/>的取值大小与所述目标对象在所述第一目标对象图像M中的面积占比成正比;
根据公式2确定所述像素亮度近似指数,所述公式2为:
,
其中,为所述第一目标对象图像M的像素点平均亮度,/>为所述第二目标对象图像N的像素点平均亮度,/>为大于0的第四常数;
根据公式3确定所述像素对比度近似指数,所述公式3为:
,
其中,为所述第一目标对象图像M的像素点平均对比度,/>为所述第二目标对象图像N的像素点平均对比度,/>为大于0的第五常数;
根据公式4确定所述像素结构分布近似指数,所述公式4为:
,
其中,为所述目标对象在所述第一目标对象图像M中的面积占比,/>为所述目标对象在所述第二目标对象图像N中的面积占比,/>为大于0的第六常数;
若所述像素特征近似指数SR(M,N)小于预设像素特征近似阈值,则确定所述目标对象展示区域中的所述目标对象发生切换,以提取所述第二目标对象图像N作为所述补充特征信息。
在一种可能的设计中,所述服务端将所述目标对象在目标对象显示列表中的次序从首位变更为次首位,并将所述目标对象在所述目标对象显示列表中所对应的价格信息变更为预设字符;
所述服务端将变更后的目标对象显示列表下发至所述第二目标播放终端,以在所述第二目标播放终端上显示变更后的目标对象显示列表。
在一种可能的设计中,所述服务端,具体用于:
获取当前时段下基于所述直播场景视频中语音信息,并通过语音识别将所述语音信息转化为文字信息;
获取当前时段起始时刻下所述显示屏中所展示的第一信息页面K以及终止时刻下所述显示屏中所展示的第二信息页面P;
根据公式5确定所述第一信息页面K与所述第二信息页面P之间的像素特征差异指数TR(K,P),所述公式5为:
,
其中,所述第一信息页面K与所述第二信息页面P的像素点个数均为,/>为所述第一信息页面K中第i个像素点的第一颜色通道特征值,/>为所述第二信息页面P中第i个像素点的第一颜色通道特征值,/>为所述第一信息页面K中第i个像素点的第二颜色通道特征值,/>为所述第二信息页面P中第i个像素点的第二颜色通道特征值,/>为所述第一信息页面K中第i个像素点的第三颜色通道特征值,/>为所述第二信息页面P中第i个像素点的第三颜色通道特征值;
若所述像素特征差异指数TR(K,P)大于预设像素特征差异阈值,则确定所述显示屏中展示的信息页面发生切换,以提取所述第二信息页面P作为所述当前信息页面。
在一种可能的设计中,所述服务端,具体用于:
根据所述关键特征信息生成待显示布局页面,所述待显示布局页面包括第一显示区域以及第二显示区域,所述第一显示区域用于显示所述当前信息页面,所述第一显示区域用于显示所述文字信息;
将所述第一显示区域均分为h个图形区域,以生成图形区域集合H,其中,,其中,/>为所述图形区域集合H中第h个图形区域;
对图形区域集合H中的各个图形区域进行离散余弦变换,并确定对应的离散余弦变换系数C;
根据公式6确定所述第一显示区域对应的细节特征参数F,所述公式6为:
,
其中,为所述图形区域集合H中第i个图形区域所对应的离散余弦变换系数;
若所述细节特征参数F大于预设细节特征阈值,则在目标图形区域内嵌入预设数字水印,其中,目标图像区域为所述图形区域集合H中所述离散余弦变换系数最大的图形区域。
在一种可能的设计中,若所述第一目标播放终端确定所述网络延迟时长从第一网络延迟时长转变为第二网络延迟时长时,所述第一目标播放终端向所述服务端发起直播模式切换请求,以使所述服务端响应于所述直播模式切换请求将发送至所述第一目标播放终端的数据切换为所述关键特征信息,其中,所述第一网络延迟时长小于或等于所述第一预设时长阈值,所述第二网络延迟时长大于所述第一预设时长阈值。
第三方面,本申请提供一种电子设备,包括:
处理器;以及,
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行第一方面中所述的任一种可能的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面中所述的任一种可能的方法。
本申请提供的高延时网络状态下的直播信息展示方法及系统,通过采集终端上的摄像头获取直播场景视频,并通过网络设备将直播场景视频传输至服务端,然后,服务端通过第一预设信息提取模型提取直播场景视频中的关键特征信息,并将关键特征信息发送至第一目标播放终端,以在第一目标播放终端中对关键特征信息进行显示,从而实现了在高延时网络状态下的直播信息的有效展示。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例实施例示出的高延时网络状态下的直播信息展示方法的流程示意图;
图2是本申请根据另一示例实施例示出的高延时网络状态下的直播信息展示方法的流程示意图;
图3是本申请根据一示例实施例示出的高延时网络状态下的直播信息展示系统的结构示意图;
图4是本申请根据一示例实施例示出的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是本申请根据一示例实施例示出的高延时网络状态下的直播信息展示方法的流程示意图。如图1所示,本实施例提供的方法,包括:
S101、通过采集终端上的摄像头获取直播场景视频,并通过网络设备将直播场景视频传输至服务端。
在本步骤中,可以通过采集终端上的摄像头获取直播场景视频,并通过网络设备将直播场景视频传输至服务端,其中,直播场景视频中的各帧图像包括目标对象展示区域以及显示屏所显示的画面展示区域,显示屏用于显示目标对象序列,目标对象序列包括目标对象对应的多个信息页面所组成的图像序列,目标对象展示区域用于展示目标对象。需要理解的,上述的目标对象展示区域可以是对于直播中展示对象的拍摄区域,例如,如果是应用于商品销售直播,则对应的目标对象展示区域可以是商品展示台,如果是应用于体育解说直播,则对应的目标对象展示区域可以是球场。此外,上述的显示屏所显示的画面展示区域可以是对于直播展示对象的信息展示区域,例如,如果是应用于商品销售直播,则对应的可以是商品信息介绍页面(可以是,用于介绍商品的幻灯片),如果是应用于体育解说直播,则对应的可以是球员信息介绍页面(可以是,用于介绍球员的幻灯片)。
S102、服务端通过第一预设信息提取模型提取直播场景视频中的关键特征信息。
在本步骤中,服务端可以通过第一预设信息提取模型提取直播场景视频中的关键特征信息,关键特征信息包括当前时段下在显示屏中所展示的当前信息页面以及当前时段下基于直播场景视频中语音信息所转化的文字信息,其中,第一预设信息提取模型对当前信息页面进行提取的触发条件为检测到显示屏中展示的信息页面发生切换,例如,可以是在检测到显示屏中商品信息介绍页面发生切换后,对当前信息页面进行提取,既检测到从上一页的信息页面切换到当前信息页面时,可以触发对当前信息页面进行提取。
具体的,对于上述服务端通过第一预设信息提取模型提取直播场景视频中的关键特征信息,可以包括:
获取当前时段下基于直播场景视频中语音信息,并通过语音识别将语音信息转化为文字信息;获取当前时段起始时刻下显示屏中所展示的第一信息页面K以及终止时刻下显示屏中所展示的第二信息页面P;根据公式5确定第一信息页面K与第二信息页面P之间的像素特征差异指数TR(K,P),公式5为:
,
其中,第一信息页面K与第二信息页面P的像素点个数均为,/>为第一信息页面K中第i个像素点的第一颜色通道特征值,/>为第二信息页面P中第i个像素点的第一颜色通道特征值,/>为第一信息页面K中第i个像素点的第二颜色通道特征值,/>为第二信息页面P中第i个像素点的第二颜色通道特征值,/>为第一信息页面K中第i个像素点的第三颜色通道特征值,/>为第二信息页面P中第i个像素点的第三颜色通道特征值;
若像素特征差异指数TR(K,P)大于预设像素特征差异阈值,则确定显示屏中展示的信息页面发生切换,以提取第二信息页面P作为当前信息页面。
在提取到关键特征信息后,可以根据关键特征信息生成待显示布局页面,待显示布局页面包括第一显示区域以及第二显示区域,第一显示区域用于显示当前信息页面,第一显示区域用于显示文字信息;
将第一显示区域均分为h个图形区域,以生成图形区域集合H,其中,,其中,/>为图形区域集合H中第h个图形区域;
对图形区域集合H中的各个图形区域进行离散余弦变换,并确定对应的离散余弦变换系数C;
根据公式6确定第一显示区域对应的细节特征参数F,公式6为:
,
其中,为图形区域集合H中第i个图形区域所对应的离散余弦变换系数;
若细节特征参数F大于预设细节特征阈值,则在目标图形区域内嵌入预设数字水印,其中,目标图像区域为图形区域集合H中离散余弦变换系数最大的图形区域。可见,通过第一显示区域中的离散余弦变换系数最大的图形区域插入数字水印,既保证了对于直播中信息展示的保护性,还避免数字水印对于直播画面的像素特征造成过大的影响。此外,通过计算上述第一显示区域对应的细节特征参数F的确定,仅在细节特征参数F大于预设细节特征阈值的待显示布局页面插入数字水印,而并非是在所有页面中都插入水印,既可以保证对于直播中信息展示的保护性,还避免了数据计算量过大而导致的直播卡顿。此外,更为重要的是,本方法是适用于高延时网络状态下的直播,因此,仅在细节特征参数F大于预设细节特征阈值的待显示布局页面插入数字水印,还可以减小传输至播放终端的数据量,进而保证了在高延时网络状态下的直播质量。
此外,若第一目标播放终端确定网络延迟时长从第一网络延迟时长转变为第二网络延迟时长时,则第一目标播放终端向服务端发起直播模式切换请求,以使服务端响应于直播模式切换请求将发送至第一目标播放终端的数据切换为关键特征信息,其中,第一网络延迟时长小于或等于第一预设时长阈值,第二网络延迟时长大于第一预设时长阈值。
S103、服务端将关键特征信息发送至第一目标播放终端,以在第一目标播放终端中对关键特征信息进行显示。
在本步骤中,服务端将关键特征信息发送至第一目标播放终端,以在第一目标播放终端中对关键特征信息进行显示,其中,第一目标播放终端为网络延迟时长大于第一预设时长阈值的播放终端。
在本实施例中,通过采集终端上的摄像头获取直播场景视频,并通过网络设备将直播场景视频传输至服务端,然后,服务端通过第一预设信息提取模型提取直播场景视频中的关键特征信息,并将关键特征信息发送至第一目标播放终端,以在第一目标播放终端中对关键特征信息进行显示,从而实现了在高延时网络状态下的直播信息的有效展示。
图2是本申请根据另一示例实施例示出的高延时网络状态下的直播信息展示方法的流程示意图。如图2所示,本实施例提供的方法,包括:
S201、通过采集终端上的摄像头获取直播场景视频,并通过网络设备将直播场景视频传输至服务端。
在本步骤中,可以通过采集终端上的摄像头获取直播场景视频,并通过网络设备将直播场景视频传输至服务端,其中,直播场景视频中的各帧图像包括目标对象展示区域以及显示屏所显示的画面展示区域,显示屏用于显示目标对象序列,目标对象序列包括目标对象对应的多个信息页面所组成的图像序列,目标对象展示区域用于展示目标对象。需要理解的,上述的目标对象展示区域可以是对于直播中展示对象的拍摄区域,例如,如果是应用于商品销售直播,则对应的目标对象展示区域可以是商品展示台,如果是应用于体育解说直播,则对应的目标对象展示区域可以是球场。此外,上述的显示屏所显示的画面展示区域可以是对于直播展示对象的信息展示区域,例如,如果是应用于商品销售直播,则对应的可以是商品信息介绍页面(可以是,用于介绍商品的幻灯片),如果是应用于体育解说直播,则对应的可以是球员信息介绍页面(可以是,用于介绍球员的幻灯片)。
S202、服务端通过第一预设信息提取模型提取直播场景视频中的关键特征信息。
在本步骤中,服务端可以通过第一预设信息提取模型提取直播场景视频中的关键特征信息,关键特征信息包括当前时段下在显示屏中所展示的当前信息页面以及当前时段下基于直播场景视频中语音信息所转化的文字信息,其中,第一预设信息提取模型对当前信息页面进行提取的触发条件为检测到显示屏中展示的信息页面发生切换,例如,可以是在检测到显示屏中商品信息介绍页面发生切换后,对当前信息页面进行提取,既检测到从上一页的信息页面切换到当前信息页面时,可以触发对当前信息页面进行提取。
具体的,对于上述服务端通过第一预设信息提取模型提取直播场景视频中的关键特征信息,可以包括:
获取当前时段下基于直播场景视频中语音信息,并通过语音识别将语音信息转化为文字信息;获取当前时段起始时刻下显示屏中所展示的第一信息页面K以及终止时刻下显示屏中所展示的第二信息页面P;根据公式5确定第一信息页面K与第二信息页面P之间的像素特征差异指数TR(K,P),公式5为:
,
其中,第一信息页面K与第二信息页面P的像素点个数均为,/>为第一信息页面K中第i个像素点的第一颜色通道特征值,/>为第二信息页面P中第i个像素点的第一颜色通道特征值,/>为第一信息页面K中第i个像素点的第二颜色通道特征值,/>为第二信息页面P中第i个像素点的第二颜色通道特征值,/>为第一信息页面K中第i个像素点的第三颜色通道特征值,/>为第二信息页面P中第i个像素点的第三颜色通道特征值;
若像素特征差异指数TR(K,P)大于预设像素特征差异阈值,则确定显示屏中展示的信息页面发生切换,以提取第二信息页面P作为当前信息页面。
在提取到关键特征信息后,可以根据关键特征信息生成待显示布局页面,待显示布局页面包括第一显示区域以及第二显示区域,第一显示区域用于显示当前信息页面,第一显示区域用于显示文字信息;
将第一显示区域均分为h个图形区域,以生成图形区域集合H,其中,,其中,/>为图形区域集合H中第h个图形区域;
对图形区域集合H中的各个图形区域进行离散余弦变换,并确定对应的离散余弦变换系数C;
根据公式6确定第一显示区域对应的细节特征参数F,公式6为:
,
其中,为图形区域集合H中第i个图形区域所对应的离散余弦变换系数;
若细节特征参数F大于预设细节特征阈值,则在目标图形区域内嵌入预设数字水印,其中,目标图像区域为图形区域集合H中离散余弦变换系数最大的图形区域。可见,通过第一显示区域中的离散余弦变换系数最大的图形区域插入数字水印,既保证了对于直播中信息展示的保护性,还避免数字水印对于直播画面的像素特征造成过大的影响。此外,通过计算上述第一显示区域对应的细节特征参数F的确定,仅在细节特征参数F大于预设细节特征阈值的待显示布局页面插入数字水印,而并非是在所有页面中都插入水印,既可以保证对于直播中信息展示的保护性,还避免了数据计算量过大而导致的直播卡顿。此外,更为重要的是,本方法是适用于高延时网络状态下的直播,因此,仅在细节特征参数F大于预设细节特征阈值的待显示布局页面插入数字水印,还可以减小传输至播放终端的数据量,进而保证了在高延时网络状态下的直播质量。
此外,若第一目标播放终端确定网络延迟时长从第一网络延迟时长转变为第二网络延迟时长时,则第一目标播放终端向服务端发起直播模式切换请求,以使服务端响应于直播模式切换请求将发送至第一目标播放终端的数据切换为关键特征信息,其中,第一网络延迟时长小于或等于第一预设时长阈值,第二网络延迟时长大于第一预设时长阈值。
S203、服务端通过第二预设信息提取模型提取当前时段下直播场景视频中目标对象展示区域对应的补充特征信息。
在本步骤中,服务端通过第二预设信息提取模型提取当前时段下直播场景视频中目标对象展示区域对应的补充特征信息,第二预设信息提取模型对目标对象展示区域进对应的图像信息进行提取的触发条件为检测到目标对象展示区域中的目标对象发生切换。
具体的,可以是获取当前时段起始时刻下目标对象展示区域对应的第一目标对象图像M以及终止时刻下目标对象展示区域对应的第二目标对象图像N;根据公式1确定第一目标对象图像M与第二目标对象图像N之间的像素特征近似指数SR(M,N),公式1为:
,
其中,为第一目标对象图像M与第二目标对象图像N之间的像素亮度近似指数;/>为第一目标对象图像M与第二目标对象图像N之间的像素对比度近似指数;/>为第一目标对象图像M与第二目标对象图像N之间的像素结构分布近似指数;/>为大于或等于1的第一常数,/>的取值大小与第一目标对象图像M的像素点平均亮度成正比;/>为大于或等于1的第二常数,/>的取值大小与第一目标对象图像M的像素点平均对比度成正比;/>为大于或等于1的第三常数,/>的取值大小与目标对象在第一目标对象图像M中的面积占比成正比;
根据公式2确定像素亮度近似指数,公式2为:
,
其中,为第一目标对象图像M的像素点平均亮度,/>为第二目标对象图像N的像素点平均亮度,/>为大于0的第四常数;
根据公式3确定像素对比度近似指数,公式3为:
其中,为第一目标对象图像M的像素点平均对比度,/>为第二目标对象图像N的像素点平均对比度,/>为大于0的第五常数;
根据公式4确定像素结构分布近似指数,公式4为:
,
其中,为目标对象在第一目标对象图像M中的面积占比,/>为目标对象在第二目标对象图像N中的面积占比,/>为大于0的第六常数;
若像素特征近似指数SR(M,N)小于预设像素特征近似阈值,则确定目标对象展示区域中的目标对象发生切换,以提取第二目标对象图像N作为补充特征信息。
此外,在确定目标对象展示区域中的目标对象发生切换之后,还可以包括:服务端将目标对象在目标对象显示列表中的次序从首位变更为次首位,并将目标对象在目标对象显示列表中所对应的价格信息变更为预设字符;服务端将变更后的目标对象显示列表下发至第二目标播放终端,以在第二目标播放终端上显示变更后的目标对象显示列表。值得说明的,若本方法应用于商品销售直播,则在现有的直播模式中,通常是直播与导播进行配合,导播配合主播对于商品的展示以及语言指示,对商品展示列表中的顺序进行调整,例如,可以将结束讲解的商品调整至非首位位置,而当对于没有导播的直播场景,本方法即可实现在确定目标对象展示区域中的目标对象发生切换之后,自动地将结束讲解的商品调整至商品展示列表中的非首位位置,并且对其价格信息进行隐藏。
S204、服务端将补充特征信息发送至第二目标播放终端,以在第二目标播放终端中对关键特征信息以及补充特征信息进行显示。
在本步骤中,服务端将补充特征信息发送至第二目标播放终端,以在第二目标播放终端中对关键特征信息以及补充特征信息进行显示,其中,第二目标播放终端为网络延迟时长小于或等于第一预设时长阈值且大于第二预设时长阈值的播放终端,第一预设时长阈值大于第二预设时长阈值。
图3是本申请根据一示例实施例示出的高延时网络状态下的直播信息展示系统的结构示意图。如图3所示,本实施例提供的高延时网络状态下的直播信息展示系统300,包括:
高延时网络状态下的直播信息展示系统,包括:采集终端310、服务端320以及播放终端集合330;
通过所述采集终端310上的摄像头获取直播场景视频,并通过网络设备将所述直播场景视频传输至所述服务端320,所述直播场景视频中的各帧图像包括目标对象展示区域以及显示屏所显示的画面展示区域,所述显示屏用于显示目标对象序列,所述目标对象序列包括所述目标对象对应的多个信息页面所组成的图像序列;
所述服务端320通过第一预设信息提取模型提取所述直播场景视频中的关键特征信息,所述关键特征信息包括当前时段下在所述显示屏中所展示的当前信息页面以及当前时段下基于所述直播场景视频中语音信息所转化的文字信息,其中,所述第一预设信息提取模型对所述当前信息页面进行提取的触发条件为检测到所述显示屏中展示的信息页面发生切换;
所述服务端320将所述关键特征信息发送至第一目标播放终端,以在所述第一目标播放终端中对所述关键特征信息进行显示,其中,所述第一目标播放终端为所述播放终端集合330中网络延迟时长大于第一预设时长阈值的播放终端。
在一种可能的设计中,所述服务端320通过第二预设信息提取模型提取当前时段下所述直播场景视频中所述目标对象展示区域对应的补充特征信息,所述第二预设信息提取模型对所述目标对象展示区域进行对应的图像信息进行提取的触发条件为检测到所述目标对象展示区域中的所述目标对象发生切换;
所述服务端320将所述补充特征信息发送至第二目标播放终端,以在所述第二目标播放终端中对所述关键特征信息以及所述补充特征信息进行显示,其中,所述第二目标播放终端为网络延迟时长小于或等于所述第一预设时长阈值且大于第二预设时长阈值的播放终端,所述第一预设时长阈值大于所述第二预设时长阈值。
在一种可能的设计中,所述服务端320,具体用于:
获取当前时段起始时刻下所述目标对象展示区域对应的第一目标对象图像M以及终止时刻下所述目标对象展示区域对应的第二目标对象图像N;
根据公式1确定所述第一目标对象图像M与所述第二目标对象图像N之间的像素特征近似指数SR(M,N),所述公式1为:
,
其中,为所述第一目标对象图像M与所述第二目标对象图像N之间的像素亮度近似指数;/>为所述第一目标对象图像M与所述第二目标对象图像N之间的像素对比度近似指数;/>为所述第一目标对象图像M与所述第二目标对象图像N之间的像素结构分布近似指数;/>为大于或等于1的第一常数,/>的取值大小与所述第一目标对象图像M的像素点平均亮度成正比;/>为大于或等于1的第二常数,/>的取值大小与所述第一目标对象图像M的像素点平均对比度成正比;/>为大于或等于1的第三常数,/>的取值大小与所述目标对象在所述第一目标对象图像M中的面积占比成正比;
根据公式2确定所述像素亮度近似指数,所述公式2为:
,
其中,为所述第一目标对象图像M的像素点平均亮度,/>为所述第二目标对象图像N的像素点平均亮度,/>为大于0的第四常数;
根据公式3确定所述像素对比度近似指数,所述公式3为:
,
其中,为所述第一目标对象图像M的像素点平均对比度,/>为所述第二目标对象图像N的像素点平均对比度,/>为大于0的第五常数;
根据公式4确定所述像素结构分布近似指数,所述公式4为:
,
其中,为所述目标对象在所述第一目标对象图像M中的面积占比,/>为所述目标对象在所述第二目标对象图像N中的面积占比,/>为大于0的第六常数;
若所述像素特征近似指数SR(M,N)小于预设像素特征近似阈值,则确定所述目标对象展示区域中的所述目标对象发生切换,以提取所述第二目标对象图像N作为所述补充特征信息。
在一种可能的设计中,所述服务端320将所述目标对象在目标对象显示列表中的次序从首位变更为次首位,并将所述目标对象在所述目标对象显示列表中所对应的价格信息变更为预设字符;
所述服务端320将变更后的目标对象显示列表下发至所述第二目标播放终端,以在所述第二目标播放终端上显示变更后的目标对象显示列表。
在一种可能的设计中,所述服务端320,具体用于:
获取当前时段下基于所述直播场景视频中语音信息,并通过语音识别将所述语音信息转化为文字信息;
获取当前时段起始时刻下所述显示屏中所展示的第一信息页面K以及终止时刻下所述显示屏中所展示的第二信息页面P;
根据公式5确定所述第一信息页面K与所述第二信息页面P之间的像素特征差异指数TR(K,P),所述公式5为:
,
其中,所述第一信息页面K与所述第二信息页面P的像素点个数均为,/>为所述第一信息页面K中第i个像素点的第一颜色通道特征值,/>为所述第二信息页面P中第i个像素点的第一颜色通道特征值,/>为所述第一信息页面K中第i个像素点的第二颜色通道特征值,/>为所述第二信息页面P中第i个像素点的第二颜色通道特征值,/>为所述第一信息页面K中第i个像素点的第三颜色通道特征值,/>为所述第二信息页面P中第i个像素点的第三颜色通道特征值;
若所述像素特征差异指数TR(K,P)大于预设像素特征差异阈值,则确定所述显示屏中展示的信息页面发生切换,以提取所述第二信息页面P作为所述当前信息页面。
在一种可能的设计中,所述服务端320,具体用于:
根据所述关键特征信息生成待显示布局页面,所述待显示布局页面包括第一显示区域以及第二显示区域,所述第一显示区域用于显示所述当前信息页面,所述第一显示区域用于显示所述文字信息;
将所述第一显示区域均分为h个图形区域,以生成图形区域集合H,其中,,其中,/>为所述图形区域集合H中第h个图形区域;
对图形区域集合H中的各个图形区域进行离散余弦变换,并确定对应的离散余弦变换系数C;
根据公式6确定所述第一显示区域对应的细节特征参数F,所述公式6为:
,
其中,为所述图形区域集合H中第i个图形区域所对应的离散余弦变换系数;
若所述细节特征参数F大于预设细节特征阈值,则在目标图形区域内嵌入预设数字水印,其中,目标图像区域为所述图形区域集合H中所述离散余弦变换系数最大的图形区域。
在一种可能的设计中,若所述第一目标播放终端确定所述网络延迟时长从第一网络延迟时长转变为第二网络延迟时长时,所述第一目标播放终端向所述服务端320发起直播模式切换请求,以使所述服务端320响应于所述直播模式切换请求将发送至所述第一目标播放终端的数据切换为所述关键特征信息,其中,所述第一网络延迟时长小于或等于所述第一预设时长阈值,所述第二网络延迟时长大于所述第一预设时长阈值。
图4是本申请根据一示例实施例示出的电子设备的结构示意图。如图4所示,本实施例提供的一种电子设备400包括:处理器401以及存储器402;其中:
存储器402,用于存储计算机程序,该存储器还可以是flash(闪存)。
处理器401,用于执行存储器存储的执行指令,以实现上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地,存储器402既可以是独立的,也可以跟处理器401集成在一起。
当所述存储器402是独立于处理器401之外的器件时,所述电子设备400还可以包括:
总线403,用于连接所述存储器402和处理器401。
本实施例还提供一种可读存储介质,可读存储介质中存储有计算机程序,当电子设备的至少一个处理器执行该计算机程序时,电子设备执行上述的各种实施方式提供的方法。
本实施例还提供一种程序产品,该程序产品包括计算机程序,该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序,至少一个处理器执行该计算机程序使得电子设备实施上述的各种实施方式提供的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (8)
1.一种高延时网络状态下的直播信息展示方法,其特征在于,包括:
通过采集终端上的摄像头获取直播场景视频,并通过网络设备将所述直播场景视频传输至服务端,所述直播场景视频中的各帧图像包括目标对象展示区域以及显示屏所显示的画面展示区域,所述显示屏用于显示目标对象序列,所述目标对象序列包括目标对象对应的多个信息页面所组成的图像序列,所述目标对象展示区域用于展示所述目标对象;
所述服务端通过第一预设信息提取模型提取所述直播场景视频中的关键特征信息,所述关键特征信息包括当前时段下在所述显示屏中所展示的当前信息页面以及当前时段下基于所述直播场景视频中语音信息所转化的文字信息,其中,所述第一预设信息提取模型对所述当前信息页面进行提取的触发条件为检测到所述显示屏中展示的信息页面发生切换;
所述服务端将所述关键特征信息发送至第一目标播放终端,以在所述第一目标播放终端中对所述关键特征信息进行显示,其中,所述第一目标播放终端为网络延迟时长大于第一预设时长阈值的播放终端;
所述服务端通过第二预设信息提取模型提取当前时段下所述直播场景视频中所述目标对象展示区域对应的补充特征信息,所述第二预设信息提取模型对所述目标对象展示区域进行对应的图像信息进行提取的触发条件为检测到所述目标对象展示区域中的所述目标对象发生切换;
所述服务端将所述补充特征信息发送至第二目标播放终端,以在所述第二目标播放终端中对所述关键特征信息以及所述补充特征信息进行显示,其中,所述第二目标播放终端为网络延迟时长小于或等于所述第一预设时长阈值且大于第二预设时长阈值的播放终端,所述第一预设时长阈值大于所述第二预设时长阈值;
所述服务端通过第二预设信息提取模型提取当前时段下所述直播场景视频中所述目标对象展示区域对应的补充特征信息,包括:
获取当前时段起始时刻下所述目标对象展示区域对应的第一目标对象图像M以及终止时刻下所述目标对象展示区域对应的第二目标对象图像N;
根据公式1确定所述第一目标对象图像M与所述第二目标对象图像N之间的像素特征近似指数SR(M,N),所述公式1为:
,
其中,为所述第一目标对象图像M与所述第二目标对象图像N之间的像素亮度近似指数;/>为所述第一目标对象图像M与所述第二目标对象图像N之间的像素对比度近似指数;/>为所述第一目标对象图像M与所述第二目标对象图像N之间的像素结构分布近似指数;/>为大于或等于1的第一常数,/>的取值大小与所述第一目标对象图像M的像素点平均亮度成正比;/>为大于或等于1的第二常数,/>的取值大小与所述第一目标对象图像M的像素点平均对比度成正比;/>为大于或等于1的第三常数,/>的取值大小与所述目标对象在所述第一目标对象图像M中的面积占比成正比;
根据公式2确定所述像素亮度近似指数,所述公式2为:
,
其中,为所述第一目标对象图像M的像素点平均亮度,/>为所述第二目标对象图像N的像素点平均亮度,/>为大于0的第四常数;
根据公式3确定所述像素对比度近似指数,所述公式3为:
,
其中,为所述第一目标对象图像M的像素点平均对比度,/>为所述第二目标对象图像N的像素点平均对比度,/>为大于0的第五常数;
根据公式4确定所述像素结构分布近似指数,所述公式4为:
,
其中,为所述目标对象在所述第一目标对象图像M中的面积占比,/>为所述目标对象在所述第二目标对象图像N中的面积占比,/>为大于0的第六常数;
若所述像素特征近似指数SR(M,N)小于预设像素特征近似阈值,则确定所述目标对象展示区域中的所述目标对象发生切换,以提取所述第二目标对象图像N作为所述补充特征信息。
2.根据权利要求1所述的高延时网络状态下的直播信息展示方法,其特征在于,在所述确定所述目标对象展示区域中的所述目标对象发生切换之后,包括:
所述服务端将所述目标对象在目标对象显示列表中的次序从首位变更为次首位,并将所述目标对象在所述目标对象显示列表中所对应的价格信息变更为预设字符;
所述服务端将变更后的目标对象显示列表下发至所述第二目标播放终端,以在所述第二目标播放终端上显示变更后的目标对象显示列表。
3.根据权利要求1-2中任意一项所述的高延时网络状态下的直播信息展示方法,其特征在于,所述服务端通过第一预设信息提取模型提取所述直播场景视频中的关键特征信息,包括:
获取当前时段下基于所述直播场景视频中语音信息,并通过语音识别将所述语音信息转化为文字信息;
获取当前时段起始时刻下所述显示屏中所展示的第一信息页面K以及终止时刻下所述显示屏中所展示的第二信息页面P;
根据公式5确定所述第一信息页面K与所述第二信息页面P之间的像素特征差异指数TR(K,P),所述公式5为:
,
其中,所述第一信息页面K与所述第二信息页面P的像素点个数均为,/>为所述第一信息页面K中第i个像素点的第一颜色通道特征值,/>为所述第二信息页面P中第i个像素点的第一颜色通道特征值,/>为所述第一信息页面K中第i个像素点的第二颜色通道特征值,/>为所述第二信息页面P中第i个像素点的第二颜色通道特征值,/>为所述第一信息页面K中第i个像素点的第三颜色通道特征值,/>为所述第二信息页面P中第i个像素点的第三颜色通道特征值;
若所述像素特征差异指数TR(K,P)大于预设像素特征差异阈值,则确定所述显示屏中展示的信息页面发生切换,以提取所述第二信息页面P作为所述当前信息页面。
4.根据权利要求3所述的高延时网络状态下的直播信息展示方法,其特征在于,在所述服务端将所述关键特征信息发送至第一目标播放终端之前,还包括:
根据所述关键特征信息生成待显示布局页面,所述待显示布局页面包括第一显示区域以及第二显示区域,所述第一显示区域用于显示所述当前信息页面,所述第一显示区域用于显示所述文字信息;
将所述第一显示区域均分为h个图形区域,以生成图形区域集合H,其中,,其中,/>为所述图形区域集合H中第h个图形区域;
对图形区域集合H中的各个图形区域进行离散余弦变换,并确定对应的离散余弦变换系数C;
根据公式6确定所述第一显示区域对应的细节特征参数F,所述公式6为:
,
其中,为所述图形区域集合H中第i个图形区域所对应的离散余弦变换系数;
若所述细节特征参数F大于预设细节特征阈值,则在目标图形区域内嵌入预设数字水印,其中,目标图像区域为所述图形区域集合H中所述离散余弦变换系数最大的图形区域。
5.根据权利要求2所述的高延时网络状态下的直播信息展示方法,其特征在于,在所述服务端将所述关键特征信息发送至第一目标播放终端之前,还包括:
若所述第一目标播放终端确定所述网络延迟时长从第一网络延迟时长转变为第二网络延迟时长时,所述第一目标播放终端向所述服务端发起直播模式切换请求,以使所述服务端响应于所述直播模式切换请求将发送至所述第一目标播放终端的数据切换为所述关键特征信息,其中,所述第一网络延迟时长小于或等于所述第一预设时长阈值,所述第二网络延迟时长大于所述第一预设时长阈值。
6.一种高延时网络状态下的直播信息展示系统,其特征在于,包括:采集终端、服务端以及播放终端集合;
通过所述采集终端上的摄像头获取直播场景视频,并通过网络设备将所述直播场景视频传输至所述服务端,所述直播场景视频中的各帧图像包括目标对象展示区域以及显示屏所显示的画面展示区域,所述显示屏用于显示目标对象序列,所述目标对象序列包括所述目标对象对应的多个信息页面所组成的图像序列;
所述服务端通过第一预设信息提取模型提取所述直播场景视频中的关键特征信息,所述关键特征信息包括当前时段下在所述显示屏中所展示的当前信息页面以及当前时段下基于所述直播场景视频中语音信息所转化的文字信息,其中,所述第一预设信息提取模型对所述当前信息页面进行提取的触发条件为检测到所述显示屏中展示的信息页面发生切换;
所述服务端将所述关键特征信息发送至第一目标播放终端,以在所述第一目标播放终端中对所述关键特征信息进行显示,其中,所述第一目标播放终端为所述播放终端集合中网络延迟时长大于第一预设时长阈值的播放终端;
所述服务端通过第二预设信息提取模型提取当前时段下所述直播场景视频中所述目标对象展示区域对应的补充特征信息,所述第二预设信息提取模型对所述目标对象展示区域进行对应的图像信息进行提取的触发条件为检测到所述目标对象展示区域中的所述目标对象发生切换;
所述服务端将所述补充特征信息发送至第二目标播放终端,以在所述第二目标播放终端中对所述关键特征信息以及所述补充特征信息进行显示,其中,所述第二目标播放终端为网络延迟时长小于或等于所述第一预设时长阈值且大于第二预设时长阈值的播放终端,所述第一预设时长阈值大于所述第二预设时长阈值;
所述服务端通过第二预设信息提取模型提取当前时段下所述直播场景视频中所述目标对象展示区域对应的补充特征信息,包括:
获取当前时段起始时刻下所述目标对象展示区域对应的第一目标对象图像M以及终止时刻下所述目标对象展示区域对应的第二目标对象图像N;
根据公式1确定所述第一目标对象图像M与所述第二目标对象图像N之间的像素特征近似指数SR(M,N),所述公式1为:
,
其中,为所述第一目标对象图像M与所述第二目标对象图像N之间的像素亮度近似指数;/>为所述第一目标对象图像M与所述第二目标对象图像N之间的像素对比度近似指数;/>为所述第一目标对象图像M与所述第二目标对象图像N之间的像素结构分布近似指数;/>为大于或等于1的第一常数,/>的取值大小与所述第一目标对象图像M的像素点平均亮度成正比;/>为大于或等于1的第二常数,/>的取值大小与所述第一目标对象图像M的像素点平均对比度成正比;/>为大于或等于1的第三常数,/>的取值大小与所述目标对象在所述第一目标对象图像M中的面积占比成正比;
根据公式2确定所述像素亮度近似指数,所述公式2为:
,
其中,为所述第一目标对象图像M的像素点平均亮度,/>为所述第二目标对象图像N的像素点平均亮度,/>为大于0的第四常数;
根据公式3确定所述像素对比度近似指数,所述公式3为:
,
其中,为所述第一目标对象图像M的像素点平均对比度,/>为所述第二目标对象图像N的像素点平均对比度,/>为大于0的第五常数;
根据公式4确定所述像素结构分布近似指数,所述公式4为:
,
其中,为所述目标对象在所述第一目标对象图像M中的面积占比,/>为所述目标对象在所述第二目标对象图像N中的面积占比,/>为大于0的第六常数;
若所述像素特征近似指数SR(M,N)小于预设像素特征近似阈值,则确定所述目标对象展示区域中的所述目标对象发生切换,以提取所述第二目标对象图像N作为所述补充特征信息。
7.一种电子设备,其特征在于,包括:
处理器;以及,
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310733883.6A CN116456124B (zh) | 2023-06-20 | 2023-06-20 | 高延时网络状态下的直播信息展示方法、系统及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310733883.6A CN116456124B (zh) | 2023-06-20 | 2023-06-20 | 高延时网络状态下的直播信息展示方法、系统及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116456124A CN116456124A (zh) | 2023-07-18 |
CN116456124B true CN116456124B (zh) | 2023-08-22 |
Family
ID=87132499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310733883.6A Active CN116456124B (zh) | 2023-06-20 | 2023-06-20 | 高延时网络状态下的直播信息展示方法、系统及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116456124B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201706848D0 (en) * | 2017-04-28 | 2017-06-14 | Forbidden Tech Plc | Ftl uk |
CN109640151A (zh) * | 2018-11-27 | 2019-04-16 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备以及存储介质 |
KR20190054619A (ko) * | 2017-11-14 | 2019-05-22 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법과 기록매체 |
CN110087142A (zh) * | 2019-04-16 | 2019-08-02 | 咪咕文化科技有限公司 | 一种视频切片方法、终端及存储介质 |
CN111131852A (zh) * | 2019-12-31 | 2020-05-08 | 歌尔科技有限公司 | 视频直播方法、系统及计算机可读存储介质 |
CN112637613A (zh) * | 2020-11-16 | 2021-04-09 | 深圳市声扬科技有限公司 | 直播音频处理方法、装置、计算机设备和存储介质 |
JP2021525471A (ja) * | 2018-05-28 | 2021-09-24 | アリババ グループ ホウルディング リミテッド | ネットワークライブブロードキャスト方法及びデバイス、端末並びにサーバ |
WO2022016915A1 (zh) * | 2020-07-20 | 2022-01-27 | 广州华多网络科技有限公司 | 广告信息定位、展示方法及其相应的装置、设备、介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8606601B2 (en) * | 2010-01-12 | 2013-12-10 | Michael Shen | Apparatus and method of automated information extraction and implementation through large scale networks |
US10616624B2 (en) * | 2017-03-01 | 2020-04-07 | Rhinobird Inc. | Multi-angle video synchronization and multi-angle video interface |
-
2023
- 2023-06-20 CN CN202310733883.6A patent/CN116456124B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201706848D0 (en) * | 2017-04-28 | 2017-06-14 | Forbidden Tech Plc | Ftl uk |
KR20190054619A (ko) * | 2017-11-14 | 2019-05-22 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법과 기록매체 |
JP2021525471A (ja) * | 2018-05-28 | 2021-09-24 | アリババ グループ ホウルディング リミテッド | ネットワークライブブロードキャスト方法及びデバイス、端末並びにサーバ |
CN109640151A (zh) * | 2018-11-27 | 2019-04-16 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备以及存储介质 |
CN110087142A (zh) * | 2019-04-16 | 2019-08-02 | 咪咕文化科技有限公司 | 一种视频切片方法、终端及存储介质 |
CN111131852A (zh) * | 2019-12-31 | 2020-05-08 | 歌尔科技有限公司 | 视频直播方法、系统及计算机可读存储介质 |
WO2022016915A1 (zh) * | 2020-07-20 | 2022-01-27 | 广州华多网络科技有限公司 | 广告信息定位、展示方法及其相应的装置、设备、介质 |
CN112637613A (zh) * | 2020-11-16 | 2021-04-09 | 深圳市声扬科技有限公司 | 直播音频处理方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116456124A (zh) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9628837B2 (en) | Systems and methods for providing synchronized content | |
CN110971929B (zh) | 云游戏视频处理方法、电子设备及存储介质 | |
CN107534796B (zh) | 视频处理系统和数字视频分发系统 | |
US20160261929A1 (en) | Broadcast receiving apparatus and method and controller for providing summary content service | |
JP5492087B2 (ja) | コンテンツベースの画像調整 | |
CN108419141B (zh) | 一种字幕位置调整的方法、装置、存储介质及电子设备 | |
US8411959B2 (en) | Extraction method of an interest region for multimedia mobile users | |
US11910036B2 (en) | Systems and methods for targeted advertisement insertion into a program content stream | |
CN106210841A (zh) | 一种视频同步播放方法、装置 | |
US8798437B2 (en) | Moving image processing apparatus, computer-readable medium storing thumbnail image generation program, and thumbnail image generation method | |
WO2017084306A1 (zh) | 一种在移动设备浏览器中视频播放关键信息的方法及装置 | |
WO2019192416A1 (zh) | 视频处理方法及其装置、存储介质、电子产品 | |
US9681182B2 (en) | Real-time transmission of dynamic range tags in a video broadcast | |
CN111182359A (zh) | 视频预览方法、视频抽帧方法、视频处理装置及存储介质 | |
US11386548B2 (en) | Method, apparatus and computer program product for storing images of a scene | |
TW200922339A (en) | Method of identifying target synchronization point pair through scan-line image matching scheme | |
CN116456124B (zh) | 高延时网络状态下的直播信息展示方法、系统及电子设备 | |
US9491447B2 (en) | System for providing complex-dimensional content service using complex 2D-3D content file, method for providing said service, and complex-dimensional content file therefor | |
CN112135159A (zh) | 公屏演播方法、装置、智能终端及储存介质 | |
WO2016161899A1 (zh) | 一种多媒体信息处理方法、设备及计算机存储介质 | |
CN110198457B (zh) | 视频播放方法及其设备、系统、存储介质、终端、服务器 | |
US20180255264A1 (en) | Electronic apparatus for playing substitutional advertisement and controlling method thereof | |
KR101540613B1 (ko) | 가상 광고 영상 선택 장치 및 방법 | |
CN109903214B (zh) | 一种智能确定可见水印嵌入位置的方法及系统 | |
KR20210033759A (ko) | Ai 기반 영상 자동 추적 및 재생장치와 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |