CN115623245A - 视频直播中的图像处理方法、装置及计算机设备 - Google Patents

视频直播中的图像处理方法、装置及计算机设备 Download PDF

Info

Publication number
CN115623245A
CN115623245A CN202211630452.9A CN202211630452A CN115623245A CN 115623245 A CN115623245 A CN 115623245A CN 202211630452 A CN202211630452 A CN 202211630452A CN 115623245 A CN115623245 A CN 115623245A
Authority
CN
China
Prior art keywords
image
video
current
live broadcast
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211630452.9A
Other languages
English (en)
Other versions
CN115623245B (zh
Inventor
高伟哲
吴碧珊
孟德一
傅奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tanmu Information Technology Shenzhen Co ltd
Original Assignee
Tanmu Information Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tanmu Information Technology Shenzhen Co ltd filed Critical Tanmu Information Technology Shenzhen Co ltd
Priority to CN202211630452.9A priority Critical patent/CN115623245B/zh
Publication of CN115623245A publication Critical patent/CN115623245A/zh
Application granted granted Critical
Publication of CN115623245B publication Critical patent/CN115623245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及视频直播技术领域，提供了一种视频直播中的图像处理方法、装置及计算机设备，包括：获取当前视频直播界面中的视频图像；判断视频图像是否为即时采集的视频图像；若是，则在视频直播界面中创建多个栅格，获取到视频图像在每个栅格中的栅格图像；提取每个栅格图像的关键图像特征，并计算关键图像特征对应的图像在栅格图像中的占比；根据每个栅格图像中关键图像特征对应的图像在栅格图像中的占比，确定出关键图像特征对应的图像占比最低的栅格图像，作为目标栅格图像；将目标栅格图像所在的栅格作为目标栅格，并在目标栅格中融合视频图像的当前热度信息。本发明可以在视频直播界面的合理位置展示直播视频的当前热度信息。

Description

视频直播中的图像处理方法、装置及计算机设备
技术领域
本发明涉及视频直播技术领域，特别涉及一种视频直播中的图像处理方法、装置及计算机设备。
背景技术
目前视频直播是互联网中各大视频平台广泛存在的一种视频交流模式，在视频直播过程中，直播用户可以与观看用户进行交流；直播用户可以提供丰富的直播内容吸引观看用户，为此可以给平台带来极大的流量，促进平台发展。而在目前的视频直播中，部分播主为了博取流量，视频直播过程中采用录播的形式播放视频，对观看用户造成观看困扰；同时，目前视频直播过程中，也无法在界面中的合理位置展示出当前直播视频的热度，直播用户以及观看用户都无法直观知晓目前直播的热度，不能享受到更精彩的直播体验。
发明内容
本发明的主要目的为提供一种视频直播中的图像处理方法、装置及计算机设备，旨在克服无法在视频直播界面的合理位置展示直播视频热度的缺陷。
为实现上述目的，本发明提供了一种视频直播中的图像处理方法，包括以下步骤：
获取当前视频直播界面中的视频图像；
判断所述视频图像是否为即时采集的视频图像；
若是，则在所述视频直播界面中创建多个栅格，获取到所述视频图像在每个栅格中的栅格图像；
提取每个栅格图像的关键图像特征，并计算所述关键图像特征对应的图像在所述栅格图像中的占比；
根据每个栅格图像中关键图像特征对应的图像在所述栅格图像中的占比，确定出关键图像特征对应的图像占比最低的栅格图像，作为目标栅格图像；
将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息。
进一步地，所述在所述目标栅格中融合所述视频图像的当前热度信息的步骤，包括：
获取当前视频直播中当前的观看人数以及点赞数量；
获取当前视频直播的持续时间；
获取当前视频直播中当前观看用户的评论频率；
根据所述当前的观看人数、点赞数量、持续时间以及当前观看用户的评论频率，计算所述当前视频直播中视频图像的当前热度信息；
获取当前视频直播界面中的视频直播类型，并根据所述视频直播类型在数据库中确定对应的热度显示模板；其中，所述数据库中存储有视频直播类型与热度显示模板的对应关系；
将所述当前热度信息填充至所述热度显示模板中，得到热度图像，将所述热度图像融合至所述目标栅格中。
进一步地，所述根据所述当前的观看人数、点赞数量、持续时间以及当前观看用户的评论频率，计算所述当前视频直播中视频图像的当前热度信息的计算公式如下：
Figure 683390DEST_PATH_IMAGE001
其中，μ为当前热度信息，M为当前的观看人数，N为点赞数量、L为当前观看用户的评论频率，S为持续时间，a、b、c、d为修正参数，X为基础热度值。
进一步地，所述将所述热度图像融合至所述目标栅格中的步骤，包括：
获取所述目标栅格中的目标栅格图像的RGB色彩值；
将所述RGB色彩值与预设范围进行对比，判断是否超出预设范围；
若超出，则对所述目标栅格中的目标栅格图像进行淡化处理；其中，所述淡化处理包括降低亮度、降低对比度以及降低饱和度；
对所述热度图像进行描边处理，将描边处理后的所述热度图像进行透视化处理之后叠加至淡化处理后的所述目标栅格图像中。
进一步地，所述判断所述视频图像是否为即时采集的视频图像的步骤，包括：
检测到所述当前视频直播界面中的所述视频图像中出现指定的图像特征时，截取出所述图像特征对应的图像；
按照预设规格对所述图像进行裁剪，获得目标图像；
对所述目标图像进行哈希计算，得到对应的哈希值；
检索数据库中是否存在与所述哈希值相同的特征值，若存在，则判定所述视频图像不是即时采集的视频图像；若不存在，则判定所述视频图像为即时采集的视频图像。
进一步地，所述判断所述视频图像是否为即时采集的视频图像的步骤，包括：
获取当前视频直播的延迟时间；
在第一时刻，获取当前视频直播界面中直播的第一预设时长的第一视频图像，并记录所述第一视频的结束时间；
在第一时刻，通过当前视频直播的直播终端的摄像头采集一段第二预设时长的第二视频图像；其中，所述第一预设时长小于第二预设时长；
将所述第一视频图像与所述第二视频图像进行对准；其中，在对准时，以所述第二视频中第一时刻之后的第二时刻为基准，将第二视频中第二时刻的视频与所述第一视频中第一时刻对准；其中，所述第一时刻与所述第二时刻的差值为所述延迟时间；
将对准后的所述第一视频与所述第二视频进行匹配计算，得到匹配度；判断匹配度是否达到阈值；若是，则判定所述视频图像是即时采集的视频图像；若否，则判定所述视频图像不是即时采集的视频图像。
进一步地，所述将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息的步骤之后，包括：
删除所述当前视频直播界面中的所有栅格，并动态更新所述视频图像的热度信息。
进一步地，所述将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息的步骤之后，包括：
当前视频直播界面中的直播结束时，获取所述直播的类型、总观看人数、总点赞数量以及总直播时长；
将所述总观看人数、总点赞数量以及总直播时长依次进行串接形成第一字符串；
获取与所述直播的类型匹配的简称字符；其中，所述简称字符中包括四个字符；
获取标准Base64编码表，从所述标准Base64编码表中提取出对应所述简称字符中的四个字符；
将提取出的四个字符按照其在简称字符中的排序插入至所述标准Base64编码表的末尾；并将插入后的所述四个字符之前的字符向前进行平移填充，得到重新编码的Base64编码表，作为目标编码表；
基于所述目标编码表，对所述第一字符串进行编码，得到第二字符串；将所述第二字符串与所述直播视频关联存储于数据库中。
本发明还提供了一种视频直播中的图像处理装置，包括：
第一获取单元，用于获取当前视频直播界面中的视频图像；
判定单元，用于判断所述视频图像是否为即时采集的视频图像；
创建单元，用于若是即时采集的视频图像，则在所述视频直播界面中创建多个栅格，获取到所述视频图像在每个栅格中的栅格图像；
提取单元，用于提取每个栅格图像的关键图像特征，并计算所述关键图像特征对应的图像在所述栅格图像中的占比；
确定单元，用于根据每个栅格图像中关键图像特征对应的图像在所述栅格图像中的占比，确定出关键图像特征对应的图像占比最低的栅格图像，作为目标栅格图像；
融合单元，用于将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息。
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本发明提供的视频直播中的图像处理方法、装置及计算机设备，包括：获取当前视频直播界面中的视频图像；判断所述视频图像是否为即时采集的视频图像；若是，则在所述视频直播界面中创建多个栅格，获取到所述视频图像在每个栅格中的栅格图像；提取每个栅格图像的关键图像特征，并计算所述关键图像特征对应的图像在所述栅格图像中的占比；根据每个栅格图像中关键图像特征对应的图像在所述栅格图像中的占比，确定出关键图像特征对应的图像占比最低的栅格图像，作为目标栅格图像；将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息。本发明在直播界面中确定出关键图像特征占比最低的目标栅格图像，从而在目标栅格图像对应的目标栅格中融合所述视频图像的当前热度信息，可以在视频直播界面的合理位置展示直播视频的热度信息。
附图说明
图1是本发明一实施例中视频直播中的图像处理方法步骤示意图；
图2是本发明一实施例中步骤S6的具体步骤示意图；
图3是本发明一实施例中视频直播中的图像处理装置结构框图；
图4是本发明一实施例的计算机设备的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，本发明一实施例中提供了一种视频直播中的图像处理方法，包括以下步骤：
步骤S1，获取当前视频直播界面中的视频图像；
步骤S2，判断所述视频图像是否为即时采集的视频图像；
步骤S3，若是，则在所述视频直播界面中创建多个栅格，获取到所述视频图像在每个栅格中的栅格图像；
步骤S4，提取每个栅格图像的关键图像特征，并计算所述关键图像特征对应的图像在所述栅格图像中的占比；
步骤S5，根据每个栅格图像中关键图像特征对应的图像在所述栅格图像中的占比，确定出关键图像特征对应的图像占比最低的栅格图像，作为目标栅格图像；
步骤S6，将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息。
在本实施例中，上述视频直播中的图像处理方法应用于对视频直播过程进行录播识别，以及在视频直播界面的合理位置添加上述视频图像的当前热度信息；以便于直播用户在当前直播界面直观看到当前的视频热度，提升了直播用户的直播体验；而观看用户也可以在当前直播界面直观看到当前的视频热度，便于观看用户进行比较，寻找更有趣的直播，提升观看体验。
具体地，如上述步骤S1所述的，在视频直播时，获取到当前视频直播界面中的视频图像，上述视频图像可以是当前即时采集的视频图像，也可以是录播的视频；有些直播用户播放的是录播视频，而对于观看用户来说，通常对录播视频的兴趣较低；因此如上述步骤S2所述的，判断上述视频图像是否为即时采集的视频图像，若不是，则可以发出提示信息，例如在直播界面中添加录播等标签，以便观看用户进行区分。若上述视频是即时采集的视频图像，则如上述步骤S3所述的，在所述视频直播界面中创建多个栅格，上述栅格由横线以及竖线构成，上述多个栅格可以是相同大小，也可以是不同的大小；可以理解的是，上述栅格可以是在上述直播界面中可视化展现出来，也可以是在后台产生虚拟栅格，避免影响视频直播的观看界面。
在上述视频直播界面上生成多个栅格之后，则可以将直播界面划分为多个小区域，每个小区域内的视频图像不同，将获取到所述视频图像在每个栅格中的图像命名为栅格图像。
如上述步骤S4所述的，针对每个栅格图像进行关键图像特征，并计算所述关键图像特征对应的图像在所述栅格图像中的占比；其中，上述关键图像特征指的特定图像所对应的图像特征，其通常是直播界面中较为重要的特征，通常不便于被遮挡，例如人体头部、手部、人体书写的字迹、景色等；上述关键图像特征的提取可以通过神经网络模型进行提取。可以理解的是，上述每个栅格图像中的关键图像特征越多，则占比越大，越表明该栅格图像越重要，不便于被遮挡，因此，不便于在该栅格图像中展示热度信息；只有当其关键图像特征最少时，才最便于进行热度信息的展示。
因此，如如上述步骤S5以及步骤S6所述的，根据每个栅格图像中关键图像特征对应的图像在所述栅格图像中的占比，确定出关键图像特征对应的图像占比最低的栅格图像，作为目标栅格图像；将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息。如此，则不仅可以在直播界面中添加当前热度信息，同时还可以避免对直播界面产生干扰，因此不会影响观看体验。
参照图2，在一实施例中，所述在所述目标栅格中融合所述视频图像的当前热度信息的步骤S6，包括：
步骤S61，获取当前视频直播中当前的观看人数以及点赞数量；
步骤S62，获取当前视频直播的持续时间；
步骤S63，获取当前视频直播中当前观看用户的评论频率；
步骤S64，根据所述当前的观看人数、点赞数量、持续时间以及当前观看用户的评论频率，计算所述当前视频直播中视频图像的当前热度信息；
步骤S65，获取当前视频直播界面中的视频直播类型，并根据所述视频直播类型在数据库中确定对应的热度显示模板；其中，所述数据库中存储有视频直播类型与热度显示模板的对应关系；
步骤S66，将所述当前热度信息填充至所述热度显示模板中，得到热度图像，将所述热度图像融合至所述目标栅格中。
在本实施例中，提出一种特有的计算热度信息以及在直播界面融合热度信息的方案；具体地，获取当前视频直播中当前的观看人数以及点赞数量，获取当前视频直播中当前观看用户的评论频率（单位时间内评论的条数），同时获取当前视频直播的持续时间，上述持续时间指的是当前视频直播已经持续的时间。可以理解的是，上述观看人数、点赞数量以及当前观看用户的评论频率均是当前直播视频的热度体现，其数字越大，体现出当前视频直播的热度越高。
在得到上述直播数据之后，则可以根据上述直播数据进行计算，得到所述当前视频直播中视频图像的当前热度信息，上述计算过程可以采用函数模型的计算方式，也可以是采用预先训练完成的神经网络模型进行预测。
得到上述当前热度信息之后，为了将展示的热度信息与直播场景（直播类型）进行匹配，则获取当前视频直播界面中的视频直播类型，并根据所述视频直播类型确定对应的热度显示模板，从而将所述当前热度信息填充至所述热度显示模板中，得到热度图像，将所述热度图像融合至所述目标栅格中。如此，变实现了针对不同的直播场景采用不同的热度信息显示方式，增强了图像展示的差异性以及特有性。
在本实施例中，所述根据所述当前的观看人数、点赞数量、持续时间以及当前观看用户的评论频率，计算所述当前视频直播中视频图像的当前热度信息的计算公式如下：
Figure 616711DEST_PATH_IMAGE002
其中，μ为当前热度信息，M为当前的观看人数，N为点赞数量、L为当前观看用户的评论频率，S为持续时间，a、b、c、d为修正参数，X为基础热度值。
在本实施例中，上述修正参数a、b、c、d需要经过大量测算之后，获取到的值，基于上述计算方式，可以定量计算出上述视频图像的当前热度信息。
在一实施例中，所述将所述热度图像融合至所述目标栅格中的步骤，包括：
获取所述目标栅格中的目标栅格图像的RGB色彩值；
将所述RGB色彩值与预设范围进行对比，判断是否超出预设范围；
若超出，则对所述目标栅格中的目标栅格图像进行淡化处理；其中，所述淡化处理包括降低亮度、降低对比度以及降低饱和度；
对所述热度图像进行描边处理，将描边处理后的所述热度图像进行透视化处理之后叠加至淡化处理后的所述目标栅格图像中。
在本实施例中，提出一种具体的热度图像融合方案，在融合时，为了避免目标栅格图像对上述热度图像产生太大干扰，避免影响视觉效果；因此，需要获取目标栅格中的目标栅格图像的RGB色彩值，并判断是否超出预设范围，若超出，为了淡化其对热度图像的影响，则对目标栅格图像进行淡化处理；为了进一步地突出热度图像，可以对其进行描边处理，最后将描边处理后的所述热度图像进行透视化处理之后叠加至淡化处理后的所述目标栅格图像中。
在一实施例中，提出一种特有的检测视频图像是否为即时采集的视频图像的方案。
具体地，所述判断所述视频图像是否为即时采集的视频图像的步骤S2，包括：
步骤S21，检测到所述当前视频直播界面中的所述视频图像中出现指定的图像特征时，截取出所述图像特征对应的图像；上述指定的图像特征指的是特定的特征，例如直播界面中出现特定的某一句话、某个特殊手势、特殊场景等，可以理解的是，上述图像特征必然是特有的特征，具有强辨识性。
步骤S22，按照预设规格对所述图像进行裁剪，获得目标图像；上述预设规格是制定好的统一规格，即每一次均采用的规格；例如特定的尺寸，特定的中心位置等。
步骤S23，对所述目标图像进行哈希计算，得到对应的哈希值；上述哈希计算的过程不可逆，且不同目标图像计算得到的哈希值也会不同。
步骤S24，检索数据库中是否存在与所述哈希值相同的特征值，若存在，则判定所述视频图像不是即时采集的视频图像；若不存在，则判定所述视频图像为即时采集的视频图像。可以理解的是，在上述直播平台进行视频直播过程时，每一次出现上述指定的图像特征时，都会采用上述方式进行处理得到一个哈希值，并将该哈希值作为上述特征值存储在数据库中；可以理解的是，若该视频图像是第一次播放，则数据库中不会保存上述特征值；反之，若为录播，则上述数据库中必然会存在上述特征值。因此，只需要检索数据库中是否存在与上述哈希值相同的特征值，则可以判断出当前视频直播界面中的视频图像是否为即时采集的视频图像。
在另一实施例中，提出另一种检测视频图像是否为即时采集的视频图像的方案。
具体地，所述判断所述视频图像是否为即时采集的视频图像的步骤S2，包括：
步骤S201，获取当前视频直播的延迟时间；
步骤S202，在第一时刻，获取当前视频直播界面中直播的第一预设时长的第一视频图像，并记录所述第一视频的结束时间；
步骤S203，在第一时刻，通过当前视频直播的直播终端的摄像头采集一段第二预设时长的第二视频图像；其中，所述第一预设时长小于第二预设时长；
步骤S204，将所述第一视频图像与所述第二视频图像进行对准；其中，在对准时，以所述第二视频中第一时刻之后的第二时刻为基准，将第二视频中第二时刻的视频与所述第一视频中第一时刻对准；其中，所述第一时刻与所述第二时刻的差值为所述延迟时间；
步骤S205，将对准后的所述第一视频与所述第二视频进行匹配计算，得到匹配度；判断匹配度是否达到阈值；若是，则判定所述视频图像是即时采集的视频图像；若否，则判定所述视频图像不是即时采集的视频图像。
在又一实施例中，所述将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息的步骤S6之后，包括：
删除所述当前视频直播界面中的所有栅格，并动态更新所述视频图像的热度信息。在一种实现方式中，上述栅格是可视化显示在视频直播界面上的，经过上述处理之后，可以避免栅格影响视频直播；为了更新直播热度效果，则动态更新所述视频图像的热度信息。
在又一实施例中，所述将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息的步骤S6之后，包括：
步骤S7，当前视频直播界面中的直播结束时，获取所述直播的类型、总观看人数、总点赞数量以及总直播时长；
步骤S8，将所述总观看人数、总点赞数量以及总直播时长依次进行串接形成第一字符串；上述总观看人数、总点赞数量以及总直播时长，均可以对应表达为一个数字，将上述总观看人数、总点赞数量以及总直播时长对应的数字进行串接时，采用的是特定排序，即总观看人数在前，其次为总点赞数量，总直播时长在后。可以理解的是，上述串接顺序是固定的，便于后续验证时，采用统一的串接顺序进行验证。
步骤S9，获取与所述直播的类型匹配的简称字符；其中，所述简称字符中包括四个字符；具体的，可以采用以下方式：获取直播类型的拼音，从拼音中提取出指定位置上的字符，得到上述四个字符，或者是获取直播类型的拼音，从拼音中提取出两个首字母，并将这两个首字母的大小写，按照特定排序后作为上述四个字符；例如上述直播类型为娱乐，其拼音为yu le，首字母为yl，此时将Ylyl作为上述四个字符。
步骤S10，获取标准Base64编码表，从所述标准Base64编码表中提取出对应所述简称字符中的四个字符；
步骤S1a，将提取出的四个字符按照其在简称字符中的排序插入至所述标准Base64编码表的末尾；并将插入后的所述四个字符之前的字符向前进行平移填充，得到重新编码的Base64编码表，作为目标编码表；在本实施例中，提出一种对标准的Base64编码表进行重新编码的方式，这使得上述Base64编码表具有唯一性，基于上述重新编码的Base64编码表进行编码，可以明显增强数据安全，无法被轻易破解。
步骤S1b，基于所述目标编码表，对所述第一字符串进行编码，得到第二字符串；将所述第二字符串与所述直播视频关联存储于数据库中。
在本实施例中，基于上述重新编码的Base64编码表，对所述第一字符串进行编码，得到第二字符串；显然，上述第二字符串无法通过标准的Base编码表进行破解，增加了破解难度。同时，上述第二字符串中携带有上述直播视频的总观看人数、总点赞数量以及总直播时长等直播数据，即通过一个字符串便可以记录上述数据，无需通过繁杂的图标进行表达，简化了数据存储的过程。后续，若想获取某一视频直播的直播数据时，只需要从数据库中获取上述第二字符串，并基于上述重新编码的Base64编码表进行解析，不仅独特性高，而且具有很强的私密性，保障了数据安全。
在又一实施例中，还可以再次获取一个关键图像特征对应的图像占比次低的栅格图像所在的栅格，作为特定栅格；获取当前评论中评论频次大于预设值的评论，将评论频次大于预设值的评论显示在上述特定栅格中，并融合特定的显示效果，例如放大突出显示、着色突出显示等。
综上所述，为本发明实施例中提供的视频直播中的图像处理方法，包括：获取当前视频直播界面中的视频图像；判断所述视频图像是否为即时采集的视频图像；若是，则在所述视频直播界面中创建多个栅格，获取到所述视频图像在每个栅格中的栅格图像；提取每个栅格图像的关键图像特征，并计算所述关键图像特征对应的图像在所述栅格图像中的占比；根据每个栅格图像中关键图像特征对应的图像在所述栅格图像中的占比，确定出关键图像特征对应的图像占比最低的栅格图像，作为目标栅格图像；将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息。本发明在直播界面中确定出关键图像特征占比最低的目标栅格图像，从而在目标栅格图像对应的目标栅格中融合所述视频图像的当前热度信息，可以在视频直播界面的合理位置展示直播视频的热度信息。
参照图3，本发明一实施例中还提供了一种视频直播中的图像处理装置，包括：
第一获取单元10，用于获取当前视频直播界面中的视频图像；
判定单元20，用于判断所述视频图像是否为即时采集的视频图像；
创建单元30，用于若是即时采集的视频图像，则在所述视频直播界面中创建多个栅格，获取到所述视频图像在每个栅格中的栅格图像；
提取单元40，用于提取每个栅格图像的关键图像特征，并计算所述关键图像特征对应的图像在所述栅格图像中的占比；
确定单元50，用于根据每个栅格图像中关键图像特征对应的图像在所述栅格图像中的占比，确定出关键图像特征对应的图像占比最低的栅格图像，作为目标栅格图像；
融合单元60，用于将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息。
在本实施例中，上述视频直播中的图像处理装置中的各个单元的具体实现请参照上述视频直播中的图像处理方法实施例中所述，在此不再进行赘述。
参照图4，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储语音信号数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现视频直播中的图像处理方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定。
本发明一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种视频直播中的图像处理方法。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。
综上所述，为本发明实施例中提供的视频直播中的图像处理方法、装置及计算机设备，包括：获取当前视频直播界面中的视频图像；判断所述视频图像是否为即时采集的视频图像；若是，则在所述视频直播界面中创建多个栅格，获取到所述视频图像在每个栅格中的栅格图像；提取每个栅格图像的关键图像特征，并计算所述关键图像特征对应的图像在所述栅格图像中的占比；根据每个栅格图像中关键图像特征对应的图像在所述栅格图像中的占比，确定出关键图像特征对应的图像占比最低的栅格图像，作为目标栅格图像；将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息。本发明在直播界面中确定出关键图像特征占比最低的目标栅格图像，从而在目标栅格图像对应的目标栅格中融合所述视频图像的当前热度信息，可以在视频直播界面的合理位置展示直播视频的热度信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双速据率SDRAM（SSRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视频直播中的图像处理方法，其特征在于，包括以下步骤：
获取当前视频直播界面中的视频图像；
判断所述视频图像是否为即时采集的视频图像；
若是，则在所述视频直播界面中创建多个栅格，获取到所述视频图像在每个栅格中的栅格图像；
提取每个栅格图像的关键图像特征，并计算所述关键图像特征对应的图像在所述栅格图像中的占比；
根据每个栅格图像中关键图像特征对应的图像在所述栅格图像中的占比，确定出关键图像特征对应的图像占比最低的栅格图像，作为目标栅格图像；
将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息。
2.根据权利要求1所述的视频直播中的图像处理方法，其特征在于，所述在所述目标栅格中融合所述视频图像的当前热度信息的步骤，包括：
获取当前视频直播中当前的观看人数以及点赞数量；
获取当前视频直播的持续时间；
获取当前视频直播中当前观看用户的评论频率；
根据所述当前的观看人数、点赞数量、持续时间以及当前观看用户的评论频率，计算所述当前视频直播中视频图像的当前热度信息；
获取当前视频直播界面中的视频直播类型，并根据所述视频直播类型在数据库中确定对应的热度显示模板；其中，所述数据库中存储有视频直播类型与热度显示模板的对应关系；
将所述当前热度信息填充至所述热度显示模板中，得到热度图像，将所述热度图像融合至所述目标栅格中。
3.根据权利要求2所述的视频直播中的图像处理方法，其特征在于，所述根据所述当前的观看人数、点赞数量、持续时间以及当前观看用户的评论频率，计算所述当前视频直播中视频图像的当前热度信息的计算公式如下：
Figure 448799DEST_PATH_IMAGE001
其中，μ为当前热度信息，M为当前的观看人数，N为点赞数量、L为当前观看用户的评论频率，S为持续时间，a、b、c、d为修正参数，X为基础热度值。
4.根据权利要求2所述的视频直播中的图像处理方法，其特征在于，所述将所述热度图像融合至所述目标栅格中的步骤，包括：
获取所述目标栅格中的目标栅格图像的RGB色彩值；
将所述RGB色彩值与预设范围进行对比，判断是否超出预设范围；
若超出，则对所述目标栅格中的目标栅格图像进行淡化处理；其中，所述淡化处理包括降低亮度、降低对比度以及降低饱和度；
对所述热度图像进行描边处理，将描边处理后的所述热度图像进行透视化处理之后叠加至淡化处理后的所述目标栅格图像中。
5.根据权利要求1所述的视频直播中的图像处理方法，其特征在于，所述判断所述视频图像是否为即时采集的视频图像的步骤，包括：
检测到所述当前视频直播界面中的所述视频图像中出现指定的图像特征时，截取出所述图像特征对应的图像；
按照预设规格对所述图像进行裁剪，获得目标图像；
对所述目标图像进行哈希计算，得到对应的哈希值；
检索数据库中是否存在与所述哈希值相同的特征值，若存在，则判定所述视频图像不是即时采集的视频图像；若不存在，则判定所述视频图像为即时采集的视频图像。
6.根据权利要求1所述的视频直播中的图像处理方法，其特征在于，所述判断所述视频图像是否为即时采集的视频图像的步骤，包括：
获取当前视频直播的延迟时间；
在第一时刻，获取当前视频直播界面中直播的第一预设时长的第一视频图像，并记录所述第一视频的结束时间；
在第一时刻，通过当前视频直播的直播终端的摄像头采集一段第二预设时长的第二视频图像；其中，所述第一预设时长小于第二预设时长；
将所述第一视频图像与所述第二视频图像进行对准；其中，在对准时，以所述第二视频中第一时刻之后的第二时刻为基准，将第二视频中第二时刻的视频与所述第一视频中第一时刻对准；其中，所述第一时刻与所述第二时刻的差值为所述延迟时间；
将对准后的所述第一视频与所述第二视频进行匹配计算，得到匹配度；判断匹配度是否达到阈值；若是，则判定所述视频图像是即时采集的视频图像；若否，则判定所述视频图像不是即时采集的视频图像。
7.根据权利要求1所述的视频直播中的图像处理方法，其特征在于，所述将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息的步骤之后，包括：
删除所述当前视频直播界面中的所有栅格，并动态更新所述视频图像的热度信息。
8.根据权利要求1所述的视频直播中的图像处理方法，其特征在于，所述将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息的步骤之后，包括：
当前视频直播界面中的直播结束时，获取所述直播的类型、总观看人数、总点赞数量以及总直播时长；
将所述总观看人数、总点赞数量以及总直播时长依次进行串接形成第一字符串；
获取与所述直播的类型匹配的简称字符；其中，所述简称字符中包括四个字符；
获取标准Base64编码表，从所述标准Base64编码表中提取出对应所述简称字符中的四个字符；
将提取出的四个字符按照其在简称字符中的排序插入至所述标准Base64编码表的末尾；并将插入后的所述四个字符之前的字符向前进行平移填充，得到重新编码的Base64编码表，作为目标编码表；
基于所述目标编码表，对所述第一字符串进行编码，得到第二字符串；将所述第二字符串与所述直播视频关联存储于数据库中。
9.一种视频直播中的图像处理装置，其特征在于，包括：
第一获取单元，用于获取当前视频直播界面中的视频图像；
判定单元，用于判断所述视频图像是否为即时采集的视频图像；
创建单元，用于若是即时采集的视频图像，则在所述视频直播界面中创建多个栅格，获取到所述视频图像在每个栅格中的栅格图像；
提取单元，用于提取每个栅格图像的关键图像特征，并计算所述关键图像特征对应的图像在所述栅格图像中的占比；
确定单元，用于根据每个栅格图像中关键图像特征对应的图像在所述栅格图像中的占比，确定出关键图像特征对应的图像占比最低的栅格图像，作为目标栅格图像；
融合单元，用于将所述目标栅格图像所在的栅格作为目标栅格，并在所述目标栅格中融合所述视频图像的当前热度信息。
10.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
CN202211630452.9A 2022-12-19 2022-12-19 视频直播中的图像处理方法、装置及计算机设备 Active CN115623245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211630452.9A CN115623245B (zh) 2022-12-19 2022-12-19 视频直播中的图像处理方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211630452.9A CN115623245B (zh) 2022-12-19 2022-12-19 视频直播中的图像处理方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN115623245A true CN115623245A (zh) 2023-01-17
CN115623245B CN115623245B (zh) 2023-03-03

Family

ID=84880979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211630452.9A Active CN115623245B (zh) 2022-12-19 2022-12-19 视频直播中的图像处理方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN115623245B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862526A (zh) * 2006-06-21 2006-11-15 北京大学 基于轮廓字型技术的离散字形生成方法
CN107256530A (zh) * 2017-05-19 2017-10-17 努比亚技术有限公司 图片水印的添加方法、移动终端及可读存储介质
CN108366245A (zh) * 2018-03-16 2018-08-03 北京虚拟映画科技有限公司 影像图像传输方法及装置
US20180341827A1 (en) * 2017-05-24 2018-11-29 Renesas Electronics Corporation Security camera system and image processing apparatus
CN109670427A (zh) * 2018-12-07 2019-04-23 腾讯科技（深圳）有限公司 一种图像信息的处理方法、装置及存储介质
CN110135268A (zh) * 2019-04-17 2019-08-16 深圳和而泰家居在线网络科技有限公司 人脸比对方法、装置、计算机设备和存储介质
CN111345024A (zh) * 2017-08-30 2020-06-26 深圳传音通讯有限公司 一种自动水印和方形拍照双重实现的方法及系统
CN111918081A (zh) * 2020-07-31 2020-11-10 广州津虹网络传媒有限公司 直播间热度的确定方法、装置、设备及存储介质
CN112700363A (zh) * 2021-01-08 2021-04-23 北京大学 一种基于区域选择的自适应可视水印嵌入方法和装置
CN114493973A (zh) * 2022-02-10 2022-05-13 深圳依时货拉拉科技有限公司 盲水印嵌入方法和装置、盲水印检测方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862526A (zh) * 2006-06-21 2006-11-15 北京大学 基于轮廓字型技术的离散字形生成方法
CN107256530A (zh) * 2017-05-19 2017-10-17 努比亚技术有限公司 图片水印的添加方法、移动终端及可读存储介质
US20180341827A1 (en) * 2017-05-24 2018-11-29 Renesas Electronics Corporation Security camera system and image processing apparatus
CN111345024A (zh) * 2017-08-30 2020-06-26 深圳传音通讯有限公司 一种自动水印和方形拍照双重实现的方法及系统
CN108366245A (zh) * 2018-03-16 2018-08-03 北京虚拟映画科技有限公司 影像图像传输方法及装置
CN109670427A (zh) * 2018-12-07 2019-04-23 腾讯科技（深圳）有限公司 一种图像信息的处理方法、装置及存储介质
CN110135268A (zh) * 2019-04-17 2019-08-16 深圳和而泰家居在线网络科技有限公司 人脸比对方法、装置、计算机设备和存储介质
CN111918081A (zh) * 2020-07-31 2020-11-10 广州津虹网络传媒有限公司 直播间热度的确定方法、装置、设备及存储介质
CN112700363A (zh) * 2021-01-08 2021-04-23 北京大学 一种基于区域选择的自适应可视水印嵌入方法和装置
CN114493973A (zh) * 2022-02-10 2022-05-13 深圳依时货拉拉科技有限公司 盲水印嵌入方法和装置、盲水印检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余应刚: "巧用Base64编码和GUID实现数据加密", 《电脑编程技巧与维护》 *

Also Published As

Publication number Publication date
CN115623245B (zh) 2023-03-03

Similar Documents

Publication Publication Date Title
US11605226B2 (en) Video data processing method and apparatus, and readable storage medium
CN107862315B (zh) 字幕提取方法、视频搜索方法、字幕分享方法及装置
CN109803180B (zh) 视频预览图生成方法、装置、计算机设备及存储介质
CN106254933B (zh) 字幕提取方法及装置
CN106210836B (zh) 一种视频播放过程中的互动学习方法及装置、终端设备
EP4086786A1 (en) Video processing method, video searching method, terminal device, and computer-readable storage medium
CN110162164B (zh) 一种基于增强现实的学习互动方法、装置及存储介质
CN105912912B (zh) 一种终端用户身份登录方法和系统
EP3675034A1 (en) Image realism predictor
US20170171621A1 (en) Method and Electronic Device for Information Processing
CN109923543B (zh) 通过生成视频帧的多个部分的指纹来检测立体视频的方法、系统和介质
CN111652142A (zh) 基于深度学习的题目分割方法、装置、设备和介质
CN110297897A (zh) 问答处理方法及相关产品
CN114529635B (zh) 一种图像生成方法、装置、存储介质及设备
US10553254B2 (en) Method and device for processing video
CN108399653A (zh) 增强现实方法、终端设备及计算机可读存储介质
CN114758054A (zh) 光斑添加方法、装置、设备及存储介质
CN115623245B (zh) 视频直播中的图像处理方法、装置及计算机设备
US20180336243A1 (en) Image Search Method, Apparatus and Storage Medium
CN107844696B (zh) 一种验证码干扰方法及服务器
CN112860941A (zh) 一种封面推荐方法、装置、设备及介质
CN111008295A (zh) 书页检索方法、装置、电子设备和存储介质
CN113496225B (zh) 图像处理方法、装置、计算机设备及存储介质
CN111582281B (zh) 一种图片显示优化的方法、装置、电子设备和存储介质
US20170171644A1 (en) Method and electronic device for creating video image hyperlink

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant