CN111586427A - 直播平台的主播识别方法、装置、电子设备及存储介质 - Google Patents

直播平台的主播识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111586427A
CN111586427A CN202010367170.9A CN202010367170A CN111586427A CN 111586427 A CN111586427 A CN 111586427A CN 202010367170 A CN202010367170 A CN 202010367170A CN 111586427 A CN111586427 A CN 111586427A
Authority
CN
China
Prior art keywords
image
anchor
live
platform
live broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010367170.9A
Other languages
English (en)
Other versions
CN111586427B (zh
Inventor
张书毅
黄青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN202010367170.9A priority Critical patent/CN111586427B/zh
Publication of CN111586427A publication Critical patent/CN111586427A/zh
Application granted granted Critical
Publication of CN111586427B publication Critical patent/CN111586427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种直播平台的主播识别方法、装置、电子设备及存储介质，所述方法包括：获取目标主播在直播平台的注册信息，其中，所述注册信息包括所述目标主播的第一图像；通过直播视频获取待识别的主播的第二图像；分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息，并比对所述第一特征信息与第二特征信息的匹配度；若所述匹配度达到设定阈值，则判定所述目标主播与第二直播台的主播为同一个主播。上述方案为直播平台对于主播的监管提供了科学客观的技术保障。进一步的，也可以在直播平台上集成相应功能，对于主播的跨平台开播行为进行快速准确的识别，为直播平台对于主播跨平台开播监管提供了科学客观的技术保障。

Description

直播平台的主播识别方法、装置、电子设备及存储介质
技术领域
本发明涉及互联网直播技术领域，具体而言，本申请涉及一种直播平台的主播识别方法、装置、电子设备及存储介质。
背景技术
随着互联网的兴起以及通信技术的发展，网络直播得到了迅猛发展。作为直播平台的核心资源，一个优秀的主播可以给直播平台带来大量的曝光量和粉丝数量，因此，保持主播的稳定性对于直播平台来说是至关重要的。
目前，对于直播平台来说，为了确保直播内容的质量，持续吸引观众，必须要对主播进行监管，以规范主播的直播行为，避免出现不良直播内容，主播跨平台开播行为等。
当前直播平台对于直播的行为监管，更多依赖于人工筛查辅助一定的技术手段来识别身份，对于直播平台上拥有的海量主播来说，这些手段显然是不足的，特别是在一些跨平台开播的主播进行了脸部遮挡的情况下，就更难进行有效识别，由此可见，现有技术难以快速准确地识别出主播身份。
发明内容
本发明的目的旨在至少能解决上述的技术缺陷之一，特别是难以快速准确地识别出主播身份的技术缺陷。
本申请提供一种直播平台的主播识别方法，包括如下步骤：
获取目标主播在直播平台的注册信息，其中，所述注册信息包括所述目标主播的第一图像；
通过直播视频获取待识别的主播的第二图像；
分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息，并比对所述第一特征信息与第二特征信息的匹配度；
若所述匹配度达到设定阈值，则判定所述目标主播与第二直播台的主播为同一个主播。
在其中一个实施例中，所述获取目标主播在直播平台的注册信息，包括：获取目标主播在第一直播平台的注册信息；
所述通过直播视频获取待识别的主播的第二图像，包括：通过第二直播平台的直播视频获取待识别的主播的第二图像；
在判定所述目标主播与第二直播台的主播为同一个主播之后，还包括：判定所述目标主播在第二直播台进行跨平台直播。
在其中一个实施例中，若所述第二图像为露脸图像；
所述分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息，并比对所述第一特征信息与第二特征信息的匹配度的步骤包括：
提取所述第一图像的第一人脸特征点以及第二图像的第二人脸特征点；
将所述第一人脸特征点与第二人脸特征点进行比对，计算第一图像与第二图像的匹配度。
在其中一个实施例中，所述的直播平台的主播识别方法还包括：
检测所述第二图像中露脸的人脸区域，若所述人脸区域包含指定的区域，且露脸比例高于设定值，判定所述第二图像为露脸图像。
在其中一个实施例中，若所述第二图像为非露脸图像；
所述分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息，并比对所述第一特征信息与第二特征信息的匹配度的步骤包括：
分别对所述第一图像及第二图像进行人物区域与背景区域的分割，得到第一背景图像和第二背景图像；
将所述第一背景图像与第二背景图像进行特征比对，计算第一图像与第二图像的匹配度。
在其中一个实施例中，将所述第一背景图像与第二背景图像进行特征比对，计算第一图像与第二图像的匹配度的步骤，包括：
按照图像中物体特征将第二背景图像划分为多个子区域图像，得到第二子区域图像集合；
识别第二子区域图像集合中的第二物体对象集合；
计算第二物体对象集合中的指定物体对象之间的第二相关参数；
根据第一相关参数与第二相关参数的差值确定第一图像与第二图像的匹配度；
其中，所述第一相关参数为预先确定的第一图像中指定物体对象之间的相关参数。
在其中一个实施例中，所述相关参数为两个指定物体对象之间的像素距离；
所述计算第二物体对象集合中的指定物体对象之间的第二相关参数包括：
分别计算第二物体对象集合中的指定物体对象两两之间的相对距离，得到指定物体对象的相对距离集合。
在其中一个实施例中，在计算第二物体对象集合中的指定物体对象之间的第二相关参数之前，还包括：
从第二物体对象集合中选择面积较大的若干个物体对象作为指定物体对象。
在其中一个实施例中，所述相关参数为指定物体对象的像素均值；
所述计算第二物体对象集合中的指定物体对象之间的第二相关参数包括：
分别计算第二物体对象集合中的指定物体对象的像素均值，得到指定物体对象的像素均值集合。
在其中一个实施例中，所述识别第二子区域图像集合中的第二物体对象集合，包括：
对所述第二子区域图像集合的子区域图像进行灰度处理，得到灰度子区域图像；
对所述灰度子区域图像进行边缘检测，得到物体对象边缘点；
对所述边缘点进行聚类处理，提取出各个子区域图像中的物体对象，得到第二物体对象集合。
在其中一个实施例中，所述的直播平台的主播识别方法还包括：根据所述注册信息获取所述目标主播的第一声纹信息；
若所述匹配度达到设定阈值，则判定所述目标主播在第二直播台进行跨平台直播，包括：
若所述匹配度达到设定阈值，通过直播视频获取第二直播平台的主播的第二声纹信息，将所述第一声纹信息与第二声纹信息进行比对，若声纹匹配度达到设定阈值，判定所述目标主播与第二直播台的主播为同一个主播。
在其中一个实施例中，所述的直播平台的主播识别方法还包括：
计算并保存第一图像的第一像素总值；
通过第二直播平台的直播视频获取待识别的主播的第二图像之后，还包括：
计算所述第二图像的第二像素总值，计算所述第一像素总值与第二像素总值的差值，若所述差值在设定范围内，执行分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息的步骤。
在其中一个实施例中，所述通过第二直播平台的直播视频获取待识别的主播的第二图像，包括：
获取所述目标主播的内容特征；
访问所述第二直播平台，根据所述内容特征搜索直播间；
以客户端身份进入所述直播间进行观看直播，获取主播的第二图像。
在其中一个实施例中，所述的直播平台的主播识别方法还包括：
在所述目标主播进行直播中，截取直播的实时图像，判断所述实时图像是否与所述第一图像一致；
若不一致，利用所述实时图像对所述第一图像进行更新。
本申请还提供一种直播平台的主播识别装置，包括：
第一获取模块，用于获取目标主播在直播平台的注册信息，其中，所述注册信息包括所述目标主播的第一图像；
第二获取模块，用于通过直播视频获取待识别的主播的第二图像；
特征比对模块，用于分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息，并比对所述第一特征信息与第二特征信息的匹配度；
结果判定模块，用于若所述匹配度达到设定阈值，则判定所述目标主播与第二直播台的主播为同一个主播。
本申请还提供一种电子设备，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行任一实施例所述的直播平台的主播识别方法。
一种计算机设备存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的直播平台的主播识别方法。
上述的直播平台的主播识别方法、装置、电子设备及存储介质，可以对直播平台中的目标主播识别，通过注册信息中保存的图像与直播过程中采集的图像进行匹配，从而确定目标主播与待识别的主播是否为同一个人，通过该方案，能够快速准确地识别出主播身份，为直播平台对于主播的监管提供了科学客观的技术保障。
进一步的，通过在第一直播平台上的注册信息得到的第一图像以及从第二直播平台的直播视频中提取到的第二图像，然后利用提取第一图像的第一特征信息以及第二图像的第二特征信息进行比对，计算匹配度，根据匹配度来判定目标主播与第二直播台的主播为同一个主播，从而确定目标主播是否在第二直播台进行跨平台直播，可以在直播平台上集成相应功能，对于主播的跨平台开播行为进行快速准确的识别，为直播平台对于主播跨平台开播监管提供了科学客观的技术保障。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是一个实施例的直播平台的主播识别方法流程图；
图2是另一个实施例的直播平台的主播识别方法流程图；
图3是跨平台直播的示意图；
图4是背景图像示意图；
图5是一应用示例的识别流程图；
图6是一个实施例的直播平台的主播识别装置结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
直播平台是网络直播的重要参与者，通过在现场架设独立的信号采集设备采集主播的音视频图像，再通过网络上传至服务器，服务器通过直播间发布至客户端进行观看
参考图1所示，图1是一个实施例的直播平台的主播识别方法流程图，包括如下步骤：
S110，获取目标主播在直播平台的注册信息，其中，所述注册信息包括所述目标主播的第一图像。
S120，通过直播视频获取待识别的主播的第二图像。
S130，分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息，并比对所述第一特征信息与第二特征信息的匹配度。
S140，若所述匹配度达到设定阈值，则判定所述目标主播与第二直播台的主播为同一个主播。
在上述技术方案中，首先获取用户在直播平台上的注册信息，注册信息中包括了主播的ID，身份验证信息等，可以在主播开播时，可以保留一份身份验证时的图像作为第一图像进行保存，对于第一图像也可以在直播过程当中的视频流中进行截图得到。
在一个实施例中，考虑到主播有可能更新直播环境，为此还可以在直播过程中，截取直播的实时图像，判断所述实时图像是否与所述第一图像一致；若不一致，利用所述实时图像对所述第一图像进行更新。
通过上述实施例，能够保证目标主播的第一图像是最新的，当然作为实施例，也可以同时保留第一图像与实时图像，由此可以得到目标主播的各种直播环境的图像信息，便于后续识别。
上述方案，可以用于在同一个直播平台中的目标主播识别，通过注册信息中保存的图像与直播过程中采集的图像进行匹配，从而确定目标主播与待识别的主播是否为同一个人，通过该方案，能够快速准确地识别出主播身份，为直播平台对于主播的监管提供了科学客观的技术保障。
参考图2所示，图2是另一个实施例的直播平台的主播识别方法流程图，该主播识别是用于识别跨平台进行直播的主播，主要包括如下步骤：
S210，获取目标主播在第一直播平台的注册信息，其中，所述注册信息包括所述目标主播的第一图像。
对于第一图像，可以是注册是进行验证得到，也可以是目标主播至开播中通过截取视频画面得到。
在一个实施例中，为了保证目标主播的第一图像的有效性，在所述目标主播进行直播中，截取直播的实时图像，判断所述实时图像是否与所述第一图像一致；若不一致，利用所述实时图像对所述第一图像进行更新。S220，通过第二直播平台的直播视频获取待识别的主播的第二图像；
在一个实施例中，对于获取第二图像的方案，可以包括如下：访问所述第二直播平台，根据所述内容特征搜索直播间；以客户端身份进入所述直播间进行观看直播，获取主播的第二图像。
S230，分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息，并比对所述第一特征信息与第二特征信息的匹配度。
此处特征信息是表征图像的关键信息，一般情况下，可以从图像特性出发，从多个维度去提取图像特征，然后比对特征信息之间的匹配度。
S240，若所述匹配度达到设定阈值，则判定所述目标主播与第二直播台的主播为同一个主播，且所述目标主播在第二直播台进行跨平台直播。
上述技术方案用于跨平台直播的识别，参考图3所示，图3中显示是跨平台直播的示意图。一般情况下，一个主播往往是在一个直播平台上进行开播，而一个主播在多个直播平台上进行直播，容易导致各种违约以及不正当竞争出现，为此，在网络直播的大环境中，需要我们从技术手段上能够及时的识别出这些行为，从而为直播平台提供必要的提示告警。
在上述方案中，可以在直播平台上集成相应功能，用于识别自己平台的主播是否到其他直播平台进行开播，从技术上提供了解决方案。以属于第一直播平台的目标主播来说，当其在第二直播平台上进行开播时，基于其直播环境条件，首先在第一直播平台注册信息中保存其直播的第一图像，然后通过对第二直播平台的直播视频中提取第二图像，由于第一直播平台需要检测主播是否到第二直播平台进行开播时，一般无法进入到第二直播平台调取其注册信息，因此通过正常的观看直播视频方式，提取到第二图像，然后利用提取第一图像的第一特征信息以及第二图像的第二特征信息进行比对，计算匹配度，根据匹配度来判定目标主播与第二直播台的主播为同一个主播，从而确定目标主播是否在第二直播台进行跨平台直播。
上述两个实施环境分别从单平台直播识别和跨平台直播两个场景中对待识别主播的身份进行识别，基于该技术方案下，下面阐述进一步实施例。
作为实施例，在步骤S130以及S230中分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息时，可以采用人脸识别方式来识别出是否为同一主播。在直播平台的主播识别时，若所述第二图像为露脸图像；则步骤S130以及S230，具体可以包括如下：
提取所述第一图像的第一人脸特征点以及第二图像的第二人脸特征点；将所述第一人脸特征点与第二人脸特征点进行比对，计算第一图像与第二图像的匹配度。
对于是否为露脸直播，本申请实施例提供如下方式进行检测，具体可以包括：
检测所述第二图像中露脸的人脸区域，若所述人脸区域包含指定的区域，且露脸比例高于设定值，判定所述第二图像为露脸图像。
在此方案中，主要通过判断露脸程度是否达到一定比例来确定是否露脸直播，例如至少能显示双眼、鼻子，然后计算双眼与鼻子间的距离(如左眼与右眼中心的距离、左眼中心与鼻子中心间的距离、右眼中心与鼻子中心间的距离等)；一般情况下，如果图像中都不能显示完整的双眼、鼻子(或者没有人脸部分)，说明通过人脸识别技术已经不能识别人脸是否相同。
另一方面，当前直播过程中，为了逃避直播平台的监管，部分主播往往采用遮挡方式。例如，采用蒙面、戴眼罩或者二次元遮挡方式，从而给识别带来困难。
在一个实施例中，若所述第二图像为非露脸图像；为了解决上述问题，则步骤S130或者S230，具体可以包括如下：
分别对所述第一图像及第二图像进行人物区域与背景区域的分割，得到第一背景图像和第二背景图像；将所述第一背景图像与第二背景图像进行特征比对，计算第一图像与第二图像的匹配度。
上述实施例的方案，考虑了一般情况下，直播在跨平台直播时，不会更好直播环境，由此，通过从第二图像中提取第二背景图像，将其与第一图像对应的第一背景图像进行特征比对，计算匹配度，从而确定两个图像中的背景图像是否属于同一个直播环境的图像。
作为实施例，上述实施例的方案，步骤S130或S230进一步可以具体包括如下：
a、按照图像中物体特征将第二背景图像划分为多个子区域图像，得到第二子区域图像集合。
将背景图像划分为多个子区域，可以分别对各个子区域图像进行处理，从而便于更加精细地识别图像信息。可以根据背景图像的大小来确定划分子区域的数量。一般情况下，如果是在PC端直播的图像，背景图像中的信息内容较多，对应的背景图像的尺寸较大，在划分子区域时，可以划分更多数量，例如200个；而如果是在手机端直播的图像，背景图像中的信息较少，背景图像尺寸小，在划分子区域时，则适当减少划分的子区域，例如20个。需要说明的是在不考虑设备处理能力及运算的复杂度情况下，划分子区域得越多，越有利于识别准确性。
b、识别第二子区域图像集合中的第二物体对象集合。
在一个实施例中，对于识别第二子区域图像集合中的第二物体对象集合，包括：
(1)对所述第二子区域图像集合的子区域图像进行灰度处理，得到灰度子区域图像。
通过灰度处理，可以降低对图像处理信息量，对于灰度转换，可以采用如下公式：
Gray＝R×0.299+G×0.587+B×0.114
上式中，Gray表示灰度图像，R、G、B分别表示彩色图像的红色(red)，绿(green)和蓝(blue)的三通道灰度值。
(2)对所述灰度子区域图像进行边缘检测，得到物体对象边缘点。
在此过程中，可以采用当前边缘检测算法进行应用，通过边缘检测，提取出各个特定形状的边缘特征。
(3)对所述边缘点进行聚类处理，提取出各个子区域图像中的物体对象，得到第二物体对象集合。
对于前面识别的边缘点，采用聚类算法(例如K-means聚类算法)搜索附近的同一边缘上的相邻点，对像素点进行插值像素点，将离散的边缘点逐渐形成边缘线，从而得到具有相似特征向量的若干个边缘线组合，将每个边缘线组合视为一个物体，由此提取出子区域图像中的物体对象，得到物体对象集合。
c、计算第二物体对象集合中的指定物体对象之间的第二相关参数；根据第一相关参数与第二相关参数的差值确定第一图像与第二图像的匹配度；
其中，所述第一相关参数为预先确定的第一图像中指定物体对象之间的相关参数。
上述实施例的技术方案，按照图像中物体特征将第二背景图像进行划分，从而得到多个子区域图像，然后通过子区域图像来识别出第二背景图像总的若干具有典型特征的物体，参考图4所示，图4中为一个直播的第二图像，可以看到，通过背景图像的处理，能够识别出物体对象，如图中方框所示，例如，桌子、沙发、椅子、床、花瓶等，得到物体对象集合，然后选择指定物体对象，计算第二相关参数，利用第一图像中相同物体对象的第一相关参数与第二相关参数进行比对，计算差值作为匹配度的指标，如果差值在一定范围内，即匹配度达到设定阈值，则判定两者是相同环境的图像。
在上述实施例中，提及了相关参数，对于该相关参数可以表述物体对象之间特定关系的参数，例如，相对距离、颜色对比、相对位置等等。
下面以相关参数为两个指定物体对象之间的像素距离为例，阐述步骤c中计算第二物体对象集合中的指定物体对象之间的第二相关参数的具体方案；具体的，分别计算第二物体对象集合中的指定物体对象两两之间的相对距离，得到指定物体对象的相对距离集合。
以上述物体对象为例，如图4中所示，可以计算桌子到沙发的距离，桌子到床的距离，花瓶相对于门的距离等等。对于计算距离的方案，可以通过计算余弦距离，计算出两个物体对象两两之间的像素距离。
在一个实施例，为了减少计算距离的数据量，可以有选择性地进行计算；如可以在计算第二物体对象集合中的指定物体对象之间的第二相关参数之前，从第二物体对象集合中选择面积较大的若干个物体对象作为指定物体对象。
该实施例方案，可以通过对物体对象的面积进行排序，根据各物体在图像中所占像素的大小，选出图像中面积较大几个物体对象。
在前面实施例中，提供了计算物体对象距离的方案，作为另一种实施例，也可以计算像素均值，即相关参数为指定物体对象的像素均值，下面陈述计算物体对象像素均值的方案。
具体的，步骤c中计算第二物体对象集合中的指定物体对象之间的第二相关参数的具体方案包括：分别计算第二物体对象集合中的指定物体对象的像素均值，得到指定物体对象的像素均值集合。
如图中得到了桌子、沙发、椅子、床、花瓶等的物体对象集合，通过分别计算这些物体对象的像素均值，如果像素均值基本一致，说明这些物体对象是相同的，由此可以判断背景图像是一致的。
在一个实施例中，还可以从声音维度对主播进行验证，在获取目标主播在直播平台的注册信息时，还根据所述注册信息获取所述目标主播的第一声纹信息。
由此，在判定目标主播是否在第二直播台进行跨平台直播时，进一步通过直播视频获取第二直播平台的主播的第二声纹信息，将所述第一声纹信息与第二声纹信息进行比对，若声纹匹配度达到设定阈值，判定所述目标主播与第二直播台的主播为同一个主播。
通过结合声纹信息，可以从图像和声音两个维度来对主播进行识别，从而进一步提高了识别准确性。
在一个实施例中，为了进一步提升识别效率，在识别主播的第二图像时，本申请提供了另外一种快速筛选图像的方案，该方案具体如下：
首先，在目标主播注册时，计算并保存第一图像的第一像素总值；
然后在通过第二直播平台的直播视频获取待识别的主播的第二图像之后，计算所述第二图像的第二像素总值，计算所述第一像素总值与第二像素总值的差值，若所述差值在设定范围内，执行步骤S130或S230。
具体的，通过计算像素总值，如果两个图像是属于同一环境中的拍摄的图像，则其像素总值接近，因此通过对比两个图像差值，如果偏差较大，基本上就可以排除了其属于同一个场景的可能性。
上述实施例的方案能够快速地筛选出主播的第二图像，该技术方案采用易于实现的方式，既可以快速找出待识别的主播的第二图像，又可以便于算法实现，而且无需消耗过多运算资源，能够明显提升识别效率。
作为实施例，在步骤S240，识别出目标主播与第二直播台的待识别主播为同一个主播之后，还可以输出是同一个主播的提示，并列出识别过程信息，可以列出包括参考了哪些维度、准确率等，如声纹匹配度98％、背景图像中：花瓶匹配度95％、沙发匹配度92％。综合评估属于同一主播的概率为95％等。
利用上述提示，直播平台可以对主播进行更好的监管，同时也可以从技术手段上实现对跨平台直播的判定，实现了快速识别、科学客观的效果。
为了更清晰本申请技术方案流程，下面阐述一个识别流程的应用实例，参考图5，图5是一应用示例的识别流程图。
s501，获取待识别的主播的第二图像；
s502，判断第二图像是否为露脸直播图像；若是，执行s503，否则转至s504；
s503，对第二图像进行人脸识别，提取人脸关键特征信息，与目标主播的第一图像的人脸关键特征信息进行比对，确定匹配度；
s504，判断直播的露脸比例达到设定比例值，若是，转至s503，否则执行s505；
s505，开始非露脸模式，对第二图像进行人物与背景分割，得到第二背景图像；
s506，对第二背景图像划分子区域，得到第二子区域图像；
s507，提取第二子区域图像的物体对象，得到物体对象集合；
s508，计算物体对象集合中指定物体对象的相关参数(如距离)；
s509，判断相关参数是否达到设定阈值，若是，执行s510，否则返回s501；
s510，输出是同一个主播的提示，并列出识别过程信息。
上述是本申请的直播平台的主播识别方法的相关实施例内容，下面阐述与其相对的直播平台的主播识别装置实施例。
参考图6所示，图6是一实施例的直播平台的主播识别装置结构示意图。
第一获取模块610，用于获取目标主播在直播平台的注册信息，其中，所述注册信息包括所述目标主播的第一图像；进一步的，可以获取目标主播在第一直播平台的注册信息，其中，所述注册信息包括所述目标主播的第一图像。
第二获取模块620，用于通过直播视频获取待识别的主播的第二图像；进一步的，可以通过第二直播平台的直播视频获取待识别的主播的第二图像。
特征比对模块630，用于分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息，并比对所述第一特征信息与第二特征信息的匹配度；
结果判定模块640，用于若所述匹配度达到设定阈值，则判定所述目标主播与第二直播台的主播为同一个主播；进一步的，若所述匹配度达到设定阈值，则判定所述目标主播与第二直播台的主播为同一个主播，且所述目标主播在第二直播台进行跨平台直播。
本申请还提供一种电子设备，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行任一实施例所述的直播平台的主播识别方法。
本申请提供的技术方案，已经在直播平台的监管上收到了良好的效果。例如，直播平台与签约主播进行商业合作中，有一些主播缺乏契约精神，擅自到其他直播平台开播，而通过在直播平台上运用本申请的技术方案，能够快速地识别出这些行为并做出了提示，从而减少了主播违约现象。特别是对于一些采取蒙面、截眼罩或者以二次元方式遮挡的主播，都能够准确识别出来。
本申请还提供一种计算机设备存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述的直播平台的主播识别方法。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (17)

1.一种直播平台的主播识别方法，其特征在于，包括如下步骤：
获取目标主播在直播平台的注册信息，其中，所述注册信息包括所述目标主播的第一图像；
通过直播视频获取待识别的主播的第二图像；
分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息，并比对所述第一特征信息与第二特征信息的匹配度；
若所述匹配度达到设定阈值，则判定所述目标主播与第二直播台的主播为同一个主播。
2.根据权利要求1所述的直播平台的主播识别方法，其特征在于，所述获取目标主播在直播平台的注册信息，包括：获取目标主播在第一直播平台的注册信息；
所述通过直播视频获取待识别的主播的第二图像，包括：通过第二直播平台的直播视频获取待识别的主播的第二图像；
在判定所述目标主播与第二直播台的主播为同一个主播之后，还包括：判定所述目标主播在第二直播台进行跨平台直播。
3.根据权利要求2所述的直播平台的主播识别方法，其特征在于，若所述第二图像为露脸图像；
所述分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息，并比对所述第一特征信息与第二特征信息的匹配度的步骤包括：
提取所述第一图像的第一人脸特征点以及第二图像的第二人脸特征点；
将所述第一人脸特征点与第二人脸特征点进行比对，计算第一图像与第二图像的匹配度。
4.根据权利要求2所述的直播平台的主播识别方法，其特征在于，还包括：
检测所述第二图像中露脸的人脸区域，若所述人脸区域包含指定的区域，且露脸比例高于设定值，判定所述第二图像为露脸图像。
5.根据权利要求3所述的直播平台的主播识别方法，其特征在于，若所述第二图像为非露脸图像；
所述分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息，并比对所述第一特征信息与第二特征信息的匹配度的步骤包括：
分别对所述第一图像及第二图像进行人物区域与背景区域的分割，得到第一背景图像和第二背景图像；
将所述第一背景图像与第二背景图像进行特征比对，计算第一图像与第二图像的匹配度。
6.根据权利要求5所述的直播平台的主播识别方法，其特征在于，将所述第一背景图像与第二背景图像进行特征比对，计算第一图像与第二图像的匹配度的步骤，包括：
按照图像中物体特征将第二背景图像划分为多个子区域图像，得到第二子区域图像集合；
识别第二子区域图像集合中的第二物体对象集合；
计算第二物体对象集合中的指定物体对象之间的第二相关参数；
根据第一相关参数与第二相关参数的差值确定第一图像与第二图像的匹配度；
其中，所述第一相关参数为预先确定的第一图像中指定物体对象之间的相关参数。
7.根据权利要求6所述的直播平台的主播识别方法，其特征在于，所述相关参数为两个指定物体对象之间的像素距离；
所述计算第二物体对象集合中的指定物体对象之间的第二相关参数包括：
分别计算第二物体对象集合中的指定物体对象两两之间的相对距离，得到指定物体对象的相对距离集合。
8.根据权利要求7所述的直播平台的主播识别方法，其特征在于，在计算第二物体对象集合中的指定物体对象之间的第二相关参数之前，还包括：
从第二物体对象集合中选择物体对象面积超过设定阈值的若干个物体对象作为指定物体对象。
9.根据权利要求6所述的直播平台的主播识别方法，其特征在于，所述相关参数为指定物体对象的像素均值；
所述计算第二物体对象集合中的指定物体对象之间的第二相关参数包括：
分别计算第二物体对象集合中的指定物体对象的像素均值，得到指定物体对象的像素均值集合。
10.根据权利要求7所述的直播平台的主播识别方法，其特征在于，所述识别第二子区域图像集合中的第二物体对象集合，包括：
对所述第二子区域图像集合的子区域图像进行灰度处理，得到灰度子区域图像；
对所述灰度子区域图像进行边缘检测，得到物体对象边缘点；
对所述边缘点进行聚类处理，提取出各个子区域图像中的物体对象，得到第二物体对象集合。
11.根据权利要求2至10任一项所述的直播平台的主播识别方法，其特征在于，还包括：根据所述注册信息获取所述目标主播的第一声纹信息；
若所述匹配度达到设定阈值，则判定所述目标主播在第二直播台进行跨平台直播，包括：
若所述匹配度达到设定阈值，通过直播视频获取第二直播平台的主播的第二声纹信息，将所述第一声纹信息与第二声纹信息进行比对，若声纹匹配度达到设定阈值，判定所述目标主播与第二直播台的主播为同一个主播。
12.根据权利要求10所述的直播平台的主播识别方法，其特征在于，还包括：
计算并保存第一图像的第一像素总值；
通过第二直播平台的直播视频获取待识别的主播的第二图像之后，还包括：
计算所述第二图像的第二像素总值，计算所述第一像素总值与第二像素总值的差值，若所述差值在设定范围内，执行分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息的步骤。
13.根据权利要求2所述的直播平台的主播识别方法，其特征在于，所述通过第二直播平台的直播视频获取待识别的主播的第二图像，包括：
获取所述目标主播的内容特征；
访问所述第二直播平台，根据所述内容特征搜索直播间；
以客户端身份进入所述直播间进行观看直播，获取主播的第二图像。
14.根据权利要求1或2所述的直播平台的主播识别方法，其特征在于，还包括：
在所述目标主播进行直播中，截取直播的实时图像，判断所述实时图像是否与所述第一图像一致；
若不一致，利用所述实时图像对所述第一图像进行更新。
15.一种直播平台的主播识别装置，其特征在于，包括：
第一获取模块，用于获取目标主播在直播平台的注册信息，其中，所述注册信息包括所述目标主播的第一图像；
第二获取模块，用于通过直播视频获取待识别的主播的第二图像；
特征比对模块，用于分别提取所述第一图像的第一特征信息以及第二图像的第二特征信息，并比对所述第一特征信息与第二特征信息的匹配度；
结果判定模块，用于若所述匹配度达到设定阈值，则判定所述目标主播与第二直播台的主播为同一个主播。
16.一种电子设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1～14任一项所述的直播平台的主播识别方法。
17.一种计算机设备存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～14任一项所述的直播平台的主播识别方法。
CN202010367170.9A 2020-04-30 2020-04-30 直播平台的主播识别方法、装置、电子设备及存储介质 Active CN111586427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010367170.9A CN111586427B (zh) 2020-04-30 2020-04-30 直播平台的主播识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010367170.9A CN111586427B (zh) 2020-04-30 2020-04-30 直播平台的主播识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111586427A true CN111586427A (zh) 2020-08-25
CN111586427B CN111586427B (zh) 2022-04-12

Family

ID=72127669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010367170.9A Active CN111586427B (zh) 2020-04-30 2020-04-30 直播平台的主播识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111586427B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965772A (zh) * 2021-10-29 2022-01-21 北京百度网讯科技有限公司 直播视频处理方法、装置、电子设备和存储介质
CN114302157A (zh) * 2021-12-23 2022-04-08 广州津虹网络传媒有限公司 属性标签识别、代播事件检测方法及其装置、设备、介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335465A (zh) * 2015-09-23 2016-02-17 广州酷狗计算机科技有限公司 一种展示主播账户的方法和装置
CN107911724A (zh) * 2017-11-21 2018-04-13 广州华多网络科技有限公司 直播互动方法、装置及系统
CN108777806A (zh) * 2018-05-30 2018-11-09 腾讯科技（深圳）有限公司 一种用户身份识别方法、装置和存储介质
CN109005415A (zh) * 2018-07-26 2018-12-14 阿里巴巴集团控股有限公司 一种网络直播控制方法、装置及系统
CN109086813A (zh) * 2018-07-23 2018-12-25 广州虎牙信息科技有限公司 主播相似度的确定方法、装置、设备及存储介质
WO2019096008A1 (zh) * 2017-11-20 2019-05-23 腾讯科技（深圳）有限公司 身份识别方法、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335465A (zh) * 2015-09-23 2016-02-17 广州酷狗计算机科技有限公司 一种展示主播账户的方法和装置
WO2019096008A1 (zh) * 2017-11-20 2019-05-23 腾讯科技（深圳）有限公司 身份识别方法、计算机设备及存储介质
CN107911724A (zh) * 2017-11-21 2018-04-13 广州华多网络科技有限公司 直播互动方法、装置及系统
CN108777806A (zh) * 2018-05-30 2018-11-09 腾讯科技（深圳）有限公司 一种用户身份识别方法、装置和存储介质
CN109086813A (zh) * 2018-07-23 2018-12-25 广州虎牙信息科技有限公司 主播相似度的确定方法、装置、设备及存储介质
CN109005415A (zh) * 2018-07-26 2018-12-14 阿里巴巴集团控股有限公司 一种网络直播控制方法、装置及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965772A (zh) * 2021-10-29 2022-01-21 北京百度网讯科技有限公司 直播视频处理方法、装置、电子设备和存储介质
CN113965772B (zh) * 2021-10-29 2024-05-10 北京百度网讯科技有限公司 直播视频处理方法、装置、电子设备和存储介质
CN114302157A (zh) * 2021-12-23 2022-04-08 广州津虹网络传媒有限公司 属性标签识别、代播事件检测方法及其装置、设备、介质
CN114302157B (zh) * 2021-12-23 2023-11-17 广州津虹网络传媒有限公司 属性标签识别、代播事件检测方法及其装置、设备、介质

Also Published As

Publication number Publication date
CN111586427B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
US10185877B2 (en) Systems, processes and devices for occlusion detection for video-based object tracking
CN105279487B (zh) 美颜工具筛选方法和系统
JP5701005B2 (ja) 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
CN108154086B (zh) 一种图像提取方法、装置及电子设备
CN110366001B (zh) 视频清晰度的确定方法和装置、存储介质、电子装置
CN111586427B (zh) 直播平台的主播识别方法、装置、电子设备及存储介质
CN111339979B (zh) 基于特征提取的图像识别方法及图像识别装置
US9596520B2 (en) Method and system for pushing information to a client
JP5388829B2 (ja) 侵入物体検知装置
CN111666907B (zh) 一种视频中对象信息的识别方法、装置及服务器
CN110399842B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN110012350B (zh) 一种视频处理方法及装置、设备、存储介质
CN111222508B (zh) 基于roi的户型图比例尺识别方法、装置、计算机设备
CN112818737A (zh) 视频识别方法、装置、存储介质及终端
CN112669342A (zh) 图像分割网络的训练方法及装置、图像分割方法及装置
CN110765903A (zh) 行人重识别方法、装置及存储介质
CN111401238A (zh) 一种视频中人物特写片段的检测方法及装置
CN114332975A (zh) 识别利用模拟覆盖物部分覆盖的对象
CN109919164B (zh) 用户界面对象的识别方法及装置
CN111444822A (zh) 对象识别方法和装置、存储介质和电子装置
CN113869115A (zh) 一种人脸图像处理的方法及系统
CN110019951B (zh) 一种生成视频缩略图的方法及设备
CN111654747B (zh) 弹幕显示方法及装置
CN103984927B (zh) 一种信息处理方法及电子设备
CN107135421B (zh) 视频特征检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210107

Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 29th floor, building B-1, Wanda Plaza, Wanbo business district, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant