CN114866853A - 直播互动方法、装置、设备及存储介质 - Google Patents

直播互动方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114866853A
CN114866853A CN202210378141.1A CN202210378141A CN114866853A CN 114866853 A CN114866853 A CN 114866853A CN 202210378141 A CN202210378141 A CN 202210378141A CN 114866853 A CN114866853 A CN 114866853A
Authority
CN
China
Prior art keywords
picture
user
target
information
live broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210378141.1A
Other languages
English (en)
Inventor
许明微
李小海
王林涛
陈晓辉
李为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210378141.1A priority Critical patent/CN114866853A/zh
Publication of CN114866853A publication Critical patent/CN114866853A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Abstract

本发明涉及互联网技术领域，公开了一种直播互动方法、装置、设备及存储介质，所述方法包括：接收用户发送的图片；将所述用户发送的图片与直播图片库中的图片中的关键点进行去冗处理，并通过去冗后的关键点进行图片比对；在比对成功时，从接收的直播互动信息中确定和所述用户发送的图片相匹配的目标信息；根据所述目标信息和用户发送的图片生成并输出互动图片，以通过所述互动图片进行直播互动；通过上述方式，使得用户与主播之间可以通过互动图片进行直播互动，相较于现有技术仅通过文字评论的方式进行互动，能够有效提高直播互动的体验感和亲近感，且能够直观表达用户的需求。

Description

直播互动方法、装置、设备及存储介质
技术领域
本发明涉及互联网技术领域，尤其涉及直播互动方法、装置、设备及存储介质。
背景技术
视频直播作为一种新兴的娱乐方式，已经被很多人熟知，现阶段的直播类应用主要依靠文字进行互动交流，即观众在观看直播的过程中通过特定输入框输入文字内容，然后将文字内容发送并显示在特定评论区，以表达自己的需求，在主播看到评论区的文字时，通过语音对评论进行回复，但是仅依靠文字进行直播互动的方式在一定程度上是不对等的，例如，主播在卖货的过程中，观众想让主播再看下之前播过某个商品，由于通常主播播过的商品较多，导致自己都忘记了介绍过的商品，即使观众通过大量的文字对该商品进行描述，但是主播依然想不起来实际的商品，这样既耽误主播的卖货时间，还影响观众的购物体验，即通过以上的文字互动形式不仅不够直接表达观众的需求，还缺乏直播互动的亲近感。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种直播互动方法、装置、设备及存储介质，旨在解决现有技术通过单一文字评论的方式进行直播互动，造成直播互动的体验感和亲近感较低，且无法直观表达用户的需求的技术问题。
为实现上述目的，本发明提供了一种直播互动方法，所述直播互动方法包括以下步骤：
将用户发送的图片与直播图片库中的图片中的关键点进行去冗处理，并通过去冗后的关键点进行图片比对；
在比对成功时，从接收的直播交互信息中确定和所述用户发送的图片相匹配的目标信息；
根据所述目标信息和用户发送的图片生成并输出互动图片，以通过所述互动图片进行直播互动。
可选地，所述将用户发送的图片与直播图片库中的图片中的关键点进行去冗处理，并通过去冗后的关键点进行图片比对，包括：
通过目标图像匹配算法分别对用户发送的图片和直播图片库进行提取，得到用户图片关键点和图片库关键点；
根据所述用户图片关键点和图片库关键点得到关键点间距；
根据所述关键点间距和目标关键点间距阈值确定对应的关键冗余点；
对所述关键冗余点进行去冗处理，得到去冗后的关键点；
通过目标特征描述符构建策略对所述去冗后的关键点进行构建，得到目标特征描述符；
根据邻距离比率匹配策略对所述目标特征描述符进行图片比对。
可选地，所述根据所述关键点间距和目标关键点间距阈值确定对应的关键冗余点，包括：
对所述关键点间距和关键点数量进行计算，得到对应的组数和组距；
根据所述组数和组距构建对应的关键点直方图；
根据所述关键点直方图得到对应的相邻组频率集合；
将所述相邻组频率集合中的各个组频率进行比值计算，得到当前频率比值；
根据所述当前频率比值和目标频率阈值得到目标关键点间距阈值；
在所述关键点间距小于目标关键点间距阈值时，根据所述关键点间距得到对应的关键冗余点。
可选地，所述根据所述当前频率比值和目标频率阈值得到目标关键点间距阈值，包括：
在所述当前频率比值小于目标频率阈值时，根据所述当前频率比值得到对应的相邻组，所述相邻组由第一组和第二组构成；
在所述第一组的序号小于第二组的序号时，将所述第一组的关键点间距作为关键点阈值；
在关键点间距大于所述关键点阈值时，根据关键点间距得到对应的多组关键点间距组合；
对所述多组关键点间距组合进行计算，得到对应的多组关键点方差组合；
提取所述多组关键点方差组合的目标关键点方差；
根据所述目标关键点方差得到目标关键点间距阈值。
可选地，所述在比对成功时，从接收的直播交互信息中确定和所述用户发送的图片相匹配的目标信息，包括：
在比对成功时，根据所述用户发送的图片得到对应的图片标识信息；
通过所述图片标识信息对所述接收的直播交互信息中的其他用户信息进行过滤；
根据数字识别策略对过滤后的直播交互信息中的数字信息进行过滤；
通过目标时间间隔对过滤数字信息的直播交互信息中的文字信息进行过滤，得到当前交互信息；
将所述当前交互信息和所述用户发送的图片进行图文匹配，得到与所述用户发送的图片相匹配的目标信息。
可选地，所述将所述当前交互信息和所述图片进行图文匹配，得到与所述用户发送的图片相匹配的目标信息，包括：
对所述用户发送的图片进行特征提取，得到对应的图片特征；
对所述当前交互信息进行特征提取，得到对应的文本特征；
将所述图片特征和文本特征进行图文匹配，得到对应的匹配度信息集合；
根据目标损失函数对所述匹配度信息集合进行度量，得到与所述用户发送的图片相匹配的目标信息。
可选地，所述根据所述目标信息和用户发送的图片生成并输出互动图片，以通过所述互动图片进行直播互动，包括：
通过预设关联规则将所述目标匹配度信息和用户发送的图片进行关联，以生成并输出互动图片；
对所述互动图片进行识别，得到对应的商品，并将所述商品以及对应的商品链接推送并显示在目标用户的终端；
将所述互动图片发送至直播界面，以使主播通过目标图片与用户进行互动。
此外，为实现上述目的，本发明还提出一种直播互动装置，所述直播互动装置包括：
接收模块，用于接收用户发送的图片；
比对模块，用于将用户发送的图片与直播图片库中的图片中的关键点进行去冗处理，并通过去冗后的关键点进行图片比对；
判断模块，用于在比对成功时，从接收的直播交互信息中确定和所述用户发送的图片相匹配的目标信息；
生成模块，用于根据所述目标信息和用户发送的图片生成并输出互动图片，以通过所述互动图片进行直播互动。
此外，为实现上述目的，本发明还提出一种直播互动设备，所述直播互动设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的直播互动程序，所述直播互动程序配置为实现如上文所述的直播互动方法。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有直播互动程序，所述直播互动程序被处理器执行时实现如上文所述的直播互动方法。
本发明提出的直播互动方法，通过接收用户发送的图片；将用户发送的图片与直播图片库中的图片中的关键点进行去冗处理，并通过去冗后的关键点进行图片比对；在比对成功时，从接收的直播交互信息中确定和所述用户发送的图片相匹配的目标信息；根据所述目标信息和用户发送的图片生成并输出互动图片，以通过所述互动图片进行直播互动；由于本发明是通过对用户发送的图片和直播图片库中图片的关键点进行去冗处理，然后比对去冗后的图片，在比对成功时，根据目标匹配度信息和图片生成用于直播互动的目标互动图片，相较于现有技术仅通过文字评论的方式进行互动，能够有效提高直播互动的体验感和亲近感，且能够直观表达用户的需求。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的直播互动设备的结构示意图；
图2为本发明直播互动方法第一实施例的流程示意图；
图3为本发明直播互动方法第二实施例的流程示意图；
图4为本发明直播互动方法第三实施例的流程示意图；
图5为本发明直播互动装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的直播互动设备结构示意图。
如图1所示，该直播互动设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对直播互动设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及直播互动程序。
在图1所示的直播互动设备中，网络接口1004主要用于与网络一体化平台工作站进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明直播互动设备中的处理器1001、存储器1005可以设置在直播互动设备中，所述直播互动设备通过处理器1001调用存储器1005中存储的直播互动程序，并执行本发明实施例提供的直播互动方法。
基于上述硬件结构，提出本发明直播互动方法实施例。
参照图2，图2为本发明直播互动方法第一实施例的流程示意图。
在第一实施例中，所述直播互动方法包括以下步骤：
步骤S10，接收用户发送的图片。
需要说明的是，本实施例的执行主体为直播互动设备，还可为其他可实现相同或相似功能的设备，例如直播控制器等，本实施例对此不作限制，在本实施例中，以直播控制器为例进行说明。
可以理解的是，用户发送的图片指的是用户通过特定的互动输入框发送的图片，该图片可以为主播讲解过的任一商品的图片。
步骤S20，将用户发送的图片与直播图片库中的图片中的关键点进行去冗处理，并通过去冗后的关键点进行图片比对。
应当理解的是，直播图片库指的是主播上传的商品库中各商品的图片库，为了有效降低图片比对的复杂度，将用户发送的图片与直播图片库中的图片进行比对前，需要将图片中关键点进行去冗，然后通过去冗后的关键点进行图片比对。
步骤S30，在比对成功时，从接收的直播交互信息中确定和所述用户发送的图片相匹配的目标信息。
可以理解的是，直播交互信息指的是用户通过特定的互动输入框发送的文字信息，该直播交互信息可以为预设时间段内用户发送的文字交互信息，直播交互信息的数量可以为多条。
应当理解的是，目标信息指的是与用户发送的图片匹配程序最高的交互信息，在用户发送的图片与直播图片库中的图片比对成功时，将用户发送的图片与接收的直播交互信息进行图文匹配，得到用户发送的图片相匹配的目标信息。
步骤S40，根据所述目标信息和用户发送的图片生成并输出互动图片，以通过所述互动图片进行直播互动。
应当理解的是，互动图片指的是用户与主播进行互动的图片，该互动图片包括用户昵称、用户发送的图片以及目标信息，然后将该互动图片通过特定互动输入框发送至直播界面，使得主播可以短时间内确定用户的购买意图，从而实现主播与用户之间的互动。
进一步地，步骤S30，包括：通过预设关联规则将所述目标匹配度信息和用户发送的图片进行关联，以生成并输出互动图片；对所述互动图片进行识别，得到对应的商品，并将所述商品以及对应的商品链接推送并显示在目标用户的终端；将所述互动图片发送至直播界面，以使主播通过目标图片与用户进行互动。
可以理解的是，预设关联规则指的是关联信息与图片的规则，在本实施例中，通过预设关联规则将目标匹配度信息与图片进行关联，得到目标互动图片，例如，目标匹配度信息为“这件衣服蓝色还会补库存不？”，用户发送的图片为蓝色款衣服图片，然后通过预设关联规则对目标匹配度信息和图片进行关联，而主播在看到关联的目标互动图片后，可以直观了解到客户想要咨询或者购买的商品，并及时进行回复，进而能够节约直播间的主播与用户之间双向的沟通成本，同时，通过识别互通图片得到相对应的商品，然后直接将商品以及商品对应的链接推送并显示在目标用户的终端，进而提高用户的体验感。
本实施例通过接收用户发送的图片；将所述用户发送的图片与直播图片库中的图片中的关键点进行去冗处理，并通过去冗后的关键点进行图片比对；在比对成功时，从接收的直播互动信息中确定和所述用户发送的图片相匹配的目标信息；根据所述目标信息和用户发送的图片生成并输出互动图片，以通过所述互动图片进行直播互动；通过上述方式，使得用户与主播之间可以通过互动图片进行直播互动，相较于现有技术仅通过文字评论的方式进行互动，能够有效提高直播互动的体验感和亲近感，且能够直观表达用户的需求。
在一实施例中，如图3所述，基于第一实施例提出本发明直播互动方法第二实施例，所述步骤S20，包括：
步骤S201，通过目标图像匹配算法分别对用户发送的图片和直播图片库进行提取，得到用户图片关键点和图片库关键点。
应当理解的是，目标图像匹配算法指的是针对不同图像之间的匹配算法，该目标图像匹配算法可以为尺度不变特征变换算法(Scale-invariant feature transform，SIFT)，通过目标图像匹配算法分别对用户发送的图片和直播图片库中的图片进行提取，得到对应的用户图片关键点和图片库关键点，用户图片关键点指的是用户发送的图片中的关键点，同样，图片库关键点指的是直播图片库中图片的关键点。
步骤S202，根据所述用户图片关键点和图片库关键点得到关键点间距。
可以理解的是，关键点间距指的是用户图片关键点与图片库关键点之间的距离，具体是通过公式一计算关键点间距：
Figure BDA0003591636030000081
其中，d(xi,xj)为关键点间距，xi为用户图片关键点，xj为图片库关键点，xi(m)为用户图片关键点的第m个坐标，xj(m)为图片库关键点的第m个坐标，xi、xj均为n维的向量，上述公式只是一种实例，具体计算过程可根据实际情况进行调整，在此不作限制。
步骤S203，根据所述关键点间距和目标关键点间距阈值确定对应的关键冗余点。
应当理解的是，目标关键点间距阈值指的是离散程度最小的最优关键点间距，关键冗余点指的是用户图片关键点和图片库关键点中无用的关键点，该关键冗余点的确定是基于关键点间距和目标关键点间距阈值，具体为在关键点间距小于目标关键点间距阈值时，则确定该关键点间距对应的关键点为关键冗余点。
进一步地，步骤S103，包括：对所述关键点间距和关键点数量进行计算，得到对应的组数和组距；根据所述组数和组距构建对应的关键点直方图；根据所述关键点直方图得到对应的相邻组频率集合；将所述相邻组频率集合中的各个组频率进行比值计算，得到当前频率比值；根据所述当前频率比值和目标频率阈值得到目标关键点间距阈值；在所述关键点间距小于目标关键点间距阈值时，根据所述关键点间距得到对应的关键冗余点。
可以理解的是，组数指的是构建关键点直方图的组别数量，组距指的是组别与组别之间的间距，具体是通过公式二计算出组数，以及通过公式三计算出组距：
Figure BDA0003591636030000091
其中，gn为组数，N为每张图中关键点数量；
Figure BDA0003591636030000092
其中，gd为组距，gn为组数，max(d(xi,xj))为最大关键点间距，min(d(xi,xj)为最小关键点间距，上述公式只是一种实例，具体计算过程可根据实际情况进行调整，在此不作限制。
应当理解的是，关键点直方图指的是每一张图片中所有关键点间距的直方图，相邻组频率集合指的是各个相邻两组之间的频率构成的集合，例如，第p组对应的频率为fp，第p+1组对应的频率为fp+1，fp和fp+1为相邻组，当前频率比值指的是相邻两组对应的频率之间的比值，具体为：
Figure BDA0003591636030000093
其中，r为当前频率比值，fp为第p组对应的频率，fp+1为第p+1组对应的频率，p为组名，上述公式只是一种实例，具体计算过程可根据实际情况进行调整，在此不作限制。
应当理解的是，目标频率阈值指的是频率比值的最小值，在当前频率比值小于目标频率阈值时，得到目标关键点间距阈值。
进一步地，根据所述当前频率比值和目标频率阈值得到目标关键点间距阈值，包括：在所述当前频率比值小于目标频率阈值时，根据所述当前频率比值得到对应的相邻组，所述相邻组由第一组和第二组构成；在所述第一组的序号小于第二组的序号时，将所述第一组的关键点间距作为关键点阈值；在关键点间距大于所述关键点阈值时，根据关键点间距得到对应的多组关键点间距组合；对所述多组关键点间距组合进行计算，得到对应的多组关键点方差组合；提取所述多组关键点方差组合的目标关键点方差；根据所述目标关键点方差得到目标关键点间距阈值。
应当理解的是，在得到当前频率比值后，需要判断该当前频率比值是否小于目标频率阈值，若是，则根据当前频率比值得到对应的相邻组，即第一组和第二组，该第一组可以为p，第二组可以为p+1，然后将当前频率比值较小的组序号对应的关键点间距作为关键点阈值，在关键点间距大于关键点阈值时，根据关键点间距得到对应的多组关键点间距组合，具体为：
Figure BDA0003591636030000101
其中，C1、C2...Cthmax为多组关键点间距，d(xi,xj)为关键点间距，thmax关键点阈值，N为每张图中关键点数量，上述公式只是一种实例，具体计算过程可根据实际情况进行调整，在此不作限制。
可以理解的是，目标关键点方差指的是多组关键点间距组合中关键点间距的方差，具体为：
Figure BDA0003591636030000102
其中，
Figure BDA0003591636030000103
为关键点方差，Ci为关键点间距大于关键点阈值的关键点间距，i为关键点阈值，上述公式只是一种实例，具体计算过程可根据实际情况进行调整，在此不作限制。
步骤S204，对所述关键冗余点进行去冗处理，得到去冗后的关键点。
可以理解的是，去冗后的关键点指的是将图片中的关键冗余点去冗后的关键点，也就是说将图片中无用的关键点剔除，剩下的关键点都是有用的。
步骤S205，通过目标特征描述符构建策略对所述去冗后的关键点进行构建，得到目标特征描述符。
应当理解的是，目标特征描述符构建策略指的是构建可以描述关键点向量的策略，通过目标特征描述符构建策略构建的目标特征描述符可以简洁明了地描述出去冗后的关键点。
步骤S206，根据邻距离比率匹配策略对所述目标特征描述符进行图片比对。
可以理解的是，邻距离比率匹配策略指的是匹配图片的策略，该邻距离比率匹配策略可以为最近邻距离比率匹配策略(NNDR)，此时利用欧式距离作为度量，根据邻距离比率匹配策略对目标特征描述符进行图片比对。
本实施例通过目标图像匹配算法分别提取用户发送的图片和直播图片库的用户图片关键点和图片库关键点，然后根据用户图片关键点和图片库关键点计算出关键点间距，再根据关键点间距和目标关键点间距阈值的比较确定关键冗余点，再对关键冗余点进行去冗处理，然后通过目标特征描述符构建策略构建与去冗后的关键点对应的目标特征描述符，最后通过邻距离比率匹配策略对目标特征描述符进行图片比对，从而能够有效提高图片比对的效率和准确率。
在一实施例中，如图4所述，基于第一实施例提出本发明直播互动方法第三实施例，所述步骤S30，包括：
步骤S301，在比对成功时，根据所述用户发送的图片得到对应的图片标识信息。
可以理解的是，图片标识信息指的是能够唯一识别用户发送的图片的标识信息，该图片标识信息可以为图片id，通过该图片id可以定位到唯一用户。
步骤S302，通过所述图片标识信息对所述接收的直播交互信息中的其他用户信息进行过滤。
应当理解的是，在得到图片标识信息和接收到直播交互信息后，通过图片标识信息对直播交互信息中的其他用户信息进行过滤，即只保留该图片标识信息对应用户的交互信息，从而能够有效减少匹配信息的数量，进而提高图片与信息的匹配效率。
步骤S303，根据数字识别策略对过滤后的直播交互信息中的数字信息进行过滤。
可以理解的是，数字识别策略指的是通过数字特性过滤信息的策略，数字过滤信息指的是通过数字识别策略过滤直播交互信息中的数字信息后剩下的交互信息，由于用户发送的图片一般是针对自己所发送的文字信息的补充说明，所以可以将用户发送的历史信息中的数字信息直接过滤掉，该数字信息可以为“1”、“13”以及“999”等，例如，过滤后的直播交互信息为“1号链接中的衣服还有其他颜色吗？”，通过数字识别策略将过滤后的直播交互信息中的1号去掉，即为“链接中的衣服还有其他颜色吗？”，从而能够进一步少匹配信息的数量，进而提高图片与信息的匹配效率。
步骤S304，通过目标时间间隔对过滤数字信息的直播交互信息中的文字信息进行过滤，得到当前交互信息。
应当理解的是，当前交互信息指的是通过目标时间间隔过滤直播交互信息中的文字信息后剩下的信息，目标时间间隔指的是用户发送信息的间隔，该目标时间间隔可以为30分钟，由于用户发送的图片不会是针对自己前30分钟前发送的信息，因此，可以通过目标时间间隔对直播交互信息进行进一步过滤，且用户发送的信息与图片的时间间隔越短，相关性越强，而能够进一步少匹配信息的数量，进而提高图片与信息的匹配效率。
步骤S305，将所述当前交互信息和所述图片进行图文匹配，得到与所述用户发送的图片相匹配的目标信息。
可以理解的是，在得到当前交互信息后，将当前交互信息与用户发送的图片进行图文匹配，然后从匹配结果中选取匹配程度最高的信息作为与用户发送的图片相匹配的目标信息。
进一步地，步骤S305，包括：对所述用户发送的图片进行特征提取，得到对应的图片特征；对所述当前交互信息进行特征提取，得到对应的文本特征；将所述图片特征和文本特征进行图文匹配，得到对应的匹配度信息集合；根据目标损失函数对所述匹配度信息集合进行度量，得到与所述用户发送的图片相匹配的目标信息。
应当理解的是，图片特征指的是能够唯一识别图片的特征，该图片特征可以通过卷积神经网络(Convolutional Neural Networks，CNN)特征提取用户发送的图片得到，也可以通过其他方式得到，在此不作限制，同样，文本特征指的是能够唯一识别当前交互信息的特征，该文本特征可以通过循环神经网络(Recurrent Neural Network，RNN)特征提取当前交互信息得到的，也可以通过其他方式得到，在此不作限制，在得到图片特征和文本特征后，将图片特征和文本特征进行图文匹配，最后通过目标损失函数度量出目标匹配度信息，该目标损失函数可以为Hinge-based Triplet Ranking Loss。
本实施例在比对成功时，根据所述用户发送的图片得到对应的图片标识信息；通过所述图片标识信息对所述接收的直播交互信息中的其他用户信息进行过滤；根据数字识别策略对过滤后的直播交互信息中的数字信息进行过滤；通过目标时间间隔对过滤数字信息的直播交互信息中的文字信息进行过滤，得到当前交互信息；将所述当前交互信息和所述用户发送的图片进行图文匹配，得到与所述用户发送的图片相匹配的目标信息；由于本实施例是根据用户发送的图片得到对应的图片标识信息，然后通过图片标识信息、数字识别策略以及目标时间间隔依次对接收的直播交互信息进行过滤，得到当前交互信息，再将当前交互信息与图片进行图文匹配，从而能够有效提高得到目标信息的效率。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有直播互动程序，所述直播互动程序被处理器执行时实现如上文所述的直播互动方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，参照图5，本发明实施例还提出一种直播互动装置，所述直播互动装置包括：
接收模块10，用于接收用户发送的图片。
比对模块20，用于将用户发送的图片与直播图片库中的图片中的关键点进行去冗处理，并通过去冗后的关键点进行图片比对。
判断模块30，用于在比对成功时，从接收的直播交互信息中确定和所述用户发送的图片相匹配的目标信息。
生成模块40，用于根据所述目标信息和用户发送的图片生成并输出互动图片，以通过所述互动图片进行直播互动。
本实施例通过将用户发送的图片与直播图片库中的图片中的关键点进行去冗处理，并通过去冗后的关键点进行图片比对；在比对成功时，从接收的直播交互信息中确定和所述用户发送的图片相匹配的目标信息；根据所述目标信息和用户发送的图片生成并输出互动图片，以通过所述互动图片进行直播互动；通过上述方式，使得用户与主播之间可以通过互动图片进行直播互动，相较于现有技术仅通过文字评论的方式进行互动，能够有效提高直播互动的体验感和亲近感，且能够直观表达用户的需求。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的直播互动方法，此处不再赘述。
在一实施例中，所述比对模块20，还用于通过目标图像匹配算法分别对用户发送的图片和直播图片库进行提取，得到用户图片关键点和图片库关键点；根据所述用户图片关键点和图片库关键点得到关键点间距；根据所述关键点间距和目标关键点间距阈值确定对应的关键冗余点；对所述关键冗余点进行去冗处理，得到去冗后的关键点；通过目标特征描述符构建策略对所述去冗后的关键点进行构建，得到目标特征描述符；根据邻距离比率匹配策略对所述目标特征描述符进行图片比对。
在一实施例中，所述比对模块20，还用于对所述关键点间距和关键点数量进行计算，得到对应的组数和组距；根据所述组数和组距构建对应的关键点直方图；根据所述关键点直方图得到对应的相邻组频率集合；将所述相邻组频率集合中的各个组频率进行比值计算，得到当前频率比值；根据所述当前频率比值和目标频率阈值得到目标关键点间距阈值；在所述关键点间距小于目标关键点间距阈值时，根据所述关键点间距得到对应的关键冗余点。
在一实施例中，所述比对模块20，还用于在所述当前频率比值小于目标频率阈值时，根据所述当前频率比值得到对应的相邻组，所述相邻组由第一组和第二组构成；在所述第一组的序号小于第二组的序号时，将所述第一组的关键点间距作为关键点阈值；在关键点间距大于所述关键点阈值时，根据关键点间距得到对应的多组关键点间距组合；对所述多组关键点间距组合进行计算，得到对应的多组关键点方差组合；提取所述多组关键点方差组合的目标关键点方差；根据所述目标关键点方差得到目标关键点间距阈值。
在一实施例中，所述判断模块30，还用于在比对成功时，根据所述用户发送的图片得到对应的图片标识信息；通过所述图片标识信息对所述接收的直播交互信息中的其他用户信息进行过滤；根据数字识别策略对过滤后的直播交互信息中的数字信息进行过滤；通过目标时间间隔对过滤数字信息的直播交互信息中的文字信息进行过滤，得到当前交互信息；将所述当前交互信息和所述用户发送的图片进行图文匹配，得到与所述用户发送的图片相匹配的目标信息。
在一实施例中，所述判断模块30，还用于对所述用户发送的图片进行特征提取，得到对应的图片特征；对所述当前交互信息进行特征提取，得到对应的文本特征；将所述图片特征和文本特征进行图文匹配，得到对应的匹配度信息集合；根据目标损失函数对所述匹配度信息集合进行度量，得到与所述用户发送的图片相匹配的目标信息。
在一实施例中，所述生成模块40，还用于通过预设关联规则将所述目标匹配度信息和用户发送的图片进行关联，以生成并输出互动图片；对所述互动图片进行识别，得到对应的商品，并将所述商品以及对应的商品链接推送并显示在目标用户的终端；将所述互动图片发送至直播界面，以使主播通过目标图片与用户进行互动。
本发明所述直播互动装置的其他实施例或具有实现方法可参照上述各方法实施例，此处不在赘余。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，一体化平台工作站，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种直播互动方法，其特征在于，所述直播互动方法包括以下步骤：
接收用户发送的图片；
将所述用户发送的图片与直播图片库中的图片中的关键点进行去冗处理，并通过去冗后的关键点进行图片比对；
在比对成功时，从接收的直播交互信息中确定和所述用户发送的图片相匹配的目标信息；
根据所述目标信息和用户发送的图片生成并输出互动图片，以通过所述互动图片进行直播互动。
2.如权利要求1所述的直播互动方法，其特征在于，所述将所述用户发送的图片与直播图片库中的图片中的关键点进行去冗处理，并通过去冗后的关键点进行图片比对，包括：
通过目标图像匹配算法分别对用户发送的图片和直播图片库进行提取，得到用户图片关键点和图片库关键点；
根据所述用户图片关键点和图片库关键点得到关键点间距；
根据所述关键点间距和目标关键点间距阈值确定对应的关键冗余点；
对所述关键冗余点进行去冗处理，得到去冗后的关键点；
通过目标特征描述符构建策略对所述去冗后的关键点进行构建，得到目标特征描述符；
根据邻距离比率匹配策略对所述目标特征描述符进行图片比对。
3.如权利要求2所述的直播互动方法，其特征在于，所述根据所述关键点间距和目标关键点间距阈值确定对应的关键冗余点，包括：
对所述关键点间距和关键点数量进行计算，得到对应的组数和组距；
根据所述组数和组距构建对应的关键点直方图；
根据所述关键点直方图得到对应的相邻组频率集合；
将所述相邻组频率集合中的各个组频率进行比值计算，得到当前频率比值；
根据所述当前频率比值和目标频率阈值得到目标关键点间距阈值；
在所述关键点间距小于目标关键点间距阈值时，根据所述关键点间距得到对应的关键冗余点。
4.如权利要求3所述的直播互动方法，其特征在于，所述根据所述当前频率比值和目标频率阈值得到目标关键点间距阈值，包括：
在所述当前频率比值小于目标频率阈值时，根据所述当前频率比值得到对应的相邻组，所述相邻组由第一组和第二组构成；
在所述第一组的序号小于第二组的序号时，将所述第一组的关键点间距作为关键点阈值；
在关键点间距大于所述关键点阈值时，根据关键点间距得到对应的多组关键点间距组合；
对所述多组关键点间距组合进行计算，得到对应的多组关键点方差组合；
提取所述多组关键点方差组合的目标关键点方差；
根据所述目标关键点方差得到目标关键点间距阈值。
5.如权利要求1所述的直播互动方法，其特征在于，所述在比对成功时，从接收的直播交互信息中确定和所述用户发送的图片相匹配的目标信息，包括：
在比对成功时，根据所述用户发送的图片得到对应的图片标识信息；
通过所述图片标识信息对所述接收的直播交互信息中的其他用户信息进行过滤；
根据数字识别策略对过滤后的直播交互信息中的数字信息进行过滤；
通过目标时间间隔对过滤数字信息的直播交互信息中的文字信息进行过滤，得到当前交互信息；
将所述当前交互信息和所述用户发送的图片进行图文匹配，得到与所述用户发送的图片相匹配的目标信息。
6.如权利要求5所述的直播互动方法，其特征在于，所述将所述当前交互信息和所述用户发送的图片进行图文匹配，得到与所述用户发送的图片相匹配的目标信息，包括：
对所述用户发送的图片进行特征提取，得到对应的图片特征；
对所述当前交互信息进行特征提取，得到对应的文本特征；
将所述图片特征和文本特征进行图文匹配，得到对应的匹配度信息集合；
根据目标损失函数对所述匹配度信息集合进行度量，得到与所述用户发送的图片相匹配的目标信息。
7.如权利要求1至6中任一项所述的直播互动方法，其特征在于，所述根据所述目标信息和用户发送的图片生成并输出互动图片，以通过所述互动图片进行直播互动，包括：
通过预设关联规则将所述目标匹配度信息和用户发送的图片进行关联，以生成并输出互动图片；
对所述互动图片进行识别，得到对应的商品，并将所述商品以及对应的商品链接推送并显示在目标用户的终端；
将所述互动图片发送至直播界面，以使主播通过目标图片与用户进行互动。
8.一种直播互动装置，其特征在于，所述直播互动装置包括：
接收模块，用于接收用户发送的图片；
比对模块，用于将用户发送的图片与直播图片库中的图片中的关键点进行去冗处理，并通过去冗后的关键点进行图片比对；
判断模块，用于在比对成功时，从接收的直播交互信息中确定和所述用户发送的图片相匹配的目标信息；
生成模块，用于根据所述目标信息和用户发送的图片生成并输出互动图片，以通过所述互动图片进行直播互动。
9.一种直播互动设备，其特征在于，所述直播互动设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的直播互动程序，所述直播互动程序配置有实现如权利要求1至7中任一项所述的直播互动方法。
10.一种存储介质，其特征在于，所述存储介质上存储有直播互动程序，所述直播互动程序被处理器执行时实现如权利要求1至7中任一项所述的直播互动方法。
CN202210378141.1A 2022-04-12 2022-04-12 直播互动方法、装置、设备及存储介质 Pending CN114866853A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210378141.1A CN114866853A (zh) 2022-04-12 2022-04-12 直播互动方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210378141.1A CN114866853A (zh) 2022-04-12 2022-04-12 直播互动方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114866853A true CN114866853A (zh) 2022-08-05

Family

ID=82630159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210378141.1A Pending CN114866853A (zh) 2022-04-12 2022-04-12 直播互动方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114866853A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162213A (zh) * 2016-07-11 2016-11-23 福建方维信息科技有限公司 一种基于视频直播购物的商品展示方法及系统
US20170280054A1 (en) * 2016-03-22 2017-09-28 Le Holdings (Beijing) Co., Ltd. Method and electronic device for panoramic live broadcast
CN107945111A (zh) * 2017-11-17 2018-04-20 中国矿业大学 一种基于surf特征提取结合cs‑lbp描述符的图像拼接方法
CN108124184A (zh) * 2016-11-28 2018-06-05 广州华多网络科技有限公司 一种直播互动的方法及装置
CN111915645A (zh) * 2020-07-14 2020-11-10 珠海大横琴科技发展有限公司 影像匹配方法、装置、计算机设备及计算机可读存储介质
CN111918075A (zh) * 2020-07-15 2020-11-10 腾讯科技（深圳）有限公司 展示对象相关信息的输出方法、装置、介质及电子设备
CN113448475A (zh) * 2021-06-30 2021-09-28 广州博冠信息科技有限公司 虚拟直播间的交互控制方法、装置、存储介质与电子设备
CN113596496A (zh) * 2021-07-28 2021-11-02 广州博冠信息科技有限公司 虚拟直播间的交互控制方法、装置、介质及电子设备
CN113689253A (zh) * 2021-07-09 2021-11-23 广州华多网络科技有限公司 直播场景订单生成方法及其相应的装置、设备、介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170280054A1 (en) * 2016-03-22 2017-09-28 Le Holdings (Beijing) Co., Ltd. Method and electronic device for panoramic live broadcast
CN106162213A (zh) * 2016-07-11 2016-11-23 福建方维信息科技有限公司 一种基于视频直播购物的商品展示方法及系统
CN108124184A (zh) * 2016-11-28 2018-06-05 广州华多网络科技有限公司 一种直播互动的方法及装置
CN107945111A (zh) * 2017-11-17 2018-04-20 中国矿业大学 一种基于surf特征提取结合cs‑lbp描述符的图像拼接方法
CN111915645A (zh) * 2020-07-14 2020-11-10 珠海大横琴科技发展有限公司 影像匹配方法、装置、计算机设备及计算机可读存储介质
CN111918075A (zh) * 2020-07-15 2020-11-10 腾讯科技（深圳）有限公司 展示对象相关信息的输出方法、装置、介质及电子设备
CN113448475A (zh) * 2021-06-30 2021-09-28 广州博冠信息科技有限公司 虚拟直播间的交互控制方法、装置、存储介质与电子设备
CN113689253A (zh) * 2021-07-09 2021-11-23 广州华多网络科技有限公司 直播场景订单生成方法及其相应的装置、设备、介质
CN113596496A (zh) * 2021-07-28 2021-11-02 广州博冠信息科技有限公司 虚拟直播间的交互控制方法、装置、介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘玉轩;蓝朝桢;李参海;姚富山;李林;: "无人机影像匹配中尺度不变特征应用改进", 测绘科学, no. 07, 9 March 2016 (2016-03-09) *

Similar Documents

Publication Publication Date Title
CN109409349B (zh) 信贷证件鉴别方法、装置、终端及计算机可读存储介质
CN109754316B (zh) 产品推荐方法、产品推荐系统及存储介质
CN110072140B (zh) 一种视频信息提示方法、装置、设备及存储介质
CN109446171B (zh) 一种数据处理方法和装置
US20190155864A1 (en) Method and apparatus for recommending business object, electronic device, and storage medium
CN109886223B (zh) 人脸识别方法、底库录入方法、装置及电子设备
CN110807110A (zh) 结合局部和全局特征的图片搜索方法、装置及电子设备
US20220284472A1 (en) Methods and apparatuses, electronic devices, and storage media for information delivery
CN111553241A (zh) 掌纹的误匹配点剔除方法、装置、设备及存储介质
CN112991151B (zh) 图像处理方法、图像生成方法、装置、设备和介质
CN114866853A (zh) 直播互动方法、装置、设备及存储介质
CN110085292B (zh) 药品推荐方法、装置及计算机可读存储介质
CN116028708A (zh) 推荐模型的训练方法及装置
CN111354013A (zh) 目标检测方法及装置、设备和存储介质
CN111754518B (zh) 图像集合的扩充方法、装置及电子设备
CN111274488B (zh) 推荐方法、装置、设备、系统、待执行终端及存储介质
CN114283349A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN112884866A (zh) 一种黑白视频的上色方法、装置、设备及存储介质
CN112487175A (zh) 参展人流控制方法、装置、服务器及计算机可读存储介质
CN111127310A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113947802B (zh) 有遮挡人脸识别方法、装置、设备及可读存储介质
CN117217831B (zh) 广告投放方法及装置、存储介质及电子设备
JP2014110004A (ja) 情報処理装置及び情報処理方法並びにデータ構造
CN115334362B (zh) 弹幕问题的处理方法、装置、存储介质、服务设备及系统
CN112464894B (zh) 交互方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination