CN114051172B - 一种直播交互方法、装置、电子设备及计算机程序产品 - Google Patents
一种直播交互方法、装置、电子设备及计算机程序产品 Download PDFInfo
- Publication number
- CN114051172B CN114051172B CN202210024435.4A CN202210024435A CN114051172B CN 114051172 B CN114051172 B CN 114051172B CN 202210024435 A CN202210024435 A CN 202210024435A CN 114051172 B CN114051172 B CN 114051172B
- Authority
- CN
- China
- Prior art keywords
- live
- gesture
- display area
- target
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000003993 interaction Effects 0.000 title claims abstract description 51
- 238000004590 computer program Methods 0.000 title description 8
- 238000004891 communication Methods 0.000 claims description 17
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000007667 floating Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 241000282330 Procyon lotor Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/47815—Electronic shopping
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供了一种直播交互方法、装置及电子设备。其中，直播交互方法包括：提供一直播界面，直播界面包括主播画面显示区域和物件信息显示区域，物件信息显示区域用于显示与当前讲解的第一直播物件相关的物件信息；获取直播界面中主播画面显示区域对应的主播视频帧；对主播视频帧进行手势动作识别，得到目标手势动作；确定预先配置的与目标手势动作对应的目标控制指令；根据目标控制指令和直播物件的讲解顺序，更新直播界面的物件信息显示区域中的内容。本申请实施例，提升了直播交互效率，且降低了直播成本。
Description
技术领域
本申请实施例涉及互联网技术领域，尤其涉及一种直播交互方法、装置、电子设备及计算机程序产品。
背景技术
随着互联网技术的不断发展，网络直播应运而生，并且越来越受到人们的青睐。例如：通过网络直播，主播可以实时地向观众进行产品介绍、商品销售以及课程讲解，等等。
为提升直播效果，直播过程中通常需要根据当前的直播内容或场景，动态地调整展示给观众的直播内容。例如：商品讲解时，需要根据主播的讲解内容，调整对应的商品图片以及商品链接，等等。
现阶段，直播过程中需要专门的场控人员根据直播情况，执行相应地后台操作，因此，直播交互效率较低，并且，成本较高。
发明内容
有鉴于此，本申请实施例提供一种直播交互方法、装置、电子设备及计算机程序产品，以至少部分解决上述问题。
根据本申请实施例的第一方面，提供了一种直播交互方法，包括：
提供一直播界面，所述直播界面包括主播画面显示区域和物件信息显示区域，所述物件信息显示区域用于显示与当前讲解的第一直播物件相关的物件信息；
获取直播界面中所述主播画面显示区域对应的主播视频帧；
对所述主播视频帧进行手势动作识别，得到目标手势动作；
确定预先配置的与所述目标手势动作对应的目标控制指令；
根据所述目标控制指令和所述直播物件的讲解顺序，更新所述直播界面的所述物件信息显示区域中的内容。
根据本申请实施例的第二方面，提供了一种直播交互装置，包括：
直播界面提供模块，用于提供一直播界面，所述直播界面包括主播画面显示区域和物件信息显示区域，所述物件信息显示区域用于显示与当前讲解的第一直播物件相关的物件信息；
主播视频帧获取模块，用于获取直播界面中所述主播画面显示区域对应的主播视频帧；
目标手势动作得到模块，用于对所述主播视频帧进行手势动作识别，得到目标手势动作；
目标控制指令确定模块，用于确定预先配置的与所述目标手势动作对应的目标控制指令；
内容更新模块，用于根据所述目标控制指令和所述直播物件的讲解顺序，更新所述直播界面的所述物件信息显示区域中的内容。
根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的直播交互方法对应的操作。
根据本申请实施例的第四方面，提供了一种存储有用于直播交互的计算机程序的计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的直播交互方法。
根据本申请实施例的第五方面，提供了一种用于直播交互的计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如第一方面所述的直播交互方法对应的操作。
根据本申请实施例提供的直播交互方法、装置、电子设备及计算机程序产品，直播界面中包括主播画面显示区域，以及，用于显示与当前讲解的第一直播物件相关的物件信息的物件信息显示区域；在对主播视频帧进行手势动作识别，得到目标手势动作之后，则定出与目标手势动作对应的目标控制指令，以根据上述目标控制指令以及直播物件讲解顺序，对物件信息显示区域中的内容进行更新。本申请实施例，可以基于主播的手势动作，自动实现物件信息显示区域中物件信息的更新，无需人工参与，因此，提升了直播交互效率，且降低了直播成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例一的一种直播交互方法的场景示意图；
图2为根据本申请实施例一的一种直播交互方法的步骤流程图；
图3为商品列表中多个不同商品的示意图；
图4为根据本申请实施例一的一种直播交互效果示意图；
图5为根据本申请实施例一的一种直播交互效果示意图；
图6为根据本申请实施例二的一种直播交互装置的步骤流程图；
图7为根据本申请实施例三的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
实施例一、
参见图1，图1为根据本申请实施例一的一种直播交互方法的场景示意图，为便于理解，首先结合图1对本申请实施例一提供的直播交互方法的应用场景进行解释说明。
在针对一个或多个直播物件进行讲解的直播过程中，可以提供一直播界面，该直播界面中可以包括如下两个区域：主播画面显示区域和物件信息显示区域，其中，主播画面显示区域用于显示主播视频帧，物件信息显示区域用于显示与当前讲解的第一直播物件相关的物件信息；通过对主播视频帧进行手势识别，得到主播所作出的目标手势动作；进而确定出目标手势动作对应的目标控制指令；以基于目标控制指令对物件信息显示区域中显示的物件信息进行更新。具体地，例如：可以将物件信息显示区域中原本显示的与第一直播物件相关的物件信息替换为第二直播物件相关的物件信息，其中，第一直播物件和第二物件为两个不同的直播物件。
参见图2，图2为根据本申请实施例一的一种直播交互方法的步骤流程图；具体地，本实施例提供的直播交互方法包括以下步骤：
步骤202，提供一直播界面，直播界面包括主播画面显示区域和物件信息显示区域，物件信息显示区域用于显示与当前讲解的第一直播物件相关的物件信息。
具体地，直播界面中的主播画面显示区域可以为用于主播视频帧的区域，主播视频帧可以是通过主播端直播设备中的图像采集单元采集的包含有主播手势动作的视频帧。
本申请实施例中的直播物件可以为商品，也可以为用于进行直播教学的教学内容，还可以为新闻等等。
与直播物件相关的物件信息可以包括：该直播物件的图片，直播物件的名称，或者，直播物件的信息链接等。例如：当直播物件为商品时，可以在直播界面的物件信息显示区域内对应显示主播当前正在讲解的商品的图片、购买链接等等；当直播物件为教学内容时，可以在物件信息显示区域内对应显示主播当前正在讲解的教学内容的课件图片、教学内容相关书籍的购买链接等等；当直播物件为新闻时，可以在物件信息显示区域内对应显示主播当前正在讲解的新闻所涉及到的图片、新闻对应的简短摘要信息等等。
进一步地，在其中一些实施例中，物件信息在直播界面的物件信息显示区域中以悬浮窗口的形式显示。
步骤204，获取直播界面中主播画面显示区域对应的主播视频帧。
步骤206，对主播视频帧进行手势动作识别，得到目标手势动作。
可以采用传统的手势识别算法，进行手势动作识别；也可以采用机器学习模型完成第一视频帧的手势动作识别，本申请实施例中，对于采用何种方式进行手势动作识别不做限定。
以采用机器学习模型进行手势动作识别为例，识别过程可以分为两部分：第一部分：训练过程；第二部分：推理过程。具体地，训练过程包括：预先基于包含手势动作的样本图片（视频帧），以及，各样本图片对应的标签信息（样本图片中包含的手势动作信息）进行手势动作识别模型的训练，得到训练完成的手势动作识别模型。推理过程包括：将步骤204中获取到的包含主播手势动作的主播视频帧输入预先训练完成的手势动作识别模型中，通过手势动作识别模型对主播视频帧进行特征提取，得到主播视频帧对应的目标手势动作。
本申请实施例中，对于具体的手势动作不做限定，可以为静态手势动作，也可以为动态手势动作。静态手势动作，例如：比心手势、点赞手势、数字手势（通过手指比出不同的数字）、爱心手势、手枪手势、拳头、手掌、托手手势、抱拳手势、作揖手势、剪刀手势等等。静态手势动作，例如：向左滑动、向右滑动、向上滑动以及向下滑动等等。
步骤208，确定预先配置的与目标手势动作对应的目标控制指令。
进一步地，在其中一些实施例中，手势动作与控制指令间对应关系的建立过程可以包括：响应于对手势动作与控制指令间的对应关系的配置触发操作，显示对应关系配置界面；确定待配置的手势动作；响应于对对应关系配置界面中预置的控制指令选项的触发操作，将控制指令选项对应的控制指令确定为与待配置的手势动作对应的控制指令。
例如：可以在界面中显示手势动作与控制指令间对应关系的配置图标，当检测到对配置图标的点击等操作时，显示对应关系配置界面；在确定了待配置的手势动作之后，当检测到对配置界面中预置的控制指令选项的点击等操作，则将控制指令选项对应的控制指令确定为与待配置的手势动作对应的控制指令。
具体地，在确定待配置的手势动作时，可以采用如下两种方式中的任一种方式进行：
第一种，可以预先在配置界面中预置多个手势动作选项，每个手势动作选项对应一种具体的手势动作；当检测到某个手势动作选项被触发时，则确定该手势动作选项对应的手势动作为待配置手势动作。
第二种，也可以通过图像采集设备实时采集配置人员的手势动作，并对采集到的手势动作进行手势识别，从而得到待配置的手势动作。
上述两种方式相比，第一种方式，通过对配置界面中预置手势动作选项的触发操作，即可确定出待配置的手势动作，因此，配置过程操作简单，效率较高；第二种方式，通过对配置人员实时手势动作的识别，从而确定出待配置的手势动作，因此，配置人员可以根据自身需要，方便地增加可用于直播交互的手势动作，而不仅仅局限于第一种方式中配置界面预置的几种手势动作选项所对应的手势动作，因此，可以更好地满足用户体验。
步骤210，根据目标控制指令和直播物件的讲解顺序，更新直播界面的物件信息显示区域中的内容。
可选地，在其中一些实施例中，可以通过下述方式对物件信息显示区域中的内容进行更新：在直播界面的物件信息显示区域中，显示与第二直播物件相关的物件信息，其中，第二直播物件为与第一直播物件的讲解顺序相邻预设间隔的直播物件。
进一步地，上述预设间隔可以是由步骤206中识别出的目标手势动作确定的。具体的：可以确定出目标手势动作所表示（所对应）的目标数字，然后从一个或多个直播物件中确定讲解顺序与目标数字对应第二直播物件，进而将物件信息显示区域中的内容由原来的第一直播物件相关的物件信息更新为第二直播物件相关的物件信息。其中，上述目标数字可以为一位数字，也可以为多位数字。例如：当识别出主播的目标手势动作为3时，则可以确定目标数字为3，进而可以将物件信息显示区域中的内容更新为讲解顺序为第三位的直播物件相关的物件信息；也可以根据手势执行过程中的不同速度、不同方向、不同移动距离等等来判断目标数字，如：当手势速度较快或是移动距离较长时，则可以确定对应一个较大的目标数字，当速度较慢或是移动距离较短时，则可以确定对应一个较小的目标数字。
下面结合具体场景，对步骤210进行进一步解释说明。例如：在电商直播中，直播物件则可以为商品列表中的多个不同商品，上述多个不同商品可以按照一定的顺序排列，在直播过程中，主播可以按照各商品在商品列表中的排列顺序，进行商品讲解；直播物件对应的物件信息则可以为各商品的商品购买链接。参见图3，图3为商品列表中多个不同商品的示意图，图3所示商品列表内共包含4件商品，分别为：位于第一位的运动鞋、位于第二位的小浣熊饰品、位于第三位的瑜伽垫，以及，位于第四位的绘画铅笔。参见图4，假设当前时刻（更新前）物件信息显示区域中显示的是位于第一位的运动鞋的购买链接，在对主播视频帧中的主播手势动作进行识别之后，若基于目标手势动作确定下一待展示商品为位于第三位的瑜伽垫（例如：主播作出数字3的手势动作），则直播界面中物件信息显示区域内显示的内容将从原来的运动鞋的购买链接，更新为瑜伽垫购买链接。再例如，当前时刻的展示商品是位于第三位的瑜伽垫，目标手势动作是连续向上滑动二次，则直播界面中物件信息显示区域内显示的内容将从瑜伽垫购买链接更新为运动鞋的购买链接。
又如，商品也可以为旅游套餐产品，对应的，物件信息则可以为旅游套餐产品对应的目的地图片。参见图5，假设直播过程中待讲解的产品有5件，其中，第一件为：某雪乡的旅游套餐产品，第二件为某热带地区的旅游套餐产品，当前时刻（更新前）物件信息显示区域中显示的是上述雪乡的旅游套餐产品。在对主播视频帧中的主播手势动作进行识别之后，若基于目标手势动作确定下一待展示产品为位于第二位的热带地区旅游套餐产品（例如：主播作出向下滑动的手势动作），则直播界面中物件信息显示区域内显示的内容将从原来的位于雪乡中的雪屋图片，更新为上述热带地区酒店的图片。
可选的，在其中一些实施例中，直播交互方法还包括：根据步骤208中确定出的目标控制指令，移动物件信息显示区域在直播界面中的位置。
具体地，可以对目标手势动作进行动作解析，得到目标手势动作中包含的特征，具体地，可以包括：第一特征和第二特征，其中，第一特征用于确定上述第一直播物件与第二直播物件之前的间隔；第二特征用于确定物件信息显示区域在直播界面中的移动位移。也就是说，第二直播物件与第一直播物件之间的预设间隔可以是根据目标手势动作的第一特征确定的，物件信息显示区域在直播界面中的位移可以是根据目标手势动作的第二特征确定的。
上述第一特征和第二特征用于表征目标手势动作的不同属性信息。例如：第一特征可以为目标手势动作表征的目标数字，第二特征则可以为主播执行目标手势时的速度、方向等信息。又如，第一特征和第二特征也可以为目标手势动作涉及的两个不同的方向，等等。如：假设步骤206中识别出的目标手势动作为向右下方向滑动，则第一特征可以为向下，第二特征可以为向右。对应地，第一特征可以表征按照商品列表中各商品的排序，在物件信息显示区域中更新显示下一商品的商品链接，第二特征可以表征将物件信息显示区域向右移动预设距离，等等。
本申请实施例中，直播界面中包括主播画面显示区域以及用于显示与当前讲解的第一直播物件相关的物件信息的物件信息显示区域；在对主播视频帧进行手势动作识别，得到目标手势动作之后，则定出与目标手势动作对应的目标控制指令，以根据上述目标控制指令以及直播物件讲解顺序，对物件信息显示区域中的内容进行更新。本申请实施例，可以基于主播的手势动作，自动实现物件信息显示区域中物件信息的更新，无需人工参与，因此提升了直播交互效率，且降低了直播成本。
实施例二、
参见图6，图6为根据本申请实施例二的一种直播交互装置的结构框图，本实施例的直播交互装置可以实施在云端直播服务平台或是本地直播服务设备。本申请实施例提供的直播交互装置包括：
直播界面提供模块602，用于提供一直播界面，直播界面包括主播画面显示区域和物件信息显示区域，物件信息显示区域用于显示与当前讲解的第一直播物件相关的物件信息；
主播视频帧获取模块604，用于获取直播界面中主播画面显示区域对应的主播视频帧；
目标手势动作得到模块606，用于对主播视频帧进行手势动作识别，得到目标手势动作；
目标控制指令确定模块608，用于确定预先配置的与目标手势动作对应的目标控制指令；
内容更新模块610，用于根据目标控制指令和直播物件的讲解顺序，更新直播界面的物件信息显示区域中的内容。
可选地，在其中一些实施例中，内容更新模块610在执行根据更新直播界面的物件信息显示区域中的内容的步骤时，具体用于：在直播界面的物件信息显示区域中，显示与第二直播物件相关的物件信息，其中，第二直播物件为与第一直播物件的讲解顺序相邻预设间隔的直播物件。
可选地，在其中一些实施例中，预设间隔是根据目标手势动作确定的。
可选地，在其中一些实施例中，直播交互装置还包括：第二直播物件确定模块，用于在更新直播界面的物件信息显示区域中的内容之前，确定目标手势动作对应的目标数字；从一个或多个直播物件中确定讲解顺序与目标数字对应第二直播物件。
可选地，在其中一些实施例中，目标数字为一位数字或多位数字。
可选地，在其中一些实施例中，物件信息包括如下至少一项：直播物件图片、直播物件名称、直播物件的信息链接。
可选地，在其中一些实施例中，物件信息在直播界面的物件信息显示区域中以悬浮窗口的形式显示。
可选地，在其中一些实施例中，内容更新模块610还用于根据目标控制指令，移动物件信息显示区域在直播界面中的位置。
可选地，在其中一些实施例中，目标手势动作包括第一特征和第二特征；其中，预设间隔是根据目标手势动作的第一特征确定的；物件信息显示区域在直播界面中的位移信息是根据目标手势动作的第二特征确定的。
可选地，在其中一些实施例中，直播物件包括：商品、教学内容和/或新闻。
可选地，在其中一些实施例中，目标手势动作得到模块606，具体用于：将主播视频帧输入预先训练完成的手势动作识别模型中，通过手势动作识别模型对主播视频帧进行特征提取，得到主播视频帧对应的目标手势动作。
可选地，在其中一些实施例中，直播交互装置还包括：对应关系建立模块，用于：响应于对手势动作与控制指令间的对应关系的配置触发操作，显示对应关系配置界面；确定待配置的手势动作；响应于对对应关系配置界面中预置的控制指令选项的触发操作，将控制指令选项对应的控制指令确定为与待配置的手势动作对应的控制指令。
可选地，在其中一些实施例中，对应关系建立模块在执行确定待配置的手势动作的步骤时，具体用于：响应于对对应关系配置界面中预置的手势动作选项的触发操作，将手势动作选项对应的手势动作确定为待配置的手势动作。
可选地，在其中一些实施例中，对应关系建立模块在执行确定待配置的手势动作的步骤时，具体用于：采集配置人员的手势动作图像；对手势动作图像进行手势识别，得到待配置的手势动作。
本实施例的直播交互装置用于实现前述多个方法实施例中相应的直播交互方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的直播交互装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例三、
参照图7，示出了根据本申请实施例五的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。
如图7所示，该电子设备可以包括：处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。通信接口704用于与其它电子设备或服务器进行通信。处理器702用于执行程序710，具体可以执行上述直播交互方法实施例中的相关步骤。
具体地，程序710可以包括程序代码，该程序代码包括计算机操作指令。
处理器702可能是CPU，或者是特定集成电路ASIC（Application SpecificIntegrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器706，用于存放程序710。存储器706可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
程序710具体可以用于使得处理器702执行以下操作：提供一直播界面，直播界面包括主播画面显示区域和物件信息显示区域，物件信息显示区域用于显示与当前讲解的第一直播物件相关的物件信息；获取直播界面中主播画面显示区域对应的主播视频帧；对主播视频帧进行手势动作识别，得到目标手势动作；确定预先配置的与目标手势动作对应的目标控制指令；根据目标控制指令和直播物件的讲解顺序，更新直播界面的物件信息显示区域中的内容。
程序710中各步骤的具体实现可以参见上述直播交互方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
通过本实施例的电子设备，直播界面中包括主播画面显示区域，以及，用于显示与当前讲解的第一直播物件相关的物件信息；在对主播视频帧进行手势动作识别，得到目标手势动作之后，则定出与目标手势动作对应的目标控制指令，以根据上述目标控制指令以及直播物件讲解顺序，对物件信息显示区域中的内容进行更新。本申请实施例，可以基于主播的手势动作，自动实现物件信息显示区域中物件信息的更新，无需人工参与，因此，提升了直播交互效率，且降低了直播成本。
本申请实施例还提供了一种用于直播交互的计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一直播交互方法对应的操作。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质（诸如CD ROM、RAM、软盘、硬盘或磁光盘）中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件（诸如ASIC或FPGA）的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件（例如，RAM、ROM、闪存等），当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的直播交互方法。此外，当通用计算机访问用于实现在此示出的直播交互方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的直播交互方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。
Claims (9)
1.一种直播交互方法，直播过程用于讲解一个或多个直播物件，所述方法包括：
提供一直播界面，所述直播界面包括主播画面显示区域和物件信息显示区域，所述物件信息显示区域用于显示与当前讲解的第一直播物件相关的物件信息；
获取直播界面中所述主播画面显示区域对应的主播视频帧；对所述主播视频帧进行手势动作识别，得到目标手势动作；
确定预先配置的与所述目标手势动作对应的目标控制指令；
根据所述目标控制指令和所述直播物件的讲解顺序，在所述直播界面的所述物件信息显示区域中，显示与第二直播物件相关的物件信息，其中，所述第二直播物件为与所述第一直播物件的讲解顺序相邻预设间隔的直播物件；
所述方法还包括：
根据所述目标控制指令，移动所述物件信息显示区域在所述直播界面中的位置；
所述目标手势动作包括第一特征和第二特征；其中，所述预设间隔是根据所述目标手势动作的第一特征确定的；所述物件信息显示区域在所述直播界面中的位移信息是根据所述目标手势动作的第二特征确定的；
其中，手势动作与控制指令间对应关系的建立过程包括：
响应于对手势动作与控制指令间的对应关系的配置触发操作，显示对应关系配置界面；
采集配置人员的手势动作图像；对所述手势动作图像进行手势识别，得到待配置的手势动作；
响应于对所述对应关系配置界面中预置的控制指令选项的触发操作，将所述控制指令选项对应的控制指令确定为与所述待配置的手势动作对应的控制指令。
2.根据权利要求1所述的方法，其中，所述预设间隔是根据所述目标手势动作确定的。
3.根据权利要求2所述的方法，其中，在更新所述直播界面的所述物件信息显示区域中的内容之前，所述方法还包括：
确定所述目标手势动作对应的目标数字；
从所述一个或多个直播物件中确定讲解顺序与所述目标数字对应第二直播物件；
其中，所述目标数字为一位数字或多位数字。
4.根据权利要求1所述的方法，其中，所述物件信息包括如下至少一项：直播物件图片、直播物件名称、直播物件的信息链接。
5.根据权利要求1所述的方法，其中，所述物件信息在所述直播界面的所述物件信息显示区域中以悬浮窗口或弹窗的形式显示。
6.根据权利要求1所述的方法，其中，所述直播物件包括：商品、教学内容和/或新闻。
7.根据权利要求1所述的方法，其中，所述对所述主播视频帧进行手势动作识别，得到目标手势动作，包括：
将所述主播视频帧输入预先训练完成的手势动作识别模型中，通过所述手势动作识别模型对所述主播视频帧进行特征提取，得到所述主播视频帧对应的目标手势动作。
8.一种直播交互装置，包括：
直播界面提供模块，用于提供一直播界面，所述直播界面包括主播画面显示区域和物件信息显示区域，所述物件信息显示区域用于显示与当前讲解的第一直播物件相关的物件信息；
主播视频帧获取模块，用于获取直播界面中所述主播画面显示区域对应的主播视频帧；目标手势动作得到模块，用于对所述主播视频帧进行手势动作识别，得到目标手势动作；
目标控制指令确定模块，用于确定预先配置的与所述目标手势动作对应的目标控制指令；
内容更新模块，用于根据所述目标控制指令和所述直播物件的讲解顺序，在所述直播界面的所述物件信息显示区域中，显示与第二直播物件相关的物件信息，其中，所述第二直播物件为与所述第一直播物件的讲解顺序相邻预设间隔的直播物件；根据所述目标控制指令，移动所述物件信息显示区域在所述直播界面中的位置；
所述目标手势动作包括第一特征和第二特征；其中，所述预设间隔是根据所述目标手势动作的第一特征确定的；所述物件信息显示区域在所述直播界面中的位移信息是根据所述目标手势动作的第二特征确定的；
对应关系建立模块，用于响应于对手势动作与控制指令间的对应关系的配置触发操作，显示对应关系配置界面；采集配置人员的手势动作图像；对手势动作图像进行手势识别，得到待配置的手势动作；响应于对对应关系配置界面中预置的控制指令选项的触发操作，将控制指令选项对应的控制指令确定为与待配置的手势动作对应的控制指令。
9.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的直播交互方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210024435.4A CN114051172B (zh) | 2022-01-11 | 2022-01-11 | 一种直播交互方法、装置、电子设备及计算机程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210024435.4A CN114051172B (zh) | 2022-01-11 | 2022-01-11 | 一种直播交互方法、装置、电子设备及计算机程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114051172A CN114051172A (zh) | 2022-02-15 |
| CN114051172B true CN114051172B (zh) | 2024-03-22 |
Family
ID=80213600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210024435.4A Active CN114051172B (zh) | 2022-01-11 | 2022-01-11 | 一种直播交互方法、装置、电子设备及计算机程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114051172B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115278273B (zh) * | 2022-06-13 | 2024-03-12 | 北京达佳互联信息技术有限公司 | 一种资源展示方法、装置、电子设备及存储介质 |
| CN116761040B (zh) * | 2023-08-22 | 2023-10-27 | 超级芯(江苏)智能科技有限公司 | Vr云平台交互方法及交互系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078011A (zh) * | 2019-12-11 | 2020-04-28 | 网易（杭州）网络有限公司 | 手势控制方法、装置、计算机可读存储介质及电子设备 |
| CN111353839A (zh) * | 2018-12-21 | 2020-06-30 | 阿里巴巴集团控股有限公司 | 商品信息处理方法、直播商品的方法、装置及电子设备 |
| CN111432225A (zh) * | 2020-03-11 | 2020-07-17 | 北京意匠文枢科技有限公司 | 一种用于商品视频切割的方法与设备 |
| CN113050788A (zh) * | 2019-12-26 | 2021-06-29 | 华为技术有限公司 | 一种声音播放的控制方法及装置 |
| CN113191184A (zh) * | 2021-03-02 | 2021-07-30 | 深兰科技（上海）有限公司 | 实时视频处理方法、装置、电子设备及存储介质 |
| CN113301356A (zh) * | 2020-07-14 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 控制视频展示的方法及装置 |
| WO2021233245A1 (zh) * | 2020-05-19 | 2021-11-25 | 阿里巴巴集团控股有限公司 | 提供商品对象信息的方法、装置及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10674187B2 (en) * | 2016-07-26 | 2020-06-02 | Facebook, Inc. | Systems and methods for shared broadcasting |
-
2022
- 2022-01-11 CN CN202210024435.4A patent/CN114051172B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353839A (zh) * | 2018-12-21 | 2020-06-30 | 阿里巴巴集团控股有限公司 | 商品信息处理方法、直播商品的方法、装置及电子设备 |
| CN111078011A (zh) * | 2019-12-11 | 2020-04-28 | 网易（杭州）网络有限公司 | 手势控制方法、装置、计算机可读存储介质及电子设备 |
| CN113050788A (zh) * | 2019-12-26 | 2021-06-29 | 华为技术有限公司 | 一种声音播放的控制方法及装置 |
| CN111432225A (zh) * | 2020-03-11 | 2020-07-17 | 北京意匠文枢科技有限公司 | 一种用于商品视频切割的方法与设备 |
| WO2021233245A1 (zh) * | 2020-05-19 | 2021-11-25 | 阿里巴巴集团控股有限公司 | 提供商品对象信息的方法、装置及电子设备 |
| CN113301356A (zh) * | 2020-07-14 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 控制视频展示的方法及装置 |
| CN113191184A (zh) * | 2021-03-02 | 2021-07-30 | 深兰科技（上海）有限公司 | 实时视频处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114051172A (zh) | 2022-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10032072B1 (en) | Text recognition and localization with deep learning | |
| US11170210B2 (en) | Gesture identification, control, and neural network training methods and apparatuses, and electronic devices | |
| CN114051172B (zh) | 一种直播交互方法、装置、电子设备及计算机程序产品 | |
| JP6780117B2 (ja) | 画像のインテリジェント自動クロッピング | |
| US20140210857A1 (en) | Realization method and device for two-dimensional code augmented reality | |
| US20190012717A1 (en) | Appratus and method of providing online sales information of offline product in augmented reality | |
| CN108345387A (zh) | 用于输出信息的方法和装置 | |
| US10379721B1 (en) | Interactive interfaces for generating annotation information | |
| CA2898668A1 (en) | Realization method and device for two-dimensional code augmented reality | |
| US10401947B2 (en) | Method for simulating and controlling virtual sphere in a mobile device | |
| CN114138121B (zh) | 用户手势识别方法、装置、系统、存储介质及计算设备 | |
| CN113255713A (zh) | 用于跨对象变化的数字图像选择的机器学习 | |
| CN111862341A (zh) | 虚拟对象的驱动方法、装置、显示设备及计算机存储介质 | |
| CN111414948A (zh) | 目标对象检测方法和相关装置 | |
| CN113596496A (zh) | 虚拟直播间的交互控制方法、装置、介质及电子设备 | |
| CN114003160A (zh) | 数据可视化展示方法、装置、计算机设备和存储介质 | |
| CN110647374A (zh) | 全息展示窗的交互方法、装置以及电子设备 | |
| CN114241384A (zh) | 连续帧图片标注方法、电子设备及存储介质 | |
| US20150248700A1 (en) | Information providing method and system using signage device | |
| CN110636322B (zh) | 多媒体数据的处理方法、装置、智能终端及存储介质 | |
| CN108958690B (zh) | 多屏互动方法、装置、终端设备、服务器及存储介质 | |
| CN110942056A (zh) | 服饰关键点定位方法、装置、电子设备及介质 | |
| CN108446693B (zh) | 待识别目标的标记方法、系统、设备及存储介质 | |
| CN115878838A (zh) | 基于视频的信息展示方法、装置、电子设备及存储介质 | |
| CN112799514A (zh) | 信息推荐方法和装置、电子设备、及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240227 Address after: Room 553, 5th Floor, Building 3, No. 969 Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311121 Applicant after: Hangzhou Alibaba Cloud Feitian Information Technology Co.,Ltd. Country or region after: China Address before: 310023 Room 516, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province Applicant before: Alibaba Dharma Institute (Hangzhou) Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |