CN114697686A - 一种线上互动方法、装置、服务器及存储介质 - Google Patents
一种线上互动方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN114697686A CN114697686A CN202011565378.8A CN202011565378A CN114697686A CN 114697686 A CN114697686 A CN 114697686A CN 202011565378 A CN202011565378 A CN 202011565378A CN 114697686 A CN114697686 A CN 114697686A
- Authority
- CN
- China
- Prior art keywords
- trigger operation
- mobile terminal
- preset
- trigger
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000000694 effects Effects 0.000 claims abstract description 67
- 230000002650 habitual effect Effects 0.000 claims description 47
- 230000004044 response Effects 0.000 claims description 10
- 230000008921 facial expression Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 19
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 13
- 230000009471 action Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开关于一种线上互动方法、装置、服务器及存储介质,该方法包括:响应于用户基于当前线上活动对移动终端的触发操作,获取周围环境信息;检测所述周围环境信息中是否包含有效目标对象;当所述周围环境信息中包含所述有效目标对象时,获取与所述移动终端对应的对象操作集合;基于所述有效目标对象以及所述对象操作集合,确定所述触发操作是否为有效触发操作;当所述触发操作为有效触发操作时,执行所述触发操作在所述当前线上活动中对应的线上互动指令。本公开能够解决相关技术中通过手动点击的方式参与直播互动所造成的使用场景受限的问题,缩短了交互过程的转化流程,提高了交互效率。
Description
技术领域
本公开涉及互联网技术领域,尤其涉及一种线上互动方法、装置、服务器及存储介质。
背景技术
随着互联网技术的发展,出现了网络直播这一新兴产业,网络直播吸取和延续了互联网的优势,利用视讯的方式进行网上现场直播,例如直播购物、直播表演、在线培训、网上调查等,在进行网络直播过程中,观看直播的用户可以实时参与到直播互动活动中。
相关技术中,当观看直播的用户想要参与到直播互动活动中时,一般需要手动点击直播界面上的相关区域或者相关按钮以实现相应功能的触发,但是通过手动点击进行交互的方式造成了一些场景上的使用限制,例如在某些场景中用户无法进行手动点击操作而失去了参与实时互动的机会,或者在某些场景中由于需要进行繁复的手动点击操作而导致用户参与实时互动失败,从而影响了用户的体验,不利于发挥网络直播的效果。
发明内容
本公开提供一种线上互动方法、装置、服务器及存储介质,以至少解决相关技术中通过手动点击的方式参与直播互动所造成的使用场景受限的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种线上互动方法,包括:
响应于用户基于当前线上活动对移动终端的触发操作,获取周围环境信息;
检测所述周围环境信息中是否包含有效目标对象;
当所述周围环境信息中包含所述有效目标对象时,获取与所述移动终端对应的对象操作集合;
基于所述有效目标对象以及所述对象操作集合,确定所述触发操作是否为有效触发操作;
当所述触发操作为有效触发操作时,执行所述触发操作在所述当前线上活动中对应的线上互动指令。
在一示例性实施例中,所述响应于用户基于当前线上活动对移动终端的触发操作,获取周围环境信息包括:
在所述当前线上活动的有效时间内,当检测到用户对所述移动终端的触发操作时,调用所述移动终端的图像采集设备采集所述周围环境信息。
在一示例性实施例中,所述检测所述周围环境信息中是否包含有效目标对象包括:
对所述周围环境信息进行分析,确定所述周围环境信息中是否包含活体对象;
当所述周围环境信息中包括活体对象时,确定所述活体对象的面部朝向;
当所述活体对象的面部朝向满足预设面部朝向条件时,确定所述周围环境信息中包含候选目标对象;
从所述候选目标对象中确定出所述有效目标对象。
在一示例性实施例中,所述从所述候选目标对象中确定出所述有效目标对象包括:
对所述候选目标对象的面部表情、所述候选目标对象与所述移动终端的距离、所述候选目标对象双眼关注的目标中的一项或者多项进行识别;
根据识别结果从所述候选目标对象中确定出所述有效目标对象。
在一示例性实施例中,所述方法还包括:
当所述周围环境信息中不包括活体对象时,确定所述周围环境信息中不包含所述有效目标对象;
当所述活体对象的面部朝向不满足预设面部朝向条件时,确定所述周围环境信息中不包含所述有效目标对象。
在一示例性实施例中,所述对象操作集合中包括各预设对象的面部信息以及与各预设对象对应的习惯操作项集合;
所述基于所述有效目标对象以及所述对象操作集合,确定所述触发操作是否为有效触发操作包括:
获取所述有效目标对象的面部信息,将所述有效目标对象的面部信息与所述对象操作集合中各预设对象的面部信息进行匹配得到匹配对象;所述匹配对象为所述对象操作集合中,与所述有效目标对象的面部信息匹配一致的面部信息所对应的预设对象;
将所述触发操作与所述匹配对象的习惯操作项集合中的习惯操作项进行匹配,得到操作项匹配结果;
根据所述操作项匹配结果,确定所述触发操作是否为有效触发操作。
在一示例性实施例中,所述根据所述操作项匹配结果,确定所述触发操作是否为有效触发操作包括:
当所述操作项匹配结果为所述匹配对象的习惯操作项集合中存在与所述触发操作相匹配的习惯操作项时,确定所述触发操作为有效触发操作。
在一示例性实施例中,所述方法还包括预先生成所述对象操作集合,所述预先生成所述对象操作集合包括:
对于操作所述移动终端的每个预设对象,获取所述每个预设对象的面部信息;
记录所述每个预设对象在操作所述移动终端时的至少一项习惯操作,基于所述每个预设对象在操作所述移动终端时的至少一项习惯操作,生成与所述每个预设对象对应的习惯操作项集合;
基于所述每个预设对象的面部信息以及与所述每个预设对象对应的习惯操作项集合生成所述对象操作集合。
在一示例性实施例中,所述触发操作包括所述触发操作的操作参数;每个习惯操作项集合中包括与每项习惯操作对应的操作参数;
所述将所述触发操作与所述匹配对象的习惯操作项集合中的习惯操作项进行匹配包括:
将所述触发操作的操作参数与所述匹配对象的习惯操作项集合中每项习惯操作对应的操作参数进行匹配,得到操作参数匹配结果;
所述当所述操作项匹配结果为所述匹配对象的习惯操作项集合中存在与所述触发操作相匹配的习惯操作项时,确定所述触发操作为有效触发操作包括:
根据所述操作参数匹配结果,判断与所述匹配对象的各项习惯操作对应的操作参数中是否存在目标操作参数,所述目标操作参数与所述触发操作的操作参数满足预设条件;
当判断结果为是时,确定所述触发操作为有效触发操作。
在一示例性实施例中,所述当所述触发操作为有效触发操作时,执行所述触发操作在所述当前线上活动中对应的线上互动指令之前还包括:
预先获取每项对所述移动终端的预设操作与所述当前线上活动中每项线上互动指令的对应关系;
所述当所述触发操作为有效触发操作时,执行所述触发操作在所述当前线上活动中对应的线上互动指令包括:
将所述触发操作与每项对所述移动终端的预设操作进行匹配,确定与所述触发操作相匹配的预设操作;
基于所述对应关系,确定与所述触发操作相匹配的预设操作在所述当前线上活动中对应的有效线上互动指令;
执行所述有效线上互动指令。
根据本公开实施例的第二方面,提供一种线上互动装置,包括:
触发操作响应单元,被配置为执行响应于用户基于当前线上活动对移动终端的触发操作,获取周围环境信息;
有效目标对象检测单元,被配置为执行检测所述周围环境信息中是否包含有效目标对象;
对象操作集合获取单元,被配置为执行当所述周围环境信息中包含所述有效目标对象时,获取与所述移动终端对应的对象操作集合;
有效触发操作确定单元,被配置为执行基于所述有效目标对象以及所述对象操作集合,确定所述触发操作是否为有效触发操作;
线上互动指令执行单元,被配置为执行当所述触发操作为有效触发操作时,执行所述触发操作在所述当前线上活动中对应的线上互动指令。
在一示例性实施例中,所述触发操作响应单元包括:
图像采集设备调用单元,被配置为执行在所述当前线上活动的有效时间内,当检测到用户对所述移动终端的触发操作时,调用所述移动终端的图像采集设备采集所述周围环境信息。
在一示例性实施例中,所述有效目标对象检测单元包括:
活体对象确定单元,被配置为执行对所述周围环境信息进行分析,确定所述周围环境信息中是否包含活体对象;
面部朝向确定单元,被配置为执行当所述周围环境信息中包括活体对象时,确定所述活体对象的面部朝向;
候选目标对象确定单元,被配置为执行当所述活体对象的面部朝向满足预设面部朝向条件时,确定所述周围环境信息中包含候选目标对象;
有效目标对象确定单元,被配置为执行从所述候选目标对象中确定出所述有效目标对象。
在一示例性实施例中,所述有效目标对象确定单元包括:
识别单元,被配置为执行对所述候选目标对象的面部表情、所述候选目标对象与所述移动终端的距离、所述候选目标对象双眼关注的目标中的一项或者多项进行识别;
第一确定单元,被配置为执行根据识别结果从所述候选目标对象中确定出所述有效目标对象。
在一示例性实施例中,所述装置还包括:
第二确定单元,被配置为执行当所述周围环境信息中不包括活体对象时,确定所述周围环境信息中不包含所述有效目标对象;
第三确定单元,被配置为执行当所述活体对象的面部朝向不满足预设面部朝向条件时,确定所述周围环境信息中不包含所述有效目标对象。
在一示例性实施例中,所述对象操作集合中包括各预设对象的面部信息以及与各预设对象对应的习惯操作项集合;
所述有效触发操作确定单元包括:
面部信息匹配单元,被配置为执行获取所述有效目标对象的面部信息,将所述有效目标对象的面部信息与所述对象操作集合中各预设对象的面部信息进行匹配得到匹配对象;所述匹配对象为所述对象操作集合中,与所述有效目标对象的面部信息匹配一致的面部信息所对应的预设对象;
习惯操作项集合匹配单元,被配置为执行将所述触发操作与所述匹配对象的习惯操作项集合中的习惯操作项进行匹配,得到操作项匹配结果;
第四确定单元,被配置为执行根据所述操作项匹配结果,确定所述触发操作是否为有效触发操作。
在一示例性实施例中,所述第四确定单元包括:
第五确定单元,被配置为执行当所述操作项匹配结果为所述匹配对象的习惯操作项集合中存在与所述触发操作相匹配的习惯操作项时,确定所述触发操作为有效触发操作。
在一示例性实施例中,所述装置还包括第一生成单元,包括:
面部信息获取单元,被配置为执行对于操作所述移动终端的每个预设对象,获取所述每个预设对象的面部信息;
习惯操作项集合生成单元,被配置为执行记录所述每个预设对象在操作所述移动终端时的至少一项习惯操作,基于所述每个预设对象在操作所述移动终端时的至少一项习惯操作,生成与所述每个预设对象对应的习惯操作项集合;
对象操作集合生成单元,被配置为执行基于所述每个预设对象的面部信息以及与所述每个预设对象对应的习惯操作项集合生成所述对象操作集合。
在一示例性实施例中,所述触发操作包括所述触发操作的操作参数;每个习惯操作项集合中包括与每项习惯操作对应的操作参数;
所述习惯操作项集合匹配单元包括:
第一匹配单元,配置为执行将所述触发操作的操作参数与所述匹配对象的习惯操作项集合中每项习惯操作对应的操作参数进行匹配,得到操作参数匹配结果;
所述第五确定单元包括:
判断单元,被配置为执行根据所述操作参数匹配结果,判断与所述匹配对象的各项习惯操作对应的操作参数中是否存在目标操作参数,所述目标操作参数与所述触发操作的操作参数满足预设条件;
判定单元,被配置为执行当判断结果为是时,确定所述触发操作为有效触发操作。
在一示例性实施例中,所述装置还包括:
对应关系获取单元,被配置为执行预先获取每项对所述移动终端的预设操作与所述当前线上活动中每项线上互动指令的对应关系;
所述线上互动指令执行单元包括:
预设操作匹配单元,被配置为执行将所述触发操作与每项对所述移动终端的预设操作进行匹配,确定与所述触发操作相匹配的预设操作;
线上互动指令确定单元,被配置为执行基于所述对应关系,确定与所述触发操作相匹配的预设操作在所述当前线上活动中对应的有效线上互动指令;
第一执行单元,被配置为执行所述有效线上互动指令。
根据本公开实施例的第三方面,提供一种服务器,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如上所述的线上互动方法。
根据本公开实施例的第四方面,提供一种存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行如上所述的线上互动方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序存储在可读存储介质中,计算机设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序,使得设备执行上述线上互动方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
本公开通过响应于用户基于当前线上活动对移动终端的触发操作,获取周围环境信息;当周围环境信息中包含有效目标对象时,获取与所述移动终端对应的对象操作集合;当基于有效目标对象以及对象操作集合确定触发操作为有消除法操作时,执行触发操作在当前线上活动中对应的线上互动指令。本公开能够将对移动终端的触发操作直接转换为相应的线上互动指令,从而用户可通过直接对移动终端进行相应的触发操作,便可参与到相应的线上互动活动中,可解决相关技术中通过在当前线上活动界面上进行手动点击操作来参与线上互动活动而导致的使用场景受限的问题,适用于用户无法通过手动点击操作来参与线上互动活动的场景,并且能够避免由于繁复的手动点击操作而导致参与实时互动失败的情况,缩短了交互过程的转化流程,提高了交互效率,提升了用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种线上互动方法的实施环境示意图。
图2是根据一示例性实施例示出的一种线上互动方法流程图。
图3是根据一示例性实施例示出的一种周围环境信息中有效目标对象的确定方法流程图。
图4是根据一示例性实施例示出的一种从候选目标对象中确定有效目标对象的方法流程图。
图5是根据一示例性实施例示出的与移动终端对应的对象操作集合的生成方法流程图。
图6是根据一示例性实施例示出的一种触发操作有效性确定方法流程图。
图7是根据一示例性实施例示出的对移动终端的触发操作有效性的判断流程示意图。
图8是根据一示例性实施例示出的一种基于操作参数的有效触发操作确定方法流程图。
图9是根据一示例性实施例示出的一种有效触发操作的处理方法流程图。
图10是根据一示例性实施例示出的参与线上直播购物的互动过程示意图。
图11是根据一示例性实施例示出的第一示例图。
图12是根据一示例性实施例示出的第二示例图。
图13是根据一示例性实施例示出的通过操作移动终端实现购物互动的流程图。
图14是根据一示例性实施例示出的第三示例图。
图15是根据一示例性实施例示出的第四示例图。
图16是根据一示例性实施例示出的一种线上互动装置示意图。
图17是根据一示例性实施例示出的一种服务器的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1,其示出了本公开实施例提供的实施环境示意图,该实施环境可包括:至少一个第一终端110和第二终端120,第一终端110和第二终端120可通过网络进行数据通信。
具体地,第一终端110可从第二终端120获取每项对第一终端110的预设操作与线上活动中每项线上互动指令的对应关系;用户可对第一终端110执行触发操作,第一终端110在检测到触发操作时可对相应触发操作进行响应,并在周围环境信息中包含有效目标对象以及对第一终端110的触发操作为有效触发操作时,执行与触发操作在当前线上活动中对应的线上互动指令。第一终端110可以基于浏览器/服务器模式(Browser/Server,B/S)或客户端/服务器模式(Client/Server,C/S)与第二终端120进行通信。第一终端110可以为便携式的移动终端设备,例如可以包括:智能手机、平板电脑、数字助理、智能可穿戴设备等类型的实体设备。本公开实施例中的第一终端110上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
第二终端120与第一终端110可以通过有线或者无线建立通信连接,第二终端120可以包括一个独立运行的服务器,或者分布式服务器,或者由多个服务器组成的服务器集群,其中服务器可以是云端服务器。
为了解决相关技术中通过手动点击操作参与实时线上互动活动时所造成的使用场景受限的问题,本公开实施例提供了一种线上互动方法,该方法的执行主体可以为上述的第一终端,第一终端具体可以为移动终端,可参阅图2,所述线上互动方法可包括:
S210.响应于用户基于当前线上活动对移动终端的触发操作,获取周围环境信息。
本公开实施例中的对移动终端的触发操作可以为使得移动终端的运动状态发生改变的操作,对于移动终端的运动状态发生改变的原因可能是由人为因素引起的,也可能是非人为因素引起的;对于人为因素引起的移动终端运动状态发生改变的操作,例如用户横向摇动移动终端、竖向摇动移动终端等;对于非人为因素引起的移动终端运动状态发生改变的操作,例如移动终端坠落,或者由于放置台面倾斜导致的移动终端自行滑动等。
其中移动终端对触发操作的具体响应过程可包括:在所述当前线上活动的有效时间内,当检测到用户对所述移动终端的触发操作时,调用所述移动终端的图像采集设备采集所述周围环境信息。这里在当前线上活动的有效时间内才会响应用户对移动终端的触发操作,从而可以避免移动终端频繁响应用户操作,节约移动终端的处理资源。
S220.检测所述周围环境信息中是否包含有效目标对象。通过图像采集设备采集到的周围环境信息中包括多种信息,例如人物信息、物体信息等;本公开实施例中需要检测周围环境信息中是否包含有效目标对象,具体是针对的人物信息的检测,具体地,请参阅图3,其示出了一种周围环境信息中有效目标对象的确定方法,该方法可包括:
S310.对所述移动终端的周围环境信息进行分析,确定所述移动终端的周围环境信息中是否包含活体对象。
S320.当所述周围环境信息中包括活体对象时,确定所述活体对象的面部朝向。
S330.当所述活体对象的面部朝向满足预设面部朝向条件时,确定所述周围环境信息中包含候选目标对象。
S340.从所述候选目标对象中确定出所述有效目标对象。
由图3可以看出,对于有效目标对象的判断,需要符合两个方面的条件,第一是判断周围环境信息中是否包含活体对象,第二是判断活体对象的面部朝向是否满足预设面部朝向条件;由此可以确定用户通过移动终端正在观看当前线上活动,从而避免了用户不是正在观看当前线上活动而对移动终端进行的误触发操作。在实际使用场景中,移动终端的周围环境信息中可能会包含多个候选目标对象,为了避免非操作用户对判断结果的影响,此时需要从多个候选对象中确定出有效目标对象,从而后续只需要对有效目标对象进行处理分析。这里的非操作用户是指没有对移动终端进行触发操作但满足活体对象和面部朝向条件的用户。
请参阅图4,其示出了一种从候选目标对象中确定有效目标对象的方法,包括:
S410.对所述候选目标对象的面部表情、所述候选目标对象与所述移动终端的距离、所述候选目标对象双眼关注的目标中的一项或者多项进行识别。
S420.根据识别结果从所述候选目标对象中确定出所述有效目标对象。
可通过移动终端的摄像头对目标对象的面部表情进行捕捉,候选目标对象的面部表情可以为专注的表情、开心的表情、紧张的表情等,同样可通过移动终端的摄像头对候选目标对象双眼焦点进行确定,以此确定候选目标对象双眼在移动终端显示屏幕上所关注的目标,从而可根据上述一项或多项的识别结果从候选目标对象中确定有效目标对象。这里具体可通过对候选对象的面部表情、与移动终端的距离、关注目标等方面确定出有效目标对象,进一步确保有效目标对象是正在关注移动终端中相关内容的对象,从而提高有效目标对象确定的准确性。
另外,当所述周围环境信息中不包括活体对象时,确定所述周围环境信息中不包含所述有效目标对象;当所述活体对象的面部朝向不满足预设面部朝向条件时,确定所述周围环境信息中不包含所述有效目标对象;当周围环境信息中不包括活体对象或者包括活体对象但面部朝向不满足预设面部朝向条件时,直接判定不包含有效目标对象,从而可提高有效目标对象确定的效率。这里的有效目标对象具体是指面部朝向满足预设面部朝向条件的活体对象,例如正脸朝向移动终端的活体对象,或者侧脸朝向移动终端的活体对象,由此可以确定有用户正在通过该移动终端观看当前线上活动;通过对有效目标对象的检测,当用户不是正在观看当前线上活动却对移动终端进行了误触发操作时,可以确定不包含有效目标对象,从而也不会进行后续触发操作处理流程,避免了由于用户对移动终端的误触发而导致的处理资源浪费的问题。
具体地,本公开实施例中采集周围环境信息所采用的图像采集设备可以包括摄像头、点阵投影器、结构光传感器等。对于采集得到的周围环境信息,可以直接由移动终端基于周围环境信息来判断其中是否包含有效目标对象,也可将采集得到的周围环境信息发送给第二终端,第二终端具体可以为服务器,由服务器基于周围环境信息来判断其中是否包含有效目标对象;本公开实施例不做具体限定,可根据具体实施情况进行选择。
S230.当所述周围环境信息中包含所述有效目标对象时,获取与所述移动终端对应的对象操作集合。
本公开实施例中,对于与移动终端对应的对象操作集合,可以是预先根据各预设对象的操作习惯所建立的。对于每个移动终端,可分别生成相应的对象操作集合,与移动终端对应的对象操作集合具体可以为:与移动终端的设备标识对应的对象操作集合,或者与在移动终端登录的线上活动帐号对应的对象操作集合;从而在具体获取与移动终端对应的对象操作集合时,可以先确定移动终端的设备标识,再根据移动终端的设备标识获取与相应设备标识对应的对象操作集合;也可以是先确定在移动终端登录的线上活动帐号,再根据线上活动帐号获取与相应线上活动帐号对应的对象操作集合。其中,分别生成与每个移动终端的设备标识对应的对象操作集合,能够将曾经操作过该移动终端的预设对象的操作习惯包括在内,从而能够提高对各移动终端的对象操作集合进行描述的全面性;对于生成与在移动终端登录的线上活动帐号对应的对象操作集合,由于每个线上活动帐号,其一般会对应有相对有限的用户对象,在生成对象操作集合时只需要涉及这些用户对象相关的操作习惯,缩小用户对象操作习惯的涉及范围,从而能够有针对性地对各移动终端的对象操作集合进行描述,进而能够提高在后续基于对象操作集合进行数据处理时的处理效率。
具体请参阅图5,其示出了与移动终端对应的对象操作集合的生成方法,可包括:
S510.对于操作所述移动终端的每个预设对象,获取所述每个预设对象的面部信息。
S520.记录所述每个预设对象在操作所述移动终端时的至少一项习惯操作,基于所述每个预设对象在操作所述移动终端时的至少一项习惯操作,生成与所述每个预设对象对应的习惯操作项集合。
S530.基于所述每个预设对象的面部信息以及与所述每个预设对象对应的习惯操作项集合生成所述对象操作集合。
对于每个预设对象,可分别为其建立对象描述信息项,本公开实施例中对象描述信息项可包括预设对象的面部信息以及预设对象的习惯操作项集合;对于预设对象的面部信息可通过移动终端上的相关传感器进行采集得到;对于预设对象的习惯操作项集合,可以是根据每个预设对象对移动终端的多次操作进行特征分析以及不断学习,得到的与每个预设对象对应的习惯操作项集合,这里的多次操作中可包括多种不同类型的操作,例如横向摇动移动终端、竖向摇动移动终端等,对于每个预设对象,可分别对其不同类型的操作进行特征分析以及学习。
预先生成的对象操作集合中包括每个预设对象的面部信息和习惯操作项集合,可便于后续基于对象操作集合进行有效触发操作的判断,为判断是否为有效触发操作提供依据。
S240.基于所述有效目标对象以及所述对象操作集合,确定所述触发操作是否为有效触发操作。
本公开实施例中只要被确定为有效的触发操作才会被处理执行,具体请参阅图6,其示出了一种触发操作有效性确定方法,该方法可包括:
S610.获取所述有效目标对象的面部信息,将所述有效目标对象的面部信息与所述对象操作集合中各预设对象的面部信息进行匹配得到匹配对象;所述匹配对象为所述对象操作集合中,与所述有效目标对象的面部信息匹配一致的面部信息所对应的预设对象。
同样可通过移动终端的相关传感器来采集有效目标对象的面部信息,移动终端获取到有效目标对象的面部信息之后,将其与对象操作集合中各预设对象的面部信息进行匹配。
S620.将所述触发操作与所述匹配对象的习惯操作项集合中的习惯操作项进行匹配,得到操作项匹配结果。
S630.根据所述操作项匹配结果,确定所述触发操作是否为有效触发操作。
由图6可以看出,当存在匹配对象时且匹配对象的习惯操作项集合中存在与对移动终端的触发操作相匹配的习惯操作项,则判断当前对移动终端的触发操作为有效触发操作。通过将匹配对象的习惯操作项与触发操作进行匹配来确定是否为有效触发操作,能够提高有效触发操作的便利性。
在判断对移动终端的触发操作是否为有效触发操作时,可以首先判断对象操作集合中是否存在与有效目标对象相匹配的匹配对象,从而确定当前有效目标对象是否为某个预设对象,以及具体对应哪一项操作;出于安全性的考虑,本公开实施例中可以设置只有预设对象对移动终端的触发操作才会被处理,可以过滤非预设对象对移动终端的操作,保证操作安全性,从而可以避免其他非预设用户或者没有权限的用户对移动终端的操作而导致的安全性问题;另外通过先匹配预设对象可进一步缩小匹配范围,提升后续触发操作的匹配效率。
具体地,请参阅图7,其示出了对移动终端的触发操作有效性的判断流程示意图,可包括:
S710.获取所述有效目标对象的面部信息,将所述有效目标对象的面部信息与所述对象操作集合中各预设对象的面部信息进行匹配。
S720.判断所述对象操作集合中是否存在与所述有效目标对象的面部信息匹配一致的面部信息;当存在时,执行步骤S730;当不存在时,执行步骤S780。
S730.将所述对象操作集合中与所述有效目标对象的面部信息匹配一致的面部信息所对应的预设对象确定为匹配对象。
S740.在所述对象操作集合中提取所述匹配对象的习惯操作项集合。
S750.将所述对所述移动终端的触发操作与所述匹配对象的习惯操作项集合中的习惯操作项进行匹配。
S760.判断所述匹配对象的习惯操作项集合中是否存在与所述对所述移动终端的触发操作相匹配的习惯操作项;当存在时,执行步骤S770;当不存在时,执行步骤S780。
S770.确定所述对所述移动终端的触发操作为有效触发操作。
S780.确定所述对所述移动终端的触发操作为无效触发操作。
本公开实施例中,只有被判断为有效的触发操作才会被执行,这里对于触发操作的有效性可从两个方面进行考虑,一方面是该触发操作是由某个预设对象发出的,另一方面是该触发操作与该预设对象的习惯操作项相匹配,从而既可以保证对移动终端的安全操作,又可以确定出与当前触发操作相对应的具体操作。
进一步地,对所述移动终端的触发操作包括对所述移动终端的操作参数;每个习惯操作项集合中包括与每项习惯操作对应的操作参数;具体地,操作参数可以包括多个维度的数据信息,例如横竖屏信息、幅度、频率、旋转方向等,这些参数均可以通过移动终端的传感器检测得到。由于移动终端在检测到对移动终端的触发操作,具体是通过移动终端中的传感器检测到了相关参数从而确定存在触发操作,但具体对应的是哪个预设对象的哪一类型的操作,还需要进一步进行匹配确定,即根据传感器检测到的这些参数即可确定出对移动终端的操作类型。
请参阅图8,其示出了一种基于操作参数的有效触发操作确定方法,可包括:
S810.将所述触发操作的操作参数与所述匹配对象的习惯操作项集合中每项习惯操作对应的操作参数进行匹配,得到操作参数匹配结果。
S820.根据所述操作参数匹配结果,判断与所述匹配对象的各项习惯操作对应的操作参数中是否存在目标操作参数,所述目标操作参数与所述触发操作的操作参数满足预设条件。
S830.当判断结果为是时,确定所述触发操作为有效触发操作。
将对移动终端的操作参数的各维度数据与匹配对象的各项习惯操作的各维度数据分别进行匹配,这里的匹配结果符合预设条件可以是指对于某个维度的数据,当前对移动终端的操作参数中的数据与匹配对象的习惯操作中的数据的差值小于预设值时,则判定匹配结果是符合预设条件的。
在习惯操作项集合中,每项习惯操作均对应有相应的操作参数,例如一项习惯操作为横向摇动移动终端,其对应的各维度数据为:横竖屏信息:横屏、幅度:x、频率:y;若当前对移动终端的操作参数与上述各维度数据横竖屏信息:横屏、幅度:x、频率:y相匹配时,则确定当前对移动终端的触发操作为横向摇动。通过操作参数的匹配,可将对移动终端的具体操作参数确定为相应的具体操作。
之所以需要先将有效目标对象与预设对象进行匹配,是因为对于同一操作,不同预设对象的操作参数不同,直接匹配操作参数难以直接确定对应的具体操作,通过先匹配预设对象可进一步缩小匹配范围,提升后续触发操作的匹配效率;在确定了匹配对象之后,再进一步进行操作数据的匹配,可快速确定相应的匹配操作。对移动终端的触发操作进行匹配具体是基于操作参数的匹配,将触发操作的操作参数与匹配对象的每项习惯操作项对应的操作参数进行匹配,从而可确定触发操作是否为有效触发操作。基于操作参数的操作项匹配能够更加精准地确定出与触发操作相匹配的习惯操作项,避免匹配误差,提升匹配准确性。
S250.当所述触发操作为有效触发操作时,执行所述触发操作在所述当前线上活动中对应的线上互动指令。
本公开实施例中可预先建立每项对移动终端的预设操作与当前线上活动中每项线上活动指令的对应关系,在当所述触发操作为有效触发操作时,执行所述触发操作在所述当前线上活动中对应的线上互动指令之前,可预先获取每项对所述移动终端的预设操作与所述当前线上活动中每项线上互动指令的对应关系,从而对于有效触发操作的处理方法可参阅图9,该方法可包括:
S910.将所述触发操作与每项对所述移动终端的预设操作进行匹配,确定与所述触发操作相匹配的预设操作。
S920.基于所述对应关系,确定与所述有效触发操作在所述当前线上活动中对应的有效线上互动指令。
S930.执行所述有效线上互动指令。
根据预设操作与线上互动指令之间的对应关系,确定与当前对移动终端的触发操作所对应的线上互动指令,并执行该线上互动指令,从而实现了由对移动终端的触发操作转化为在当前线上活动中的线上互动指令。通过与触发操作相匹配的预设操作所对应的线上互动指令,来确定与触发操作对应的有效线上互动指令,从而实现只需对移动终端进行触发操作便可触发相应的有效线上互动指令,进而提升参与线上活动的便利性,提高交互效率。
另外,为了进一步满足用户的个性化设置,实现线上互动参与的灵活性,用户可预先设置参与线上活动的互动条件,第二终端在接收到线上互动请求时,首先判断当前线上活动是否符合用户预设的互动条件,当符合时,按照本公开实施例上述各方法实现相应的互动;当不符合时,在当前线上活动的有效时间内,对于移动终端所发送的线上互动请求均可不予处理。在预先设置好参与线上活动的互动条件后,当确定对移动终端的触发操作为有效触发操作时,便可直接参与到线上互动以实现线上互动的目的,而不需要通过繁复的手动点击交互流程来实现线上互动的目的。
需要说明的是,对于本公开上述各方法中各步骤的执行顺序不做限定,在具体实施过程中,可根据具体情况调整相应步骤的执行顺序。
本公开通过响应于用户基于当前线上活动对移动终端的触发操作,获取周围环境信息;当周围环境信息中包含有效目标对象时,获取与所述移动终端对应的对象操作集合;当基于有效目标对象以及对象操作集合确定触发操作为有效触发操作时,执行有效触发操作在当前线上活动中对应的线上互动指令。本公开能够将对移动终端的触发操作直接转换为相应的线上互动指令,从而用户可通过直接对移动终端进行改变其运动状态的触发操作,便可参与到相应的线上互动活动中,可解决相关技术中通过在当前线上活动界面上进行手动点击操作来参与线上互动活动而导致的使用场景受限的问题,适用于用户无法通过手动点击操作来参与线上互动活动的场景,并且能够避免由于繁复的手动点击操作而导致参与实时互动失败的情况,相比于手动点击操作,对移动终端进行改变其运动状态的触发操作操作更为简便,更易于实现;从而本公开能够缩短交互过程的转化流程,提高交互效率,提升用户体验。
本公开中的线上互动方法可应用于线上直播购物、票务抢购以及商品秒拍等应用场景,下面具体以线上直播购物场景为例来说明本公开的具体实施过程。
请参阅图10,其示出了参与线上直播购物的互动过程示意图,其执行主体可以为展示直播活动的移动终端,具体可包括:
S1010.当检测到用户进入购物直播间时,移动终端实时获取当前直播内容,根据获取的当前直播内容分析出当前直播商品。
对于当前直播商品,可具体到SKU(Stock Keeping Unit,库存保有单位),这里的SKU可设置尽可能简单,以使得交互流程尽可能短。
S1020.基于移动终端的传感器确定用户是否正在观看直播。
通过移动终端的距离传感器、环境光传感器及摄像头确定用户是否在实时观看直播,在本公开实施例中,可以设置当用户远离移动终端时,移动终端可自动息屏,以免产生误操作,具体可通过距离传感器、环境光传感器来实现;当用户正常使用移动终端时,移动终端屏幕正常显示。如图11所示,通过移动终端的前置摄像头并结合距离传感器、环境光传感器所检测到的数据,来判断当前移动终端前是否存在活体对象,进一步再判断该活体对象的面部朝向正在显示直播活动的移动终端,从而确定当前用户正在观看直播。
S1030.基于移动终端的传感器采集改变移动终端运动状态的操作参数,并根据操作参数确定当前用户对移动终端的操作行为。
这里的操作参数具体为用户在观看直播过程中的一些物理数据,就是这个移动终端在物理层面上的数据。通过加速度传感器、重力传感器、陀螺仪来还原用户3D行为:通过加速度传感器确定x/y/z三个方向的加速度值,通过重力传感器确定移动终端的横竖屏等信息,通过陀螺仪确定移动终端旋转方向等信息。如图12所示,用户对移动终端进行触发操作,通过重力传感器可以确定移动终端为竖屏,通过加速度传感器确定摇晃操作在x/y/z三个方向的加速度值,通过陀螺仪确定对移动终端的摇晃方向等。
S1040.根据用户对移动终端的操作行为与直播购物行为的对应关系,确定当前用户对移动终端的操作行为所对应的直播购物行为。
通过算法进行识别分类,做到将物理运动转换为逻辑代码,然后再通过逻辑代码帮助用户完成下单、收藏、秒拍等行为。例如可设置以下几种简单高频的行为:1.横向低频摇动移动终端——关注;2.横向高频摇动移动终端——加购;3.竖向低频摇动移动终端——一键购买,对于低频和高频的区分,可根据用户的操作习惯设置相应的数值。具体的用户通过操作移动终端实现购物互动的流程图请参阅图13。
如图14所示,在具体的直播购物过程中,当直播界面中出现购物车图标时,则认为当前购物互动活动开始,此时可通过对移动终端进行触发操作来实现相应的互动;例如此时用户想要将当前商品加入到购物车中,则可以通过横向高频摇动移动终端来实现加购。
为了保证顺利完成以上交互,需要系统性的增加容错措施,比如通过摄像头确认移动终端当时的朝向和当前观看直播的客户,通过这类实时校验,在用户购物的同时保证其安全性和有效性。如果需要进一步保证有效性,还可以通过结构光传感器来实时获取用户面部信息,来确认是否有效订单。
将本公开应用于线上直播购物场景中,能够使用户快速、准确的购买到心仪的产品,满足各类人群;为了达到这个目的,首先要确认移动终端前的对象是否是“人”,用户是否在观看直播,用户是否是本人,这些都可以通过结构光传感器、摄像头、点阵投影器来确定;其次,要确定有效触发动作,用户都有自己的用户特征类似于“用户画像”,通过采集积累移动终端用户的动作特征,来确定出若干个简便有效的动作作为其本人在直播下单的触发点(千人千变,每个人触发特征不同);最后,需要有必要的容错过滤功能,保证系统能够正确下单。经过以上步骤,可以通过高频横向晃动、低频横向晃动、高频竖向晃动等几个简单的行为来完成复杂的购物行为。
进一步地,还可以设置“快速购物”功能,即可以设置一系列条件,可包括:商品金额上限、商品所属类别、当前用户为购物账号用户本人、已填写常用购物地址等等;若当前正在直播的商品满足上述预先设置的条件,在检测到移动终端的物理行为时,可执行相应的购物指令;通过事先设置这些条件,使得购物流程更短更有效,时效性更高;另外也能够避免用户购买不符合自己要求的商品,使得直播购物更加个性化。其中,若检测到移动终端的物理行为,但当前直播商品不满足预先设置条件中的至少一个,此时直播界面上可弹出相应的提示窗,提示是否需要继续本次操作,此时也可定义不同的移动终端物理行为对应不同选择,例如向用户所在方向摇晃移动终端对应同意继续当前操作,向远离用户所在方向摇晃移动终端对应不同意继续当前操作。可参阅图15,若用户在设置“快速购物”功能时,设置的商品金额上限为500元,而当前直播商品的价格为600,在当前直播购物界面出现购物车时,用户通过竖向低频摇动移动终端想要进行购买,此时直播购物界面会弹出提示窗,其内容为“当前商品价格高于设置的商品金额上限,是否继续操作?若是,对移动终端执行操作1;若否,对移动终端执行操作2”,从而可根据用户对移动终端的进一步操作来确定用户最终是否要购买当前商品,若用户对移动终端执行操作1,则继续购买当前直播商品;若用户对移动终端执行操作2,则结束购买流程。
在具体实施过程中,可以设定很多在线下购物时比较有趣的动作,然后将其设定成为线上购物的触发动作,这样在线上购物的同时感受线下购物的身体反馈,从而使得用户有不一样的体验;设定不同的肢体动作,将其设定为线上购物触发动作;通过精确的算法将物理数据抽象成对应的肢体动作,然后配合丰富的人脸信息,做到精确下单。
通过对移动终端的触发操作实现对当前直播商品的下单、收藏、秒拍等操作,不同于传统线上购物系统,触发购物不再通过单一的手动点击来完成,丰富下单方式,与直播购物更加契合;随着移动终端的传感器技术越来越丰富,可以高精度还原用户移动终端的物理运动,可以不再依赖基于屏幕上的操作,而通过物理运动来确定用户的行为,从而辅助性的完成一些操作,满足不同用户群体、不同生活场景的使用。基于移动终端的物理运动进行线上购物能够较少购物流程,实现高效下单,方便特殊用户,提高用户肢体参与度,摆脱了使用场景的限制,能够照顾到特殊群体;避免了繁复的交互流程,不会造成直播信息的丢失,有利于发挥直播购物的效果。
图16是根据一示例性实施例示出的一种线上互动装置,参照图16,该装置包括:
触发操作响应单元1610,被配置为执行响应于用户基于当前线上活动对移动终端的触发操作,获取周围环境信息;
有效目标对象检测单元1620,被配置为执行检测所述周围环境信息中是否包含有效目标对象;
对象操作集合获取单元1630,被配置为执行当所述周围环境信息中包含所述有效目标对象时,获取与所述移动终端对应的对象操作集合;
有效触发操作确定单元1640,被配置为执行基于所述有效目标对象以及所述对象操作集合,确定所述触发操作是否为有效触发操作;
线上互动指令执行单元1650,被配置为执行当所述触发操作为有效触发操作时,执行所述触发操作在所述当前线上活动中对应的线上互动指令。
在一示例性实施例中,所述触发操作响应单元1610包括:
图像采集设备调用单元,被配置为执行在所述当前线上活动的有效时间内,当检测到用户对所述移动终端的触发操作时,调用所述移动终端的图像采集设备采集所述周围环境信息。
在一示例性实施例中,所述有效目标对象检测单元1620包括:
活体对象确定单元,被配置为执行对所述周围环境信息进行分析,确定所述周围环境信息中是否包含活体对象;
面部朝向确定单元,被配置为执行当所述周围环境信息中包括活体对象时,确定所述活体对象的面部朝向;
候选目标对象确定单元,被配置为执行当所述活体对象的面部朝向满足预设面部朝向条件时,确定所述周围环境信息中包含候选目标对象;
有效目标对象确定单元,被配置为执行从所述候选目标对象中确定出所述有效目标对象。
在一示例性实施例中,所述有效目标对象确定单元包括:
识别单元,被配置为执行对所述候选目标对象的面部表情、所述候选目标对象与所述移动终端的距离、所述候选目标对象双眼关注的目标中的一项或者多项进行识别;
第一确定单元,被配置为执行根据识别结果从所述候选目标对象中确定出所述有效目标对象。
在一示例性实施例中,所述装置还包括:
第二确定单元,被配置为执行当所述周围环境信息中不包括活体对象时,确定所述周围环境信息中不包含所述有效目标对象;
第三确定单元,被配置为执行当所述活体对象的面部朝向不满足预设面部朝向条件时,确定所述周围环境信息中不包含所述有效目标对象。
在一示例性实施例中,所述对象操作集合中包括各预设对象的面部信息以及与各预设对象对应的习惯操作项集合;
所述有效触发操作确定单元1640包括:
面部信息匹配单元,被配置为执行获取所述有效目标对象的面部信息,将所述有效目标对象的面部信息与所述对象操作集合中各预设对象的面部信息进行匹配得到匹配对象;所述匹配对象为所述对象操作集合中,与所述有效目标对象的面部信息匹配一致的面部信息所对应的预设对象;
习惯操作项集合匹配单元,被配置为执行将所述触发操作与所述匹配对象的习惯操作项集合中的习惯操作项进行匹配,得到操作项匹配结果;
第四确定单元,被配置为执行根据所述操作项匹配结果,确定所述触发操作是否为有效触发操作。
在一示例性实施例中,所述第四确定单元包括:
第五确定单元,被配置为执行当所述操作项匹配结果为所述匹配对象的习惯操作项集合中存在与所述触发操作相匹配的习惯操作项时,确定所述触发操作为有效触发操作。
在一示例性实施例中,所述装置还包括第一生成单元,包括:
面部信息获取单元,被配置为执行对于操作所述移动终端的每个预设对象,获取所述每个预设对象的面部信息;
习惯操作项集合生成单元,被配置为执行记录所述每个预设对象在操作所述移动终端时的至少一项习惯操作,基于所述每个预设对象在操作所述移动终端时的至少一项习惯操作,生成与所述每个预设对象对应的习惯操作项集合;
对象操作集合生成单元,被配置为执行基于所述每个预设对象的面部信息以及与所述每个预设对象对应的习惯操作项集合生成所述对象操作集合。
在一示例性实施例中,所述触发操作包括所述触发操作的操作参数;每个习惯操作项集合中包括与每项习惯操作对应的操作参数;
所述习惯操作项集合匹配单元包括:
第一匹配单元,配置为执行将所述触发操作的操作参数与所述匹配对象的习惯操作项集合中每项习惯操作对应的操作参数进行匹配,得到操作参数匹配结果;
所述第五确定单元包括:
判断单元,被配置为执行根据所述操作参数匹配结果,判断与所述匹配对象的各项习惯操作对应的操作参数中是否存在目标操作参数,所述目标操作参数与所述触发操作的操作参数满足预设条件;
判定单元,被配置为执行当判断结果为是时,确定所述触发操作为有效触发操作。
在一示例性实施例中,所述装置还包括:
对应关系获取单元,被配置为执行预先获取每项对所述移动终端的预设操作与所述当前线上活动中每项线上互动指令的对应关系;
所述线上互动指令执行单元1650包括:
预设操作匹配单元,被配置为执行将所述触发操作与每项对所述移动终端的预设操作进行匹配,确定与所述触发操作相匹配的预设操作;
线上互动指令确定单元,被配置为执行基于所述对应关系,确定与所述触发操作相匹配的预设操作在所述当前线上活动中对应的有效线上互动指令;
第一执行单元,被配置为执行所述有效线上互动指令。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,具备执行该方法相应的功能模块和有益效果,此处将不做详细阐述说明。
本公开提供了一种服务器,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现本实施例上述的任一方法;具体地,该服务器的结构图请参见图17,该设备1700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1722(例如,一个或一个以上处理器)和存储器1732,一个或一个以上存储应用程序1742或数据1744的存储媒体1730(例如一个或一个以上海量存储设备)。其中,存储器1732和存储媒体1730可以是短暂存储或持久存储。存储在存储媒体1730的程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对设备中的一系列指令操作。更进一步地,中央处理器1722可以设置为与存储媒体1730通信,在设备1700上执行存储媒体1730中的一系列指令操作。设备1700还可以包括一个或一个以上电源1726,一个或一个以上有线或无线网络接口1750,一个或一个以上输入输出接口1758,和/或,一个或一个以上操作系统1741,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
本公开提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序存储在可读存储介质中,计算机设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序,使得设备执行本实施例上述的任一方法。
在示例性实施例中,还提供了一种包括指令的存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行如上所述的线上互动方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种线上互动方法,其特征在于,包括:
响应于用户基于当前线上活动对移动终端的触发操作,获取周围环境信息;
检测所述周围环境信息中是否包含有效目标对象;
当所述周围环境信息中包含所述有效目标对象时,获取与所述移动终端对应的对象操作集合;
基于所述有效目标对象以及所述对象操作集合,确定所述触发操作是否为有效触发操作;
当所述触发操作为有效触发操作时,执行所述触发操作在所述当前线上活动中对应的线上互动指令。
2.根据权利要求1所述的一种线上互动方法,其特征在于,所述检测所述周围环境信息中是否包含有效目标对象包括:
对所述周围环境信息进行分析,确定所述周围环境信息中是否包含活体对象;
当所述周围环境信息中包括活体对象时,确定所述活体对象的面部朝向;
当所述活体对象的面部朝向满足预设面部朝向条件时,确定所述周围环境信息中包含候选目标对象;
从所述候选目标对象中确定出所述有效目标对象。
3.根据权利要求2所述的一种线上互动方法,其特征在于,所述从所述候选目标对象中确定出所述有效目标对象包括:
对所述候选目标对象的面部表情、所述候选目标对象与所述移动终端的距离、所述候选目标对象双眼关注的目标中的一项或者多项进行识别;
根据识别结果从所述候选目标对象中确定出所述有效目标对象。
4.根据权利要求1或3所述的一种线上互动方法,其特征在于,所述对象操作集合中包括各预设对象的面部信息以及与各预设对象对应的习惯操作项集合;
所述基于所述有效目标对象以及所述对象操作集合,确定所述触发操作是否为有效触发操作包括:
获取所述有效目标对象的面部信息,将所述有效目标对象的面部信息与所述对象操作集合中各预设对象的面部信息进行匹配得到匹配对象;所述匹配对象为所述对象操作集合中,与所述有效目标对象的面部信息匹配一致的面部信息所对应的预设对象;
将所述触发操作与所述匹配对象的习惯操作项集合中的习惯操作项进行匹配,得到操作项匹配结果;
根据所述操作项匹配结果,确定所述触发操作是否为有效触发操作。
5.根据权利要求4所述的一种线上互动方法,其特征在于,所述方法还包括预先生成所述对象操作集合,所述预先生成所述对象操作集合包括:
对于操作所述移动终端的每个预设对象,获取所述每个预设对象的面部信息;
记录所述每个预设对象在操作所述移动终端时的至少一项习惯操作,基于所述每个预设对象在操作所述移动终端时的至少一项习惯操作,生成与所述每个预设对象对应的习惯操作项集合;
基于所述每个预设对象的面部信息以及与所述每个预设对象对应的习惯操作项集合生成所述对象操作集合。
6.根据权利要求4所述的一种线上互动方法,其特征在于,所述触发操作包括所述触发操作的操作参数;每个习惯操作项集合中包括与每项习惯操作对应的操作参数;
所述将所述触发操作与所述匹配对象的习惯操作项集合中的习惯操作项进行匹配包括:
将所述触发操作的操作参数与所述匹配对象的习惯操作项集合中每项习惯操作对应的操作参数进行匹配,得到操作参数匹配结果;
所述当所述操作项匹配结果为所述匹配对象的习惯操作项集合中存在与所述触发操作相匹配的习惯操作项时,确定所述触发操作为有效触发操作包括:
根据所述操作参数匹配结果,判断与所述匹配对象的各项习惯操作对应的操作参数中是否存在目标操作参数,所述目标操作参数与所述触发操作的操作参数满足预设条件;
当判断结果为是时,确定所述触发操作为有效触发操作。
7.根据权利要求1或6所述的一种线上互动方法,其特征在于,所述当所述触发操作为有效触发操作时,执行所述触发操作在所述当前线上活动中对应的线上互动指令之前还包括:
预先获取每项对所述移动终端的预设操作与所述当前线上活动中每项线上互动指令的对应关系;
所述当所述触发操作为有效触发操作时,执行所述触发操作在所述当前线上活动中对应的线上互动指令包括:
将所述触发操作与每项对所述移动终端的预设操作进行匹配,确定与所述触发操作相匹配的预设操作;
基于所述对应关系,确定与所述触发操作相匹配的预设操作在所述当前线上活动中对应的有效线上互动指令;
执行所述有效线上互动指令。
8.一种线上互动装置,其特征在于,包括:
触发操作响应单元,被配置为执行响应于用户基于当前线上活动对移动终端的触发操作,获取周围环境信息;
有效目标对象检测单元,被配置为执行检测所述周围环境信息中是否包含有效目标对象;
对象操作集合获取单元,被配置为执行当所述周围环境信息中包含所述有效目标对象时,获取与所述移动终端对应的对象操作集合;
有效触发操作确定单元,被配置为执行基于所述有效目标对象以及所述对象操作集合,确定所述触发操作是否为有效触发操作;
线上互动指令执行单元,被配置为执行当所述触发操作为有效触发操作时,执行所述触发操作在所述当前线上活动中对应的线上互动指令。
9.一种服务器,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的线上互动方法。
10.一种存储介质,其特征在于,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行如权利要求1至7中任一项所述的线上互动方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011565378.8A CN114697686B (zh) | 2020-12-25 | 2020-12-25 | 一种线上互动方法、装置、服务器及存储介质 |
PCT/CN2021/106914 WO2022134556A1 (zh) | 2020-12-25 | 2021-07-16 | 线上互动方法及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011565378.8A CN114697686B (zh) | 2020-12-25 | 2020-12-25 | 一种线上互动方法、装置、服务器及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114697686A true CN114697686A (zh) | 2022-07-01 |
CN114697686B CN114697686B (zh) | 2023-11-21 |
Family
ID=82130094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011565378.8A Active CN114697686B (zh) | 2020-12-25 | 2020-12-25 | 一种线上互动方法、装置、服务器及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114697686B (zh) |
WO (1) | WO2022134556A1 (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2610722A2 (en) * | 2011-12-29 | 2013-07-03 | Apple Inc. | Device, method and graphical user interface for configuring restricted interaction with a user interface |
WO2013110780A1 (en) * | 2012-01-25 | 2013-08-01 | Bruno Delean | Systems, methods and computer program products for identifying objects in video data |
US20140082571A1 (en) * | 2011-09-28 | 2014-03-20 | Tencent Technology (Shenzhen) Company Limited | Interaction method and device in touch terminal, and interaction method, server and computer storage medium in network application |
CN104125265A (zh) * | 2013-04-28 | 2014-10-29 | 腾讯科技(深圳)有限公司 | 节目互动方法、装置、终端、服务器及系统 |
CN107655154A (zh) * | 2017-09-18 | 2018-02-02 | 广东美的制冷设备有限公司 | 终端控制方法、空调器及计算机可读存储介质 |
CN107678287A (zh) * | 2017-09-18 | 2018-02-09 | 广东美的制冷设备有限公司 | 设备控制方法、装置及计算机可读存储介质 |
WO2018095439A1 (zh) * | 2016-11-25 | 2018-05-31 | 腾讯科技(深圳)有限公司 | 信息交互方法、装置和存储介质 |
CN109461003A (zh) * | 2018-11-30 | 2019-03-12 | 阿里巴巴集团控股有限公司 | 基于多视角的多人脸场景刷脸支付风险防控方法和设备 |
CN109960913A (zh) * | 2017-12-25 | 2019-07-02 | 上海聚虹光电科技有限公司 | 一种基于用户交互的活体检测方法 |
CN110472589A (zh) * | 2019-08-19 | 2019-11-19 | 中国银行股份有限公司 | 一种行为认证的方法、装置及系统 |
WO2020037937A1 (zh) * | 2018-08-20 | 2020-02-27 | 深圳壹账通智能科技有限公司 | 人脸识别的方法、装置、终端及计算机可读存储介质 |
CN111061953A (zh) * | 2019-12-18 | 2020-04-24 | 深圳市优必选科技股份有限公司 | 智能终端交互方法、装置、终端设备及存储介质 |
WO2020135096A1 (zh) * | 2018-12-26 | 2020-07-02 | 巽腾(广东)科技有限公司 | 基于表情组别的操作确定方法、装置及电子设备 |
CN111367402A (zh) * | 2018-12-26 | 2020-07-03 | 阿里巴巴集团控股有限公司 | 任务触发方法、交互设备及计算机设备 |
CN111950425A (zh) * | 2020-08-06 | 2020-11-17 | 北京达佳互联信息技术有限公司 | 对象获取方法、装置、客户端、服务器、系统和存储介质 |
CN111986700A (zh) * | 2020-08-28 | 2020-11-24 | 广州繁星互娱信息科技有限公司 | 无接触式操作触发的方法、装置、设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10356465B2 (en) * | 2010-01-06 | 2019-07-16 | Sony Corporation | Video system demonstration |
CN104361303A (zh) * | 2014-10-22 | 2015-02-18 | 小米科技有限责任公司 | 终端异常的处理方法及装置、电子设备 |
CN108803980A (zh) * | 2017-04-27 | 2018-11-13 | 北京搜狗科技发展有限公司 | 设备的操作识别方法、装置、设备及可读存储介质 |
CN111641844B (zh) * | 2019-03-29 | 2022-08-19 | 广州虎牙信息科技有限公司 | 直播互动方法、装置、直播系统及电子设备 |
CN110853430B (zh) * | 2019-11-20 | 2022-02-15 | 深圳创维-Rgb电子有限公司 | 基于智能家居的学习辅导方法、设备及存储介质 |
CN111787157A (zh) * | 2020-07-17 | 2020-10-16 | 青岛海信移动通信技术股份有限公司 | 移动终端及其操作响应方法 |
-
2020
- 2020-12-25 CN CN202011565378.8A patent/CN114697686B/zh active Active
-
2021
- 2021-07-16 WO PCT/CN2021/106914 patent/WO2022134556A1/zh active Application Filing
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140082571A1 (en) * | 2011-09-28 | 2014-03-20 | Tencent Technology (Shenzhen) Company Limited | Interaction method and device in touch terminal, and interaction method, server and computer storage medium in network application |
EP2610722A2 (en) * | 2011-12-29 | 2013-07-03 | Apple Inc. | Device, method and graphical user interface for configuring restricted interaction with a user interface |
WO2013110780A1 (en) * | 2012-01-25 | 2013-08-01 | Bruno Delean | Systems, methods and computer program products for identifying objects in video data |
CN104125265A (zh) * | 2013-04-28 | 2014-10-29 | 腾讯科技(深圳)有限公司 | 节目互动方法、装置、终端、服务器及系统 |
WO2018095439A1 (zh) * | 2016-11-25 | 2018-05-31 | 腾讯科技(深圳)有限公司 | 信息交互方法、装置和存储介质 |
CN107655154A (zh) * | 2017-09-18 | 2018-02-02 | 广东美的制冷设备有限公司 | 终端控制方法、空调器及计算机可读存储介质 |
CN107678287A (zh) * | 2017-09-18 | 2018-02-09 | 广东美的制冷设备有限公司 | 设备控制方法、装置及计算机可读存储介质 |
CN109960913A (zh) * | 2017-12-25 | 2019-07-02 | 上海聚虹光电科技有限公司 | 一种基于用户交互的活体检测方法 |
WO2020037937A1 (zh) * | 2018-08-20 | 2020-02-27 | 深圳壹账通智能科技有限公司 | 人脸识别的方法、装置、终端及计算机可读存储介质 |
CN109461003A (zh) * | 2018-11-30 | 2019-03-12 | 阿里巴巴集团控股有限公司 | 基于多视角的多人脸场景刷脸支付风险防控方法和设备 |
WO2020135096A1 (zh) * | 2018-12-26 | 2020-07-02 | 巽腾(广东)科技有限公司 | 基于表情组别的操作确定方法、装置及电子设备 |
CN111367402A (zh) * | 2018-12-26 | 2020-07-03 | 阿里巴巴集团控股有限公司 | 任务触发方法、交互设备及计算机设备 |
CN110472589A (zh) * | 2019-08-19 | 2019-11-19 | 中国银行股份有限公司 | 一种行为认证的方法、装置及系统 |
CN111061953A (zh) * | 2019-12-18 | 2020-04-24 | 深圳市优必选科技股份有限公司 | 智能终端交互方法、装置、终端设备及存储介质 |
CN111950425A (zh) * | 2020-08-06 | 2020-11-17 | 北京达佳互联信息技术有限公司 | 对象获取方法、装置、客户端、服务器、系统和存储介质 |
CN111986700A (zh) * | 2020-08-28 | 2020-11-24 | 广州繁星互娱信息科技有限公司 | 无接触式操作触发的方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114697686B (zh) | 2023-11-21 |
WO2022134556A1 (zh) | 2022-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10909386B2 (en) | Information push method, information push device and information push system | |
CN109976506B (zh) | 一种电子设备的唤醒方法、存储介质及机器人 | |
US20170213268A1 (en) | Method for facilitating a transaction using a humanoid robot | |
WO2017167060A1 (zh) | 一种信息展示方法、装置及系统 | |
CN110033293B (zh) | 获取用户信息的方法、装置及系统 | |
CN109213310B (zh) | 信息互动设备、数据对象信息处理方法及装置 | |
US20220084056A1 (en) | Methods and apparatuses for managing visitor information, electronic devices and storage media | |
CN109472677A (zh) | 信息推送方法、装置、电子设备及计算机可读存储介质 | |
US20130243332A1 (en) | Method and System for Estimating an Object of Interest | |
CN109741134A (zh) | 信息推送方法、装置、电子设备及计算机可读存储介质 | |
CN114125477B (zh) | 数据处理方法、装置、计算机设备及介质 | |
CN112532885B (zh) | 防抖方法、装置及电子设备 | |
CN116091128A (zh) | 基于分布式系统的广告智能推送方法、装置、设备及介质 | |
EP3779842A1 (en) | Commodity information query method and system | |
CN110213307B (zh) | 多媒体数据推送方法、装置、存储介质及设备 | |
CN114257824A (zh) | 直播显示方法、装置、存储介质及计算机设备 | |
CN111246110B (zh) | 图像的输出方法和装置、存储介质及电子装置 | |
CN114697686B (zh) | 一种线上互动方法、装置、服务器及存储介质 | |
CN111627149A (zh) | 一种自动售货机及售货系统 | |
CN111274476A (zh) | 基于人脸识别的房源匹配方法、装置、设备和存储介质 | |
CN110895769A (zh) | 信息显示方法、设备、系统及存储介质 | |
CN111654717B (zh) | 数据处理方法、装置、设备及存储介质 | |
CN113409123A (zh) | 一种信息推荐方法、装置、设备及存储介质 | |
CN111610851B (zh) | 互动方法、装置以及用于实现该互动方法的用户终端 | |
CN113516497A (zh) | 信息推送方法、装备、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |