弹幕的显示、推送方法及装置及弹幕应用系统
技术领域
本申请涉及计算机技术领域,尤其涉及一种弹幕的显示、推送方法及装置及弹幕应用系统。
背景技术
弹幕是以丰富的内容与变化为主要形式,以弹幕视频为载体的一种新兴的信息展示形式。通过弹幕可以将评论内容实时显示到视频上,以便用户与用户之间或者用户与商户之间进行交流,因此受到人们的普遍欢迎。
现有技术中,弹幕通常应用于视频播放(尤其是在线网络视频的播放或直播等)的过程中,视频播放器中通常设置有弹幕按键,当用户观看某视频时,可以点击该弹幕按键,然后,视频播放器会获取用户针对该视频做出的评论或留言等信息,并将这些信息以弹幕的形式设置在当前视频的播放画面中,弹幕在视频中显示的时机根据用户提交弹幕内容的时间来确定,并以滚动播放的形式从视频播放器界面的一端滚动到另一端或者循环滚动。
目前,弹幕的应用主要集中在视频播放领域,如在影视剧中加入弹幕,或者在直播视频中加入弹幕。另外,也有在现场设置专门的显示设备用来显示在场用户提交的弹幕内容,这些方式的弹幕应用能够增加特定用户群体之间的互动,但是只是应用在互联网环境或者特定的节目现场,弹幕应用的范围及所针对的用户群体都较为局限。
发明内容
本申请实施例的目的是提供一种弹幕的显示、推送方法及装置及弹幕应用系统,以实现弹幕在现实场景中的应用,扩大弹幕技术在现实生活中的应用范围,以及增加能够参与弹幕应用的用户群体的数量。
为解决上述技术问题,本申请实施例是这样实现的:
本申请实施例提供一种弹幕的显示方法,所述方法包括:
对当前拍摄的场景画面进行图像特征提取,得到场景图像特征;
获取所述场景图像特征中的标志图像特征所对应的推送弹幕信息;其中,所述标志图像特征为与预设图像特征相匹配的图像特征;
在所述当前拍摄的场景画面中显示所述推送弹幕信息。
可选地,所述推送弹幕信息包括:跟踪弹幕内容;
所述在所述当前拍摄的场景画面中显示所述推送弹幕信息,包括:
获取所述标志图像特征的相机空间位置;
根据所述标志图像特征的相机空间位置确定所述跟踪弹幕内容的显示位置;
根据所述跟踪弹幕内容的显示位置在所述当前拍摄的场景画面中显示所述跟踪弹幕内容。
可选地,所述推送弹幕信息包括:跟踪弹幕内容及与其对应的标志图像特征的标识;
所述在所述当前拍摄的场景画面中显示所述推送弹幕信息,包括:
获取所述标志图像特征的标识所对应的标志图像特征的相机空间位置;
根据所述标志图像特征的相机空间位置确定所述标志图像特征对应的跟踪弹幕内容的显示位置;
根据所述跟踪弹幕内容的显示位置在所述当前拍摄的场景画面中显示所述跟踪弹幕内容。
可选地,获取所述场景图像特征中的标志图像特征所对应的推送弹幕信息之前,所述方法还包括:
将所述场景图像特征与本地图像特征库中的预设图像特征进行特征匹配,将所述场景图像特征中的与所述预设图像特征相匹配的图像特征作为标志图像特征;
相应的,所述获取所述场景图像特征中的标志图像特征所对应的推送弹幕信息,包括:
向服务器发送获取所述标志图像特征所对应的推送弹幕信息的请求;
接收所述服务器发送的所述标志图像特征所对应的推送弹幕信息。
可选地,获取所述场景图像特征中的标志图像特征所对应的推送弹幕信息之前,所述方法还包括:
将所述场景图像特征发送给服务器;
相应的,所述获取所述场景图像特征中的标志图像特征所对应的推送弹幕信息,包括:
接收所述服务器发送的所述场景图像特征中的标志图像特征所对应的推送弹幕信息。
可选地,所述方法还包括:
获取用户输入的目标弹幕内容及所述目标弹幕内容所对应的标志图像特征的标识;
将所述目标弹幕内容及所述标志图像特征的标识发送给服务器,以使所述服务器生成所述标志图像特征所对应的推送弹幕信息。
可选地,所述推送弹幕信息包括:固定弹幕内容,
所述在所述当前拍摄的场景画面中显示所述推送弹幕信息,包括:
在所述当前拍摄的场景画面中的预定位置显示所述固定弹幕内容。
本申请实施例还提供一种弹幕的推送方法,所述方法包括:
接收终端设备发送的当前拍摄的场景画面的场景图像特征;
若所述场景图像特征中包含标志图像特征,则获取所述标志图像特征所对应的推送弹幕信息;其中,所述标志图像特征为与预设图像特征相匹配的图像特征;
将所述推送弹幕信息发送给所述终端设备,以使所述终端设备在所述当前拍摄的场景画面中显示所述推送弹幕信息。
可选地,所述获取所述标志图像特征所对应的推送弹幕信息,包括:
获取所述标志图像特征所对应的跟踪弹幕内容和/或固定弹幕内容;
根据所述标志图像特征所对应的跟踪弹幕内容和/或固定弹幕内容,生成所述标志图像特征所对应的推送弹幕信息。
可选地,所述方法还包括:
接收所述终端设备发送的目标弹幕内容及所述目标弹幕内容所对应的标志图像特征的标识;
根据所述目标弹幕内容及所述目标弹幕内容所对应的标志图像特征的标识,生成所述标志图像特征所对应的推送弹幕信息。
本申请实施例提供一种弹幕的显示装置,所述装置包括:
图像特征提取模块,用于对当前拍摄的场景画面进行图像特征提取,得到场景图像特征;
弹幕信息获取模块,用于获取所述场景图像特征中的标志图像特征所对应的推送弹幕信息;其中,所述标志图像特征为与预设图像特征相匹配的图像特征;
显示模块,用于在所述当前拍摄的场景画面中显示所述推送弹幕信息。
可选地,所述推送弹幕信息包括:跟踪弹幕内容;所述显示模块,包括:
第一相机空间获取单元,用于获取所述标志图像特征的相机空间位置;
第一显示位置确定单元,用于根据所述标志图像特征的相机空间位置确定所述跟踪弹幕内容的显示位置;
第一显示单元,用于根据所述跟踪弹幕内容的显示位置在所述当前拍摄的场景画面中显示所述跟踪弹幕内容。
可选地,所述推送弹幕信息包括:跟踪弹幕内容及与其对应的标志图像特征的标识;所述显示模块,包括:
第二相机空间获取单元,用于获取所述标志图像特征的标识所对应的标志图像特征的相机空间位置;
第二显示位置确定单元,用于根据所述标志图像特征的相机空间位置确定所述标志图像特征对应的跟踪弹幕内容的显示位置;
第二显示单元,用于根据所述跟踪弹幕内容的显示位置在所述当前拍摄的场景画面中显示所述跟踪弹幕内容。
可选地,所述装置还包括:
特征匹配模块,用于将所述场景图像特征与本地图像特征库中的预设图像特征进行特征匹配,将所述场景图像特征中的与所述预设图像特征相匹配的图像特征作为标志图像特征;
所述弹幕信息获取模块,包括:
请求发送单元,用于向服务器发送获取所述标志图像特征所对应的推送弹幕信息的请求;
信息接收单元,用于接收所述服务器发送的所述标志图像特征所对应的推送弹幕信息。
可选地,所述装置还包括:
发送模块,用于将所述场景图像特征发送给服务器;
所述弹幕信息获取模块,用于接收所述服务器发送的所述场景图像特征中的标志图像特征所对应的推送弹幕信息。
可选地,所述装置还包括:
目标弹幕获取模块,用于获取用户输入的目标弹幕内容及所述目标弹幕内容所对应的标志图像特征的标识;
目标弹幕发送模块,用于将所述目标弹幕内容及所述标志图像特征的标识发送给所述服务器,以使所述服务器生成所述标志图像特征所对应的推送弹幕信息。
可选地,所述推送弹幕信息包括:固定弹幕内容,
所述显示模块,还用于在所述当前拍摄的场景画面中的预定位置显示所述固定弹幕内容。
本申请实施例还提供一种弹幕的推送装置,所述装置包括:
接收模块,用于接收终端设备发送的当前拍摄的场景画面的场景图像特征;
弹幕信息获取模块,用于若所述场景图像特征中包含标志图像特征,则获取所述标志图像特征所对应的推送弹幕信息;其中,所述标志图像特征为与预设图像特征相匹配的图像特征;
发送模块,用于将所述推送弹幕信息发送给所述终端设备,以使所述终端设备在所述当前拍摄的场景画面中显示所述推送弹幕信息。
可选地,所述弹幕信息获取模块,用于获取所述标志图像特征所对应的跟踪弹幕内容和/或固定弹幕内容;根据所述标志图像特征所对应的跟踪弹幕内容和/或固定弹幕内容,生成所述标志图像特征所对应的推送弹幕信息。
可选地,所述弹幕信息获取模块,还用于接收所述终端设备发送的目标弹幕内容及所述目标弹幕内容所对应的标志图像特征的标识;根据所述目标弹幕内容及所述目标弹幕内容所对应的标志图像特征的标识,生成所述标志图像特征所对应的推送弹幕信息。
本申请实施例还提供一种弹幕应用系统,所述弹幕应用系统包括如上述实施例提供的弹幕的显示装置,及如上述实施例提供的弹幕的推送装置。
由以上本申请实施例提供的技术方案可见,本申请实施例通过对当前拍摄的场景画面进行图像特征提取,得到场景图像特征,然后,获取该场景图像特征中与预设图像特征相匹配的标志图像特征所对应的推送弹幕信息,在当前拍摄的场景画面中显示推送弹幕信息,这样,通过增强现实的方式将虚拟的推送弹幕信息展现在拍摄的场景画面中,以实现弹幕在现实场景中的应用,扩大弹幕技术在现实生活中的应用范围,以及增加能够参与弹幕应用的用户群体的数量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一种弹幕的显示方法实施例;
图2A为本申请一种显示有推送弹幕信息的场景画面示意图;
图2B为本申请另一种显示有推送弹幕信息的场景画面示意图;
图3为本申请另一种弹幕的显示方法实施例;
图4为本申请一种带有信息输入框的场景画面示意图;
图5为本申请一种终端设备、服务器和商户服务器之间连接结构示意图;
图6为本申请再一种弹幕的显示方法实施例;
图7为本申请一种弹幕的推送方法实施例;
图8为本申请又一种弹幕的显示方法实施例;
图9为本申请一种弹幕的显示装置实施例;
图10为本申请另一种弹幕的显示装置实施例;
图11为本申请再一种弹幕的显示装置实施例;
图12为本申请又一种弹幕的显示装置实施例;
图13为本申请一种弹幕的推送装置实施例;
图14为本申请一种弹幕应用系统实施例。
具体实施方式
本申请实施例提供一种弹幕的显示、推送方法及装置及弹幕应用系统。
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
实施例一
如图1所示,本申请实施例提供一种弹幕的显示方法,该方法可以使用户在现实生活的场景中,使用带有摄像功能的电子设备通过弹幕进行互动。该方法的执行主体可以为具有摄像功能的电子设备,该电子设备可以是如手机、平板电脑等移动终端设备,也可以是如摄像机、照相机等设备。该方法具体可以包括以下步骤:
在步骤S101中:对当前拍摄的场景画面进行图像特征提取,得到场景图像特征。
其中,场景画面是电子设备启动摄像功能后,通过摄像头捕捉到的当前场景的画面。比如对于手机,点击拍照按键后,摄像头就会捕捉当前场景的画面,在显示屏上以预览图像帧的方式显示场景画面。
当用户拍摄某个场景的照片或视频时,启动电子设备的摄像功能,此时摄像头开始捕捉当前场景的画面,在电子设备上形成当前场景画面的预览图像帧的循环。对电子设备当前拍摄的场景画面进行图像特征提取,从场景画面的预览图像帧中提取图像特征,就得到了当前场景的场景图像特征。
对图像帧进行图像特征提取,可以采用以下方法:对图像帧进行分割,划分出图像帧所包含的对象或颜色区域,然后,可以对上述区域分别进行图像特征提取,得到相应的图像特征点的集合;或者,也可以将图像帧均匀地划分为多个图像块,然后,可以对每个图像块进行图像特征提取,得到相应的场景图像特征点的集合。图像特征可以包括多种,如纹理特征、形状特征、空间关系特征等。本申请实施例中的场景图像特征可以是其中的一种或多种。针对同一种图像特征,图像特征提取的方式可以包括多种,例如,对于纹理特征,图像特征提取的方式可以包括基于马尔可夫随机场模型的图像特征提取方式、Gibbs随机场模型的图像特征提取方式和Voronio棋盘格图像特征提取方式等。本申请实施例对图像特征提取方式不做限定。
在步骤S102中:获取场景图像特征中的标志图像特征所对应的推送弹幕信息;其中,标志图像特征为与预设图像特征相匹配的图像特征。
在实施中,预先采集了多个标志物的标志图像。标志物可以是现实生活中任意实物对象,如景物(如雷峰塔、天安门或黄鹤楼等)、商户的线下门店等标志性的实物。对采集的标志图像进行图像特征提取,得到相应的图像特征点的集合,从而可以得到各标志图像的图像特征。将这些标志图像的图像特征进行存储,就形成了预设图像特征库。用户在拍摄场景画面获取了场景图像特征后,与该预设图像特征库中的预设图像特征进行特征匹配,就能识别出当前场景画面的场景图像特征中是否含有标志图像特征,若不含标志图像特征,则不执行推送弹幕的相关操作,于此不再赘述。若含有标志图像特征,说明当前场景画面含有标志物的标志图像,可以进一步通过该标志图像的图像特征获取与其对应的推送弹幕信息。
推送弹幕信息可以是由一个或多个用户提供的弹幕内容生成,如对多个用户提交的弹幕内容进行过滤或合并,或在弹幕内容添加附加信息如时间信息后,生成能够向用户推送的推送弹幕信息。推送弹幕信息可以包括用户针对某事物的评论信息、留言信息、标签,以及用户的状态、分享和/或广告信息(如折扣信息、品牌广告或新商品的介绍)等。
在步骤S103中:在当前拍摄的场景画面中显示推送弹幕信息。
在本实施例中,推送弹幕信息可以包括多种类型,如固定弹幕内容和跟踪弹幕内容等。固定弹幕内容为固定类型,即在电子设备显示的场景画面中的固定位置显示弹幕内容,如场景画面的顶部或底部等。在实际应用中,可以将该推送弹幕信息中的广告信息、标志图像对应的标志物所在的景点的公告信息等设置为固定弹幕内容。跟踪弹幕内容为跟踪类型,在电子设备显示的场景画面中,根据标志图像的位置显示弹幕内容。例如,可以将推送弹幕信息中的用户针对某标志物的评论信息、留言信息等设置为跟踪弹幕内容,跟踪弹幕内容根据标志图像在场景画面中的位置进行显示,如显示在标志图像的左侧或右侧,当用户移动电子设备的位置时,摄像部件会随着电子设备的移动而移动,相应的,电子设备中显示的场景画面也会变化,标志图像在场景画面中位置也会随之变化,则推送弹幕信息会随着标志图像的位置变化而改变位置,即推送弹幕信息可以与标志图像的相对位置保持不变。如果继续移动电子设备直至标志图像移出场景画面,则可以取消推送弹幕信息在当前拍摄的场景画面中的显示。
为实现弹幕内容跟踪标志图像进行显示,需要先确定场景画面中的标志图像的位置,再根据标志图像的位置确定弹幕内容的显示位置,由此实现跟踪显示。本实施例中,获取了标志图像的标志图像特征后,结合相机标定的方式,能够得到标志图像特征的相机空间位置,即场景画面中的标志图像的位置。根据标志图像特征的相机空间位置确定弹幕内容的显示位置,在该显示位置显示弹幕内容,就实现了“跟踪”标志图像的显示效果。
通常情况下,一个场景画面中可能只含有一个标志图像。但在特殊的场景中,可能一个场景画面中有多个标志图像,此时需要在场景画面中针对每个标志图像分别显示与其对应的推送弹幕信息。
一种实施方式中,考虑到实用性及系统复杂性,而且为了能够节约通信流量,减少系统负担,可以在当前场景画面中最多只推送一个标志图像对应的弹幕,即便一个场景识别出了多个标志图像,但是只选择一个标志图像推送弹幕,比如选择最先识别出的标志图像,或者选择预设优先级最高的标志图像。此时,推送弹幕信息的方式为:根据标志图像特征的相机空间位置确定跟踪弹幕内容的显示位置;根据跟踪弹幕内容的显示位置在当前拍摄的场景画面中显示跟踪弹幕内容。此种实施方式,识别出一个标志图像后,将标志图像特征对应的推送弹幕信息在标志特征对应的相机位置进行显示。此种实施方式考虑到多数场景很难有两个以上标志图像,以提高实用性、降低系统复杂性和减少系统负担等为主要考虑因素。
如图2A所示,场景画面中只包括“雷峰塔”这一个标识图像,因此,可以根据“雷峰塔”这一标志图像特征的相机空间位置确定跟踪弹幕内容的显示位置,即显示位置可以为“雷峰塔”这一标志图像的顶部、左侧和底部,可以在标志图像的顶部、左侧和底部显示跟踪弹幕内容。
考虑到上述实施方式在本地图像特征库的图像特征的数量方面会受到较大限制,本申请还提供另一种实施方式,在该实施方式中,可以在当前场景画面中包括多个标志图像时,针对每个标志图像的位置,有针对性的向当前场景画面推送弹幕。这种实施方式中,需要预先为每个标志图像设置对应的标志图像特征标识,由此在同一场景中包括多个标志图像时,能够根据标识区分各个标志图像特征,确定各个标志图像特征的相机空间位置。此时,推送弹幕信息可以包括跟踪弹幕内容及与其对应的标志图像特征的标识,推送弹幕信息的方式为:获取标志图像特征的标识所对应的标志图像特征的相机空间位置;根据标志图像特征的相机空间位置确定标志图像特征对应的跟踪弹幕内容的显示位置;根据跟踪弹幕内容的显示位置在当前拍摄的场景画面中显示跟踪弹幕内容。此种方式会增加系统复杂性,降低实用性,而且还会增加通信流量和系统负担,但是系统的整体完善程度会大幅提高,图像特征库的可扩展性及匹配准确性较好,用户体验也更好。
如图2B所示,场景画面中包括有两个标识图像,即“百年古树”和“雷峰塔”的标识图像,服务器推送的推送弹幕信息中包括:“百年古树”的相关弹幕内容及“百年古树”这一标志图像特征的标识,以及“雷峰塔”的相关弹幕内容及“雷峰塔”这一标志图像特征的标识。在显示弹幕信息时,可以分别确定“百年古树”的标识所对应的相机空间位置和“雷峰塔”的标识所对应的相机空间位置,并根据各自的相机空间位置确定各自的跟踪弹幕内容的显示位置。即“雷峰塔”这一标志图像的跟踪弹幕内容的显示位置可以为“雷峰塔”的顶部、左侧和右侧,“百年古树”这一标志图像的跟踪弹幕内容的显示位置可以为“百年古树”的顶部和右侧,因此,可以在“雷峰塔”的顶部、左侧和右侧显示与“雷峰塔”相应的跟踪弹幕内容,并在“百年古树”的顶部和右侧显示与“百年古树”相应的跟踪弹幕内容。
针对上述两种实施方式,可根据具体的应用环境和场景采用较为合适的实施方式,本申请实施例对此不做限定。
本申请实施例提供一种弹幕的显示方法,通过对当前拍摄的场景画面进行图像特征提取,得到场景图像特征,然后,获取该场景图像特征中与预设图像特征相匹配的标志图像特征所对应的推送弹幕信息,在当前拍摄的场景画面中显示推送弹幕信息,这样,通过增强现实的方式将虚拟的推送弹幕信息展现在拍摄的场景画面中,以实现弹幕在现实场景中的应用,扩大弹幕技术在现实生活中的应用范围,以及增加能够参与弹幕应用的用户群体的数量。
上述实施例一提供的弹幕的显示方法还可以包括多种实现方式,其中,针对不同的执行主体,该方法可以包括多种不同的实现方式,以下实施例二提供一种可行的实现方式。该方法具体可以包括以下内容:
实施例二
如图3所示,本申请实施例提供了一种弹幕的显示方法,该方法的执行主体可以为手机、平板电脑等终端设备,具体包括如下步骤:
在步骤S301中:对当前拍摄的场景画面进行图像特征提取,得到场景图像特征。
在实施中,当用户拍摄某个场景的照片或视频,或者参加某商户举行的线下活动时,可以点击终端设备中安装的相机的应用程序,终端设备可以启动该应用程序,并开启摄像头。此时,摄像头会捕捉当前场景的画面,并将当前场景的画面显示在终端设备的显示屏中。在摄像头捕捉当前场景的画面过程中,终端设备可以形成当前场景画面的预览图像帧的循环,可以从这些预览图像帧中选取一帧图像帧进行图像特征提取,得到当前场景的场景图像特征点的集合,具体可以参见上述实施例一中的步骤S101中的相关内容,在此不再赘述。
在步骤S302中:将场景图像特征与本地图像特征库中的预设图像特征进行特征匹配,将场景图像特征中的与预设图像特征相匹配的图像特征作为标志图像特征。
本申请实施例中,终端设备中可以存储有本地图像特征库,可以方便用户可以在离线的情况下,快速进行特征匹配,从而提高弹幕的显示效率。可以预先采集多个不同标志物的标志图像,可以将该标志图像提供给服务器进行图像特征提取,服务器可以得到相应的图像特征点的集合,即为预设图像特征。服务器可以将上述预设图像特征发送给终端设备,终端设备可以将该预设图像特征存储在本地图像特征库中。
终端设备可以将得到的场景图像特征与本地图像特征库中的预设图像特征进行特征匹配,获取场景图像特征中与预设图像特征相匹配的标志图像特征,具体可以参见上述实施例一中步骤S101的相关内容,在此不再赘述。
其中,特征匹配过程可以是基于汉明距离进行匹配,或基于k近邻算法进行匹配等,此外,还可以通过如比率测试等方式降低误匹配。如果标志图像特征与存储的预设图像特征均不匹配,则可以不对当前场景画面进行任何处理。如果其中的某一个标志图像特征与存储的预设图像特征相匹配,则可以执行下述相关步骤。
可以通过增强现实(Augmented Reality,AR)的方式对上述场景画面进行处理,得到虚实结合的场景画面,具体可以将推送弹幕信息设置在上述场景画面中,其中,推送弹幕信息可以由服务器生成和维护,具体可以包括以下步骤S303和步骤S304。
在步骤S303中:向服务器发送获取标志图像特征所对应的推送弹幕信息的请求。
其中,服务器可以是用于向终端设备提供推送弹幕信息的服务器。
在实施中,终端设备获取到标志图像特征后,可以获取该标志图像特征的标识,可以根据该标识生成获取标志图像特征所对应的推送弹幕信息的请求。终端设备可以将该请求发送给服务器。
在步骤S304中:接收服务器发送的标志图像特征所对应的推送弹幕信息。
在实施中,服务器可以将预设图像特征和与其相应的由用户对各个标志物的相关评论和/或商户提供的相关信息等构成的弹幕信息对应存储。服务器接收到获取标志图像特征所对应的推送弹幕信息的请求后,可以从该请求中提取标志图像特征对应的标识,可以从预先存储的标识与弹幕信息的对应关系中查找该请求中的标识对应的弹幕信息,可以将该弹幕信息作为推送弹幕信息发送给终端设备。终端设备可以接收该推送弹幕信息。
对于服务器生成推送弹幕信息,以及对服务器中生成的推送弹幕信息进行更新的相关处理,具体可以包括以下步骤一和步骤二。
步骤一,获取用户输入的目标弹幕内容及目标弹幕内容所对应的标志图像特征的标识。
其中,目标弹幕内容可以是用户输入的任意弹幕内容,如文字、表情图片、动画、音频等。
在实施中,如图4所示,当用户需要针对场景画面中的标志物进行评论或留言时,可以选取场景画面中的相应标志物的图像,选择完成后,终端设备可以在该标志物的图像的相应位置(如标志物的上方或下方等)设置信息输入框和确定按键,用户可以点击其中的信息输入框,终端设备可以调出语言输入法,用户可以通过语言输入法向信息输入框中输入相应的内容,输入完成后,用户可以点击确定按键,此时,终端设备可以获取信息输入框中的目标弹幕内容。此外,终端设备还可以获取用户选取的标志物的标志图像特征的标识。
步骤二,将目标弹幕内容及标志图像特征的标识发送给服务器,以使服务器生成标志图像特征所对应的推送弹幕信息。
在实施中,终端设备可以将目标弹幕内容及标志图像特征的标识发送给服务器,服务器可以根据标志图像特征的标识获取相应的预设图像特征对应的弹幕信息,可以将该弹幕信息与目标弹幕内容进行如弹幕内容合并、弹幕内容过滤等操作得到推送弹幕信息。
需要说明的是,服务器除了可以通过目标弹幕内容和预先存储的弹幕信息生成推送弹幕信息外,还可以通过如某商户在上述标志图像中设置的特定的信息,如该商户的公告、标志图像对应的标志物所在的景点介绍等信息生成推送弹幕信息。
此外,如图5所示,还可以包括商户服务器,该商户服务器可以与上述服务器连接,可以用于向服务器发送该商户需要在上述标志图像中设置的特定的信息。
可以通过上述过程生成推送弹幕信息,也可以通过上述过程对该推送弹幕信息进行更新,其中对于生成推送弹幕信息的情况,上述步骤一和步骤二的处理可以在上述步骤S303的处理之前执行,而对于对该推送弹幕信息进行更新的情况,上述步骤一和步骤二的处理可以在上述步骤S304的处理之后执行。
可以针对不同类型的推送弹幕信息,执行不同的处理,以下提供一种处理方式,具体可以包括以下步骤S305~步骤S307。
在步骤S305中:如果推送弹幕信息为跟踪弹幕内容,则获取标志图像特征的相机空间位置。
其中,跟踪弹幕内容可以是随着标志图像位置的变化而改变位置的弹幕内容。
在实施中,可以预先对相机内参进行标定,相机的成像过程可以看做是将空间点变换到图像上点的过程,如果忽略相机的畸变影响,则整个变换过程都是线性的。相机内参标定的目标就是找到变换的参数(含畸变),从而可以用数学计算准确地刻画相机的成像过程。确定相机内参的过程即为相机内参标定,相机内参与相机的焦距、硬件工艺有关。相机内参标定可采用张正友棋盘格标定法,即可以从不同角度拍摄同一棋盘格的图片,即可完成相机内参标定。可以结合上述相机内参标定的结果,将标志图像特征点的集合和相应的预设图像特征点的集合对进行图像特征跟踪和点云配准,得到标志图像特征的相机空间位置。
如果上述点云配准成功,则可以执行下述步骤S305,如果上述点云配准失败,则可以返回执行上述步骤S301的处理。
在步骤S306中:根据标志图像特征的相机空间位置确定跟踪弹幕内容的显示位置。
在实施中,如图2A或2B所示,如果上述点云配准成功,则根据标志图像特征的相机空间位置对得到的点云图像中的具体图像内容进行坐标位置更新,得到跟踪弹幕内容的显示位置,如标志图像特征对应的标志图像周围(如上方和/或下方和/或左侧和/或右侧等)。
在步骤S307中:根据跟踪弹幕内容的显示位置在当前拍摄的场景画面中显示跟踪弹幕内容。
在实施中,如图2A或2B所示,当用户移动终端设备的位置时,摄像头会随着终端设备的移动而移动,相应的,场景画面也会变化,在终端设备移动的过程中,如果标志图像没有移出场景画面,则推送弹幕信息会随着标志图像位置的变化而改变位置,即推送弹幕信息可以与标志图像的相对位置保持不变,如果标志图像移出场景画面,则可以取消推送弹幕信息在当前拍摄的场景画面中的显示,从而实现了“跟踪”标志图像的显示效果。
需要说明的是,上述步骤S305~步骤S307是针对推送弹幕信息为跟踪弹幕内容的情况进行说明,而且,上述情况可以是在当前场景画面中最多只推送一个标志图像对应的推送弹幕信息的情形,而对于可以推送场景画面中的多个标志图像对应的推送弹幕信息情形,推送弹幕信息可以包括跟踪弹幕内容及与其对应的标志图像特征的标识,相应的,上述步骤S305~步骤S307的内容,可以分别为:获取标志图像特征的标识所对应的标志图像特征的相机空间位置;根据标志图像特征的相机空间位置确定标志图像特征对应的跟踪弹幕内容的显示位置;根据跟踪弹幕内容的显示位置在当前拍摄的场景画面中显示跟踪弹幕内容。上述处理的具体处理方式可以参见上述步骤S305~步骤S307或者上述实施例一中步骤S103的相关内容,在此不再赘述。
此外,推送弹幕信息还可以为固定弹幕内容,则相应的处理还以包括以下内容:在当前拍摄的场景画面中的预定位置显示固定弹幕内容。其中,预定位置可以是预先指定的任意位置,例如标志图像的顶部或底部等。
本申请实施例提供一种弹幕的显示方法,通过对当前拍摄的场景画面进行图像特征提取,得到场景图像特征,然后,获取该场景图像特征中与预设图像特征相匹配的标志图像特征所对应的推送弹幕信息,在当前拍摄的场景画面中显示推送弹幕信息,这样,通过增强现实的方式将虚拟的推送弹幕信息展现在拍摄的场景画面中,以实现弹幕在现实场景中的应用,扩大弹幕技术在现实生活中的应用范围,以及增加能够参与弹幕应用的用户群体的数量;本申请实施例中不仅将虚拟对象与真实环境融合在一起,同时扩展推送弹幕信息所展示的内容,而且与具体场景结合(如景点介绍、宣传视频、商家门店评价等),可以增强线下场景或线下活动的趣味性,提升用户的积极性。
此外,除了上述实施例二的实现方式外,以下实施例三和实施例四还提供了另一种可行的实现方式,具体可以包括以下内容:
实施例三
如图6所示,本申请实施例提供一种弹幕的显示方法,该方法的执行主体可以为手机、平板电脑等终端设备。该方法具体可以包括以下步骤:
在步骤S601中:对当前拍摄的场景画面进行图像特征提取,得到场景图像特征。
上述步骤S601的步骤内容与上述实施例一中的步骤S101和上述实施例二中的步骤S301的步骤内容相同,可以参见步骤S101和步骤S301的相关内容,在此不再赘述。
在步骤S602中:将该场景图像特征发送给服务器。
在步骤S603中:接收服务器发送的场景图像特征中的标志图像特征所对应的推送弹幕信息。
在实施中,可以预先设置并存储预设图像特征,并且可以为不同的预设图像特征设置相应的弹幕信息。服务器可以将得到的标志图像特征分别与存储的预设图像特征进行特征匹配,并将匹配到的场景图像特征中的标志图像特征所对应的推送弹幕信息发送给终端设备。具体处理过程可以参见上述实施例一中步骤S102的相关内容,在此不再赘述。
在步骤S604中:在当前拍摄的场景画面中显示推送弹幕信息。
上述步骤S604的步骤内容与上述实施例一中的步骤S103和上述实施例二中的步骤S307的相关内容相同,可以参见步骤S103和步骤S307的相关内容,在此不再赘述。
本申请实施例提供一种弹幕的显示方法,通过对当前拍摄的场景画面进行图像特征提取,得到场景图像特征,然后,将场景图像特征发送给服务器以获取该场景图像特征中与预设图像特征相匹配的标志图像特征所对应的推送弹幕信息,以便在当前拍摄的场景画面中显示推送弹幕信息,这样,通过增强现实的方式将虚拟的推送弹幕信息展现在拍摄的场景画面中,以实现弹幕在现实场景中的应用,扩大弹幕技术在现实生活中的应用范围,以及增加能够参与弹幕应用的用户群体的数量。
如图7所示,本申请实施例提供一种弹幕的推送方法,该方法的执行主体可以为服务器。该方法具体可以包括以下步骤:
在步骤S701中:接收终端设备发送的当前拍摄的场景画面的场景图像特征。
在步骤S702中:若场景图像特征中包含标志图像特征,则获取该标志图像特征所对应的推送弹幕信息;其中,标志图像特征为与预设图像特征相匹配的图像特征。
上述步骤S702的处理方式可以参见上述实施例一中的步骤S102和上述实施例二中的步骤S302~步骤S304的相关内容,在此不再赘述。
在步骤S703中:将推送弹幕信息发送给终端设备,以使终端设备在当前拍摄的场景画面中显示推送弹幕信息。
本申请实施例提供一种弹幕的推送方法,通过获取接收到的场景图像特征中与预设图像特征相匹配的标志图像特征所对应的推送弹幕信息,并将其发送给终端设备,以便终端设备在当前拍摄的场景画面中显示推送弹幕信息,这样,通过增强现实的方式将虚拟的推送弹幕信息展现在拍摄的场景画面中,以实现弹幕在现实场景中的应用,扩大弹幕技术在现实生活中的应用范围,以及增加能够参与弹幕应用的用户群体的数量。
实施例四
如图8所示,本申请实施例提供了一种弹幕的显示方法,该方法可以由终端设备和服务器共同执行。具体包括如下步骤:
在步骤S801中:终端设备对当前拍摄的场景画面进行图像特征提取,得到场景图像特征。
在步骤S802中:终端设备将该场景图像特征发送给服务器。
在步骤S803中:若场景图像特征中包含标志图像特征,则服务器获取该标志图像特征所对应的跟踪弹幕内容和/或固定弹幕内容;其中,标志图像特征为与预设图像特征相匹配的图像特征。
在步骤S804中:服务器根据标志图像特征所对应的跟踪弹幕内容和/或固定弹幕内容,生成标志图像特征所对应的推送弹幕信息。
对于服务器生成推送弹幕信息,以及对服务器中生成的推送弹幕信息进行更新的相关处理,具体可以包括以下步骤一~步骤三。
步骤一,终端设备获取用户输入的目标弹幕内容及目标弹幕内容所对应的标志图像特征的标识。
步骤二,终端设备将目标弹幕内容及标志图像特征的标识发送给服务器,以使服务器生成标志图像特征所对应的推送弹幕信息。
步骤三,服务器根据目标弹幕内容及目标弹幕内容所对应的标志图像特征的标识,生成标志图像特征所对应的推送弹幕信息。
在步骤S805中:服务器将推送弹幕信息发送给终端设备。
可以针对不同类型的推送弹幕信息,可以执行不同的处理,以下提供一种处理方式,具体可以包括以下步骤S806~步骤S808。
在步骤S806中:如果推送弹幕信息为跟踪弹幕内容,则终端设备获取标志图像特征的相机空间位置。
在步骤S807中:终端设备根据标志图像特征的相机空间位置确定跟踪弹幕内容的显示位置。
在步骤S808中:终端设备根据跟踪弹幕内容的显示位置在当前拍摄的场景画面中显示跟踪弹幕内容。
需要说明的是,上述步骤S806~步骤S808是针对推送弹幕信息为跟踪弹幕内容的情况进行说明,而且,上述情况可以是在当前场景画面中最多只推送一个标志图像对应的推送弹幕信息的情形,而对于可以推送场景画面中的多个对应的推送弹幕信息的情形,推送弹幕信息可以包括跟踪弹幕内容及与其对应的标志图像特征的标识,相应的,上述步骤S806~步骤S808的内容,可以分别为:获取标志图像特征的标识所对应的标志图像特征的相机空间位置;根据标志图像特征的相机空间位置确定标志图像特征对应的跟踪弹幕内容的显示位置;根据跟踪弹幕内容的显示位置在当前拍摄的场景画面中显示跟踪弹幕内容。上述处理的具体处理方式可以参见上述步骤S806~步骤S808中的相关内容,在此不再赘述。
此外,推送弹幕信息还可以为固定弹幕信息,则相应的处理还以包括以下内容:在当前拍摄的场景画面中的预定位置显示固定弹幕内容。其中,预定位置可以是预先指定的任意位置,例如标志图像的顶部或底部等。
上述步骤S801~步骤S808的处理方式可以参见上述实施例一和上述实施例二中的相关内容,在此不再赘述。
本申请实施例提供一种弹幕的显示方法,通过对当前拍摄的场景画面进行图像特征提取,得到场景图像特征,然后,获取该场景图像特征中与预设图像特征相匹配的标志图像特征所对应的推送弹幕信息,在当前拍摄的场景画面中显示推送弹幕信息,这样,通过增强现实的方式将虚拟的推送弹幕信息展现在拍摄的场景画面中,以实现弹幕在现实场景中的应用,扩大弹幕技术在现实生活中的应用范围,以及增加能够参与弹幕应用的用户群体的数量;本申请实施例中不仅将虚拟对象与真实环境融合在一起,同时扩展推送弹幕信息所展示的内容,而且与具体场景结合(如景点介绍、宣传视频、商家门店评价等),可以增强线下活动的趣味性,提升用户的积极性。
实施例五
以上为本申请实施例提供的一种弹幕的显示、推送方法,基于同样的思路,本申请实施例还提供一种弹幕的显示装置,如图9所示。
所述弹幕的显示装置包括:图像特征提取模块901、弹幕信息获取模块902和显示模块903,其中,
图像特征提取模块901,用于对当前拍摄的场景画面进行图像特征提取,得到场景图像特征;
弹幕信息获取模块902,用于获取所述场景图像特征中的标志图像特征所对应的推送弹幕信息;其中,所述标志图像特征为与预设图像特征相匹配的图像特征;
显示模块903,用于在所述当前拍摄的场景画面中显示所述推送弹幕信息。
本申请实施例中,所述推送弹幕信息包括:跟踪弹幕内容;所述显示模块903,包括:
第一相机空间获取单元,用于获取所述标志图像特征的相机空间位置;
第一显示位置确定单元,用于根据所述标志图像特征的相机空间位置确定所述跟踪弹幕内容的显示位置;
第一显示单元,用于根据所述跟踪弹幕内容的显示位置在所述当前拍摄的场景画面中显示所述跟踪弹幕内容。
本申请实施例中,所述推送弹幕信息包括:跟踪弹幕内容及与其对应的标志图像特征的标识;所述显示模块903,包括:
第二相机空间获取单元,用于获取所述标志图像特征的标识所对应的标志图像特征的相机空间位置;
第二显示位置确定单元,用于根据所述标志图像特征的相机空间位置确定所述标志图像特征对应的跟踪弹幕内容的显示位置;
第二显示单元,用于根据所述跟踪弹幕内容的显示位置在所述当前拍摄的场景画面中显示所述跟踪弹幕内容。
本申请实施例中,如图10所示,所述装置还包括:
特征匹配模块904,用于将所述场景图像特征与本地图像特征库中的预设图像特征进行特征匹配,将所述场景图像特征中的与所述预设图像特征相匹配的图像特征作为标志图像特征;
所述弹幕信息获取模块902,包括:
请求发送单元,用于向服务器发送获取所述标志图像特征所对应的推送弹幕信息的请求;
信息接收单元,用于接收所述服务器发送的所述标志图像特征所对应的推送弹幕信息。
本申请实施例中,如图11所示,所述装置还包括:
发送模块905,用于将所述场景图像特征发送给服务器;
所述弹幕信息获取模块902,用于接收所述服务器发送的所述场景图像特征中的标志图像特征所对应的推送弹幕信息。
本申请实施例中,如图12所示,所述装置还包括:
目标弹幕获取模块906,用于获取用户输入的目标弹幕内容及所述目标弹幕内容所对应的标志图像特征的标识;
目标弹幕发送模块907,用于将所述目标弹幕内容及所述标志图像特征的标识发送给所述服务器,以使所述服务器生成所述标志图像特征所对应的推送弹幕信息。
本申请实施例中,所述推送弹幕信息包括:固定弹幕内容,
所述显示模块903,还用于在所述当前拍摄的场景画面中的预定位置显示所述固定弹幕内容。
本申请实施例提供一种弹幕的显示装置,通过对当前拍摄的场景画面进行图像特征提取,得到场景图像特征,然后,获取该场景图像特征中与预设图像特征相匹配的标志图像特征所对应的推送弹幕信息,在当前拍摄的场景画面中显示推送弹幕信息,这样,通过增强现实的方式将虚拟的推送弹幕信息展现在拍摄的场景画面中,以实现弹幕在现实场景中的应用,扩大弹幕技术在现实生活中的应用范围,以及增加能够参与弹幕应用的用户群体的数量。另外,通过增强现实的方式将虚拟的推送弹幕信息展现在拍摄的场景画面中,使得虚拟对象与真实环境融合在一起,同时扩展推送弹幕信息所展示的内容,而且与具体场景结合(如景点介绍、宣传视频、商家门店评价等),可以增强线下活动的趣味性,提升用户的积极性。
实施例六
基于同样的思路,本申请实施例还提供一种弹幕的推送装置,如图13所示。
所述弹幕的推送装置包括:接收模块1301、弹幕信息获取模块1302和发送模块1303,其中:
接收模块1301,用于接收终端设备发送的当前拍摄的场景画面的场景图像特征;
弹幕信息获取模块1302,用于若所述场景图像特征中包含标志图像特征,则获取所述标志图像特征所对应的推送弹幕信息;其中,所述标志图像特征为与预设图像特征相匹配的图像特征;
发送模块1303,用于将所述推送弹幕信息发送给所述终端设备,以使所述终端设备在所述当前拍摄的场景画面中显示所述推送弹幕信息。
本申请实施例中,所述弹幕信息获取模块1302,用于获取所述标志图像特征所对应的跟踪弹幕内容和/或固定弹幕内容;根据所述标志图像特征所对应的跟踪弹幕内容和/或固定弹幕内容,生成所述标志图像特征所对应的推送弹幕信息。
本申请实施例中,所述弹幕信息获取模块1302,用于接收所述终端设备发送的目标弹幕内容及所述目标弹幕内容所对应的标志图像特征的标识;根据所述目标弹幕内容及所述目标弹幕内容所对应的标志图像特征的标识,生成所述标志图像特征所对应的推送弹幕信息。
本申请实施例提供一种弹幕的推送装置,通过对当前拍摄的场景画面进行图像特征提取,得到场景图像特征,然后,获取该场景图像特征中与预设图像特征相匹配的标志图像特征所对应的推送弹幕信息,在当前拍摄的场景画面中显示推送弹幕信息,这样,通过增强现实的方式将虚拟的推送弹幕信息展现在拍摄的场景画面中,以实现弹幕在现实场景中的应用,扩大弹幕技术在现实生活中的应用范围,以及增加能够参与弹幕应用的用户群体的数量。另外,通过增强现实的方式将虚拟的推送弹幕信息展现在拍摄的场景画面中,使得虚拟对象与真实环境融合在一起,同时扩展推送弹幕信息所展示的内容,而且与具体场景结合(如景点介绍、宣传视频、商家门店评价等),可以增强线下活动的趣味性,提升用户的积极性。
实施例七
基于同样的思路,本申请实施例还提供一种弹幕应用系统,如图14所示。
所述弹幕应用系统包括如上述实施例五提供的弹幕的显示装置1401和上述实施例六提供的弹幕的推送装置1402,弹幕的显示装置1401与弹幕的推送装置1402可以通过无线通信方式(如Wi-Fi(WIreless-Fidelity,无线保真)等)或有线通信方式相连接,其中:
弹幕的显示装置1401,用于对当前拍摄的场景画面进行图像特征提取,得到场景图像特征;获取所述场景图像特征中的标志图像特征所对应的推送弹幕信息;其中,所述标志图像特征为与预设图像特征相匹配的图像特征;在所述当前拍摄的场景画面中显示所述推送弹幕信息。
弹幕的推送装置1402,用于接收弹幕的显示装置1401发送的当前拍摄的场景画面的场景图像特征;若所述场景图像特征中包含标志图像特征,则获取所述标志图像特征所对应的推送弹幕信息;其中,所述标志图像特征为与预设图像特征相匹配的图像特征;将所述推送弹幕信息发送给所述弹幕的显示装置1401,以使所述弹幕的显示装置1401在所述当前拍摄的场景画面中显示所述推送弹幕信息。
本申请实施例提供一种弹幕应用系统,通过对当前拍摄的场景画面进行图像特征提取,得到场景图像特征,然后,获取该场景图像特征中与预设图像特征相匹配的标志图像特征所对应的推送弹幕信息,在当前拍摄的场景画面中显示推送弹幕信息,这样,通过增强现实的方式将虚拟的推送弹幕信息展现在拍摄的场景画面中,以实现弹幕在现实场景中的应用,扩大弹幕技术在现实生活中的应用范围,以及增加能够参与弹幕应用的用户群体的数量。另外,通过增强现实的方式将虚拟的推送弹幕信息展现在拍摄的场景画面中,使得虚拟对象与真实环境融合在一起,同时扩展推送弹幕信息所展示的内容,而且与具体场景结合(如景点介绍、宣传视频、商家门店评价等),可以增强线下活动的趣味性,提升用户的积极性。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。