CN106412229B - 用于移动终端的交互、信息提供、提供联系人信息的方法、装置及移动终端 - Google Patents

用于移动终端的交互、信息提供、提供联系人信息的方法、装置及移动终端 Download PDF

Info

Publication number
CN106412229B
CN106412229B CN201610615777.8A CN201610615777A CN106412229B CN 106412229 B CN106412229 B CN 106412229B CN 201610615777 A CN201610615777 A CN 201610615777A CN 106412229 B CN106412229 B CN 106412229B
Authority
CN
China
Prior art keywords
information
preset
image data
image
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610615777.8A
Other languages
English (en)
Other versions
CN106412229A (zh
Inventor
许芯
曲智
陈煌
冯佳峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of CN106412229A publication Critical patent/CN106412229A/zh
Application granted granted Critical
Publication of CN106412229B publication Critical patent/CN106412229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10762Relative movement
    • G06K7/10772Moved readers, e.g. pen, wand

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Toxicology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提出一种用于移动终端的交互方法、装置和移动终端。该方法包括:启动移动终端的摄像头,并通过摄像头扫描现实空间中的对象;从扫描到的图像中提取对象的特征信息;判断对象的特征信息是否与预设素材的特征信息匹配;在判断对象的特征信息和预设素材的预设信息匹配时,调用预设素材;渲染预设素材;将预设素材与扫描到的图像合成并显示。本申请实施例的用于移动终端的交互方法和装置,丰富了移动终端的交互功能,提升了用户体验。

Description

用于移动终端的交互、信息提供、提供联系人信息的方法、装 置及移动终端
技术领域
本申请涉及移动终端技术领域,尤其涉及一种用于移动终端的交互方法、装置和移动终端。
背景技术
目前,移动终端(例如,智能手机、平板电脑、个人数字助理、电子书等具有操作系统的硬件设备)越来越普及。利用移动终端,可以使得用户的日常生活更加方便,例如,随时随地购物,获取商家的优惠券,获得商家的红包等等。特别是扫一扫功能,可以使得移动终端的交互更加方便。
然而,相关技术还存在问题,目前的扫一扫功能只能通过扫描条形码或二维码实现交互,方式单一,能够扫描的对象也单一,用户体验仍不高。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请的第一个目的在于提出一种用于移动终端的交互方法,丰富了移动终端的交互功能,提升了用户体验。本申请的第二个目的在于提出一种用于移动终端的交互装置。本申请的第三个目的在于提出一种移动终端。
为了实现上述目的,本申请第一方面实施例的用于移动终端的交互方法,包括:启动移动终端的摄像头,并通过所述摄像头扫描现实空间中的对象;从扫描到的图像中提取所述对象的特征信息;判断所述对象的特征信息是否与预设素材的特征信息匹配;在判断所述对象的特征信息和所述预设素材的预设信息匹配时,调用所述预设素材;渲染所述预设素材;将所述预设素材与所述扫描到的图像合成并显示。
本申请实施例的用于移动终端的交互方法,移动终端的扫一扫功能除了可以扫描二维码或条形码外,还可以扫描现实空间中的对象,例如,图片墙、宣传海报等二维平面媒介,丰富了移动终端的交互功能,提升了用户体验。另外,这种交互方式可以让大量信息或内容在任何媒介中进行传播,丰富了信息的传播方式,同样地,可以减少纸张、包装等的使用量。
为了实现上述目的,本申请第二方面实施例的用于移动终端的交互装置,包括:扫描模块,用于启动移动终端的摄像头,并通过所述摄像头扫描现实空间中的对象;提取模块,用于从扫描到的图像中提取所述对象的特征信息;判断模块,用于判断所述对象的特征信息是否与预设素材的特征信息匹配;调用模块,用于在所述判断模块判断所述对象的特征信息和所述预设素材的预设信息匹配时,调用所述预设素材;渲染模块,用于渲染所述预设素材;合并和显示模块,用于将所述预设素材与所述扫描到的图像合成并显示。
本申请实施例的用于移动终端的交互装置,移动终端的扫一扫功能除了可以扫描二维码或条形码外,还可以扫描现实空间中的对象,例如,图片墙、宣传海报等二维平面媒介,丰富了移动终端的交互功能,提升了用户体验。另外,这种交互方式可以让大量信息或内容在任何媒介中进行传播,丰富了信息的传播方式,同样地,可以减少纸张、包装等的使用量。
为了实现上述目的,本申请第三方面实施例的移动终端,包括本申请第二方面实施例的用于移动终端的交互装置。
本申请实施例的移动终端,其扫一扫功能除了可以扫描二维码或条形码外,还可以扫描现实空间中的对象,例如,图片墙、宣传海报等二维平面媒介,丰富了移动终端的交互功能,提升了用户体验。另外,这种交互方式可以让大量信息或内容在任何媒介中进行传播,丰富了信息的传播方式,同样地,可以减少纸张、包装等的使用量。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中,
图1是根据本申请一个实施例的用于移动终端的交互方法的流程图;
图2是本申请实施例的示例性一个应用场景的示意图;
图3是本申请实施例的示例性另一应用场景的示意图;
图4是本申请实施例的示例性又一应用场景的示意图;
图5是根据本申请一个实施例的用于移动终端的交互装置的结构框图;
图6是根据本申请一个实施例的第二方法的流程图;
图7是根据本申请一个实施例的第三方法的流程图;
图8是根据本申请一个实施例的第四方法的流程图;
图9是根据本申请一个实施例的第五方法的流程图;
图10是根据本申请一个实施例的第六方法的流程图;
图11是根据本申请一个实施例的第七方法的流程图;
图12是根据本申请一个实施例的第八方法的流程图;
图13是根据本申请一个实施例的第二装置的示意图;
图14是根据本申请一个实施例的第三装置的示意图;
图15是根据本申请一个实施例的第四装置的示意图;
图16是根据本申请一个实施例的第五装置的示意图;
图17是根据本申请一个实施例的第六装置的示意图;
图18是根据本申请一个实施例的第七装置的示意图;
图19是根据本申请一个实施例的第八装置的示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。相反,本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
相关技术中,移动终端可以通过扫一扫功能实现交互,例如,通过扫一扫二维码获取网站信息、名片信息、商家的活动信息等。然而,随着移动终端交互功能的丰富化,相关技术中的扫一扫功能的应用范围比较局限,用户体验不高。
为了使得移动终端的扫一扫功能更加丰富,本申请的实施例提供了一种用于移动终端的交互方法和装置,能够通过摄像头拍摄空间中的对象,并根据拍摄到的对象的图像信息实现交互,提升用户体验。下面参考附图描述本申请实施例的用于移动终端的交互方法、装置和移动终端。
实施例一
图1是根据本申请一个实施例的用于移动终端的交互方法的流程图。
如图1所示,该用于移动终端的交互方法包括下述步骤。
S101,启动移动终端的摄像头,并通过摄像头扫描现实空间中的对象。
在本申请的实施例中,现实空间中的对象可以是图片墙(如海报等)、名片等平面媒介,也可以是三维空间中的实体,例如超市中的商品、博物馆中的图片、模型等。针对现实空间中的对象,本申请的实施例不进行限定,凡是现实空间中的所有对象都可以使用摄像头进行扫一扫。
S102,从扫描到的图像中提取对象的特征信息。
在本申请的实施例中,可以利用现有的图像处理技术,从扫描到的图像中提取可用的信息作为对象的特征消息,在此本申请的实施例不对现有的图像处理技术进行赘述。另外,扫描之后还可以通过人工实现特征信息的提取,例如,在图像中圈出重要的部位,再通过图像处理技术对圈出的部分进行处理等。对此,本申请的实施例也不进行限定。
S103,判断对象的特征信息是否与预设素材的特征信息匹配。
其中,预设素材可以是一些预设活动图片。预设活动可以是发放红包、商家发送优惠券等,也可以是其他组织活动等等,预设素材则可以是预设活动的宣传海报或文化墙等。例如,判断扫描到的图片是否是包含发放红包的宣传图片或发放优惠券的宣传图片等。
S104,在判断对象的特征信息和预设素材的预设信息匹配时,调用预设素材。其中,在调用预设素材时,可以显示预先训练好的预设活动对应的动态元素。
S105,渲染预设素材。
例如,如果预设活动是发放红包的预设活动,可将对应的动态元素随机地展现在移动终端的屏幕上以渲染预设素材,从而使得用户点击动态元素。
S106,将预设素材与扫描到的图像合成并显示。
在本申请的一个实施例中,该方法还包括(图中未示出):获取用户针对预设元素的点击操作;根据点击操作向服务器发送请求,其中请求携带移动终端的唯一标志信息,服务器根据唯一标志信息为移动终端分配预设素材对应的优惠信息;接收服务器发送的优惠信息。
下面通过具体实施过程和示例说明本身请的实施例(以预设活动为例)。
例如,本身请实施例的实现可以采用OpenFL(Open Graphics Library,开放图形库) 技术,还可以采用其他处理技术,对此不进行限定。当用户扫描某个文化墙时,可以在扫描页面中展现掉落游戏图片,实现虚拟现实的体验。
1,训练预设活动图片,生成预设活动图片信息的xml(Extensible MarkupLanguage,可扩展标记语言)文件以及对应的图片特征值文件,并定义预设活动图片所匹配的游戏素材图片。
2,当应用启动时,根据当前移动终端的屏幕(尺寸、横竖屏等)设置摄像头参数,并打开摄像头。
3、当应用启动时,绘制扫描页面,加载游戏素材图片,并将加载的游戏素材图片转换成纹理图片Texture;计算游戏素材图片的运动轨迹和停靠位置以转换成动画对象AnimationPic(也就是动态元素);加载训练的预设活动图片信息,创建GLSurfaceView画布;设置GLSurfaceView参数,创建渲染器Render,绑定动画对象、纹理图片到Render;在画布里设置Render,扫描页面展现。
4、扫描预设活动图片时,Render拿到当前摄像头每一帧的图像信息,根据这些图像信息,和加载好的预设活动图片信息做对比,判断是否是之前训练的活动图片,如果是则展示对应的游戏素材图片(也就是动态元素),否则不显示任何效果。
5、用户点击游戏素材图片后,向服务端发送请求,请求的传递参数为当前用户移动终端的唯一ID,例如,android安卓系统中为androidId,ios(苹果公司的移动操作系统)系统中为uuId。服务端的程序根据ID来标识用户身份。例如,如果预设活动为中奖,则用户中奖规则是规定每人每天中奖次数,中奖次数可根据在服务端动态改变。
6、当用户使用应用扫描预设活动图片或者预设活动背景墙时,如果是第一次打开应用,可以展示预设活动的玩法页面,等待1秒,展现预设活动图片对应的游戏素材。
其中展现方式以下落,漂移的方式从屏幕顶端滑动而出,当游戏素材停靠后,闪烁5 秒后下落,在游戏素材下落或者停靠过程中,如果点中游戏素材,图片会替换成销毁图片然后消失,同时往服务器发送中奖请求,如果中奖则展示中奖页面,关闭中奖页面,等待 1秒后重新开始,如果没有中奖,当所有游戏素材都消失后,等待1秒在重新开始。应当理解,上述展现过程仅仅是举例说明,并不能作为对本身请实施例的限定,实际上,展现过程可以设计得更加丰富多彩。
如果在扫描过程中,扫描到另一张图片,则重新开始。
本申请实施例的用于移动终端的交互方法,移动终端的扫一扫功能除了可以扫描二维码或条形码外,还可以扫描现实空间中的对象,例如,图片墙、宣传海报等二维平面媒介,丰富了移动终端的交互功能,提升了用户体验。另外,这种交互方式可以让大量信息或内容在任何媒介中进行传播,丰富了信息的传播方式,同样地,可以减少纸张、包装等的使用量。
在本申请的另一个实施例中,还可以实现音频、视频、网页等多媒体信息的交流。具体地,该方法还包括:
在判断对象的特征信息和预设素材的预设信息不匹配时,发送对象的特征信息至服务器,其中服务器根据对象的特征信息获取对象的推荐信息,推荐信息包括音频信息、视频信息、网页信息中的至少一种;接收服务器发送的推荐信息,并展现在移动终端的屏幕上。
图2是本申请实施例的示例性一个应用场景的示意图。如图2所示,当用户打开移动终端的扫一扫时,可以扫描名片,例如,扫描到John Smith的名片,可以知道John Smith供职于阿里巴巴公司,可以为用户提供公司的简介,业务,联系方法等和名片上信息相关的信息。
图3是本申请实施例的示例性另一应用场景的示意图。如图3所示,当用户参考博物馆时,可以扫描博物馆中的模型,例如,扫描羚羊,服务器可以通过移动终端向用户提供羚羊的简介、声音等多媒体信息。
在本申请的另一个实施例中,还可以实现虚拟现实购物。具体地,该方法还包括:在判断对象的特征信息和预设素材的预设信息不匹配时,根据对象的特征信息判断所述对象是否为商品;在判断对象为商品时,将对象展现在移动终端的屏幕上,并接收用户针对所述对象的选择操作;将选择操作对应的对象添加至购物车中。
图4是本申请实施例的示例性又一应用场景的示意图。如图4所示,当用户进入超市购物时,可以使用扫一扫扫描超市中的商品,移动终端的扫一扫识别该商品后,用户可以通过点击将该商品放入到购物车中。
综上所述,根据本申请实施例的方法,能够扫描现实空间中的所有对象,并通过丰富的网络资源提供对象的关联信息给用户,一方面扩展了扫一扫功能,增加了移动终端的交互方式,提升了用户体验,另一方面使得各个商家进行活动打造、广告传播、品牌宣传等时更加方便和快捷,同时该技术可以让大量的信息或内容在任何媒介中进行传播,因此减少纸张、包装等的使用量。
为了实现上述实施例,本申请的实施例还提出一种用于移动终端的交互装置。
图5是根据本申请一个实施例的用于移动终端的交互装置的结构框图。
如图5所示,用于移动终端的交互装置10包括:扫描模块100、提取模块200、判断模块300、调用模块400、渲染模块500以及合并和显示模块600。
具体地,扫描模块100用于启动移动终端的摄像头,并通过摄像头扫描现实空间中的对象。在本申请的实施例中,现实空间中的对象可以是图片墙(如海报等)、名片等平面媒介,也可以是三维空间中的实体,例如超市中的商品、博物馆中的图片、模型等。针对现实空间中的对象,本申请的实施例不进行限定,凡是现实空间中的所有对象都可以使用摄像头进行扫一扫。
提取模块200用于从扫描到的图像中提取对象的特征信息。在本申请的实施例中,可以利用现有的图像处理技术,从扫描到的图像中提取可用的信息作为对象的特征消息,在此本申请的实施例不对现有的图像处理技术进行赘述。另外,扫描之后还可以通过人工实现特征信息的提取,例如,在图像中圈出重要的部位,再通过图像处理技术对圈出的部分进行处理等。对此,本申请的实施例也不进行限定。
判断模块300用于判断对象的特征信息是否与预设素材的特征信息匹配。其中,预设素材可以是一些预设活动图片。预设活动可以是发放红包、商家发送优惠券等,也可以是其他组织活动等等,预设素材则可以是预设活动的宣传海报或文化墙等。例如,判断扫描到的图片是否是包含发放红包的宣传图片或发放优惠券的宣传图片等。
调用模块400用于在判断模块300判断对象的特征信息和预设素材的预设信息匹配时,调用预设素材。其中,在调用预设素材时,可以显示预先训练好的预设活动对应的动态元素。
渲染模块500用于渲染预设素材。例如,如果预设活动是发放红包的预设活动,可将对应的动态元素随机地展现在移动终端的屏幕上以渲染预设素材,从而使得用户点击动态元素。
合并和显示模块600用于将预设素材与扫描到的图像合成并显示。
在本申请的一个实施例中,该装置还包括:获取模块、第一发送模块和第一接收模块 (图中未示出)。
具体地,获取模块用于获取用户针对预设素材的点击操作;第一发送模块用于根据点击操作向服务器发送请求,其中请求携带移动终端的唯一标志信息,服务器根据唯一标志信息为移动终端分配所述预设素材对应的优惠信息;第一接收模块用于接收服务器发送的所述优惠信息。
本申请实施例的用于移动终端的交互装置,移动终端的扫一扫功能除了可以扫描二维码或条形码外,还可以扫描现实空间中的对象,例如,图片墙、宣传海报等二维平面媒介,丰富了移动终端的交互功能,提升了用户体验。另外,这种交互方式可以让大量信息或内容在任何媒介中进行传播,丰富了信息的传播方式,同样地,可以减少纸张、包装等的使用量。
在本申请的一个实施例中,该装置还包括:第二发送模块和第二接收模块(图中未示出)。
具体地,第二发送模块用于在判断模块300判断对象的特征信息和预设素材的预设信息不匹配时,发送对象的特征信息至服务器,其中服务器根据对象的特征信息获取对象的推荐信息,推荐信息包括音频信息、视频信息、网页信息中的至少一种;第二接收模块用于接收服务器发送的推荐信息,并展现在移动终端的屏幕上。
在本申请的一个实施例中,该装置还包括:第二判断模块、展现模块、第三接收模块和添加模块(图中未示出)。
具体地,第二判断模块用于在判断模块300判断对象的特征信息和预设素材的预设信息不匹配时,根据对象的特征信息判断对象是否为商品;展现模块用于在第二判断模块判断对象为商品时,将对象展现在移动终端的屏幕上;第三接收模块用于接收用户针对对象的选择操作;添加模块用于将选择操作对应的对象添加至购物车中。
综上所述,根据本申请实施例的装置,能够扫描现实空间中的所有对象,并通过丰富的网络资源提供对象的关联信息给用户,一方面扩展了扫一扫功能,增加了移动终端的交互方式,提升了用户体验,另一方面使得各个商家进行活动打造、广告传播、品牌宣传等时更加方便和快捷,同时该技术可以让大量的信息或内容在任何媒介中进行传播,因此减少纸张、包装等的使用量。
另外,本身请实施例的装置中,其他未说明的地方可参考方法实施例,在此不再赘述。
为了实现上述实施例,本申请的实施例还提出一种移动终端,包括上述任一项实施例所述的用于移动终端的交互装置。
本申请实施例的移动终端,其扫一扫功能除了可以扫描二维码或条形码外,还可以扫描现实空间中的对象,例如,图片墙、宣传海报等二维平面媒介,丰富了移动终端的交互功能,提升了用户体验。另外,这种交互方式可以让大量信息或内容在任何媒介中进行传播,丰富了信息的传播方式,同样地,可以减少纸张、包装等的使用量。
前述实施例一主要从整体上对本申请实施例进行了介绍,其中提到了多种具体的应用场景,在具体实现时,结合具体的应用场景,还可以对提供具体的实现方式,下面分别进行介绍。
实施例二
在该实施例二中,首先对“活动文化墙”应用场景下的具体实现进行详细介绍。
参见图6,该实施例二首先从客户端的角度,提供了一种信息提供方法,该方法可以包括以下步骤:
S601:客户端预先保存图像特征与预设素材之间的对应关系信息;
具体实现时,该实施例二中的图像特征,可以是指预先从活动图片中提取的图像特征,其中,活动图片可以是预先定义好的,也就是说,在已知活动图片的情况下,可以对图片进行图像特征提取,并进行保存。其中,具体在提取图像特征时可以有多种方式,例如,在一种实现方式下,由于在具体对图片进行编码后,通常可以用二进制数据流的形式来表示,因此,预先保存的图像特征,可以包括图像的二进制数据流中的数据片段。例如,具体实现时,为了提高效率,降低需要保存的数据量,该数据片段可以是指:图像中多个预置位置(例如,四个顶点处,等等)的坐标以及对应的像素值。也就是说,在保存图像特征信息时,可以仅保存一张图片中预置位置上的多个点的坐标以及对应的像素值,这样,后续摄取到具体的视频流,并对视频流中的图像帧进行特征提取时,同样可以提取图像帧中对应位置上的多个点的坐标以及对应的像素值,如果匹配成功,则可以确定出对应的素材信息。
其中,具体的图像特征可以是由服务器在数据训练的基础上生成的,并且,还可以生成图像特征与预置素材之间的对应关系。在生成该对应关系后,可以下发到客户端(例如,可以先根据上述关系生成XML文件,然后将该文件下发到客户端,等等),这样,客户端就可以对上述对应关系进行保存,并在摄取到具体的视频流后,可以在客户端所在的终端设备本地,进行图像特征的提取等操作。
总之,在该实施例一中,客户端中保存的信息可以如表1所示:
表1
活动图片的图像特征 预设素材
图像特征值1 素材1
图像特征值2 素材2
…… ……
S602:获取到关于现实空间中的目标对象的图像数据时,进行图像特征提取;
具体实现时,可以在客户端中启动终端设备中的图像摄取装置(例如,摄像头等),这样,就可以进入到图像摄取状态,获得针对目标对象的视频流。在该实施例二中,目标对象可以是指印制有预置图片信息的二维平面媒介,例如,前述实施例一中所述的“活动图片”、“文化墙”等等,当然,目标对象还可以是指其他对象。具体实现时,图像数据可以是指视频流数据,或者,还可以是指照片数据,等等。例如,可以将终端设备的摄像头等装置对准“活动图片”、“文化墙”,这样,客户端就可以从具体的视频流中取得其中的某一帧图像(例如,第一帧,等等),并进行图像特征的提取。将摄像头对准目标对象后,客户端可以自动对触发拍照,获得对应的照片,再从照片中进行图像特征提取,等等。
S603:如果所述提取出的图像特征与所述预先保存的图像特征相匹配,则将获取到的所述目标对象的图像数据与所述预置素材进行合成处理。
如果提取出的图像特征与预先保存的图像特征相匹配,则证明终端设备当前拍摄的目标对象,就是对应的“活动图片”、“文化墙”等,因此,就可以调用对应的预置素材,并将获取到的所述目标对象的图像数据与所述预置素材进行合成处理。
具体实现时,如果图像数据为视频流,则上述合成处理过程可以通过增强现实等方式来实现。为此,在获取上述视频流之前,还可以进行一些配置工作,具体的,还可以根据所述客户端所在终端设备的屏幕参数以及放置方向,配置图像摄取参数,以便对所述现实空间中的目标对象进行视频流摄取。另外,由于预置素材包括图片素材以及对应的动画效果信息,因此,还可以在执行具体的视频流摄取操作之前,创建视频流摄取页面,在所述页面中加载所述图片素材,转换成带坐标信息的图片(例如,纹理图片等),并确定所述图片素材的运动轨迹以及停靠位置信息,以便生成动画对象。之后,还可以创建渲染器,并与所述带坐标信息的图片以及所述动画对象进行绑定,然后就可以创建画布,在所述画布中设置所述渲染器,并启动视频流摄取,以便将摄取到的目标对象的视频流与所述图片素材及其动画效果进行合成处理。另外,在图片素材按照所述运动轨迹以及停靠位置信息在屏幕中运动的过程中,还可以接收对所述图片素材的操作信息,将所述操作信息提交到服务器,并根据服务器返回的响应信息提供操作结果。例如,素材图片可以包括“红包”等图片,也就是说,在用户打开客户端,扫描具体的文化墙或者活动图片等对象时,实际看到的效果可以是,在摄取到的文化墙或者活动图片的图像上层,还有“红包”等图片落下,在该落下的过程中,用户可以对“红包”进行点击操作。相应的,客户端可以将操作信息提交到服务器,服务器根据预置的规则,提供相应的响应信息。例如,展现当前活动图片对应的游戏素材,展现方式以下落,漂移的方式从屏幕顶端滑动而出,当游戏素材停靠后,闪烁5秒后下落,在游戏素材下落或者停靠过程中,点中游戏素材,可以替换成销毁图片然后消失,同时往服务器发送中奖请求,如果中奖则展示中奖页面,关闭中奖页面,等待 1秒后重新开始,如果没有中奖,当所有游戏素材都消失后,等待1秒再重新开始,等等。当然,具体实现时,还可以通过其他的方式提供响应,这里不再一一详述。
需要说明的是,在本申请实施例二中,主要是印刷有活动信息的纸张、文化墙等进行扫描拍摄,并与预置的素材进行对应,由于拍摄的对象是二维平面媒介,并且,活动信息通常是以印刷的方式,现实在平面媒介中,具有一定的标准性,也就是说,用户在不同的纸张、位于不同位置的文化墙上看到的活动信息,其显示的内容都是按照一定的标准印刷的。因此,在本申请实施例二中,预先保存的索引信息,是图像特征信息,也就是说,可以从具体的活动图片中提取出一些特定位置的点,将其坐标以及像素值信息提取出来,作为该图像的特征进行保存。这样,在扫描到其他对象得到图像帧时,如果是同一活动信息对应的图片或者文化墙,则在对应位置的点上的像素值,与预先保存的信息应该是相同的。因此,基于上述原理,在本申请实施例二中,就可以通过图像特征值的方式来进行信息的索引,这样可以减少对信息存储空间的占用,也可以提高检索的效率,更适合在客户端进行信息的匹配操作。
实施例三
该实施例三是与实施例二相对应的,从服务器的角度,提供了一种信息提供方法,参见图7,该方法可以包括以下步骤:
S701:服务器确定配置信息,所述配置信息包括图像特征与预设素材之间的对应关系信息;
S702:将所述配置信息提供给客户端,以便所述客户端保存所述配置信息,并在获取到关于现实空间中的目标对象的图像数据时,进行图像特征提取,如果所述提取出的图像特征与所述预先保存的图像特征相匹配,则将获取到的所述目标对象的图像数据与所述预置素材合成处理。
由于该实施例三是与实施例二相对应的,因此,相关的具体实现可以参见实施例二中的介绍,这里不再赘述。
实施例四
在该实施例四中,主要针对“扫描名片”的应用场景进行介绍。也就是说,在用户使用终端设备中的客户端扫描某人物的名片时,可以通过屏幕观看到关于该人物的其他信息。
参见图8,该实施例四从客户端的角度提供了一种提供联系人信息的方法,该方法具体可以包括以下步骤:
S801:客户端获取到关于现实空间中的目标对象的图像数据时,从所述图像数据中进行文字识别;
在该实施例中,扫描的现实空间中的对象可以是带有预置联系人标识信息的二维平面媒介,具体可以是名片等。由于名片中的信息通常为文字形式,因此,可以采用文字识别的方式从名片中进行信息提取。
S802:根据文字识别结果,确定与预置联系人相关的信息;
在获得文字识别结果后,就可以确定出于联系人相关的信息,具体的,名片中的文字识别结果通常可以包括联系人的联系方式信息,包括姓名、电话号码、邮件地址等等,因此,在确定预置联系人相关的信息时,首先可以判断预置联系人的联系方式信息是否存在于客户端所在终端设备的通讯录中,如果存在于所述通讯录中,则证明用户可能是需要与该联系人取得联系,因此,可以提供用于向所述预置联系人发起通讯的第一操作选项,将该第一操作选项确定为与所述预置联系人相关的信息。例如,可以显示出用于拨打该人物电话的操作选项,用于给该人物发电子邮件的操作选项,等等。
如果预置联系人的联系方式信息不存在于所述通讯录中,则可以提供用于将所述预置联系人的联系方式信息添加到通讯录的第二操作选项,将该第二操作选项确定为与所述预置联系人相关的信息。也就是说,用户可以通过该操作选项,将该联系人的联系方式信息添加到通讯录中。
另外,无论识别出的信息是否存在于通讯录中,都还可以将所述文字识别结果提交到服务器,以便所述服务器将所述文字识别结果与预置用户信息库中的用户信息进行匹配,并将匹配的目标用户的相关信息,返回给客户端,客户端可以将所述服务器返回的目标用户的相关信息确定为与所述预置联系人相关的信息。也就是说,服务器中通常会保存用户的信息,例如,某服务器用于提供与简历相关的各项信息,则其中可能会保存有用户的简历,就可以将用户的简历,作为与该联系人相关的信息。或者,由于名片中可能还可以识别出联系人的工作单位、学校等,因此,在获取联系人相关的信息时,还可以通过发起搜索等方式获得联系人所在工作单位或者学校的相关介绍等信息,例如,如图2所示,在扫描某联系人的名片发现其供职于某公司时,可以提供关于该公司的相关介绍信息。
S803:将获取到的所述图像数据与所述预置联系人相关的信息进行合成处理。
在确定出与联系人相关的信息后,就可以与目标对象的图像数据进行合成处理,例如,与视频流进行合成,展示出虚拟现实的效果,等等。例如,在扫描某人物的名片的过程中,在识别出该人物的联系方式信息后,还可以确定出对应的简历内容,这样,可以在扫描到的名片图像的基础上,查看到用户的简历内容,等等。
实施例五
该实施例五是与实施例四相对应的,从服务器的角度提供了一种提供人物信息的方法,参见图9,该方法可以包括以下步骤:
S901:服务器接收客户端提交的文字识别结果;所述文字识别结果通过以下方式获得:所述客户端在获取到关于现实空间中的目标对象的图像数据时,针对所述图像数据进行文字识别,获得所述文字识别结果;
S902:将所述文字识别结果与预置用户信息库中的用户信息进行匹配;
S903:将匹配的目标用户的相关信息,返回给客户端,以便所述客户端将所述目标用户的相关信息确定为与所述预置联系人相关的信息,并将摄取到的所述目标对象的视频流与所述预置联系人相关的信息进行合成处理。
由于该实施例五是与实施例四相对应的,因此,相关的具体实现可以参见实施例四中的介绍,这里不再赘述。
实施例六
在该实施例六中,主要针对“扫描博物馆模型”的应用场景进行介绍。也就是说,在使用终端设备对博物馆中的物体进行扫描时,可以在扫描到的图像上层展示出关于该物体的相关介绍信息,可以是一段文字,还可以是一段音频或者视频,等等。
具体的,参见图10,该实施例六提供了一种信息提供方法,具体的,该方法可以包括以下步骤:
S1001:客户端预先保存物体模型的轮廓信息与物体介绍信息之间的对应关系;
在本申请实施例六中,扫描的对象是博物馆中的物体模型,这种对象的特点在于:模型具有三维立体特性,并且,不同的模型通常具有不同的轮廓,通过轮廓即可基本定位到具体某件模型。因此,在该实施例六中,可以将物体模型的轮廓信息作为索引,保存这种轮廓信息与物体介绍信息之间的对应关系。其中,物体介绍信息可以是文字、图片、音频、视频等等。也就是说,在该实施例中,客户端保存的信息可以如表2所示:
表2
物体模型的轮廓曲线 物体介绍信息
曲线1 音频1
曲线2 音频2
…… ……
在具体实现时,上述对应关系信息同样可以是由服务器生成,包括对各个模型的轮廓曲线的采集,相关介绍信息的提供,等等,在生成上述对应关系信息后,可以下发到客户端,由客户端进行保存,以便在客户端进行具体的轮廓识别、信息提供等操作。
需要说明的是,在实际应用中,不同的博物馆内陈列的模型类别有所不同,并且,同一博物馆内陈列的物体模型的数量是有限的,因此,为了提高识别的准确度,可以以博物馆等现实空间为单位,进行上述对应关系的保存。例如,博物馆A对应一套对应关系信息,博物馆B对应另一套对应关系信息,等等。在进行相似度比对时,可以首先确定所述客户端所在终端设备所处的目标现实空间,然后,再利用该目标现实空间对应的所述对应关系,将所述提取出的物体轮廓信息与所述预先保存的物体模型的轮廓信息进行相似形比对。
具体实现时,为了能够确定所述客户端所在终端设备所处的目标现实空间,可以有多种方式实现。例如,其中一种方式下,可以是预先保存各现实空间的地理位置信息,具体在确定时,可以首先根据所述客户端所在终端设备的定位数据,确定所述终端设备所在的位置,然后,根据所述终端设备所在的位置,以及所述各现实空间的地理位置信息,确定所述终端设备所处的目标现实空间。
或者,在另一种实现方式下,还可以预先保存各个现实空间的环境图像信息,这样,具体在进行匹配时,可以首先识别具体所在的现实空间,然后再利用该现实空间内的对应关系信息,确定出对应物体的介绍信息。例如,可以对博物馆中的环境图像信息进行保存,在用户启动摄像头开始拍摄时,在对准某个具体的模型之前,客户端可以首先识别出该用户是位于博物馆中,还可以确定出具体是哪个博物馆,等等。
S1002:获取到关于现实空间中的目标对象的图像数据时,从所述图像数据中进行物体轮廓信息的提取;
其中,现实空间中的目标对象可以是博物馆中的物体模型等。在通过终端设备摄取到现实空间中的目标对象的视频流后,可以针对所述视频流中的图像帧,进行物体轮廓信息的提取。
S1003:将所述提取出的物体轮廓信息与所述预先保存的物体模型的轮廓信息进行相似形比对;
在提取出物体轮廓信息后,就可以与预先保存的物体模型的轮廓信息进行相似形比对,如果符合预置条件,例如,相似度达到60%以上等等,即可确定出当前拍摄的是该物体模型。
需要说明的是,由于物体模型具有三维立体的特点,用户在扫描时,可能会从不同的角度进行扫描,因此,在前述步骤S1001中保存物体模型的轮廓曲线时,可以从不同角度保存多条轮廓曲线,后续具体在执行匹配操作时,可以分别与各个不同角度上的轮廓曲线进行匹配,如果被拍摄到的物体模型的轮廓曲线与某目标物体在某个角度上的轮廓曲线相匹配成功,则可以将该目标物体的介绍信息合成到实际拍摄到的图像中。
S1004:如果与目标物体模型的轮廓信息的相似度符合预置条件,则将获取到的所述目标对象的图像数据与所述目标物体模型对应的物体介绍信息进行合成处理。
在确定出与目标物体模型的轮廓信息的相似度符合预置条件,就可以将获取到的所述目标对象的图像数据与所述目标物体模型对应的物体介绍信息进行合成处理,展示出虚拟现实的效果。例如,参见图3,在对博物馆中藏羚羊的模型进行扫描时,客户端在识别出其轮廓曲线之后,可以在拍摄到的图像上层显示出关于藏羚羊的文字以及音频介绍信息。
实施例七
该实施例七是与实施例六相对应的,从服务器的角度提供了一种信息提供方法,参见图11,该方法可以包括以下步骤:
S1101:服务器确定配置信息,所述配置信息包括物体模型的轮廓信息与物体介绍信息之间的对应关系;
S1102:将所述配置信息提供给客户端,以便所述客户端保存所述配置信息,在获取到关于现实空间中的图像数据时,针对所述图像数据进行物体轮廓信息的提取;将所述提取出的物体轮廓信息与所述预先保存的物体模型的轮廓信息进行相似形比对;如果与目标物体模型的轮廓信息的相似度符合预置条件,则将所述图像数据与所述目标物体模型对应的物体介绍信息进行合成处理。
由于该实施例七是与实施例六相对应的,因此,相关的具体实现可以参见实施例八中的介绍,这里不再赘述。
实施例八
在该实施例八中,主要针对“扫商品”的应用场景进行介绍。如实施例一中所述,当用户进入超市购物时,可以使用扫一扫扫描超市中的商品,移动终端的扫一扫识别该商品后,用户可以通过点击将该商品放入到购物车中。
为此,在该实施例八中,提供了一种提供对象信息的方法,参见图12,该方法可以包括以下步骤:
S1201:客户端获取到现实空间中的对象的图像数据时,进行图像特征提取;
S1202:根据所述图像特征判断所述对象是否为商品;
S1203:如果判定所述对象为商品,则对所述对象进行展示;
S1204:接收到针对所述对象的选择操作后,将所述选择对应的对象添加到待处理商品集合中。其中,待处理商品集合就可以是指购物车等。
与实施例二相对应,本申请实施例还提供了一种信息提供装置,该装置应用于客户端,参见图13,该装置可以包括:
信息保存单元1301,用于预先保存图像特征与预设素材之间的对应关系信息;
特征提取单元1302,用于获取到关于现实空间中的目标对象的图像数据时,进行图像特征提取;
图像合成单元1303,用于如果所述提取出的图像特征与所述预先保存的图像特征相匹配,则将获取到的所述目标对象的图像数据与所述预置素材进行合成处理。
具体实现时,所述现实空间中的目标对象包括:印制有预置图片信息的二维平面媒介。
其中,在获取关于现实空间中的目标对象的图像数据之前,还包括:
配置单元,用于根据所述客户端所在终端设备的屏幕参数以及放置方向,配置图像摄取参数,以便获取所述现实空间中的目标对象的图像数据。
其中,所述预置素材包括图片素材,以及对应的动画效果信息,所述装置还可以包括:
页面创建单元,用于创建视频流摄取页面;
转换单元,用于在所述页面中加载所述图片素材,转换成带坐标信息的图片;
动画生成单元,用于确定所述图片素材的运动轨迹以及停靠位置信息,以便生成动画对象;
渲染器创建单元,用于创建渲染器,并与所述带坐标信息的图片以及所述动画对象进行绑定;
画布创建单元,用于创建画布,在所述画布中设置所述渲染器后,触发所述获取关于现实空间中的目标对象的图像数据的步骤,以便将获取到的目标对象的图像数据与所述图片素材及其动画效果进行合成处理。
具体实现时,该装置还可以包括:
操作信息接收单元,用于在所述图片素材按照所述运动轨迹以及停靠位置信息在屏幕中运动的过程中,接收对所述图片素材的操作信息;
提交单元,用于将所述操作信息提交到服务器,并根据服务器返回的响应信息提供操作结果。
其中,所述目标对象的图像数据包括:关于所述目标对象的视频流数据,或者,所述目标对象的照片数据。
具体实现时,所述图像特征可以包括图像的二进制数据流中的数据片段。
所述数据片段包括图像中多个预置位置的坐标以及对应的像素值。
与实施例三相对应,本申请实施例还提供了一种信息提供装置,该装置应用于服务器,参见图14,该装置可以包括:
第一配置信息确定单元1401,用于确定配置信息,所述配置信息包括图像特征与预设素材之间的对应关系信息;
第一配置信息提供单元1402,用于将所述配置信息提供给客户端,以便所述客户端保存所述配置信息,并在获取到关于现实空间中的目标对象的图像数据时,进行图像特征提取,如果所述提取出的图像特征与所述预先保存的图像特征相匹配,则将获取到的所述目标对象的图像数据与所述预置素材合成处理。
与实施例四相对应,本申请实施例还提供了一种提供联系人信息的装置,该装置应用于客户端,参见图15,该装置可以包括:
文字识别单元1501,用于获取到关于现实空间中的目标对象的图像数据时,从所述图像数据中进行文字识别;
联系人信息确定单元1502,用于根据文字识别结果,确定与预置联系人相关的信息;
图像合成单元1503,用于将获取到的所述图像数据与所述预置联系人相关的信息进行合成处理。
具体实现时,所述文字识别结果中包括所述预置联系人的联系方式信息,所述联系人信息确定单元可以包括:
判断子单元,用于判断所述预置联系人的联系方式信息是否存在于客户端所在终端设备的通讯录中;
第一操作选项提供子单元,用于如果存在于所述通讯录中,则提供用于向所述预置联系人发起通讯的第一操作选项,将该第一操作选项确定为与所述预置联系人相关的信息。
另外,还可以包括:
第二操作选项提供子单元,用于如果所述预置联系人的联系方式信息不存在于所述通讯录中,则提供用于将所述预置联系人的联系方式信息添加到通讯录的第二操作选项,将该第二操作选项确定为与所述预置联系人相关的信息。
再者,该装置还可以包括:
识别结果提交单元,用于将所述文字识别结果提交到服务器,以便所述服务器将所述文字识别结果与预置用户信息库中的用户信息进行匹配,并将匹配的目标用户的相关信息,返回给客户端;将所述服务器返回的目标用户的相关信息确定为与所述预置联系人相关的信息。
与实施例五相对应,本申请实施例还提供了一种提供联系人信息的装置,该装置应用于服务器,参见图16,该装置可以包括:
文字识别结果接收单元1601,用于接收客户端提交的文字识别结果;所述文字识别结果通过以下方式获得:所述客户端在获取到关于现实空间中的目标对象的图像数据时,针对所述图像数据进行文字识别,获得所述文字识别结果;
用户信息匹配单元1602,用于将所述文字识别结果与预置用户信息库中的用户信息进行匹配;
用户信息返回单元1603,用于将匹配的目标用户的相关信息,返回给客户端,以便所述客户端将所述目标用户的相关信息确定为与所述预置联系人相关的信息,并将摄取到的所述目标对象的视频流与所述预置联系人相关的信息进行合成处理。
与实施例六相对应,本申请实施例还提供了一种信息提供装置,该装置应用于客户端,参见图17,该装置可以包括:
对应关系保存单元1701,用于预先保存物体模型的轮廓信息与物体介绍信息之间的对应关系;
轮廓提取单元1702,用于获取到关于现实空间中的目标对象的图像数据时,从所述图像数据中进行物体轮廓信息的提取;
相似性比对单元1703,用于将所述提取出的物体轮廓信息与所述预先保存的物体模型的轮廓信息进行相似形比对;
图像合成单元1704,用于如果与目标物体模型的轮廓信息的相似度符合预置条件,则将获取到的所述目标对象的图像数据与所述目标物体模型对应的物体介绍信息进行合成处理。
其中,所述物体介绍信息包括以下中的一种或多种:对所述物体的文字、图片、音频或视频介绍信息。
具体实现时,可以以现实空间为单位,保存所述物体模型的轮廓信息与物体介绍信息之间的对应关系;
所述相似性比对单元1703具体可以包括:
目标现实空间确定子单元,用于确定所述客户端所在终端设备所处的目标现实空间;
比对子单元,用于利用该目标现实空间对应的所述对应关系,将所述提取出的物体轮廓信息与所述预先保存的物体模型的轮廓信息进行相似形比对。
具体实现时,该装置还可以包括:
地理位置信息保存单元,用于预先保存各现实空间的地理位置信息;
所述目标现实空间确定子单元具体可以用于:
根据所述客户端所在终端设备的定位数据,确定所述终端设备所在的位置;
根据所述终端设备所在的位置,以及所述各现实空间的地理位置信息,确定所述终端设备所处的目标现实空间。
另一种实现方式下,该装置还可以包括:
环境图像信息保存单元,用于预先保存各现实空间的环境图像信息;
所述目标现实空间确定子单元具体可以用于:
获取所述终端设备当前所在现实空间的环境图像信息;
根据所述终端设备所在现实空间的环境图像信息,以及所述各现实空间的环境图像信息,,确定所述终端设备所处的目标现实空间。
与实施例七相对应,本申请实施例还提供了一种信息提供装置,该装置应用于服务器,参见图18,该装置可以包括:
第二配置信息确定单元1801,用于确定配置信息,所述配置信息包括物体模型的轮廓信息与物体介绍信息之间的对应关系;
第二配置信息提供单元1802,用于将所述配置信息提供给客户端,以便所述客户端保存所述配置信息,在获取到关于现实空间中的图像数据时,针对所述图像数据进行物体轮廓信息的提取;将所述提取出的物体轮廓信息与所述预先保存的物体模型的轮廓信息进行相似形比对;如果与目标物体模型的轮廓信息的相似度符合预置条件,则将所述图像数据与所述目标物体模型对应的物体介绍信息进行合成处理。
与实施例八相对应,本申请实施例还提供了一种提供对象信息的装置,该装置应用于客户端,参见图19,该装置可以包括:
图像特征提取单元1901,用于获取到现实空间中的对象的图像数据时,进行图像特征提取;
判断单元1902,用于根据所述图像特征判断所述对象是否为商品;
对象展示单元1903,用于如果判定所述对象为商品,则对所述对象进行展示;
添加单元1904,用于接收到针对所述对象的选择操作后,将所述选择对应的对象添加到待处理商品集合中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施例,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。

Claims (34)

1.一种用于移动终端的交互方法,其特征在于,包括:
启动移动终端的摄像头,并通过所述摄像头扫描现实空间中的对象;
从扫描到的图像中提取所述对象的特征信息;
判断所述对象的特征信息是否与预设素材的特征信息匹配;
在判断所述对象的特征信息和所述预设素材的预设信息匹配时,调用所述预设素材;
渲染所述预设素材;
将所述预设素材与所述扫描到的图像合成并显示;
获取用户针对所述预设素材的点击操作;
根据所述点击操作向服务器发送请求,其中所述请求携带所述移动终端的唯一标志信息,所述服务器根据所述唯一标志信息为所述移动终端分配所述预设素材对应的优惠信息;
接收所述服务器发送的所述优惠信息。
2.根据权利要求1所述的移动终端的交互方法,其特征在于,还包括:
在判断所述对象的特征信息和所述预设素材的预设信息不匹配时,发送所述对象的特征信息至服务器,其中所述服务器根据所述对象的特征信息获取所述对象的推荐信息,所述推荐信息包括音频信息、视频信息、网页信息中的至少一种;
接收所述服务器发送的所述推荐信息,并展现在所述移动终端的屏幕上。
3.根据权利要求1所述的移动终端的交互方法,其特征在于,还包括:
在判断所述对象的特征信息和所述预设素材的预设信息不匹配时,根据所述对象的特征信息判断所述对象是否为商品;
在判断所述对象为商品时,将所述对象展现在所述移动终端的屏幕上,并接收所述用户针对所述对象的选择操作;
将所述选择操作对应的所述对象添加至购物车中。
4.一种用于移动终端的交互装置,其特征在于,包括:
扫描模块,用于启动移动终端的摄像头,并通过所述摄像头扫描现实空间中的对象;
提取模块,用于从扫描到的图像中提取所述对象的特征信息;
判断模块,用于判断所述对象的特征信息是否与预设素材的特征信息匹配;
调用模块,用于在所述判断模块判断所述对象的特征信息和所述预设素材的预设信息匹配时,调用所述预设素材;
渲染模块,用于渲染所述预设素材;
合并和显示模块,用于将所述预设素材与所述扫描到的图像合成并显示;
获取模块,用于获取用户针对所述预设素材的点击操作;
第一发送模块,用于根据所述点击操作向服务器发送请求,其中所述请求携带所述移动终端的唯一标志信息,所述服务器根据所述唯一标志信息为所述移动终端分配所述预设素材对应的优惠信息;
第一接收模块,用于接收所述服务器发送的所述优惠信息。
5.根据权利要求4所述的移动终端的交互装置,其特征在于,还包括:
第二发送模块,用于在所述判断模块判断所述对象的特征信息和所述预设素材的预设信息不匹配时,发送所述对象的特征信息至服务器,其中所述服务器根据所述对象的特征信息获取所述对象的推荐信息,所述推荐信息包括音频信息、视频信息、网页信息中的至少一种;
第二接收模块,用于接收所述服务器发送的所述推荐信息,并展现在所述移动终端的屏幕上。
6.根据权利要求4所述的移动终端的交互装置,其特征在于,还包括:
第二判断模块,用于在所述判断模块判断所述对象的特征信息和所述预设素材的预设信息不匹配时,根据所述对象的特征信息判断所述对象是否为商品;
展现模块,用于在所述第二判断模块判断所述对象为商品时,将所述对象展现在所述移动终端的屏幕上;
第三接收模块,用于接收所述用户针对所述对象的选择操作;
添加模块,用于将所述选择操作对应的所述对象添加至购物车中。
7.一种移动终端,其特征在于,包括权利要求4-6任一项所述的用于移动终端的交互装置。
8.一种信息提供方法,其特征在于,包括:
客户端预先保存图像特征与预设素材之间的对应关系信息;
获取到关于现实空间中的目标对象的图像数据时,进行图像特征提取;
如果所述提取出的图像特征与所述预先保存的图像特征相匹配,则将获取到的所述目标对象的图像数据与所述预设素材进行合成处理;
在图片素材按照运动轨迹以及停靠位置信息在屏幕中运动的过程中,接收对所述图片素材的操作信息;
将所述操作信息提交到服务器,并根据服务器返回的响应信息提供操作结果。
9.根据权利要求8所述的方法,其特征在于,所述现实空间中的目标对象包括:印制有预置图片信息的二维平面媒介。
10.根据权利要求8所述的方法,其特征在于,在获取关于现实空间中的目标对象的图像数据之前,还包括:
根据所述客户端所在终端设备的屏幕参数以及放置方向,配置图像摄取参数,以便获取所述现实空间中的目标对象的图像数据。
11.根据权利要求8所述的方法,其特征在于,所述预设素材包括图片素材,以及对应的动画效果信息,所述方法还包括:
创建视频流摄取页面;
在所述页面中加载所述图片素材,转换成带坐标信息的图片;
确定所述图片素材的运动轨迹以及停靠位置信息,以便生成动画对象;
创建渲染器,并与所述带坐标信息的图片以及所述动画对象进行绑定;
创建画布,在所述画布中设置所述渲染器后,触发所述获取关于现实空间中的目标对象的图像数据的步骤,以便将获取到的目标对象的图像数据与所述图片素材及其动画效果进行合成处理。
12.根据权利要求8至11任一项所述的方法,其特征在于,所述目标对象的图像数据包括:关于所述目标对象的视频流数据,或者,所述目标对象的照片数据。
13.根据权利要求8至11任一项所述的方法,其特征在于,所述图像特征包括图像的二进制数据流中的数据片段。
14.根据权利要求13所述的方法,其特征在于,所述数据片段包括图像中多个预置位置的坐标以及对应的像素值。
15.一种信息提供方法,其特征在于,包括:
服务器确定配置信息,所述配置信息包括图像特征与预设素材之间的对应关系信息;
将所述配置信息提供给客户端,以便所述客户端保存所述配置信息,并在获取到关于现实空间中的目标对象的图像数据时,进行图像特征提取,如果所述提取出的图像特征与预先保存的图像特征相匹配,则将获取到的所述目标对象的图像数据与所述预设素材合成处理。
16.一种提供联系人信息的方法,其特征在于,包括:
客户端获取到关于现实空间中的目标对象的图像数据时,从所述图像数据中进行文字识别,所述目标对象包括具有预置联系人标识信息的二维平面媒介;
根据文字识别结果,确定与预置联系人相关的信息,所述预置联系人相关的信息包括用于向所述预置联系人发起通讯的第一操作选项,与所述预置联系人相关的信息为目标用户的相关信息,所述目标用户的相关信息依据所述文字识别结果与预置用户信息库中的用户信息进行匹配确定;
将摄取到的所述目标对象的视频流与所述预置联系人相关的信息进行合成处理。
17.根据权利要求16所述的方法,其特征在于,所述文字识别结果中包括所述预置联系人的联系方式信息,所述根据文字识别结果,确定与所述预置联系人相关的信息,包括:
判断所述预置联系人的联系方式信息是否存在于客户端所在终端设备的通讯录中;
如果存在于所述通讯录中,则提供用于向所述预置联系人发起通讯的第一操作选项,将该第一操作选项确定为与所述预置联系人相关的信息。
18.根据权利要求17所述的方法,其特征在于,还包括:
如果所述预置联系人的联系方式信息不存在于所述通讯录中,则提供用于将所述预置联系人的联系方式信息添加到通讯录的第二操作选项,将该第二操作选项确定为与所述预置联系人相关的信息。
19.根据权利要求16所述的方法,其特征在于,还包括:
将所述文字识别结果提交到服务器,以便所述服务器将所述文字识别结果与预置用户信息库中的用户信息进行匹配,并将匹配的目标用户的相关信息,返回给客户端;
将所述服务器返回的目标用户的相关信息确定为与所述预置联系人相关的信息。
20.一种提供联系人信息的方法,其特征在于,包括:
服务器接收客户端提交的文字识别结果;所述文字识别结果通过以下方式获得:所述客户端在获取到关于现实空间中的目标对象的图像数据时,针对所述图像数据进行文字识别,获得所述文字识别结果;
将所述文字识别结果与预置用户信息库中的用户信息进行匹配;
将匹配的目标用户的相关信息,返回给客户端,以便所述客户端将所述目标用户的相关信息确定为与所述预置联系人相关的信息,并将摄取到的所述目标对象的视频流与所述预置联系人相关的信息进行合成处理。
21.一种信息提供方法,其特征在于,包括:
客户端预先保存物体模型的轮廓信息与物体介绍信息之间的对应关系;
获取到关于现实空间中的目标对象的图像数据时,从所述图像数据中进行物体轮廓信息的提取;
将所述提取出的物体轮廓信息与所述预先保存的物体模型的轮廓信息进行相似性比对;
如果与目标物体模型的轮廓信息的相似度符合预置条件,则将获取到的所述目标对象的图像数据与所述目标物体模型对应的物体介绍信息进行合成处理。
22.根据权利要求21所述的方法,其特征在于,所述物体介绍信息包括以下中的一种或多种:对所述物体的文字、图片、音频或视频介绍信息。
23.根据权利要求21所述的方法,其特征在于,以现实空间为单位,保存所述物体模型的轮廓信息与物体介绍信息之间的对应关系;
所述将所述提取出的物体轮廓信息与所述预先保存的物体模型的轮廓信息进行相似性比对,包括:
确定所述客户端所在终端设备所处的目标现实空间;
利用该目标现实空间对应的所述对应关系,将所述提取出的物体轮廓信息与所述预先保存的物体模型的轮廓信息进行相似性比对。
24.根据权利要求23所述的方法,其特征在于,还包括:
预先保存各现实空间的地理位置信息;
所述确定所述客户端所在终端设备所处的目标现实空间,包括:
根据所述客户端所在终端设备的定位数据,确定所述终端设备所在的位置;
根据所述终端设备所在的位置,以及所述各现实空间的地理位置信息,确定所述终端设备所处的目标现实空间。
25.根据权利要求23所述的方法,其特征在于,还包括:
预先保存各现实空间的环境图像信息;
所述确定所述客户端所在终端设备所处的目标现实空间,包括:
获取所述终端设备当前所在现实空间的环境图像信息;
根据所述终端设备所在现实空间的环境图像信息,以及所述各现实空间的环境图像信息,确定所述终端设备所处的目标现实空间。
26.一种信息提供方法,其特征在于,包括:
服务器确定配置信息,所述配置信息包括物体模型的轮廓信息与物体介绍信息之间的对应关系;
将所述配置信息提供给客户端,以便所述客户端保存所述配置信息,在获取到关于现实空间中的图像数据时,针对所述图像数据进行物体轮廓信息的提取;将所述提取出的物体轮廓信息与预先保存的物体模型的轮廓信息进行相似性比对;如果与目标物体模型的轮廓信息的相似度符合预置条件,则将所述图像数据与所述目标物体模型对应的物体介绍信息进行合成处理。
27.一种提供对象信息的方法,其特征在于,包括:
客户端获取到现实空间中的对象的图像数据时,进行图像特征提取;
根据所述图像特征判断所述对象是否为商品;
如果判定所述对象为商品,则对所述对象进行展示;
接收到针对所述对象的选择操作后,将所述选择对应的对象添加到待处理商品集合中。
28.一种信息提供装置,其特征在于,应用于客户端,包括:
信息保存单元,用于预先保存图像特征与预设素材之间的对应关系信息;
特征提取单元,用于获取到关于现实空间中的目标对象的图像数据时,进行图像特征提取;
图像合成单元,用于如果所述提取出的图像特征与所述预先保存的图像特征相匹配,则将获取到的所述目标对象的图像数据与所述预设素材进行合成处理;在图片素材按照运动轨迹以及停靠位置信息在屏幕中运动的过程中,接收对所述图片素材的操作信息;将所述操作信息提交到服务器,并根据服务器返回的响应信息提供操作结果。
29.一种信息提供装置,其特征在于,应用于服务器,包括:
第一配置信息确定单元,用于确定配置信息,所述配置信息包括图像特征与预设素材之间的对应关系信息;
第一配置信息提供单元,用于将所述配置信息提供给客户端,以便所述客户端保存所述配置信息,并在获取到关于现实空间中的目标对象的图像数据时,进行图像特征提取,如果所述提取出的图像特征与预先保存的图像特征相匹配,则将获取到的所述目标对象的图像数据与所述预设素材合成处理。
30.一种提供联系人信息的装置,其特征在于,应用于客户端,包括:
文字识别单元,用于获取到关于现实空间中的目标对象的图像数据时,从所述图像数据中进行文字识别,所述目标对象包括具有预置联系人标识信息的二维平面媒介;
联系人信息确定单元,用于根据文字识别结果,确定与预置联系人相关的信息,所述预置联系人相关的信息包括用于向所述预置联系人发起通讯的第一操作选项;
图像合成单元,用于将获取到的所述图像数据与所述预置联系人相关的信息进行合成处理。
31.一种提供联系人信息的装置,其特征在于,应用于服务器,包括:
文字识别结果接收单元,用于接收客户端提交的文字识别结果;所述文字识别结果通过以下方式获得:所述客户端在获取到关于现实空间中的目标对象的图像数据时,针对所述图像数据进行文字识别,获得所述文字识别结果;
用户信息匹配单元,用于将所述文字识别结果与预置用户信息库中的用户信息进行匹配;
用户信息返回单元,用于将匹配的目标用户的相关信息,返回给客户端,以便所述客户端将所述目标用户的相关信息确定为与所述预置联系人相关的信息,并将摄取到的所述目标对象的视频流与所述预置联系人相关的信息进行合成处理。
32.一种信息提供装置,其特征在于,应用于客户端,包括:
对应关系保存单元,用于预先保存物体模型的轮廓信息与物体介绍信息之间的对应关系;
轮廓提取单元,用于获取到关于现实空间中的目标对象的图像数据时,从所述图像数据中进行物体轮廓信息的提取;
相似性比对单元,用于将所述提取出的物体轮廓信息与所述预先保存的物体模型的轮廓信息进行相似性比对;
图像合成单元,用于如果与目标物体模型的轮廓信息的相似度符合预置条件,则将获取到的所述目标对象的图像数据与所述目标物体模型对应的物体介绍信息进行合成处理。
33.一种信息提供装置,其特征在于,应用于服务器,包括:
第二配置信息确定单元,用于确定配置信息,所述配置信息包括物体模型的轮廓信息与物体介绍信息之间的对应关系;
第二配置信息提供单元,用于将所述配置信息提供给客户端,以便所述客户端保存所述配置信息,在获取到关于现实空间中的图像数据时,针对所述图像数据进行物体轮廓信息的提取;将所述提取出的物体轮廓信息与预先保存的物体模型的轮廓信息进行相似性比对;如果与目标物体模型的轮廓信息的相似度符合预置条件,则将所述图像数据与所述目标物体模型对应的物体介绍信息进行合成处理。
34.一种提供对象信息的装置,其特征在于,应用于客户端,包括:
图像特征提取单元,用于获取到现实空间中的对象的图像数据时,进行图像特征提取;
判断单元,用于根据所述图像特征判断所述对象是否为商品;
对象展示单元,用于如果判定所述对象为商品,则对所述对象进行展示;
添加单元,用于接收到针对所述对象的选择操作后,将所述选择对应的对象添加到待处理商品集合中。
CN201610615777.8A 2015-07-28 2016-07-28 用于移动终端的交互、信息提供、提供联系人信息的方法、装置及移动终端 Active CN106412229B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2015104518279 2015-07-28
CN201510451827 2015-07-28

Publications (2)

Publication Number Publication Date
CN106412229A CN106412229A (zh) 2017-02-15
CN106412229B true CN106412229B (zh) 2020-02-07

Family

ID=58004344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610615777.8A Active CN106412229B (zh) 2015-07-28 2016-07-28 用于移动终端的交互、信息提供、提供联系人信息的方法、装置及移动终端

Country Status (1)

Country Link
CN (1) CN106412229B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412229B (zh) * 2015-07-28 2020-02-07 阿里巴巴集团控股有限公司 用于移动终端的交互、信息提供、提供联系人信息的方法、装置及移动终端
CN107526824A (zh) * 2017-08-30 2017-12-29 广州阿里巴巴文学信息技术有限公司 一种应用于电子阅读中的对象显示方法、装置和终端设备
CN107944954A (zh) * 2017-11-15 2018-04-20 联想(北京)有限公司 信息处理方法及其装置
CN108364324B (zh) * 2018-01-22 2021-10-08 杭州橙云科技创新服务有限公司 图像数据处理方法、装置及电子终端
CN110121107A (zh) * 2018-02-06 2019-08-13 上海全土豆文化传播有限公司 视频素材收集方法及装置
CN109102324B (zh) * 2018-07-12 2021-08-20 创新先进技术有限公司 模型训练方法、基于模型的红包物料铺设预测方法及装置
CN109348003A (zh) * 2018-09-17 2019-02-15 深圳市泰衡诺科技有限公司 应用控制方法及装置
KR102605451B1 (ko) 2018-11-14 2023-11-24 삼성전자주식회사 이미지 내에 포함된 복수의 외부 객체들 각각에 대응하는 복수의 서비스들을 제공하는 전자 장치 및 방법
CN109871826A (zh) * 2019-03-14 2019-06-11 腾讯科技(深圳)有限公司 信息展示方法、装置、计算机可读存储介质和计算机设备
CN112509402A (zh) * 2019-08-26 2021-03-16 北京广益三文教育科技有限公司 一种基于立体教材的精品题库的建立、发行及防伪方法及其教学系统
WO2022040953A1 (zh) * 2020-08-26 2022-03-03 南京智导智能科技有限公司 一种基于增强现实的机械零件加工精度检测引导系统
CN115550682A (zh) * 2021-06-29 2022-12-30 上海数字电视国家工程研究中心有限公司 一种图文视频的合成方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101287214A (zh) * 2008-05-13 2008-10-15 王海燕 通过移动终端获取信息并应用的方法和系统
KR20140061892A (ko) * 2012-11-14 2014-05-22 엘지전자 주식회사 이동 단말기의 제어 장치 및 그 방법
CN104134229A (zh) * 2014-08-08 2014-11-05 李成 实时交互的增强现实系统以及方法
CN104504402A (zh) * 2015-01-15 2015-04-08 刘畅 一种基于图像搜索的数据处理方法及系统
CN104794220A (zh) * 2015-04-28 2015-07-22 百度在线网络技术(北京)有限公司 信息搜索方法和信息搜索装置
CN106412229A (zh) * 2015-07-28 2017-02-15 阿里巴巴集团控股有限公司 用于移动终端的交互方法、装置和移动终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101287214A (zh) * 2008-05-13 2008-10-15 王海燕 通过移动终端获取信息并应用的方法和系统
KR20140061892A (ko) * 2012-11-14 2014-05-22 엘지전자 주식회사 이동 단말기의 제어 장치 및 그 방법
CN104134229A (zh) * 2014-08-08 2014-11-05 李成 实时交互的增强现实系统以及方法
CN104504402A (zh) * 2015-01-15 2015-04-08 刘畅 一种基于图像搜索的数据处理方法及系统
CN104794220A (zh) * 2015-04-28 2015-07-22 百度在线网络技术(北京)有限公司 信息搜索方法和信息搜索装置
CN106412229A (zh) * 2015-07-28 2017-02-15 阿里巴巴集团控股有限公司 用于移动终端的交互方法、装置和移动终端

Also Published As

Publication number Publication date
CN106412229A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN106412229B (zh) 用于移动终端的交互、信息提供、提供联系人信息的方法、装置及移动终端
US20170169598A1 (en) System and method for delivering augmented reality using scalable frames to pre-existing media
CN103369049B (zh) 移动终端和服务器交互方法及其系统
US10650264B2 (en) Image recognition apparatus, processing method thereof, and program
CN110019600B (zh) 一种地图处理方法、装置及存储介质
US20140079281A1 (en) Augmented reality creation and consumption
US8494589B2 (en) Service discovery via mobile imaging systems and methods
US20160012136A1 (en) Simultaneous Local and Cloud Searching System and Method
US20140210857A1 (en) Realization method and device for two-dimensional code augmented reality
CN104504155B (zh) 一种基于图像搜索的数据获取方法及系统
CN106982240B (zh) 信息的显示方法和装置
US20140078174A1 (en) Augmented reality creation and consumption
US20150015609A1 (en) Method of augmented reality communication and information
CN104361075A (zh) 一种图像网址系统及实现方法
US9514718B2 (en) Information processing system, information processing apparatus, and information processing method
CN107277573A (zh) 视频广告投放方法、装置及计算机可读存储介质
CN104735153B (zh) 一种资源推送和获取的方法及装置
CN112148977A (zh) 动态网络资源展示及匹配方法、装置、电子设备和介质
US20170330036A1 (en) Provide augmented reality content
CN109522503B (zh) 基于ar与lbs技术的旅游景点虚拟留言板系统
CN106130886A (zh) 扩展信息的展示方法及装置
CN105631461A (zh) 一种图像识别系统及方法
US10600060B1 (en) Predictive analytics from visual data
KR102234172B1 (ko) 디지털 트윈 책장 제공 장치 및 방법
US20130100296A1 (en) Media content distribution

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant