CN107038408A - 基于增强现实的图像识别方法及装置 - Google Patents

基于增强现实的图像识别方法及装置 Download PDF

Info

Publication number
CN107038408A
CN107038408A CN201710018395.1A CN201710018395A CN107038408A CN 107038408 A CN107038408 A CN 107038408A CN 201710018395 A CN201710018395 A CN 201710018395A CN 107038408 A CN107038408 A CN 107038408A
Authority
CN
China
Prior art keywords
picture feature
feature sample
picture
user
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710018395.1A
Other languages
English (en)
Inventor
王林青
曾晓东
张鸿
林锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710018395.1A priority Critical patent/CN107038408A/zh
Publication of CN107038408A publication Critical patent/CN107038408A/zh
Priority to TW106138738A priority patent/TWI691934B/zh
Priority to US15/864,572 priority patent/US10614341B2/en
Priority to PCT/US2018/013344 priority patent/WO2018132590A1/en
Priority to EP18739418.4A priority patent/EP3568805A4/en
Priority to KR1020197023416A priority patent/KR102222087B1/ko
Priority to SG11201906315TA priority patent/SG11201906315TA/en
Priority to JP2019558338A priority patent/JP6736145B2/ja
Priority to PH12019501599A priority patent/PH12019501599A1/en
Priority to US16/841,467 priority patent/US10762382B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/53—Network services using third party service providers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Abstract

本申请提供一种基于增强现实的图像识别方法，包括：收集增强现实客户端上传的用户信息；在预设的图片特征样本库中筛选出与所述用户信息关联的图片特征样本；基于筛选出的所述图片特征样本生成对应于所述用户信息的图片特征样本子库，并将所述图片特征样本子库推送至所述增强现实客户端，以使所述增强现实客户端在针对所述用户的线下环境执行图像扫描时，基于所述图片特征样本子库对扫描到的图像信息进行图像识别。本申请可以提升AR客户端的图像识别效率。

Description

基于增强现实的图像识别方法及装置
技术领域
本申请涉及增强现实领域，尤其涉及一种基于增强现实的图像识别方法及装置。
背景技术
AR(Augmented Reality，增强现实)技术，是一种通过实时计算影像的位置及角度，在影像上叠加相应的图像、视频、3D模型，进而对虚拟世界与现实世界进行融合的技术。AR客户端可以结合直接存储在其本地的图片识别物料，对用户的线下环境进行实时的图像识别，并在识别出的特定的线下目标在真实场景中的位置上，按照预配置的展示效果增强显示相应的展示数据。然而，随着AR技术的不断发展以及AR场景的不断丰富，AR客户端的计算量也日益膨胀，大量的计算会导致AR客户端耗电过快以及异常发热的问题，因此如何降低AR客户端的计算量，是业界亟待解决的问题之一。
发明内容
本申请提出一种基于增强现实的图像识别方法，应用于增强现实服务端，所述方法包括：
收集增强现实客户端上传的用户信息；
在预设的图片特征样本库中筛选出与所述用户信息关联的图片特征样本；
基于筛选出的所述图片特征样本生成对应于所述用户信息的图片特征样本子库，并将所述图片特征样本子库推送至所述增强现实客户端，以使所述增强现实客户端在针对所述用户的线下环境执行图像扫描时，基于所述图片特征样本子库对扫描到的图像信息进行图像识别。
本申请还提出一种基于增强现实的图像识别装置，应用于增强现实服务端，所述装置包括：
本申请还提出一种基于增强现实的图像识别装置，应用于增强现实服务端，所述装置包括：
收集模块，收集增强现实客户端上传的用户信息；
筛选模块，在预设的图片特征样本库中筛选出与所述用户信息关联的图片特征样本；其中，所述图片特征样本库包括图片特征样本与用户信息的关联关系；
推送模块，基于筛选出的所述图片特征样本生成对应于所述用户信息的图片特征样本子库，并将所述图片特征样本子库推送至所述增强现实客户端，以使所述增强现实客户端在针对所述用户的线下环境执行图像扫描时，基于所述图片特征样本子库对扫描到的图像信息进行图像识别。
在本申请中，增强现实服务端通过收集增强现实客户端上传的用户信息，在预设的图片特征样本库中筛选出与该用户信息关联的图片特征样本，并基于筛选出的图片特征样本生成对应于该用户信息的图片特征样本子库，然后将该图片特征样本子库推送至所述增强现实客户端，由增强现实客户端在针对用户的线下环境执行图像扫描时，基于该图片特征样本子库对扫描到的图像信息进行图像识别，由于增强现实服务端基于用户信息对图片特征样本库进行了筛选，可以显著降低增强现实服务端向增强现实客户端推送的图片识别物料的数量，以及增强现实客户端在进行图像识别时，所使用的图片识别物料的数量，进而可以降低增强现实客户端的计算量，提升增强现实客户端的图像识别效率。
附图说明
图1是本申请一实施例示出的一种基于增强现实的图像识别方法的处理流程图；
图2是本申请一实施例示出的一种AR服务端的架构图；
图3是本申请一实施例示出的一种基于增强现实的图像识别装置的逻辑框图；
图4是本申请一实施例提供的承载所述一种基于增强现实的图像识别装置的增强现实服务端所涉及的硬件结构图。
具体实施方式
在相关技术中，AR客户端在针对用户的线下环境执行图像扫描的过程中，通常可以通过预配置完成的图片识别物料库，对扫描到的图像信息进行实时的图像识别。其中，上述图片识别物料库，包括从大量的线下目标的图片样本中提取到的图片特征样本。AR客户端在从用户的线下环境中扫描到图像信息后，可以通过AR引擎中搭载的图像识别算法，从该图像信息中提取图片特征，然后将提取到的图片特征与上述图片识别物料库中的图片特征样本逐一进行相似度计算，来识别扫描到的图像信息中的线下目标；当图像识别完成后，AR客户端可以进一步计算识别出的线下目标在真实场景中的位置，然后按照预配置的展示效果增强显示相应的展示数据。
目前，AR客户端在执行图像识别的过程中，所需要使用到的图片识别物料库、为图片识别物料库中每一个线下目标预配置完成的需要关联展示的展示数据、以及相应的展示效果(比如动画效果)，通常都是预配置在AR服务平台上的。AR客户端在启动图像扫描之前，需要从AR服务平台上将预配置完成的图片识别物料库，以及相应的展示数据、展示效果完整的下载至本地。
然而，在实际应用中，如果图片识别物料库中的物料过多时，一方面，会增大AR客户端的数据存储压力；另一方面，会导致AR客户端在执行图像识别时的计算量非常庞大，从而造成的AR客户端耗电过快、异常发热以及图像识别效率较低的问题。
有鉴于此，在本申请提出一种能够基于AR客户端上传的用户信息，为AR客户端灵活的筛选并推送图片识别物料的AR服务端。
AR服务端通过收集AR客户端上传的用户信息，在预设的图片特征样本库中筛选出与该用户信息关联的图片特征样本，并基于筛选出的图片特征样本生成对应于该用户信息的图片特征样本子库，然后将该图片特征样本子库推送至AR客户端，由AR客户端在针对用户的线下环境执行图像扫描时，基于该图片特征样本子库对扫描到的图像信息进行图像识别。
在整个方案中，由于AR服务端基于用户信息对图片特征样本库进行了筛选，因此可以显著降低AR服务端向AR客户端推送的图片识别物料的数量，以及AR客户端在进行图像识别时，所使用的图片识别物料的数量，进而可以降低AR客户端的计算量，提升AR客户端的图像识别效率。
下面通过具体实施例并结合具体的应用场景对本申请进行描述。
请参考图1，图1是本申请一实施例提供的一种基于增强现实的图像识别方法，应用于AR服务端，所述方法执行以下步骤：
步骤101，收集增强现实客户端上传的用户信息；
步骤102，在预设的图片特征样本库中筛选出与所述用户信息关联的图片特征样本；
步骤103，基于筛选出的所述图片特征样本生成对应于所述用户信息的图片特征样本子库，并将所述图片特征样本子库推送至所述增强现实客户端，以使所述增强现实客户端在针对所述用户的线下环境执行图像扫描时，基于所述图片特征样本子库对扫描到的图像信息进行图像识别。
上述AR客户端，是指基于AR技术开发的，或者集成了AR功能的客户端软件；例如，上述AR客户端，可以是集成了AR服务功能的第三方支付APP；上述AR客户端可以通过搭载的图像扫描工具，对用户的线下环境中的现实场景进行图像扫描，并发起针对扫描到的线下目标的图像识别；以及，通过上述AR客户端前台的AR引擎，对后台的AR服务端推送的与识别出的线下目标对应的展示数据进行可视化渲染，将其与现实场景(比实景图像)进行叠加融合，在现实场景中与识别出的线下目标对应的位置上按照预配置完成的展示效果进行增强现实。
其中，上述展示数据，通常可以包括需要与识别出的线下目标进行关联展示的虚拟数据；而上述展示效果，通常可以包括上述展示数据在现实场景中进行展示的展示效果；
例如，以上述线下目标为线下店铺的LOGO图片为例，上述展示数据则具体是需要与该线下店铺的LOGO进行关联展示的店铺的基本信息、优惠信息等标签数据；而上述展示效果，则具体可以包括自定义完成的这些标签数据在与该店铺的LOGO进行关联展示时的展示特效；比如自定义的动画效果、动态展示模板、以及展示文案等等。
上述AR服务端，具体可以包括面向上述AR客户端提供服务的服务器、服务器集群或者基于服务器集群构建的云服务平台；例如，当上述AR客户端为集成了AR服务功能的第三发支付APP时，上述AR服务端则可以是面向集成了AR服务功能的第三发支付APP提供对接服务的云服务平台。上述AR服务端可以基于后台的AR引擎，对上述AR客户端扫描到的图像进行图像识别(当然该图像识别过程也可以由AR客户端基于前台的AR引擎来完成)；以及，对与线下业务相关的虚拟数据进行内容管理，并基于上述图像识别的结果，向上述AR客户端推送与识别出的线下目标相关的虚拟数据。
上述预设的图片特征样本库，即为上述图片识别物料库，通常包括从大量的线下目标的样本图片中提取到的图片特征样本；
上述用户信息，具体可以包括那些能够作为筛选维度，对上述图片特征样本库进行筛选的用户数据；
例如，在示出的一种实施方式中，上述用户信息可以包括用户的定位位置，在这种情况下，AR客户端可以将用户的定位位置实时上传至AR服务端，而AR服务端则可以基于AR客户端上传的用户的定位位置，从图片特征样本库中筛选出与用户的距离在一定范围内的图片特征样本。
又如，在示出的另一种实施方式中，上述用户数据还可以是用户的行为日志；在这种情况下，AR服务端可以收集AR客户端上传的用户行为日志，并针对收集到的用户的行为日志进行大数据分析，以确定用户的行为偏好，然后从基于用户的定位位置筛选出的图片特征样本库中进一步筛选出能够满足用户的行为偏好的图片特征样本。
上述图片特征样本子库，是指AR服务端基于上述用户信息，从上述图片特征样本库中筛选出的部分图片特征样本进行创建的图片特征样本库；该图片特征样本子库与上述用户信息相对应，为上述图片特征样本库的子集。
例如，在示出的一种实施方式中，上述用户信息可以包括用户的定位位置以及用户的行为日志，AR服务端可以基于用户的定位位置，初步筛选出上述图片识别物料库中与用户的定位位置之间的距离在一定范围之内的部分图片特征样本，同时AR服务端还可是针对收集到的用户的行为日志进行大数据分析，确定出用户的行为偏好，并基于确定出的用户的行为偏好，从这部分图片特征样本中进一步筛选出能够满足用户的行为偏好的图片特征样本，然后基于进一步筛选出的图片特征样本来创建上述图片特征子库。
以下以上述用户信息包括用户的定位位置以及行为日志为例，结合具体的实施例对本申请的技术方案进行详细描述。
其中，以上述用户信息为用户的定位位置以及行为日志仅为示例性的；显然，在实际应用中，上述用户信息也可以包括那些能够作为筛选维度，对上述图片特征样本库进行筛选的其它用户数据，在本申请中不再进行一一列举。
在本实施例中，在初始状态下，AR服务端可以通过搭载的数据采集系统，主动采集图片样本以及与该图片样本关联的定位位置，来创建图片识别物料库。
而运营人员则可以通过登录AR服务端搭载的后台管理系统，为图片识别物料库中的图片特征样本配置需要与该图片特征样本对应的线下目标进行关联展示的展示数据，以及为该展示数据配置展示效果；同时，对于配置完成的展示数据以及展示效果，运营人员也可以通过登录AR服务端搭载的后台管理系统，进行动态的修改和更新。
用户在使用AR客户端的过程中，AR客户端可以采集用户的定位位置以及行为日志，然后实时的上传至AR服务端；而AR服务端可以收集AR客户端上传的用户的定位位置以及行为日志，并基于AR客户端上传的用户信息以及行为日志，对图片识别物料库中的图片识别物料进行更加灵活的管理。
一方面，AR服务端可以基于客户端上传的定位位置，从图片识别物料库中为AR客户端初步筛选出与用户的定位位置之间的距离小于预设阈值的图片特征样本；
另一方面，AR服务端可以通过搭载的云计算系统，对收集到的行为日志进行大数据分析，确定出用户的行为偏好，然后基于确定出的行为偏好，从已经初步筛选出的图片特征样本中，进一步筛选出能够满足用户的行为偏好的图片特征，为该用户创建图片特征样本子库，然后推送给AR客户端。
通过这种方式，可以显著降低AR服务端推送的图片识别物料的数量，降低AR客户端在进行图像识别时的计算量，以及提升AR客户端的图像识别效率。
请参见图2，图2为本例示出的一种AR服务端的架构图。
如图2所示，上述AR服务端具体可以是一个基于分布式架构的AR图片识别物料的管理平台(以下简称管理平台)；该管理平台搭载的功能节点具体可以包括云服务接口、WEB后台管理入口、分布式存储系统、后台管理系统、数据采集系统、分布式检索系统、云计算系统、图像识别系统、用户数据分析系统、物料筛选系统、内容推送系统等。
上述云服务接口，为管理平台面向AR客户端提供服务的服务接口，AR客户端可以通过访问该服务接口，向管理平台请求相应的云服务，而管理平台也可以将AR客户端请求的服务数据，通过该服务接口返回给AR客户端；
例如，上述云服务端接口具体是是一个HTTP接口，AR客户端可以构建相应的HTTP服务请求，通过访问该HTTP接口，将构建完成的HTTP服务请求提交给管理平台；而管理平台也可以基于该HTTP接口，将相应的服务数据返回给AR客户端。
上述WEB后台管理入口，是运营人员对管理平台中预配置完成的图片识别物料库，以及相关的展示数据和展示效果进行人工干预或者更新的管理入口。运营人员可以通常WEB的方式登录到后台管理系统(比如访问管理平台的入口URL地址，然后输入管理账号和密码来远程登录后台管理系统)，对管理平台中的内容进行管理。
上述分布式存储系统，为整个管理平台的数据基础，用于对图片识别物料库，以及运营人员为图片识别物料库中的图片特征样本预配置的展示数据和展示效果等数据进行分布式存储。通过分布式存储的方式，可以确保数据的可靠性，因而上述分布式存储系统可以作为整个管理平台稳定的基础而存在。
上述后台管理系统，是运营人员对管理平台直接进行管理的用户平台。该后台管理系统可以向运营人员提供对应于各种管理操作的可视化用户界面，运营人员可以在这些可视化用户界面中执行相应的管理操作，向图片识别物料库中添加、删除以及更新作为图片识别物料的图片特征样本、为AR客户端预配置需要与识别出的线下目标关联展示的展示数据和展示效果、以及按照实际的需求对配置完成的展示数据和展示效果进行动态的更新等。
当然，在实际应用中，运营人员除了可以通过登录上述后台管理系统，对管理平台中的内容进行管理以外，也可以通过该后台管理系统，对管理平台中的其它系统进行干预；
例如，可以对云计算系统的数据分析逻辑以及参数进行人工的编辑和干预；以及，还可以对图片识别物料库中与图片特征样本进行关联存储的用户的定位位置进行编辑和调整，等等。
上述数据采集系统，主要用于从互联网上或者对接的第三方服务端中主动的采集管理平台所需的“物料”等数据。
在传统的管理平台中，图片识别物料通常都是由运营人员通过人工的方式进行输入和编辑的，因此会存在数据不够丰富的问题。而在本申请中，管理平台通过搭载数据采集系统，可以主动从互联网以及对接的第三方服务端上采集图片识别物料，并存入到管理平台的分布式存储系统中。
此外，上述数据采集系统除了具有主动采集图片识别物料的功能以外，也可以主动收集AR客户端上传的用户的行为日志，以便于云计算平台后续的大数据分析。
上述分布式检索系统，主要用于对分布式存储系统中存储的数据进行检索和查询。由于管理平台中需要管理大量的图片识别物料，以及与图片识别物料关联的定位位置、展示数据以及展示效果等数据，因此为了方便对这些数据的检索和查询，管理平台可以搭载一个与分布式存储系统对接的分布式检索系统，通过该分布式检索系统对管理平台中需要管理的数据进行检索和查询，从而可以保证数据管理的灵活性和稳定性。
上述云计算系统，用于承担管理平台中所有的数据计算；在实际应用中，云计算系统，可以分别与管理平台中的分布式存储系统、用户数据分析系统、物料筛选系统以及图像识别系统进行对接，来承担分布式存储系统、用户数据分析系统、物料筛选系统以及图像识别系统所有的数据计算，从而提升管理平台的数据处理效率。
其中，上述云计算系统中所搭载的数据分析逻辑可以由运营人员通过上述后台管理系统进行人工设置，在本申请中不进行特别限定。
上述图像识别系统，用于面向AR客户端提供云端的图像识别服务。该图像识别系统可以与云计算平台进行对接，通过云计算平台从AR客户端上传的图像数据中提取图片特征，并将提取到的图片特征与上述图片识别物料库中的图片特征样本逐一进行相似度计算，来完成针对该图像数据的图像识别。
上述用户数据分析系统，用于对采集系统收集到的用户的行为日志进行大数据分析。该图像识别系统可以与云计算平台进行对接，通过云计算平台搭载的大数据分析算法，对采集系统收集到的用户的行为日志进行大数据分析，进而得到该用户的行为偏好。
其中，上述云计算平台中所搭载的大数据分析算法也可以由运营人员通过上述后台管理系统进行人工设置，在本申请中不进行特别限定。
上述物料筛选系统，用于从分布式存储系统中存储的图片识别物料库中，筛选出与AR客户端上传的用户的信息关联的图片特征样本。该物料筛选系统可以与云计算平台进行对接，通过云计算平台分别计算上述图片识别物料库中各图片特征样本关联的定位位置与用户的定位位置之间的距离，并初步筛选出上述图片特征库中与用户的定位位置之间的距离小于预设阈值的部分图片特征样本；
以及，基于云计算平台针对收集到的用户的行为日志进行大数据分析后，确定出用户的行为偏好，从初步筛选出的这部分图片特征样本中进一步筛选出能够满足用户的行为偏好的图片特征样本，然后基于进一步筛选出的图片特征样本来创建上述图片特征子库。
上述内容推送系统，用于将上述物料筛选系统基于筛选出的图片特征样本，创建的图片特征样本子库，推送至AR客户端；
以及，在AR客户端成功识别出与该图片特征样本子库中任一图片特征样本对应的线下目标时，将分布式存储系统中与该图片特征样本关联存储的展示数据以及展示效果推送至AR客户端，由AR客户端基于该展示效果将该展示数据在AR场景中与识别出的该线下目标对应的位置上进行增强显示。
以下以图2中示出的以上各功能节点为例，并结合图片特征样本库的创建、图片特征样本的筛选、以及图像识别等三个阶段，对本申请的技术方案进行详细描述。
其中，需要指出的是，如图2所示出的上述AR服务端的架构仅为示例性的，并不用于限定本申请；显然，在实际应用中，本领域技术人员可以基于实际的需求，对如图2所示出的各功能节点在功能上进行整合(比如将多个功能节点合并为一个功能节点)，也可以对如图2所示出的各功能节点在功能上进行进一步的细分(比如将其中任意一个功能节点细分为多个功能节点)，在本申请不再进行一一列举。
1)图片特征样本库的创建
在实施例中，运营人员除了可以通过登录后台管理系统，向图片识别物料库中手动添加响应的图片特征样本以及关联的定位位置以外，管理平台还可以通过搭载的数据采集系统，主动采集图片样本以及与该图片样本关联的定位位置。
在示出的一种实施方式中，数据采集系统可以通过诸如互联网爬虫的方式，从互联网中海量的线上服务数据中主动采集图片样本，以及与图片样本关联的定位位置。
在示出的另一种实施方式中，数据采集系统出了可以主动从海量的线上服务数据中采集图片样本以外，也可以直接从对接的第三方的服务端中采集第三方的服务端中存储的图片样本，以及与图片样本关联的定位位置；比如，管理平台可以导入对接的友商的服务平台中存储的图片样本，以及与图片样本关联的定位位置。
需要说明的是，在实际应用中，管理平台可以采用以上示出的两种图片样本的采集方式中的任一一种，也可以将以上两种采集方式进行有机结合，在本申请中不进行特别限定。
在本实施例中，对于采集到的图片样本，以及关联的定位位置，可以统一存储至上述分布式存储系统。而上述云计算系统，可以基于搭载的图片特征提取算法，针对从分布式存储系统中存储的图片样本中分别进行图片特征提取，然后基于提取到的图片特征，以及与各图片样本关联的定位位置，在上述分布式存储系统创建上述图片识别物料库。此时，创建的图片识别物料库中存储的信息，包括提取出的对应于各图片样本的图片特征，以及与各图片样本关联的定位位置。
当上述图片识别物料库创建完成后，运营人员可以通过WEB浏览器访问管理平台的入口URL地址，然后输入管理账号和密码来远程登录后台管理系统，对管理平台中的内容进行管理。
当成功登录后台管理系统后，运营人员可以在后台管理系统提供的可视化用户界面中执行相应的管理操作，为该图片识别物料库中的图片特征样本，分别配置需要与该图片特征样本对应的线下目标进行关联展示的展示数据，以及为该展示数据配置的展示效果。
而后台管理系统可以获取运营人员配置的展示数据以及展示效果，并将获取到的展示数据与展示效果，与上述图片识别物料库中相应的图片特征样本进行关联存储，以方便进行检索。
同时，对于配置完成的展示数据以及展示效果，也可以由运营人员在后台管理系统提供的可视化用户界面中执行相应的更新操作，来进行动态的更新；后台管理系统，则可以响应运营人员的更新操作，通过分布式检索系统查询图片识别物料库中相应的图片特征样本，基于运营人员重新配置的展示数据以及展示效果，对与该图片特征样本关联存储的原有的展示数据以及展示效果进行更新。
通过这种方式，运营人员可以通过登录后台管理系统，基于实际的需求在任意时刻都可以与图片识别物料库中的图片特征样本关联存储的展示数据以及展示效果进行动态更新，因此可以提升展示数据以及展示效果管理的灵活性。
2)图片特征样本的筛选
在本实施例中，用户在使用AR客户端的过程中，AR客户端可以采集用户的定位位置以及行为日志，然后通过访问上述云服务接口，将采集到的用户的定位位置以及行为日志实时的上传至管理平台；而管理平台可以通过搭载的数据采集系统，来收集AR客户端上传的用户的定位位置以及行为日志，并基于AR客户端上传的用户信息以及行为日志，对图片识别物料库中的图片识别物料进行更加灵活的管理。
一方面，物料筛选系统可以与云计算系统进行对接，由云计算系统来承担所有的数据筛选计算。云计算系统可以实时的计算AR客户端上传的用户的定位位置，与上述图片识别物料库中各图片特征样本关联的定位位置之间的距离；当云计算系统完成以上计算后，物料筛选系统可以初步筛选出与用户的定位位置之间的距离小于预设阈值的图片特征样本。此时针对上述图片识别物料库的初步筛选完成；
例如，以上述图片识别物料库中存储的为从大量的线下上铺的LOGO中提取出的图片特征样本，以及用户通过使用AR客户端进行线下店铺的日常扫描的应用场景为例，用户在使用AR客户端对线下的某个店铺的LOGO进行扫描之前，AR客户端可以将该用户的定位位置实时上传至管理平台；而管理平台可以基于该用户的定位位置，在图片识别物料库中筛选出该用户附近在一定范围内的商家的LOGO图片，来为该用户生成图片特征样本子库，从而降低需要向该AR客户端推送的LOGO图片的数量。
另一方面，用户数据分析系统也可以与云计算系统进行对接，由云计算系统来承担所有的数据分析计算。云计算系统可以基于搭载的大数据分析算法，对数据采集系统收集到的用户的行为日志进行大数据分析，进而确定出上述用户的行为偏好；
其中，上述行为偏好，具体是指基于用户在日常使用AR客户端的过程中，形成的特定的使用习惯或者规律；
例如，仍以以上述图片识别物料库中存储的为从大量的线下上铺的LOGO中提取出的图片特征样本，以及用户通过使用AR客户端进行线下店铺的日常扫描的应用场景为例，AR客户端可以在本地记录用户每一次针对线下店铺进行扫描时产生的相关的行为数据，生成相应的日志文件，并统一上传至管理平台。而管理平台可以通过云计算平台对收集到的日志文件进行大数据分析，从而可以进一步分析出用户对于线下店铺的偏好；比如，可以分析出用户日常更喜欢光顾赠送优惠券的线下商铺、价格便宜的线下商铺等用户偏好。
当管理平台通过通过行为日志的大数据分析，确定出用户的行为偏好后，为了进一步降低已经初步筛选出的图片特征样本的数量，减少图片识别物料的推送量，上述物料筛选系统还可以从初步筛选出的图片特征样本中，进一步筛选出的能够满足用户的行为偏好的图片特征样本；
例如，仍以上述图片识别物料库中存储的为从大量的线下上铺的LOGO中提取出的图片特征样本，以及用户通过使用AR客户端进行线下店铺的日常扫描的应用场景为例，假设管理平台分析出的用户日常的行为偏好为“更喜欢光顾赠送优惠券的线下商铺”以及“价格便宜的线下商铺”，此时物料筛选系统可以通过访问与初步筛选出的这些图片特征样本对应的线下商铺的相关信息，进一步查找出能够向用户发放优惠券以及价格更便宜的线下商铺，然后进一步筛选出与这些线下商铺对应的图片特征样本。
当管理平台从初步筛选出的这些图片特征样本中，进一步筛选出了能够满足用户的行为偏好的图片特征样本后，管理平台可以基于最终筛选出的这些图片特征样本，为上述用户创建的图片特征样本子库，然后通过内容推送系统将创建完成的图片特征样本子库推送至AR客户端。
需要说明的是，上述物料筛选系统在针对图片识别物料库中的图片特征样本进行筛选时，除了可以按照以上示出的基于用户的定位位置进行初步筛选，然后基于分析出的用户偏好执行进一步的筛选以外，在实际应用中，也可以不进行基于分析出的用户偏好执行的进一步的筛选，而是直接基于初步筛选的结果为上述用户创建图片特征样本子库，在本申请中不再进行详述。
3)图像识别
在本实施例中，当AR客户端接收到管理平台推送的图片特征样本子库后，可以将该图片特征样本子库在其本地进行加载。当用户使用AR客户端对线下环境进行图像扫描时，AR客户端可以基于前台的AR引擎中搭载的图像识别算法，从扫描到的图像信息中提取图片特征，然后与该图片特征样本子库中的图片特征样本逐一进行相似度匹配，来完成针对扫描到的图像信息的图像识别。其中，具体的图像识别的计算过程，在本实施例中不再进行详述，本领域技术人员在将本申请记载的技术方案付诸实践时，可以参考相关技术中的记载。
此时，由于管理平台此时推送的图片特征样本子库中的图片特征样本，基于用户的定位位置以及行为偏好执行了深度的筛选，因此AR客户端在针对从用户的线下环境中扫描到的图像数据进行图像识别时，不再需要依次遍历管理平台中创建完成的图片识别物料库中所有的图片识别物料，因而可以显著的提升AR客户端的图像识别效率。
当然，除了AR客户端在本地对扫描到的图像信息进行图像识别以外，AR客户端也可以通过访问上述云服务端接口，将扫描到的图像信息实时的上传至管理平台，由管理平台搭载的图像识别系统，基于为该用户筛选并创建的图片特征样本子库，来完成针对该图像信息的图像识别。
在本实施例中，当通过以上示出的图像识别过程，最终从扫描到的图像信息中识别出与上述图片特征样本子库中任一图片特征样本对应的线下目标时，此时上述分布式检索系统，可以从分布式存储系统中查询与该图片特征样本关联存储的展示数据以及展示效果，并通过上述内容推送系统，将查询到的展示数据以及展示效果推送至上述AR客户端。
而上述AR客户端在推送至本地的展示数据以及展示效果后，可以基于该展示效果将该展示数据在AR场景中，与识别出的上述线下目标对应的位置上进行增强显示。
其中，需要说明的是，与上述图片特征样本子库中的图片特征样本关联存储的上述展示数据以及展示效果，在实际应用中，也可以由上述内容推送系统在向AR客户端推送创建完成的图片特征样本子库时，一并推送至AR客户端，即对于运营人员配置完成的展示数据以及展示效果，可以与筛选并创建完成的图片特征样本子库一并推送至AR客户端，也可以在完成图像识别后，进行单独的推送，在本申请中不进行特别的限定。
通过以上各实施例可知，在本申请提出了一种能够基于AR客户端上传的用户信息，为AR客户端灵活的筛选并推送图片识别物料的AR服务端。
该AR服务端可以通过收集AR客户端上传的用户信息，在预设的图片特征样本库中筛选出与该用户信息关联的图片特征样本，并基于筛选出的图片特征样本生成对应于该用户信息的图片特征样本子库，然后将该图片特征样本子库推送至AR客户端，由AR客户端在针对用户的线下环境执行图像扫描时，基于该图片特征样本子库对扫描到的图像信息进行图像识别。
在整个方案中，由于AR服务端基于用户信息对图片特征样本库进行了筛选，因此可以显著降低AR服务端向AR客户端推送的图片识别物料的数量，以及AR客户端在进行图像识别时，所使用的图片识别物料的数量，进而可以降低AR客户端的计算量，提升AR客户端的图像识别效率。
与上述方法实施例相对应，本申请还提供了装置的实施例。
请参见图3，本申请提出一种基于增强现实的图像识别装置30，应用于AR服务端；请参见图4，作为承载所述基于增强现实的图像识别装置30的AR服务端所涉及的硬件架构中，通常包括CPU、内存、非易失性存储器、网络接口以及内部总线等；以软件实现为例，所述基于增强现实的图像识别装置30通常可以理解为加载在内存中的计算机程序，通过CPU运行之后形成的软硬件相结合的逻辑装置，所述装置30包括：
收集模块301，收集增强现实客户端上传的用户信息；
筛选模块302，在预设的图片特征样本库中筛选出与所述用户信息关联的图片特征样本；
推送模块303，基于筛选出的所述图片特征样本生成对应于所述用户信息的图片特征样本子库，并将所述图片特征样本子库推送至所述增强现实客户端，以使所述增强现实客户端在针对所述用户的线下环境执行图像扫描时，基于所述图片特征样本子库对扫描到的图像信息进行图像识别。
在本例中，所述用户信息包括用户的定位位置；
所述装置30还包括：
采集模块304(图3中未示出)，采集对接的第三方服务端中存储的图片样本，以及与该图片样本关联的定位位置；和/或，基于预设的数据采集算法从线上的服务数据中采集图片样本，以及与图片样本关联的定位位置；
创建模块305(图3中未示出)，从采集到的图片样本中提取图片特征样本，并基于提取出的图片特征样本以及与所述图片样本关联的定位位置，在本地创建所述图片特征样本库。
在本例中，所述装置还包括：
获取模块306(图3中未示出)，获取运营人员为所述图片特征样本库中的图片特征样本配置的展示数据；以及，为所述展示数据配置的展示效果；
存储模块307(图3中未示出)，将获取到的所述展示数据以及所述展示效果与所述图片特征样本库中的图片特征样本进行关联存储，并响应于运营人员的更新操作，对所述展示数据以及所述展示效果进行动态更新。
在本例中，所述装置30还包括：
识别模块308(图3中未示出)，接收所述增强现实客户端上传的扫描到的图像信息；基于生成的所述图片特征样本子库，针对所述图像信息进行图像识别。
在本例中，所述推送模块303进一步：
当从所述图像信息中识别出与所述图片特征样本子库中的任一图片特征样本对应的线下目标时，将与该图片特征样本关联的展示数据，以及与该展示数据关联的展示效果，推送至所述增强现实客户端，以使所述增强现实客户端基于所述展示效果将所述展示数据在增强现实场景中与所述线下目标对应的位置上进行增强显示。
在本例中，所述筛选模块302：
计算增强现实客户端上传的用户的定位位置，与所述图片特征样本库中各图片特征样本关联的定位位置之间的距离；
筛选出所述图片特征样本库中所述距离小于预设阈值的图片特征样本。
在本例中，所述用户信息还包括用户的行为日志；
所述筛选模块302进一步：
针对收集到的用户的行为日志进行大数据分析，以确定所述用户的行为偏好；
从所述距离小于预设阈值的图片特征样本中进一步筛选出满足所述用户的行为偏好的图片特征样本。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述实施例阐明的装置、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (14)

1.一种基于增强现实的图像识别方法，其特征在于，应用于增强现实服务端，所述方法包括：
收集增强现实客户端上传的用户信息；
在预设的图片特征样本库中筛选出与所述用户信息关联的图片特征样本；
基于筛选出的所述图片特征样本生成对应于所述用户信息的图片特征样本子库，并将所述图片特征样本子库推送至所述增强现实客户端，以使所述增强现实客户端在针对所述用户的线下环境执行图像扫描时，基于所述图片特征样本子库对扫描到的图像信息进行图像识别。
2.根据权利要求1所述的方法，其特征在于，所述用户信息包括用户的定位位置；
所述方法还包括：
采集对接的第三方服务端中存储的图片样本，以及与该图片样本关联的定位位置；和/或，
基于预设的数据采集算法从线上的服务数据中采集图片样本，以及与图片样本关联的定位位置；
从采集到的图片样本中提取图片特征样本，并基于提取出的图片特征样本以及与所述图片样本关联的定位位置，在本地创建所述图片特征样本库。
3.根据权利要求2所述的方法，其特征在于，还包括：
获取运营人员为所述图片特征样本库中的图片特征样本配置的展示数据；以及，为所述展示数据配置的展示效果；
将获取到的所述展示数据以及所述展示效果与所述图片特征样本库中的图片特征样本进行关联存储，并响应于运营人员的更新操作，对所述展示数据以及所述展示效果进行动态更新。
4.根据权利要求1所述的方法，其特征在于，还包括：
接收所述增强现实客户端上传的扫描到的图像信息；
基于生成的所述图片特征样本子库，针对所述图像信息进行图像识别。
5.根据权利要求1或4所述的方法，其特征在于，还包括：
当从所述图像信息中识别出与所述图片特征样本子库中的任一图片特征样本对应的线下目标时，将与该图片特征样本关联的展示数据，以及与该展示数据关联的展示效果，推送至所述增强现实客户端，以使所述增强现实客户端基于所述展示效果将所述展示数据在增强现实场景中与所述线下目标对应的位置上进行增强显示。
6.根据权利要求2所述的方法，其特征在于，
所述在预设的图片特征样本库中筛选出与所述用户信息关联的图片特征样本，包括：
计算增强现实客户端上传的用户的定位位置，与所述图片特征样本库中各图片特征样本关联的定位位置之间的距离；
筛选出所述图片特征样本库中所述距离小于预设阈值的图片特征样本。
7.根据权利要求6所述的方法，其特征在于，所述用户信息还包括用户的行为日志；
所述方法还包括：
针对收集到的用户的行为日志进行大数据分析，以确定所述用户的行为偏好；
从所述距离小于预设阈值的图片特征样本中进一步筛选出满足所述用户的行为偏好的图片特征样本。
8.一种基于增强现实的图像识别装置，其特征在于，应用于增强现实服务端，所述装置包括：
收集模块，收集增强现实客户端上传的用户信息；
筛选模块，在预设的图片特征样本库中筛选出与所述用户信息关联的图片特征样本；
推送模块，基于筛选出的所述图片特征样本生成对应于所述用户信息的图片特征样本子库，并将所述图片特征样本子库推送至所述增强现实客户端，以使所述增强现实客户端在针对所述用户的线下环境执行图像扫描时，基于所述图片特征样本子库对扫描到的图像信息进行图像识别。
9.根据权利要求8所述的装置，其特征在于，所述用户信息包括用户的定位位置；
所述装置还包括：
采集模块，采集对接的第三方服务端中存储的图片样本，以及与该图片样本关联的定位位置；和/或，基于预设的数据采集算法从线上的服务数据中采集图片样本，以及与图片样本关联的定位位置；
创建模块，从采集到的图片样本中提取图片特征样本，并基于提取出的图片特征样本以及与所述图片样本关联的定位位置，在本地创建所述图片特征样本库。
10.根据权利要求9所述的装置，其特征在于，还包括：
获取模块，获取运营人员为所述图片特征样本库中的图片特征样本配置的展示数据；以及，为所述展示数据配置的展示效果；
存储模块，将获取到的所述展示数据以及所述展示效果与所述图片特征样本库中的图片特征样本进行关联存储，并响应于运营人员的更新操作，对所述展示数据以及所述展示效果进行动态更新。
11.根据权利要求8所述的装置，其特征在于，还包括：
识别模块，接收所述增强现实客户端上传的扫描到的图像信息；基于生成的所述图片特征样本子库，针对所述图像信息进行图像识别。
12.根据权利要求8或11所述的装置，其特征在于，所述推送模块进一步：
当从所述图像信息中识别出与所述图片特征样本子库中的任一图片特征样本对应的线下目标时，将与该图片特征样本关联的展示数据，以及与该展示数据关联的展示效果，推送至所述增强现实客户端，以使所述增强现实客户端基于所述展示效果将所述展示数据在增强现实场景中与所述线下目标对应的位置上进行增强显示。
13.根据权利要求9所述的装置，其特征在于，
所述筛选模块：
计算增强现实客户端上传的用户的定位位置，与所述图片特征样本库中各图片特征样本关联的定位位置之间的距离；
筛选出所述图片特征样本库中所述距离小于预设阈值的图片特征样本。
14.根据权利要求13所述的装置，其特征在于，所述用户信息还包括用户的行为日志；
所述筛选模块进一步：
针对收集到的用户的行为日志进行大数据分析，以确定所述用户的行为偏好；
从所述距离小于预设阈值的图片特征样本中进一步筛选出满足所述用户的行为偏好的图片特征样本。
CN201710018395.1A 2017-01-11 2017-01-11 基于增强现实的图像识别方法及装置 Pending CN107038408A (zh)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN201710018395.1A CN107038408A (zh) 2017-01-11 2017-01-11 基于增强现实的图像识别方法及装置
TW106138738A TWI691934B (zh) 2017-01-11 2017-11-09 基於擴增實境的影像識別方法及裝置
US15/864,572 US10614341B2 (en) 2017-01-11 2018-01-08 Image recognition based on augmented reality
JP2019558338A JP6736145B2 (ja) 2017-01-11 2018-01-11 拡張現実に基づく画像認識方法および装置
EP18739418.4A EP3568805A4 (en) 2017-01-11 2018-01-11 AUGMENTED REALITY-BASED IMAGE RECOGNITION METHOD AND APPARATUS
PCT/US2018/013344 WO2018132590A1 (en) 2017-01-11 2018-01-11 Image recognition method and apparatus based on augmented reality
KR1020197023416A KR102222087B1 (ko) 2017-01-11 2018-01-11 증강 현실에 기초한 이미지 인식 방법 및 장치
SG11201906315TA SG11201906315TA (en) 2017-01-11 2018-01-11 Image recognition method and apparatus based on augmented reality
PH12019501599A PH12019501599A1 (en) 2017-01-11 2019-07-08 Image recognition method and apparatus based on augmented reality
US16/841,467 US10762382B2 (en) 2017-01-11 2020-04-06 Image recognition based on augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710018395.1A CN107038408A (zh) 2017-01-11 2017-01-11 基于增强现实的图像识别方法及装置

Publications (1)

Publication Number Publication Date
CN107038408A true CN107038408A (zh) 2017-08-11

Family

ID=59530481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710018395.1A Pending CN107038408A (zh) 2017-01-11 2017-01-11 基于增强现实的图像识别方法及装置

Country Status (9)

Country Link
US (2) US10614341B2 (zh)
EP (1) EP3568805A4 (zh)
JP (1) JP6736145B2 (zh)
KR (1) KR102222087B1 (zh)
CN (1) CN107038408A (zh)
PH (1) PH12019501599A1 (zh)
SG (1) SG11201906315TA (zh)
TW (1) TWI691934B (zh)
WO (1) WO2018132590A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062523A (zh) * 2018-06-14 2018-12-21 北京三快在线科技有限公司 增强现实数据的展示方法、装置、电子设备及存储介质
CN109260705A (zh) * 2018-08-06 2019-01-25 光锐恒宇（北京）科技有限公司 游戏的实现方法、装置、智能终端和计算机可读存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038408A (zh) 2017-01-11 2017-08-11 阿里巴巴集团控股有限公司 基于增强现实的图像识别方法及装置
US10725629B2 (en) * 2018-06-25 2020-07-28 Google Llc Identifying and controlling smart devices
WO2020022780A1 (en) * 2018-07-25 2020-01-30 Samsung Electronics Co., Ltd. Method and apparatus for establishing device connection
US11430216B2 (en) 2018-10-22 2022-08-30 Hewlett-Packard Development Company, L.P. Displaying data related to objects in images
US20220139046A1 (en) * 2019-02-04 2022-05-05 Beam Therapeutics Inc. Systems and methods for implemented mixed reality in laboratory automation
CN110020981A (zh) * 2019-03-27 2019-07-16 阿里巴巴集团控股有限公司 一种图像信息处理方法、装置及电子设备
CN113923252B (zh) * 2021-09-30 2023-11-21 北京蜂巢世纪科技有限公司 图像显示装置、方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103119544A (zh) * 2010-05-16 2013-05-22 诺基亚公司 展现基于位置的内容的方法和装置
CN104834375A (zh) * 2015-05-05 2015-08-12 常州恐龙园股份有限公司 基于增强现实的游乐园指南系统
CN105227448A (zh) * 2015-10-30 2016-01-06 Tcl集团股份有限公司 一种信息推送方法及系统
CN105243142A (zh) * 2015-10-10 2016-01-13 安徽尚舟电子科技有限公司 一种基于增强现实与可视计算的智能信息推送方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7522163B2 (en) 2004-08-28 2009-04-21 David Holmes Method and apparatus for determining offsets of a part from a digital image
US7945099B2 (en) * 2005-05-09 2011-05-17 Like.Com System and method for use of images with recognition analysis
US20090237546A1 (en) * 2008-03-24 2009-09-24 Sony Ericsson Mobile Communications Ab Mobile Device with Image Recognition Processing Capability
US8190604B2 (en) * 2008-04-03 2012-05-29 Microsoft Corporation User intention modeling for interactive image retrieval
US8819172B2 (en) 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
KR101746838B1 (ko) * 2010-06-14 2017-06-27 주식회사 비즈모델라인 진열대를 이용한 증강현실 운영 방법
JP2015062090A (ja) 2011-12-15 2015-04-02 日本電気株式会社 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム
US8654149B2 (en) 2011-12-20 2014-02-18 Honeywell International Inc. System and method for displaying enhanced vision and synthetic images
WO2013115202A1 (ja) 2012-01-30 2013-08-08 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム
US9678617B2 (en) 2013-01-14 2017-06-13 Patrick Soon-Shiong Shared real-time content editing activated by an image
US9338603B2 (en) 2013-09-30 2016-05-10 Qualcomm Incorporated Location based brand detection
JP2015090553A (ja) 2013-11-05 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 端末装置、付加情報管理装置、および付加情報管理方法
JP6435779B2 (ja) 2014-10-30 2018-12-12 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2017016466A (ja) 2015-07-02 2017-01-19 富士通株式会社 端末制御方法、画像生成方法、端末制御プログラム、及び端末
US20170103440A1 (en) * 2015-08-01 2017-04-13 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US10052170B2 (en) 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
US20170352282A1 (en) 2016-06-03 2017-12-07 International Business Machines Corporation Image-based feedback for assembly instructions
CN107038408A (zh) 2017-01-11 2017-08-11 阿里巴巴集团控股有限公司 基于增强现实的图像识别方法及装置
US20190005724A1 (en) * 2017-06-30 2019-01-03 Microsoft Technology Licensing, Llc Presenting augmented reality display data in physical presentation environments
US10565764B2 (en) * 2018-04-09 2020-02-18 At&T Intellectual Property I, L.P. Collaborative augmented reality system
US20180345129A1 (en) * 2018-07-27 2018-12-06 Yogesh Rathod Display virtual objects within predefined geofence or receiving of unique code from closest beacon

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103119544A (zh) * 2010-05-16 2013-05-22 诺基亚公司 展现基于位置的内容的方法和装置
CN104834375A (zh) * 2015-05-05 2015-08-12 常州恐龙园股份有限公司 基于增强现实的游乐园指南系统
CN105243142A (zh) * 2015-10-10 2016-01-13 安徽尚舟电子科技有限公司 一种基于增强现实与可视计算的智能信息推送方法
CN105227448A (zh) * 2015-10-30 2016-01-06 Tcl集团股份有限公司 一种信息推送方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062523A (zh) * 2018-06-14 2018-12-21 北京三快在线科技有限公司 增强现实数据的展示方法、装置、电子设备及存储介质
CN109062523B (zh) * 2018-06-14 2021-09-24 北京三快在线科技有限公司 增强现实数据的展示方法、装置、电子设备及存储介质
CN109260705A (zh) * 2018-08-06 2019-01-25 光锐恒宇（北京）科技有限公司 游戏的实现方法、装置、智能终端和计算机可读存储介质

Also Published As

Publication number Publication date
PH12019501599A1 (en) 2020-02-24
JP6736145B2 (ja) 2020-08-05
TW201826225A (zh) 2018-07-16
US20200234077A1 (en) 2020-07-23
TWI691934B (zh) 2020-04-21
SG11201906315TA (en) 2019-08-27
US10762382B2 (en) 2020-09-01
KR20190107069A (ko) 2019-09-18
EP3568805A1 (en) 2019-11-20
EP3568805A4 (en) 2020-01-15
WO2018132590A1 (en) 2018-07-19
JP2020507173A (ja) 2020-03-05
US10614341B2 (en) 2020-04-07
KR102222087B1 (ko) 2021-03-05
US20180197043A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
CN107038408A (zh) 基于增强现实的图像识别方法及装置
CN110533097A (zh) 一种图像清晰度识别方法、装置、电子设备及存储介质
US20150277686A1 (en) Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format
CN102385728B (zh) 基于从图像获得的度量的广告目标定位
CN109787948A (zh) 共享空间的访问方法、权限管理方法及装置
US20050041027A1 (en) System and method for visulaziation of categories
DE102006007084A1 (de) Verfahren und System zum Liefern von Programmen zu einer von einem Nutzer bedienbaren Vorrichtung
US11144779B2 (en) Real-time micro air-quality indexing
CN112085078A (zh) 图像分类模型生成系统、方法、装置和计算机设备
CN107295377A (zh) 影片制作方法、装置及系统
CN114936301A (zh) 智能家居建材数据的管理方法、装置、设备及存储介质
CN108197203A (zh) 一种门脸头图挑选方法、装置、服务器和存储介质
US10453491B2 (en) Video processing architectures which provide looping video
Xu et al. An improved space colonization algorithm with DBSCAN clustering for a single tree skeleton extraction
CN111488887B (zh) 基于人工智能的图像处理方法、装置
CN109063223B (zh) Bim模型的轻量化方法和装置以及bim模型的处理方法和系统
CN113326405B (zh) 基于bim技术的园区入驻推荐方法以及系统
Assa et al. Diorama construction from a single image
CN115271967A (zh) 一种基于元宇宙的证券信息服务系统及交互方法
KR20230115764A (ko) 전자지갑 기반 아바타의 이력 관리를 위한 메타버스 시스템
CN114610998A (zh) 一种元宇宙虚拟人物行为个性化信息推荐方法及系统
CN113468437A (zh) 一种社群挖掘方法、装置、电子设备及存储介质
KR102659094B1 (ko) 대체 불가능 토큰 콘텐츠를 이용한 증강 현실 서비스를 제공하기 위한 방법
CN109101885A (zh) 一种美术作品筛选展示系统及方法
Palha et al. Open source first person view 3d point cloud visualizer for large data sets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1241517

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20170811

RJ01 Rejection of invention patent application after publication