CN110264320A - 基于现实增强设备的信息显示方法、装置以及存储介质 - Google Patents

基于现实增强设备的信息显示方法、装置以及存储介质 Download PDF

Info

Publication number
CN110264320A
CN110264320A CN201910569310.8A CN201910569310A CN110264320A CN 110264320 A CN110264320 A CN 110264320A CN 201910569310 A CN201910569310 A CN 201910569310A CN 110264320 A CN110264320 A CN 110264320A
Authority
CN
China
Prior art keywords
external appearance
target item
characteristic parameter
appearance characteristic
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910569310.8A
Other languages
English (en)
Other versions
CN110264320B (zh
Inventor
付文君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201910569310.8A priority Critical patent/CN110264320B/zh
Publication of CN110264320A publication Critical patent/CN110264320A/zh
Application granted granted Critical
Publication of CN110264320B publication Critical patent/CN110264320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • G06Q30/0625Directed, with specific intent or strategy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开是关于一种基于现实增强设备的信息显示方法,属于智能终端技术领域。所述方法用于增强现实AR设备中,所述方法包括:通过AR设备中的图像采集组件获取AR设备对应的视野范围内的视野图像;确定视野图像中的目标物品的外观特征参数对应的外观特征参数值;根据目标物品的外观特征参数值,获取目标物品的评价信息;通过AR设备中的显示组件,对应目标物品显示目标物品的评价信息。本公开通过AR设备对视野范围内获取到的目标物品展示评价信息,可以提示用户视野范围内的物品的优劣,从而扩展AR的使用场景。

Description

基于现实增强设备的信息显示方法、装置以及存储介质
技术领域
本公开涉及智能终端技术领域,特别涉及一种基于现实增强设备的信息显示方法、装置以及存储介质。
背景技术
随着智能终端技术领域的飞速发展,增强现实(Augmented Reality,AR)技术已经普遍被人们所熟知。
在相关技术中,人们通常可以利用AR设备在现实生活中的物品上显示一些信息,比如,通过AR设备识别一个图像,将该图像包含的信息在AR设备的显示屏中显示出来并展示给用户,使得用户可以看到展示在AR设备的显示屏中的图像的具体样子,从而使得用户了解到该图像中包含的信息。
发明内容
本公开实施例提供了一种基于现实增强设备的信息显示方法、装置及存储介质。所述技术方案如下:
根据本公开实施例的第一方面,提供了一种基于现实增强设备的信息显示方法,所述方法用于现实增强AR设备中,所述方法包括:
通过所述AR设备中的图像采集组件获取所述AR设备对应的视野范围内的视野图像;
确定所述视野图像中的目标物品的外观特征参数对应的外观特征参数值,所述外观特征参数用于指示所述目标物品的外观特征;
根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息;
通过所述AR设备中的显示组件,显示所述目标物品的评价信息。
可选的,所述确定所述视野图像中的目标物品的外观特征参数对应的外观特征参数值,包括:
确定所述视野图像中目标物品所在的目标区域图像;
对所述目标区域图像进行特征提取,获得所述外观特征参数值。
可选的,所述对所述目标区域图像进行特征提取,获得所述外观特征参数值,包括:
根据对所述目标物品的物品类型识别结果,确定所述目标物品所属的物品类型对应的特征参数;
按照所述特征参数对所述目标区域图像进行特征提取,获得所述外观特征参数值。
可选的,所述特征参数包含至少一种外观特征参数;
所述根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息,包括:
按照评分规则确定所述目标物品的至少一种外观特征参数对应的外观特征参数值分别对应的评分;
按照加权规则对所述目标物品的至少一种外观特征参数分别对应的评分进行加权求和,获得加权求和结果;
根据所述加权求和结果确定所述目标物品的评价信息。
可选的,所述评分规则中包含针对所述至少一种外观特征参数中每种外观特征参数的参数值区间与评分之间的对应关系;所述按照评分规则确定所述目标物品的至少一种外观特征参数对应的外观特征参数值分别对应的评分,包括:
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品的该外观特征参数的参数值所在的参数区间;将该外观特征参数对应的评分表中,与确定的参数区间相对应的评分确定为所述目标物品的该外观特征参数对应的评分;或者,
所述评分规则中包含所述至少一种外观特征参数分别对应的参数排序规则;所述按照评分规则确定所述目标物品的至少一种外观特征参数对应的外观特征参数值分别对应的评分,包括:
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品以及所述视野图像中与所述目标物品的类型相同的同类物品的该外观特征参数的参数值;并按照所述参数排序规则,对所述目标物品以及各同类物品的该外观特征参数的参数值进行排序,获得排序结果;根据所述排序结果确定所述目标物品的该外观特征参数对应的评分;或者,
所述评分规则中包含所述至少一种外观特征参数分别对应的标准参数值;所述按照评分规则确定所述目标物品的至少一种特征参数对应的外观特征参数值分别对应的评分,包括:
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品的该外观特征参数的参数值,与该外观特征参数对应的标准参数值之间的参数差值;根据所述参数差值确定所述目标物品的该外观特征参数对应的评分。
可选的,在根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息之前,还包括:
获取在所述AR设备中登录的用户账号;
获取与所述用户账号相对应的所述评分规则和/或所述加权规则。
可选的,所述对所述目标区域图像进行特征提取之前,还包括:在所述目标区域图像中识别第一特征区域;所述对所述目标区域图像进行特征提取,包括:
响应于识别出所述目标物品中不包含所述第一特征区域,执行所述对所述目标区域图像进行特征提取的步骤;和/或
所述对所述目标区域图像进行特征提取之前,还包括:在所述目标区域图像中识别第二特征区域;所述对所述目标区域图像进行特征提取,包括:
响应于识别出所述目标物品中包含所述第二特征区域,执行对所述目标区域图像进行特征提取的步骤。
可选的,所述通过所述AR设备中的显示组件,显示所述目标物品的评价信息,包括:
根据所述目标物品的评价信息以及各个同类物品的评价信息,对所述目标物品以及所述各个同类物品进行排序,获得排序结果;
响应于所述目标物品位于所述排序结果中的前预设位,通过所述AR设备中的显示组件,在所述目标物品的对应位置显示所述目标物品的评价信息。
根据本公开实施例的第二方面,提供了一种基于现实增强设备的信息显示装置,所述装置用于现实增强AR设备中,所述装置包括:
视野图像获取模块,用于通过所述AR设备中的图像采集组件获取所述AR设备对应的视野范围内的视野图像;
参数值确定模块,用于确定所述视野图像中的目标物品的外观特征参数对应的外观特征参数值,所述外观特征参数用于指示所述目标物品的外观特征;
评价信息获取模块,用于根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息;
评价信息显示模块,用于通过所述AR设备中的显示组件,显示所述目标物品的评价信息。
可选的,所述参数值确定模块,包括:图像确定单元和参数值获得单元,
所述图像确定单元,用于确定所述视野图像中目标物品所在的目标区域图像;
所述参数值获得单元,用于对所述目标区域图像进行特征提取,获得所述外观特征参数值。
可选的,所述参数值获得单元,包括:特征参数确定子单元和参数值获取子单元,
所述特征参数确定子单元,用于根据对所述目标物品的物品类型识别结果,确定所述目标物品所属的物品类型对应的外观特征参数;
所述参数值获取子单元,用于按照所述外观特征参数对所述目标区域图像进行特征提取,获得所述外观特征参数值。
可选的,所述特征参数包含至少一种外观特征参数;
所述评价信息获取模块,包括:评分确定子单元,加权求和子单元和评价信息确定子单元,
所述评分确定子单元,用于按照评分规则确定所述目标物品的至少一种外观特征参数对应的外观特征参数值分别对应的评分;
所述加权求和子单元,用于按照加权规则对所述目标物品的至少一种外观特征参数分别对应的评分进行加权求和,获得加权求和结果;
所述评价信息确定子单元,用于根据所述加权求和结果确定所述目标物品的评价信息。
可选的,所述评分确定子单元,用于,所述评分规则中包含针对所述至少一种外观特征参数中每种外观特征参数的参数值区间与评分之间的对应关系;
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品的该外观特征参数的参数值所在的参数区间;将该外观特征参数对应的评分表中,与确定的参数区间相对应的评分确定为所述目标物品的该外观特征参数对应的评分;或者,
所述评分规则中包含所述至少一种外观特征参数分别对应的参数排序规则;
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品以及所述视野图像中与所述目标物品的类型相同的同类物品的该外观特征参数的参数值;并按照所述参数排序规则,对所述目标物品以及各同类物品的该外观特征参数的参数值进行排序,获得排序结果;根据所述排序结果确定所述目标物品的该外观特征参数对应的评分;或者,
所述评分规则中包含所述至少一种外观特征参数分别对应的标准参数值;
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品的该外观特征参数的参数值,与该外观特征参数对应的标准参数值之间的参数差值;根据所述参数差值确定所述目标物品的该外观特征参数对应的评分。
可选的,所述装置还包括:
用户账号获取模块,用于在所述评价信息获取模块根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息之前,获取在所述AR设备中登录的用户账号;
规则获取模块,用于获取与所述用户账号相对应的所述评分规则和/或所述加权规则。
可选的,所述装置还包括:
第一区域识别模块,用于在所述参数值获得单元对所述目标区域图像进行特征提取之前,在所述目标区域图像中识别第一特征区域;
所述参数值获得单元,还用于,
响应于识别出所述目标物品中不包含所述第一特征区域,执行所述对所述目标区域图像进行特征提取的步骤;和/或
第二区域识别模块,用于在参数值获得单元对所述目标区域图像进行特征提取之前,在所述目标区域图像中识别第二特征区域;
所述参数值获得单元,还用于,
响应于识别出所述目标物品中包含所述第二特征区域,执行对所述目标区域图像进行特征提取的步骤。
可选的,所述评价信息显示模块,包括:排序结果获得单元和评价信息显示单元,
所述排序结果获得单元,用于根据所述目标物品的评价信息以及各个同类物品的评价信息,对所述目标物品以及所述各个同类物品进行排序,获得排序结果;
所述评价信息显示单元,用于响应于所述目标物品位于所述排序结果中的前预设位,通过所述AR设备中的显示组件,在所述目标物品的对应位置显示所述目标物品的评价信息。
根据本公开实施例的第三方面,提供了一种基于现实增强设备的信息显示装置,所述装置用于现实增强AR设备中,所述装置包括:
处理器;
用于存储所述处理器的可执行指令的存储器;
其中,所述处理器被配置为:
通过所述AR设备中的图像采集组件获取所述AR设备对应的视野范围内的视野图像;
确定所述视野图像中的目标物品的外观特征参数对应的外观特征参数值,所述外观特征参数用于指示所述目标物品的外观特征;
根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息;
通过所述AR设备中的显示组件,显示所述目标物品的评价信息。
根据本公开实施例的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中包含可执行指令,AR设备中的处理器调用所述可执行指令以实现上述第一方面以及第一方面任意可选实现方式所述的基于现实增强设备的信息显示方法。
本公开实施例提供的技术方案至少包括以下有益效果:
通过AR设备中的图像采集组件获取AR设备对应的视野范围内的视野图像;确定视野图像中的目标物品的外观特征参数对应的外观特征参数值;根据目标物品的外观特征参数值,获取目标物品的评价信息;通过AR设备中的显示组件,对应目标物品显示目标物品的评价信息。本公开通过AR设备对视野范围内获取到的目标物品展示评价信息,可以提示用户视野范围内的物品的优劣,从而扩展AR的使用场景。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是本公开实施例提供的一种摄像式AR设备的组成结构示意图;
图2是本公开实施例提供的一种AR设备的应用界面示意图;
图3是本公开实施例提供的一种基于现实增强设备的信息显示方法的方法流程图;
图4是本公开实施例提供的一种基于现实增强设备的信息显示方法的方法流程图;
图5是本公开实施例涉及的一种AR设备进行识别视野图像的图像示意图;
图6是本公开实施例涉及的一种视野图像中包含多个同类物品的图像示意图;
图7是本公开实施例涉及图6的目标物品提取的轮廓示意图;
图8是本公开实施例涉及的一种对目标物品提取的轮廓示意图;
图9是本公开实施例涉及的一种设置界面的界面示意图;
图10是本公开实施例涉及的一种AR设备显示评价信息的示意图;
图11是本公开实施例涉及的一种AR设备显示指示信息的示意图;
图12是本公开实施例涉及的一种第一特征区域的设置界面示意图;
图13是本公开实施例涉及的一种第二特征区域的设置界面示意图;
图14是本公开一示例性的一种基于现实增强设备的信息显示装置的框图;
图15是根据一示例性实施例示出的一种用于基于AR设备进行信息显示的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开提供的方案可以用于日常生活中人们购买商品的场景中,为了便于理解,下面首先对本公开实施例涉及的一些名词以及应用场景进行简单介绍。
增强现实(Augmented Reality,AR):是一种实时地计算摄像头影像的位置及角度并加上相应图像的技术。这种技术可以通过投影或者直接显示等方式,在镜片的显示屏幕中把虚拟图像叠加在现实世界中,操作者可以通过设备与虚拟图像进行互动。
AR技术的投影方式可以包括但不限于以下3种:投影式AR、显示式AR、摄像式AR。其中,投影式AR的投影设备中是具有透明镜片,可以将虚拟世界的影像投影到该透明镜片上;显示式AR的投影设备中是具有透明显示屏,可以将虚拟世界直接在该显示屏上进行显示;摄像式AR又称为伪AR,该类设备的摄像头可以通过取真实世界的景象,在该类设备的显示屏上将真实世界和虚拟世界叠加显示。
请参考图1,其示出了本公开实施例提供的一种摄像式AR设备的组成结构示意图。如图1所示,其中包含了显卡110、存储器150、处理器130、传感器150、图像采集组件160以及显示组件170。
可选的,该AR设备可以通过图像采集组件160对现实生活中的物品进行扫描或拍摄,将扫描或拍摄的图像发送给处理器130,经过处理器130处理后通过显示组件170显示相关信息。其中,图像采集组件160可以包含一个或多个摄像头,可选的,该摄像头可以为深度摄像头。该显示组件170可以包含显示屏,可以将需要显示的内容显示在显示屏中。存储器150中预先存储的影像资料,也可以通过处理器130处理后通过显示组件170显示,可选的,存储器150中预先存储的影像资料也可以叠加显示在图像采集组件扫描或拍摄的影像中,共同显示在显示屏中。
可选的,存储器150中可以存储有程序代码以及各种物品的物品信息,其中,该物品信息可以包括物品的类型、需要采集的外观特征参数、物品结构信息等。存储器也可以存储开发人员预先设定的场景信息,直接将相应的场景信息通过显示组件170叠加显示在显示屏中。另外,存储器150也可以为集成的本地存储设备或扩展存储设备,例如:可插拔的存储卡等,本公开实施例对此不作具体限定。
可选的,该AR设备可以具有图像识别能力,可以对图像采集组件160扫描或拍摄的图像资料进行识别,得到该图像资料中包含的信息。可选的,该AR设备也可以将拍摄到的图像资料发送给其他具有图像识别能力的设备(比如服务器或者其它用户终端),由其他设备进行图像识别,并将识别结果再次发送给AR设备。
可选的,传感器150可以包括但不限于加速度传感器、陀螺仪传感器、重力传感器、温度传感器、红外传感器中的一种或多种组合。AR设备可以通过传感器150获得该AR设备的移动情况以及环境情况,相应的改变显示组件170中显示屏的信息的显示等等。
在一种可能实现的方式中,请参考图2,其示出了本公开实施例提供的一种AR设备的应用界面示意图,如图2所示,其中包含了物品210,AR设备220,虚拟图像230。用户在现实场景中可以看到物品210,当用户想要了解更多关于物品210包含的信息时,用户可以佩戴该AR设备220,通过AR设备的摄像头可以对物品210进行采集/扫描,该AR设备可以在显示屏中显示虚拟图像230,用户可以在AR设备的显示屏中看到该虚拟图像230,进而了解到有关物品210更多的信息。
在又一种可能实现的方式中,一些智能终端也可以支持AR功能,即,可以通过对该智能终端的摄像头采集的图像资料进行识别,获取采集的图像资料中包含的预先设置信息,并将该图像的预先设置信息展示在该智能终端的显示屏中,以供用户查看。其中,该预先设置信息可以是开发人员或者运维人员预先设置,存储在服务器中,当有智能终端进行采集该图像并需要获取该图像的预先设置信息时,可以从服务器中获取到相应的预先设置信息。可选的,该智能终端可以是智能手机、平板电脑等。
本公开提供了一种基于现实增强设备的信息显示方法,该方法可应用于图1所示的实施例中的AR设备中。请参考图3,其示出了本公开实施例提供的一种基于现实增强设备的信息显示方法的方法流程图,如图3所示,该方法可以包括如下步骤:
在步骤301中,通过AR设备中的图像采集组件获取AR设备对应的视野范围内的视野图像。
在步骤302中,确定视野图像中的目标物品的外观特征参数对应的外观特征参数值。
其中,该外观特征参数用于指示目标物品的外观特征。
在步骤303中,根据目标物品的外观特征参数值,获取目标物品的评价信息。
其中,该评价信息可以用于指示目标物品的优劣程度。比如,该评价信息可以是目标物品的优劣等级,或者,用于表示该目标物品的优劣等级的其它可视化信息(例如颜色或者形状等);或者,上述评价信息也可以是目标物品的评分等。
在步骤304中,通过AR设备中的显示组件,对应目标物品显示该目标物品的评价信息。
可选的,上述确定视野图像中的目标物品的外观特征参数对应的外观特征参数值,包括:
确定视野图像中目标物品所在的目标区域图像;
对目标区域图像进行特征提取,获得外观特征参数值。
可选的,上述对目标区域图像进行特征提取,获得外观特征参数值,包括:
根据对目标物品的物品类型识别结果,确定目标物品所属的物品类型对应的外观特征参数;
按照外观特征参数对目标区域图像进行特征提取,获得外观特征参数值。
可选的,上述外观特征参数包含至少一种;
上述根据目标物品的外观特征参数值,获取目标物品的评价信息,包括:
按照评分规则确定目标物品的至少一种外观特征参数对应的外观特征参数值分别对应的评分;
按照加权规则对目标物品的至少一种外观特征参数分别对应的评分进行加权求和,获得加权求和结果;
根据加权求和结果确定目标物品的评价信息。
可选的,上述评分规则中包含针对至少一种外观特征参数中每个外观特征参数的参数值区间与评分之间的对应关系;按照评分规则确定目标物品的至少一种外观特征参数对应的外观特征参数值分别对应的评分,包括:
针对至少一种外观特征参数中的每个外观特征参数,确定目标物品的第一外观特征参数的参数值所在的参数区间;将第一外观特征参数对应的评分表中,与确定的参数区间相对应的评分确定为目标物品的第一外观特征参数对应的评分,第一外观特征参数是每个外观特征参数中的任意一个;或者,
评分规则中包含至少一种外观特征参数分别对应的参数排序规则;按照评分规则确定目标物品的至少一种外观特征参数对应的外观特征参数值分别对应的评分,包括:
针对至少一种外观特征参数中的每个外观特征参数,确定目标物品以及视野图像中与目标物品的类型相同的同类物品的第二外观特征参数的参数值;并按照参数排序规则,对目标物品以及各同类物品的第二外观特征参数的参数值进行排序,获得排序结果;根据排序结果确定目标物品的第二外观特征参数对应的评分,第二外观特征参数是每个外观特征参数中的任意一个;或者,
评分规则中包含至少一种外观特征参数分别对应的标准参数值;按照评分规则确定目标物品的至少一种特征参数对应的外观特征参数值分别对应的评分,包括:
针对至少一种外观特征参数中的每个外观特征参数,确定目标物品的第三外观特征参数的参数值,与第三外观特征参数对应的标准参数值之间的参数差值;根据参数差值确定目标物品的第三外观特征参数对应的评分,第三外观特征参数是每个外观特征参数中的任意一个。
可选的,上述在根据目标物品的外观特征参数值,获取目标物品的评价信息之前,还包括:
获取在AR设备中登录的用户账号;
获取与用户账号相对应的评分规则和/或加权规则。
可选的,上述对目标区域图像进行特征提取之前,还包括:在目标区域图像中识别第一特征区域;上述对目标区域图像进行特征提取,包括:
响应于识别出目标物品中不包含第一特征区域,执行对目标区域图像进行特征提取的步骤;和/或
上述对目标区域图像进行特征提取之前,还包括:在目标区域图像中识别第二特征区域;上述对目标区域图像进行特征提取,包括:
响应于识别出目标物品中包含第二特征区域,执行对目标区域图像进行特征提取的步骤。
可选的,上述通过AR设备中的显示组件,显示目标物品的评价信息,包括:
根据目标物品的评价信息以及各个同类物品的评价信息,对目标物品以及各个同类物品进行排序,获得排序结果;
响应于目标物品位于排序结果中的前预设位,通过AR设备中的显示组件,在目标物品的对应位置显示目标物品的评价信息。
综上所述,本公开通过AR设备对视野范围内获取到的目标物品展示评价信息,可以提示用户视野范围内的物品的优劣,从而扩展AR的使用场景;比如可以提示用户目标物品中评价较好的物品,从而有助于用户对目标物品的选择等。
在一种可能实现的方式中,用户在多个同类物品中挑选物品时,可以利用AR设备显示物品的物品信息,从而得知多个同类物品中较好的物品,帮助自己挑选物品。请参考图4,其示出了本公开实施例提供的一种基于现实增强设备的信息显示方法的方法流程图,该方法可应用于图1所示的实施例中的AR设备中。如图4所示,该方法可以包括如下步骤:
在步骤401中,通过AR设备中的图像采集组件获取AR设备对应的视野范围内的视野图像。
可选的,该AR设备的图像采集组件可以包括摄像头,即通过该摄像头获取相应的视野范围内的视野图像。可选的,该视野范围可以是AR设备在工作时,执行图像采集的摄像头一次性拍摄的范围。在一种可能实现的方式中,该摄像头可以进行实时获取视野范围内的视野图像,将实时获取的视野图像交由该AR设备的处理器进行处理。或者,该摄像头可以连续采集视野范围内的视野图像,将连续采集的视野范围内的视野图像交由该AR设备的处理器进行处理。
在步骤402中,确定视野图像中目标物品所在的目标区域图像。
其中,该目标区域图像是视野图像中、对应在目标物品处的图像。
在一种可能实现的方式中,该AR设备可以通过对视野图像进行识别,识别出该视野图像中的目标物品,确定出视野图像中目标物品所在的目标区域图像。其中,该目标物品可以是AR设备可以识别出的任意物品。比如,该AR设备可以识别出牧羊犬,当视野图像中有牧羊犬的图像时,该AR设备便可以识别出视野图像中的牧羊犬,并确定视野图像中牧羊犬所在的目标区域图像。可选的,该AR设备可以同时识别多个目标物品,并确定相应的目标区域图像。
请参考图5,其示出了本公开实施例涉及的一种AR设备进行识别视野图像的图像示意图。如图5所示,视野图像50中包含了第一目标物品501,第二目标物品502,第一目标区域图像503,第二目标区域图像504,该AR设备可以识别出第一目标物品501和第二目标物品502,并确定出第一目标区域图像503和第二目标区域图像504。
在一种可能实现的方式中,用户也可以指定AR设备识别自己选择的目标物品。可选的,用户可以在该AR设备识别视野图像之前,选择自己想要识别的目标物品,此时,该AR设备便只识别视野图像中用户选择的目标物品。比如,在上图5中,如果用户在该AR设备识别视野图像之前,选择需要识别的目标物品为第一目标物品,那么,AR设备便只识别视野图像中的第一目标物品,相应的,也只需要确定出第一目标区域图像即可。
在步骤403中,根据对目标物品的物品类型识别结果,确定目标物品所属的物品类型对应的外观特征参数。
在一种可能实现的方式中,AR设备可以在对视野图像进行识别,识别出该视野图像中的目标物品的过程中,可以识别出该目标物品所属的物品类型,AR设备可以根据识别出的目标物品所属的物品类型,确定出该目标物品所属的物品类型对应的外观特征参数。可选的,一个物品类型对应的外观特征参数可以是多个。例如,物品类型为狗时,其对应的外观特征参数可以关于狗的眼睛、狗的鼻子、狗的尾巴等。物品类型为水果时,其对应的外观特征参数可以关于水果的果皮、水果的果肉等,本公开实施例对外观特征参数的数量此并不加以限定。可选的,AR设备在确定物品类型对应的外观特征参数时,可以查询第一对应关系表,该第一对应关系表中包含了目标物品的物品类型与外观特征参数的对应关系。如表1所示:
表1
当AR设备确定出目标物品所属的物品类型为表1中的物品类型一时,AR设备可以通过查询表1的对应关系,得到物品类型一对应的外观特征参数有外观特征参数一、外观特征参数三、外观特征参数四,将该外观特征参数一、外观特征参数三、外观特征参数四获取为目标物品对应的外观特征参数。可选的,该表1可以是开发人员或者运维人员预先在AR设备中或者服务器中设置的。AR设备在根据上述物品类型的识别结果,确定出该物品类型对应的外观特征参数。
在步骤404中,按照外观特征参数对目标区域图像进行特征提取,获得外观特征参数值。
例如,当外观特征参数是关于狗的眼睛时,该外观特征参数可以是狗的眼睛的瞳孔,狗的眼睛的睫毛,狗的眼睛的眼皮等等。当外观特征参数是关于水果的果皮时,该外观特征参数可以是水果的果皮的反光度,水果的果皮的饱和度,水果的果皮的颜色等等。以外观特征参数是水果的果皮为例,该外观特征参数值可以是水果的果皮的反光度值、水果的果皮的饱和度值、水果的果皮的色值。即,当外观特征参数是关于上述水果的果皮,该外观特征参数是水果的果皮的反光度时,该外观特征参数值可以是该果皮颜色的反光度的具体数值。
在一种可能实现的方式中,该AR设备可以通过确定的外观特征参数对目标区域图像进行特征提取,获得目标物品的外观特征参数值。例如,获取的目标物品的物品类型为水果,该物品类型对应的外观特征参数是水果的果皮,那么,该AR设备在确定的目标区域图像中,进行水果的果皮特征的提取,得到该水果的外观特征参数值,例如,当水果的果皮外观特征参数包含水果的果皮的反光度,水果的果皮的饱和度,水果的果皮的颜色、水果果皮形状轮廓的圆润度等,该AR设备可以获取到的该水果的外观特征参数值可以包含该水果果皮的反光度的数值、饱和度的数值、水果果皮的色值的数值以及水果形状轮廓的圆润度的数值等。若获取的目标物品类型为动物,该物品类型对应的外观特征参数是关于动物的眼睛,那么,该AR设备在确定的目标区域图像中,进行动物的眼睛特征的提取,得到该动物的外观特征参数值,例如,当动物的眼睛的外观特征参数包含动物眼睛的宽度、动物眼睛的高度、动物眼睛的颜色等,那么该AR设备可以获取到的该动物的眼睛的外观特征参数值可以包含动物眼睛的宽度值、动物眼睛的高度值、动物眼睛的色值等。
在步骤405中,根据目标物品的外观特征参数值,获取目标物品的评价信息。
其中,该评价信息可以用于指示目标物品的优劣程度。即,用户可以根据该目标物品的评价信息得知该物品在各个同类物品中的优劣或者与标准同类物品的差距等。可选的,该评价信息可以是根据目标物品以及各个同类物品之间的比较得到的评价信息,或者,该评价信息可以是根据目标物品以及标准同类物品之间的比较得到的评价信息。其中,该标准同类物品可以是AR设备中预先设定的与目标物品做比较的物品。
在一种可能实现的方式中,该AR设备获取的目标物品的特征参数包含至少一种,AR设备可以按照评分规则确定目标物品的至少一种外观特征参数对应的外观特征参数值分别对应的评分;再按照加权规则对目标物品的至少一种外观特征参数分别对应的评分进行加权求和,获得加权求和结果;最后根据加权求和结果确定目标物品的评价信息。
可选的,上述评分规则中可以包含针对至少一种外观特征参数中每种外观特征参数的参数值区间与评分之间的对应关系;AR设备可以针对至少一种外观特征参数中的每种外观特征参数,确定目标物品的该外观特征参数的参数值所在的参数区间;将该外观特征参数对应的评分表中,与确定的参数区间相对应的评分确定为目标物品的该外观特征参数对应的评分。在一种可能实现的方式中,AR设备中可以存储包含针对至少一种外观特征参数中每种外观特征参数的参数值区间与评分之间分别对应的评分表;其中,该评分表包含外观参数区间与评分之间的对应关系。请参考表2,其示出了本公开实施例提供的一种外观特征参数评分表。如表2所示:
参数区间一 评分一
参数区间二 评分二
…… ……
表2
AR设备可以获取到目标物品的任一外观特征参数的外观特征参数值所在的参数区间;通过查询该表2,将该任一外观特征参数评分表中,与该任一外观特征参数所在的参数区间相对应的评分获取为目标物品的该任一外观特征参数对应的评分。其中,该表2也可以由开发人员或者运维人员预先在AR设备或者服务器中设置。例如,以外观特征参数是水果的果皮为例,任一外观特征参数可以是水果的果皮的反光度,AR设备可以获取到水果的果皮的反光度值,以及水果的果皮的反光度值所在的参数区间,当表2中的数据参数区间是反光度区间时,该AR设备通过查询表2获取水果的果皮的反光度值对应的评分。可选的,其他外观特征参数也可以通过类似的评分表获取相应的评分,此处不再赘述。
在又一种可能实现的方式中,上述评分规则中还可以包含至少一种外观特征参数分别对应的参数排序规则;AR设备可以针对至少一种外观特征参数中的每种外观特征参数,确定目标物品以及视野图像中与目标物品的类型相同的同类物品的该外观特征参数的参数值;并按照参数排序规则,对目标物品以及各同类物品的该外观特征参数的参数值进行排序,获得排序结果;根据排序结果确定目标物品的该外观特征参数对应的评分。即,该AR设备可以获取目标物品的任一外观特征参数,以及各个同类物品的该任一外观特征参数。同类物品是视野图像中、与目标物品的类型相同的其它物品;AR设备可以按照该任一外观特征参数对应的参数排序规则,对目标物品的该任一外观特征参数,以及各个同类物品的该任一外观特征参数进行排序,获得排序结果;根据该排序结果获取目标物品的该任一外观特征参数对应的评分。
比如,请参考图6,其示出了本公开实施例涉及的一种视野图像中包含多个同类物品的图像示意图。如图6所示,视野图像60中包含了第一目标物品601,第一同类物品602,第二同类物品603,当该第一目标物品601为苹果,任一外观特征参数为苹果形状轮廓的圆润度时,AR设备可以获取第一目标物品601的形状轮廓的圆润度以及各个同类物品的形状轮廓的圆润度,并将其按照从高到低的顺序进行排序,得到该外观特征参数的排序结果,可选的,该AR设备根据该排序结果,按照排序的顺序对目标物品进行打分,从而获取到该目标物品的该外观特征参数对应的评分。例如,排序结果名次越高,对应顺序分数越高等。
可选的,AR设备获取形状轮廓的圆润度时,可以先对目标物品进行轮廓提取,请参考图7,其示出了本公开实施例涉及图6的目标物品提取的轮廓示意图,如图7所示,其中包含了第一目标物品轮廓701,第一同类物品轮廓702,第二同类物品轮廓703。AR设备可以通过计算的轮廓曲线的曲率进而获取到相应的轮廓对应的圆润度。在一种可能实现的方式中,请参考图8,其示出了本公开实施例涉及的一种对目标物品提取的轮廓示意图,如图8所示,其中包含了目标物品轮廓801,同类物品轮廓802,当目标物品以及各个同类物品之间有遮挡时,AR设备提取到的目标物品以及各个同类物品的轮廓类似图8所示,AR设备仍然可以通过识别曲线的曲率获取相应的轮廓对应的圆润度。可选的,其他外观特征参数也可以通过类似的排序方式获取相应的外观特征参数评分。
在又一种可能实现的方式中,上述评分规则中还可以包含至少一种特征参数分别对应的标准参数值;AR设备可以针对至少一种外观特征参数中的每种外观特征参数,确定目标物品的该外观特征参数的参数值,与该外观特征参数对应的标准参数值之间的参数差值;根据参数差值确定目标物品的该外观特征参数对应的评分。即,该AR设备获取目标物品中的任一外观特征参数的参数值,与该任一外观特征参数的标准参数值之间的参数差值;根据参数差值获取目标物品的该任一外观特征参数对应的评分。
可选的,AR设备在获取目标物品的任一外观特征参数的评分时,可以将获取的该任一外观特征参数的参数值与该任一外观特征参数的标准参数值之间求差,获得两者的参数差值,进而确定出该参数差值所在的差值区间,根据该差值区间与评分的对应关系,获得该任一外观特征参数的评分。类似的,该差值区间与评分之间也可以有对应的差值评分表,该差值评分表包含了差值区间与评分之间的对应关系。请参考表3,其示出了本公开实施例提供的一种差值评分表。如表3所示:
差值区间一 评分一
差值区间二 评分二
…… ……
表3
比如,该AR设备可以获取到目标物品的该任一外观特征参数与标准参数值之间的差值处于差值区间一内,该AR设备可以通过获取到差值区间一对应的评分一,将该评分一获取为该任一外观特征参数对应的评分。
在一种可能实现的方式中,仍以目标物品为苹果为例,该任一外观特征参数是该苹果的果皮反光度,苹果的果皮反光度的标准参数值为b。该AR设备通过特征提取,得到目标物品的反光度为a,AR设备可以得到目标物品的反光度a与标准参数值b之间的差值,将该数值作为参数差值,进而确定该参数差值的评分。其中,上述标准参数值可以由开发人员或者运维人员预先在AR设备或者服务器中设置;或者,上述标准参数值也可以由用户选择标准目标物品获得。
在一种可能实现的方式中,用户可以在AR设备的设置界面中选择特定目标物品的标准参数的录入控件,该特定目标物品是用户选择需要录入的标准参数的目标物品。请参考图9,其示出了本公开实施例涉及的一种设置界面的界面示意图。如图9所示,其中包含了标准参数录入控件901,恢复默认控件902。用户在没选择标准参数录入时,AR设备可以通过默认的标准参数来执行评分步骤的执行,当用户点击标准参数录入控件901时,该AR设备可以指示用户在视野范围内选择一个与特定目标物品的类型相同的目标物品,该AR设备可以通过获取该目标物品的至少一种外观特征参数,并将获取的外观特征参数的值作为该目标物品的标准参数值。
在一种可能实现的方式中,该AR设备可以获取到目标物品的任一外观特征参数以及各个同类物品的任一外观特征参数,该AR设备可以对上述计算得到的各个参数差值进行排序,并按照参数差值排序规则,对目标物品的该任一特征参数以及各个同类物品的该任一特征参数进行排序,得到相应的参数差值排序结果,进而根据该排序结果获取目标物品的该任一外观特征参数对应的评分。
在一种可能实现的方式中,AR设备可以按照加权规则对上述获取的目标物品的特征参数对应的评分进行加权求和,得到加权求和结果。例如,获取的目标物品的外观特征参数一的权重为20%,外观特征参数二的权重为80%,该AR设备可以通过加权求和的方式得到该目标物品的外观特征参数的加权求和结果。可选的,该加权规则可以由开发人员或者运维人员预先在AR设备或者服务器中设置;或者,用户也可以通过AR的设置界面对目标物品的各个外观特征参数的权重进行设置。比如,用户将上述目标物品的外观特征参数二的权重从80%更换设置为30%,把外观特征参数一的权重从20%更换设置为70%,进而得到符合用户认为的外观特征参数所占权重的加权求和结果。比如,上述目标物品为苹果,外观特征参数一为苹果的反光度,外观特征参数二为苹果的圆润度,用户账号一中设置的反光度的权重为40%,圆润度的权重为60%;用户账号二中设置的反光度的权重为60%,圆润度的权重为40%,即,不同用户看重的目标物品的外观特征参数可能是不同的,从而计算的加权求和结果也可能不同。
进一步的,该AR设备可以通过得到的加权求和结果获取该目标物品的评价信息。可选的,AR设备直接将该加权求和结果作为该目标物品的总评分,将该目标物品的总评分作为目标物品的评价信息。
在一种可能实现的方式中,上述评分规则和/或加权规则也均可以通过AR设备中登陆的用户账号获取。可选的,在用户使用该AR设备时,该AR设备可以通过AR设备中用户登陆的账号,并获取该用户账号对应的评分规则和加权规则,在AR设备执行上述评价信息获取的步骤时,按照该用户账号对应的评分规则和加权规则进行计算,从而可以得到符合该用户账号的评价信息。
在步骤406中,根据目标物品的评价信息以及各个同类物品的评价信息,对目标物品以及各个同类物品进行排序,获得排序结果。
在一种可能实现的方式中,该目标物品的评价信息可以是目标物品的总评分,该总评分可以是根据上述加权结果得到的,该目标物品各个外观特征参数的评分进行加权求和的总评分。该AR设备按照总评分对目标物品以及各个同类物品进行排序,得到相应的排序结果。或者,该目标物品的评价信息可以是对目标物品好坏程度的鉴定。比如,目标物品一的评价信息为“好”,第一同类物品的评价信息为“较好”,第二同类物品的评价信息为“较差”等。对该目标物品的评价信息以及各个同类物品的评价信息排序后得到的排序结果可以是:目标物品一、第一同类物品、第二同类物品。
在步骤407中,响应于目标物品位于排序结果中的前预设位,通过AR设备中的显示组件,在目标物品的对应位置显示目标物品的评价信息。
可选的,前预设位可以是排序结果中的前N位。其中,N为大于或者等于1的整数。在一种可能实现的方式中,当目标物品在上述得到的排序结果中位于前N位时,通过AR设备中的显示组件,对应目标物品显示目标物品的评价信息。比如,以排序结果是按照上述目标物品的总评分排序为例,该目标物品的总评分在排序结果中是第三位,若N为4,即当目标物品的总评分位于前4位时,该AR设备就可以将该物品的评价信息显示在AR设备的显示组件的显示屏上,以供用户查看。其中,该N的数值可以由用户在AR的设置界面中自行设置。
在一种可能实现的方式中,该AR设备可以将排序结果中的前N位的评价信息都显示在AR设备的显示组件的显示屏上,即,当AR设备得到排序结果之后,当N为3时,该AR设备可以将排序结果中位于前三位的评价信息对应各自物品显示在AR设备显示组件的显示屏中。请参考图10,其示出了本公开实施例涉及的一种AR设备显示评价信息的示意图。如图10所示,其中包含了目标物品的评价信息1000,第一目标物品的评价信息1001,第二目标物品的评价信息1002。可选的,用户可以通过佩戴该AR设备,点击显示的评价信息,可以查看各个物品的详细信息,比如,可以看到该物品的类型、该物品的各个特征参数的评分等等。
在一种可能实现的方式中,AR设备可以在对应的目标物品或者各个同类物品处显示指示信息,该指示信息用于指示该物品符合AR设备的显示要求。可选的,该显示要求可以是上述排序结果中的前N位。该指示信息可以是一个箭头、一个便签等等。请参考图11,其示出了本公开实施例涉及的一种AR设备显示指示信息的示意图。如图11所示,其中包含了目标物品的指示信息1101,用户可以通过AR设备看到该指示信息,可选的,用户也可以点击显示的指示信息,进而查看目标物品的详细信息。可选的,类似上述可能实现的方式,显示该指示信息也可以是单独显示目标物品的指示信息,也可以是显示多个目标物品的指示信息。
综上所述,本公开通过AR设备对视野范围内获取到的目标物品展示评价信息,可以提示用户视野范围内的物品的优劣,从而扩展AR的使用场景;比如可以提示用户目标物品中评价较好的物品,从而有助于用户对目标物品的选择等。
在一种可能实现的方式中,在上述步骤405之前,该AR设备还可以在目标区域图像中识别第一特征区域,AR设备可以响应于识别出目标物品中不包含第一特征区域时,执行对目标区域图像进行特征提取的步骤。即,当AR设备识别出目标物品中不包含第一特征区域,执行对目标区域图像进行特征提取的步骤。可选的,该第一特征区域可以是用户通过设置界面进行设置的。例如,请参考图12,其示出了本公开实施例涉及的一种第一特征区域的设置界面示意图。如图12所示,其中包含了第一选择控件1201,用户可以选中第一选择控件1201,该AR设备便可以在获取目标物品的评价信息之前,先识别出不包含第一选择控件1201对应的第一特征区域的目标物品,然后对该目标物品执行相应的评价信息获取的步骤。
比如,当目标物品是苹果时,用户可以在相应的苹果的第一特征区域设置界面中设置第一特征区域为虫眼、斑点等,该AR设备在获取苹果的评价信息之前,便可以识别出不包含虫眼、斑点的苹果,然后对该苹果执行后续的获取评价信息的步骤。在一种可能实现的方式中,当目标物品是衣服时,用户可以在相应的衣服的第一特征区域设置界面中设置第一特征区域为领、纽扣等,该AR设备在获取衣服的价信息之前,便可以识别出不包含领、纽扣的衣服,然后对该衣服执行后续的获取评价信息的步骤。
在一种可能实现的方式中,在上述步骤405之前,该AR设备还可以在目标区域图像中识别第二特征区域,AR设备可以响应于识别出目标物品中包含第二特征区域时,执行对目标区域图像进行特征提取的步骤。即,当AR设备识别出目标物品中包含第二特征区域,执行对目标区域图像进行特征提取的步骤。可选的,该第二特征区域也可以是用户通过设置界面进行设置的。例如,请参考图13,其示出了本公开实施例涉及的一种第二特征区域的设置界面示意图。如图13所示,其中包含了第二选择控件1301,用户可以选中第二选择控件1301,该AR设备便可以在获取目标物品的评价信息之前,先识别出包含第二选择控件1301对应的第二特征区域的目标物品,然后对该目标物品执行相应的评价信息获取的步骤。
比如,当目标物品是苹果时,用户可以在相应的苹果的第二特征区域设置界面中设置第二特征区域为果蒂、果叶等,该AR设备在获取苹果的评价信息之前,便可以识别出包含果蒂、果叶等的苹果,然后对该苹果执行后续的获取评价信息的步骤。在一种可能实现的方式中,当目标物品是衣服时,用户可以在相应的衣服的第二特征区域设置界面中设置第二特征区域为帽子、拉链等,该AR设备在获取衣服的价信息之前,便可以识别出包含帽子、拉链等的衣服,然后对该衣服执行后续的获取评价信息的步骤。
可选的,上述目标物品的第一特征区域的识别应用和第二特征区域的识别应用可以是对同一目标物品应用,即,AR设备可以识别出既不包含第一特征区域的目标物品,又包含第二特征区域的目标物品。当然,AR设备也可以只应用一个限定条件,或者,当目标物品的类型变化时,用户还可以增加第三特征区域等等,本公开实施例对此并不加以限定。
请参考图14,其示出了本公开一示例性的一种基于现实增强设备的信息显示装置的框图,如图14所示,该基于现实增强设备的信息显示装置可以通过软件、硬件或者两者的结合实现图1所示实施环境中的AR设备的部分或者全部。以执行图3或图4所示实施例中由现实增强AR设备执行的步骤。该基于现实增强设备的信息显示装置可以包括:
视野图像获取模块1401,用于通过所述AR设备中的图像采集组件获取所述AR设备对应的视野范围内的视野图像;
参数值确定模块1402,用于确定所述视野图像中的目标物品的外观特征参数对应的外观特征参数值,所述外观特征参数用于指示所述目标物品的外观特征;
评价信息获取模块1403,用于根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息;
评价信息显示模块1404,用于通过所述AR设备中的显示组件,显示所述目标物品的评价信息。
可选的,所述参数值确定模块1402,包括:图像确定单元和参数值获得单元,
所述图像确定单元,用于确定所述视野图像中目标物品所在的目标区域图像;
所述参数值获得单元,用于对所述目标区域图像进行特征提取,获得所述外观特征参数值。
可选的,所述参数值获得单元,包括:特征参数确定子单元和参数值获取子单元,
所述特征参数确定子单元,用于根据对所述目标物品的物品类型识别结果,确定所述目标物品所属的物品类型对应的外观特征参数;
所述参数值获取子单元,用于按照所述外观特征参数对所述目标区域图像进行特征提取,获得所述外观特征参数值。
可选的,所述特征参数包含至少一种外观特征参数;
所述评价信息获取模块,包括:评分确定子单元,加权求和子单元和评价信息确定子单元,
所述评分确定子单元,用于按照评分规则确定所述目标物品的至少一种外观特征参数对应的外观特征参数值分别对应的评分;
所述加权求和子单元,用于按照加权规则对所述目标物品的至少一种外观特征参数分别对应的评分进行加权求和,获得加权求和结果;
所述评价信息确定子单元,用于根据所述加权求和结果确定所述目标物品的评价信息。
可选的,所述评分确定子单元,用于,所述评分规则中包含针对所述至少一种外观特征参数中每种外观特征参数的参数值区间与评分之间的对应关系;
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品的该外观特征参数的参数值所在的参数区间;将该外观特征参数对应的评分表中,与确定的参数区间相对应的评分确定为所述目标物品的该外观特征参数对应的评分;或者,
所述评分规则中包含所述至少一种外观特征参数分别对应的参数排序规则;
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品以及所述视野图像中与所述目标物品的类型相同的同类物品的该外观特征参数的参数值;并按照所述参数排序规则,对所述目标物品以及各同类物品的该外观特征参数的参数值进行排序,获得排序结果;根据所述排序结果确定所述目标物品的该外观特征参数对应的评分;或者,
所述评分规则中包含所述至少一种外观特征参数分别对应的标准参数值;
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品的该外观特征参数的参数值,与该外观特征参数对应的标准参数值之间的参数差值;根据所述参数差值确定所述目标物品的该外观特征参数对应的评分。
可选的,所述装置还包括:
用户账号获取模块,用于在所述评价信息获取模块根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息之前,获取在所述AR设备中登录的用户账号;
规则获取模块,用于获取与所述用户账号相对应的所述评分规则和/或所述加权规则。
可选的,所述装置还包括:
第一区域识别模块,用于在所述参数值获得单元对所述目标区域图像进行特征提取之前,在所述目标区域图像中识别第一特征区域;
所述参数值获得单元,还用于,
响应于识别出所述目标物品中不包含所述第一特征区域,执行所述对所述目标区域图像进行特征提取的步骤;和/或
第二区域识别模块,用于在参数值获得单元对所述目标区域图像进行特征提取之前,在所述目标区域图像中识别第二特征区域;
所述参数值获得单元,还用于,
响应于识别出所述目标物品中包含所述第二特征区域,执行对所述目标区域图像进行特征提取的步骤。
可选的,所述评价信息显示模块1404,包括:排序结果获得单元和评价信息显示单元,
所述排序结果获得单元,用于根据所述目标物品的评价信息以及各个同类物品的评价信息,对所述目标物品以及所述各个同类物品进行排序,获得排序结果;
所述评价信息显示单元,用于响应于所述目标物品位于所述排序结果中的前预设位,通过所述AR设备中的显示组件,在所述目标物品的对应位置显示所述目标物品的评价信息。
需要说明的一点是,上述实施例提供的装置在实现其功能时,仅以上述各个功能模块的划分进行举例说明,实际应用中,可以根据实际需要而将上述功能分配由不同的功能模块完成,即将设备的内容结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开一示例性实施例还提供了一种基于现实增强设备的信息显示装置,能够实现本公开上述图3或图4所示实施例中由现实增强AR设备执行的全部或者部分步骤,该基于现实增强设备的信息显示装置包括:
处理器;
用于存储所述处理器的可执行指令的存储器;
其中,所述处理器被配置为:
通过所述AR设备中的图像采集组件获取所述AR设备对应的视野范围内的视野图像;
确定所述视野图像中的目标物品的外观特征参数对应的外观特征参数值,所述外观特征参数用于指示所述目标物品的外观特征;
根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息;
通过所述AR设备中的显示组件,显示所述目标物品的评价信息。
上述主要以终端和服务器为例,对本公开实施例提供的方案进行了介绍。可以理解的是,终端和服务器为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开中所公开的实施例描述的各示例的模块及算法步骤,本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超出本公开实施例的技术方案的范围。
图15是根据一示例性实施例示出的一种用于基于AR设备进行信息显示的装置1500的框图。例如,装置1500可以被提供为终端或者AR设备。参照图15,装置1500包括处理组件1522,其进一步包括一个或多个处理器,以及由存储器1532所代表的存储器资源,用于存储可由处理部件1522执行的指令,例如应用程序。存储器1532中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1522被配置为执行指令,以执行上述基于现实增强设备的信息显示方法中,由终端或者AR设备执行的全部或者部分步骤。
装置1500还可以包括一个电源组件1526被配置为执行装置1500的电源管理,一个有线或无线网络接口1550被配置为将装置1500连接到网络,和一个输入输出(I/O)接口1538。装置1500可以操作基于存储在存储器1532的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本公开实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本公开实施例还提供了一种计算机存储介质,用于储存为上述终端或智能家居设备所用的计算机软件指令,其包含用于执行上述基于现实增强设备的信息显示方法所设计的程序。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种基于现实增强设备的信息显示方法,其特征在于,所述方法用于现实增强AR设备中,所述方法包括:
通过所述AR设备中的图像采集组件获取所述AR设备对应的视野范围内的视野图像;
确定所述视野图像中的目标物品的外观特征参数对应的外观特征参数值,所述外观特征参数用于指示所述目标物品的外观特征;
根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息;
通过所述AR设备中的显示组件,显示所述目标物品的评价信息。
2.根据权利要求1所述的方法,其特征在于,所述确定所述视野图像中的目标物品的外观特征参数对应的外观特征参数值,包括:
确定所述视野图像中目标物品所在的目标区域图像;
对所述目标区域图像进行特征提取,获得所述外观特征参数值。
3.根据权利要求2所述的方法,其特征在于,所述对所述目标区域图像进行特征提取,获得所述外观特征参数值,包括:
根据对所述目标物品的物品类型识别结果,确定所述目标物品所属的物品类型对应的外观特征参数;
按照所述外观特征参数对所述目标区域图像进行特征提取,获得所述外观特征参数值。
4.根据权利要求1所述的方法,其特征在于,所述外观特征参数包含至少一种;
所述根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息,包括:
按照评分规则确定所述目标物品的至少一种外观特征参数对应的外观特征参数值分别对应的评分;
按照加权规则对所述目标物品的至少一种外观特征参数分别对应的评分进行加权求和,获得加权求和结果;
根据所述加权求和结果确定所述目标物品的评价信息。
5.根据权利要求4所述的方法,其特征在于,
所述评分规则中包含针对所述至少一种外观特征参数中每种外观特征参数的参数值区间与评分之间的对应关系;所述按照评分规则确定所述目标物品的至少一种外观特征参数对应的外观特征参数值分别对应的评分,包括:
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品的该外观特征参数的参数值所在的参数区间;将该外观特征参数对应的评分表中,与确定的参数区间相对应的评分确定为所述目标物品的该外观特征参数对应的评分;或者,
所述评分规则中包含所述至少一种外观特征参数分别对应的参数排序规则;所述按照评分规则确定所述目标物品的至少一种外观特征参数对应的外观特征参数值分别对应的评分,包括:
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品以及所述视野图像中与所述目标物品的类型相同的同类物品的该外观特征参数的参数值;并按照所述参数排序规则,对所述目标物品以及各同类物品的该外观特征参数的参数值进行排序,获得排序结果;根据所述排序结果确定所述目标物品的该外观特征参数对应的评分;或者,
所述评分规则中包含所述至少一种外观特征参数分别对应的标准参数值;所述按照评分规则确定所述目标物品的至少一种特征参数对应的外观特征参数值分别对应的评分,包括:
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品的该外观特征参数的参数值,与该外观特征参数对应的标准参数值之间的参数差值;根据所述参数差值确定所述目标物品的该外观特征参数对应的评分。
6.根据权利要求4所述的方法,其特征在于,在根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息之前,还包括:
获取在所述AR设备中登录的用户账号;
获取与所述用户账号相对应的所述评分规则和/或所述加权规则。
7.根据权利要求2所述的方法,其特征在于,
所述对所述目标区域图像进行特征提取之前,还包括:在所述目标区域图像中识别第一特征区域;所述对所述目标区域图像进行特征提取,包括:
响应于识别出所述目标物品中不包含所述第一特征区域,执行所述对所述目标区域图像进行特征提取的步骤;和/或
所述对所述目标区域图像进行特征提取之前,还包括:在所述目标区域图像中识别第二特征区域;所述对所述目标区域图像进行特征提取,包括:
响应于识别出所述目标物品中包含所述第二特征区域,执行对所述目标区域图像进行特征提取的步骤。
8.根据权利要求1所述的方法,其特征在于,所述通过所述AR设备中的显示组件,显示所述目标物品的评价信息,包括:
根据所述目标物品的评价信息以及各个同类物品的评价信息,对所述目标物品以及所述各个同类物品进行排序,获得排序结果;
响应于所述目标物品位于所述排序结果中的前预设位,通过所述AR设备中的显示组件,在所述目标物品的对应位置显示所述目标物品的评价信息。
9.一种基于现实增强设备的信息显示装置,其特征在于,所述装置用于现实增强AR设备中,所述装置包括:
视野图像获取模块,用于通过所述AR设备中的图像采集组件获取所述AR设备对应的视野范围内的视野图像;
参数值确定模块,用于确定所述视野图像中的目标物品的外观特征参数对应的外观特征参数值,所述外观特征参数用于指示所述目标物品的外观特征;
评价信息获取模块,用于根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息;
评价信息显示模块,用于通过所述AR设备中的显示组件,显示所述目标物品的评价信息。
10.根据权利要求9所述的装置,其特征在于,所述参数值确定模块,包括:图像确定单元和参数值获得单元,
所述图像确定单元,用于确定所述视野图像中目标物品所在的目标区域图像;
所述参数值获得单元,用于对所述目标区域图像进行特征提取,获得所述外观特征参数值。
11.根据权利要求10所述的装置,其特征在于,所述参数值获得单元,包括:特征参数确定子单元和参数值获取子单元,
所述特征参数确定子单元,用于根据对所述目标物品的物品类型识别结果,确定所述目标物品所属的物品类型对应的外观特征参数;
所述参数值获取子单元,用于按照所述外观特征参数对所述目标区域图像进行特征提取,获得所述外观特征参数值。
12.根据权利要求9所述的装置,其特征在于,所述特征参数包含至少一种外观特征参数;
所述评价信息获取模块,包括:评分确定子单元,加权求和子单元和评价信息确定子单元,
所述评分确定子单元,用于按照评分规则确定所述目标物品的至少一种外观特征参数对应的外观特征参数值分别对应的评分;
所述加权求和子单元,用于按照加权规则对所述目标物品的至少一种外观特征参数分别对应的评分进行加权求和,获得加权求和结果;
所述评价信息确定子单元,用于根据所述加权求和结果确定所述目标物品的评价信息。
13.根据权利要求12所述的装置,其特征在于,
所述评分确定子单元,用于,所述评分规则中包含针对所述至少一种外观特征参数中每种外观特征参数的参数值区间与评分之间的对应关系;
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品的该外观特征参数的参数值所在的参数区间;将该外观特征参数对应的评分表中,与确定的参数区间相对应的评分确定为所述目标物品的该外观特征参数对应的评分;或者,
所述评分规则中包含所述至少一种特征参数分别对应的参数排序规则;
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品以及所述视野图像中与所述目标物品的类型相同的同类物品的该外观特征参数的参数值;并按照所述参数排序规则,对所述目标物品以及各同类物品的该外观特征参数的参数值进行排序,获得排序结果;根据所述排序结果确定所述目标物品的该外观特征参数对应的评分;或者,
所述评分规则中包含所述至少一种外观特征参数分别对应的标准参数值;
针对所述至少一种外观特征参数中的每种外观特征参数,确定所述目标物品的该外观特征参数的参数值,与该外观特征参数对应的标准参数值之间的参数差值;根据所述参数差值确定所述目标物品的该外观特征参数对应的评分。
14.根据权利要求12所述的装置,其特征在于,所述装置还包括:
用户账号获取模块,用于在所述评价信息获取模块根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息之前,获取在所述AR设备中登录的用户账号;
规则获取模块,用于获取与所述用户账号相对应的所述评分规则和/或所述加权规则。
15.根据权利要求10所述的装置,其特征在于,所述装置还包括:
第一区域识别模块,用于在所述参数值获得单元对所述目标区域图像进行特征提取之前,在所述目标区域图像中识别第一特征区域;
所述参数值获得单元,还用于,
响应于识别出所述目标物品中不包含所述第一特征区域,执行所述对所述目标区域图像进行特征提取的步骤;和/或
第二区域识别模块,用于在参数值获得单元对所述目标区域图像进行特征提取之前,在所述目标区域图像中识别第二特征区域;
所述参数值获得单元,还用于,
响应于识别出所述目标物品中包含所述第二特征区域,执行对所述目标区域图像进行特征提取的步骤。
16.根据权利要求9所述的装置,其特征在于,所述评价信息显示模块,包括:排序结果获得单元和评价信息显示单元,
所述排序结果获得单元,用于根据所述目标物品的评价信息以及各个同类物品的评价信息,对所述目标物品以及所述各个同类物品进行排序,获得排序结果;
所述评价信息显示单元,用于响应于所述目标物品位于所述排序结果中的前预设位,通过所述AR设备中的显示组件,在所述目标物品的对应位置显示所述目标物品的评价信息。
17.一种基于现实增强设备的信息显示装置,其特征在于,所述装置用于现实增强AR设备中,所述装置包括:
处理器;
用于存储所述处理器的可执行指令的存储器;
其中,所述处理器被配置为:
通过所述AR设备中的图像采集组件获取所述AR设备对应的视野范围内的视野图像;
确定所述视野图像中的目标物品的外观特征参数对应的外观特征参数值,所述外观特征参数用于指示所述目标物品的外观特征;
根据所述目标物品的外观特征参数值,获取所述目标物品的评价信息;
通过所述AR设备中的显示组件,显示所述目标物品的评价信息。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包含可执行指令,AR设备中的处理器调用所述可执行指令以实现上述权利要求1至8任一所述的基于现实增强设备的信息显示方法。
CN201910569310.8A 2019-06-27 2019-06-27 基于现实增强设备的信息显示方法、装置以及存储介质 Active CN110264320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910569310.8A CN110264320B (zh) 2019-06-27 2019-06-27 基于现实增强设备的信息显示方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910569310.8A CN110264320B (zh) 2019-06-27 2019-06-27 基于现实增强设备的信息显示方法、装置以及存储介质

Publications (2)

Publication Number Publication Date
CN110264320A true CN110264320A (zh) 2019-09-20
CN110264320B CN110264320B (zh) 2021-06-08

Family

ID=67922453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910569310.8A Active CN110264320B (zh) 2019-06-27 2019-06-27 基于现实增强设备的信息显示方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN110264320B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814730A (zh) * 2020-07-21 2020-10-23 深圳市鑫疆基业科技有限责任公司 无人机健康状态评价方法、装置、设备和计算机存储介质
CN111970557A (zh) * 2020-09-01 2020-11-20 深圳市慧鲤科技有限公司 图像显示方法、装置、电子设备及存储介质
CN112434229A (zh) * 2020-12-04 2021-03-02 歌尔光学科技有限公司 数据查询方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
CN106991169A (zh) * 2017-03-31 2017-07-28 北京小米移动软件有限公司 基于增强现实ar设备的推荐方法及装置
CN108009871A (zh) * 2016-10-31 2018-05-08 奥多比公司 基于增强现实视点的产品推荐
CN108388637A (zh) * 2018-02-26 2018-08-10 腾讯科技(深圳)有限公司 一种用于提供增强现实服务的方法、装置以及相关设备
CN108427498A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的交互方法和装置
CN109087172A (zh) * 2018-08-08 2018-12-25 百度在线网络技术(北京)有限公司 商品识别处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
CN108009871A (zh) * 2016-10-31 2018-05-08 奥多比公司 基于增强现实视点的产品推荐
CN108427498A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的交互方法和装置
CN106991169A (zh) * 2017-03-31 2017-07-28 北京小米移动软件有限公司 基于增强现实ar设备的推荐方法及装置
CN108388637A (zh) * 2018-02-26 2018-08-10 腾讯科技(深圳)有限公司 一种用于提供增强现实服务的方法、装置以及相关设备
CN109087172A (zh) * 2018-08-08 2018-12-25 百度在线网络技术(北京)有限公司 商品识别处理方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814730A (zh) * 2020-07-21 2020-10-23 深圳市鑫疆基业科技有限责任公司 无人机健康状态评价方法、装置、设备和计算机存储介质
CN111970557A (zh) * 2020-09-01 2020-11-20 深圳市慧鲤科技有限公司 图像显示方法、装置、电子设备及存储介质
CN112434229A (zh) * 2020-12-04 2021-03-02 歌尔光学科技有限公司 数据查询方法、装置、设备及存储介质
CN112434229B (zh) * 2020-12-04 2024-04-09 歌尔科技有限公司 数据查询方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110264320B (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
US9852234B2 (en) Optimizing apparel combinations
US7257239B2 (en) Method and apparatus for generating models of individuals
CN110264320A (zh) 基于现实增强设备的信息显示方法、装置以及存储介质
US8976160B2 (en) User interface and authentication for a virtual mirror
CN105447047B (zh) 建立拍照模板数据库、提供拍照推荐信息的方法及装置
CN110378914A (zh) 基于注视点信息的渲染方法及装置、系统、显示设备
JP6460237B2 (ja) コンタクトレンズの仮想試着方法、装置及びこの方法を実行させるコンピュータプログラム
CN109690617A (zh) 用于数字化妆镜的系统和方法
CN106355479A (zh) 一种虚拟试衣方法、虚拟试衣眼镜及虚拟试衣系统
CN106462979A (zh) 时尚偏好分析
CN107835367A (zh) 一种图像处理方法、装置及移动终端
KR101720016B1 (ko) 미러 디스플레이를 구비한 특징점 기반 의상 피팅 시스템 및 방법
CN105989617A (zh) 虚拟试穿装置及虚拟试穿方法
CN108898460A (zh) 虚拟试衣方法和装置
CN106897659A (zh) 眨眼运动的识别方法和装置
CN107080435A (zh) 虚拟衣橱管理系统和方法以及基于该系统的服饰销售方法
CN105989618A (zh) 虚拟试穿装置及虚拟试穿方法
WO2006071006A1 (en) Method for converting 2d image into pseudo 3d image and user-adapted total coordination method in use artificial intelligence, and service business method thereof
CN105374058A (zh) 虚拟试穿装置、虚拟试穿系统及虚拟试穿方法
CN109147007A (zh) 贴纸加载方法、装置、终端及计算机可读存储介质
CN110874133B (zh) 基于智能显示设备的交互方法、智能显示设备及存储介质
CN106203225A (zh) 基于深度的图像元素删除
KR20230029945A (ko) 제품 데이터에 기초한 증강 현실 콘텐츠
CN116485973A (zh) 虚拟对象的材质生成方法、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant