CN106033435A - 物品识别方法和装置,室内地图生成方法和装置 - Google Patents

物品识别方法和装置,室内地图生成方法和装置 Download PDF

Info

Publication number
CN106033435A
CN106033435A CN201510110320.7A CN201510110320A CN106033435A CN 106033435 A CN106033435 A CN 106033435A CN 201510110320 A CN201510110320 A CN 201510110320A CN 106033435 A CN106033435 A CN 106033435A
Authority
CN
China
Prior art keywords
article
webpage
web page
information
indoor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510110320.7A
Other languages
English (en)
Other versions
CN106033435B (zh
Inventor
聂华闻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Beihu robot Co., Ltd
Original Assignee
Bpeer Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bpeer Robotics Inc filed Critical Bpeer Robotics Inc
Priority to CN201510110320.7A priority Critical patent/CN106033435B/zh
Priority to PCT/CN2016/076125 priority patent/WO2016146024A1/zh
Publication of CN106033435A publication Critical patent/CN106033435A/zh
Application granted granted Critical
Publication of CN106033435B publication Critical patent/CN106033435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种物品识别方法和装置,室内地图生成方法和装置,其中,该物品识别方法包括:对互联网网页中的信息做持续性抓取更新学习,以建立物品特征库;基于所述物品特征库,对室内物品进行匹配识别,该本发明解决了现有技术中物品识别准确度不高的技术问题,达到了有效提高物品识别准确性的技术效果,且通过该物品识别方法生成室内地图进行室内物品的定位,有效提高了定位的准确性。

Description

物品识别方法和装置,室内地图生成方法和装置
技术领域
本发明涉及计算机领域,特别涉及一种物品识别方法和装置,室内地图生成方法和装置。
背景技术
随着物联网设备和智能设备的不断发展,物品识别的研究和发展也取得了长足的发展,目前,常用的物品识别方法就是基于物品特征库进行特征匹配以实现对物品的识别,因此,识别准确度的高低很大程度上取决于物品特征库的特征量。
目前,主要的物品特征库的建立方法有以下几种:
1)人工输入每个对比样本的属性,因为人工输入特征的样本量和特征量特别有效,因此所建立的物品特征库中的特征量很少;
2)输入多找图像,然后采用自学习的方法建库的建立,然后这样学习所依据的样本量还是很有限的,很难满足人们对高精度物品识别的需求。
进一步的,实际社会千万家庭或室内环境中,物品的种类及样式数量及增长速度是非常惊人的,人工输入的方式和输入图像的方式,都仅能应用在有限的特定使用环境中,无法实际大规模用于各类环境中的物品识别。
针对现有的物品识别精度较低,无法大规模应用的技术问题,目前尚未提出有效的解决方法。
发明内容
本发明实施例提供了一种物品识别方法,以解决现有技术中物品识别准确度不高和现有信息采集方式有较大局限的技术问题,该方法包括:
对互联网网页中的信息做持续性抓取更新学习,以建立物品特征库;
基于所述物品特征库,对室内物品进行匹配识别。
在一个实施例中,所述对互联网网页中的信息做持续性抓取更新学习,以建立物品特征库,包括:
提取一个网页;
查找出与该网页匹配的网页模型,其中,所述网页模型中标识有网页中各个页面区域所携带的信息;
基于匹配出的网页模型,识别出该网页对应物品的物品名称和物品特征。
在一个实施例中,所述网页模型是按照以下方法之一建立的:
对同一网站中的所有网页的视觉模型进行聚类分析,得到该网站中的多个网页模型;或者,
根据用户经验确定网页中各个页面区域所携带的信息,以建立网页模型。
在一个实施例中,对互联网网页中的信息做持续性抓取更新学习,以建立物品特征库,包括:
提取一个网页,获取该网页的网页组织代码;
从所述网页组织代码中提取出该网页对应物品的物品名称和物品特征。
在一个实施例中,从所述网页组织代码中提取该网页对应物品的物品特征,包括:
确定所述网页组织代码的结构化信息;
按照结构化信息,确定所述网页组织代码中各个提取项的开始字符串符号和结束字符串符号;
依据所述各个提取项的开始字符串符号和结束字符串符号,从所述网页组织代码中获取该网页对应物品的物品名称和物品特征。
在一个实施例中,物品特征包括以下至少之一:形状参数、体积参数、材质参数、重量参数。
在一个实施例中,所述互联网网页的信息包括:物品介绍网站的网页上显示的信息内容,和/或,物品介绍网站的介绍物品信息的资料文件。
本发明实施例还提供了一种室内地图生成方法,以解决现有技术中因为物品识别准确性不高而导致的室内地图的准确性也不高的技术问题,该方法包括:
智能识别与信息处理设备获取待生成室内地图的区域的全景图像;
基于上述物品识别方法,从所述全景图像中识别出多个相对独立的物品,并从建立的物品特征库中获取识别出的各个独立的物品的物品特征;
根据获取的各个独立的物品的物品特征,依据图像处理技术确定所述全景图像中各个物品相互之间的距离和方位的关联关系;
根据所述各个物品相互之间的距离和方位的关联关系,生成所述待生成室内地图的区域的地图。
在一个实施例中,在所述地图的坐标体系中,各个物品相互之间的距离和方位的关联关系通过位置链表的形式存储。
在一个实施例中,从建立的物品特征库中获取识别出的各个独立的物品的物品特征,包括:
从所述物品特征库中获取识别出的物品的体积属性参数,其中,所述体积属性参数包括:物品的长、宽和高。
本发明实施例还提供了一种物品识别装置,以解决现有技术中物品识别准确度不高的技术问题,该装置包括:
特征库建立模块,用于对互联网网页中的信息做持续性抓取更新学习,以建立物品特征库;
识别模块,用于基于所述物品特征库,对室内物品进行匹配识别。
本发明实施例还提供了一种室内地图生成装置,位于智能识别与信息处理设备中,以解决现有技术中因为物品识别准确性不高而导致的室内地图的准确性也不高的技术问题,该装置包括:
全景图像生成模块,用于获取待生成室内地图的区域的全景图像;
上述物品识别装置,用于从所述全景图像中识别出多个相对独立的物品,并从建立的物品特征库中获取识别出的各个独立的物品的物品特征;
关联关系确定模块,用于根据获取的各个独立的物品的物品特征,依据图像处理技术确定所述全景图像中各个物品相互之间的距离和方位的关联关系;
室内地图生成模块,用于根据所述各个物品相互之间的距离和方位的关联关系,生成所述待生成室内地图的区域的地图。
在本发明实施例中,通过对互联网中的网页做持续性抓取更新学习来建立物品特征库,从而实现对室内物品进行匹配识别,因为物联网中所存在的数据量巨大,因此可以使得物品特征库中的信息更为全面,从而可以有效解决现有技术中物品识别准确度不高的技术问题,达到了有效提高物品识别准确性的技术效果,且可以满足物品种类飞速发展的需求,大大提高了物品识别方法的使用范围。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1是根据本发明实施例的应用场景示意图;
图2是根据本发明实施例的物品识别方法和室内地图生成方法的方法流程图;
图3是根据本发明实施例的商品介绍网页的模型提取示意图;
图4是根据本发明实施例的存储各个物品相互之间的距离和方位的关联关系的位置链表的示意图;
图5是根据本发明实施例的室内地图生成装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
以下配合图式及本发明的较佳实施例,进一步阐述本发明为达成预定发明目的所采取的技术手段。
首先参考图1,其示出了本发明的实施方式可以在其中实施的应用场景。图1中所示的场景包括终端100、待识别物品200和互联网300。终端100可以是移动终端,例如:手机、平板电脑、笔记本电脑、个人数字助理等移动电子设备,也可以是机器人,例如:扫地机器人、聊天机器人、安防机器人等。
终端100可以通过有线或者无线方式与互联网进行信息交互,或者从互联网上获取信息,终端100中可内置有处理器和图像获取模块,终端100可以通过内置的图像获取模块“看到”待识别物品200,所谓“看到”可以获取待识别物品的图片,或者是通过与摄像设备的结合抓取到待识别物品的图像,然后通过处理器实现对物品的匹配识别。为了实现对物品的匹配识别,就需要建立一个物品特征库,在建立物品特征库的时候,可以通对互联网200网页中的信息进行持续性地抓取更新学习,以建立物品特征库,基于该物品特征库进行物品的匹配识别。因为更新学习的样本来自拥有海量资源的互联网,因此,也就使得更新学习到的特征库无限趋于完善,从而可以大大提高匹配识别的准确性。
下面结合图1的应用场景,和图2所示的方法,对本发明示例性实施方式的物品识别方法和室内地图生成方法进行介绍。
需要注意的是,上述应用场景仅是为了便于理解本发明的精神和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
例如,参见图2,为本发明一实施例的物品识别方法和室内地图生成方法的方法流程图,如图2所示,主要可以包括以下步骤:
步骤201:对互联网网页中的信息做持续性抓取更新学习,以建立物品特征库;
即,基于互联网上无限的网络资源来训练物品特征库,使得更新学习到的特征库无限趋于完善,以提高匹配识别的准确性。具体的,可以但不限于按照以下方式中的一种或多种进行网页信息的持续性抓取更新学习:
1)提取一个网页,查找出与该网页匹配的网页模型,其中,网页模型中标识有网页中各个页面区域所携带的信息;基于匹配出的网页模型,识别出该网页对应物品的物品名称和物品特征。
即,考虑到对于同一网站而言,同一类型网页,网页每个区域所对应的信息类型是相同的,因此,可以将同一类型的网页聚类分析后得到这一类网页每个区域所代表的信息,这样,在进行信息提取时候,就可以按照区域以及区域所对应的数据信息进行提取。
具体实现的时候,可以按照以下方式建立网页模型:对同一网站中的所有网页的视觉模型进行聚类分析,得到该网站中的多个网页模型;也可以是根据用户经验确定网页中各个页面区域所携带的信息,以建立网页模型。
例如:如图3所示,可以采用视觉上的接近将一个网页分为多个区域,然后按照各个区域的位置关系排列输出,由多个区域组合形成这个网页对应的网页模型。以一个购物网站为例,如图3所示为一个商品介绍网页的模型提取示意图,在该商品介绍网页中,最上面区域是这个物品的名称,然后是价格介绍区域,再然后是一些物品的参数介绍,后面是物品的图片展示区域,右面是一些广告信息。那么就可以将这个网站的商品网页进行聚类分析,得到对应于这些网页的网页模型(图3中所示出的是以坐标区域的方式表示每个区域所携带的信息的,以实现网页模型的标识),在后续进行网页抓取学习的时候,就可以按照生成的网页模型确定出每个区域中所携带的具体数据信息。在具体实现的时候,还可以采用除了坐标表示之外的其它方式进行标识,例如可以根据URL规律、网页结构、模型交集等方式得到分类结果。
2)提取一个网页,获取该网页的网页组织代码,从所述网页组织代码中提取出该网页对应物品的物品名称和物品特征。
即,因为在网页组织代码中携带有网页的各种信息,且网页组织代码中有信息组成的详细规则,如果获取到网页组织代码,就可以还原出网页中的数据信息。
具体实现时,可以按照以下方式从网页组织代码中提取该网页对应物品的物品特征:确定所述网页组织代码的结构化信息,按照结构化信息,确定所述网页组织代码中各个提取项的开始字符串符号和结束字符串符号,然后依据各个提取项的开始字符串符号和结束字符串符号,从网页组织代码中获取该网页对应物品的物品名称和物品特例如:通过人工模版进行抽取,输入一个网页的网页组织代码,然后根据代码和URL匹配对应的信息提取模版,通过模版提取出结构化信息,所谓的模板就是:定义每个提取项开始的字符串号和结束的字符串符号。具体实现的时候,上述的网页组织代码可以是html代码,也可以是xml代码,javascript代码等能够组织出web的代码,具体采用何种代码组织出web页面,本申请不作具体限定,可以按照需求选择。以网页组织代码为html代码为例,假设,给定一个网页,该网页为:http://item.jd.com/1158180.html,只需要从其对应的网页组织代码里获取对应的商品名,开始的字符串(不包括[])则是[商品名称:]结束的字符串[</li>],毛重的标记标签则是:[商品毛重:]结束标签[</li>],以此类推,便可以人工整理出所有从互联网上提取出的目标物品的详细参数了。
在上述各个实施例中,物品特征可以包括但不限于以下至少之一:形状参数、体积参数、材质参数、重量参数等。
因为所建立的物品特征库更为趋近于完善,因此识别出的结果也更为准确可靠,例如,可以这样设想,有1000个样本训练得到特征库,必然不如20000个样本训练得到的特征库准确。虽然准确性不会提升20倍,但是从1000个样本到20000个样本的训练,准确性一定有大幅度的提升。
对于上文所提到的互联网网页的信息,可以是:物品介绍网站的网页上显示的信息内容(例如:B2B、B2C或者是商品介绍网站等网站的网页中直接显示出来的信息),也可以是物品介绍网站的介绍物品信息的资料文件(例如:网页所链接的用于对物品进行介绍的pdf文件、视频文件等)。然而值得注意的是,上述所提及的网站类型以及文件类型仅是为了更好地说明本发明,还可以采用其它类型的网站或者其它类型的资料文件,本申请在此不作限定,只要是可以获取物品信息的网页和资料文件都可以作为网络学习的对象。
进一步的,发明人考虑到现有技术中机器人对现实环境及周围物品的识别理解的准确率和有效率不高的主要原因就是因为当前的机器人在生成室内地图的时候,依据的是普通的二维坐标,例如,当机器人需要找一个待定位的物品的时候,可以先确定出离自己比较近的物体,这个时候再从地图中查找出这个比较近的物体的坐标,然后将这个比较近的物体的坐标与待定位物品的坐标进行比较,从而确定出待定位物品的大概位置。即,是通过这种绝对坐标来定位的。然而,对于普通人的思维而言,却并非是依据绝对坐标进行定位,而是基于相对坐标,即当识别出眼前是什么物品,例如,看到眼前是冰箱,便可以确定出电视的大概位置,即电视相对于冰箱的大概位置,也就是说,一般人的思维是基于相对坐标和方位进行物品的定位的。
步骤202:终端(例如:智能识别与信息处理设备,该设备可以是机器人,但不限于机器人,在下文中用智能设备来表示该终端)在待生成地图的区域内移动时,可随时进行图像扫描,以得到所述区域的多幅图像;
步骤203:根据图像扫描得到的多幅图像拼接出该区域的全景图像;
步骤204:然后采用上述建立得到特征库就可以从该全景图像中识别出该区域内的多个相对独立的物品;
具体的,可以采用神经网络算法从全景图像中提取出各个独立的物品(例如:电视、冰箱、沙发、桌子等),并以预先建立的存储有多种物品的特征信息的物品特征库为匹配基础,确定出各个物品的物品类别,即基于形成的全景图像,识别出物品以及物品的类别,例如:从室内全景图像中识别出电视机和电视机的型号、冰箱和冰箱的型号等等。
步骤205:可以从上述建立的特征库中获取这多个相对独立的物品中各个物品的体积属性参数;
步骤206:根据获取的各个物品的体积属性参数,依据图像处理技术从全景图像中确定出各个物品相互之间的距离和方位的关联关系,以生成该区域的地图。
即,为了准确确定出物品之间的距离,可以基于物品的特征库确定出物品的体积属性参数(例如:长、宽、高)对,进一步的,在图像扫描的过程中,就已经记录了图像扫描时摄像头的分辨率和图像扫描时设备的姿态,因此将同一物品的两幅图像进行对比,就可以确定出摄像头和图像里物品的物理距离,然后再结合物品的体积属性参数可以进一步确定出物品与物品之间的精确距离,从而最终形成基于物品与物品之间的距离和方位关系的室内地图。
考虑到地图中物品与物品之间是直接关联的,因此可以通过位置链表的形式存储各个物品相互之间的距离和方位的关联关系,如图4所示,是位置链表的一个示例,其中所标识的冰箱、沙发、电视等都是将其视作重心所在的一点,即确定的距离是两个物品重心之间的位置,且都以机器人面对当前物品的正面中心位置为参考点,来确定另外一个物品的距离和方位。
步骤207:在基于上述识别地图进行室内物品定位的时候,智能设备(例如:机器人)可以在当前位置进行一次图像扫描,并从扫描得到的图像中识别出至少一个物品;
步骤208:根据识别出的至少一个物品,从上述基于各个物品相互之间的距离和方位的关联关系建立的地图中,查找出所述待定位物品相对于识别出的物品的距离和方位;
步骤209:根据扫描得到的图像和识别出的物品的体积属性参数,确定出智能设备相对于识别出的物品的距离和方位;
步骤210:根据所述待定位物品相对于识别出的物品的距离和方位,和智能设备相对于识别出的物品的距离和方位,确定出所述待定位物品相对于该智能设备的距离和方位。
这样就使得智能设备进行室内物体定位时的思维更贴近于人的思维,即,如果人站在屋内,想到冰箱位置去,那么他只需要根据脸前的物品便可以确定出冰箱相对于现在的位置的距离和方位,这和基于数理(类似XYZ)坐标的地图体系有极大的不同,可以显著提高人机交互的易用性。这样便可以很方便地与智能设备进行交流和沟通,以该智能设备是一机器人为例进行说明,你可以告诉这个机器人到冰箱去拿瓶水送到客厅的茶几上,那么机器人只要看一眼(可以是对前面进行图像扫描),识别出面前的物品,并确定自身与眼前物品的方位和距离,然后从地图中确定出冰箱相对于眼前物品之间的距离和方位,机器人便可以准确地移动到冰箱位置处。
总的来说,发明人考虑到现有的物品识别方法之所以识别精度不高的主要原因就是人为设定的物品特征库中的特征过少,通过样本训练的物品特征库中样本量也太少。为此,发明人想到互联网中资源很多,可以说涵盖了所有希望获取的数据,因此可以通过对互联网的网页的持续抓取和学习更新来建立物品特征库,这样可以使得物品特征库,以实现更为精确的物品识别。基于上述为物品识别,在本例中还提出了一种高精度的室内地图生成方法,该方法是基于物品与物品相互之间的距离和方位来生成室内地图的,基于这个地图只要识别出自身所在区域的一个物品,便可以直观有效地确定出其它物品相对该物品的距离和位置,从而实现更为贴近人的思维模式的位置定位。
在上述实施例中提出了一种基于互联网数据自我学习得到物品特征库以实现物品识别的方式,同时基于该物品识别方式进行室内物品定位识别及室内地图描绘的方法,创新性地解决了智能设备在与普遍人进行人机交互的过程中,智能设备对现实环境及周围物品的识别理解的准确率及有效率不高的问题,并能根据识别后的物品之间的位置关联关系,形成人机皆可直接阅读的基于物品的室内坐标地图体系。
因为是基于互联网数据的自我学习的提出,解决了现有的智能设备对室内物品识别需要人工预制识别特征对比库,人工指明每个对比样本的属性,而实际社会千万家庭或室内环境中,物品的种类及样式数量及增长速度是非常惊人的,人工预先指明及训练的识别物品的方法,已经仅能应用在有限的特定使用环境中,无法实际大规模用于各类室内环境中的技术问题,从而可以满足对越来越多的物品的精确识别,使得物品识别可以应用到更为广泛的领域,因为物联网中的数据是很多的,通过对网络中数据的抓取更新和学习,可以大大提高数据识别的准确性和有效性。
基于同一发明构思,本发明实施例中还提供了一种室内地图生成装置,如下面的实施例所述。由于室内地图生成装置解决问题的原理与室内地图生成方法相似,因此室内地图生成装置的实施可以参见室内地图生成方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。图5是本发明实施例的室内地图生成装置的一种结构框图,该室内地图生成装置位于智能识别与信息处理设备中,如图5所示,包括:
全景图像生成模块501,用于获取待生成室内地图的区域的全景图像;
物品识别装置502,用于从所述全景图像中识别出多个相对独立的物品,并从建立的物品特征库中获取识别出的各个独立的物品的物品特征;
关联关系确定模块503,用于根据获取的各个独立的物品的物品特征,依据图像处理技术确定所述全景图像中各个物品相互之间的距离和方位的关联关系;
室内地图生成模块504,用于根据所述各个物品相互之间的距离和方位的关联关系,生成所述待生成室内地图的区域的地图。
具体的,如图5所示,上述物品识别装置502包括:特征库建立模块5021,用于对互联网中的网页做持续性抓取更新学习,以建立物品特征库;识别模块5022,用于基于所述物品特征库,对室内物品进行匹配识别。
具体实施的时候,特征库建立模块5021不断地对网上所有商品网页的图片和对应的商品名以及相关属性参数做持续性抓取更新学习,从而使得特征库中的物品特征越来越丰富;全景图像生成模块501依据图像扫描得到的图像形成室内的全景地图图像,这需要依赖于摄像头获取图像,同时还需要依赖于图像的合成和渲染技术;识别模块5022识别出室内的全景地图图像中的各个独立的物品,以及各个物品的类别,可以通过卷积神经网络的方法实现对物品的精确识别,同时识别过程就需要用到通过特征库建立模块5021建立的物品特征库;室内地图生成模块504根据关联关系确定模块503确定的各个物品之间的距离和方位关系,生成基于物品与物品之间管的室内地图生成模块,即形成了基于物品的室内地图体系。
对于室内物品的识别,主要就是依据上述室内地图体系的物品识别和定位,如果将其应用到与机器人的交流中,将大大提高沟通的效率和沟通的准确性,机器人只需要识别出周围的任意物体,便可以直接确定出其它物品的方位和距离。例如:基于物体识别构建的室内地图,可支持通过语音就可以和机器人以室内物品做参照进行位置的沟通,比如:机器人告诉你家里哪里出了问题,或者是指挥机器人去那里做什么。
在本例中,通过对室内物品进行精确识别后,生成基于物品与物品之间的相互位置关系的地图坐标体系,从而使得建立的地图坐标更近似于人对物品相互之间位置的认知和识别,即,形成了人机皆可自然阅读的基础于室内物体的地图坐标体系,从而解决了现有技术中机器人对现实环境及周围物品的识别理解的准确率和有效率不高的技术问题,达到了有效提高定位和识别准确性和定位效率的技术效果。更重要的是,提出了一种基于互联网数据的机器学习方法,可实现海量的物体识别特征库的自我学习和增长,极大地提高了智能设备对物体识别的准确性。
在另外一个实施例中,还提供了一种软件,该软件用于执行上述实施例及优选实施方式中描述的技术方案。
在另外一个实施例中,还提供了一种存储介质,该存储介质中存储有上述软件,该存储介质包括但不限于:光盘、软盘、硬盘、可擦写存储器等。
显然,本领域的技术人员应该明白,上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种物品识别方法,其特征在于,包括:
对互联网网页中的信息做持续性抓取更新学习,以建立物品特征库;
基于所述物品特征库,对室内物品进行匹配识别。
2.如权利要求1所述的方法,其特征在于,所述对互联网网页中的信息做持续性抓取更新学习,以建立物品特征库,包括:
提取一个网页;
查找出与该网页匹配的网页模型,其中,所述网页模型中标识有网页中各个页面区域所携带的信息;
基于匹配出的网页模型,识别出该网页对应物品的物品名称和物品特征。
3.如权利要求2所述的方法,其特征在于,所述网页模型是按照以下方法之一建立的:
对同一网站中的所有网页的视觉模型进行聚类分析,得到该网站中的多个网页模型;或者,
根据用户经验确定网页中各个页面区域所携带的信息,以建立网页模型。
4.如权利要求1所述的方法,其特征在于,对互联网网页中的信息做持续性抓取更新学习,以建立物品特征库,包括:
提取一个网页,获取该网页的网页组织代码;
从所述网页组织代码中提取出该网页对应物品的物品名称和物品特征。
5.如权利要求4所述的方法,其特征在于,从所述网页组织代码中提取该网页对应物品的物品特征,包括:
确定所述网页组织代码的结构化信息;
按照结构化信息,确定所述网页组织代码中各个提取项的开始字符串符号和结束字符串符号;
依据所述各个提取项的开始字符串符号和结束字符串符号,从所述网页组织代码中获取该网页对应物品的物品名称和物品特征。
6.如权利要求2至5中任一项所述的方法,其特征在于,物品特征包括以下至少之一:形状参数、体积参数、材质参数、重量参数。
7.如权利要求1至5中任一项所述的方法,其特征在于,所述互联网网页的信息包括:物品介绍网站的网页上显示的信息内容,和/或,物品介绍网站的介绍物品信息的资料文件。
8.一种室内地图生成方法,其特征在于,包括:
智能识别与信息处理设备获取待生成室内地图的区域的全景图像;
基于权利要求1至7中任一项所述的物品识别方法,从所述全景图像中识别出多个相对独立的物品,并从建立的物品特征库中获取识别出的各个独立的物品的物品特征;
根据获取的各个独立的物品的物品特征,依据图像处理技术确定所述全景图像中各个物品相互之间的距离和方位的关联关系;
根据所述各个物品相互之间的距离和方位的关联关系,生成所述待生成室内地图的区域的地图。
9.如权利要求8所述的方法,其特征在于,在所述地图的坐标体系中,各个物品相互之间的距离和方位的关联关系通过位置链表的形式存储。
10.如权利要求8所述的方法,其特征在于,从建立的物品特征库中获取识别出的各个独立的物品的物品特征,包括:
从所述物品特征库中获取识别出的物品的体积属性参数,其中,所述体积属性参数包括:物品的长、宽和高。
11.一种物品识别装置,其特征在于,包括:
特征库建立模块,用于对互联网网页中的信息做持续性抓取更新学习,以建立物品特征库;
识别模块,用于基于所述物品特征库,对室内物品进行匹配识别。
12.一种室内地图生成装置,位于智能识别与信息处理设备中,其特征在于,包括:
全景图像生成模块,用于获取待生成室内地图的区域的全景图像;
权利要求11中所述的物品识别装置,用于从所述全景图像中识别出多个相对独立的物品,并从建立的物品特征库中获取识别出的各个独立的物品的物品特征;
关联关系确定模块,用于根据获取的各个独立的物品的物品特征,依据图像处理技术确定所述全景图像中各个物品相互之间的距离和方位的关联关系;
室内地图生成模块,用于根据所述各个物品相互之间的距离和方位的关联关系,生成所述待生成室内地图的区域的地图。
CN201510110320.7A 2015-03-13 2015-03-13 物品识别方法和装置,室内地图生成方法和装置 Active CN106033435B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510110320.7A CN106033435B (zh) 2015-03-13 2015-03-13 物品识别方法和装置,室内地图生成方法和装置
PCT/CN2016/076125 WO2016146024A1 (zh) 2015-03-13 2016-03-11 物品识别方法和装置,室内地图生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510110320.7A CN106033435B (zh) 2015-03-13 2015-03-13 物品识别方法和装置,室内地图生成方法和装置

Publications (2)

Publication Number Publication Date
CN106033435A true CN106033435A (zh) 2016-10-19
CN106033435B CN106033435B (zh) 2019-08-02

Family

ID=56918445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510110320.7A Active CN106033435B (zh) 2015-03-13 2015-03-13 物品识别方法和装置,室内地图生成方法和装置

Country Status (2)

Country Link
CN (1) CN106033435B (zh)
WO (1) WO2016146024A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503741A (zh) * 2016-10-31 2017-03-15 深圳前海弘稼科技有限公司 植物种类的识别方法、识别装置和服务器
CN106681323A (zh) * 2016-12-22 2017-05-17 北京光年无限科技有限公司 一种用于机器人的交互输出方法以及机器人
CN106709462A (zh) * 2016-12-29 2017-05-24 天津中科智能识别产业技术研究院有限公司 一种室内定位方法及其装置
CN106855946A (zh) * 2016-12-27 2017-06-16 努比亚技术有限公司 一种图像信息获取方法和装置
CN107632285A (zh) * 2017-09-19 2018-01-26 北京小米移动软件有限公司 地图创建及修改方法与装置
CN107945860A (zh) * 2017-11-29 2018-04-20 国科恒泰(北京)医疗科技股份有限公司 医疗工具的回库、出库点验方法和装置及其点验系统
CN107958040A (zh) * 2017-11-22 2018-04-24 青岛乾恒智能科技有限公司 一种用于室内物品定位、管理以及分析的智能系统
CN108229328A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸防伪检测方法和系统、电子设备、程序和介质
CN108491799A (zh) * 2018-03-23 2018-09-04 海深科技(宁波)有限公司 一种基于图像识别的智能售货柜商品管理方法及系统
CN108874360A (zh) * 2018-06-27 2018-11-23 百度在线网络技术(北京)有限公司 全景内容定位方法和装置
CN109766914A (zh) * 2018-12-14 2019-05-17 深圳壹账通智能科技有限公司 基于图像识别的物品识别方法、装置、设备及存储介质
CN110610577A (zh) * 2018-06-15 2019-12-24 腾讯科技(深圳)有限公司 信息自助处理方法、装置、系统、存储介质及电子装置
TWI717296B (zh) * 2020-06-24 2021-01-21 南亞塑膠工業股份有限公司 雲端網絡商城系統
CN114128314A (zh) * 2020-05-15 2022-03-01 北京小米移动软件有限公司 物联网设备的地图获取方法和装置
CN114428502A (zh) * 2021-12-17 2022-05-03 重庆特斯联智慧科技股份有限公司 一种基于与家电联网的物流机器人及其控制方法
CN117218294A (zh) * 2023-09-18 2023-12-12 东莞市东智创新科技有限公司 一种基于三维建模的园区安防设备分布管理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107172442A (zh) * 2017-06-11 2017-09-15 成都吱吖科技有限公司 一种基于虚拟现实的交互式全景视频存储方法及装置
CN115223442B (zh) * 2021-07-22 2024-04-09 上海数川数据科技有限公司 一种室内行人地图的自动生成方法
CN113849582A (zh) * 2021-09-29 2021-12-28 珠海格力电器股份有限公司 物品存取方法、装置、设备及存储介质
CN114510022B (zh) * 2021-12-17 2024-06-21 北京未末卓然科技有限公司 一种医疗运输机器人及其控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276362A (zh) * 2007-03-26 2008-10-01 国际商业机器公司 优化和差异化网页浏览的装置和方法
CN101996243A (zh) * 2010-11-05 2011-03-30 我查查信息技术(上海)有限公司 商品信息查询的方法及设备和服务器
US8438080B1 (en) * 2010-05-28 2013-05-07 Google Inc. Learning characteristics for extraction of information from web pages
CN103761654A (zh) * 2014-01-06 2014-04-30 李启山 一种印记商品照相信息化识别防伪技术

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567159A (zh) * 2009-06-10 2009-10-28 北京豪仪测控工程有限公司 基于图像识别技术的导览方法及设备
US9098873B2 (en) * 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
CN102254265A (zh) * 2010-05-18 2011-11-23 北京首家通信技术有限公司 一种富媒体互联网广告内容匹配、效果评估方法
CN103278170B (zh) * 2013-05-16 2016-01-06 东南大学 基于显著场景点检测的移动机器人级联地图创建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276362A (zh) * 2007-03-26 2008-10-01 国际商业机器公司 优化和差异化网页浏览的装置和方法
US8438080B1 (en) * 2010-05-28 2013-05-07 Google Inc. Learning characteristics for extraction of information from web pages
CN101996243A (zh) * 2010-11-05 2011-03-30 我查查信息技术(上海)有限公司 商品信息查询的方法及设备和服务器
CN103761654A (zh) * 2014-01-06 2014-04-30 李启山 一种印记商品照相信息化识别防伪技术

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUAN ZHOU等: "Construction of Local Anchor Map for Indoor Position Measurement System", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 *
薛英花: "智能空间中基于多模式信息获取的物品定位与物品管理", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503741A (zh) * 2016-10-31 2017-03-15 深圳前海弘稼科技有限公司 植物种类的识别方法、识别装置和服务器
CN106681323A (zh) * 2016-12-22 2017-05-17 北京光年无限科技有限公司 一种用于机器人的交互输出方法以及机器人
CN106681323B (zh) * 2016-12-22 2020-05-19 北京光年无限科技有限公司 一种用于机器人的交互输出方法以及机器人
CN106855946A (zh) * 2016-12-27 2017-06-16 努比亚技术有限公司 一种图像信息获取方法和装置
CN106709462A (zh) * 2016-12-29 2017-05-24 天津中科智能识别产业技术研究院有限公司 一种室内定位方法及其装置
CN108229328A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸防伪检测方法和系统、电子设备、程序和介质
US11482040B2 (en) 2017-03-16 2022-10-25 Beijing Sensetime Technology Development Co., Ltd. Face anti-counterfeiting detection methods and systems, electronic devices, programs and media
CN107632285A (zh) * 2017-09-19 2018-01-26 北京小米移动软件有限公司 地图创建及修改方法与装置
CN107958040A (zh) * 2017-11-22 2018-04-24 青岛乾恒智能科技有限公司 一种用于室内物品定位、管理以及分析的智能系统
CN107958040B (zh) * 2017-11-22 2020-11-03 深圳慧智星晨科技有限公司 一种用于室内物品定位、管理以及分析的智能系统
CN107945860A (zh) * 2017-11-29 2018-04-20 国科恒泰(北京)医疗科技股份有限公司 医疗工具的回库、出库点验方法和装置及其点验系统
CN108491799A (zh) * 2018-03-23 2018-09-04 海深科技(宁波)有限公司 一种基于图像识别的智能售货柜商品管理方法及系统
CN108491799B (zh) * 2018-03-23 2022-04-01 海深科技(宁波)有限公司 一种基于图像识别的智能售货柜商品管理方法及系统
CN110610577A (zh) * 2018-06-15 2019-12-24 腾讯科技(深圳)有限公司 信息自助处理方法、装置、系统、存储介质及电子装置
CN108874360A (zh) * 2018-06-27 2018-11-23 百度在线网络技术(北京)有限公司 全景内容定位方法和装置
CN108874360B (zh) * 2018-06-27 2023-04-07 百度在线网络技术(北京)有限公司 全景内容定位方法和装置
CN109766914A (zh) * 2018-12-14 2019-05-17 深圳壹账通智能科技有限公司 基于图像识别的物品识别方法、装置、设备及存储介质
CN114128314A (zh) * 2020-05-15 2022-03-01 北京小米移动软件有限公司 物联网设备的地图获取方法和装置
TWI717296B (zh) * 2020-06-24 2021-01-21 南亞塑膠工業股份有限公司 雲端網絡商城系統
CN114428502A (zh) * 2021-12-17 2022-05-03 重庆特斯联智慧科技股份有限公司 一种基于与家电联网的物流机器人及其控制方法
CN114428502B (zh) * 2021-12-17 2024-04-05 北京未末卓然科技有限公司 一种基于与家电联网的物流机器人及其控制方法
CN117218294A (zh) * 2023-09-18 2023-12-12 东莞市东智创新科技有限公司 一种基于三维建模的园区安防设备分布管理方法
CN117218294B (zh) * 2023-09-18 2024-04-12 东莞市东智创新科技有限公司 一种基于三维建模的园区安防设备分布管理方法

Also Published As

Publication number Publication date
CN106033435B (zh) 2019-08-02
WO2016146024A1 (zh) 2016-09-22

Similar Documents

Publication Publication Date Title
CN106033435A (zh) 物品识别方法和装置,室内地图生成方法和装置
CN106816077B (zh) 基于二维码和增强现实技术的互动沙盘展示方法
CN105426455B (zh) 基于图片处理来对衣服进行分类管理的方法和装置
CN109359215A (zh) 视频智能推送方法和系统
CN105468142A (zh) 基于增强现实技术的互动方法、系统和终端
CN107292813A (zh) 一种基于生成对抗网络的多姿态人脸生成方法
CN104575132A (zh) 基于自然图像识别与增强现实技术的互动教育方法和系统
CN103916621A (zh) 视频通信方法及装置
CN117055724B (zh) 虚拟教学场景中生成式教学资源系统的工作方法
CN110175534A (zh) 基于多任务级联卷积神经网络的授课辅助系统
CN110503076A (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN108829250A (zh) 一种基于增强现实ar的对象互动展示方法
CN104537705A (zh) 基于增强现实的移动平台三维生物分子展示系统和方法
CN110163567A (zh) 基于多任务级联卷积神经网络的课堂点名系统
Hu et al. Efficient interaction recognition through positive action representation
CN107247920A (zh) 交互控制方法、装置和计算机可读存储介质
CN113254491A (zh) 一种信息推荐的方法、装置、计算机设备及存储介质
Venigalla et al. Towards enhancing user experience through a web-based augmented reality museum
Zhang et al. Cross-cultural O2O English teaching based on AI emotion recognition and neural network algorithm
CN114170672A (zh) 一种基于计算机视觉的课堂学生行为识别的方法
CN113705510A (zh) 目标识别跟踪的方法、装置、设备及存储介质
CN112381118B (zh) 一种大学舞蹈考试测评方法及装置
Zhen et al. 3d-vla: A 3d vision-language-action generative world model
CN105338335B (zh) 一种立体图像显著图提取方法
Xu The research on applying artificial intelligence technology to virtual youtuber

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200824

Address after: No.401, No.33, Dongnan Avenue, Changshu high tech Industrial Development Zone, Suzhou City, Jiangsu Province

Patentee after: Suzhou Beihu robot Co., Ltd

Address before: 100193, room 6654, building 6, South 1 village, Northeast Village, Beijing, Haidian District

Patentee before: BEIJING BPEER TECHNOLOGY Co.,Ltd.