CN115048478B - 智能设备地理信息图谱的构建方法、设备和系统 - Google Patents

智能设备地理信息图谱的构建方法、设备和系统 Download PDF

Info

Publication number
CN115048478B
CN115048478B CN202210965701.3A CN202210965701A CN115048478B CN 115048478 B CN115048478 B CN 115048478B CN 202210965701 A CN202210965701 A CN 202210965701A CN 115048478 B CN115048478 B CN 115048478B
Authority
CN
China
Prior art keywords
geographic
information
unit
target
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210965701.3A
Other languages
English (en)
Other versions
CN115048478A (zh
Inventor
赵开勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qiyu Innovation Technology Co ltd
Original Assignee
Shenzhen Qiyu Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qiyu Innovation Technology Co ltd filed Critical Shenzhen Qiyu Innovation Technology Co ltd
Priority to CN202210965701.3A priority Critical patent/CN115048478B/zh
Publication of CN115048478A publication Critical patent/CN115048478A/zh
Application granted granted Critical
Publication of CN115048478B publication Critical patent/CN115048478B/zh
Priority to PCT/CN2023/112229 priority patent/WO2024032717A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity

Abstract

本发明实施例涉及人工智能技术领域,公开了一种智能设备地理信息图谱的构建方法、设备和系统,方法包括:服务器构建第一地理信息图谱并发送给第一智能设备;第一智能设备接收并存储第一地理信息图谱,在当前场景中通过传感器获取当前场景信息;第一智能设备根据当前场景信息提取当前场景中目标地理单元的空间语义信息,将目标地理单元的空间语义信息上传给服务器;服务器根据一个或多个第一智能设备上传的目标地理单元的空间语义信息更新第一地理信息图谱,得到第二地理信息图谱;服务器将第二地理信息图谱发送给第二智能设备,以及采用第二地理信息图谱更新第一智能设备中存储的第一地理信息图谱。本申请实现了地理信息图谱的自动更新和分发。

Description

智能设备地理信息图谱的构建方法、设备和系统
技术领域
本发明实施例涉及人工智能技术领域,具体涉及一种智能设备地理信息图谱的构建方法、设备和系统。
背景技术
知识图谱(Knowledge Graph),也称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。地理信息图谱是知识图谱的一种,其通常包括三维场景的空间信息和空间内物体的位置信息、三维信息,以及各种场景和物体的语义信息。
随着智能设备技术的发展,知识图谱逐件应用到智能设备中。将知识图谱融入智能设备,可以提升智能设备的智能化。例如对于智能机器人,可以在其内部存入地理信息图谱,以使机器人掌握其周围场景的空间信息、语义信息,以及场景内物体的位置信息、三维信息和语义信息等。机器人基于上述信息得以顺利执行各项用户指定任务或者其自身根据实际应用情形主动生成的任务。
现有技术中,地理信息图谱通常在智能设备出厂前设定,但是由于智能设备所应用场景存在差异,即使共同的场景也会存在信息的更新,如何使地理信息图谱满足实际应用场景需求,是需要解决的问题。
发明内容
鉴于上述问题,本发明实施例提供了一种智能设备地理信息图谱的构建方法、设备和系统,用于解决现有技术中存在的地理信息图谱无法满足实际应用场景需求的问题。
根据本发明实施例的一个方面,提供了一种智能设备地理信息图谱的构建方法,所述智能设备至少包括第一智能设备和第二智能设备,所述方法包括:
服务器构建第一地理信息图谱,所述第一地理信息图谱为图结构数据,所述图结构数据包括多个节点,每个所述节点存储地理单元的空间语义信息,所述图结构数据中所述节点之间的边为所述地理单元之间的关系信息;
所述服务器将所述第一地理信息图谱发送给第一智能设备;
所述第一智能设备接收并存储所述第一地理信息图谱;
所述第一智能设备在当前场景中通过传感器获取当前场景信息;
所述第一智能设备根据所述当前场景信息提取所述当前场景中目标地理单元的空间语义信息,将所述目标地理单元的空间语义信息上传给所述服务器;或者所述第一智能设备将所述当前场景信息上传给所述服务器,由所述服务器根据所述当前场景信息提取所述当前场景中目标地理单元的空间语义信息;
所述服务器根据一个或多个所述第一智能设备上传的所述目标地理单元的空间语义信息更新所述第一地理信息图谱,得到第二地理信息图谱;
所述服务器将所述第二地理信息图谱发送给第二智能设备,以及采用所述第二地理信息图谱更新所述第一智能设备中存储的所述第一地理信息图谱。
在一些实施例中,所述地理单元包括一个或多个场景单元以及位于所述场景单元内的一个或多个物体单元;
所述场景单元的空间语义信息包括名称、形状、位置和场景单元语义理解;所述物体单元的空间语义信息包括名称、形状、位置、所属场景名称和物体语义理解;
所述地理单元之间的关系信息包括所述场景单元之间的距离信息、方位信息、所述场景单元之间的归属信息、所述物体单元之间的距离信息以及所述物体单元和所述场景单元之间的归属信息。
在一些实施例中,所述服务器根据一个或多个所述第一智能设备上传的所述目标地理单元的空间语义信息更新所述第一地理信息图谱,得到第二地理信息图谱,包括:
所述服务器判断所述第一地理信息图谱中是否存在与所述目标地理单元类别相同的第一地理单元;
响应于所述第一地理信息图谱中不存在与所述目标地理单元类别相同的第一地理单元,将所述目标地理单元的空间语义信息添加至所述第一地理信息图谱中,得到更新后的第二地理信息图谱;
响应于所述第一地理信息图谱中存在与所述目标地理单元类别相同的第一地理单元,根据所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异,确定使用所述目标地理单元的空间语义信息替换所述第一地理单元的空间语义信息,或者将所述目标地理单元的空间语义信息增加至所述第一地理单元的空间语义信息,得到更新后的第二地理信息图谱。
在一些实施例中,所述服务器判断所述第一地理信息图谱中是否存在与所述目标地理单元类别相同的第一地理单元,包括:
若所述目标地理单元为所述场景单元,根据所述目标地理单元的空间语义信息中的目标名称,判断所述第一地理信息图谱中是否存在名称与所述目标名称的相似度大于第一比例的地理单元;若是,确定所述第一地理信息图谱中存在与所述目标地理单元类别相同的地理单元;否则,确定所述第一地理信息图谱中不存在与所述目标地理单元类别相同的地理单元;
若所述目标地理单元为所述物体单元,根据所述目标地理单元的空间语义信息中的目标名称和目标所属场景名称,判断所述第一地理信息图谱中是否存在名称与所述目标名称的相似度大于第一比例且所述所属场景名称与所述目标所属场景名称的相似度大于第二比例的地理单元;若是,确定所述第一地理信息图谱中存在与所述目标地理单元类别相同的地理单元;否则,确定所述第一地理信息图谱中不存在与所述目标地理单元类别相同的地理单元。
在一些实施例中,所述根据所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异,确定使用所述目标地理单元的空间语义信息替换所述第一地理单元的空间语义信息,或者将所述目标地理单元的空间语义信息增加至所述第一地理单元的空间语义信息,包括:
若所述目标地理单元为所述场景单元:
响应于所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异包括名称差异,判断提供所述目标地理单元的空间语义信息的所述智能设备的第一累计数量是否大于第一数量,若是则使用所述目标地理单元的名称替换或者新增所述第一地理单元的名称,否则将提供所述目标地理单元的空间语义信息的所述智能设备的第一累计数量加1;
响应于所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异包括形状、位置或场景单元语义理解的差异,将所述目标地理单元的形状、位置或场景单元语义理解增加至所述第一地理单元的空间语义信息;
若所述目标地理单元为所述物体单元:
响应于所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异包括名称差异,判断提供所述目标地理单元的空间语义信息的所述智能设备的第二累计数量是否大于第一数量,若是则使用所述目标地理单元的名称替换或者新增所述第一地理单元的名称,否则将提供所述目标地理单元的空间语义信息的所述智能设备的第二累计数量加1;
响应于所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异包括形状、位置、所属场景名称和物体语义理解的差异,将所述目标地理单元的形状、位置、所属场景名称和物体语义理解增加至所述第一地理单元的空间语义信息。
在一些实施例中,所述服务器判断所述第一地理信息图谱中是否存在与所述目标地理单元类别相同的第一地理单元之前,所述方法还包括:
经过第一预设时间,所述服务器根据接收到的多个所述第一智能设备上传的所述目标地理单元的空间语义信息,对所述目标地理单元进行分类;
确定类别相同的所述目标地理单元;
融合类别相同的所述目标地理单元的空间语义信息,以将多个目标地理单元合并为一个目标地理单元。
在一些实施例中,所述智能设备携带设备状态标识;所述方法还包括:
所述服务器将未出厂的所述智能设备的所述设备状态标识设置为第一标识,将已出厂的所述智能设备的所述设备状态标识设置为第二标识;
所述服务器将所述第二地理信息图谱发送给第二智能设备,以及采用所述第二地理信息图谱更新所述第一智能设备中存储的所述第一地理信息图谱,包括:
获取所述智能设备的所述设备状态标识;
若所述设备状态标识为第一标识,确定所述智能设备为未出厂的所述第二智能设备;
将所述第二地理信息图谱发送给所述第二智能设备;
若所述设备状态标识为第二标识,确定所述智能设备为已出厂的第一智能设备;
判断所述第一智能设备存储的地理信息图谱中是否包括所述目标地理单元的空间语义信息;
若否,在所述第一智能设备存储的地理信息图谱中新增所述目标地理单元的空间语义信息,或者将第一智能设备存储的地理信息图谱中的与所述目标地理单元为同一地理单元的待更新地理单元的空间语义信息替换为或者新增所述目标地理单元的空间语义信息;若是,结束流程。
根据本发明实施例的一个方面,提供了一种智能设备地理信息图谱的构建方法,应用于服务器,所述智能设备至少包括第一智能设备和第二智能设备,所述方法包括:
构建第一地理信息图谱,所述第一地理信息图谱为图结构数据,所述图结构数据包括多个节点,每个所述节点存储地理单元的空间语义信息,所述图结构数据中所述节点之间的边为所述地理单元之间的关系信息;
将所述第一地理信息图谱发送给第一智能设备;
接收一个或多个所述第一智能设备上传的目标地理单元的空间语义信息,所述目标地理单元的空间语义信息由所述第一智能设备在当前场景中通过传感器获取当前场景信息,根据所述当前场景信息所提取;或者接收一个或多个所述第一智能设备上传的当前场景信息,根据所述当前场景信息提取所述当前场景中目标地理单元的空间语义信息,所述当前场景信息由所述第一智能设备在当前场景中通过传感器获取;
根据所述目标地理单元的空间语义信息更新所述第一地理信息图谱,得到第二地理信息图谱;
将所述第二地理信息图谱发送给第二智能设备,以及采用所述第二地理信息图谱更新所述第一智能设备中存储的所述第一地理信息图谱。
根据本发明实施例的一个方面,提供了一种智能设备地理信息图谱的构建方法,应用于第一智能设备,所述方法包括:
接收并存储服务器发送的第一地理信息图谱,所述第一地理信息图谱由所述服务器构建,所述第一地理信息图谱为图结构数据,所述图结构数据包括多个节点,每个所述节点存储地理单元的空间语义信息,所述图结构数据中所述节点之间的边为所述地理单元之间的关系信息;
在当前场景中通过传感器获取当前场景信息,根据所述当前场景信息提取所述当前场景中目标地理单元的空间语义信息;
将所述目标地理单元的空间语义信息上传给所述服务器,以使所述服务器接收一个或多个所述第一智能设备上传的所述目标地理单元的空间语义信息,根据所述目标地理单元的空间语义信息更新所述第一地理信息图谱,得到第二地理信息图谱。
根据本发明实施例的一个方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如上实施例所述的智能设备地理信息图谱的构建方法的操作。
根据本发明实施例的一个方面,提供了一种智能设备地理信息图谱的构建系统,包括服务器和多个智能设备,所述智能设备至少包括第一智能设备和第二智能设备;
所述服务器构建第一地理信息图谱,所述第一地理信息图谱为图结构数据,所述图结构数据包括多个节点,每个所述节点存储地理单元的空间语义信息,所述图结构数据中所述节点之间的边为所述地理单元之间的关系信息;
所述服务器将所述第一地理信息图谱发送给第一智能设备;
所述第一智能设备接收并存储所述第一地理信息图谱;
所述第一智能设备在当前场景中通过传感器获取当前场景信息;
所述第一智能设备根据所述当前场景信息提取所述当前场景中目标地理单元的空间语义信息,将所述目标地理单元的空间语义信息上传给所述服务器;或者所述第一智能设备将所述当前场景信息上传给所述服务器,由所述服务器根据所述当前场景信息提取所述当前场景中目标地理单元的空间语义信息;
所述服务器根据一个或多个所述第一智能设备上传的所述目标地理单元的空间语义信息更新所述第一地理信息图谱,得到第二地理信息图谱;
所述服务器将所述第二地理信息图谱发送给第二智能设备,以及采用所述第二地理信息图谱更新所述第一智能设备中存储的所述第一地理信息图谱。
本发明实施例通过预先构建出厂前的第一地理信息图谱,给每个待出厂的智能设备预装第一地理信息图谱;在智能设备出厂后的运行过程中获取当前场景的场景信息,并从当前场景信息中提取出当前场景中目标地理单元的空间语义信息,从而可以在服务器端根据智能设备实际工作过程中获取到的目标地理单元的空间语义信息对第一地理信息图谱进行更新,后续可将更新后的第二地理信息图谱直接分发给其他待出厂智能设备或者对其他已出厂智能设备的地理信息图谱进行更新,从而利用每个出厂智能设备实际运行场景的场景信息更新整个系统的地理信息图谱,实现了地理信息图谱的自动更新和分发,使每个智能设备的地理信息图谱保持在最新状态,提高智能设备执行任务的准确度。
上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例的应用场景示意图;
图2示出了本发明实施例的智能设备地理信息图谱的构建方法的流程示意图;
图3示出了本发明实施例的智能设备地理信息图谱的构建方法的流程示意图;
图4示出了本发明实施例的智能设备地理信息图谱的构建方法的流程示意图;
图5示出了本发明实施例的电子设备的结构示意图;
图6示出了本发明实施例的智能设备地理信息图谱的构建系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
图1示出了本发明实施例的应用场景。服务器用于构建初始地理信息图谱,并将构建好的地理信息图谱分发给待出厂的智能设备。智能设备可以是机器人、手机、增强现实(Augmented Reality,AR)设备、虚拟现实(Virtual Reality,VR)设备等导航设备,如下实施例中以机器人为例进行说明。机器人存储地理信息图谱,并基于地理信息图谱执行各项任务。机器人在出厂后的工作过程中,还可以收集实际三维场景中的场景信息和物体信息,将收集的信息上传至服务器,服务器利用机器人收集的信息更新地理信息图谱,使用更新的地理信息图谱配置其他待出厂机器人,或者更新已出厂机器人中存储的地理信息图谱。
图2示出了本发明实施例提供的智能设备地理信息图谱的构建方法的流程图。图2所示的方法从整个系统的角度进行描述,并以智能设备为机器人为例进行详细说明。如图2所示,该方法包括以下步骤:
步骤210:服务器构建第一地理信息图谱,第一地理信息图谱为图结构数据,图结构数据包括多个节点,每个节点存储地理单元的空间语义信息,图结构数据中节点之间的边为地理单元之间的关系信息。
在数据领域,图像通常采用二维的网格数据表示和存储,文本采用一维的序列数据表示和存储。一维的序列数据和二维的网格数据具有规则的欧几里得空间结构,其具有平移不变性和局部可联通性。由于地理信息图谱中需要存储三维场景中的场景信息和物体信息,其中包括大量的空间语义信息,不能仅通过上述两种数据形式表示,而需要采用图结构数据进行存储。图结构数据以点、边为基础储存单元,可以很好的刻画空间和语义信息。例如,采用G = {V, F, E}表示一个图,V表示节点参数,F表示节点子图,E表示边集合。每个节点就是一个地理单元,连接两个节点的边就是两个地理单元之间的关系信息。
其中,地理单元包括一个或多个场景单元以及位于场景单元内的一个或多个物体单元。例如,机器人的应用场景为家庭服务场景,则场景单元包括客厅、餐厅、厨房、洗手间、卧室、书房、院子、草坪、阳台中的一种或多种,其中洗手间可进一步包括公共洗手间、主卧洗手间等,卧室可进一步包括主卧、客卧、儿童房等。物体单元包括沙发、茶几、餐桌、储物柜、床、梳妆台、洗手台、碗柜、书桌、电视机、冰箱、空调等。
场景单元的空间语义信息包括名称、形状、位置和场景单元语义理解;物体单元的空间语义信息包括名称、形状、位置、所属场景名称和物体语义理解。名称为通用名称,可以包括一个或多个名称,例如洗手间、卫生间和厕所。形状包括三维形状描述信息,例如沙发的形状信息包括长条状、转角沙发以及沙发。位置则可以预先按照场景单元或物体单元的常规位置进行设定。语义理解为该场景单元或物体单元的属性描述,属性包括其功能、用途、使用要求以及其他特性等。例如,针对草坪,其语义理解可以包括休闲的地方、遛狗区、需要定期修剪养护和可以种植花草等。
地理单元之间的关系信息包括场景单元之间的距离信息、方位信息、场景单元之间的归属信息、物体单元之间的距离信息以及物体单元和场景单元之间的归属信息。其中方位信息例如是餐厅位于客厅和厨房的一侧、阳台位于客厅的一侧等,场景单元之间的归属信息例如是主卧卫生间位于主卧内、衣帽间位于主卧内、草坪位于院子内等,物体单元和场景单元之间的归属信息例如是沙发属于客厅、书桌属于书房等。
地理信息图谱能够把各种物体信息和地理空间几何信息(例如上述的场景单元信息)进行语义关联。例如,瓶装水与厨房关联,进一步的瓶装水与厨房的冰箱关联;或者瓶装水与厨房的冰箱以及客厅的冰箱均关联。如给智能设备输入“带我去拿一瓶水”,基于智能设备中存储的地理信息图谱,若地理信息图谱中与瓶装水进行关联的地理空间几何信息为厨房的冰箱,则智能设备可以通过输出导航信息,将用户带到厨房的冰箱前;若地理信息图谱中与瓶装水进行关联的地理空间几何信息为客厅的冰箱,则智能设备可以通过输出导航信息,将用户带到客厅的冰箱前;若地理信息图谱中与瓶装水进行关联的地理空间几何信息包括厨房的冰箱和客厅的冰箱,则智能设备可以先询问用户是需要厨房冰箱的水还是客厅冰箱的水,基于用户回答再给出导航信息,将用户带到其中某个冰箱前;当然,智能设备也可以直接选择其中一种并输出相应的导航信息。
上述空间语义信息可以包括人类可以理解的文字描述,也可以包括机器学习到的向量表达式。为了让地理信息图谱可以更好地学习记录各个变量的变化情况以及变量之间的关联关系和交互影响,可以预先对原始变量先进行数据预处理,将处理后的变量映射到连续向量空间,例如将原始的离散变量转为连续向量表示,这样也可以减少离散变量的空间维数,并方便后续数据的更新,例如增加和融合。将离散变量转为连续向量的计算方法可以采用自编码器、嵌套等方法实现。将离散变量的空间语义信息特转为连续向量并得到用于表示第一地理信息图谱的图结构数据可通过如下步骤:
步骤f1:对获取的离散变量形式的空间语义信息特征进行一位有效编码;
一位有效编码可以使用 N位状态寄存器来对 N个状态进行编码,每个状态都有它独立的寄存器位,并且在任意时候,其中只有一位有效,可以实现将分类变量作为二进制向量表示。比如对于空间语义信息特征,根据其取值范围进行一位有效编码,将其包含的每一个取值表示为只有一个维度为1、其余维度为0的n维向量,其中n表示离散变量取值范围,从而减少特征尺度不同所带来的影响。
步骤f2:将一位有效编码后的编码结果输入包括全连接层的嵌入器;
嵌入器可以是全连接神经网络模型,其可以将初始数据特征映射到连续向量空间,得到连续向量表示的数据特征。
步骤f3:嵌入器输出连续向量形式的空间语义信息特征,得到n维空间语义信息特征的嵌入表示;
将离散变量的空间语义信息特征通过嵌入器映射到嵌入空间中,使空间语义信息特征由离散变量形式转换为连续向量形式。例如,场景单元的名称、形状、位置和场景单元语义理解等空间语义信息分别嵌入n维连续向量空间,得到名称、形状、位置和场景单元语义理解等离散变量的嵌入表示。
步骤f4:将映射后的n维空间语义信息特征的嵌入表示与关系信息合并,得到用于表示第一地理信息图谱的图结构数据。对于一个场景或物体的位置、形状、颜色等也可以按照知识图谱编码成特定的描述形式,例如对图片进行识别后得到的特征编码、特征点的描述符等。具体的,可以采用神经网络全景识别算法,对空间的数据(例如空间语义信息和关系信息)进行三维识别和单体化,得到三维的位置信息、物体的形状大小等,将其作为图节点存储内容。然后对每一个图节点进行参数描述,具体可参考步骤f1-f4的描述。
对同一场景的称呼可能也存在不同的描述,例如对于草坪,可能的称呼包括门前的草坪或院子里的草坪,可以将草坪作为一个节点,该节点的空间语义信息中名称包括两种名称,也即对草坪进行两种知识标注。
其中,服务器可以通过如下步骤构建第一地理信息图谱:
步骤a1:获取三维场景数据。
三维场景数据包括深度图像、三维点云、三维网格模型等,三维场景数据可以通过三维成像传感器采集,例如双目相机、RGB-D相机等,也可以通过三维激光雷达扫描仪采集,或者通过三维成像传感器与三维激光雷达扫描仪结合进行采集,并通过与服务器进行数据传输,使服务器备获取到三维场景数据。对于家庭场景数据而言,三维场景数据可以通过例如三维激光雷达扫描仪获取;对于城市场景数据而言,三维场景数据可以通过无人机、卫星拍摄形成或者通过倾斜摄影测量系统生成。三维场景可以选择标准或者规范的三维场景,例如大部分情况下机器人所需要应用的三维场景。
三维场景数据还可以通过建立的三维建模获取,也即三维场景数据为三维模型。例如,用户根据标准或者规范的三维场景特性,建立三维场景模型,并输入服务器。
步骤a2:对三维场景数据进行特征提取,识别三维场景数据中的场景单元和物体单元,并得到场景单元和物体单元的空间语义信息以及地理单元之间的关系信息。
特征提取也即对空间进行全景识别和分割,将空间内物体划分成多种种类、形状和大小,并按照步骤f`1-f4的方式进行编码。特征提取可以通过训练好的深度学习模型实现,例如卷积神经网络或者其他可以实现特征提取的神经网络。本步骤中得到的空间语义信息可以包括名称、形状、位置和场景单元语义理解;物体单元的空间语义信息可以包括名称、形状、位置、所属场景名称和物体语义理解。
步骤a3:接收用户对场景单元和物体单元的空间语义信息以及地理单元之间的关系信息的优化,得到优化后的空间语义信息和关系信息。
通过深度学习模型得到的空间语义信息以及地理单元之间的关系信息可能还存在需要订正的信息,本步骤加入人工优化,用户可以对上述空间语义信息进行订正或者新增,以提高空间语义信息的准确度和丰富度,使生成的地理信息图谱更为丰富和准确。
步骤a4:根据优化后的空间语义信息和关系信息生成第一地理信息图谱。
步骤220:服务器将第一地理信息图谱发送给第一智能设备。
第一智能设备是指待出厂的智能设备,例如待出厂的机器人。
步骤230:第一智能设备接收并存储第一地理信息图谱。
机器人内部的存储设备或者存储单元存储该地理信息图谱,机器人出厂投入使用后,可以利用存储的第一地理信息图谱执行各项工作任务。
步骤240:第一智能设备在当前场景中通过传感器获取当前场景信息,根据当前场景信息提取当前场景中目标地理单元的空间语义信息。
第一智能设备是指已出厂的智能设备,当前场景为第一智能设备出厂后的工作场景,例如家庭服务机器人的当前场景通常为用户家中。传感器设置于第一智能设备,传感器可以是三维成像传感器,例如双目相机、RGB-D相机等,也可以是三维激光雷达扫描仪等能够获取周围场景图像信息的传感器。当前场景信息为当前场景的三维场景数据,包括深度图像、三维点云、三维网格模型等。例如机器人在用户家中,在移动过程中通过传感器获取用户家中的全方位场景信息。第一智能设备获取的当前场景信息还可以包括通过语音传感器接收的语音信息,例如机器人上设置的话筒(麦克风)所接收的用户语音输入。例如,用户对机器人说“请帮我拿一只冰水”,则该语音也可以作为场景信息,用来在后续步骤中提取特征并更新地理信息图谱。
机器人对获取的三维场景数据进行特征提取,识别当前场景的三维场景数据中的场景单元和物体单元,并得到场景单元和物体单元的空间语义信息以及地理单元之间的关系信息。特征提取的方式与步骤a2相同,此处不再赘述。在一些实施例中,为了节约机器人计算资源和成本,也可以由云端服务器实现特征提取,也即第一智能设备将获取的当前场景信息通过网络传输给服务器,服务器完成特征提取。
传统的地理信息图谱中信息描述通常是固定僵化的,不能自动根据积累的信息更新描述。由于智能设备的应用场景多种多样,若仅通过默认的第一地理信息图谱无法满足全部场景的应用需求。因此,本申请实施例通过对投入运行后的智能设备所处当前场景进行场景信息采集,从而可以将多种场景的信息融入原有的地理信息图谱,对地理信息图谱进行丰富和完善。例如,通常情况下,瓶装水放置于厨房,第一地理信息图谱中瓶装水的空间语义信息中的所属场景名称和/或物体语义理解可以包括“放置于厨房”。但是根据不同的场景,例如不同用户家庭情况,瓶装水也可以放在储物柜或者其他地方,则智能设备可以根据当前场景瓶装水的放置位置进行新的目标地理单元的空间语义信息的获取,从而用于更新自身的地理信息图谱,以及用于服务器端更新整个系统的地理信息图谱。此外,对于同一场景或物体,用户对其称呼也可能会发生变化,对某一个场景的使用描述也会发生变化,通过获取新的描述对已有的地理信息图谱进行更新,能够使地理信息图谱满足新场景和更多场景的需求。
步骤250:第一智能设备将目标地理单元的空间语义信息上传给服务器。
若第一智能设备自身提取目标地理单元的空间语义信息,则第一智能设备将提取到的目标地理单元的空间语义信息发送给服务器。若由服务器完成特征提取,则无需执行步骤250。
步骤260:服务器接收一个或多个第一智能设备上传的目标地理单元的空间语义信息,根据目标地理单元的空间语义信息更新第一地理信息图谱,得到第二地理信息图谱。在一些实施例中,第一智能设备将目标地理单元的空间语义信息上传给服务器可以是通过增量模型的方式上传,而非仅上传单个目标地理单元的空间语义信息,也即发送给服务器的为增量模型。具体的,可包括如下步骤:
步骤g1:第一智能设备可以根据目标地理单元的空间语义信息(新的数据)在已有的图模型(例如第一地理信息图谱)上增长新的图节点(graph节点),形成有增量的图模型,也称为增量模型;
步骤g2:第一智能设备将增量模型传输到服务器端;
步骤g3:服务器端收集到由各个第一智能设备上传的更多的增量模型;
步骤g4:服务器端进行模型合并。
如将同类节点合并,例如若不同的节点是对同一个节点的不同的描述则为同类节点,可以进行合并。如,新的节点名称为英文office,已有的节点名称为中文办公室,则该两个名称是对同一个节点的不同描述,该两个节点可以合并,然后对合并后的特征增加变量,office和办公室都可以表示该节点。
模型合并的过程为:将图节点按照概率的模式进行融合,若两个节点的向量接近到预设比例阈值,就可以融合成一个节点,融合时增加该节点的描述;或者如一个节点的描述超过一定的数量之后,对该节点进行拆分,例如将相近似的描述划分为一个子节点,从而保证对节点的描述更准确。
在一些实施例中,步骤260可通过如下步骤实现:
步骤b1:判断第一地理信息图谱中是否存在与目标地理单元类别相同的第一地理单元。
其中,类别可以根据地理单元的名称确定,名称相同或近似的场景单元可以确定其属于类别相同的地理单元。例如当地理单元为场景单元时,目标地理单元为草坪,若第一地理信息图谱中也存在草坪,则说明第一地理信息图谱中存在与目标地理单元类别相同的第一地理单元。
步骤b2:响应于第一地理信息图谱中不存在与目标地理单元类别相同的第一地理单元,将目标地理单元的空间语义信息添加至第一地理信息图谱中,得到更新后的第二地理信息图谱。
若第一地理信息图谱中不存在与目标地理单元类别相同的第一地理单元,说明该目标地理单元是第一智能设备新学习到的地理单元,此时可以将该目标地理单元添加至第一地理信息图谱以完善第一地理信息图谱。
步骤b3:响应于第一地理信息图谱中存在与目标地理单元类别相同的第一地理单元,根据目标地理单元的空间语义信息与第一地理单元的空间语义信息之间的差异,确定使用目标地理单元的空间语义信息替换第一地理单元的空间语义信息,或者将目标地理单元的空间语义信息增加至第一地理单元的空间语义信息,得到更新后的第二地理信息图谱。
若第一地理信息图谱中存在与目标地理单元类别相同的第一地理单元,说明第一地理信息图谱中已经有了该地理单元,此次第一智能设备采集到的地理单元可能是和原有的地理单元完全相同的地理单元,也可能是虽然类别相同但是空间语义信息上存在差异的地理单元。若目标地理单元的空间语义信息与第一地理单元的空间语义信息之间无差异,则无需对第一地理单元进行更新操作。若目标地理单元的空间语义信息与第一地理单元的空间语义信息之间存在差异,则可以直接替换掉第一地理单元,或者将目标地理单元的空间语义信息增加至第一地理单元的空间语义信息,从而更新第一地理信息图谱。
通过上述方式,可以根据目标地理单元是否已存在于第一地理信息图谱中,以及根据目标地理单元的空间语义信息与第一地理信息图谱中第一地理单元的空间语义信息的区别,采取不同的方式对第一地理信息图谱进行更新。若新采集的目标地理单元为第一地理信息图谱中已存在的地理单元且空间语义信息均相同,则无需更新第一地理信息图谱,从而避免不必要的更新操作,节约计算资源;若需要更新,则采用新采集的目标地理单元的空间语义信息对原有第一地理信息图谱进行替换或新增,以使第一地理信息图谱可以保持与实际应用场景同步,从而满足实际场景的需求。
其中,步骤b1可通过如下步骤:
步骤b11:若目标地理单元为场景单元,根据目标地理单元的空间语义信息中的目标名称,判断第一地理信息图谱中是否存在名称与目标名称的相似度大于第一比例的地理单元;若是,执行步骤b12;否则,执行步骤b13;
名称相似度的比例计算可以通过深度学习模型实现,第一比例可以根据经验设置,例如80%-90%。
步骤b12:确定第一地理信息图谱中存在与目标地理单元类别相同的地理单元;
步骤b13:确定第一地理信息图谱中不存在与目标地理单元类别相同的地理单元;
步骤b14:若目标地理单元为物体单元,根据目标地理单元的空间语义信息中的目标名称和目标所属场景名称,判断第一地理信息图谱中是否存在名称与目标名称的相似度大于第一比例且所属场景名称与目标所属场景名称的相似度大于第二比例的地理单元;若是,执行步骤b15;否则,执行步骤b16;
在判断物体单元类别是否相同时,还需结合目标物体所属的场景,因为仅目标物体相同、所属场景不同,则该目标物体也不属于类别相同物体。例如客厅的椅子和卧室的椅子不属于类别相同的物体。相似度计算和判断与步骤b11类似,此处不再赘述。
步骤b15:确定第一地理信息图谱中存在与目标地理单元类别相同的地理单元;
步骤b16:确定第一地理信息图谱中不存在与目标地理单元类别相同的地理单元。
通过上述方式,基于名称进行类别相同的判断,且根据场景单元和物体单元分别进行判断,提高了类别判断的便利性和准确性。
步骤b3中,根据目标地理单元的空间语义信息与第一地理单元的空间语义信息之间的差异,确定使用目标地理单元的空间语义信息替换第一地理单元的空间语义信息,或者将目标地理单元的空间语义信息增加至第一地理单元的空间语义信息,具体可通过如下步骤:
步骤b31:若目标地理单元为场景单元:
响应于目标地理单元的空间语义信息与第一地理单元的空间语义信息之间的差异包括名称差异,判断提供目标地理单元的空间语义信息的智能设备的第一累计数量是否大于第一数量,若是则使用目标地理单元的名称替换或者新增第一地理单元的名称,否则将提供目标地理单元的空间语义信息的智能设备的第一累计数量加1;
响应于目标地理单元的空间语义信息与第一地理单元的空间语义信息之间的差异包括形状、位置或场景单元语义理解的差异,将目标地理单元的形状、位置或场景单元语义理解增加至第一地理单元的空间语义信息;
步骤b32:若目标地理单元为物体单元:
响应于目标地理单元的空间语义信息与第一地理单元的空间语义信息之间的差异包括名称差异,判断提供目标地理单元的空间语义信息的智能设备的第二累计数量是否大于第一数量,若是则使用目标地理单元的名称替换或者新增第一地理单元的名称,否则将提供目标地理单元的空间语义信息的智能设备的第二累计数量加1;
响应于目标地理单元的空间语义信息与第一地理单元的空间语义信息之间的差异包括形状、位置、所属场景名称和物体语义理解的差异,将目标地理单元的形状、位置、所属场景名称和物体语义理解增加至第一地理单元的空间语义信息。
其中,使用目标地理单元的名称新增第一地理单元的名称是指在原有的第一地理单元的节点所存储的名称中,保留原有名称不变,在此基础上增加新的名称(目标地理单元的名称),操作后该第一地理单元将至少包括两个名称。
上述实施例中,在第一智能设备反馈的模板地理单元和第一地理单元的空间语义信息有差异时,仅在接收到多个第一智能设备均反馈上述有差异的目标地理单元的情况下,才进行第一单元的更新,更新操作可以是替换或新增。这样可以在少数第一智能设备反馈有误时避免误更新导致的第一地理信息图谱错误,较多的第一智能设备均反馈相同的目标地理单元的空间语义信息有变化时(与第一地理单元的空间语义信息存在差异),说明可以确认这些第一智能设备上传的目标地理单元的空间语义信息是准确的,可对第一地理信息图谱进行更新,提高地理信息图谱更新的准确率,从而提高机器人任务执行的准确率和顺利程度。
使用目标地理单元的名称替换第一地理单元的名称可以把无限扩大的地理信息图谱模型进行压缩,节省对存储空间的占用,采用新的名称替换老名称也更符合用户的习惯。
此外,上述对第一智能设备的数量判断为对累计上报该目标地理单元信息更新的第一智能设备的数量的判断,而非同时上报的第一智能设备的数量判断。通过采用累计数量可以进一步提高上述方案的准确度。
在一些实施例中,步骤b1之前,方法还包括:
步骤c1:服务器经过第一预设时间,根据接收到的多个第一智能设备上传的目标地理单元的空间语义信息,对目标地理单元进行分类;
步骤c2:确定类别相同的目标地理单元;
步骤c3:融合类别相同的目标地理单元的空间语义信息,以将多个目标地理单元合并为一个目标地理单元。
可以采用深度学习模型对目标地理单元进行分类。服务器通过将第一预设时间内接收到的类别相同的目标地理单元的空间语义信息融合,从而将多个目标地理单元合并为一个目标地理单元,然后再执行步骤b1-b3的更新地理信息图谱的步骤,可以减少需要单独按照步骤b1-b3进行处理的目标地理单元数量,节省操作时间,提高执行效率。
步骤270:服务器将第二地理信息图谱发送给第二智能设备,以及采用第二地理信息图谱更新第一智能设备中存储的第一地理信息图谱。
其中,第一智能设备是指已出厂的智能设备,第二智能设备是指未出厂的智能设备。未出厂的智能设备可以直接录入更新后的第二地理信息图谱,确保该智能设备出厂时的地理信息图谱为最新的地理信息图谱。已出厂的智能设备则需要进行地理信息图谱的更新,同样确保其内存储的地理信息图谱为最新的地理信息图谱。
可通过设备状态标识区分第一智能设备和第二智能设备。在一些实施例中,智能设备携带设备状态标识;该方法还包括:
步骤d:服务器将未出厂的智能设备的设备状态标识设置为第一标识,将已出厂的智能设备的设备状态标识设置为第二标识。
例如第一标识为0,第二标识为1。或者第一标识为N,第二标识为Y。
步骤270进一步包括:
步骤e1:获取智能设备的设备状态标识;
步骤e2:若设备状态标识为第一标识,确定智能设备为未出厂的第二智能设备;
步骤e3:将第二地理信息图谱发送给第二智能设备;
步骤e4:若设备状态标识为第二标识,确定智能设备为已出厂的第一智能设备;
步骤e5:判断第一智能设备存储的地理信息图谱中是否包括目标地理单元的空间语义信息;若否,执行步骤e6,若是,执行步骤e7;
步骤e6:在第一智能设备存储的地理信息图谱中新增目标地理单元的空间语义信息,或者将第一智能设备存储的地理信息图谱中的与目标地理单元为同一地理单元的待更新地理单元的空间语义信息替换为或者新增目标地理单元的空间语义信息;
在第一智能设备存储的地理信息图谱中不存在与目标地理单元为同一地理单元时,可直接在第一智能设备存储的地理信息图谱中新增目标地理单元的空间语义信息。在第一智能设备存储的地理信息图谱中存在与目标地理单元为同一地理单元的待更新地理单元时,可以将待更新地理单元的空间语义信息替换为目标地理单元的空间语义信息,或者直接在待更新地理单元的空间语义信息中新增该目标地理单元的空间语义信息。
选择替换还是新增可以由服务器端的管理员或者操作员确认。或者预先设定操作方式为替换或新增,按照设定好的操作方式执行地理信息图谱的更新。
步骤e7:结束流程。
上述实施例中通过设备状态标识区分智能设备是否出厂,操作简易且效率高;根据不同状态对智能设备采取不同的地理信息图谱的相关操作,使地理信息图谱的录入符合智能设备的状态,在智能设备为已出厂设备时进一步根据该智能设备中已存储的地理信息图谱中地理单元的具体情形确定地理信息图谱的更新方式,实现更有针对性的更新方案,提高更新效率。
本发明实施例通过预先构建出厂前的第一地理信息图谱,给每个待出厂的智能设备预装第一地理信息图谱;在智能设备出厂后的运行过程中获取当前场景的场景信息,并从当前场景信息中提取出当前场景中目标地理单元的空间语义信息,从而可以在服务器端根据智能设备实际工作过程中获取到的目标地理单元的空间语义信息对第一地理信息图谱进行更新,后续可将更新后的第二地理信息图谱直接分发给其他待出厂智能设备或者对其他已出厂智能设备的地理信息图谱进行更新,从而利用每个出厂智能设备实际运行场景的场景信息更新整个系统的地理信息图谱,实现了地理信息图谱的自动更新和分发,使每个智能设备的地理信息图谱保持在最新状态,提高智能设备执行任务的准确度。
图3示出了本发明另一实施例提供的智能设备地理信息图谱的构建方法的流程示意图,该方法由服务器执行。服务器可以是单个服务器或者服务器集群。其中,智能设备至少包括第一智能设备和第二智能设备。如图3所示,该方法包括以下步骤:
步骤310:构建第一地理信息图谱,第一地理信息图谱为图结构数据,图结构数据包括多个节点,每个节点存储地理单元的空间语义信息,图结构数据中节点之间的边为地理单元之间的关系信息;
步骤320:将第一地理信息图谱发送给第一智能设备;
步骤330:接收一个或多个第一智能设备上传的目标地理单元的空间语义信息,目标地理单元的空间语义信息由第一智能设备在当前场景中通过传感器获取当前场景信息,根据当前场景信息所提取;或者接收一个或多个第一智能设备上传的当前场景信息,根据当前场景信息提取当前场景中目标地理单元的空间语义信息,当前场景信息由第一智能设备在当前场景中通过传感器获取;
步骤340:根据目标地理单元的空间语义信息更新第一地理信息图谱,得到第二地理信息图谱;
步骤350:将第二地理信息图谱发送给第二智能设备,以及采用第二地理信息图谱更新第一智能设备中存储的第一地理信息图谱。
本实施例的具实现过程和有益效果与上述图2所示实施例相同,可参考上述实施例,此处不再赘述。
图4示出了本发明另一实施例提供的智能设备地理信息图谱的构建方法的流程示意图,该方法由第一智能设备执行。如图4所示,该方法包括以下步骤:
步骤410:接收并存储服务器发送的第一地理信息图谱,第一地理信息图谱由服务器构建,第一地理信息图谱为图结构数据,图结构数据包括多个节点,每个节点存储地理单元的空间语义信息,图结构数据中节点之间的边为地理单元之间的关系信息;
步骤420:在当前场景中通过传感器获取当前场景信息,根据当前场景信息提取当前场景中目标地理单元的空间语义信息;
步骤430:将目标地理单元的空间语义信息上传给服务器,以使服务器接收一个或多个第一智能设备上传的目标地理单元的空间语义信息,根据目标地理单元的空间语义信息更新第一地理信息图谱,得到第二地理信息图谱。
本实施例的具实现过程和有益效果与上述图2所示实施例相同,可参考上述实施例,此处不再赘述。
图5示出了本发明实施例的电子设备的结构示意图。如图5所示,该电子设备可以包括:处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中:处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404,用于与其它设备比如客户端或其它服务器等的网元通信。处理器402,用于执行程序410,具体可以执行上述用于智能设备地理信息图谱的构建方法实施例中的相关步骤。
具体地,程序410可以包括程序代码,该程序代码包括计算机可执行指令。
处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器406,用于存放程序410。存储器406可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序410具体可以被处理器402调用使电子设备执行图3所示的智能设备地理信息图谱的构建方法的步骤,或者图4所示的智能设备地理信息图谱的构建方法的步骤。
图6示出了本发明实施例的智能设备地理信息图谱的构建系统的结构示意图。如图6所示,该智能设备地理信息图谱的构建系统包括服务器100和多个智能设备,智能设备至少包括第一智能设备21和第二智能设备22;
服务器100构建第一地理信息图谱,第一地理信息图谱为图结构数据,图结构数据包括多个节点,每个节点存储地理单元的空间语义信息,图结构数据中节点之间的边为地理单元之间的关系信息;
服务器100将第一地理信息图谱发送给第一智能设备21;
第一智能设备21接收并存储第一地理信息图谱;
第一智能设备21在当前场景中通过传感器获取当前场景信息;
第一智能设备21根据当前场景信息提取当前场景中目标地理单元的空间语义信息,将目标地理单元的空间语义信息上传给服务器100;或者第一智能设备21将当前场景信息上传给服务器100,由服务器100根据当前场景信息提取当前场景中目标地理单元的空间语义信息;
服务器100根据一个或多个第一智能设备21上传的目标地理单元的空间语义信息更新第一地理信息图谱,得到第二地理信息图谱;
服务器100将第二地理信息图谱发送给第二智能设备22,以及采用第二地理信息图谱更新第一智能设备21中存储的第一地理信息图谱。
本实施例的具实现过程和有益效果与上述图2所示实施例相同,可参考上述实施例,此处不再赘述。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
本领域技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。

Claims (10)

1.一种智能设备地理信息图谱的构建方法,其特征在于,所述智能设备至少包括第一智能设备和第二智能设备,所述方法包括:
服务器构建第一地理信息图谱,所述第一地理信息图谱为图结构数据,所述图结构数据包括多个节点,每个所述节点存储地理单元的空间语义信息,所述图结构数据中所述节点之间的边为所述地理单元之间的关系信息;
所述服务器将所述第一地理信息图谱发送给第一智能设备;
所述第一智能设备接收并存储所述第一地理信息图谱;
所述第一智能设备在当前场景中通过传感器获取当前场景信息;
所述第一智能设备根据所述当前场景信息提取所述当前场景中目标地理单元的空间语义信息,将所述目标地理单元的空间语义信息上传给所述服务器;或者所述第一智能设备将所述当前场景信息上传给所述服务器,由所述服务器根据所述当前场景信息提取所述当前场景中目标地理单元的空间语义信息;
所述服务器根据一个或多个所述第一智能设备上传的所述目标地理单元的空间语义信息更新所述第一地理信息图谱,得到第二地理信息图谱;
所述服务器将所述第二地理信息图谱发送给第二智能设备,以及采用所述第二地理信息图谱更新所述第一智能设备中存储的所述第一地理信息图谱;
所述服务器根据一个或多个所述第一智能设备上传的所述目标地理单元的空间语义信息更新所述第一地理信息图谱,得到第二地理信息图谱,包括:
所述服务器判断所述第一地理信息图谱中是否存在与所述目标地理单元类别相同的第一地理单元;
响应于所述第一地理信息图谱中不存在与所述目标地理单元类别相同的第一地理单元,将所述目标地理单元的空间语义信息添加至所述第一地理信息图谱中,得到更新后的第二地理信息图谱;
响应于所述第一地理信息图谱中存在与所述目标地理单元类别相同的第一地理单元,根据所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异,确定使用所述目标地理单元的空间语义信息替换所述第一地理单元的空间语义信息,或者将所述目标地理单元的空间语义信息增加至所述第一地理单元的空间语义信息,得到更新后的第二地理信息图谱。
2.根据权利要求1所述的智能设备地理信息图谱的构建方法,其特征在于,所述地理单元包括一个或多个场景单元以及位于所述场景单元内的一个或多个物体单元;
所述场景单元的空间语义信息包括名称、形状、位置和场景单元语义理解;所述物体单元的空间语义信息包括名称、形状、位置、所属场景名称和物体语义理解;
所述地理单元之间的关系信息包括所述场景单元之间的距离信息、方位信息、所述场景单元之间的归属信息、所述物体单元之间的距离信息以及所述物体单元和所述场景单元之间的归属信息。
3.根据权利要求2所述的智能设备地理信息图谱的构建方法,其特征在于,所述服务器判断所述第一地理信息图谱中是否存在与所述目标地理单元类别相同的第一地理单元,包括:
若所述目标地理单元为所述场景单元,根据所述目标地理单元的空间语义信息中的目标名称,判断所述第一地理信息图谱中是否存在名称与所述目标名称的相似度大于第一比例的地理单元;若是,确定所述第一地理信息图谱中存在与所述目标地理单元类别相同的地理单元;否则,确定所述第一地理信息图谱中不存在与所述目标地理单元类别相同的地理单元;
若所述目标地理单元为所述物体单元,根据所述目标地理单元的空间语义信息中的目标名称和目标所属场景名称,判断所述第一地理信息图谱中是否存在名称与所述目标名称的相似度大于第一比例且所述所属场景名称与所述目标所属场景名称的相似度大于第二比例的地理单元;若是,确定所述第一地理信息图谱中存在与所述目标地理单元类别相同的地理单元;否则,确定所述第一地理信息图谱中不存在与所述目标地理单元类别相同的地理单元。
4.根据权利要求2所述的智能设备地理信息图谱的构建方法,其特征在于,所述根据所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异,确定使用所述目标地理单元的空间语义信息替换所述第一地理单元的空间语义信息,或者将所述目标地理单元的空间语义信息增加至所述第一地理单元的空间语义信息,包括:
若所述目标地理单元为所述场景单元:
响应于所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异包括名称差异,判断提供所述目标地理单元的空间语义信息的所述智能设备的第一累计数量是否大于第一数量,若是则使用所述目标地理单元的名称替换或者新增所述第一地理单元的名称,否则将提供所述目标地理单元的空间语义信息的所述智能设备的第一累计数量加1;
响应于所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异包括形状、位置或场景单元语义理解的差异,将所述目标地理单元的形状、位置或场景单元语义理解增加至所述第一地理单元的空间语义信息;
若所述目标地理单元为所述物体单元:
响应于所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异包括名称差异,判断提供所述目标地理单元的空间语义信息的所述智能设备的第二累计数量是否大于第一数量,若是则使用所述目标地理单元的名称替换或者新增所述第一地理单元的名称,否则将提供所述目标地理单元的空间语义信息的所述智能设备的第二累计数量加1;
响应于所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异包括形状、位置、所属场景名称和物体语义理解的差异,将所述目标地理单元的形状、位置、所属场景名称和物体语义理解增加至所述第一地理单元的空间语义信息。
5.根据权利要求2所述的智能设备地理信息图谱的构建方法,其特征在于,所述服务器判断所述第一地理信息图谱中是否存在与所述目标地理单元类别相同的第一地理单元之前,所述方法还包括:
经过第一预设时间,所述服务器根据接收到的多个所述第一智能设备上传的所述目标地理单元的空间语义信息,对所述目标地理单元进行分类;
确定类别相同的所述目标地理单元;
融合类别相同的所述目标地理单元的空间语义信息,以将多个目标地理单元合并为一个目标地理单元。
6.根据权利要求1所述的智能设备地理信息图谱的构建方法,其特征在于,所述智能设备携带设备状态标识;所述方法还包括:
所述服务器将未出厂的所述智能设备的所述设备状态标识设置为第一标识,将已出厂的所述智能设备的所述设备状态标识设置为第二标识;
所述服务器将所述第二地理信息图谱发送给第二智能设备,以及采用所述第二地理信息图谱更新所述第一智能设备中存储的所述第一地理信息图谱,包括:
获取所述智能设备的所述设备状态标识;
若所述设备状态标识为第一标识,确定所述智能设备为未出厂的所述第二智能设备;
将所述第二地理信息图谱发送给所述第二智能设备;
若所述设备状态标识为第二标识,确定所述智能设备为已出厂的第一智能设备;
判断所述第一智能设备存储的地理信息图谱中是否包括所述目标地理单元的空间语义信息;
若否,在所述第一智能设备存储的地理信息图谱中新增所述目标地理单元的空间语义信息,或者将第一智能设备存储的地理信息图谱中的与所述目标地理单元为同一地理单元的待更新地理单元的空间语义信息替换为或者新增所述目标地理单元的空间语义信息;若是,结束流程。
7.一种智能设备地理信息图谱的构建方法,应用于服务器,其特征在于,所述智能设备至少包括第一智能设备和第二智能设备,所述方法包括:
构建第一地理信息图谱,所述第一地理信息图谱为图结构数据,所述图结构数据包括多个节点,每个所述节点存储地理单元的空间语义信息,所述图结构数据中所述节点之间的边为所述地理单元之间的关系信息;
将所述第一地理信息图谱发送给第一智能设备;
接收一个或多个所述第一智能设备上传的目标地理单元的空间语义信息,所述目标地理单元的空间语义信息由所述第一智能设备在当前场景中通过传感器获取当前场景信息,根据所述当前场景信息所提取;或者接收一个或多个所述第一智能设备上传的当前场景信息,根据所述当前场景信息提取所述当前场景中目标地理单元的空间语义信息,所述当前场景信息由所述第一智能设备在当前场景中通过传感器获取;
根据所述目标地理单元的空间语义信息更新所述第一地理信息图谱,得到第二地理信息图谱;
将所述第二地理信息图谱发送给第二智能设备,以及采用所述第二地理信息图谱更新所述第一智能设备中存储的所述第一地理信息图谱;
所述根据所述目标地理单元的空间语义信息更新所述第一地理信息图谱,得到第二地理信息图谱,包括:
判断所述第一地理信息图谱中是否存在与所述目标地理单元类别相同的第一地理单元;
响应于所述第一地理信息图谱中不存在与所述目标地理单元类别相同的第一地理单元,将所述目标地理单元的空间语义信息添加至所述第一地理信息图谱中,得到更新后的第二地理信息图谱;
响应于所述第一地理信息图谱中存在与所述目标地理单元类别相同的第一地理单元,根据所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异,确定使用所述目标地理单元的空间语义信息替换所述第一地理单元的空间语义信息,或者将所述目标地理单元的空间语义信息增加至所述第一地理单元的空间语义信息,得到更新后的第二地理信息图谱。
8.一种智能设备地理信息图谱的构建方法,应用于第一智能设备,其特征在于,所述方法包括:
接收并存储服务器发送的第一地理信息图谱,所述第一地理信息图谱由所述服务器构建,所述第一地理信息图谱为图结构数据,所述图结构数据包括多个节点,每个所述节点存储地理单元的空间语义信息,所述图结构数据中所述节点之间的边为所述地理单元之间的关系信息;
在当前场景中通过传感器获取当前场景信息,根据所述当前场景信息提取所述当前场景中目标地理单元的空间语义信息;
将所述目标地理单元的空间语义信息上传给所述服务器,以使所述服务器接收一个或多个所述第一智能设备上传的所述目标地理单元的空间语义信息,根据所述目标地理单元的空间语义信息更新所述第一地理信息图谱,得到第二地理信息图谱;
所述根据所述目标地理单元的空间语义信息更新所述第一地理信息图谱,得到第二地理信息图谱,包括:
判断所述第一地理信息图谱中是否存在与所述目标地理单元类别相同的第一地理单元;
响应于所述第一地理信息图谱中不存在与所述目标地理单元类别相同的第一地理单元,将所述目标地理单元的空间语义信息添加至所述第一地理信息图谱中,得到更新后的第二地理信息图谱;
响应于所述第一地理信息图谱中存在与所述目标地理单元类别相同的第一地理单元,根据所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异,确定使用所述目标地理单元的空间语义信息替换所述第一地理单元的空间语义信息,或者将所述目标地理单元的空间语义信息增加至所述第一地理单元的空间语义信息,得到更新后的第二地理信息图谱。
9.一种电子设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求7或8所述的智能设备地理信息图谱的构建方法的操作。
10.一种智能设备地理信息图谱的构建系统,其特征在于,包括服务器和多个智能设备,所述智能设备至少包括第一智能设备和第二智能设备;
所述服务器构建第一地理信息图谱,所述第一地理信息图谱为图结构数据,所述图结构数据包括多个节点,每个所述节点存储地理单元的空间语义信息,所述图结构数据中所述节点之间的边为所述地理单元之间的关系信息;
所述服务器将所述第一地理信息图谱发送给第一智能设备;
所述第一智能设备接收并存储所述第一地理信息图谱;
所述第一智能设备在当前场景中通过传感器获取当前场景信息;
所述第一智能设备根据所述当前场景信息提取所述当前场景中目标地理单元的空间语义信息,将所述目标地理单元的空间语义信息上传给所述服务器;或者所述第一智能设备将所述当前场景信息上传给所述服务器,由所述服务器根据所述当前场景信息提取所述当前场景中目标地理单元的空间语义信息;
所述服务器根据一个或多个所述第一智能设备上传的所述目标地理单元的空间语义信息更新所述第一地理信息图谱,得到第二地理信息图谱;
所述服务器将所述第二地理信息图谱发送给第二智能设备,以及采用所述第二地理信息图谱更新所述第一智能设备中存储的所述第一地理信息图谱;
所述服务器根据一个或多个所述第一智能设备上传的所述目标地理单元的空间语义信息更新所述第一地理信息图谱,得到第二地理信息图谱,包括:
所述服务器判断所述第一地理信息图谱中是否存在与所述目标地理单元类别相同的第一地理单元;
响应于所述第一地理信息图谱中不存在与所述目标地理单元类别相同的第一地理单元,将所述目标地理单元的空间语义信息添加至所述第一地理信息图谱中,得到更新后的第二地理信息图谱;
响应于所述第一地理信息图谱中存在与所述目标地理单元类别相同的第一地理单元,根据所述目标地理单元的空间语义信息与所述第一地理单元的空间语义信息之间的差异,确定使用所述目标地理单元的空间语义信息替换所述第一地理单元的空间语义信息,或者将所述目标地理单元的空间语义信息增加至所述第一地理单元的空间语义信息,得到更新后的第二地理信息图谱。
CN202210965701.3A 2022-08-12 2022-08-12 智能设备地理信息图谱的构建方法、设备和系统 Active CN115048478B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210965701.3A CN115048478B (zh) 2022-08-12 2022-08-12 智能设备地理信息图谱的构建方法、设备和系统
PCT/CN2023/112229 WO2024032717A1 (zh) 2022-08-12 2023-08-10 智能设备地理信息图谱的构建方法、设备和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210965701.3A CN115048478B (zh) 2022-08-12 2022-08-12 智能设备地理信息图谱的构建方法、设备和系统

Publications (2)

Publication Number Publication Date
CN115048478A CN115048478A (zh) 2022-09-13
CN115048478B true CN115048478B (zh) 2022-10-21

Family

ID=83168251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210965701.3A Active CN115048478B (zh) 2022-08-12 2022-08-12 智能设备地理信息图谱的构建方法、设备和系统

Country Status (2)

Country Link
CN (1) CN115048478B (zh)
WO (1) WO2024032717A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048478B (zh) * 2022-08-12 2022-10-21 深圳市其域创新科技有限公司 智能设备地理信息图谱的构建方法、设备和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256888A (zh) * 2020-10-30 2021-01-22 南京师范大学 地理知识获取方法
CN112782990A (zh) * 2020-12-31 2021-05-11 珠海格力电器股份有限公司 一种智能设备的控制方法、装置、存储介质及电子设备
CN113010621A (zh) * 2020-12-07 2021-06-22 厦门渊亭信息科技有限公司 基于gis与知识图谱的可视化整合装置、方法及计算设备
CN113254668A (zh) * 2021-06-11 2021-08-13 云南大学 一种基于场景纬度的知识图谱构建方法及系统
WO2021232724A1 (zh) * 2020-05-21 2021-11-25 百度在线网络技术(北京)有限公司 提取地理位置点空间关系的方法、训练提取模型的方法及装置
CN114860884A (zh) * 2022-05-23 2022-08-05 中国科学院空天信息创新研究院 一种面向动态分析的时空知识图谱构建系统和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488467B (zh) * 2020-04-30 2022-04-05 北京建筑大学 地理知识图谱的构建方法、装置、存储介质及计算机设备
CN115048478B (zh) * 2022-08-12 2022-10-21 深圳市其域创新科技有限公司 智能设备地理信息图谱的构建方法、设备和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021232724A1 (zh) * 2020-05-21 2021-11-25 百度在线网络技术(北京)有限公司 提取地理位置点空间关系的方法、训练提取模型的方法及装置
CN112256888A (zh) * 2020-10-30 2021-01-22 南京师范大学 地理知识获取方法
CN113010621A (zh) * 2020-12-07 2021-06-22 厦门渊亭信息科技有限公司 基于gis与知识图谱的可视化整合装置、方法及计算设备
CN112782990A (zh) * 2020-12-31 2021-05-11 珠海格力电器股份有限公司 一种智能设备的控制方法、装置、存储介质及电子设备
CN113254668A (zh) * 2021-06-11 2021-08-13 云南大学 一种基于场景纬度的知识图谱构建方法及系统
CN114860884A (zh) * 2022-05-23 2022-08-05 中国科学院空天信息创新研究院 一种面向动态分析的时空知识图谱构建系统和方法

Also Published As

Publication number Publication date
WO2024032717A1 (zh) 2024-02-15
CN115048478A (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
US9940749B2 (en) Method and system for generating three-dimensional garment model
CN112802204B (zh) 未知环境下三维空间场景先验的目标语义导航方法及系统
JP7412847B2 (ja) 画像処理方法、画像処理装置、サーバ、及びコンピュータプログラム
JP2016045943A (ja) シーンの取得画像を意味的にラベル付けする方法
CN110827398A (zh) 基于深度神经网络的室内三维点云自动语义分割算法
WO2015183957A1 (en) Platform for constructing and consuming realm and object feature clouds
CN112270736B (zh) 增强现实处理方法及装置、存储介质和电子设备
WO2024032717A1 (zh) 智能设备地理信息图谱的构建方法、设备和系统
CN112132197A (zh) 模型训练、图像处理方法、装置、计算机设备和存储介质
CN103440682A (zh) 一种快速三维成图方法和系统
CN114066718A (zh) 一种图像风格迁移方法、装置、存储介质及终端
Xin et al. A review of visual-based localization
CN114626539A (zh) 一种分布式slam系统及其学习方法
CN114820975B (zh) 基于全要素参数符号化的三维场景仿真重构系统及方法
CN115147545A (zh) 一种基于bim和深度学习的场景三维智能重建系统及方法
US10990570B2 (en) Methods, systems and apparatus to improve spatial-temporal data management
CN113408590B (zh) 场景识别方法、训练方法、装置、电子设备及程序产品
CN115858713B (zh) 一种农情地理信息的数据管理方法与数据管理系统
Borna et al. Towards a vector agent modelling approach for remote sensing image classification
CN113780532B (zh) 语义分割网络的训练方法、装置、设备及存储介质
CN110377776A (zh) 生成点云数据的方法和装置
CN111127474B (zh) 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及系统
CN113256793A (zh) 一种三维数据处理方法及系统
CN110838157B (zh) 一种应急突发场景专题图生成的方法及装置
Sharkawi et al. Improving semantic updating method on 3D city models using hybrid semantic-geometric 3D segmentation technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant