CN115100643B

CN115100643B - 融合三维场景语义的单目视觉定位增强方法和设备

Info

Publication number: CN115100643B
Application number: CN202211028839.7A
Authority: CN
Inventors: 鄂超; 谢潇; 伍庭晨; 薛冰; 赵文豪; 周熙然; 任婉侠; 李京忠
Original assignee: Weifang Institute Of Modern Agriculture And Ecological Environment; Institute of Applied Ecology of CAS
Current assignee: Weifang Institute Of Modern Agriculture And Ecological Environment; Institute of Applied Ecology of CAS
Priority date: 2022-08-26
Filing date: 2022-08-26
Publication date: 2022-11-11
Anticipated expiration: 2042-08-26
Also published as: CN115100643A

Abstract

本发明涉及虚拟地理环境分析领域，提供了融合三维场景语义的单目视觉定位增强方法和设备。方法包括输入包含多模态特征的部件级三维模型库，构建模型知识图谱和场景知识图谱；根据模型知识图谱的部件节点关联的语义节点，生成训练数据，建立并训练生成图谱语义融合增强视觉特征的图像目标识别模型；在任意位置获取单目图像，输入图像目标识别模型，输出单目图像的地物目标信息；基于单目图像的地物目标信息，对场景知识图谱中的实体节点进行语义检索，得到与单目图像匹配的三维模型；测量摄像机与地物目标的角度和距离，确定摄像机在三维空间的定位信息。以此方式，可以实现三维场景语义增强的视觉定位，增强了图像精确性、数据广泛性。

Description

融合三维场景语义的单目视觉定位增强方法和设备

技术领域

本发明一般涉及虚拟地理环境分析领域，并且更具体地，涉及融合三维场景语义的单目视觉定位增强方法和设备。

背景技术

随着经济的高速、持续发展和城市化进程的加快，移动通信和移动定位技术为地理信息的社会化应用带来了新的机遇。人类社会中绝大多数的信息和空间位置有关，大众对地理信息的需求也不断提高，基于位置的定位服务是在技术发展和社会需求的双重推动下产生的。特别在智慧城市服务和城市规划方面，地理空间或地理定位技术的作用十分重要，能够基于位置信息识别与城市地图上各种类别对象的交互方式，并帮助做出更好的决策。

目前，GPS定位法虽被广泛使用，但信号穿透力差、定位精度低，只适用于二维平面，确定用户的大致位置但无法确定方向，在大型建筑群内部无法发挥作用。同时，二维空间数据表达本身存在高程信息缺失、语义信息不足、空间关系粗略等局限，脱离了真实的空间结构及所在的立体空间位置，无法支撑城市复杂三维环境下的自动导航、智能决策等出行需求。因此，研发面向三维地理环境的空间定位和导航技术是智慧城市建设的主要挑战。

然而，现有三维不动产数据模型内容单一、缺乏语义信息、无法表达物理空间等难点，其空间位置获取和规划也很难避免遮挡盲区的产生，使地图调用的合理性和时效性降低，难以提供室内外无缝定位与导航的支持。

发明内容

根据本发明的实施例，提供了一种融合三维场景语义的单目视觉定位增强方案。

在本发明的第一方面，提供了一种融合三维场景语义的单目视觉定位增强方法。该方法包括：

输入包含多模态特征的部件级三维模型库，构建模型知识图谱和场景知识图谱；

根据所述模型知识图谱的部件节点关联的语义节点，生成训练数据，建立并训练生成图谱语义融合增强视觉特征的图像目标识别模型；

在任意位置获取单目图像，输入所述图像目标识别模型，输出所述单目图像的地物目标信息；

基于所述单目图像的地物目标信息，对所述场景知识图谱中的实体节点进行语义检索，得到与所述单目图像匹配的三维模型；

测量摄像机与地物目标的角度和距离，确定摄像机在三维空间的定位信息。

进一步地，所述输入包含多模态特征的部件级三维模型库，构建模型知识图谱和场景知识图谱，包括：

构建部件级三维模型多模态特征的信息化表达框架，生成特征信息；

将部件级三维模型中的部件模型抽象为部件节点，并将所述部件模型的信息化特征抽象为语义节点，作为所述部件节点的子节点，生成模型知识图谱；

根据所述部件节点、语义节点以及特征信息构建场景知识图谱。

进一步地，所述部件级三维模型多模态特征的信息化表达框架，包括三维模型的几何形态、空间位置、属性特征、要素关系和POI信息；其中

所述几何形态为三维模型对现实物体的基本形状表达信息；

所述空间位置包括三维模型的部件位置和实体位置；

所述属性特征为三维模型在既有分类体系中所属类别的表达属性；

所述要素关系包括三维模型的部件关系和实体关系；

所述POI信息为用于标注三维模型的描述性语义信息。

进一步地，所述根据所述部件节点、语义节点以及特征信息构建场景知识图谱，包括：

将部件级三维模型中的单体模型抽象为实体节点；所述单体模型为一个或多个部件组成的能够整体表达的场景对象或要素；所述实体节点具有自身独有的属性特征和POI信息以及所包含部件节点的所有信息化表达；

将空间位置和要素关系作为关系边将实体与实体节点之间进行关联，形成场景知识图谱。

进一步地，所述根据所述模型知识图谱的部件节点关联的语义节点，生成训练数据，建立并训练生成图谱语义融合增强视觉特征的图像目标识别模型，包括：

将所述模型知识图谱的部件节点名称作为标签，对图像进行标记，并划分为训练集和测试集；

以U-Net16网络作为面向部件几何形态的轮廓特征学习网络，以及，以FAN网络作为面向部件POI信息的文本特征学习网络；

叠加所述轮廓特征学习网络和文本特征学习网络，得到组合网络，以全连接层和softmax逻辑函数作为所述组合网络的输出层；

以所述训练集训练所述组合网络，输出测试结果，并根据所述测试结果调整所述组合网络的参数，得到图谱语义融合增强视觉特征的图像目标识别模型。

进一步地，所述基于所述单目图像的地物目标信息，在所述场景知识图谱中对目标信息进行语义检索，得到与所述单目图像匹配的三维模型，包括：

基于所述单目图像的地物目标信息，计算部件节点和实体节点的相似程度；

根据部件节点和实体节点的相似程度在所述场景知识图谱中进行语义检索，得到匹配的实体节点；

从所述部件级三维模型库中提取与所述单目图像匹配的三维模型。

进一步地，所述计算部件节点和实体节点的相似程度，包括计算语义相似度以及计算结构相似度；

所述计算语义相似度，包括：

其中，

和

分别为部件节点和实体节点，

和

分别为部件节点对应的语义向量和实体节点对应的语义向量；N为语义向量的维度；

为部件节点和实体节点的语义相似度；

所述计算结构相似度，包括：

其中，

为部件节点

之间的连接边数量，

为实体节点

之间的连接边数量，

为部件节点和实体节点的结构相似度。

进一步地，若匹配出单个三维模型，则以所述三维模型的空间位置为单目视觉测距基准；

若匹配出多个三维模型，则在场景知识图谱中获取所述三维模型的空间位置信息，提取所述多个三维模型之间的位置关系和距离，作为单目视觉测距基准。

进一步地，所述测量摄像机与地物目标的角度和距离，确定摄像机在三维空间的定位信息，包括：

建立摄像机坐标系、图像坐标系和像素坐标系；

基于摄像机坐标系、图像坐标系和像素坐标系，利用单目视觉测距方法测量摄像机与地物目标之间的角度和距离；且在所述单目视觉测距方法中，选取地物目标的中心点进行测距；

基于三维世界坐标系，结合所述三维模型以及摄像机与地物目标之间的角度和距离，确定摄像机在三维空间的空间定位信息。

在本发明的第二方面，提供了一种电子设备。该电子设备至少一个处理器；以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。

本发明设计三维模型的多层次语义表达框架，通过知识图谱检索和计算，将三维模型特征与现实视觉特征双向映射，实现三维场景语义增强的视觉定位；解决了传统室内室外导航平面化、易读性低的局限性问题，增强了图像精确性、数据广泛性。

附图说明

结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了根据本发明的实施例的融合三维场景语义的单目视觉定位增强方法的流程图；

图2示出了根据本发明的实施例的构建模型知识图谱和场景知识图谱的流程图；

图3示出了根据本发明的实施例的建立并训练生成图谱语义融合增强视觉特征的图像目标识别模型的流程图；

图4示出了根据本发明的实施例的对目标信息进行语义检索的流程图；

图5示出了根据本发明的实施例的摄像机定位过程的流程图；

图6中，（a）为根据本发明的实施例的模型知识图谱的示意图；（b）为根据本发明的实施例的场景知识图谱的示意图；

图7示出了能够实施本发明的实施例的示例性电子设备的方框图；

其中，700为电子设备、701为CPU、702为ROM、703为RAM、704为总线、705为I/O接口、706为输入单元、707为输出单元、708为存储单元、709为通信单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本发明中，通过运用虚拟地理环境知识图谱技术，构建面向海量城市地理实体的时空知识图谱，能够数字化、信息化、结构化整合城市三维模型数据，城市POI特征数据等大数据资源；在此基础上设计三维模型的多层次语义表达框架，通过知识图谱检索和计算技术，将三维模型特征与现实视觉特征双向映射，实现三维场景语义增强的视觉定位技术；突破了传统室内室外导航平面化、易读性低的局限性，增强了图像精确性、数据广泛性。

图1示出了本发明实施例的融合三维场景语义的单目视觉定位增强方法的流程图。

该方法包括：

S101、输入包含多模态特征的部件级三维模型库，构建模型知识图谱和场景知识图谱。

所述部件级三维模型库由部件级三维模型组成，所述部件级三维模型指对地物实体三维模型的分解和细化表达。

作为本发明的一种实施例，如图2所示，所述输入包含多模态特征的部件级三维模型库，构建模型知识图谱和场景知识图谱，包括：

S201、构建部件级三维模型多模态特征的信息化表达框架，生成特征信息。

在本实施例中，所述部件级三维模型多模态特征的信息化表达框架，包括：三维模型的几何形态、空间位置、属性特征、要素关系和POI信息；其中：

所述几何形态为三维模型对现实物体的基本形状表达信息，例如点、线、面、体、像素和体素，几何形态信息化为<点、线、面、体、像素和体素>。

所述空间位置包括三维模型的部件位置和实体位置；三维模型的部件位置是指部件的三维空间坐标和角度；三维模型的实体位置是指实体在现实场景中的空间坐标、地标。空间位置信息化为<部件|三维空间坐标、角度>以及<实体|空间坐标、地标>。

所述属性特征为三维模型在既有分类体系中所属类别的表达属性，例如建筑、工业、医学等。属性特征信息化为<建筑、工业、医学、…>。

所述要素关系包括三维模型的部件关系和实体关系；三维模型的部件关系指部件间的拓扑关系和逻辑关系，拓扑关系例如相交、邻接关系等；逻辑关系例如从属、同级等。三维模型的实体关系指空间（方位、距离）、时间（时间点、片段、过程）、作用（驱动、制约等）的地理要素关系。要素关系信息化为<部件关系|拓扑关系（相交、邻接）、逻辑关系（从属、同级）>，<实体关系|空间（方位、距离）、时间（时间点、片段、过程）、作用（驱动、制约、…）>。

所述POI信息为用于标注三维模型的描述性语义信息，如地标地名、建筑类型，应用功能等，POI信息信息化为<地标地名、建筑类型，应用功能、…>。POI信息一般通过文本形式表达，是对模型认知的重要信息。

知识图谱是指通过“节点”和“关系边”表达知识资源及其载体的演化过程和结构关系的图数据结构。

S202、将部件级三维模型中的部件模型抽象为部件节点，并将所述部件模型的信息化特征抽象为语义节点，作为所述部件节点的子节点，生成模型知识图谱。其中，部件模型指物理世界不能再进一步细分为同一种类型的三维模型，例如门件，窗件等。

S203、根据所述部件节点、语义节点以及特征信息构建场景知识图谱。

具体地，将部件级三维模型中的单体模型抽象为实体节点；所述单体模型为一个或多个部件组成的能够整体表达的场景对象或要素；所述实体节点具有自身独有的属性特征和POI信息以及所包含部件节点的所有信息化表达；

进一步地，将空间位置和要素关系作为关系边将实体与实体节点之间进行关联，形成场景知识图谱。

通过上述实施例，构建面向部件和实体模型的模型知识图谱以及场景知识图谱，能够增强和引导目标识别及模型匹配。

S102、根据所述模型知识图谱的部件节点关联的语义节点，生成训练数据，建立并训练生成图谱语义融合增强视觉特征的图像目标识别模型。

作为本发明的一种实施例，如图3所示，所述根据所述模型知识图谱的部件节点关联的语义节点，生成训练数据，建立并训练生成图谱语义融合增强视觉特征的图像目标识别模型，包括：

S301、将所述模型知识图谱的部件节点名称作为标签，对图像进行标记，并划分为训练集和测试集。其中，标记可以是人工标记。训练集和测试集可以预设比例，按照预设比例进行训练集、测试集划分，例如按照8:2的比例进行训练集和测试集划分。

S302、以U-Net16网络作为面向部件几何形态的轮廓特征学习网络，以及，以FAN网络作为面向部件POI信息的文本特征学习网络。

其中，U-Net 网络主要由编码器（Encoder）、解码器（Decoder）和跳跃连接（SkipConnection）共同构成。编码器的作用是逐层提取图像特征，其结构分为4个阶段，每个阶段包含两个3×3卷积和一个以2×2最大池化实现的下采样层。每经过一个阶段，输出特征图尺度缩小一半，通道维度加倍。解码器逐层恢复图像信息，其结构与编码器对称也分为4个阶段，每个阶段包含两个3×3卷积和一个以 2×2反卷积实现的上采样层。每经过一个阶段，输出特征图尺度扩大一倍，通道维度减半。编码器与解码器通过两个3×3卷积相连，网络中的每个3×3卷积后连接修正线性单元ReLU激活函数以提升模型的表达能力。编码器每个阶段中第二个卷积的输出特征图通过跳跃连接传输至解码器，并经过剪裁后与解码器对应阶段上采样层的输出特征图进行通道拼接，实现浅层信息与深层信息的融合，为解码过程提供更多语义信息。最后利用1×1卷积把64维通道特征图转化为2维通道特征图，通过Softmax分类器逐个对每个像素点进行分类，获得分割图。

其中，FAN网络包括一个base的头网络+4个迭代的hourglass模块的堆叠。其中每个hourglass模块应该是属于四阶的Hourglass，并且其中bottleneck blocks相比原始版本，被替换为新的分层、并行和多尺度block。

S303、叠加所述轮廓特征学习网络和文本特征学习网络，得到组合网络，以全连接层和softmax逻辑函数作为所述组合网络的输出层。

将轮廓特征学习网络和文本特征学习网络通过加权平均集成法进行融合，即对每个网络的学习结果进行同等加权平均；随后在组合后的网络末端加入全连接层和softmax逻辑函数，作为组合网络的输出层；该组合网络能够同步训练学习图像的几何与文本特征。

S304、以所述训练集训练所述组合网络，输出测试结果，并根据所述测试结果调整所述组合网络的参数，得到图谱语义融合增强视觉特征的图像目标识别模型。

S103、在任意位置获取单目图像，输入所述图像目标识别模型，输出所述单目图像的地物目标信息。所述图像目标识别模型为S304中训练后的图谱语义融合增强视觉特征的图像目标识别模型。输出的地物目标信息例如<部件1，部件2，部件…>。

S104、基于所述单目图像的地物目标信息，对所述场景知识图谱中的实体节点进行语义检索，得到与所述单目图像匹配的三维模型。

作为本发明的一种实施例，如图4所示，所述基于所述单目图像的地物目标信息，在所述场景知识图谱中对目标信息进行语义检索，得到与所述单目图像匹配的三维模型，包括：

S401、基于所述单目图像的地物目标信息，计算部件节点和实体节点的相似程度。

在本实施例中，计算部件节点和实体节点的相似程度，包括计算语义相似度以及计算结构相似度；其中：

所述计算语义相似度

（Semantic Textual Similarity），包括：

其中，

和

分别为部件节点和实体节点，

和

分别为部件节点对应的语义向量和实体节点对应的语义向量；N为语义向量的维度，当部件节点与实体节点语义向量维度不同时，选取维度数量少的语义向量维度作为N；

为部件节点和实体节点的语义相似度；

所述计算结构相似度

（Semantic Textual Similarity），包括：

其中，

为部件节点

之间的连接边数量，

为实体节点

之间的连接边数量。

S402、根据部件节点和实体节点的相似程度在所述场景知识图谱中进行语义检索，得到匹配的实体节点。

在本实施例中，语义检索包括垂直检索和水平检索。

垂直检索包含图像所识别部件节点信息的同类实体节点，例如<实体1|部件1，部件2>。水平检索包含图像所识别部件节点信息的不同实体节点，如{<实体1|部件1，部件2>，<实体2|部件3，部件4>，<实体1，位于，实体2>}。

在一些实施例中，例如 “大屏”部件和“护栏”部件能够检索确定“机场信息屏”实体，“商铺”和“座椅”能够检索确定“超市”实体，此时在场景知识图谱中提取“机场信息屏”和“超市”实体及其关联的空间位置信息。

S403、从所述部件级三维模型数据库中提取与所述单目图像匹配的三维模型。

进一步地，可以根据匹配出的三维模型数量，设定单目视觉测距基准。若匹配出多个三维模型，则在场景知识图谱中获取所述三维模型的空间位置信息，提取所述多个三维模型之间的位置关系和距离，作为单目视觉测距基准。若匹配出单个三维模型，则仅以该三维模型的空间位置为单目视觉测距基准。

S105、测量摄像机与地物目标的角度和距离，确定摄像机在三维空间的定位信息。

作为本发明的一种实施例，如图5所示，所述测量摄像机与地物目标的角度和距离，确定摄像机在三维空间的定位信息，包括：

S501、建立摄像机坐标系、图像坐标系和像素坐标系。

在本实施例中，根据摄像机的参数

，建立摄像机坐标系（Z，X，Y）、图像坐标系（x，y）和像素坐标系（u，v）。

S502、基于摄像机坐标系、图像坐标系和像素坐标系，利用单目视觉测距方法测量摄像机与地物目标之间的角度和距离。

其中，

为摄像机与地物目标之间的距离，

为摄像机到地物目标的仰视（或俯视）角度，

为摄像机的参数，（x ₀，y ₀）为地物目标的图像坐标，（Z _C，X _C，Y _C）为地物目标的摄像机坐标。

在所述单目视觉测距方法中，选取地物目标的中心点进行测距；具体通过摄像机坐标系与图像坐标系之间的转换实现。坐标系间的转换通过既有刚体变换和小孔成像原理实现。

S503、基于三维世界坐标系，结合所述三维模型以及摄像机与地物目标之间的角度和距离，利用OpenCV确定摄像机在三维空间的空间定位信息，例如图像中包含大屏、超市等地物。

OpenCV（Open Source Computer Vision Library）是开源的计算机视觉和机器学习库。

通过三维空间定位，能够实现融合三维场景语义的视觉定位增强。

下面通过一个具体实施例，对上述S101~S105进行进一步说明。

以杭州萧山机场进行实例说明，所使用数据包括三维激光扫描获取的精细室内三维模型、商户、设施等各专题POI数据。

在本实施例中，根据输入的部件级三维模型库，按照步骤S201构建“萧山机场-模型知识图谱”和“萧山机场-场景知识图谱”，如图6所示。在图6中，（a）为构建的模型知识图谱的示意图，在本实施例中，所述模型知识图谱包括“大屏模型”、“顶柱”和“门牌”等部件节点，其中节点连接各自的模型特征：三维空间坐标（<246，358，411>）、几何结构（面）和POI信息（“航班表”）等。（b）为构建的场景知识图谱的示意图，在本实施例中，“机场大屏”、“超市”和“休息区”实体节点，其中“机场大屏”包括自身信息和所包含的子节点信息（Childnode）。

按照步骤S301输入单目数据库至地物目标识别模块，能够获得图像中所包含的地物目标信息。本实施例的“大屏模型”部件在模型知识图谱中以单独的部件节点表达，同时节点所连接的“航班表”语义描述节点，能与现实图像所识别的文字对应，此时确定图像包含“大屏”部件模型。

需要说明的是，地物目标识别通常能够识别多个部件，应在模型知识图谱中选取符合识别结果的节点。

对已选取的部件节点在场景知识图谱中进行检索，获得单目图像和三维模型的最佳匹配结果。例如本实施例的“大屏”部件和“护栏”部件能够检索确定“机场信息屏”实体，“商铺”和“座椅”能够检索确定“超市”实体，此时在场景知识图谱中提取“机场信息屏”和“超市”实体及其关联的空间位置信息。

输入任意位置采集的单目图像至三维模型语义增强的视觉定位模块，确定该摄像机所在的真实空间位置。例如图像中包含大屏、超市等地物，图像识别和三维模型匹配结果如上述步骤，具体模块实施步骤包括：

单目图像测距，根据机器（摄像机）参数，建立摄像机坐标系-图像坐标系-像素坐标系，测量摄像机与所识别地物目标的角度和距离，其中地物目标选取中心点进行测距；

三维空间定位，根据三维实体模型的空间位置信息，建立三维世界的绝对坐标系，结合所匹配的三维实体和所测算的角度、距离，确定机器（摄像机）在三维空间的客观位置，实现融合三维场景语义的视觉定位增强。

按照本发明所述融合三维场景语义的单目视觉定位增强方法，进行室内定位和导航。

根据本发明的实施例，通过三维模型的场景语义信息增强视觉感知，突破现实场景与虚拟数据之间融合及互馈的局限，克服现有视觉定位技术对任意对象空间位置信息获取准确性低的不足；特别的，面向海量三维模型提出从部件到场景的多层级知识图谱，将模型多模态特征通过稳健的语义图结构进行集成和关联，依次约束和引导现实图像的地物识别及其与虚拟数据的模型匹配，实现渐进求精的目标检索和语义辅助的视觉定位。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明的实施例，本发明还提供了一种电子设备。

图7示出了可以用来实施本发明的实施例的电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

设备700包括计算单元701，其可以根据存储在只读存储器（ROM）702中的计算机程序或者从存储单元708加载到随机访问存储器（RAM）703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如方法S101~S105。例如，在一些实施例中，方法S101~S105可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的方法S101~S105的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行方法S101~S105。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。