CN111723681A - 室内路网生成方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种室内路网生成方法、装置、存储介质及电子设备，以获取二维场景图像用于后续路网的生成，减少路网提取过程中的各项成本，并实现自动化的路网提取过程，提高路网提取的效率。该室内路网生成方法包括：获取室内场景的场景图像，所述场景图像包括通道的场景图像以及标志物的场景图像；根据图像清晰度从所述场景图像中确定目标场景图像；对所述标志物的目标场景图像标注POI信息；将标注有POI信息的目标场景图像、以及所述通道的目标场景图像输入路网信息生成模型中，得到所述室内场景对应的路网。

Description

室内路网生成方法、装置、存储介质及电子设备

技术领域

本公开涉及路网技术领域，具体地，涉及一种室内路网生成方法、装置、存储介质及电子设备。

背景技术

路网(road network)指的是在一定区域内，由各种道路组成的相互联络、交织成网状分布的网络。在分析区域道路情况、生成导航地图等场景，通常需要进行路网提取，然后依据提取到的路网进行后续分析和处理。

相关技术中，路网提取可以基于激光雷达和其他传感器采集的数据，也可以基于遥感图像，或者还可以基于室内建筑分布图进行。但是，在室内路网提取场景下，上述三种路网提取方式均有弊端。具体的，基于激光雷达和其他传感器的方式，由于激光雷达和其他传感器等采集设备较昂贵，因此路网提取成本较高，无法广泛适用。基于遥感图像的方式，需要通过卫星采集图像，但是无法获取到室内场景的图像，因此无法适用于室内路网提取场景。基于室内建筑分布图的方式，对采集设备没有要求，但是需要投入大量的人力和时间，根据室内建筑分布图进行人工路网绘制，路网提取效率不高。

发明内容

本公开的目的是提供一种室内路网生成方法、装置、存储介质及电子设备，以提供一种新的路网提取方式，解决相关技术中存在的问题。

为了实现上述目的，第一方面，本公开提供一种一种室内路网生成方法，所述方法包括：

获取室内场景的场景图像，所述场景图像包括通道的场景图像以及标志物的场景图像；

根据图像清晰度从所述场景图像中确定目标场景图像；

对所述标志物的目标场景图像标注POI信息；

将标注有POI信息的目标场景图像、以及所述通道的目标场景图像输入路网信息生成模型中，得到所述室内场景对应的路网。

可选地，所述根据图像清晰度从所述场景图像中确定目标场景图像，包括：

将图像清晰度大于或等于预设清晰度的场景图像作为目标场景图像；或者，

针对同一通道的多张场景图像，将图像清晰度最高的场景图像作为所述通道的目标场景图像，以及针对同一标志物的多张场景图像，将图像清晰度最高的场景图像作为所述标志物的目标场景图像。

可选地，所述获取室内场景的场景图像包括：

通过移动终端采集室内场景的场景图像，并根据采集顺序，将采集到的所述多张场景图像依次进行缓存；

所述方法还包括：

在根据图像清晰度从所述场景图像中确定目标场景图像后，删除所述缓存的除所述目标场景图像之外的其他场景图像。

可选地，所述对所述标志物的目标场景图像标注POI信息，包括：

向服务器发送用于查询所述目标场景图像中标志物的POI信息的查询请求，以使所述服务器响应于所述查询请求，识别所述目标场景图像中标志物的POI信息；

接收所述服务器发送的所述目标场景图像中标志物的POI信息，并根据所述POI信息对所述标志物的目标场景图像进行标注。

可选地，所述方法还包括：

响应于采集到的场景图像，检测所述场景图像是否为标志物的场景图像；

若所述场景图像为标志物的场景图像，则将所述场景图像发送给服务器，以使所述服务器识别所述场景图像中标志物的POI信息；

接收所述服务器发送的所述场景图像中标志物的POI信息，并存储所述场景图像中标志物的POI信息；

所述对所述标志物的目标场景图像标注POI信息，包括：

在存储的POI信息中，查找所述目标场景图像中标志物的POI信息，并根据所述POI信息对所述标志物的目标场景图像进行标注。

可选地，所述获取室内场景的场景图像，包括：

响应于接收到图像采集信号，通过移动终端采集室内场景的场景图像；

所述将标注有POI信息的目标场景图像，以及所述通道的目标场景图像输入路网信息生成模型中，得到所述室内场景对应的路网，包括：

确定是否接收到图像采集停止信号；

若接收到所述图像采集停止信号，则将标注有POI信息的目标场景图像，以及所述通道的目标场景图像输入路网信息生成模型中，得到所述室内场景对应的路网。

可选地，所述路网信息生成模型用于进行如下处理：

根据输入的目标场景图像进行三维重建，得到每张所述目标场景图像对应的拍摄位姿的三维数据点；

将所述每张目标场景图像对应的拍摄位姿的三维数据点转换为二维数据点；

根据所述每张目标场景图像对应的拍摄位姿的二维数据点、以及输入的标志物的目标场景图像的POI信息生成所述室内场景对应的路网。

第二方面，本公开还提供一种室内路网生成装置，所述装置包括：

获取模块，被配置为获取室内场景的场景图像，所述场景图像包括通道的场景图像以及标志物的场景图像；

选择模块，被配置为根据图像清晰度从所述场景图像中确定目标场景图像；

标注模块，被配置为对所述标志物的目标场景图像标注POI信息；

生成模块，被配置为将标注有POI信息的目标场景图像、以及所述通道的目标场景图像输入路网信息生成模型中，得到所述室内场景对应的路网。

第三方面，本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述方法的步骤。

第四方面，本公开还提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任一项所述方法的步骤。

通过上述技术方案，可以获取室内场景的场景图像，并可以根据图像清晰度对场景图像进行筛选，保证后续根据二维图像生成路网的结果准确度。并且，通过本公开的室内路网生成方法，可以在采集图像时，对标志物的场景图像进行自动POI信息标注，无需进行人工标注，可以实现路网提取的完全自动化，提高路网提取的效率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据本公开一示例性实施例示出的一种室内路网生成方法的流程图；

图2是根据本公开一示例性实施例示出的一种室内路网生成方法中室内场景的通道示意图；

图3是根据本公开一示例性实施例示出的一种室内路网生成方法中从服务器获取POI信息进行标注的过程示意图；

图4是根据本公开一示例性实施例示出的一种室内路网生成方法中拍摄位姿的三维数据点得到的三维路网示意图；

图5是根据图4所示的三维路网示意图生成的二维路网示意图；

图6是根据本公开另一示例性实施例示出的一种室内路网生成方法的流程图；

图7是根据本公开一示例性实施例示出的一种室内路网生成装置的框图；

图8是根据本公开一示例性实施例示出的一种电子设备的框图；

图9是根据本公开另一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

正如背景技术所言，相关技术中的路网提取可以基于激光雷达和其他传感器采集的数据、基于遥感图像或者基于室内建筑分布图进行。但是，发明人研究发现，在室内路网提取场景下，上述三种路网提取方式均有弊端。具体的，基于激光雷达和其他传感器的方式，由于激光雷达和其他传感器等采集设备较昂贵，因此路网提取成本较高，无法广泛适用。基于遥感图像的方式，需要通过卫星采集图像，但是无法获取到室内场景的图像，因此无法适用于室内路网提取场景。基于室内建筑分布图的方式，对采集设备没有要求，但是需要投入大量的人力和时间，根据室内建筑分布图进行人工路网绘制，路网提取效率不高。

有鉴于此，本公开实施例提供一种室内路网生成方法、装置、存储介质及电子设备，以提供一种新的路网提取方式，通过获取二维场景图像用于后续路网的生成，减少路网提取过程中的各项成本，并实现自动化的路网提取过程，提高路网提取的效率。

图1是根据本公开一示例性实施例示出的一种室内路网生成方法的流程图。参照图1，该室内路网生成方法可以包括以下步骤：

步骤101，获取室内场景的场景图像。其中，该场景图像包括通道的场景图像以及标志物的场景图像。

步骤102，根据图像清晰度从场景图像中确定目标场景图像。

步骤103，对标志物的目标场景图像标注POI信息。

步骤104，将标注有POI信息的目标场景图像、以及通道的目标场景图像输入路网信息生成模型中，得到室内场景对应的路网。

通过上述方式，可以获取室内场景的场景图像，并可以根据图像清晰度对场景图像进行筛选，保证后续根据二维图像生成路网的结果准确度。并且，通过本公开的室内路网生成方法，可以在采集图像时，对标志物的场景图像进行自动POI信息标注，无需进行人工标注，可以实现路网提取的完全自动化，提高路网提取的效率。

为了使得本领域技术人员更加理解本公开提供的室内路网生成方法，下面对上述各步骤进行详细举例说明。

示例地，本公开实施例中的室内路网提取方法可以应用于服务器或具有图片采集功能(比如拍照功能或摄像功能)的移动终端。其中，如果应用于移动终端，则步骤101可以是通过移动终端的摄像头拍摄覆盖室内场景所有通道和所有标志物的场景图像，或者可以是通过移动终端的摄像头拍摄覆盖室内场景所有通道和所有标志物的视频，然后将该视频包括的帧图像确定为该室内场景的场景图像，等等，本公开实施例对此不作限定。如果应用于服务器，则步骤101可以接收移动终端发送的室内场景的场景图像。其中，移动终端发送的室内场景的场景图像可以是移动终端拍摄的图像，或者可以是移动终端拍摄的视频包括的帧图像，等等，本公开实施例对此不作限定。

示例地，通道可以是室内场景中可通行的任何道路。对于同一室内场景，可以获取覆盖该室内场景所有通道的多张场景图像，比如室内场景包括如图2所示的A通道、B通道、C通道和D通道，因此在步骤101中，可以通过移动终端采集覆盖A通道、B通道、C通道和D通道的多张场景图像，比如，针对A通道、B通道、C通道和D通道，分别获取至少一张场景图像，用于后续路网生成过程。在此过程中，无需昂贵的采集设备，通过具有图像采集功能的移动终端即可获取用于后续路网提取的二维场景图像，可以减少路网提取过程中的成本，从而实现路网提取方法的广泛应用。

示例地，标志物可以是室内场景中的店铺、招牌等。标志物可以有对应的POI信息，因此在后续步骤中可以对标志物的场景图像标注POI信息，便于用于后续路网中POI信息的对应标注。标志物的POI信息可以是标志物的名称、类别等，比如对于名称为“第一咖啡店”的店铺，其POI信息可以是该店铺的名称“第一咖啡店”，也可以是该店铺的类别“咖啡店”，等等，本公开实施例对此不作限定。

在获取到室内场景的场景图像后，可以根据图像清晰度从该场景图像中确定目标场景图像，以去除清晰度不高的模糊图像对后续路网生成的影响，保证根据场景图像生成路网的结果准确性。

在可能的方式中，根据图像清晰度从场景图像中选择目标场景图像可以是：将图像清晰度大于或等于预设清晰度的场景图像作为目标场景图像；或者，针对同一通道的多张场景图像，将图像清晰度最高的场景图像作为通道的目标场景图像，以及针对同一标志物的多张场景图像，将图像清晰度最高的场景图像作为标志物的目标场景图像。其中，预设清晰度可以是根据实际情况设定的，本公开实施例对此不作限定。

对于将图像清晰度大于或等于预设清晰度的场景图像作为目标场景图像的方式，可以在获取到一张场景图像后，则判断该场景图像的清晰度是否大于或等于预设清晰度，若该场景图像的清晰度大于或等于预设清晰度，则可以将该场景图像作为目标场景图像，并继续获取下一张场景图像。若该场景图像的清晰度小于预设清晰度，则可以继续获取下一张场景图像。通过此种方式，可以在每获取到一张场景图像后，则进行实时的清晰度筛选，便于后续的路网生成过程。

对于上述提及的另一种确定目标场景图像的方式，可以先控制移动终端进行高频率的图像采集，针对同一通道或同一标志物均采集多张场景图像，并分别确定多张场景图像的清晰度。然后，可以设定一图像输出周期，比如，可以设定图像输出周期为1分钟，等等，本公开实施例对此不作限定。在每次到达图像输出周期的时候，比如，在上述举例中，在计时到达1分钟时，可以针对同一通道的多张场景图像，选择清晰度最高的一张场景图像作为该通道的目标场景图像。同样的，在每次到达图像输出周期的时候，可以针对同一标志物的多张场景图像，选择清晰度最高的一张场景图像作为该标志物的目标场景图像。通过此种方式，可以得到每个通道或每个标志物对应的清晰度最高的目标场景图像，从而可以更好的保证根据目标场景图像生成路网的结果准确性。

在可能的方式中，获取室内场景的场景图像可以是通过移动终端采集室内场景的场景图像，并根据采集顺序，将采集到的多张场景图像依次进行缓存。相应地，在根据图像清晰度从场景图像中确定目标场景图像后，可以删除缓存的除目标场景图像之外的其他场景图像。

示例地，可以周期性的通过移动终端采集室内场景的场景图像，该采集的周期可以根据实际情况设定，本公开实施例对此不作限定。在周期性通过移动终端采集室内场景的场景图像之后，可以根据采集顺序，将采集到的多张场景图像依次进行缓存。结合上述提供的将图像清晰度最高的场景图像确定为目标场景图像的图像筛选方式，可以从缓存的场景图像中获取针对同一通道的多张场景图像，并分别确定该多张场景图像的清晰度，然后在到达图像输出周期时，可以输出清晰度最高的场景图像作为该通道的目标场景图像。然后，可以删除缓存的该通道对应的场景图像中除目标场景图像外的其他场景图像。同样地，可以从缓存的场景图像中获取针对同一标志物的多张场景图像，并分别确定该多张场景图像的清晰度，然后在到达图像输出周期时，可以输出清晰度最高的场景图像作为该标志物的目标场景图像，并且还可以删除缓存的该标志物对应的场景图像中除目标场景图像外的其他场景图像。

此外，在根据目标场景图像生成路网之后，也可以删除存储的本次周期采集的、用于生成该路网的目标场景图像。例如，根据第一周期采集的场景图像生成了第一路网。在此种情况下，可以删除存储的第一周期采集的场景图像。应当理解的是，若按照上述方式，在根据图像清晰度选择目标场景图像后，删除了缓存中的部分场景图像，那么在生成路网之后，删除的场景图像则为用于生成路网的目标场景图像。

通过上述方式，可以将场景图像进行缓存，并在生成路网之后，删除缓存的、除目标场景图像外的其他场景图像，在室内场景包括众多通道和标志物的场景下，可以极大程度上减少用于存储场景图像的存储容量，节省存储资源。

在可能的方式中，对标志物的目标场景图像标注POI信息可以是：向服务器发送用于查询目标场景图像中标志物的POI信息的查询请求，以使服务器响应于所述查询请求，识别目标场景图像中标志物的POI信息，然后，接收服务器发送的目标场景图像中标志物的POI信息，并根据POI信息对标志物的目标场景图像进行标注。应当理解的是，该查询请求中包括目标场景图像。

示例地，参照图3，本公开实施例的室内路网生成方法应用于移动终端，移动终端通过图像清晰度每选择出一个包括标志物的目标场景图像，则可以实时向服务器发送用于查询目标场景图像中标志物的POI信息的查询请求，该查询请求可以包括对应的目标场景图像。相应地，服务器在接收到该查询请求之后，可以识别该查询请求包括的目标场景图像中标志物的POI信息，并将识别到的POI信息发送给移动终端。移动终端在接收到该POI信息后，则可以在对应的场景图像中标注该POI信息，无需进行人工进行POI信息的标注，可以减少路网生成过程中的人力投入和时间投入，提高路网生成的效率。

在另一种可能的方式中，还可以响应于采集到的场景图像，检测场景图像是否为标志物的场景图像，若场景图像为标志物的场景图像，则将该场景图像发送给服务器，以使服务器识别该场景图像中标志物的POI信息，然后接收服务器发送的场景图像中标志物的POI信息，并存储场景图像中标志物的POI信息。相应地，对标志物的目标场景图像标注POI信息可以是：在存储的POI信息中，查找目标场景图像中标志物的POI信息，并根据该POI信息对标志物的目标场景图像进行标注。

也即是说，在本公开实施例还可以提供一种离线标注POI信息的方式。

首先，在图像采集的步骤中，可以在每采集到一张场景图像，则检测该场景图像是否为标志物的场景图像。若该场景图像不是标志物的场景图像，即该场景图像为通道的场景图像，由于通道不具有对应的POI信息，因此无需进行后续POI信息标注的步骤。若该场景图像是标志物的场景图像，则可以进一步将该场景图像发送给服务器，以使服务器识别该场景图像中标志物的POI信息，然后接收服务器发送的场景图像中标志物的POI信息，并存储场景图像中标志物的POI信息。通过这样的方式，可以将采集到的所有标志物的场景图像所对应的POI信息进行本地存储，在后续的POI信息标注过程中，可以从本地存储的POI信息中查找目标场景图像中标志物的POI信息，并根据查找到的POI信息对标志物的目标场景图像进行标注，在此过程中无需再与服务器交互以实时获取POI信息，可以实现POI信息标注的离线处理。

在对标志物的目标场景图像进行POI标注后，可以将标注有POI信息的目标场景图像、以及通道的目标场景图像输入路网信息生成模型中，得到室内场景对应的路网。

在可能的方式中，获取室内场景的场景图像可以是：响应于接收到图像采集信号，采集室内场景的场景图像。相应地，将标注有POI信息的目标场景图像，以及通道的目标场景图像输入路网信息生成模型中，得到室内场景对应的路网可以是：确定是否接收到图像采集停止信号，若接收到图像采集停止信号，则将标注有POI信息的目标场景图像，以及通道的目标场景图像输入路网信息生成模型中，得到室内场景对应的路网。

示例地，图像采集信号和图像采集停止信号可以是用户输入给移动终端的，或者也可以是移动终端在到达特定时间而自动生成的，等等，本公开实施例对此不作限定。

在本公开实施例中，可以响应于接收到图像采集信号，通过移动终端开始采集室内场景的场景图像，然后根据图像清晰度从场景图像中选择目标场景图像，并对标志物的目标场景图像标注POI信息。然后可以确定是否接收到图像采集停止信号，若没有接收到图像采集信号，则可以再次执行上述步骤101至步骤103，继续采集室内场景的场景图像，直到接收到图像采集停止信号。若接收到图像采集信号，则可以将标注有POI信息的目标场景图像，以及通道的目标场景图像输入路网信息生成模型中，得到室内场景对应的路网。

在可能的方式中，路网信息生成模型用于进行如下处理，得到室内场景对应的路网：

根据输入的目标场景图像进行三维重建，得到每张目标场景图像对应的拍摄位姿的三维数据点，然后将每张目标场景图像对应的拍摄位姿的三维数据点转换为二维数据点；最后根据每张目标场景图像对应的拍摄位姿的二维数据点、以及输入的标志物的目标场景图像的POI信息生成室内场景对应的路网。

应当理解的是，三维重建输出的结果可以包括图像对应的拍摄位姿，因此根据输入的多张目标场景图像进行三维重建，可以直接得到每张目标场景图像对应的拍摄位姿的三维数据点。其中，三维重建比如可以是通过计算机视觉算法中的多视几何、最小二乘优化等方法，重建出室内场景对应的三维点云结构，等等，该过程与相关技术类似，这里不再赘述。

示例地，室内场景中的每个通道或每个标志物可以对应有至少一张目标场景图像，因此三维重建可以是：先根据室内场景中的每个通道或每个标志物对应的至少一张目标场景图像进行三维重建，然后根据三维重建后的结果，确定每个通道或每个标志物对应的至少一张目标场景图像分别对应的拍摄位姿的三维数据点，从而得到每张目标场景图像对应的拍摄位姿的三维数据点。

在可能的方式中，为了减少图像中动态物体对三维重建结果的影响，提高三维重建结果的准确性，从而提高路网生成结果的准确性，还可以确定目标场景图像中的动态对象，该动态对象是指在目标场景图像中的坐标位置发生变化的对象。然后通过掩膜对目标场景图像进行像素点过滤，以去除目标场景图像中动态对象对应的像素点。相应地，根据输入的目标场景图像进行三维重建，得到每张目标场景图像对应的拍摄位姿的三维数据点可以是：根据进行像素点过滤后的目标场景图像进行三维重建，得到每张目标场景图像对应的拍摄位姿的三维数据点。

示例地，针对输入的每张目标场景图像，可以提取该目标场景图像中的语义特征(比如，墙面、地面、行人等)。然后，可以分别将每张场景图像中的同一语义特征进行比对，以确定每张场景图像中的同一语义特征是否发生位置坐标的变化，从而确定目标场景图像中的动态对象。比如在三张目标场景图像中均提取到同一行人特征，那么可以将该三张目标场景图像中的该行人特征进行比对，以确定该行人特征在三张目标场景图像中是否发生坐标位置的变化。若该行人特征在三张目标场景图像中发生坐标位置的变化，则将该三张目标场景图像中的该行人确定为动态对象。

示例地，在图像处理中可以通过掩膜对图像上某些区域作屏蔽，使其不参加后续处理。因此，在本公开实施例中，为了减少图像中动态物体对三维重建结果的影响，可以通过掩膜对目标场景图像进行像素点过滤，以去除目标场景图像中动态对象对应的像素点。比如，可以将动态对象对应的像素点的像素值设定为0，等等，本公开实施例对此不作限定。

在对目标场景图像进行过滤后，可以根据过滤后的目标场景图像进行三维重建，得到每张目标场景图像对应的拍摄位姿的三维数据点，以减少动态对象对三维重建的影响，从而提高三维重建结果的准确性，进而提高路网生成结果的准确性。

应当理解的是，通过三维重建得到的是场景图像的拍摄位姿的三维数据点，而路网信息是可通行的二维拓扑结构，因此还需要将每张目标场景图像对应的拍摄位姿的三维数据点转换为二维数据点。

在可能的方式中，将每张目标场景图像对应的拍摄位姿的三维数据点转换为二维数据点可以是：在每张目标场景图像对应的拍摄位姿的三维数据点中，随机确定预设个数的三维数据点，并根据该预设个数的三维数据点，确定二维平面。然后，分别确定所有三维数据点中除预设个数的三维数据点外的其他三维数据点到该二维平面的距离。若其他三维数据点到该二维平面的距离满足预设条件，则将拍摄位姿对应的三维数据点投影到该二维平面。

也即是说，在本公开实施例中，可以通过将拍摄位姿对应的三维数据点投影到同一二维平面的方式，将拍摄位姿对应的三维数据点转换为二维数据点。当然，也可以通过其他转换方式，得到拍摄位姿的二维数据点，本公开实施例对此不作限定。

示例地，在通过投影方式得到拍摄位姿的二维数据点的方式中，预设个数可以是根据实际情况设定的，本公开实施例对此不作限定。应当理解的是，由于不在同一直线的至少3个点可以确定1个平面，因此预设个数可以大于或等于3。比如，将预设个数确定为3，那么可以在拍摄位姿对应的所有三维数据点中随机确定3个三维数据点，然后根据该3个三维数据点确定一个初始的二维平面。

在确定初始的二维平面后，可以分别确定所有三维数据点中除预设个数的三维数据点外的其他三维数据点到该二维平面的距离。若其他三维数据点到该二维平面的距离满足预设条件，则可以将拍摄位姿对应的三维数据点投影到该二维平面。

示例地，预设条件可以是其他三维数据点到该二维平面的距离均小于一距离阈值，或者可以是其他三维数据点中预设比例的三维数据点(比如80％的三维数据点)到该二维平面的距离均小于一距离阈值，等等，本公开实施例对于预设条件的具体内容不作限定。若其他三维数据点到该二维平面的距离满足预设条件，则说明该二维平面可以覆盖大多数或者全部三维数据点，因此可以将拍摄位姿对应的三维数据点投影到该二维平面。

在其他可能的方式中，若其他三维数据点到二维平面的距离不满足预设条件，则可以重新随机确定预设个数的三维数据点，并根据重新确定的预设个数的三维数据点，确定新的二维平面，直到其他三维数据点到二维平面的距离满足预设条件。

例如，拍摄位姿的所有三维数据点分别为P1、P2、P3、P4和P5，预设个数为3。在此种情况下，可以先随机确定3个三维数据点P2、P3和P5，并根据该3个三维数据点确定初始的二维平面。然后，可以分别确定其他三维数据点P1和P4到该二维平面的距离，若其他三维数据点P1和P4到该二维平面的距离不满足预设条件，则可以重新随机确定3个三维数据点，比如，可以重新随机确定三维数据点P1、P3和P5，然后根据该三维数据点P1、P3和P5，确定新的二维平面，再分别确定其他三维数据点P2和P4到新的二维平面的距离，并判断其他三维数据点P2和P4到新的二维平面的距离是否满足预设条件，以此类推，直到其他三维数据点到二维平面的距离满足预设条件。

通过上述方式，可以通过循环尝试的方式，确定覆盖大多数或者所有三维数据点的二维平面，从而在将场景图像对应的拍摄位姿的三维数据点投影到该二维平面后，得到与实际情况更相符的二维数据点，进而在根据该二维数据点生成室内场景的路网后，可以减少路网结果与实际场景之间的误差，得到更加准确的路网结果。

在可能的方式中，在获取室内场景的场景图像时，可以确定每张场景图像的拍摄位姿在重力方向上的距离差值小于预设距离阈值。其中，预设距离阈值可以根据实际情况设定，本公开实施例对此不作限定。

通过此种方式，场景图像中每张场景图像的拍摄位姿在重力方向上的距离差值小于预设距离阈值，即每张场景图像的拍摄位姿在重力方向上的距离差值较小，因此，每张场景图像对应的拍摄位姿的三维数据点中沿重力方向的坐标数值的差异可以忽略，从而根据三维数据点其他两个方向的坐标数值，可以更加方便地将目标场景图像对应的拍摄位姿的三维数据点转换为同一个二维平面上的二维数据点。

当然，在不考虑计算复杂度的场景下，也可以不限定每张场景图像的拍摄位姿在重力方向上的距离差值小于预设距离阈值，在实际应用中，可以根据不同的需求进行选择，本公开实施例对此不作限定。

在通过上述方式将每张目标场景图像对应的拍摄位姿的三维数据点转换为二维数据点之后，可以根据每张目标场景图像对应的拍摄位姿的二维数据点，生成室内场景对应的路网。在可能的方式中，可以将每张目标场景图像对应的拍摄位姿的二维数据点进行连接，得到室内场景的可通行路径，然后对该可通行路径添加预设宽度，得到室内场景对应的路网。

应当理解的是，由于获取的目标场景图像可以覆盖室内场景的所有通道，因此目标场景图像的拍摄轨迹可以表征室内场景的通道路径信息，从而将每张目标场景图像的拍摄位姿的二维数据点进行连接，可以得到室内场景的可通行路径，然后再对该可通行路径添加预设宽度，即可得到该室内场景的路网。

其中，预设宽度可以根据实际情况进行设定，比如，可以先确定室内场景中实际道路长度与可通行路径的比值，然后根据该比值和实际道路宽度，确定预设宽度，使得预设宽度和实际道路宽度之间的比例、与可通行路径和实际道路长度之间的比例一致。当然，也可以通过其他方式确定预设宽度，本公开实施例对此不作限定。

示例地，场景图像可以标注有采集时间，那么将目标场景图像的拍摄位姿的二维数据点进行连接可以是：根据每张目标场景图像的采集时间的先后顺序，依次将每张目标场景图像对应的拍摄位姿的二维数据点进行连接，得到室内场景的连通路径(即可通行路径)。然后，可以再对该连通路径添加预设宽度，即可得到该室内场景的路网。

通过上述方式，可以获取室内场景的多张二维场景图像，然后根据多张二维场景图像生成室内场景对应的路网，无需昂贵的采集设备，即可实现室内路网提取，在减少路网提取成本的同时，可以实现路网提取方法的广泛应用。并且，通过本公开的室内路网生成方式，可以实现自动化的路网提取，减少路网提取过程中的人力投入和时间投入，从而提高路网提取的效率。

在通过上述方式生成路网后，可以根据标注有POI信息的目标场景图像对生成的初始路网进行POI信息的标注。

在可能的方式中，可以根据目标场景图像对应的拍摄位姿的三维数据点，确定拍摄目标场景图像时拍摄终端的朝向信息，该朝向可以用于表征朝向所述路网边缘内侧或朝向所述路网边缘外侧。然后可以在已生成的路网中，沿朝向信息对应的方向，确定距离拍摄位姿对应的数据点预设距离的目标二维数据点，并对该目标二维数据点标注目标场景图像对应的POI信息。

在实际应用中，拍摄终端(即获取场景图像的、具有图像采集功能的移动终端)可能是面朝标志物、且距离该标志物一定距离进行拍摄，以获取标志物对应的场景图像。因此，在本公开实施例中，可以先根据目标场景图像对应的拍摄位姿的三维数据点，确定拍摄目标场景图像时拍摄终端的朝向信息。其中，由于标志物的POI信息通常是标注在路网的边缘，因此，在本公开实施例中，朝向信息可以是用于表征朝向路网内侧边缘或朝向路网外侧边缘。示例地，可以先将所有三维数据点进行连接，得到如图4所示的三维路网示意图(图4中标示有三维(x，y，z)坐标系)。然后在该三维路网示意图中，可以分别确定每个三维数据点是朝向三维路网的内侧，还是朝向三维路网的外侧。

进一步，在根据二维数据点生成的二维路网中，针对标志物的目标场景图像所对应的二维数据点，可以分别沿每个二维数据点对应的三维数据点的朝向信息所对应的方向(即朝向路网内侧或朝向路网外侧)，确定距离该二维数据点预设距离的目标二维数据点，以确定标志物在已生成路网中的对应位置。

其中，预设距离可以根据实际情况设定，比如可以根据得到的二维路网长度与实际道路长度之间的比值、以及拍摄终端与实际标志物之间的实际距离，确定该预设距离，等等，本公开实施例对此不作限定。通过此种方式，目标二维数据点可以表征二维路网中对应标志物的位置，因此可以对该目标数据点标注该标志物的POI信息。例如，在上述举例中，三维路网示意图如图4所示，在通过上述方式的处理后，可以得到如图5所示的标注POI信息的二维路网示意图。其中，图5中的数字(比如6657922)表示标志物的POI信息。通过此种方式，无需人工标注POI信息，可以在生成路网后实现POI信息的自动标注，减少路网提取过程中的人力投入。

在另一种可能的方式中，还可以针对每张目标场景图像，建立目标场景图像与目标场景图像对应的拍摄位姿的三维数据点之间的映射关系。然后，可以根据该映射关系，在每张目标场景图像对应的拍摄位姿的三维数据点中，确定与标注有POI信息的目标场景图像对应的拍摄位姿的目标三维数据点。接着，在路网中，确定目标三维数据点对应的二维数据点。最后，对目标三维数据点对应的二维数据点标注对应的POI信息。

应当理解的是，在本公开实施例中，标注有POI信息的目标场景图像可以有对应的三维数据点，而该三维数据点可以有对应的二维数据点，因此在标注POI信息的过程中可以先根据三维重建中的映射关系，确定标志有POI信息的目标场景图像对应的拍摄位姿的目标三维数据点，然后在路网中确定该目标三维数据点对应的二维数据点，即确定路网中POI信息对应的标志物的位置，最后对该二维数据点标注对应的POI信息。

通过上述方式，由于是根据标注有POI信息的场景图像、对应的三维数据点以及对应的二维数据点之间的唯一对应关系，确定路网中标志物的位置，进而对标志物进行POI信息的标注，因此可以使得路网中POI信息更加符合实际场景，提升POI信息标注的结果准确性，从而更好的实现根据路网进行导航的目的。

下面以执行主体为移动终端为例对本公开提供的室内路网生成方法进行说明。参照图6，该室内路网生成方法可以包括以下步骤：

步骤601，响应于接收到图像采集信号，周期性的采集室内场景的场景图像。

步骤602，根据采集顺序，将采集到的多张场景图像依次进行缓存。

步骤603，从缓存中获取针对同一通道的多张场景图像，以及针对同一标志物的多张场景图像。

步骤604，在到达设定的图像输出周期时，针对同一通道或同一标志物，将图像清晰度最高的场景图像作为对应的目标场景图像，并删除缓存中除目标场景图像外的其他场景图像。也即是说，在同一通道的多张场景图像中将图像清晰度最高的场景图像作为该通道的目标场景图像，以及在同一标志物的多张场景图像中将图像清晰度最高的场景图像作为该标志物的目标场景图像。

步骤605，向服务器发送用于查询目标场景图像中标志物的POI信息的查询请求，以使服务器响应于查询请求，识别目标场景图像中标志物的POI信息。

步骤605，接收服务器发送的目标场景图像中标志物的POI信息，并根据POI信息对标志物的目标场景图像进行标注。

步骤606，确定是否接收到图像采集停止信号，如果是，则进入步骤607，否则进入步骤601，继续采集室内场景的场景图像。

步骤607，将标注有POI信息的目标场景图像、以及通道的目标场景图像输入路网信息生成模型中，得到室内场景对应的路网。

步骤608，删除存储的本次周期采集的、用于生成路网的场景图像。

上述各步骤的具体实施方式已在上文进行详细举例说明，这里不再赘述。另外应当理解的是，对于上述方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受上文所描述的动作顺序的限制。其次，本领域技术人员也应该知悉，上文所描述的实施例属于优选实施例，所涉及的步骤并不一定是本公开所必须的。

通过上述方式，可以通过移动终端采集室内场景的场景图像，并可以根据图像清晰度对场景图像进行筛选，保证后续根据二维图像生成路网的结果准确度。并且，通过本公开的室内路网生成方法，可以在采集图像时，对标志物的场景图像进行自动POI信息标注，无需进行人工标注，可以实现路网提取的完全自动化，提高路网提取的效率。

基于同一发明构思，本公开实施例还提供一种室内路网生成装置，该装置可以通过软件、硬件或者两者结合的方式成为服务器或者具有图像采集功能的移动终端的部分或全部。参照图7，该室内路网生成装置700可以包括：

获取模块701，被配置为获取室内场景的场景图像，所述场景图像包括通道的场景图像以及标志物的场景图像；

选择模块702，被配置为根据图像清晰度从所述场景图像中确定目标场景图像；

标注模块703，被配置为对所述标志物的目标场景图像标注POI信息；

生成模块704，被配置为将标注有POI信息的目标场景图像、以及所述通道的目标场景图像输入路网信息生成模型中，得到所述室内场景对应的路网。

可选地，所述选择模块702被配置为：

将图像清晰度大于或等于预设清晰度的场景图像作为目标场景图像；或者，

针对同一通道的多张场景图像，将图像清晰度最高的场景图像作为所述通道的目标场景图像，以及针对同一标志物的多张场景图像，将图像清晰度最高的场景图像作为所述标志物的目标场景图像。

可选地，所述获取模块701被配置为：

通过移动终端采集室内场景的场景图像，并根据采集顺序，将采集到的所述多张场景图像依次进行缓存；

所述装置还包括：

删除模块，被配置为在根据图像清晰度从所述场景图像中确定目标场景图像后，删除所述缓存的除所述目标场景图像外的其他场景图像。

可选地，所述标注模块703被配置为：

向服务器发送用于查询所述目标场景图像中标志物的POI信息的查询请求，以使所述服务器响应于所述查询请求，识别所述目标场景图像中标志物的POI信息；

接收所述服务器发送的所述目标场景图像中标志物的POI信息，并根据所述POI信息对所述标志物的目标场景图像进行标注。

可选地，所述装置700还包括：

检测模块，被配置为响应于采集到的场景图像，检测所述场景图像是否为标志物的场景图像；

发送模块，被配置为当所述场景图像为标志物的场景图像时，将所述场景图像发送给服务器，以使所述服务器识别所述场景图像中标志物的POI信息；

接收模块，被配置为接收所述服务器发送的所述场景图像中标志物的POI信息，并存储所述场景图像中标志物的POI信息；

所述标注模块703被配置为：

在存储的POI信息中，查找所述目标场景图像中标志物的POI信息，并根据所述POI信息对所述标志物的目标场景图像进行标注。

可选地，所述获取模块701被配置为：

响应于接收到图像采集信号，通过移动终端采集室内场景的场景图像；

所述生成模块704被配置为：

确定是否接收到图像采集停止信号；

当接收到所述图像采集停止信号时，将标注有POI信息的目标场景图像，以及所述通道的目标场景图像输入路网信息生成模型中，得到所述室内场景对应的路网。

可选地，所述路网信息生成模型用于通过如下模块进行处理：

三维重建子模块，被配置为根据输入的目标场景图像进行三维重建，得到每张所述目标场景图像对应的拍摄位姿的三维数据点；

转换子模块，被配置为将所述每张目标场景图像对应的拍摄位姿的三维数据点转换为二维数据点；

生成子模块，被配置为根据所述每张目标场景图像对应的拍摄位姿的二维数据点、以及输入的标志物的目标场景图像的POI信息生成所述室内场景对应的路网。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

通过上述任一室内路网生成装置，可以通过移动终端采集室内场景的场景图像，并可以根据图像清晰度对场景图像进行筛选，保证后续根据二维图像生成路网的结果准确度。并且，通过本公开的室内路网生成方法，可以在采集图像时，对标志物的场景图像进行自动POI信息标注，无需进行人工标注，可以实现路网提取的完全自动化，提高路网提取的效率。

基于同一发明构思，本公开实施例还提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现上述任一室内路网生成方法的步骤。

在一种可能的方式中，该电子设备的框图可以如图8所示。参照图8，该电子设备800可以包括：处理器801，存储器802。该电子设备800还可以包括多媒体组件803，输入/输出(I/O)接口804，以及通信组件805中的一者或多者。

其中，处理器801用于控制该电子设备800的整体操作，以完成上述的室内路网生成方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该电子设备800的操作，这些数据例如可以包括用于在该电子设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如采集到的场景图像等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(StaticRandom Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该电子设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的室内路网生成方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的室内路网生成方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由电子设备800的处理器801执行以完成上述的室内路网生成方法。

在另一种可能的方式中，该电子设备的框图可以如图9所示。参照图9，该电子设备900可以被提供为一服务器，包括处理器922，其数量可以为一个或多个，以及存储器932，用于存储可由处理器922执行的计算机程序。存储器932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器922可以被配置为执行该计算机程序，以执行上述的室内路网生成方法。

另外，电子设备900还可以包括电源组件926和通信组件950，该电源组件926可以被配置为执行电子设备900的电源管理，该通信组件950可以被配置为实现电子设备900的通信，例如，有线或无线通信。此外，该电子设备900还可以包括输入/输出(I/O)接口958。电子设备900可以操作基于存储在存储器932的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM等等。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的室内路网生成方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器932，上述程序指令可由电子设备900的处理器922执行以完成上述的室内路网生成方法。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的室内路网生成方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种室内路网生成方法，其特征在于，所述方法包括：

获取室内场景的场景图像，所述场景图像包括通道的场景图像以及标志物的场景图像；

根据图像清晰度从所述场景图像中确定目标场景图像；

对所述标志物的目标场景图像标注POI信息；

将标注有POI信息的目标场景图像、以及所述通道的目标场景图像输入路网信息生成模型中，得到所述室内场景对应的路网。

2.根据权利要求1所述的方法，其特征在于，所述根据图像清晰度从所述场景图像中确定目标场景图像，包括：

将图像清晰度大于或等于预设清晰度的场景图像作为目标场景图像；或者，

针对同一通道的多张场景图像，将图像清晰度最高的场景图像作为所述通道的目标场景图像，以及针对同一标志物的多张场景图像，将图像清晰度最高的场景图像作为所述标志物的目标场景图像。

3.根据权利要求1所述的方法，其特征在于，所述获取室内场景的场景图像，包括：

通过移动终端采集室内场景的场景图像，并根据采集顺序，将采集到的所述多张场景图像依次进行缓存；

所述方法还包括：

在根据图像清晰度从所述场景图像中确定目标场景图像后，删除所述缓存的除所述目标场景图像之外的其他场景图像。

4.根据权利要求1-3任一所述的方法，其特征在于，所述对所述标志物的目标场景图像标注POI信息，包括：

向服务器发送用于查询所述目标场景图像中标志物的POI信息的查询请求，以使所述服务器响应于所述查询请求，识别所述目标场景图像中标志物的POI信息；

接收所述服务器发送的所述目标场景图像中标志物的POI信息，并根据所述POI信息对所述标志物的目标场景图像进行标注。

5.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：

响应于采集到的场景图像，检测所述场景图像是否为标志物的场景图像；

若所述场景图像为标志物的场景图像，则将所述场景图像发送给服务器，以使所述服务器识别所述场景图像中标志物的POI信息；

接收所述服务器发送的所述场景图像中标志物的POI信息，并存储所述场景图像中标志物的POI信息；

所述对所述标志物的目标场景图像标注POI信息，包括：

在存储的POI信息中，查找所述目标场景图像中标志物的POI信息，并根据所述POI信息对所述标志物的目标场景图像进行标注。

6.根据权利要求1-3任一所述的方法，其特征在于，所述获取室内场景的场景图像，包括：

响应于接收到图像采集信号，通过移动终端采集室内场景的场景图像；

所述将标注有POI信息的目标场景图像，以及所述通道的目标场景图像输入路网信息生成模型中，得到所述室内场景对应的路网，包括：

确定是否接收到图像采集停止信号；

若接收到所述图像采集停止信号，则将标注有POI信息的目标场景图像，以及所述通道的目标场景图像输入路网信息生成模型中，得到所述室内场景对应的路网。

7.根据权利要求1-3任一所述的方法，其特征在于，所述路网信息生成模型用于进行如下处理：

根据输入的目标场景图像进行三维重建，得到每张所述目标场景图像对应的拍摄位姿的三维数据点；

将所述每张目标场景图像对应的拍摄位姿的三维数据点转换为二维数据点；

根据所述每张目标场景图像对应的拍摄位姿的二维数据点、以及输入的标志物的目标场景图像的POI信息生成所述室内场景对应的路网。

8.一种室内路网生成装置，其特征在于，所述装置包括：

获取模块，被配置为获取室内场景的场景图像，所述场景图像包括通道的场景图像以及标志物的场景图像；

选择模块，被配置为根据图像清晰度从所述场景图像中确定目标场景图像；

标注模块，被配置为对所述标志物的目标场景图像标注POI信息；

生成模块，被配置为将标注有POI信息的目标场景图像、以及所述通道的目标场景图像输入路网信息生成模型中，得到所述室内场景对应的路网。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。

Images