CN111801664A - 一种实景地图生成方法、装置、设备及可读存储介质 - Google Patents
一种实景地图生成方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN111801664A CN111801664A CN202080001086.3A CN202080001086A CN111801664A CN 111801664 A CN111801664 A CN 111801664A CN 202080001086 A CN202080001086 A CN 202080001086A CN 111801664 A CN111801664 A CN 111801664A
- Authority
- CN
- China
- Prior art keywords
- live
- action
- action image
- image set
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000011084 recovery Methods 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7328—Query by example, e.g. a complete video frame or video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种实景地图生成方法，包括：获取实景图像集以及与实景图像集对应的锚定点坐标；利用锚定点坐标计算实景图像集对应的预设坐标集；根据实景图像集对预设坐标集进行运动恢复结构处理，得到目标坐标集；利用实景图像集与目标坐标集生成实景地图；利用基于实景图像集的运动恢复结构处理可以保证目标坐标集的准确性，进而利用目标坐标集与实景图像集生成实景地图，可以在保证实景地图准确性的基础上，节省了设置室内定位设备以及利用室内定位设备生成地图所需的大量人力和时间，提高了实景地图的生成效率；此外，本发明还提供了一种实景地图生成装置、实景地图生成设备及计算机可读存储介质，也具有上述有益效果。
Description
技术领域
本发明涉及实景地图技术领域，特别涉及一种实景地图生成方法、实景地图生成装置、实景地图生成设备及计算机可读存储介质。
背景技术
实景图像为记录现实环境的图像，而具有地理位置信息的实景图像，在室外环境中，常被称为街景地图，在室内环境中，常被称为实景地图。
在室内环境下，GPS(Global Positioning System，全球定位系统)等卫星定位信号较弱，无法和在室外空旷环境一样用卫星定位的方式获得整个实景地图中各个图像的准确坐标信息。因此，在生成实景地图时，相关技术大多采用室内定位技术获取实景地图的坐标信息。然而，室内定位技术需要提前布置室内定位设备，且在生成实景地图的过程中对现场要求较高，大多数情况下需要清场，防止对信号产生干扰造成实景地图不准确的问题。因此，相关技术在生成实景地图时需要消耗大量人力和时间，实景地图生成效率较低。
因此，如何解决相关技术需要消耗大量人力和时间，实景地图生成效率较低的问题，是本领域技术人员需要解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种实景地图生成方法、实景地图生成装置、实景地图生成设备及计算机可读存储介质，解决了相关技术需要消耗大量人力和时间，实景地图生成效率较低的问题。
为解决上述技术问题，本发明提供了一种实景地图生成方法，包括：
获取实景图像集以及与所述实景图像集对应的锚定点坐标；
利用所述锚定点坐标计算所述实景图像集对应的预设坐标集；
根据所述实景图像集对所述预设坐标集进行运动恢复结构处理，得到目标坐标集；
利用所述实景图像集与所述目标坐标集生成实景地图。
可选地，所述获取实景图像集以及与所述实景图像集对应的锚定点坐标，包括：
获取多张实景图像，并利用所述实景图像组成所述实景图像集；
在所述实景图像集中确定目标实景图像；
获取各个所述目标实景图像对应的图像坐标，并将所述图像坐标确定为所述锚定点坐标。
可选地，所述获取实景图像集以及与所述实景图像集对应的锚定点坐标，包括：
获取实景视频；
按照预设抽样频率从所述实景视频中抽取多个图像帧，并利用所述图像帧组成所述实景图像集；
在所述实景图像集中确定目标图像帧；
获取各个所述目标图像帧对应的图像坐标，并将所述图像坐标确定为所述锚定点坐标。
可选地，所述利用所述锚定点坐标计算所述实景图像集对应的预设坐标集，包括：
确定所述实景图像集对应的坐标计算规则；
利用所述锚定点坐标，根据所述坐标计算规则，计算所述实景图像集中各个图像对应的预设坐标；
利用各个所述预设坐标构建所述预设坐标集。
可选地，所述根据所述实景图像集对所述预设坐标集进行运动恢复结构处理，得到目标坐标集，包括：
对所述实景图像集中的图像进行特征点提取，并对所述特征点进行匹配，得到多个特征点对；
利用所述特征点对进行空间结构恢复操作，得到空间结构；
根据所述空间结构对所述预设坐标集进行坐标修正，得到所述目标坐标集。
可选地，所述根据所述空间结构对所述预设坐标集进行坐标修正，得到所述目标坐标集，包括：
根据所述空间结构对所述预设坐标集进行坐标修正，得到中间坐标集；
对所述中间坐标集进行最小化误差处理，得到所述目标坐标集。
可选地，所述利用所述实景图像集与所述目标坐标集生成实景地图，包括：
将所述实景图像集中的图像进行拼合处理，得到初始实景地图；
利用所述目标坐标集对所述初始实景地图进行标记，得到所述实景地图。
本发明还提供了一种实景地图生成装置，包括：
获取模块，用于获取实景图像集以及与所述实景图像集对应的锚定点坐标；
计算模块，用于利用所述锚定点坐标计算所述实景图像集对应的预设坐标集；
处理模块，用于根据所述实景图像集对所述预设坐标集进行运动恢复结构处理，得到目标坐标集；
生成模块，用于利用所述实景图像集与所述目标坐标集生成实景地图。
本发明还提供了一种实景地图生成设备，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现上述的实景地图生成方法。
本发明还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的实景地图生成方法。
本发明提供的实景地图生成方法，获取实景图像集以及与实景图像集对应的锚定点坐标；利用锚定点坐标计算实景图像集对应的预设坐标集；根据实景图像集对预设坐标集进行运动恢复结构处理，得到目标坐标集；利用实景图像集与目标坐标集生成实景地图。
可见，该方法在获取实景图像集时同时获取对应的锚定点坐标，通过锚定点坐标可以计算得到实景图像集对应的预设坐标集，预设坐标集包括了实景图像集中各个图像的预设坐标，即大概坐标。对预设坐标集进行运动恢复结构处理，可以根据实景图像集中的实景图像对预设坐标集进行调整，得到实景图像集对应的准确的坐标集，即目标坐标集。基于实景图像集的运动恢复结构处理可以保证目标坐标集的准确性，利用目标坐标集与实景图像集生成实景地图，可以在保证实景地图准确性的基础上，节省了设置室内定位设备以及利用室内定位设备生成地图所需的大量人力和时间，提高了实景地图的生成效率，解决了相关技术需要消耗大量人力和时间，实景地图生成效率较低的问题。
此外，本发明还提供了一种实景地图生成装置、实景地图生成设备及计算机可读存储介质，同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种实景地图生成方法流程图；
图2为本发明实施例提供的一种实景图像集和锚定点坐标获取方法流程图；
图3为本发明实施例提供的另一种实景图像集和锚定点坐标获取方法流程图；
图4为本发明实施例提供的一种具体的实景地图生成方法流程图；
图5为本发明实施例提供的一种实景地图生成装置的结构示意图；
图6为本发明实施例提供的一种实景地图生成设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实景图像为记录现实环境的图像，而具有地理位置信息的实景图像，在室外环境中，常被称为街景地图，在室内环境中，常被称为实景地图。大多数的实景地图搭建方案大多数是关注室外环境的，即用于生成街景图像，例如通过车载设备或者无人机采集实景照片，而实景照片对应的地理位置信息一般通过搭载车载设备的车辆或无人机的GPS等卫星定位设备获取。
由于在室内环境中，GPS等卫星定位设备的信号会被削弱，因此会导致定位不准确的问题。为了保证定位的准确性，进而保证实景地图的准确程度，相关技术一般采用室内定位技术生成实景地图。具体的，在需要绘制实景地图的室内放置定位终端，定位终端对应的坐标为准确的地理坐标。利用携带有定位装置的图像获取设备获取图像，在获取图像的过程中，定位终端利用自身的地理坐标以及与图像获取设备之间的位置关系，对图像获取设备进行定位，得到获取到的图像对应的准确地理位置信息，完成实景地图的生成。
然而，使用室内定位技术生成实景地图具有较大的弊端。该方法对生成实景地图的设备具有一定要求，同时，需要在生成地图前放置定位终端，在生成过后回收定位终端；且在生成实景地图的过程中，为了避免人员在定位终端以及图像获取设备之间的走动对设备与终端间的信号强度产生干扰，进而因信号强度变化引起定位偏差等问题，需要对整个空间进行清场，整个实景地图的生成过程需要耗费大量的人力和时间。
为了解决上述问题，本申请提供了一种实景地图生成方法，以及对应的装置、设备和计算机可读存储介质。该方法不需要设置室内定位终端，通过对实景图像集对应的坐标集进行运动恢复结构处理，即可基于实景图像集中的图像对坐标进行修正，保证实景图像集对应的目标坐标集的准确。在保证实景地图准确性的基础上减少了人力和时间的消耗，大大提高了效率。
具体的，在一种可能的实施方式中，请参考图1。图1为本发明实施例提供的一种实景地图生成方法流程图，该方法包括：
S101：获取实景图像集以及与实景图像集对应的锚定点坐标。
实景图像集包括多张实景图像，实景图像用于生成实景地图，实景图像的具体数量本实施例不做限定。需要说明的是，实景图像为连续的图像，即相邻图像之间具有重叠的部分，以便后续对其进行运动恢复结构处理。实景图像集的获取方法本实施例不做限定，例如可以设置有预设路径，按照预设路径获取实景图像，进而组成实景图像集，在可能的实施方式中，可以在获取实景图像的过程中根据实际情况适当偏离预设路径；或者可以不设定固定的预设路径，根据实际需要选择实际路径获取实景图像，进而组成实景图像集。
锚定点坐标与实景图像集相对应，其具体数量为多个，锚定点坐标为实景图像集中的目标实景图像对应的坐标，需要说明的是，锚定点坐标为利用非室内定位技术获取的准确坐标，具体获取方法本实施例不做限定，例如可以利用卫星定位技术获取锚定点坐标；或者可以利用手机或无线通讯信号基站对锚定点进行定位，得到锚定点坐标。锚定点坐标对应的锚定点可以为任意的位置点，例如可以为预设路径的起点、终点、转折点或其他任意点。
由于锚定点坐标为目标实景图像的坐标，因此锚定点坐标对应的锚定点一定处于实景图像集的实际路径上。当采用预设路径的实景图像集获取方法时，本实施例并不限定预设路径和锚定点的确定顺序。具体的，可以先确定预设路径，并在预设路径中选择具有准确坐标的点作为锚定点；或者可以先确定多个锚定点，并基于锚定点设置预设路径。同理，在根据实际需要选择实际路径获取实景图像集时，可以先获取实景图像集，得到实际路径，然后在实际路径上选择多个具有准确坐标的点作为锚定点；或者可以先确定多个锚定点，并在锚定点获取目标实景图像，并利用目标实景图像和其他的实景图像组成实景图像集。
S102：利用锚定点坐标计算实景图像集对应的预设坐标集。
在得到锚定点坐标以及实景图像集后，利用锚定点坐标计算实景图像集对应的预设坐标集。预设坐标集内包括多个预设坐标，每个预设坐标与实景图像集中的每张实景图像相对应。
预设坐标为实景图像的大概坐标，其与实景图像相对应，具体计算方法本实施例不做限定，例如当存在预设路径时，可以将预设路径中各个锚定点间的长度平均分段，得到多个预设点，并利用锚定点坐标对预设点的坐标进行计算，得到预设坐标，进而组成预设坐标集；在不存在预设路径时，可以利用直线或曲线将各个锚定点相连，得到模拟路径，在模拟路径上确定预设点并计算预设坐标，最终得到预设坐标集。
S103：根据实景图像集对预设坐标集进行运动恢复结构处理，得到目标坐标集。
预设坐标集中的坐标为大概的坐标，其是不准确的。为了生成准确地实景地图，需要对其进行调整，得到目标坐标集，目标坐标集即为实景图像集对应的准确坐标集。具体的，运动恢复结构即为Structure From Motion，SFM，通过在不同图片中定位多个共同特征点，并根据光线直线传播的原则，结合特征点在至少两张图片上像素位置的变化以及图像获取设备的参数，反算出图像获取设备的位置，即实景图像对应的目标位置。设备的参数可以包括但不限于焦距、感光元件尺寸、相机矩阵等。
需要说明的是，运动恢复结构处理可以采用SFM算法，或者可以采用其他类似的算法或程序对预设坐标集进行处理，只需得到目标坐标集即可。本实施例并不限定目标坐标集中目标坐标的表示形式，其与预设坐标集的表示形式相同，即与锚定点坐标的表示形式相同，例如可以为经纬度坐标形式；或者可以根据实际需要选择其他形式，例如可以为自定义坐标系中的坐标表示形式。
S104：利用实景图像集与目标坐标集生成实景地图。
在得到目标坐标集后，可以利用实景图像集与目标坐标集生成实景地图，本实施例并不限定实景地图的具体生成方法，可以参考相关技术，在此不再赘述。本实施例中不需要利用室内定位技术获取准确的位置信息，而是利用运动恢复结构处理得到目标坐标集，在保证了实景地图准确性的同时，节省了设置室内定位设备以及利用室内定位设备生成地图所需的大量人力和时间。
应用本发明实施例提供的实景地图生成方法，在获取实景图像集时同时获取对应的锚定点坐标，通过锚定点坐标可以计算得到实景图像集对应的预设坐标集，预设坐标集包括了实景图像集中各个图像的预设坐标，即大概坐标。对预设坐标集进行运动恢复结构处理，可以根据实景图像集中的图像对预设坐标集进行调整，得到实景图像集对应的准确的坐标集，即目标坐标集。基于实景图像集的运动恢复结构处理可以保证目标坐标集的准确性，利用目标坐标集与实景图像集生成实景地图，可以在保证实景地图准确性的基础上，节省了设置室内定位设备以及利用室内定位设备生成地图所需的大量人力和时间，提高了实景地图的生成效率，解决了相关技术需要消耗大量人力和时间，实景地图生成效率较低的问题。
基于上述实施例，在一种可能的实施方式中，可以采用拍照的方式获取实景图像集。具体请参考图2，图2为本发明实施例提供的一种实景图像集和锚定点坐标获取方法流程图，包括：
S201：获取多张实景图像，并利用实景图像组成实景图像集。
在本实施例中，通过拍照获取实景图像的方法组成实景图像集，本实施例并不限定获取实景图像的具体途径，例如可以将图像获取设备设置于机器人上，由机器人利用图像获取设备获取实景图像；或者可以利用人工的方式获取实景图像。进一步，为了保证实景图像的清晰，可以利用具有防抖功能的图像获取设备获取实景图像；或者可以利用安装有云台的图像获取设备获取实景图像，本实施例并不对图像获取设备的具体内容做出限定，例如可以为全景相机、普通相机或手机等。
本实施例并不限定获取实景图像的具体方法，例如可以在运动中按照预设时间间隔获取实景图像，运动可以为匀速运动或非匀速运动；或者可以按照预设距离间隔获取实景图像。在获取到实景图像后，利用其组成实景图像集。
S202：在实景图像集中确定目标实景图像。
需要说明的是，本实施例中目标实景图像为具有准确坐标的实景图像，即在锚定点拍摄的实景图像。因此在获取实景图像集后，在其中确定目标实景图像，以便获取锚定点坐标。
S203：获取各个目标实景图像对应的图像坐标，并将图像坐标确定为锚定点坐标。
在确定目标实景图像后，获取其对应的图像坐标，则该图像坐标即为锚定点坐标。需要说明的是，本实施例并不限定锚定点与目标实景图像的确定顺序，即可以先确定锚定点，并将锚定点处拍摄的实景图像确定为目标实景图像；或者可以先确定目标实景图像，即将全部或部分具有准确坐标的实景图像确定为目标实景图像，并将其拍摄位置确定为锚定点，将其坐标确定为锚定点坐标。
在另一种可能的实施方式中，为了提高目标实景图像的选择灵活度和实景图像集的选择灵活度，可以采用抽取图像帧的方式获取实景图像集。可以参考图3，图3为本发明实施例提供的另一种实景图像集和锚定点坐标获取方法流程图，包括：
S301：获取实景视频。
在本实施例中，通过在实景视频中抽取图像帧的方式获取实景图像集，实景视频的获取方法本实施例不做限定，可以参考上述实景图像的获取方法。
S302：按照预设抽样频率从实景视频中抽取多个图像帧，并利用图像帧组成实景图像集。
具体的，可以按照预设抽样频率从实景视频中抽取多个图像帧，进而组成实景图像集。预设抽样频率的具体大小可以根据实际情况设定，本实施例不做限定。由于实景视频中具有多个图像帧，因此可以提高实景图像集的选择灵活度。需要说明的是，图像帧只是实景图像的一种特殊形式，图像帧本身仍是实景图像。
在另一种可能的实施方式中，可以根据实际需要设定抽样规则，按照抽样规则从实景视频中抽取图像帧，或者可以由人工选择图像帧。在抽取图像帧后，还可以对实景图像集中的图像帧进行新增、删除或替换，本实施例对此不做限定。
S303：在实景图像集中确定目标图像帧。
在得到实景图像集后，可以从中确定目标图像帧，目标图像帧即为在锚定点获取的图像帧。由于图像帧的选择更具灵活性，因此目标图像帧的选择也可以更加灵活。
S304：获取各个目标图像帧对应的图像坐标，并将图像坐标确定为锚定点坐标。
本实施例中，目标图像帧即为目标实景图像，目标图像帧的坐标即为锚定点坐标。
基于上述实施例，在一种可能的实施方式中，在得到锚定点坐标后，可以设置有坐标计算规则，利用坐标计算规则计算预设坐标。具体请参考图4，图4为本发明实施例提供的一种具体的实景地图生成方法流程图，包括：
S401：确定实景图像集对应的坐标计算规则。
坐标计算规则用于计算预设坐标，在本实施例中，坐标计算规则与实景图像集相对应，本实施例并不限定坐标计算规则的具体内容，具体的，可以根据实景图像集的获取方式确定坐标计算规则。例如在具有预设路径时，可以按照预设路径设置坐标计算规则，在某些可能的实施方式中，获取实景图像时适当偏离了预设路径，在这种情况下可以仍然按照预设路径设置坐标计算规则，或者可以根据预设路径和偏移量设置坐标计算规则。当不存在预设路径时，可以利用直线或曲线将锚定点相连，得到模拟路径，以便根据模拟路径设置坐标计算规则。此外，还可以利用预设获取间隔确定各个实景图像的分布，以便计算各个预设坐标。预设获取间隔可以为时间间隔，例如一秒；或者可以为距离间隔，例如50厘米。
S402：利用锚定点坐标，根据坐标计算规则，计算实景图像集中各个实景图像对应的预设坐标。
利用锚定点坐标根据坐标计算规则对预设坐标进行计算，即可得到实景图像集中各个实景图像对应的预设坐标。
S403：利用各个预设坐标构建预设坐标集。
在得到预设坐标后，利用其与锚定点坐标一起构建预设坐标集。
在本实施例中，运动恢复结构处理的过程包括S404、S405和S406三个步骤，具体的：
S404：对实景图像集中的实景图像进行特征点提取，并对特征点进行匹配，得到多个特征点对。
在对预设坐标集进行修正前，需要对实景图像集中的实景图像进行特征点提取，并将不同实景图像中的特征点进行匹配，相同的特征点即可构成特征点对，以便在后续构建空间视觉结构，即稀疏点云。需要说明的是，由于特征点对中的特征点为不同实景图像中的同一特征，因此这多张实景图像为相邻的实景图像。
S405：利用特征点对进行空间结构恢复操作，得到空间结构。
空间结构即为实景图像所记录的空间结构，也可以被称为稀疏点云。在得到特征点对后，利用其进行空间结构恢复操作，可以确定各个特征点之间的相对空间位置，而该相对空间位置即为特征点对应的空间结构。
S406：根据空间结构对预设坐标集进行坐标修正，得到目标坐标集。
在得到空间结构后，利用其对预设标记中的部分或全部预设坐标进行修正，即可得到目标坐标集。具体的，坐标修正即利用空间结构进行基于预设坐标集的坐标推算，得到各个实景图像对应的拍摄位置坐标，或称为图像坐标，该拍摄位置坐标即为目标坐标集中的目标坐标。
在一种可能的实施方式中，还可以进行最小化误差处理，以便进一步提高目标坐标集的准确性，此时，S406步骤可以包括：
S4061：根据空间结构对预设坐标集进行坐标修正，得到中间坐标集。
在对预设坐标集进行坐标修正后，可以得到一个或多个中间坐标集，不同的中间坐标集可以为对预设坐标集进行不同的坐标修正得到的坐标集，其数量和具体内容本实施例不做限定。
S4062：对中间坐标集进行最小化误差处理，得到目标坐标集。
在得到中间坐标集后，对其进行最小化误差处理，以便减少误差，最终得到目标坐标集。最小化误差处理也可以称为全局最优策略，具体的处理过程本实施例不做限定，可以参考相关技术。
S407：将实景图像集中的实景图像进行拼合处理，得到初始实景地图。
实景地图一般为整张图像，因此在得到目标坐标集后，为了生成实景地图，需要将实景图像集中的实景图像进行拼合处理，以便得到整张的实景地图，即初始实景地图。
S408：利用目标坐标集对初始实景地图进行标记，得到实景地图。
通过利用目标坐标集对初始实景地图进行标记，可以使其附带有准确的坐标信息，最终得到实景地图。
下面对本发明实施例提供的实景地图生成装置进行介绍，下文描述的实景地图生成装置与上文描述的实景地图生成方法可相互对应参照。
请参考图5，图5为本发明实施例提供的一种实景地图生成装置的结构示意图，包括：
获取模块510，用于获取实景图像集以及与实景图像集对应的锚定点坐标；
计算模块520，用于利用锚定点坐标计算实景图像集对应的预设坐标集；
处理模块530，用于根据实景图像集对预设坐标集进行运动恢复结构处理，得到目标坐标集；
生成模块540，用于利用实景图像集与目标坐标集生成实景地图。
可选地，获取模块510，包括：
第一图像集获取单元，用于获取多张实景图像，并利用实景图像组成实景图像集；
第一确定单元，用于在实景图像集中确定目标实景图像；
第一坐标获取单元，用于获取各个目标实景图像对应的图像坐标，并将图像坐标确定为锚定点坐标。
可选地，获取模块510，包括：
视频获取单元，用于获取实景视频；
第二图像集获取单元，用于按照预设抽样频率从实景视频中抽取多个图像帧，并利用图像帧组成实景图像集；
第二确定单元，用于在实景图像集中确定目标图像帧；
第二坐标获取单元，用于获取各个目标图像帧对应的图像坐标，并将图像坐标确定为锚定点坐标。
可选地，计算模块520，包括：
计算规则确定单元，用于确定实景图像集对应的坐标计算规则；
预设坐标计算单元，用于利用锚定点坐标，根据坐标计算规则，计算实景图像集中各个图像对应的预设坐标；
预设坐标集构建单元，用于利用各个预设坐标构建预设坐标集。
可选地，处理模块530，包括：
特征点提取单元，用于对实景图像集中的图像进行特征点提取，并对特征点进行匹配，得到多个特征点对；
空间结构生成单元，用于利用特征点对进行空间结构恢复操作，得到空间结构；
坐标修正单元，用于根据空间结构对预设坐标集进行坐标修正，得到目标坐标集。
可选地，坐标修正单元，包括：
修正子单元，用于根据空间结构对预设坐标集进行坐标修正，得到中间坐标集；
误差处理子单元，用于对中间坐标集进行最小化误差处理，得到目标坐标集。
可选地，生成模块540，包括：
拼合单元，用于将实景图像集中的图像进行拼合处理，得到初始实景地图；
标记单元，用于利用目标坐标集对初始实景地图进行标记，得到实景地图。
应用本发明实施例提供的实景地图生成装置，在获取实景图像集时同时获取对应的锚定点坐标，通过锚定点坐标可以计算得到实景图像集对应的预设坐标集，预设坐标集包括了实景图像集中各个图像的预设坐标，即大概坐标。对预设坐标集进行运动恢复结构处理，可以根据实景图像集中的图像对预设坐标集进行调整，得到实景图像集对应的准确的坐标集，即目标坐标集。基于实景图像集的运动恢复结构处理可以保证目标坐标集的准确性，利用目标坐标集与实景图像集生成实景地图，可以在保证实景地图准确性的基础上，节省了设置室内定位设备以及利用室内定位设备生成地图所需的大量人力和时间，提高了实景地图的生成效率，解决了相关技术需要消耗大量人力和时间，实景地图生成效率较低的问题。
下面对本发明实施例提供的实景地图生成设备进行介绍，下文描述的实景地图生成设备与上文描述的实景地图生成方法可相互对应参照。
请参考图6，图6为本发明实施例提供的一种实景地图生成设备的结构示意图。其中实景地图生成设备600可以包括处理器601和存储器602，还可以进一步包括多媒体组件603、信息输入/信息输出(I/O)接口604以及通信组件605中的一种或多种。
其中，处理器601用于控制实景地图生成设备600的整体操作，以完成上述的实景地图生成方法中的全部或部分步骤；存储器602用于存储各种类型的数据以支持在实景地图生成设备600的操作，这些数据例如可以包括用于在该实景地图生成设备600上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static RandomAccess Memory，SRAM)、电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、只读存储器(Read-Only Memory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。
多媒体组件603可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器602或通过通信组件605发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口604为处理器601和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件605用于实景地图生成设备600与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件605可以包括：Wi-Fi部件，蓝牙部件，NFC部件。
实景地图生成设备600可以被一个或多个应用专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、数字信号处理器(Digital SignalProcessor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的实景地图生成方法。
下面对本发明实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的实景地图生成方法可相互对应参照。
本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的实景地图生成方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语包括、包含或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上对本发明所提供的实景地图生成方法、实景地图生成装置、实景地图生成设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种实景地图生成方法，其特征在于，包括：
获取实景图像集以及与所述实景图像集对应的锚定点坐标；
利用所述锚定点坐标计算所述实景图像集对应的预设坐标集；
根据所述实景图像集对所述预设坐标集进行运动恢复结构处理，得到目标坐标集；
利用所述实景图像集与所述目标坐标集生成实景地图。
2.根据权利要求1所述的实景地图生成方法，其特征在于，所述获取实景图像集以及与所述实景图像集对应的锚定点坐标，包括：
获取多张实景图像，并利用所述实景图像组成所述实景图像集；
在所述实景图像集中确定目标实景图像；
获取各个所述目标实景图像对应的图像坐标，并将所述图像坐标确定为所述锚定点坐标。
3.根据权利要求1所述的实景地图生成方法，其特征在于，所述获取实景图像集以及与所述实景图像集对应的锚定点坐标，包括：
获取实景视频；
按照预设抽样频率从所述实景视频中抽取多个图像帧，并利用所述图像帧组成所述实景图像集；
在所述实景图像集中确定目标图像帧；
获取各个所述目标图像帧对应的图像坐标，并将所述图像坐标确定为所述锚定点坐标。
4.根据权利要求1所述的实景地图生成方法，其特征在于，所述利用所述锚定点坐标计算所述实景图像集对应的预设坐标集，包括：
确定所述实景图像集对应的坐标计算规则；
利用所述锚定点坐标，根据所述坐标计算规则，计算所述实景图像集中各个实景图像对应的预设坐标；
利用各个所述预设坐标构建所述预设坐标集。
5.根据权利要求1所述的实景地图生成方法，其特征在于，所述根据所述实景图像集对所述预设坐标集进行运动恢复结构处理，得到目标坐标集，包括：
对所述实景图像集中的实景图像进行特征点提取，并对所述特征点进行匹配，得到多个特征点对；
利用所述特征点对进行空间结构恢复操作，得到空间结构；
根据所述空间结构对所述预设坐标集进行坐标修正，得到所述目标坐标集。
6.根据权利要求5所述的实景地图生成方法，其特征在于，所述根据所述空间结构对所述预设坐标集进行坐标修正，得到所述目标坐标集，包括：
根据所述空间结构对所述预设坐标集进行坐标修正，得到中间坐标集；
对所述中间坐标集进行最小化误差处理，得到所述目标坐标集。
7.根据权利要求1所述的实景地图生成方法，其特征在于，所述利用所述实景图像集与所述目标坐标集生成实景地图，包括：
将所述实景图像集中的实景图像进行拼合处理，得到初始实景地图；
利用所述目标坐标集对所述初始实景地图进行标记，得到所述实景地图。
8.一种实景地图生成装置，其特征在于，包括：
获取模块，用于获取实景图像集以及与所述实景图像集对应的锚定点坐标；
计算模块，用于利用所述锚定点坐标计算所述实景图像集对应的预设坐标集；
处理模块，用于根据所述实景图像集对所述预设坐标集进行运动恢复结构处理，得到目标坐标集；
生成模块，用于利用所述实景图像集与所述目标坐标集生成实景地图。
9.一种实景地图生成设备，其特征在于，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的实景地图生成方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的实景地图生成方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/089553 WO2021226780A1 (zh) | 2020-05-11 | 2020-05-11 | 一种实景地图生成方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111801664A true CN111801664A (zh) | 2020-10-20 |
Family
ID=72834259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080001086.3A Pending CN111801664A (zh) | 2020-05-11 | 2020-05-11 | 一种实景地图生成方法、装置、设备及可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111801664A (zh) |
| WO (1) | WO2021226780A1 (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106646562A (zh) * | 2016-09-09 | 2017-05-10 | 华东师范大学 | 高精度三维实景室内外一体化定位方法及装置 |
| CN108205319A (zh) * | 2016-12-19 | 2018-06-26 | 三星电子株式会社 | 可移动对象及其控制方法 |
| US20180261005A1 (en) * | 2017-03-07 | 2018-09-13 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and Apparatus for Constructing Three-Dimensional Map |
| CN110260857A (zh) * | 2019-07-02 | 2019-09-20 | 北京百度网讯科技有限公司 | 视觉地图的校准方法、装置及存储介质 |
| JP2019207467A (ja) * | 2018-05-28 | 2019-12-05 | 株式会社イームズラボ | ３次元マップ補正装置、３次元マップ補正方法及び３次元マップ補正プログラム |
| CN110738143A (zh) * | 2019-09-27 | 2020-01-31 | Oppo广东移动通信有限公司 | 定位方法及装置、设备、存储介质 |
-
2020
- 2020-05-11 WO PCT/CN2020/089553 patent/WO2021226780A1/zh active Application Filing
- 2020-05-11 CN CN202080001086.3A patent/CN111801664A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106646562A (zh) * | 2016-09-09 | 2017-05-10 | 华东师范大学 | 高精度三维实景室内外一体化定位方法及装置 |
| CN108205319A (zh) * | 2016-12-19 | 2018-06-26 | 三星电子株式会社 | 可移动对象及其控制方法 |
| US20180261005A1 (en) * | 2017-03-07 | 2018-09-13 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and Apparatus for Constructing Three-Dimensional Map |
| JP2019207467A (ja) * | 2018-05-28 | 2019-12-05 | 株式会社イームズラボ | ３次元マップ補正装置、３次元マップ補正方法及び３次元マップ補正プログラム |
| CN110260857A (zh) * | 2019-07-02 | 2019-09-20 | 北京百度网讯科技有限公司 | 视觉地图的校准方法、装置及存储介质 |
| CN110738143A (zh) * | 2019-09-27 | 2020-01-31 | Oppo广东移动通信有限公司 | 定位方法及装置、设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021226780A1 (zh) | 2021-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9124804B2 (en) | Using accelerometer information for determining orientation of pictures and video images | |
| US20160178728A1 (en) | Indoor Positioning Terminal, Network, System and Method | |
| CN102338639A (zh) | 信息处理设备和信息处理方法 | |
| CN110703805B (zh) | 立体物体测绘航线规划方法、装置、设备、无人机及介质 | |
| JP6804806B2 (ja) | 測位精度情報算出装置及び測位精度情報算出方法 | |
| JP2010117291A (ja) | ナビゲーション装置 | |
| CN103843329A (zh) | 用于立体图像对的有条件显示的方法和设备 | |
| US9749597B2 (en) | Precise target positioning in geographical imaging | |
| KR20100060472A (ko) | 위치 측정 방법 및 이를 이용한 휴대 단말기 | |
| JP6064269B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2022507714A (ja) | 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体 | |
| CN212254095U (zh) | 一种国土规划用土地测绘装置 | |
| CN104954679A (zh) | 一种图片拍摄的控制方法、装置及终端 | |
| US20220262094A1 (en) | Image processing method, image processing device, and program | |
| CN111801664A (zh) | 一种实景地图生成方法、装置、设备及可读存储介质 | |
| CN114608591B (zh) | 车辆定位方法、装置、存储介质、电子设备、车辆及芯片 | |
| JP5817012B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN116228860A (zh) | 目标物的地理位置预测方法、装置、设备及存储介质 | |
| KR101183519B1 (ko) | Ｐｏｉ 정보 생성시스템 및 생성방법 | |
| JP6643858B2 (ja) | 投影システム、投影方法、およびプログラム | |
| CN117014589B (zh) | 投影方法、装置、电子设备和存储介质 | |
| CN113763561B (zh) | Poi数据生成方法、装置、存储介质及电子设备 | |
| CN115201796B (zh) | 一种车辆传感器的外参校正方法 | |
| CN109977784B (zh) | 用于获取信息的方法及装置 | |
| EP2843365A2 (en) | Site surveying |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210929 Address after: P.O. Box 4519, 30 de Castro street, 1 Wickham Island, road town of Tortola, British Virgin Islands Applicant after: Fengtuzhi Technology Holding Co.,Ltd. Address before: Room 901, Cheung Sha Wan building, 909 Cheung Sha Wan Road, Lai Chi Kok, Hong Kong, China Applicant before: Fengtu Technology Co.,Ltd. |