CN109859612A - 一种街景数据的三维注释的方法及其系统 - Google Patents

一种街景数据的三维注释的方法及其系统 Download PDF

Info

Publication number
CN109859612A
CN109859612A CN201910038889.5A CN201910038889A CN109859612A CN 109859612 A CN109859612 A CN 109859612A CN 201910038889 A CN201910038889 A CN 201910038889A CN 109859612 A CN109859612 A CN 109859612A
Authority
CN
China
Prior art keywords
streetscape
annotation
multiframe
picture
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910038889.5A
Other languages
English (en)
Inventor
崔岩
刘强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Siwei Times Network Technology Co Ltd
Sino German (zhuhai) Artificial Intelligence Research Institute Co Ltd
Original Assignee
Zhuhai Siwei Times Network Technology Co Ltd
Sino German (zhuhai) Artificial Intelligence Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Siwei Times Network Technology Co Ltd, Sino German (zhuhai) Artificial Intelligence Research Institute Co Ltd filed Critical Zhuhai Siwei Times Network Technology Co Ltd
Priority to CN201910038889.5A priority Critical patent/CN109859612A/zh
Publication of CN109859612A publication Critical patent/CN109859612A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

本发明公开了一种街景数据的三维注释的方法，包括以下步骤：获取街景的场景点的场景图像，由一个或多个计算设备接收要与街道全景摄影图像的所选部分相关联的内容；将所述全景摄影图像分解为多帧街景图片，并投影到球形坐标系上；将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；由一个或多个计算设备存储，具有位置的内容形成注释；所述一个或多个计算设备生成所述注释，本发明使用户能够在观看二维图像的同时创建与三维对象相对应的注释；这通过将选择对象投影到从多个二维图像创建的三维模型上来实现；在观看对应于三维模型的一部分的第一图像的同时，用户输入选择对象。

Description

一种街景数据的三维注释的方法及其系统
技术领域
本发明属于街景数据的三维注释技术领域，具体涉及一种街景数据的三维注释的方法及其系统。
背景技术
存在存储和显示图像的计算机系统。这些图像可以包括诸如建筑物的三维物体的照片；可以对显示的图像进行地理编码以对应于地图上的位置；另外，注释可用于提供关于图像的信息；作为示例，注释可以包括标识与图像中所示的特定建筑物相关联的商业的文本。
为此，我们提出一种街景数据的三维注释的方法及其系统来解决现有技术中存在的问题。
发明内容
本发明的目的在于提供一种街景数据的三维注释的方法及其系统，以解决上述背景技术中提出现有技术中的问题。
为实现上述目的，本发明采用了如下技术方案：
一种街景数据的三维注释的方法，包括以下步骤：
S10、获取街景的场景点的场景图像，由一个或多个计算设备接收要与街道全景摄影图像的所选部分相关联的内容；
S20、将所述全景摄影图像分解为多帧街景图片，并投影到球形坐标系上；
S30、将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；
S40、由一个或多个计算设备存储，具有位置的内容形成注释；所述一个或多个计算设备生成所述注释。
优选的：还包括由所述一个或多个计算设备生成用于在地图上显示的注释。
优选的：在步骤S20中，进一步的还包括：
S201、识别图像特征；
S202、匹配识别特征；
S203、在三维空间中计算特征点；
S204、基于计算的特征点估算立面和平面；
S205、估算街道平面。
优选的：在步骤S40中，进一步的还包括：
S401、选择边界注释框；
S402、在三维模型上建立边界框；
S403、在投影的位置存储注释；
S404、在不同的图像中显示注释。
优选的：所述三维模型包括一个或多个街道平面和一个或多个立面平面。
本发明还提供一种街景数据的三维注释的系统，包括获取全景视频流的视频单元和所述视频单元相连接的视频流处理单元，所述视频流处理单元对所述全景视频流进行如下处理：将所述全景视频流分解为多帧街景图片，并投影到球形坐标系上；将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；在所述球形坐标系上，按照所述视频流通道连续播放所述多帧街景图片
优选的：统进一步包括进行图片显示的显示设备，所述显示设备和所述视频流处理单元相连接。
优选的：所述视频单元包括至少一个摄像头。
本发明的技术效果和优点：本发明提出的一种街景数据的三维注释的方法及其系统，与现有技术相比，本发明使用户能够在观看二维图像的同时创建与三维对象相对应的注释；在一个实施例中，这通过将选择对象(例如，边界框)投影到从多个二维图像创建的三维模型上来实现；在观看对应于三维模型的一部分的第一图像的同时，用户输入选择对象；确定与三维模型上的投影对应的位置，并且用户在观看第一图像时输入的内容与该位置相关联；内容与位置信息一起存储以形成注释。
附图说明
图1为本发明的一个实施例街景数据的三维注释的方法流程图；
图2为本发明的一个实施例街景数据的三维注释步骤S20的方法流程图；
图3为本发明的一个实施例街景数据的三维注释步骤S40的方法流程图；
图4为本发明的一个实施例街景数据的三维注释系统模块示意图：
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本发明提供了如图1-4所示的：
一种街景数据的三维注释的方法，包括以下步骤：
S10、获取街景的场景点的场景图像，由一个或多个计算设备接收要与街道全景摄影图像的所选部分相关联的内容；
S20、将所述全景摄影图像分解为多帧街景图片，并投影到球形坐标系上；
S30、将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；
S40、由一个或多个计算设备存储，具有位置的内容形成注释；所述一个或多个计算设备生成所述注释。
本发明实施例中，具体的：还包括由所述一个或多个计算设备生成用于在地图上显示的注释。
本发明实施例中，具体的：在步骤S20中，进一步的还包括：
S201、识别图像特征；
S202、匹配识别特征；
S203、在三维空间中计算特征点；
S204、基于计算的特征点估算立面和平面；
S205、估算街道平面。
在步骤201中，识别图像的特征。在一个实施例中，从图像中提取特征以用于后续比较。在一个实施例中，使用的图像是沿着行进路线从附近位置到彼此拍摄的街道级全景图像。
在步骤202中，匹配相邻图像中的特征。在一个实施例中，匹配特征可以包括构建溢出树。。
在步骤S203中，计算特征的位置，例如，作为三维空间中的点。在一个实施例中，通过使用在步骤202中确定的匹配特征对来计算立体三角测量来确定点。
在步骤S204中，基于在步骤S203中计算的点云来估计立面平面。在一个实施例中，步骤S204可以包括使用自适应优化算法或最佳拟合算法。在一个实施例中，步骤S204包括扫描例如与街道对齐的平面。
在步骤S205中，基于街道的位置估计街道平面。在步骤S204中估计的这些街道平面与立面平面一起用于形成与多个二维图像中所示的对象相对应的三维模型。
本发明实施例中，具体的：在步骤S40中，进一步的还包括：
S401、选择边界注释框；
S402、在三维模型上建立边界框；
S403、在投影的位置存储注释；
S404、在不同的图像中显示注释。
本发明实施例中，具体的：所述三维模型包括一个或多个街道平面和一个或多个立面平面。
在步骤S401中，用户选择用于创建注释的边界框(例如，选择对象)。边界框可用于选择从街道级别拍摄的图像的一部分。在一个实施例中，用户可以通过使用输入设备(例如，鼠标)绘制图像中的边界框的周界来选择边界框。
在步骤S402中，将边界框(选择对象)投影到三维模型上。在一个实施例中，可以通过将光线从摄像机视点通过边界框延伸到三维模型并确定光线与三维模型之间的交叉来执行投影。
在步骤S403中，将与步骤S402中执行的投影相对应的位置与用户输入的内容(例如，注释)一起存储。作为示例，在步骤S403中，注释可以存储在数据库中。在实施例中，用户输入的内容可以包括文本，HTML，XML，图像，视频或其他多媒体内容。
在步骤S404中，在步骤S403中存储的注释与对应于步骤S402的投影的位置的第二图像一起或在其上显示。作为示例，第二图像可以是街道级全景图像。在一个实施例中，注释可以与地图一起显示或在地图之上显示。
本发明还提供一种街景数据的三维注释的系统，包括获取全景视频流的视频单元10，所述视频单元10用于获取全景视频流，其和所述视频单元10相连接的视频流处理单元20，所述视频流处理单元20对所述全景视频流进行如下处理：将所述全景视频流分解为多帧街景图片，并投影到球形坐标系上；将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；在所述球形坐标系上，按照所述视频流通道连续播放所述多帧街景图片
本发明实施例中，具体的：统进一步包括进行图片显示的显示设备30，所述显示设备30和所述视频流处理单元20相连接，可以理解的是，通过所述显示设备30，即可显示所播放的所述多帧街景图片。
可以理解的是，所述显示设备30还可以直接和所述视频单元10连接，以直接显示所述视频单元10获取的全景视频流。
本发明实施例中，具体的：所述视频单元包括至少一个摄像头，可以理解的是，对于不同地方的街景，通过摄像头即可实时获得对应的全景视频流。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种街景数据的三维注释的方法，其特征在于，包括以下步骤：
S10、获取街景的场景点的场景图像，由一个或多个计算设备接收要与街道全景摄影图像的所选部分相关联的内容；
S20、将所述全景摄影图像分解为多帧街景图片，并投影到球形坐标系上；
S30、将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；
S40、由一个或多个计算设备存储，具有位置的内容形成注释；所述一个或多个计算设备生成所述注释。
2.根据权利要求1所述的一种街景数据的三维注释的方法，其特征在于：还包括由所述一个或多个计算设备生成用于在地图上显示的注释。
3.根据权利要求1所述的一种街景数据的三维注释的方法，其特征在于：在步骤S20中，进一步的还包括：
S201、识别图像特征；
S202、匹配识别特征；
S203、在三维空间中计算特征点；
S204、基于计算的特征点估算立面和平面；
S205、估算街道平面。
4.根据权利要求1所述的一种街景数据的三维注释的方法，其特征在于：在步骤S40中，进一步的还包括：
S401、选择边界注释框；
S402、在三维模型上建立边界框；
S403、在投影的位置存储注释；
S404、在不同的图像中显示注释。
5.根据权利要求4所述的一种街景数据的三维注释的方法，其特征在于：所述三维模型包括一个或多个街道平面和一个或多个立面平面。
6.一种根据权利要求1-5所述的街景数据的三维注释的系统，其特征在于：包括获取全景视频流的视频单元和所述视频单元相连接的视频流处理单元，所述视频流处理单元对所述全景视频流进行如下处理：将所述全景视频流分解为多帧街景图片，并投影到球形坐标系上；将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；在所述球形坐标系上，按照所述视频流通道连续播放所述多帧街景图片。
7.根据权利要求6所述的一种街景数据的三维注释的系统，其特征在于：统进一步包括进行图片显示的显示设备，所述显示设备和所述视频流处理单元相连接。
8.根据权利要求6所述的一种街景数据的三维注释的系统，其特征在于：所述视频单元包括至少一个摄像头。
CN201910038889.5A 2019-01-16 2019-01-16 一种街景数据的三维注释的方法及其系统 Pending CN109859612A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910038889.5A CN109859612A (zh) 2019-01-16 2019-01-16 一种街景数据的三维注释的方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910038889.5A CN109859612A (zh) 2019-01-16 2019-01-16 一种街景数据的三维注释的方法及其系统

Publications (1)

Publication Number Publication Date
CN109859612A true CN109859612A (zh) 2019-06-07

Family

ID=66894756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910038889.5A Pending CN109859612A (zh) 2019-01-16 2019-01-16 一种街景数据的三维注释的方法及其系统

Country Status (1)

Country Link
CN (1) CN109859612A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543625A (zh) * 2019-07-29 2019-12-06 北京航空航天大学 一种3d虚拟培训课件信息的快速标注编辑及展示方法
CN110990501A (zh) * 2019-07-31 2020-04-10 当家移动绿色互联网技术集团有限公司 三维道路建模方法、装置、电子设备及存储介质
WO2021013790A1 (en) * 2019-07-19 2021-01-28 Five AI Limited Structure annotation
CN113096003A (zh) * 2021-04-02 2021-07-09 北京车和家信息技术有限公司 针对多视频帧的标注方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101918983A (zh) * 2008-01-15 2010-12-15 谷歌公司 街道视图数据的三维注释
CN102016927A (zh) * 2008-02-27 2011-04-13 谷歌公司 使用图像内容来帮助在全景图像数据中导航
CN103607568A (zh) * 2013-11-20 2014-02-26 深圳先进技术研究院 立体街景视频投影方法及系统
CN108108443A (zh) * 2017-12-21 2018-06-01 深圳市数字城市工程研究中心 街景视频的文字标注方法、终端设备及存储介质
CN108255961A (zh) * 2017-12-21 2018-07-06 深圳市数字城市工程研究中心 街景视频的图像标注方法、终端设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101918983A (zh) * 2008-01-15 2010-12-15 谷歌公司 街道视图数据的三维注释
CN102016927A (zh) * 2008-02-27 2011-04-13 谷歌公司 使用图像内容来帮助在全景图像数据中导航
CN103607568A (zh) * 2013-11-20 2014-02-26 深圳先进技术研究院 立体街景视频投影方法及系统
CN108108443A (zh) * 2017-12-21 2018-06-01 深圳市数字城市工程研究中心 街景视频的文字标注方法、终端设备及存储介质
CN108255961A (zh) * 2017-12-21 2018-07-06 深圳市数字城市工程研究中心 街景视频的图像标注方法、终端设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021013790A1 (en) * 2019-07-19 2021-01-28 Five AI Limited Structure annotation
CN110543625A (zh) * 2019-07-29 2019-12-06 北京航空航天大学 一种3d虚拟培训课件信息的快速标注编辑及展示方法
CN110990501A (zh) * 2019-07-31 2020-04-10 当家移动绿色互联网技术集团有限公司 三维道路建模方法、装置、电子设备及存储介质
CN110990501B (zh) * 2019-07-31 2023-11-10 万物镜像(北京)计算机系统有限公司 三维道路建模方法、装置、电子设备及存储介质
CN113096003A (zh) * 2021-04-02 2021-07-09 北京车和家信息技术有限公司 针对多视频帧的标注方法、装置、设备和存储介质
CN113096003B (zh) * 2021-04-02 2023-08-18 北京车和家信息技术有限公司 针对多视频帧的标注方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
US10540794B2 (en) Three-dimensional annotations for street view data
US10163263B2 (en) Using image content to facilitate navigation in panoramic image data
CN109859612A (zh) 一种街景数据的三维注释的方法及其系统
US5768447A (en) Method for indexing image information using a reference model
JP5582548B2 (ja) 実環境視像における仮想情報の表示方法
US20120128205A1 (en) Apparatus for providing spatial contents service and method thereof
KR101697713B1 (ko) 지능화된 파노라마 vr 컨텐츠를 생성하는 방법 및 장치
CN110428501A (zh) 全景影像生成方法、装置、电子设备及可读存储介质
Kim et al. IMAF: in situ indoor modeling and annotation framework on mobile phones
Comino Trinidad et al. Easy authoring of image-supported short stories for 3d scanned cultural heritage
CN108986183B (zh) 一种全景地图的制作方法
Maiwald et al. Toward an Automated Pipeline for a Browser-Based, City-Scale Mobile 4D VR Application Based on Historical Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190607

RJ01 Rejection of invention patent application after publication