CN112001947A - 拍摄位置的确定方法及装置、存储介质、电子装置 - Google Patents

拍摄位置的确定方法及装置、存储介质、电子装置 Download PDF

Info

Publication number
CN112001947A
CN112001947A CN202010753129.5A CN202010753129A CN112001947A CN 112001947 A CN112001947 A CN 112001947A CN 202010753129 A CN202010753129 A CN 202010753129A CN 112001947 A CN112001947 A CN 112001947A
Authority
CN
China
Prior art keywords
dimensional
dimensional picture
target
picture
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010753129.5A
Other languages
English (en)
Inventor
赵培
潘威滔
苏腾荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haier Uplus Intelligent Technology Beijing Co Ltd
Original Assignee
Haier Uplus Intelligent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haier Uplus Intelligent Technology Beijing Co Ltd filed Critical Haier Uplus Intelligent Technology Beijing Co Ltd
Priority to CN202010753129.5A priority Critical patent/CN112001947A/zh
Publication of CN112001947A publication Critical patent/CN112001947A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种拍摄位置的确定方法及装置、存储介质、电子装置，其中，上述方法包括：对目标区域进行三维场景建模，以获取目标区域的三维空间信息；根据三维空间信息确定目标区域内的多个目标对象对应的三维结构图，并从三维结构图中提取出多个目标对象的多个三维图片特征；获取待确定的二维图片的二维图片特征，并将二维图片特征与多个三维图片特征进行比对，以确定待确定的二维图片的拍摄位置，二维图片是对目标对象进行拍照所得到的图片，即通过对三维空间信息下的三维图片特征与不同拍摄位置的二维图片特征进行比对，进而可以对二维图片的拍摄者的位置进行识别，解决了无法根据多个目标对象的图像识别出拍摄者的准确拍摄位置等问题。

Description

拍摄位置的确定方法及装置、存储介质、电子装置
技术领域
本发明涉及通信领域，具体而言，涉及一种拍摄位置的确定方法及装置、存储介质、电子装置。
背景技术
为了实现在图像中进行目标识别，现有技术解决方案都是基于单个建筑物的限定角度的二维图像识别定位，也就是说用户对特定建筑物拍摄一张照片，把照片导入到预训练模型中可获取建筑物在图片中的检测框位置，并识别出检测框内的具体建筑物名称。
相关技术中，对于上述方案的具体的解决方式主要包括两部分：训练过程，检测识别过程。
1)训练过程
在训练过程中，会输入大量同一特定建筑物拍摄的照片，相应的建筑物标注检测框，以及此特定建筑物的名称，作为训练集合中的正样本(照片包括此特定建筑物不同的远近，不同的角度等)；同时，会输入大量非此特定建筑物的照片，作为训练集合中的负样本(照片为不包括此特定建筑物的任意照片，例如风景照，人物照，其他建筑物照片等)。把所有样本集合输入到模型中，模型会先学习一个检测模型，得到建筑物位置信息，然后根据检测框内的建筑物信息，模型继续学习识别模型，目前主流的方法都是基于CNN深度神经网络，对于CNN深度神经网络的训练流程图如图1所示。
(二)检测识别过程
用户拍摄一张特定建筑物的照片(对照片质量会有要求：限定角度，限定距离，限定图片质量等)，把照片输入到模型中，模型会提取图片特征，将特征传递给检测模型，从而得出建筑物的检测框信息。然后，截取检测框内的建筑物信息，通过识别模型，最终得到建筑物的识别结果，图2为待检测图片的检测识别过程的流程图。
因此，相关技术中对于图片质量不高的图片竟无法通过图片中多个建筑物信息进行准确的识别，进而无法对图片的拍摄位置进行准确的判断。
针对相关技术中，无法根据多个目标对象的图像识别出拍摄者的准确拍摄位置等问题，尚未提出有效的技术方案。
发明内容
本发明实施例提供了一种拍摄位置的确定方法及装置、存储介质、电子装置，以至少解决相关技术中无法根据多个目标对象的图像识别出拍摄者的准确拍摄位置等问题。
根据本发明的一个实施例，提供了一种拍摄位置的确定方法，包括：对目标区域进行三维场景建模，以获取所述目标区域的三维空间信息；根据所述三维空间信息确定所述目标区域内的多个目标对象对应的三维结构图，并从所述三维结构图中提取出所述多个目标对象的多个三维图片特征；获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，其中，所述二维图片是对所述目标对象进行拍照所得到的图片。
可选地，根据所述三维空间信息确定所述目标区域内的多个目标对象对应的三维结构图，并从所述三维结构图中提取出所述多个目标对象的多个三维图片特征，包括：按照所述多个目标对象对所述三维空间信息进行划分，以确定所述多个目标对象分别对应的目标对象区域；从多个所述目标对象区域中分别获取多个目标对象的多个三维图片特征。
可选地，从多个所述目标对象区域中分别获取多个目标对象的多个三维图片特征，包括：对多个所述目标对象区域中的每一个目标对象区域再次划分成多个子区域；对每一个所述子区域进行三维图片特征的提取，以确定多个目标对象的多个三维图片特征。
可选地，获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，包括：获取所述二维图片特征的第一特征点，以及所述多个三维图片特征的第二特征点，其中，所述二维图片特征是第一特征点的集合，所述多个三维图片特征中的每一个三维图片特征是所述第二特征点的集合；将所述第一特征点和所述多个第二特征点进行比对，以确定与所述第一特征点相似度最高的第二特征点；获取所述相似度最高的第二特征点在所述三维空间信息中的目标位置，并将所述目标位置确定为所述拍摄位置。
可选地，上述方法还包括：获取在多个时刻对目标区域中的目标对象进行拍照所得到的多个拍摄位置；根据多个拍摄位置确定二维图片的拍摄对象的行动轨迹。
可选地，获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，其中，所述二维图片是对所述目标对象进行拍照所得到的图片之后，所述方法还包括：获取与所述拍摄位置的距离处于预设范围内的目的地；将所述目的地的描述信息推送至所述二维图片拍摄者的移动终端上。
根据本发明的另一个实施例，还提供了一种拍摄位置的确认装置，包括：建模模块，用于对目标区域进行三维场景建模，以获取所述目标区域的三维空间信息；第一确定模块，用于根据所述三维空间信息确定所述目标区域内的多个目标对象对应的三维结构图，并从所述三维结构图中提取出所述多个目标对象的多个三维图片特征；第二确定模块，用于获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，其中，所述二维图片是对所述目标对象进行拍照所得到的图片。
可选地，上述第一确定模块，还用于按照所述多个目标对象对所述三维空间信息进行划分，以确定所述多个目标对象分别对应的目标对象区域；从多个所述目标对象区域中分别获取多个目标对象的多个三维图片特征。
可选地，上述第一确定模块，还用于对多个所述目标对象区域中的每一个目标对象区域再次划分成多个子区域；对每一个所述子区域进行三维图片特征的提取，以确定多个目标对象的多个三维图片特征。
可选地，上述第二确定模块，还用于获取所述二维图片特征的第一特征点，以及所述多个三维图片特征的第二特征点，其中，所述二维图片特征是第一特征点的集合，所述多个三维图片特征中的每一个三维图片特征是所述第二特征点的集合；将所述第一特征点和所述多个第二特征点进行比对，以确定与所述第一特征点相似度最高的第二特征点；获取所述相似度最高的第二特征点在所述三维空间信息中的目标位置，并将所述目标位置确定为所述拍摄位置。
可选地，上述装置还包括：第一获取模块，用于获取在多个时刻对目标区域中的目标对象进行拍照所得到的多个拍摄位置；第三确定模块用于根据多个拍摄位置确定二维图片的拍摄对象的行动轨迹。
可选地，上述装置还包括：第二获取模块，用于获取与所述拍摄位置的距离处于预设范围内的目的地；推送模块，用于将所述目的地的描述信息推送至所述二维图片拍摄者的移动终端上。
根据本发明的另一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行以上任一项拍摄位置的确定方法。
根据本发明的另一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行以上任一项拍摄位置的确定方法。
通过本发明的技术方案，对目标区域进行三维场景建模，以获取所述目标区域的三维空间信息；根据所述三维空间信息确定所述目标区域内的多个目标对象对应的三维结构图，并从所述三维结构图中提取出所述多个目标对象的多个三维图片特征；获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，其中，所述二维图片是对所述目标对象进行拍照所得到的图片，即通过对三维空间信息下的三维图片特征与不同拍摄位置的二维图片特征进行比对，进而可以对二维图片的拍摄者的位置进行识别，采用上述技术方案，解决了相关技术中，无法根据多个目标对象的图像识别出拍摄者的准确拍摄位置等问题，进而利用地理场景的待确定的二维照片在三维场景建模地图中匹配的三维空间信息，对待确定的二维照片中的地标场景进行搜索和定位，提高了用户体验度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是相关技术的对于CNN深度神经网络的训练流程图；
图2是相关技术的待检测图片的检测识别过程的流程图；
图3是本发明实施例的一种拍摄位置的确定方法的计算机终端的硬件结构框图；
图4为根据本发明实施例的拍摄位置的确定方法的流程图；
图5为根据本发明可选实施例的三维坐标投影到平面区域的示意图；
图6为根据本发明可选实施例的平面区域的划分示意图；
图7是根据本发明实施例的拍摄位置的确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图3是本发明实施例的一种拍摄位置的确定方法的计算机终端的硬件结构框图。如图3所示，计算机终端可以包括一个或多个(图3中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图3所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图3中所示更多或者更少的组件，或者具有与图3所示等同功能或比图3所示功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的拍摄位置的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述计算机终端的拍摄位置的确定方法，图4是根据本发明实施例的拍摄位置的确定方法的流程图，如图4所示，该流程包括如下步骤：
步骤S202，对目标区域进行三维场景建模，以获取所述目标区域的三维空间信息；
步骤S204，根据所述三维空间信息确定所述目标区域内的多个目标对象对应的三维结构图，并从所述三维结构图中提取出所述多个目标对象的多个三维图片特征；
步骤S206，获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，其中，所述二维图片是对所述目标对象进行拍照所得到的图片。
通过本发明的技术方案，对目标区域进行三维场景建模，以获取所述目标区域的三维空间信息；根据所述三维空间信息确定所述目标区域内的多个目标对象对应的三维结构图，并从所述三维结构图中提取出所述多个目标对象的多个三维图片特征；获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，其中，所述二维图片是对所述目标对象进行拍照所得到的图片，即通过对三维空间信息下的三维图片特征与不同拍摄位置的二维图片特征进行比对，进而可以对二维图片的拍摄者的位置进行识别，采用上述技术方案，解决了相关技术中，无法根据多个目标对象的图像识别出拍摄者的准确拍摄位置等问题，进而利用地理场景的待确定的二维照片在三维场景建模地图中匹配的三维空间信息，对待确定的二维照片中的地标场景进行搜索和定位，进而提供了进一步的操作，提高了用户体验度。
需要说明的是，三维结构图是从三维空间信息的不同角度获取的，每张三维结构图均可能同时存在一个或多个目标对象，每个目标对象都具有一定目标对象特征点组成的图片特征，本发明对此不做过多限定。
在一个可选实施例中，根据三维空间信息确定目标区域内的多个目标对象的多个图片特征，包括：按照所述多个目标对象对所述三维空间信息进行划分，以确定所述多个目标对象分别对应的目标对象区域；从多个所述目标对象区域中分别获取多个目标对象的多个三维图片特征。
也就是说，根据三维空间信息中存在的多个目标对象，可以将三维空间划分为多个目标对象区域，进一步的对划分出的目标对象区域中的目标对象的三维图片特征进行获取，例如：三维空间信息中存在多个标志性建筑物，该标志建筑物可以是：钟楼、银行、商场等，进而根据钟楼、银行、商场等标志性建筑物的位置，将三维空间信息划分为包含钟楼大楼区域、银行区域、商场区域，进而对划分出的区域中的标志性建筑的三维图片特征进行提取，但需要说明的是已划分的区域不仅仅只是包含一个标志性建筑，也可能同时存在多个标志性建筑物。
进一步地，还可以将三维空间信息全部投影到二维平面区域，根据层级对平面区域分割，进而得到不同目标对象所对应的目标对象区域，本发明实施例对此不做限定。
为了便于对多个目标对象进行图像特征的提取，上述S204步骤中，对于多个目标对象的多个三维图片特征的获取方式存在多种，可选的，对多个所述目标对象区域中的每一个目标对象区域再次划分成多个子区域；对每一个所述子区域进行三维图片特征的提取，以确定多个目标对象的多个三维图片特征。通过多次划分可以更好的实现对三维空间信息中目标对象的三维图片获取。
可选地，获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，包括：获取所述二维图片特征的第一特征点，以及所述多个三维图片特征的第二特征点，其中，所述二维图片特征是第一特征点的集合，所述多个三维图片特征中的每一个三维图片特征是所述第二特征点的集合；将所述第一特征点和所述多个第二特征点进行比对，以确定与所述第一特征点相似度最高的第二特征点；获取所述相似度最高的第二特征点在所述三维空间信息中的目标位置，并将所述目标位置确定为所述拍摄位置。
需要说明的是，在获取到待确定的二维图片的图片特征后，将二维图片的图片特征对应的图片特征点与获取不同的目标对象区域的多个图片特征相对应的图片特征点进行相似对比对，并依据相似度最高的多个图片特征相对应的图片特征点所在三维空间信息中的目标位置，确定出待确定的二维图片的拍摄位置，例如，用户当前通过手机拍摄了一个关于电信大楼的图片，通过提取已拍摄图片中关于电信大楼的图片特征点生成图片特征，进而在三维空间信息中查找与电信大楼的图片特征相似度高的三维图片特征所对应的三维结构图的位置，从而确定出用户此时的拍摄位置。
在一个可选实施例中，上述方法还包括：获取在多个时刻对目标区域中的目标对象进行拍照所得到的多个拍摄位置；根据多个拍摄位置确定二维图片的拍摄对象的行动轨迹，利用拍照所得的二维图片确定出二维图片的拍摄位置，进一步的将同一目标对象所对应的多个拍摄位置联系起来，确定出拍摄对象的行动轨迹。
可选地，获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，其中，所述二维图片是对所述目标对象进行拍照所得到的图片之后，所述方法还包括：获取与所述拍摄位置的距离处于预设范围内的目的地；将所述目的地的描述信息推送至所述二维图片拍摄者的移动终端上。
例如，在饭店与二维图片拍摄者处于一个市区内，且饭店位置处在拍摄者的拍摄位置的预设可推送范围内(例如，饭店距离拍摄者直线200米)，此时，可以将饭店坐标位置和相关联系信息推送至拍摄者的移动终端上，完成推荐。
以下结合可选实施例对上述拍摄位置的确定方法的技术方案进行说明，但不用于限定本发明实施例的技术方案，具体可包括以下步骤：
步骤一、进行三维场景建模，利用三维激光扫描仪搭载相机对三维场景进行数据采集。在进行数据采集之前，需依据三维场景中的实际地形，街道，建筑物的结构，大小等确定标靶数与标靶位置，确定合理的扫描范围、采样密度、扫描距离等，使得仪器可以完整覆盖到整个的三维场景区域，避免出现部分场景缺失。三维激光扫描仪获得的原始数据由离散矢量距离点构成,它是一个点的集合,每个点包括(x,y,z)的三维位置信息(相当于本发明实施中的三维空间信息),所有这些点构成的集合称为“点云”。
步骤二、目标区域分割及图片特征提取，把点云的三维坐标全部投影到(x,y)平面区域R(相当于本发明实施中的目标区域)，然后根据层级对平面区域分割。具体实施如下：
步骤A：建立树结构，在根节点储存如下信息，图5为三维坐标投影到平面区域的示意图，流程如下：
(1)平面区域R左上角坐标(x,y)和区域长宽(w,h)；
(2)储存所有投影落在R范围内的(x,y,z)坐标；
(3)把相机放置在(x,y)中心上方
Figure BDA0002610675400000101
距离的位置，即坐标为
Figure BDA0002610675400000102
的地方，使得相机在正上方时，可以正好覆盖到整片R区域。(这是由于相机正好在以
Figure BDA0002610675400000103
为中心，以
Figure BDA0002610675400000104
为半径的半球面上，当相机在球面上滑动时，相机拍摄的图像仍然可以覆盖整个R区域)
(4)在xz平面上，在区间[0，π]按照增量为
Figure BDA0002610675400000105
进行移动相机(相机始终在球面上滑动)并拍摄图片，得到7张R不同角度的图片；
(5)在yz平面上，在区间[0，π]按照增量为
Figure BDA0002610675400000106
进行移动相机(相机始终在球面上滑动)并拍摄图片，得到7张R不同角度的图片；
(6)由于在
Figure BDA0002610675400000107
位置上，相机重合，所以实际上只需保存13张R不同角度图片即可。
步骤B：把R按照长宽各对半分，分成4份等大区域R1,R2,R3,R4作为根节点的4个子节点，分别储存4个子节点对应的(x’,y’,w’,h’)。然后每个子节点分别做类似步骤A(2)-(6)的步骤，即每个子节点上又分别储存了落在子区域内的(x,y,z)坐标和13张子区域不同角度图片，如图6所示，平面区域的划分示意图。
步骤C：R1,R2,R3,R4每个子区域继续做第二步操作。
步骤D：不断重复此过程，设总共重复N个对半过程，那么会把R等分成4N份等大区域R’。对应生成深度为N的树结构，且共有4N个叶子节点。除叶子节点外每个层级子节点均有4个子节点，代表了等分的4个子区域。另外，每个节点上均储存了投影落在此区域内的所有(x,y,z)坐标和13张该区域不同角度图片。
步骤E：对所有节点的所有角度图片做图片特征提取，并与对应图片一起保存。
步骤三、拍摄图片的匹配和关联，对用户拍摄的任意角度照片(相当于本发明实施中的待确定的二维图片)做图片特征提取。通过FLANN(fast library for approximatenearest neighbors，简称FLANN)方法进行特征匹配，检测出的匹配点可能有一些是错误正例，采用比值判别法删除对应的离群点。由于用户拍摄的任意角度照片的对象是平面且固定的，所以找到一张对应的目标图片，对两幅图片进行特征点的单应性变换得到单应性变换的矩阵计算对应的目标角点(相当于本发明实施中的图片特征的图片特征点)，统计通过单应性估计匹配的特征点对数，作为用户拍摄图片和目标图片(相当于本发明实施中的多个目标对象的多个图片)的置信度，置信度越高，匹配越好。
对于树结构中的特征匹配，从根节点开始，由树结构从上到下，每一层节点的特征都与用户拍摄图片的特征做过程匹配，得到置信度，选取每一层中最大置信度的区域作为当前尺度下，最优的匹配区域，然后在其子节点重复操作，如果发生子节点中最大置信度小于当前节点置信度，则认为当前节点的区域与用户拍摄位置最匹配；或者搜索到叶子节点。同时根据此节点上对应的图片信息，可知拍摄角度，从而知道相机的位置。然后用相机位置与该区域内所有点坐标(x,y,z)，计算最短距离，对应的(x,y,z)坐标即认为是用户拍摄照片的位置。现在已经得到用户拍摄位置(x,y,z)坐标，且由相机图片可知相机位置和相机欧拉角信息，根据相对位置可计算用户拍摄欧拉角信息。
步骤四、将得到的用户拍摄角度和拍摄位置坐标存入数据库中与推荐信息进行关联。例如：数据库中包含该三维地图中饭店坐标信息，那么设定用户拍摄位置的一定距离范围内，提取出所有对应的饭店坐标和相关信息，完成推荐。在对每一张拍摄照片匹配后，得到拍摄位置和拍摄欧拉角信息，由此可得知多张拍摄照片的相对位置关系，从而对用户做足迹追踪，统计用户当前活动规律，做个性化推荐。
综上，本发明可选实施例，利用地理场景的二维照片在三维建模场景地图中的匹配，对照片中的地标场景进行搜索和定位。不限定拍摄角度的三维空间搜索，定位二维图像在三维空间中的位置，定位用户在拍摄照片时的空间坐标，提高复杂场景下的特定建筑物检测识别准确率，建立用户拍摄多张照片位置信息的关联，并做足迹追踪，提高了用户的体验度。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
图7为根据本发明实施例的拍摄位置的确定装置的结构框图，如图7所示，
(1)建模模块32，用于对目标区域进行三维场景建模，以获取所述目标区域的三维空间信息；
(2)第一确定模块34，用于根据所述三维空间信息确定所述目标区域内的多个目标对象对应的三维结构图，并从所述三维结构图中提取出所述多个目标对象的多个三维图片特征；
(3)第二确定模块36，用于获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，其中，所述二维图片是对所述目标对象进行拍照所得到的图片。
通过本发明的技术方案，对目标区域进行三维场景建模，以获取所述目标区域的三维空间信息；根据所述三维空间信息确定所述目标区域内的多个目标对象对应的三维结构图，并从所述三维结构图中提取出所述多个目标对象的多个三维图片特征；获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，其中，所述二维图片是对所述目标对象进行拍照所得到的图片，即通过对三维空间信息下的三维图片特征与不同拍摄位置的二维图片特征进行比对，进而可以对二维图片的拍摄者的位置进行识别，采用上述技术方案，解决了相关技术中，无法根据多个目标对象的图像识别出拍摄者的准确拍摄位置等问题，进而利用地理场景的待确定的二维照片在三维场景建模地图中匹配的三维空间信息，对待确定的二维照片中的地标场景进行搜索和定位，进而提供了进一步的操作，提高了用户体验度。
可选地，上述第一确定模块，还用于按照所述多个目标对象对所述三维空间信息进行划分，以确定所述多个目标对象分别对应的目标对象区域；从多个所述目标对象区域中分别获取多个目标对象的多个三维图片特征。
也就是说，根据三维空间信息中存在的多个目标对象，可以将三维空间划分为多个目标对象区域，进一步的对划分出的目标对象区域中的目标对象的三维图片特征进行获取，例如：三维空间信息中存在多个标志性建筑物，该标志建筑物可以是：钟楼、银行、商场等，进而根据钟楼、银行、商场等标志性建筑物的位置，将三维空间信息划分为包含钟楼大楼区域、银行区域、商场区域，进而对划分出的区域中的标志性建筑的三维图片特征进行提取，但需要说明的是已划分的区域不仅仅只是包含一个标志性建筑，也可能同时存在多个标志性建筑物。
进一步地，还可以将三维空间信息全部投影到二维平面区域，根据层级对平面区域分割，进而得到不同目标对象所对应的目标对象区域，本发明实施例对此不做限定。
可选地，上述第一确定模块，还用于对多个所述目标对象区域中的每一个目标对象区域再次划分成多个子区域；对每一个所述子区域进行三维图片特征的提取，以确定多个目标对象的多个三维图片特征。
可选地，上述第二确定模块，还用于获取所述二维图片特征的第一特征点，以及所述多个三维图片特征的第二特征点，其中，所述二维图片特征是第一特征点的集合，所述多个三维图片特征中的每一个三维图片特征是所述第二特征点的集合；将所述第一特征点和所述多个第二特征点进行比对，以确定与所述第一特征点相似度最高的第二特征点；获取所述相似度最高的第二特征点在所述三维空间信息中的目标位置，并将所述目标位置确定为所述拍摄位置。
需要说明的是，在获取到待确定的二维图片的图片特征后，将二维图片的图片特征对应的图片特征点与获取不同的目标对象区域的多个图片特征相对应的图片特征点进行相似对比对，并依据相似度最高的多个图片特征相对应的图片特征点所在三维空间信息中的目标位置，确定出待确定的二维图片的拍摄位置，例如，用户当前通过手机拍摄了一个关于电信大楼的图片，通过提取已拍摄图片中关于电信大楼的图片特征点生成图片特征，进而在三维空间信息中查找与电信大楼的图片特征相似度高的三维图片特征所对应的三维结构图的位置，从而确定出用户此时的拍摄位置。
可选地，上述装置还包括：第一获取模块，用于获取在多个时刻对目标区域中的目标对象进行拍照所得到的多个拍摄位置；第三确定模块用于根据多个拍摄位置确定二维图片的拍摄对象的行动轨迹利用拍照所得的二维图片确定出二维图片的拍摄位置，进一步的将同一目标对象所对应的多个拍摄位置联系起来，确定出拍摄对象的行动轨迹。
也就是说，通过收集在一定时间段内拍摄的二维图片，通过二维图片结合三维空间信息，可以确定出对同一目标对象进行拍摄时的位置信息，从收集的位置信息可以得到拍摄对象的行动轨迹。
可选地，上述装置还包括：第二获取模块，用于获取与所述拍摄位置的距离处于预设范围内的目的地；推送模块，用于将所述目的地的描述信息推送至所述二维图片拍摄者的移动终端上。
例如，在饭店与二维图片拍摄者处于一个市区内，且饭店位置处在拍摄者的拍摄位置的预设可推送范围内(例如，饭店距离拍摄者直线200米)，此时，可以将饭店坐标位置和相关联系信息推送至拍摄者的移动终端上，完成推荐。
需要说明的是，以上技术方案可以结合使用，上述各个模块可以位于同一处理器中，也可以位于不同处理器中，本发明实施例对此不作限定。
本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S1，对目标区域进行三维场景建模，以获取所述目标区域的三维空间信息；
S2，根据所述三维空间信息确定所述目标区域内的多个目标对象对应的三维结构图，并从所述三维结构图中提取出所述多个目标对象的多个三维图片特征；
S3，获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，其中，所述二维图片是对所述目标对象进行拍照所得到的图片。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，对目标区域进行三维场景建模，以获取所述目标区域的三维空间信息；
S2，根据所述三维空间信息确定所述目标区域内的多个目标对象对应的三维结构图，并从所述三维结构图中提取出所述多个目标对象的多个三维图片特征；
S3，获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，其中，所述二维图片是对所述目标对象进行拍照所得到的图片。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种拍摄位置的确定方法，其特征在于，包括：
对目标区域进行三维场景建模，以获取所述目标区域的三维空间信息；
根据所述三维空间信息确定所述目标区域内的多个目标对象对应的三维结构图，并从所述三维结构图中提取出所述多个目标对象的多个三维图片特征；
获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，其中，所述二维图片是对所述目标对象进行拍照所得到的图片。
2.根据权利要求1所述的方法，其特征在于，根据所述三维空间信息确定所述目标区域内的多个目标对象对应的三维结构图，并从所述三维结构图中提取出所述多个目标对象的多个三维图片特征，包括：
按照所述多个目标对象对所述三维空间信息进行划分，以确定所述多个目标对象分别对应的目标对象区域；
从多个所述目标对象区域中分别获取多个目标对象的多个三维图片特征。
3.根据权利要求1所述的方法，其特征在于，从多个所述目标对象区域中分别获取多个目标对象的多个三维图片特征，包括：
对多个所述目标对象区域中的每一个目标对象区域再次划分成多个子区域；
对每一个所述子区域进行三维图片特征的提取，以确定多个目标对象的多个三维图片特征。
4.根据权利要求1所述的方法，其特征在于，获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，包括：
获取所述二维图片特征的第一特征点，以及所述多个三维图片特征的第二特征点，其中，所述二维图片特征是第一特征点的集合，所述多个三维图片特征中的每一个三维图片特征是所述第二特征点的集合；
将所述第一特征点和所述多个第二特征点进行比对，以确定与所述第一特征点相似度最高的第二特征点；
获取所述相似度最高的第二特征点在所述三维空间信息中的目标位置，并将所述目标位置确定为所述拍摄位置。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取在多个时刻对所述目标区域中的目标对象进行拍照所得到的多个拍摄位置；
根据所述多个拍摄位置确定二维图片的拍摄对象的行动轨迹。
6.根据权利要求1所述的方法，其特征在于，获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，其中，所述二维图片是对所述目标对象进行拍照所得到的图片之后，所述方法还包括：
获取与所述拍摄位置的距离处于预设范围内的目的地；
将所述目的地的描述信息推送至所述二维图片拍摄者的移动终端上。
7.一种拍摄位置的确定装置，其特征在于，包括：
建模模块，用于对目标区域进行三维场景建模，以获取所述目标区域的三维空间信息；
第一确定模块，用于根据所述三维空间信息确定所述目标区域内的多个目标对象对应的三维结构图，并从所述三维结构图中提取出所述多个目标对象的多个三维图片特征；
第二确定模块，用于获取待确定的二维图片的二维图片特征，并将所述二维图片特征与所述多个三维图片特征进行比对，以确定所述待确定的二维图片的拍摄位置，其中，所述二维图片是对所述目标对象进行拍照所得到的图片。
8.根据权利要求7所述的装置，其特征在于，所述第二确定模块，还用于获取所述二维图片特征的第一特征点，以及所述多个三维图片特征的第二特征点，其中，所述二维图片特征是第一特征点的集合，所述多个三维图片特征中的每一个三维图片特征是所述第二特征点的集合；将所述第一特征点和所述多个第二特征点进行比对，以确定与所述第一特征点相似度最高的第二特征点；获取所述相似度最高的第二特征点在所述三维空间信息中的目标位置，并将所述目标位置确定为所述拍摄位置。
9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
CN202010753129.5A 2020-07-30 2020-07-30 拍摄位置的确定方法及装置、存储介质、电子装置 Pending CN112001947A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010753129.5A CN112001947A (zh) 2020-07-30 2020-07-30 拍摄位置的确定方法及装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010753129.5A CN112001947A (zh) 2020-07-30 2020-07-30 拍摄位置的确定方法及装置、存储介质、电子装置

Publications (1)

Publication Number Publication Date
CN112001947A true CN112001947A (zh) 2020-11-27

Family

ID=73463331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010753129.5A Pending CN112001947A (zh) 2020-07-30 2020-07-30 拍摄位置的确定方法及装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN112001947A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880879A (zh) * 2012-08-16 2013-01-16 北京理工大学 基于分布式和svm分类器的室外海量物体识别方法和系统
CN104809689A (zh) * 2015-05-15 2015-07-29 北京理工大学深圳研究院 一种基于轮廓的建筑物点云模型底图配准方法
CN104966315A (zh) * 2015-05-18 2015-10-07 深圳市腾讯计算机系统有限公司 三维模型的处理方法和装置
CN106447585A (zh) * 2016-09-21 2017-02-22 武汉大学 城市地区和室内高精度视觉定位系统及方法
CN107093171A (zh) * 2016-02-18 2017-08-25 腾讯科技（深圳）有限公司 一种图像处理方法及装置、系统
CN107123144A (zh) * 2017-03-31 2017-09-01 维沃移动通信有限公司 一种定位校准的方法及移动终端
CN107563366A (zh) * 2017-07-26 2018-01-09 安徽讯飞爱途旅游电子商务有限公司 一种定位方法及装置、电子设备
CN108805045A (zh) * 2018-05-25 2018-11-13 郑州思达科锐网络科技有限公司 一种无人驾驶汽车定位方法及系统
CN109376208A (zh) * 2018-09-18 2019-02-22 高枫峻 一种基于智能终端的定位方法、系统、存储介质及设备
CN110443850A (zh) * 2019-08-05 2019-11-12 珠海优特电力科技股份有限公司 目标对象的定位方法及装置、存储介质、电子装置
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN110738143A (zh) * 2019-09-27 2020-01-31 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN110853095A (zh) * 2019-10-11 2020-02-28 北京达佳互联信息技术有限公司 相机定位方法、装置、电子设备及存储介质
CN111028358A (zh) * 2018-10-09 2020-04-17 香港理工大学深圳研究院 室内环境的增强现实显示方法、装置及终端设备
CN111046125A (zh) * 2019-12-16 2020-04-21 视辰信息科技(上海)有限公司 一种视觉定位方法、系统及计算机可读存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880879A (zh) * 2012-08-16 2013-01-16 北京理工大学 基于分布式和svm分类器的室外海量物体识别方法和系统
CN104809689A (zh) * 2015-05-15 2015-07-29 北京理工大学深圳研究院 一种基于轮廓的建筑物点云模型底图配准方法
CN104966315A (zh) * 2015-05-18 2015-10-07 深圳市腾讯计算机系统有限公司 三维模型的处理方法和装置
CN107093171A (zh) * 2016-02-18 2017-08-25 腾讯科技（深圳）有限公司 一种图像处理方法及装置、系统
CN106447585A (zh) * 2016-09-21 2017-02-22 武汉大学 城市地区和室内高精度视觉定位系统及方法
CN107123144A (zh) * 2017-03-31 2017-09-01 维沃移动通信有限公司 一种定位校准的方法及移动终端
CN107563366A (zh) * 2017-07-26 2018-01-09 安徽讯飞爱途旅游电子商务有限公司 一种定位方法及装置、电子设备
CN108805045A (zh) * 2018-05-25 2018-11-13 郑州思达科锐网络科技有限公司 一种无人驾驶汽车定位方法及系统
CN109376208A (zh) * 2018-09-18 2019-02-22 高枫峻 一种基于智能终端的定位方法、系统、存储介质及设备
CN111028358A (zh) * 2018-10-09 2020-04-17 香港理工大学深圳研究院 室内环境的增强现实显示方法、装置及终端设备
CN110443850A (zh) * 2019-08-05 2019-11-12 珠海优特电力科技股份有限公司 目标对象的定位方法及装置、存储介质、电子装置
CN110738143A (zh) * 2019-09-27 2020-01-31 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN110853095A (zh) * 2019-10-11 2020-02-28 北京达佳互联信息技术有限公司 相机定位方法、装置、电子设备及存储介质
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN111046125A (zh) * 2019-12-16 2020-04-21 视辰信息科技(上海)有限公司 一种视觉定位方法、系统及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN110645986B (zh) 定位方法及装置、终端、存储介质
CN110738143B (zh) 定位方法及装置、设备、存储介质
CN111199564B (zh) 智能移动终端的室内定位方法、装置与电子设备
CN107131883B (zh) 基于视觉的全自动移动终端室内定位系统
Chen et al. Crowd map: Accurate reconstruction of indoor floor plans from crowdsourced sensor-rich videos
CN111046752B (zh) 一种室内定位方法、计算机设备和存储介质
CN111323024B (zh) 定位方法及装置、设备、存储介质
CN109658445A (zh) 网络训练方法、增量建图方法、定位方法、装置及设备
CN105578027B (zh) 一种拍照方法及装置
CN110675457A (zh) 定位方法及装置、设备、存储介质
CN103761539B (zh) 一种基于环境特征物体的室内定位方法
CN111623765B (zh) 基于多模态数据的室内定位方法及系统
CN109357679B (zh) 一种基于显著性特征识别的室内定位方法
JP2022541559A (ja) 視覚的測位方法及び関連装置
CN111028358A (zh) 室内环境的增强现实显示方法、装置及终端设备
Castillo-Carrión et al. SIFT optimization and automation for matching images from multiple temporal sources
CN111899279A (zh) 一种目标对象的运动速度检测方法及装置
CN112270748B (zh) 基于图像的三维重建方法及装置
CN111191065B (zh) 一种同源图像确定方法及装置
CN111758118B (zh) 一种视觉定位方法、装置、设备及可读存储介质
Zhao et al. CrowdOLR: Toward object location recognition with crowdsourced fingerprints using smartphones
Sui et al. An accurate indoor localization approach using cellphone camera
CN112001947A (zh) 拍摄位置的确定方法及装置、存储介质、电子装置
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置
CN110378905B (zh) 角点提取、匹配的神经网络和方法及设备标定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination