CN108537878B - 环境模型生成方法、装置、存储介质及电子设备 - Google Patents

环境模型生成方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN108537878B
CN108537878B CN201810252890.3A CN201810252890A CN108537878B CN 108537878 B CN108537878 B CN 108537878B CN 201810252890 A CN201810252890 A CN 201810252890A CN 108537878 B CN108537878 B CN 108537878B
Authority
CN
China
Prior art keywords
data
images
image
external environment
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810252890.3A
Other languages
English (en)
Other versions
CN108537878A (zh
Inventor
蓝和
谭筱
王健
邹奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810252890.3A priority Critical patent/CN108537878B/zh
Publication of CN108537878A publication Critical patent/CN108537878A/zh
Priority to US16/196,656 priority patent/US10861169B2/en
Priority to EP18214555.7A priority patent/EP3547265A1/en
Priority to PCT/CN2019/074016 priority patent/WO2019184593A1/en
Priority to JP2020527790A priority patent/JP7043601B2/ja
Application granted granted Critical
Publication of CN108537878B publication Critical patent/CN108537878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种环境模型生成方法、装置、存储介质及电子设备，所述环境模型生成方法包括：获取电子设备所处外部环境的多幅图像，每一幅所述图像对应一个获取时刻；分别获取所述电子设备在每一所述获取时刻时的运动数据；分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据；将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型。所述环境模型生成方法，可以根据电子设备所处的外部环境建立环境模型，通过建立的环境模型可以高效率地对周围的真实环境进行识别。

Description

环境模型生成方法、装置、存储介质及电子设备
技术领域
本申请涉及电子设备技术领域，特别涉及一种环境模型生成方法、装置、存储介质及电子设备。
背景技术
增强现实(Augmented Reality，AR)技术是将用户看到的真实环境与包括附加信息的虚拟环境合成并显示合成图像的虚拟现实。利用虚拟环境补充真实环境的AR技术使用通过计算机图形学创建的虚拟环境。计算机图形学附加地提供真实环境所必需的信息。
AR技术中，计算机图形学需要提供真实环境的信息，从而要求必须能够对真实环境进行识别。
发明内容
本申请实施例提供一种环境模型生成方法、装置、存储介质及电子设备，可以提供对真实环境的高效率识别方法。
本申请实施例提供一种环境模型生成方法，应用于电子设备，所述环境模型生成方法包括：
获取所述电子设备所处外部环境的多幅图像，每一幅所述图像对应一个获取时刻；
分别获取所述电子设备在每一所述获取时刻时的运动数据；
分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据；
将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型。
本申请实施例还提供一种环境模型生成装置，应用于电子设备，所述环境模型生成装置包括：
第一获取模块，用于获取所述电子设备所处外部环境的多幅图像，每一幅所述图像对应一个获取时刻；
第二获取模块，用于分别获取所述电子设备在每一所述获取时刻时的运动数据；
数据分析模块，用于分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据；
模型生成模块，用于将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型。
本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述环境模型生成方法。
本申请实施例还提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行上述环境模型生成方法。
本申请实施例提供的环境模型生成方法，包括：获取电子设备所处外部环境的多幅图像，每一幅所述图像对应一个获取时刻；分别获取所述电子设备在每一所述获取时刻时的运动数据；分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据；将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型。所述环境模型生成方法，可以根据获取到的外部环境的多幅图像以及获取每一幅所述图像时电子设备的运动数据来生成外部环境的环境模型，从而可以根据电子设备所处的外部环境建立环境模型，通过建立的环境模型可以高效率地对周围的真实环境进行识别。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的环境模型生成装置的硬件结构框图。
图2为本申请实施例提供的环境模型生成方法的流程示意图。
图3为本申请实施例提供的环境模型生成方法的另一流程示意图。
图4为本申请实施例提供的环境模型生成方法的又一流程示意图。
图5为本申请实施例提供的环境模型生成装置的第一种结构示意图。
图6为本申请实施例提供的环境模型生成装置的第二种结构示意图。
图7为本申请实施例提供的环境模型生成装置的第三种结构示意图。
图8为本申请实施例提供的环境模型生成装置的第四种结构示意图。
图9为本申请实施例提供的环境模型生成装置的第五种结构示意图。
图10为本申请实施例提供的电子设备的结构示意图。
图11为本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。
本申请的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、电子设备、系统不必限于清楚地列出的那些步骤或模块或单元，还可以包括没有清楚地列出的步骤或模块或单元，也可以包括对于这些过程、方法、装置、电子设备或系统固有的其它步骤或模块或单元。
本申请实施例提供一种环境模型生成方法。所述环境模型生成方法可以应用于环境模型生成装置中。所述环境模型生成装置可以设置在电子设备中。图1所示为所述环境模型生成装置的硬件结构框图。所述环境模型生成装置包括摄像机、运动传感器、数据对齐单元、数据分析单元、数据打包单元以及数据分类单元。
其中，摄像机可以用于拍摄电子设备所处的外部环境，以得到外部环境的图像。可以理解的，所述摄像机还可以用于连续拍摄外部环境，也即对外部环境进行录像。
所述运动传感器可以包括陀螺仪(也称角速度传感器)、加速度传感器(也称重力传感器)等。通过所述运动传感器可以检测电子设备的运动，获取电子设备的运动数据。所述运动数据可以包括电子设备的加速度、角速度、电子设备的角度等数据。
可以理解的，由于摄像机在同一时刻只能拍摄一幅图像，也即摄像机拍摄外部环境时，得到的每一幅图像都有一个对应的拍摄时刻。同时，由于电子设备的运动数据是瞬时的，也即电子设备在不同时刻的运动数据是不同的。
所述数据对齐单元可以将摄像机拍摄得到的图像与所述运动传感器检测到的运动数据进行对齐，以确定所述摄像机在拍摄每一幅图像时电子设备的瞬时运动数据。
所述数据分析单元可以将数据对齐单元对齐后的图像与电子设备的运动数据进行分析，以得到外部环境的三维空间数据。随后，数据分析单元将得到的三维空间数据传输到数据打包单元。
此外，数据对齐单元可以将对齐操作后的图像数据传输到所述数据打包单元。数据打包单元将所述图像数据与所述三维空间数据进行打包，以生成所述外部环境的环境模型。所述环境模型可以为三维模型。
需要说明的是，所述环境模型中包括多种类型的数据。例如，所述环境模型中包括图像数据、空间坐标数据等不同类型的数据。所述数据分类单元可以将所述不同类型的数据进行分类，以生成多个数据类型接口。不同类型的数据类型接口可以供不同的应用进行调用。
本申请实施例提供一种环境模型生成方法，所述环境模型生成方法可以应用于电子设备中。所述电子设备可以是智能手机、平板电脑等设备。如图2所示，所述环境模型生成方法，可以包括以下步骤：
110，获取电子设备所处外部环境的多幅图像，每一幅所述图像对应一个获取时刻。
电子设备中包括摄像机。电子设备可以通过摄像机拍摄所处的环境，从而获取电子设备所处外部环境的多幅图像。
其中，所述多幅图像的拍摄时间可以是间断的，例如两幅图像之间的间隔时间可以为10分钟。所述多幅图像的拍摄时间也可以是连续的，例如电子设备可以通过摄像机对所处的外部环境进行录像，此时获取的多幅图像是连续的图像。从而，电子设备获取的多幅图像中，每一幅图像都对应一个获取时刻，也即所述图像的拍摄时刻。
电子设备所处的外部环境可以为办公室、超市、电影院、街道、景点等任意的环境。当用户在使用电子设备时，电子设备所处的外部环境即为用户所处的环境。
120，分别获取所述电子设备在每一所述获取时刻时的运动数据。
电子设备中包括运动传感器。其中，所述运动传感器可以包括但不限于陀螺仪、加速度传感器等。电子设备可以通过所述运动传感器获取在每一幅所述图像的获取时刻时电子设备的运动数据。
其中，所述运动数据可以包括电子设备的加速度、角速度、角加速度等速度数据，还可以包括电子设备的放置方向、倾斜角度等姿态数据，也可以包括电子设备所处的高度等数据。
130，分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据。
电子设备获取到多幅图像以及每一幅所述图像的获取时刻时电子设备的运动数据后，分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据。
其中，所述三维空间数据通过数据的方式表现了所述电子设备所处的外部环境。通过所述三维空间数据可以得知电子设备所处外部环境中每一点的空间情况。例如，电子设备前方10m(米)处是否有障碍物，所述障碍物的形状如何，电子设备下方0.5m处的物体形状等等，都可以通过所述三维空间数据表现出来。
140，将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型。
电子设备生成外部环境的三维空间数据后，可以将所述多幅图像与所述三维空间数据打包，也即将所述多幅图像组合到所述三维空间数据中，以生成所述外部环境的环境模型。
其中，所述环境模型可以直观地表现出所述电子设备所处外部环境中每一点的影像。例如，电子设备前方10m(米)处的障碍物是什么颜色，电子设备下方的桌面写有什么文字等等，都可以通过所述环境模型直观地表现出来。
在一些实施例中，如图3所示，步骤120、分别获取所述电子设备在每一所述获取时刻时的运动数据，包括以下步骤：
121，通过所述运动传感器获取所述电子设备的初始运动数据；
122，分别将每一幅所述图像与所述初始运动数据进行时间对齐，以分别获取所述电子设备在每一所述获取时刻时的运动数据。
电子设备中包括运动传感器。电子设备可以通过所述运动传感器获取所述电子设备的初始运动数据。其中，所述运动传感器可以持续获取电子设备在一段时间内的运动数据。例如，所述运动传感器可以持续获取电子设备在1小时内的运动数据。所述初始运动数据为所述运动传感器持续获取到的运动数据。
随后，电子设备分别将每一幅所述图像与所述初始运动数据进行时间对齐。可以理解的，每一幅所述图像都对应一个获取时刻，也即所述图像的拍摄时刻。将每一幅所述图像与所述初始运动数据进行时间对齐，也即确定每一幅所述图像的拍摄时刻时电子设备的瞬时运动数据。从而，可以获取到电子设备在拍摄每一幅所述图像时的运动数据。
在一些实施例中，如图3所示，步骤130、分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据，包括以下步骤：
131，分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以获取所述外部环境的多个坐标点的坐标数据；
132，根据获取的多个所述坐标数据生成所述外部环境的三维空间数据。
电子设备可以分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析。其中，电子设备可以从多幅图像中确定出同一个对象或同一个坐标点，根据每幅图像对应的运动数据确定出电子设备在拍摄所述多幅图像中的运动情况。从而，可以获取到所述对象或所述坐标点的坐标数据。
例如，电子设备可以从两幅图像中确定出同一个坐标点。所述两幅图像的拍摄时间之间具有时间差。随后，电子设备确定出在所述时间差之间的位移。可以理解的，根据所述位移可以得知电子设备在所述时间差之内的移动方向和移动量。从而，电子设备可以获取到所述坐标点与电子设备之间的相对坐标，也即可以获取到所述坐标点的坐标数据。
电子设备可以通过对所述多幅图像以及每一幅所述图像的获取时刻时电子设备的运动数据进行分析，以得到多个坐标点的坐标数据。例如，电子设备可以获取10000个坐标点的坐标数据。随后，根据获取的多个所述坐标数据生成所述外部环境的三维空间数据。
在一些实施例中，如图3所示，步骤140、将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型，包括以下步骤：
141，从所述多幅图像中获取每一个所述坐标点对应的元图像；
142，将每一个所述元图像组合到与所述元图像对应的坐标点的坐标数据中，以生成所述外部环境的环境模型。
电子设备可以通过对所述多幅图像进行分析，以从所述多幅图像中获取每一个所述坐标点对应的元图像。其中，元图像可以理解为最小的图像单元。坐标点对应的元图像表示在所述外部环境中，所述坐标点处的图像。每幅图像中所有坐标点处的元图像的集合即构成了所述图像。
随后，电子设备可以将每一个所述元图像组合到与所述元图像对应的坐标点的坐标数据中，以生成所述外部环境的环境模型。例如，电子设备获取了10000个坐标点，则电子设备可以从所述多幅图像中获取所述10000个坐标点中每一个坐标点对应的元图像，并将每一个坐标点对应的元图像组合到所述坐标点的坐标数据中。当所有坐标点的坐标数据中都组合了元图像后，即可得到所述外部环境的环境模型。
在一些实施例中，如图4所示，步骤140、将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型之后，还包括以下步骤：
150，根据数据类型将所述环境模型中的数据进行分类，以生成多个数据类型接口。
其中，所述环境模型中包括多种类型的数据。例如，所述环境模型中包括图像数据、空间坐标数据、坐标点统计数据等不同类型的数据。电子设备可以根据数据类型将所述环境模型中的数据进行分类，以生成多个数据类型接口。例如，可以生成图像数据接口、空间坐标数据接口、坐标点统计数据接口等多个数据类型接口，以供不同的应用对所述多个数据类型接口进行调用。
具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。
由上可知，本申请实施例提供的环境模型生成方法，包括：获取电子设备所处外部环境的多幅图像，每一幅所述图像对应一个获取时刻；分别获取所述电子设备在每一所述获取时刻时的运动数据；分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据；将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型。所述环境模型生成方法，可以根据获取到的外部环境的多幅图像以及获取每一幅所述图像时电子设备的运动数据来生成外部环境的环境模型，从而可以根据电子设备所处的外部环境建立环境模型，通过建立的环境模型可以高效率地对周围的真实环境进行识别。
本申请实施例还提供一种环境模型生成装置，所述环境模型生成装置可以集成在电子设备中，所述电子设备可以是智能手机、平板电脑等设备。
如图5所示，环境模型生成装置200可以包括：第一获取模块201、第二获取模块202、数据分析模块203、模型生成模块204。
第一获取模块201，用于获取电子设备所处外部环境的多幅图像，每一幅所述图像对应一个获取时刻。
电子设备中包括摄像机。第一获取模块201可以通过摄像机拍摄电子设备所处的环境，从而获取电子设备所处外部环境的多幅图像。
其中，所述多幅图像的拍摄时间可以是间断的，例如两幅图像之间的间隔时间可以为10分钟。所述多幅图像的拍摄时间也可以是连续的，例如第一获取模块201可以通过摄像机对所处的外部环境进行录像，此时获取的多幅图像是连续的图像。从而，第一获取模块201获取的多幅图像中，每一幅图像都对应一个获取时刻，也即所述图像的拍摄时刻。
电子设备所处的外部环境可以为办公室、超市、电影院、街道、景点等任意的环境。当用户在使用电子设备时，电子设备所处的外部环境即为用户所处的环境。
第二获取模块202，用于分别获取所述电子设备在每一所述获取时刻时的运动数据。
电子设备中包括运动传感器。其中，所述运动传感器可以包括但不限于陀螺仪、加速度传感器等。第二获取模块202可以通过所述运动传感器获取在每一幅所述图像的获取时刻时电子设备的运动数据。
其中，所述运动数据可以包括电子设备的加速度、角速度、角加速度等速度数据，还可以包括电子设备的放置方向、倾斜角度等姿态数据，也可以包括电子设备所处的高度等数据。
数据分析模块203，用于分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据。
获取到多幅图像以及每一幅所述图像的获取时刻时电子设备的运动数据后，数据分析模块203分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据。
其中，所述三维空间数据通过数据的方式表现了所述电子设备所处的外部环境。通过所述三维空间数据可以得知电子设备所处外部环境中每一点的空间情况。例如，电子设备前方10m(米)处是否有障碍物，所述障碍物的形状如何，电子设备下方0.5m处的物体形状等等，都可以通过所述三维空间数据表现出来。
模型生成模块204，用于将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型。
数据分析模块203生成外部环境的三维空间数据后，模型生成模块204可以将所述多幅图像与所述三维空间数据打包，也即将所述多幅图像组合到所述三维空间数据中，以生成所述外部环境的环境模型。
其中，所述环境模型可以直观地表现出所述电子设备所处外部环境中每一点的影像。例如，电子设备前方10m(米)处的障碍物是什么颜色，电子设备下方的桌面写有什么文字等等，都可以通过所述环境模型直观地表现出来。
在一些实施例中，如图6所示，第二获取模块202包括：第二获取子模块2021、对齐子模块2022。
第二获取子模块2021，用于通过所述运动传感器获取所述电子设备的初始运动数据；
对齐子模块2022，用于分别将每一幅所述图像与所述初始运动数据进行时间对齐，以分别获取所述电子设备在每一所述获取时刻时的运动数据。
电子设备中包括运动传感器。第二获取子模块2021可以通过所述运动传感器获取所述电子设备的初始运动数据。其中，所述运动传感器可以持续获取电子设备在一段时间内的运动数据。例如，所述运动传感器可以持续获取电子设备在1小时内的运动数据。所述初始运动数据为所述运动传感器持续获取到的运动数据。
随后，对齐子模块2022分别将每一幅所述图像与所述初始运动数据进行时间对齐。可以理解的，每一幅所述图像都对应一个获取时刻，也即所述图像的拍摄时刻。将每一幅所述图像与所述初始运动数据进行时间对齐，也即确定每一幅所述图像的拍摄时刻时电子设备的瞬时运动数据。从而，可以获取到电子设备在拍摄每一幅所述图像时的运动数据。
在一些实施例中，如图7所示，数据分析模块203包括：数据分析子模块2031、生成子模块2032。
数据分析子模块2031，用于分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以获取所述外部环境的多个坐标点的坐标数据；
生成子模块2032，用于根据获取的多个所述坐标数据生成所述外部环境的三维空间数据。
数据分析子模块2031可以分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析。其中，数据分析子模块2031可以从多幅图像中确定出同一个对象或同一个坐标点，根据每幅图像对应的运动数据确定出电子设备在拍摄所述多幅图像中的运动情况。从而，可以获取到所述对象或所述坐标点的坐标数据。
例如，数据分析子模块2031可以从两幅图像中确定出同一个坐标点。所述两幅图像的拍摄时间之间具有时间差。随后，数据分析子模块2031确定出在所述时间差之间的位移。可以理解的，根据所述位移可以得知电子设备在所述时间差之内的移动方向和移动量。从而，数据分析子模块2031可以获取到所述坐标点与电子设备之间的相对坐标，也即可以获取到所述坐标点的坐标数据。
数据分析子模块2031可以通过对所述多幅图像以及每一幅所述图像的获取时刻时电子设备的运动数据进行分析，以得到多个坐标点的坐标数据。例如，数据分析子模块2031可以获取10000个坐标点的坐标数据。随后，生成子模块2032根据获取的多个所述坐标数据生成所述外部环境的三维空间数据。
在一些实施例中，如图8所示，模型生成模块204包括：第一获取子模块2041、组合子模块2042。
第一获取子模块2041，用于从所述多幅图像中获取每一个所述坐标点对应的元图像；
组合子模块2042，用于将每一个所述元图像组合到与所述元图像对应的坐标点的坐标数据中，以生成所述外部环境的环境模型。
第一获取子模块2041可以通过对所述多幅图像进行分析，以从所述多幅图像中获取每一个所述坐标点对应的元图像。其中，元图像可以理解为最小的图像单元。坐标点对应的元图像表示在所述外部环境中，所述坐标点处的图像。每幅图像中所有坐标点处的元图像的集合即构成了所述图像。
随后，组合子模块2042可以将每一个所述元图像组合到与所述元图像对应的坐标点的坐标数据中，以生成所述外部环境的环境模型。例如，数据分析模块203获取了10000个坐标点，则第一获取子模块2041可以从所述多幅图像中获取所述10000个坐标点中每一个坐标点对应的元图像，组合子模块2042将每一个坐标点对应的元图像组合到所述坐标点的坐标数据中。当所有坐标点的坐标数据中都组合了元图像后，即可得到所述外部环境的环境模型。
在一些实施例中，如图9所示，环境模型生成装置200还包括数据分类模块205。
数据分类模块205，用于根据数据类型将所述环境模型中的数据进行分类，以生成多个数据类型接口。
其中，所述环境模型中包括多种类型的数据。例如，所述环境模型中包括图像数据、空间坐标数据、坐标点统计数据等不同类型的数据。数据分类模块205可以根据数据类型将所述环境模型中的数据进行分类，以生成多个数据类型接口。例如，可以生成图像数据接口、空间坐标数据接口、坐标点统计数据接口等多个数据类型接口，以供不同的应用对所述多个数据类型接口进行调用。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现。
由上可知，本申请实施例提供的环境模型生成装置200，通过第一获取模块201获取电子设备所处外部环境的多幅图像，每一幅所述图像对应一个获取时刻；第二获取模块202分别获取所述电子设备在每一所述获取时刻时的运动数据；数据分析模块203分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据；模型生成模块204将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型。所述环境模型生成装置可以根据获取到的外部环境的多幅图像以及获取每一幅所述图像时电子设备的运动数据来生成外部环境的环境模型，从而可以根据电子设备所处的外部环境建立环境模型，通过建立的环境模型可以高效率地对周围的真实环境进行识别。
本申请实施例还提供一种电子设备。所述电子设备可以是智能手机、平板电脑等设备。如图10所示，电子设备300包括处理器301和存储器302。其中，处理器301与存储器302电性连接。
处理器301是电子设备300的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或调用存储在存储器302内的计算机程序，以及调用存储在存储器302内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
在本实施例中，电子设备300中的处理器301会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器302中，并由处理器301来运行存储在存储器302中的计算机程序，从而实现各种功能：
获取电子设备所处外部环境的多幅图像，每一幅所述图像对应一个获取时刻；
分别获取所述电子设备在每一所述获取时刻时的运动数据；
分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据；
将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型。
在一些实施例中，分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据时，处理器301执行以下步骤：
分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以获取所述外部环境的多个坐标点的坐标数据；
根据获取的多个所述坐标数据生成所述外部环境的三维空间数据。
在一些实施例中，将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型时，处理器301执行以下步骤：
从所述多幅图像中获取每一个所述坐标点对应的元图像；
将每一个所述元图像组合到与所述元图像对应的坐标点的坐标数据中，以生成所述外部环境的环境模型。
在一些实施例中，所述电子设备包括运动传感器，分别获取所述电子设备在每一所述获取时刻时的运动数据时，处理器301执行以下步骤：
通过所述运动传感器获取所述电子设备的初始运动数据；
分别将每一幅所述图像与所述初始运动数据进行时间对齐，以分别获取所述电子设备在每一所述获取时刻时的运动数据。
在一些实施例中，将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型之后，处理器301还执行以下步骤：
根据数据类型将所述环境模型中的数据进行分类，以生成多个数据类型接口。
存储器302可用于存储计算机程序和数据。存储器302存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器301通过调用存储在存储器302的计算机程序，从而执行各种功能应用以及数据处理。
在一些实施例中，如图11所示，电子设备300还包括：射频电路303、显示屏304、控制电路305、输入单元306、音频电路307、传感器308以及电源309。其中，处理器301分别与射频电路303、显示屏304、控制电路305、输入单元306、音频电路307、传感器308以及电源309电性连接。
射频电路303用于收发射频信号，以通过无线通信与网络设备或其他电子设备进行通信。
显示屏304可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路305与显示屏304电性连接，用于控制显示屏304显示信息。
输入单元306可用于接收输入的数字、字符信息或用户特征信息(例如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中，输入单元306可以包括指纹识别模组。
音频电路307可通过扬声器、传声器提供用户与电子设备之间的音频接口。
传感器308用于采集外部环境信息。传感器308可以包括环境亮度传感器、加速度传感器、陀螺仪等传感器中的一种或多种。
电源309用于给电子设备300的各个部件供电。在一些实施例中，电源309可以通过电源管理系统与处理器301逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图11中未示出，电子设备300还可以包括摄像头、蓝牙模块等，在此不再赘述。
由上可知，本申请实施例提供了一种电子设备，所述电子设备执行以下步骤：获取电子设备所处外部环境的多幅图像，每一幅所述图像对应一个获取时刻；分别获取所述电子设备在每一所述获取时刻时的运动数据；分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据；将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型。所述电子设备可以根据获取到的外部环境的多幅图像以及获取每一幅所述图像时电子设备的运动数据来生成外部环境的环境模型，从而可以根据电子设备所处的外部环境建立环境模型，通过建立的环境模型可以高效率地对周围的真实环境进行识别。
本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机执行上述任一实施例所述的环境模型生成方法。
需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
以上对本申请实施例所提供的环境模型生成方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (5)

1.一种环境模型生成方法，应用于电子设备，其特征在于，所述环境模型生成方法包括：
获取所述电子设备所处外部环境的多幅图像，每一幅所述图像对应一个获取时刻；
通过运动传感器分别获取所述电子设备在每一所述获取时刻时的运动数据；
分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据，具体包括：将每一幅所述图像与所述运动数据进行时间对齐，以确定每一幅所述图像对应的瞬时运动数据，从所述多幅图像中确定出多个坐标点，根据所述多幅图像对应的运动数据确定电子设备在拍摄所述多幅图像时的运动情况，根据所述运动情况获取每一所述坐标点的坐标数据，根据所述多个多标点的坐标数据构成三维空间数据，所述三维空间数据用于表征所述电子设备所处的外部环境中每一所述坐标点相对于所述电子设备的空间情况；
将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型，具体包括：从所述多幅图像中获取每一所述坐标点对应的元图像，将每一元图像组合到所述元图像对应的坐标点的数据中，以生成外部环境的环境模型，其中，一坐标点对应的元图像表示在外部环境中所述坐标点处的图像。
2.根据权利要求1所述的环境模型生成方法，其特征在于，所述将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型之后，还包括：
根据数据类型将所述环境模型中的数据进行分类，以生成多个数据类型接口。
3.一种环境模型生成装置，应用于电子设备，其特征在于，所述环境模型生成装置包括：
第一获取模块，用于获取所述电子设备所处外部环境的多幅图像，每一幅所述图像对应一个获取时刻；
第二获取模块，用于通过运动传感器分别获取所述电子设备在每一所述获取时刻时的运动数据；
数据分析模块，用于分别对所述多幅图像以及与每一幅所述图像的获取时刻对应的运动数据进行分析，以生成所述外部环境的三维空间数据；
所述数据分析模块还用于：将每一幅所述图像与所述运动数据进行时间对齐，以确定每一幅所述图像对应的瞬时运动数据，从所述多幅图像中确定出多个坐标点，根据所述多幅图像对应的运动数据确定电子设备在拍摄所述多幅图像时的运动情况，根据所述运动情况获取每一所述坐标点的坐标数据，根据所述多个多标点的坐标数据构成三维空间数据，所述三维空间数据用于表征所述电子设备所处的外部环境中每一所述坐标点相对于所述电子设备的空间情况；
模型生成模块，用于将所述多幅图像与所述三维空间数据打包，以生成所述外部环境的环境模型；
所述模型生成模块还用于：从所述多幅图像中获取每一所述坐标点对应的元图像，将每一元图像组合到所述元图像对应的坐标点的数据中，以生成外部环境的环境模型，其中，一坐标点对应的元图像表示在外部环境中所述坐标点处的图像。
4.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至2任一项所述的环境模型生成方法。
5.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1至2任一项所述的环境模型生成方法。
CN201810252890.3A 2018-03-26 2018-03-26 环境模型生成方法、装置、存储介质及电子设备 Active CN108537878B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810252890.3A CN108537878B (zh) 2018-03-26 2018-03-26 环境模型生成方法、装置、存储介质及电子设备
US16/196,656 US10861169B2 (en) 2018-03-26 2018-11-20 Method, storage medium and electronic device for generating environment model
EP18214555.7A EP3547265A1 (en) 2018-03-26 2018-12-20 Method, storage medium and apparatus for generating environment model
PCT/CN2019/074016 WO2019184593A1 (en) 2018-03-26 2019-01-30 Method and apparatus for generating environment model, and storage medium
JP2020527790A JP7043601B2 (ja) 2018-03-26 2019-01-30 環境モデルを生成するための方法および装置ならびに記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810252890.3A CN108537878B (zh) 2018-03-26 2018-03-26 环境模型生成方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN108537878A CN108537878A (zh) 2018-09-14
CN108537878B true CN108537878B (zh) 2020-04-21

Family

ID=63484770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810252890.3A Active CN108537878B (zh) 2018-03-26 2018-03-26 环境模型生成方法、装置、存储介质及电子设备

Country Status (5)

Country Link
US (1) US10861169B2 (zh)
EP (1) EP3547265A1 (zh)
JP (1) JP7043601B2 (zh)
CN (1) CN108537878B (zh)
WO (1) WO2019184593A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537878B (zh) 2018-03-26 2020-04-21 Oppo广东移动通信有限公司 环境模型生成方法、装置、存储介质及电子设备
CN112215946A (zh) * 2020-10-12 2021-01-12 珠海朋奇科技有限责任公司 一种根据数据生成三维热力图的方法、系统、设备以及存储介质
CN112396693A (zh) * 2020-11-25 2021-02-23 上海商汤智能科技有限公司 一种面部信息的处理方法、装置、电子设备及存储介质
WO2024077449A1 (zh) * 2022-10-10 2024-04-18 华为技术有限公司 用于定位的模型的训练方法、定位方法、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050712A (zh) * 2013-03-15 2014-09-17 索尼公司 三维模型的建立方法和装置
CN107393017A (zh) * 2017-08-11 2017-11-24 北京铂石空间科技有限公司 图像处理方法、装置、电子设备及存储介质
CN107464283A (zh) * 2017-07-13 2017-12-12 广西我的科技有限公司 一种三维空间信息采集分析处理的方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8855846B2 (en) 2005-10-20 2014-10-07 Jason W. Grzywna System and method for onboard vision processing
US8976172B2 (en) 2012-12-15 2015-03-10 Realitycap, Inc. Three-dimensional scanning using existing sensors on portable electronic devices
US9519973B2 (en) * 2013-09-08 2016-12-13 Intel Corporation Enabling use of three-dimensional locations of features images
US9342929B2 (en) 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
KR20140110584A (ko) 2013-03-08 2014-09-17 삼성전자주식회사 증강 현실 제공 방법, 저장 매체 및 휴대 단말
KR102184766B1 (ko) 2013-10-17 2020-11-30 삼성전자주식회사 3차원 모델 복원 시스템 및 방법
US9773313B1 (en) 2014-01-03 2017-09-26 Google Inc. Image registration with device data
US9779512B2 (en) * 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
US10380316B2 (en) * 2015-02-09 2019-08-13 Haag Engineering Co. System and method for visualization of a mechanical integrity program
JP6823403B2 (ja) 2016-02-15 2021-02-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理方法およびプログラム
CN106373187B (zh) 2016-06-28 2019-01-11 上海交通大学 基于ar的二维图像转换至三维场景的实现方法
CN106856566B (zh) 2016-12-16 2018-09-25 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于ar设备的信息同步方法及系统
CN106843790B (zh) 2017-01-25 2020-08-04 触景无限科技（北京）有限公司 一种信息展示系统和方法
US11665308B2 (en) * 2017-01-31 2023-05-30 Tetavi, Ltd. System and method for rendering free viewpoint video for sport applications
CN106846497B (zh) 2017-03-07 2020-07-10 百度在线网络技术（北京）有限公司 应用于终端的呈现三维地图的方法和装置
CN107146278B (zh) * 2017-04-18 2020-05-26 深圳市智能现实科技有限公司 场景建模方法及装置
CN107808123B (zh) 2017-09-30 2021-11-05 杭州迦智科技有限公司 图像可行域检测方法、电子设备、存储介质、检测系统
EP3483839A1 (en) * 2017-11-08 2019-05-15 Siemens Healthcare GmbH Dynamic generation of a medical scene model
CN108537878B (zh) 2018-03-26 2020-04-21 Oppo广东移动通信有限公司 环境模型生成方法、装置、存储介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050712A (zh) * 2013-03-15 2014-09-17 索尼公司 三维模型的建立方法和装置
CN107464283A (zh) * 2017-07-13 2017-12-12 广西我的科技有限公司 一种三维空间信息采集分析处理的方法及装置
CN107393017A (zh) * 2017-08-11 2017-11-24 北京铂石空间科技有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US10861169B2 (en) 2020-12-08
US20190295265A1 (en) 2019-09-26
WO2019184593A1 (en) 2019-10-03
JP7043601B2 (ja) 2022-03-29
EP3547265A1 (en) 2019-10-02
JP2021503665A (ja) 2021-02-12
CN108537878A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108537878B (zh) 环境模型生成方法、装置、存储介质及电子设备
CN110555883B (zh) 相机姿态追踪过程的重定位方法、装置及存储介质
WO2019184889A1 (zh) 增强现实模型的调整方法、装置、存储介质和电子设备
CN109949422B (zh) 用于虚拟场景的数据处理方法以及设备
CN108525305B (zh) 图像处理方法、装置、存储介质及电子设备
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN110807361A (zh) 人体识别方法、装置、计算机设备及存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
KR20160057867A (ko) 디스플레이 장치 및 그에 의한 이미지 처리 방법
US20230047514A1 (en) Method and apparatus for detection and tracking, and storage medium
CN113395542A (zh) 基于人工智能的视频生成方法、装置、计算机设备及介质
CN111784765A (zh) 物体测量、虚拟对象处理方法及装置、介质和电子设备
CN110570460A (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN113426117A (zh) 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
JP7419003B2 (ja) 情報表示装置、情報表示方法及び情報表示システム
WO2019000464A1 (zh) 一种图像显示方法、装置、存储介质和终端
CN108537149B (zh) 图像处理方法、装置、存储介质及电子设备
CN113178017A (zh) Ar数据展示方法、装置、电子设备及存储介质
CN113032590A (zh) 特效展示方法、装置、计算机设备及计算机可读存储介质
CN113378705B (zh) 车道线检测方法、装置、设备及存储介质
CN113361386B (zh) 虚拟场景的处理方法、装置、设备及存储介质
KR102255181B1 (ko) 다수의 카메라에 의한 증강 현실 영상 생성 방법 및 장치
CN115734085A (zh) 一种视频处理方法，终端和相关设备
CN114298268A (zh) 图像获取模型的训练方法、图像检测方法、装置及设备
CN115220632A (zh) 点读设备的反应速度确定方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: Guangdong OPPO Mobile Communications Co., Ltd.

CB02 Change of applicant information
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1257406

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant