CN110379017B - 一种场景构建方法、装置、电子设备及存储介质 - Google Patents

一种场景构建方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110379017B
CN110379017B CN201910631024.XA CN201910631024A CN110379017B CN 110379017 B CN110379017 B CN 110379017B CN 201910631024 A CN201910631024 A CN 201910631024A CN 110379017 B CN110379017 B CN 110379017B
Authority
CN
China
Prior art keywords
sequence
video frame
time
obtaining
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910631024.XA
Other languages
English (en)
Other versions
CN110379017A (zh
Inventor
李坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910631024.XA priority Critical patent/CN110379017B/zh
Publication of CN110379017A publication Critical patent/CN110379017A/zh
Priority to US16/926,477 priority patent/US11055927B2/en
Application granted granted Critical
Publication of CN110379017B publication Critical patent/CN110379017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Security & Cryptography (AREA)
  • Architecture (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开关于一种场景构建方法、装置、电子设备及存储介质，涉及图像处理技术领域，该方法包括获得第一序列，第一序列包括第一时间段内采集的每一视频帧对应的图像差异值，获得第二序列，第二序列包括第二时间段内采集的AR设备的姿态数据，在AR设备处于运动状态的情况下，针对每一预设时间差，根据第二序列计算每一视频帧对应的姿态差异值，并获得包括计算所得姿态差异值的第三序列，确定与第一序列相似度最高的第三序列作为第四序列，并根据第四序列对应的预设时间差，获得用于构建场景的视频帧和姿态数据，从而构建AR场景。本公开的方案可以提高所构建出AR场景中虚拟对象和现实场景的同步性。

Description

一种场景构建方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种场景构建方法、装置、电子设备及存储介质。
背景技术
AR(Augmented Reality，增强现实)设备能够实时采集现实场景的视频，并实时采集自身的姿态数据，然后根据上述姿态数据将虚拟对象和上述视频的视频帧进行叠加，构建AR场景。
相关技术中，AR设备一般包括处理器、IMU(Inertial Measurement Unit，惯性测量单元)和摄像头等图像采集单元，处理器控制IMU采集姿态数据，并控制图像采集单元采集现实场景的视频。由于姿态数据和视频传送到处理器过程中存在传输延迟，因此处理器接收到的的姿态数据和视频不是同步的，进而导致在场景构建过程中，虚拟对象和现实场景的同步性差。
发明内容
本公开提供一种场景构建方法、装置、电子设备及存储介质，以至少解决相关技术中虚拟对象和现实场景的同步性差的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种场景构建方法，包括：
获得第一序列，其中，所述第一序列包括：第一时间段内采集的每一视频帧对应的图像差异值，每一视频帧对应的图像差异值表征所述AR设备的姿态变化，所述第一时间段为：从当前时刻向前第一预设时长的时间段；
获得第二序列，其中，所述第二序列包括：第二时间段内采集的所述AR设备的姿态数据，所述第二时间段为：从所述当前时刻向前第二预设时长的时间段，所述第二预设时长不小于所述第一预设时长；
在所述AR设备处于运动状态的情况下，针对每一预设时间差，根据所述第二序列，计算每一视频帧对应的姿态差异值，并获得包括计算所得姿态差异值的第三序列，其中，每一视频帧对应的姿态差异值表示：第一姿态与第二姿态之间的差异，所述第一姿态为每一视频帧的采集时刻所述AR设备的姿态，所述第二姿态为每一视频帧的前一视频帧的采集时刻所述AR设备的姿态；
确定与所述第一序列相似度最高的第三序列，作为第四序列，并根据所述第四序列对应的预设时间差，获得用于构建场景的视频帧和姿态数据；
采用所获得的视频帧和姿态数据构建AR场景。
本公开的一个实施例中，所述针对每一预设时间差，根据所述第二序列，计算每一视频帧对应的姿态差异值，包括：
针对每一预设时间差，按照以下方式计算每一视频帧对应的姿态差异值：
计算每一视频帧的采集时刻与预设时间差之和，作为第一时刻；
计算每一视频帧的前一视频帧的采集时刻与预设时间差之和，作为第二时刻；
根据所述第二序列，获得表示所述AR设备在所述第一时刻姿态的第一姿态数据，并获得表示所述AR设备在所述第二时刻姿态的第二姿态数据；
根据所述第一姿态数据和所述第二姿态数据计算每一视频帧对应的姿态差异值。
本公开的一个实施例中，所述根据所述第二序列，获得表示所述AR设备在所述第一时刻姿态的第一姿态数据，包括：
从所述第二序列中，查找所述姿态数据的采集时刻与所述第一时刻之间的时间差最小的预设数量个姿态数据；
根据查找到的姿态数据，获得表示所述AR设备在所述第一时刻姿态的第一姿态数据。
本公开的一个实施例中，每一视频帧对应的图像差异值为：每一视频帧与每一视频帧的前一视频帧之间的稀疏光流的平均模长。
本公开的一个实施例中，在所述姿态数据包括加速度和角速度的情况下，通过以下方式判断所述AR设备是否处于运动状态：
计算所述第二序列中的加速度的第一离散程度；
计算所述第二序列中的角速度的第二离散程度；
在所述第一离散程度大于第一阈值且所述第二离散程度大于第二阈值的情况下，判定所述AR设备处于运动状态。
根据本公开实施例的第二方面，提供一种场景构建装置，包括：
第一序列获得模块，被配置为执行获得第一序列，其中，所述第一序列包括：第一时间段内采集的每一视频帧对应的图像差异值，每一视频帧对应的图像差异值表征所述AR设备的姿态变化，所述第一时间段为：从当前时刻向前第一预设时长的时间段；
第二序列获得模块，被配置为执行获得第二序列，其中，所述第二序列包括：第二时间段内采集的所述AR设备的姿态数据，所述第二时间段为：从所述当前时刻向前第二预设时长的时间段，所述第二预设时长不小于所述第一预设时长；
第三序列获得模块，被配置为执行在所述AR设备处于运动状态的情况下，针对每一预设时间差，根据所述第二序列，计算每一视频帧对应的姿态差异值，并获得包括计算所得姿态差异值的第三序列，其中，每一视频帧对应的姿态差异值表示：第一姿态与第二姿态之间的差异，所述第一姿态为每一视频帧的采集时刻所述AR设备的姿态，所述第二姿态为每一视频帧的前一视频帧的采集时刻所述AR设备的姿态；
第四序列确定模块，被配置为执行确定与所述第一序列相似度最高的第三序列，作为第四序列，并根据所述第四序列对应的预设时间差，获得用于构建场景的视频帧和姿态数据；
AR场景构建模块，被配置为执行采用所获得的视频帧和姿态数据构建AR场景。
本公开的一个实施例中，所述第三序列获得模块，被具体配置为针对每一预设时间差，计算每一视频帧对应的姿态差异值；
其中，所述第三序列获得模块，包括：
第一时刻计算单元，被配置为执行计算每一视频帧的采集时刻与预设时间差之和，作为第一时刻；
第二时刻计算单元，被配置为执行计算每一视频帧的前一视频帧的采集时刻与预设时间差之和，作为第二时刻；
姿态数据获得单元，被配置为执行根据所述第二序列，获得表示所述AR设备在所述第一时刻姿态的第一姿态数据，并获得表示所述AR设备在所述第二时刻姿态的第二姿态数据；
姿态差异计算单元，被配置为执行根据所述第一姿态数据和所述第二姿态数据计算每一视频帧对应的姿态差异值。
本公开的一个实施例中，所述姿态数据获得单元，被具体配置为：
从所述第二序列中，查找所述姿态数据的采集时刻与所述第一时刻之间的时间差最小的预设数量个姿态数据；
根据查找到的姿态数据，获得表示所述AR设备在所述第一时刻姿态的第一姿态数据。
本公开的一个实施例中，每一视频帧对应的图像差异值为：每一视频帧与每一视频帧的前一视频帧之间的稀疏光流的平均模长。
本公开的一个实施例中，所述装置还包括：
运动状态判断模块，被配置为在所述姿态数据包括加速度和角速度的情况下，计算所述第二序列中的加速度的第一离散程度；计算所述第二序列中的角速度的第二离散程度；在所述第一离散程度大于第一阈值且所述第二离散程度大于第二阈值的情况下，判定所述AR设备处于运动状态。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如第一方面中任一项所述的场景构建方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面中任一项所述的场景构建方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
应用本公开实施例提供的方案构建场景时，获得第一序列和第二序列后，按照预设的时间差，根据第二序列，获得第一时间段内采集每一视频帧时AR设备的姿态之间的姿态差异值，得到第三序列。由于第一序列包括的是表征AR设备姿态变化的图像差异值，也就是，第一序列是从图像的角度反映AR设备在一段时间段内姿态变化的，又由于第三序列是从姿态数据的角度反映AR设备在一段时间段内姿态变化的，因此，可以认为与第一序列相似度最高的第三序列对应的时间段同第一序列对应的时间段相同，进而将确定出来的相似度最高的第四序列对应的时间差作为AR设备获得视频帧和姿态数据的时间差。这样按照确定出的时间差获得用于构建AR场景的视频帧和姿态数据，能够保证所获得的姿态数据和视频帧保持时间同步，进而可以提高所构建出AR场景中虚拟对象和现实场景的同步性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种场景构建方法的流程图；
图2是根据一示例性实施例示出的一种场景构建装置的框图；
图3是根据一示例性实施例示出的一种电子设备框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种场景构建方法的流程图，如图1所示，场景构建方法用于AR设备中。具体的，该AR设备可以为安装有AR客户端的手机、安装有AR客户端的平板或者AR穿戴设备等，上述方法包括以下步骤101-步骤105。
步骤101，获得第一序列。
其中，第一序列包括：第一时间段内采集的每一视频帧对应的图像差异值。每一视频帧对应的图像差异值表征AR设备姿态变化。第一时间段为：从当前时刻向前第一预设时长的时间段。
本公开的一个实施例中，每一视频帧对应的图像差异值可以为每一视频帧与每一视频帧的前一视频帧之间的图像差异。其中，每一视频帧的前一视频帧为与每一视频帧相邻的前一视频帧，例如，对于一个视频帧而言，上述视频帧的前一视频帧为与上述视频帧相邻的前一视频帧。
具体的，上述AR设备可以具有图像采集单元，例如，上述图像采集单元可以为摄像头。基于此，上述视频帧可以是由AR设备的摄像头等图像采集单元采集得到的。
具体的，第一预设时长可以根据应用场景预先设定。例如，上述第一预设时长可以是5s、10s、20s等，本公开并不对此进行限定。
本公开的一个实施例中，每一视频帧对应的图像差异值可以为每一视频帧与每一视频帧的前一视频帧之间的稀疏光流的平均模长。
两视频帧之间光流的平均模长越长，表示AR设备的姿态变化越大，反过来，两视频帧之间光流的平均模长越短，所表征的AR设备姿态变化越小。由于在AR场景中，相邻两视频帧之间的光流在本方案以外的其他步骤中也可能会被用到，因此，在整个AR场景中每相邻两个视频帧之间的光流计算一次即可，计算得到光流可以在各个步骤之间共用，所以，应用本公开的实施例提供的方案，不仅可以得到图像差异值，还可以节省计算量，提高计算效率。
步骤102，获得第二序列。
其中，第二序列包括：第二时间段内采集的AR设备的姿态数据。
本公开的一个实施例中，上述AR设备可以包括IMU，这种情况下上述姿态数据可以为IMU采集得到的数据。具体的，IMU采集到的数据可以包括加速度、角速度、空间坐标等。虽然IMU采集到的上述加速度、角速度、空间坐标等信息反映的是IMU的姿态信息，但是由于IMU为AR设备的一部分，所以IMU采集的上述数据也可以认为是反映AR设备姿态的信息。
上述第二时间段为：从当前时刻向前第二预设时长的时间段。上述第二预设时长不小于第一预设时长。
步骤103，在AR设备处于运动状态的情况下，针对每一预设时间差，根据第二序列，计算每一视频帧对应的姿态差异值，并获得包括计算所得姿态差异值的第三序列。
其中，每一视频帧对应的姿态差异值表示：第一姿态与第二姿态之间的差异，第一姿态为每一视频帧的采集时刻AR设备的姿态，第二姿态为每一视频帧的前一视频帧的采集时刻AR设备的姿态。
本公开的一个实施例中，在姿态数据为IMU数据的情况下，上述姿态差异值可以为每一视频帧的采集时刻AR设备的空间坐标与每一视频帧的前一视频帧的采集时刻AR设备的空间坐标之间的差值。
其中，上述预设时间差可以是预设的一系列时间差，例如：
-15ms，-5ms，3ms，11ms，17ms
上述预设时间差也可以是按照预设步长在预设时间差范围内得到的一系列差值，例如，预先设定时间差的范围为-50ms～50ms，步长为20ms，则上述时间差为：
-50ms，-30ms，-10ms，10ms，30ms，50ms
由于第二预设时长不小于第一预设时长，所以在第二序列中可以得到每一视频帧的采集时刻AR设备的姿态数据。
例如，对于一个视频帧而言，计算该视频帧的采集时刻与预设时间差的和，利用计算得到的和值从第二序列中得到姿态数据，作为该视频帧对应的姿态数据，用同样方法得到该视频帧的前一视频帧对应的姿态数据，计算该视频帧与该视频帧的前一视频帧对应的姿态数据的差异值，作为该视频帧对应的姿态差异值。
针对每一个预设时间差，均可以计算出每一视频帧的姿态差异值，从而得到该预设时间差对应的第三序列，即每一个预设时间差对应一个第三序列。由于第三序列中包含第一时间段内采集的每一视频帧的姿态差异值，且第一序列中包含第一时间段内采集的每一视频帧的图像差异值，所以，第三序列中元素数量与第一序列元素数量相等。
本公开的一个实施例中，在姿态数据包括加速度和角速度的情况下，可以通过以下方式判断上述AR设备是否处于运动状态：
计算上述第二序列中的加速度的第一离散程度；
计算上述第二序列中的角速度的第二离散程度；
在上述第一离散程度大于第一阈值且第二离散程度大于第二阈值的情况下，判定上述AR设备处于运动状态。
具体的，上述第一离散程度和第二离散程度可以以方差、平均差、极差等来表示。
例如，假设姿态数据中包括的加速度和角速度如表1所示：
表1
加速度 8 11 9 7 3
角速度 17 24 19 18 21
以方差表示离散程度，则上述第一离散程度为49，第二离散程度为38，假设上述第一阈值为35，第二阈值为30，则由于第一离散程度大于第一阈值且第二离散程度大于第二阈值，判定上述AR设备处于运动状态。
本公开的一个实施例中，还可以通过AR设备中的静置/运动传感器判定AR设备的运动状态。
步骤104，确定与第一序列相似度最高的第三序列，作为第四序列，并根据第四序列对应的预设时间差，获得用于构建场景的视频帧和姿态数据。
具体的，计算当前时刻与所确定的时间差之和，获得所计算出的和值对应时刻的AR设备的姿态数据，并获得当前视频帧。
其中，上述相似度可以通过计算余弦相似度、绝对值距离、皮尔逊相关系数等得到。
本公开的一个实施例中，上述相似度通过计算余弦相似度得到。具体的，计算每一预设时间差对应的第三序列与第一序列的余弦相似度，以第三序列中与第一序列余弦相似度最高的序列作为第四序列，以第四序列所对应的时间差，作为获取姿态数据与视频帧的时间差。
步骤105，采用所获得的视频帧和姿态数据构建AR场景。
应用本公开实施例提供的方案构建场景时，获得第一序列和第二序列后，按照预设的时间差，根据第二序列，获得第一时间段内采集每一视频帧时AR设备的姿态之间的姿态差异值，得到第三序列。由于第一序列包括的是表征AR设备姿态变化的图像差异值，也就是，第一序列是从图像的角度反映AR设备在一段时间段内姿态变化的，又由于第三序列是从姿态数据的角度反映AR设备在一段时间段内姿态变化的，因此，可以认为与第一序列匹配度最高的第三序列对应的时间段同第一序列对应的时间段相同，进而将确定出来的相似度最高的第四序列对应的时间差作为AR设备获得视频帧和姿态数据的时间差。这样按照确定出的时间差获得用于构建AR场景的视频帧和姿态数据，能够保证所获得的姿态数据和视频帧保持时间同步，进而可以提高所构建出AR场景中虚拟对象和现实场景的同步性。
本公开的一个实施例中，针对每一预设时间差，按照以下步骤A-D计算每一视频帧对应的姿态差异值：
步骤A：计算每一视频帧的采集时刻与预设时间差之和，作为第一时刻。
例如，一个视频帧的采集时刻为第0ms，预设的时间差为10ms，则第一时刻为第10ms。
步骤B：计算每一视频帧的前一视频帧的采集时刻与预设时间差之和，作为第二时刻。
步骤C：根据第二序列，获得表示AR设备在第一时刻姿态的第一姿态数据，并获得表示AR设备在第二时刻姿态的第二姿态数据。
本公开的一个实施例中，对于根据第二序列，获得表示AR设备在第一时刻姿态的第一姿态数据时，可以从上述第二序列中，查找姿态数据的采集时刻与第一时刻之间的时间差最小的预设数量个姿态数据，根据查找到的姿态数据，获得表示上述AR设备在第一时刻姿态的第一姿态数据。
其中，上述预设数量根据应用场景预先设定，例如，可以是5个、10个、20个等，本公开并不对此进行限定。
本公开的另一个实施例中，对于根据第二序列，获得表示AR设备在第一时刻姿态的第一姿态数据时，还可以从上述第二序列中，查找姿态数据的采集时刻与第一时刻之间的时间差在预设范围内的姿态数据，根据查找到的姿态数据，获得表示上述AR设备在第一时刻姿态的第一姿态数据。
获得第二姿态数据的方式与上述获得第一姿态数据的方式相同，这里不再赘述。
步骤D：根据第一姿态数据和第二姿态数据计算视频帧对应的姿态差异值。
对于每一视频帧而言，均存在对应的第一姿态数据和第二姿态数据。对于一个视频帧而言，根据上述视频帧的采集时刻得到第一时刻，再根据第一时刻得到第一姿态数据，根据上述视频帧的前一视频帧的采集时刻得到第二时刻，再根据第二时刻得到第二姿态数据，由上述第一姿态数据和第二姿态数据计算上述视频帧对应的姿态差异值。
本公开的一个实施例中，可以查找姿态数据的采集时刻与第一时刻之间的时间差最小的预设数量个姿态数据，计算上述姿态数据的平均值，作为第一姿态数据，还可以对上述姿态数据进行线性拟合，计算得到第一姿态数据。
假设，以第一个姿态数据的采集时刻为基准，也就是认为第一个姿态数据的采集时刻为第0ms，后续各个姿态数据的采集时刻分别相对与上述基准记录，如下表2所示，另外，表2还示出了上述各个采集时刻采集的姿态数据。
表2
Figure BDA0002128677530000091
假设第一时刻为第12ms，预设数量为5，则与第一时刻之间的时间差最小的5个姿态数据分别为：14、15、19、13、8，以这些姿态数据的平均值为第一姿态数据，则第一姿态数据为：
Figure BDA0002128677530000092
本公开的一个实施例中，在第一时刻为姿态数据采集时刻的情况下，可以直接从第二序列中获得第一时刻采集的姿态数据；在第一时刻不为姿态数据采集时刻的情况下，可以利用线性插值法得到第一姿态数据。
假设第二时刻为第10ms，则查找采集时刻与第二时刻之间的时间差最小的两个姿态数据15、19，然后利用现行插值法计算：
Figure BDA0002128677530000093
即第二姿态数据为16.3。
13.8-16.3＝-2.5
计算得到该视频帧对应的姿态差异值为-2.5。
图2是根据一示例性实施例示出的一种场景构建装置框图，应用于AR设备。参照图2，该装置包括：
第一序列获得模块201，被配置为执行获得第一序列，其中，第一序列包括：第一时间段内采集的每一视频帧对应的图像差异值，每一视频帧对应的图像差异值表征AR设备姿态变化，第一时间段为：从当前时刻向前第一预设时长的时间段；
第二序列获得模块202，被配置为执行获得第二序列，其中，上述第二序列包括：第二时间段内采集的AR设备的姿态数据，第二时间段为：从当前时刻向前第二预设时长的时间段，上述第二预设时长不小于第一预设时长；
第三序列获得模块203，被配置为执行在AR设备处于运动状态的情况下，针对每一预设时间差，根据第二序列，计算每一视频帧对应的姿态差异值，并获得包括计算所得姿态差异值的第三序列，其中，每一视频帧对应的姿态差异值表示：第一姿态与第二姿态之间的差异，第一姿态为每一视频帧的采集时刻AR设备的姿态，第二姿态为每一视频帧的前一视频帧的采集时刻AR设备的姿态；
第四序列确定模块204，被配置为执行确定与上述第一序列相似度最高的第三序列，作为第四序列，并根据第四序列对应的预设时间差，获得用于构建场景的视频帧和姿态数据；
AR场景构建模块205，被配置为执行采用所获得的视频帧和姿态数据构建AR场景。
本公开的一个实施例中，上述第三序列获得模块203，被具体配置为针对每一预设时间差，计算第一时间段内采集的每一视频帧对应的姿态差异值：
其中，上述第三序列获得模块，包括：
第一时刻计算单元，被配置为执行计算每一视频帧的采集时刻与预设时间差之和，作为第一时刻；
第二时刻计算单元，被配置为执行计算上述每一视频帧的前一视频帧的采集时刻与预设时间差之和，作为第二时刻；
姿态数据获得单元，被配置为执行根据第二序列，获得表示上述AR设备在第一时刻姿态的第一姿态数据，并获得表示AR设备在第二时刻姿态的第二姿态数据；
姿态差异计算单元，被配置为执行根据第一姿态数据和第二姿态数据计算每一视频帧对应的姿态差异值。
本公开的一个实施例中，上述姿态数据获得单元，被具体配置为：
从上述第二序列中，查找姿态数据的采集时刻与第一时刻之间的时间差最小的预设数量个姿态数据；
根据查找到的姿态数据，获得表示上述AR设备在第一时刻姿态的第一姿态数据。
本公开的一个实施例中，每一视频帧对应的图像差异值为：每一视频帧与每一视频帧的前一视频帧之间的稀疏光流的平均模长。
本公开的一个实施例中，上述装置还包括：
运动状态判断模块，被配置为在姿态数据包括加速度和角速度的情况下，计算第二序列中的加速度的第一离散程度；计算第二序列中的角速度的第二离散程度；在第一离散程度大于第一阈值且第二离散程度大于第二阈值的情况下，判定上述AR设备处于运动状态。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
应用本公开实施例提供的方案构建场景时，获得第一序列和第二序列后，按照预设的时间差，根据第二序列，获得第一时间段内采集每一视频帧时AR设备的姿态之间的姿态差异值，得到第三序列。由于第一序列包括的是表征AR设备姿态变化的图像差异值，也就是，第一序列是从图像的角度反映AR设备在一段时间段内姿态变化的，又由于第三序列是从姿态数据的角度反映AR设备在一段时间段内姿态变化的，因此，可以认为与第一序列相似度最高的第三序列对应的时间段同第一序列对应的时间段相同，进而将确定出来的相似度最高的第四序列对应的时间差作为AR设备获得视频帧和姿态数据的时间差。这样按照确定出的时间差获得用于构建AR场景的视频帧和姿态数据，能够保证所获得的姿态数据和视频帧保持时间同步，进而可以提高所构建出AR场景中虚拟对象和现实场景的同步性。
图3是根据一示例性实施例示出的一种电子设备框图，应用于AR设备。参照图3，该电子设备包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，
存储器303，用于存放计算机程序；
处理器301，用于执行存储器303上所存放的程序时，实现本公开提供的场景构建方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本公开提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一场景构建方法的步骤。
在本公开提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一场景构建方法。
可见，应用上述实施例提供的电子设备进行场景构建时、执行上述实施例提供的计算机可读存储介质中存储的计算机程序进行场景构建时以及在计算机上运行上述实施例提供的计算机程序产品而进行场景构建时，通过获得第一序列和第二序列后，按照预设的时间差，根据第二序列，获得第一时间段内采集每一视频帧时AR设备的姿态之间的姿态差异值，得到第三序列。由于第一序列包括的是表征AR设备姿态变化的图像差异值，也就是，第一序列是从图像的角度反映AR设备在一段时间段内姿态变化的，又由于第三序列是从姿态数据的角度反映AR设备在一段时间段内姿态变化的，因此，可以认为与第一序列相似度最高的第三序列对应的时间段同第一序列对应的时间段相同，进而将确定出来的相似度最高的第四序列对应的时间差作为AR设备获得视频帧和姿态数据的时间差。这样按照确定出的时间差获得用于构建AR场景的视频帧和姿态数据，能够保证所获得的姿态数据和视频帧保持时间同步，进而可以提高所构建出AR场景中虚拟对象和现实场景的同步性。
本发明实施例提供的电子设备、可读存储介质以及计算机程序产品，可以快速准确地实现本发明实施例提供的场景构建方法，与现有技术相比，应用本发明实施例提供的方案，提高所构建出AR场景中虚拟对象和现实场景的同步性。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种场景构建方法，其特征在于，应用于增强现实AR设备，包括：
获得第一序列，其中，所述第一序列包括：第一时间段内采集的每一视频帧对应的图像差异值，每一视频帧对应的图像差异值表征所述AR设备的姿态变化，所述第一时间段为：从当前时刻向前第一预设时长的时间段；
获得第二序列，其中，所述第二序列包括：第二时间段内采集的所述AR设备的姿态数据，所述第二时间段为：从所述当前时刻向前第二预设时长的时间段，所述第二预设时长不小于所述第一预设时长；
在所述AR设备处于运动状态的情况下，针对每一预设时间差，根据所述第二序列，计算每一视频帧对应的姿态差异值，并获得包括计算所得姿态差异值的第三序列，其中，每一视频帧对应的姿态差异值表示：第一姿态与第二姿态之间的差异，所述第一姿态为每一视频帧的采集时刻与该预设时间差之和的时刻所述AR设备的姿态，所述第二姿态为每一视频帧的前一视频帧的采集时刻与该预设时间差之和的时刻所述AR设备的姿态；
确定与所述第一序列相似度最高的第三序列，作为第四序列，并根据所述第四序列对应的预设时间差，获得用于构建场景的视频帧和姿态数据；
采用所获得的视频帧和姿态数据构建AR场景。
2.根据权利要求1所述的方法，其特征在于，所述针对每一预设时间差，根据所述第二序列，计算每一视频帧对应的姿态差异值，包括：
针对每一预设时间差，按照以下方式计算每一视频帧对应的姿态差异值：
计算每一视频帧的采集时刻与预设时间差之和，作为第一时刻；
计算每一视频帧的前一视频帧的采集时刻与预设时间差之和，作为第二时刻；
根据所述第二序列，获得表示所述AR设备在所述第一时刻姿态的第一姿态数据，并获得表示所述AR设备在所述第二时刻姿态的第二姿态数据；
根据所述第一姿态数据和所述第二姿态数据计算每一视频帧对应的姿态差异值。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二序列，获得表示所述AR设备在所述第一时刻姿态的第一姿态数据，包括：
从所述第二序列中，查找所述姿态数据的采集时刻与所述第一时刻之间的时间差最小的预设数量个姿态数据；
根据查找到的姿态数据，获得表示所述AR设备在所述第一时刻姿态的第一姿态数据。
4.根据权利要求1-3中任一项所述的方法，其特征在于，
每一视频帧对应的图像差异值为：每一视频帧与每一视频帧的前一视频帧之间的稀疏光流的平均模长。
5.根据权利要求1-3中任一项所述的方法，其特征在于，在所述姿态数据包括加速度和角速度的情况下，通过以下方式判断所述AR设备是否处于运动状态：
计算所述第二序列中的加速度的第一离散程度；
计算所述第二序列中的角速度的第二离散程度；
在所述第一离散程度大于第一阈值且所述第二离散程度大于第二阈值的情况下，判定所述AR设备处于运动状态。
6.一种场景构建装置，其特征在于，应用于增强现实AR设备，包括：
第一序列获得模块，被配置为执行获得第一序列，其中，所述第一序列包括：第一时间段内采集的每一视频帧对应的图像差异值，每一视频帧对应的图像差异值表征所述AR设备的姿态变化，所述第一时间段为：从当前时刻向前第一预设时长的时间段；
第二序列获得模块，被配置为执行获得第二序列，其中，所述第二序列包括：第二时间段内采集的所述AR设备的姿态数据，所述第二时间段为：从所述当前时刻向前第二预设时长的时间段，所述第二预设时长不小于所述第一预设时长；
第三序列获得模块，被配置为执行在所述AR设备处于运动状态的情况下，针对每一预设时间差，根据所述第二序列，计算每一视频帧对应的姿态差异值，并获得包括计算所得姿态差异值的第三序列，其中，每一视频帧对应的姿态差异值表示：第一姿态与第二姿态之间的差异，所述第一姿态为每一视频帧的采集时刻与该预设时间差之和的时刻所述AR设备的姿态，所述第二姿态为每一视频帧的前一视频帧的采集时刻与该预设时间差之和的时刻所述AR设备的姿态；
第四序列确定模块，被配置为执行确定与所述第一序列相似度最高的第三序列，作为第四序列，并根据所述第四序列对应的预设时间差，获得用于构建场景的视频帧和姿态数据；
AR场景构建模块，被配置为执行采用所获得的视频帧和姿态数据构建AR场景。
7.根据权利要求6所述的装置，其特征在于，所述第三序列获得模块，被具体配置为针对每一预设时间差，计算每一视频帧对应的姿态差异值；
其中，所述第三序列获得模块，包括：
第一时刻计算单元，被配置为执行计算每一视频帧的采集时刻与预设时间差之和，作为第一时刻；
第二时刻计算单元，被配置为执行计算每一视频帧的前一视频帧的采集时刻与预设时间差之和，作为第二时刻；
姿态数据获得单元，被配置为执行根据所述第二序列，获得表示所述AR设备在所述第一时刻姿态的第一姿态数据，并获得表示所述AR设备在所述第二时刻姿态的第二姿态数据；
姿态差异计算单元，被配置为执行根据所述第一姿态数据和所述第二姿态数据计算每一视频帧对应的姿态差异值。
8.根据权利要求7所述的装置，其特征在于，所述姿态数据获得单元，被具体配置为：
从所述第二序列中，查找所述姿态数据的采集时刻与所述第一时刻之间的时间差最小的预设数量个姿态数据；
根据查找到的姿态数据，获得表示所述AR设备在所述第一时刻姿态的第一姿态数据。
9.根据权利要求6-8中任一项所述的装置，其特征在于，
每一视频帧对应的图像差异值为：每一视频帧与每一视频帧的前一视频帧之间的稀疏光流的平均模长。
10.根据权利要求6-8中任一项所述的装置，其特征在于，所述装置还包括：
运动状态判断模块，被配置为在所述姿态数据包括加速度和角速度的情况下，计算所述第二序列中的加速度的第一离散程度；计算所述第二序列中的角速度的第二离散程度；在所述第一离散程度大于第一阈值且所述第二离散程度大于第二阈值的情况下，判定所述AR设备处于运动状态。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的场景构建方法。
12.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5中任一项所述的场景构建方法。
CN201910631024.XA 2019-07-12 2019-07-12 一种场景构建方法、装置、电子设备及存储介质 Active CN110379017B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910631024.XA CN110379017B (zh) 2019-07-12 2019-07-12 一种场景构建方法、装置、电子设备及存储介质
US16/926,477 US11055927B2 (en) 2019-07-12 2020-07-10 Method for building scene, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910631024.XA CN110379017B (zh) 2019-07-12 2019-07-12 一种场景构建方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110379017A CN110379017A (zh) 2019-10-25
CN110379017B true CN110379017B (zh) 2023-04-28

Family

ID=68252950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910631024.XA Active CN110379017B (zh) 2019-07-12 2019-07-12 一种场景构建方法、装置、电子设备及存储介质

Country Status (2)

Country Link
US (1) US11055927B2 (zh)
CN (1) CN110379017B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862288B (zh) * 2020-07-29 2024-08-13 北京小米移动软件有限公司 一种位姿渲染方法、装置及介质
CN112333491B (zh) * 2020-09-23 2022-11-01 字节跳动有限公司 视频处理方法、显示装置和存储介质
CN113359988B (zh) * 2021-06-03 2022-11-29 北京市商汤科技开发有限公司 一种信息的展示方法、装置、计算机设备及存储介质
CN115661919B (zh) * 2022-09-26 2023-08-29 珠海视熙科技有限公司 一种重复动作周期统计方法、装置、健身设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629793A (zh) * 2018-03-22 2018-10-09 中国科学院自动化研究所 使用在线时间标定的视觉惯性测程法与设备
CN108921951A (zh) * 2018-07-02 2018-11-30 京东方科技集团股份有限公司 虚拟现实图像显示方法及其装置、虚拟现实设备
CN109146965A (zh) * 2017-06-16 2019-01-04 精工爱普生株式会社 信息处理装置和计算机程序
CN109186592A (zh) * 2018-08-31 2019-01-11 腾讯科技（深圳）有限公司 用于视觉惯导信息融合的方法和装置以及存储介质
US10284752B1 (en) * 2018-05-22 2019-05-07 BioForce Analytics LLC Method for determining a start offset between a video recording device and an inertial measurement unit for use in synchronizing motion data of an object collected by the inertial measurement unit attached to the object with video frames captured by an image sensor of the video recording device of the object in motion

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927009B1 (ko) * 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
US9978180B2 (en) * 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
US20170336220A1 (en) * 2016-05-20 2017-11-23 Daqri, Llc Multi-Sensor Position and Orientation Determination System and Device
US10565797B2 (en) * 2018-02-17 2020-02-18 Varjo Technologies Oy System and method of enhancing user's immersion in mixed reality mode of display apparatus
US10885721B2 (en) * 2018-09-28 2021-01-05 Jido Inc. Method for detecting objects and localizing a mobile computing device within an augmented reality experience

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146965A (zh) * 2017-06-16 2019-01-04 精工爱普生株式会社 信息处理装置和计算机程序
CN108629793A (zh) * 2018-03-22 2018-10-09 中国科学院自动化研究所 使用在线时间标定的视觉惯性测程法与设备
US10284752B1 (en) * 2018-05-22 2019-05-07 BioForce Analytics LLC Method for determining a start offset between a video recording device and an inertial measurement unit for use in synchronizing motion data of an object collected by the inertial measurement unit attached to the object with video frames captured by an image sensor of the video recording device of the object in motion
CN108921951A (zh) * 2018-07-02 2018-11-30 京东方科技集团股份有限公司 虚拟现实图像显示方法及其装置、虚拟现实设备
CN109186592A (zh) * 2018-08-31 2019-01-11 腾讯科技（深圳）有限公司 用于视觉惯导信息融合的方法和装置以及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SCAAT: Incremental Tracking with Incomplete Information;Greg Welch 等;《Proceedings of the 24th annual conference on Computer graphics and interactive techniques》;19970831;333-344 *
基于IMU-Camera标定的鲁棒电子稳像方法;方明 等;《信息与控制》;20180415;第47卷(第2期);156-165 *
基于时间配准的视频图像稳定方法;王永康 等;《指挥控制与仿真》;20131215;第35卷(第6期);126-129 *
适用于户外增强现实系统的混合跟踪定位算法;陈靖 等;《计算机辅助设计与图形学学报》;20100215;第22卷(第2期);204-209 *

Also Published As

Publication number Publication date
US11055927B2 (en) 2021-07-06
US20210012570A1 (en) 2021-01-14
CN110379017A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110379017B (zh) 一种场景构建方法、装置、电子设备及存储介质
CN110310326B (zh) 一种视觉定位数据处理方法、装置、终端及计算机可读存储介质
CN109584276B (zh) 关键点检测方法、装置、设备及可读介质
CN109598744B (zh) 一种视频跟踪的方法、装置、设备和存储介质
US11636610B2 (en) Determining multiple camera positions from multiple videos
WO2022247414A1 (zh) 空间几何信息估计模型的生成方法和装置
US20220319050A1 (en) Calibration method and apparatus, processor, electronic device, and storage medium
CN112819860B (zh) 视觉惯性系统初始化方法及装置、介质和电子设备
CN111047622B (zh) 视频中对象的匹配方法和装置、存储介质及电子装置
TWI752594B (zh) 一種資訊處理方法、電子設備、儲存媒體和程式
CN110111364B (zh) 运动检测方法、装置、电子设备及存储介质
CN110555798B (zh) 图像变形方法、装置、电子设备及计算机可读存储介质
US11113998B2 (en) Generating three-dimensional user experience based on two-dimensional media content
CN108804161B (zh) 应用的初始化方法、装置、终端和存储介质
JP2016005263A (ja) 複数の撮影画像からパノラマ画像を生成する画像生成システム、端末、プログラム及び方法
US20200226763A1 (en) Object Detection Method and Computing System Thereof
CN115435790A (zh) 一种视觉定位与视觉里程计位姿融合的方法及系统
CN115690845A (zh) 一种运动轨迹预测方法及装置
US10282633B2 (en) Cross-asset media analysis and processing
CN111739102A (zh) 电子设备的内外参标定方法、装置和计算机设备
CN111814869B (zh) 一种同步定位与建图的方法、装置、电子设备及存储介质
CN118485769A (zh) 图像位姿优化方法、视觉建图方法、装置和存储介质
CA3239769A1 (en) System and methods for validating imagery pipelines
CN118379224A (zh) 图像校正方法、装置、设备及存储介质
CN111314605A (zh) 一种多设备终端间人脸识别的合并方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant