CN110349253A - 一种场景的三维重建方法、终端和可读存储介质 - Google Patents

一种场景的三维重建方法、终端和可读存储介质 Download PDF

Info

Publication number
CN110349253A
CN110349253A CN201910585881.0A CN201910585881A CN110349253A CN 110349253 A CN110349253 A CN 110349253A CN 201910585881 A CN201910585881 A CN 201910585881A CN 110349253 A CN110349253 A CN 110349253A
Authority
CN
China
Prior art keywords
image data
memory space
data
value
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910585881.0A
Other languages
English (en)
Other versions
CN110349253B (zh
Inventor
谭超
王恺
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Robotics Co Ltd
Original Assignee
Cloudminds Shenzhen Robotics Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shenzhen Robotics Systems Co Ltd filed Critical Cloudminds Shenzhen Robotics Systems Co Ltd
Priority to CN201910585881.0A priority Critical patent/CN110349253B/zh
Publication of CN110349253A publication Critical patent/CN110349253A/zh
Application granted granted Critical
Publication of CN110349253B publication Critical patent/CN110349253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例涉及计算机视觉领域，公开了一种场景的三维重建方法、终端和可读存储介质。本发明中的场景的三维重建方法，包括：在检测到第一存储空间增加新的图像数据后，获取第一存储空间内每帧图像数据各自对应的筛选数据，筛选数据用于表征对应的图像数据的重要程度；在筛选数据满足缓存存储空间对应的第一数据迁移条件后，将图像数据迁移至缓存存储空间；根据数据迁移后的第一存储空间内的图像数据，对目标场景进行三维重建。本实施方式，能够提高对场景的三维重建的速度，扩大了三维重建的场景范围。

Description

一种场景的三维重建方法、终端和可读存储介质
技术领域
本发明实施例涉及计算机视觉领域，特别涉及一种场景的三维重建方法、终端和可读存储介质。
背景技术
机器人在进行导航、避障等操作时，需要对所处场景进行充分理解，对场景的三维重建是机器人对自身所处场景进行充分理解的核心技术之一。
目前的三维重建方法是通过体素进行表达，该方法不需要估计物体表面的拓扑结构，仅仅利用对应的深度信息，就可以进行一个高精度的三维重建。例如：Kinect融合系统的数据结构就是利用常规3D网格来均匀地划分为一组体素，映射到预定义的物理维度上，实现对一定空间范围内的描述。
发明人发现相关技术中至少存在如下问题：目前随着待重建场景范围的增大，涉及到的重建数据量不断增大，导致三维重建的速度越来越慢，不能实现对大场景进行实时重建，如：一个房间的范围的场景。
发明内容
本发明实施方式的目的在于提供一种场景的三维重建方法、终端和可读存储介质，能够提高对场景的三维重建的速度，扩大了三维重建的场景范围。
为解决上述技术问题，本发明的实施方式提供了一种场景的三维重建方法，包括：在检测到第一存储空间增加新的图像数据后，获取第一存储空间内每帧图像数据各自对应的筛选数据，筛选数据用于表征对应的图像数据的重要程度；在筛选数据满足缓存存储空间对应的第一数据迁移条件后，将图像数据迁移至缓存存储空间；根据数据迁移后的第一存储空间内的图像数据，对目标场景进行三维重建。
本发明的实施方式还提供了一种终端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述场景的三维重建方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的场景的三维重建方法。
本发明实施方式相对于现有技术而言，在检测到第一存储空间增加新的图像数据后，获取第一存储空间内每帧图像数据的筛选数据，由于筛选数据用于表征对应的图像数据的重要程度，通过对每帧图像数据的筛选数据进行判断后，可实现将不重要的图像数据迁移到缓存空间内，从而减少了第一存储空间的内存资源的占用量，提高了对目标场景进行三维重建的速度；同时由于不断将图像数据迁移至缓存存储空间内，由于实时将图像数据迁移至缓存存储空间，使得即使出现大范围的目标场景，也不会影响对该目标场景的三维重建速度，扩大了三维重建的场景范围。
另外，获取第一存储空间内每帧图像数据各自对应的筛选数据，具体包括：针对每帧图像数据进行以下处理：获取图像数据的距离因素和时间更新因素，距离因素为图像数据中目标场景与图像采集装置之间的距离与预设的距离阈值之差，时间更新因素为用于表征图像数据更新活跃度的时间更新值和预设的时间阈值之差，其中，距离因素的值与时间更新因素的值均大于0；根据距离因素、时间更新因素、预设的距离因素的第一比例因子以及预设的时间更新因素的第二比例因子，确定图像数据的筛选数据。通常与图像采集装置距离较远的区域的图像数据为不会被用于进行当前目标场景的三维重建，通过图像数据中目标场景与图像采集装置之间的距离与预设的距离阈值之差，且该差值大于0，可以快速确定距离当前图像采集装置较远的场景所对应的图像数据；不经常被更新的图像数据，表明该图像数据不重要，通过时间更新值和预设的时间阈值可以快速确定出未经常更新的图像数据，基于以上两个因素，可以较为准确地确定出用于表征图像数据重要程度的筛选数据。
另外，根据距离因素、时间更新因素、预设的距离因素的第一比例因子以及预设的时间更新因素的第二比例因子，确定图像数据的筛选数据，具体包括：若确定第一比例因子的值为0且第二比例因子的值不为0，则获取时间更新因素，将第二比例因子和时间更新因素之间乘积的第一积值作为图像数据的筛选数据；若第二比例因子的值为0且第一比例因子的值不为0，则获取距离因素，并将第一比例因子与距离因素之间乘积的第二积值作为图像数据的筛选数据；若第一比例因子的值和第二比例因子的值均不为0，则获取第一积值，以及获取第二积值，计算第一积值与第二积值之和，将和值作为图像数据的筛选数据；若第一比例因子的值和第二比例因子的值均为0，则将0作为图像数据的筛选数据。根据比例因子可以准确地确定出该不同情况下的筛选数据。
另外，在对目标场景进行三维重建之前，场景的三维重建方法还包括：若采集过目标场景的图像数据，且检测到第一存储空间内未存储目标场景的图像数据，则在缓存存储空间查找目标场景的图像数据，并将查找到的目标场景的图像数据迁移回第一存储空间。若采集过目标场景的图像数据，且检测到未存储目标场景的图像数据，则可读取该缓存存储空间的图像数据进行三维重建，而无需再次重新采集目标场景的图像数据进行三维重建，缩短三维重建的速度。
另外，第一存储空间为图形处理器的各存储块；缓存存储空间包括：中央处理器的存储空间和硬盘的存储空间；与中央处理器的存储空间对应的第一数据迁移条件为超过预设的第一阈值且小于预设的第二阈值；与硬盘的存储空间对应的第一数据迁移条件为超过第二阈值。通过不同的阈值可以将筛选数据划分为多种情况，进而可以根据筛选数据的重要程度将图像数据分开存储，可以减少CPU的内存资源占用量。
另外，在获取第一存储空间内每帧图像数据各自对应的筛选数据之前，场景的三维重建方法还包括：同步图形处理器内各存储块之间的图像数据。由于图形处理器的处理操作为异步操作，通过同步各存储块之间的图像数据，可以避免图形处理器出现死锁和不同线程下的误操作的情况。
另外，确定每帧图像数据的时间更新值的过程，具体包括：获取图像数据上一次更新后的时间更新值的数值，图像数据初始的时间更新值的数值为0；若当前检测到图像数据被更新，则将时间更新值的数值减1，否则，将时间更新值的数值加1。图像数据的时间更新值的数值越小，表明该图像数据被频繁使用，则该图像数据越活跃，通过该时间更新值可以较为准确低描述图像数据的活跃度。
另外，若缓存存储空间为中央处理器的存储空间，与中央处理器的存储空间对应的第一数据迁移条件为超过预设的第一阈值；在将图像数据迁移至缓存存储空间后，三维重建方法还包括：在缓存存储空间增加新的图像数据后，获取缓存存储空间内每帧图像数据各自对应的筛选数据；在筛选数据满足第二数据迁移条件后，将图像数据迁移至硬盘的存储空间，第二数据迁移条件为筛选数据超过预设的第二阈值，其中，第二阈值大于第一阈值。通过第二阈值可以将CPU中不常用的数据迁移至硬盘的存储空间，保证CPU足够的内存资源，提高CPU的运算速度。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式提供的一种场景的三维重建方法的具体流程图；
图2是根据本发明第一实施方式中提供的确定每帧图像数据对应的筛选数据的具体实现示意图；
图3是根据本发明第二实施方式提供的一种场景的三维重建方法的具体流程图；
图4是根据本发明第三实施方式提供的一种终端的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
发明人发现目前对大场景进行实时三维重建是通过GPU来计算的，尤其是与定位跟踪相关的数据全部存放于GPU内，随着图像数据的增加，消耗图形处理器的内存资源，当目标场景超过一定范围后，GPU将无法处理图像数据，无法完成对目标场景的三维重建。
本发明的第一实施方式涉及一种场景的三维重建方法。该场景的三维重建方法可以应用于具有三维重建功能的终端，该终端可以是智能机器人、无人驾驶汽车、智能导盲设备、智能轮椅等。该场景的三维重建方法具体的流程如图1所示。
步骤101：在检测到第一存储空间增加新的图像数据后，获取第一存储空间内每帧图像数据各自对应的筛选数据，筛选数据用于表征对应的图像数据的重要程度。
具体的说，图像数据可以彩色(RGB)图像和深度(depth)图像，深度图像可以通过深度摄像头采集获得，该深度图像还可以通过至少2个彩色图像计算获得。可以理解的是，该彩色图像和深度图像在输入第一存储空间之前已对齐，从而确保每个RGB图像都有对应的深度图像。另外，新增的图像数据在输入该第一存储空间之前还需要进行校正，以减小因图像采集装置导致的图像失真对三维重建的影响。
实时检测第一存储空间内是否增加新的图像数据，在确定第一存储空间增加新的图像数据后，针对每帧图像数据进行如图2所示的子步骤，获取图像数据对应的筛选数据：
子步骤1011：获取图像数据的距离因素和时间更新因素。
一个具体的实现中，距离因素为图像数据中目标场景与图像采集装置之间的距离与预设的距离阈值之差，时间更新因素为用于表征图像数据更新活跃度的时间更新值和预设的时间阈值之差，其中，距离因素的值与时间更新因素的值均大于0。
具体的说，计算图像数据中目标场景与图像采集装置之间的距离，该距离可以为欧氏距离；预设的距离阈值可以根据实际应用进行设置，例如，可以根据目标场景的范围，设置该距离阈值。距离以Fdistance表示，距离阈值以Fthred表示，则该距离因素Felement＝Fdistance-Fthred。
时间更新值用于表征图像数据更新活跃度，该时间更新值的确定过程可以为：获取图像数据上一次更新后的时间更新值的数值，图像数据初始的时间更新值的数值为0；若当前检测到图像数据被更新，则将时间更新值的数值减1，否则，将时间更新值的数值加1。例如，以Ftime表示图像更新值，图像数据A的初始的时间更新值Ftime＝0，该图像数据A上一次更新后的Ftime＝3，当检测该图像数据A被更新后，将Ftime-1；否则，将Ftime+1。可以理解的是，确定时间更新值的还可以采用其他的方式，此处不再一一列举。
同理，预设的时间阈值可以根据实际应用进行设置。以Telement表示时间因素，以Ftime表示时间更新值，以Tthred表示预设的时间阈值，则Telement＝Ftime-Tthred。
子步骤1012：根据距离因素、时间更新因素、预设的距离因素的第一比例因子以及预设的时间更新因素的第二比例因子，确定图像数据的筛选数据。
一个具体的实现中，若确定第一比例因子的值为0且第二比例因子的值不为0，则获取时间更新因素，将第二比例因子和时间更新因素之间乘积的第一积值作为图像数据的筛选数据；若第二比例因子的值为0且第一比例因子的值不为0，则获取距离因素，并将第一比例因子与距离因素之间乘积的第二积值作为图像数据的筛选数据；若第一比例因子的值和第二比例因子的值均不为0，则获取第一积值，以及获取第二积值，计算第一积值与第二积值之和，将和值作为图像数据的筛选数据；若第一比例因子的值和第二比例因子的值均为0，则将0作为图像数据的筛选数据。
具体的说，第一比例因子和第二比例因子可以根据实际应用进行设置。该筛选数据可以用公式(1)表示：
其中，factor表示筛选数据，fdis表示第一比例因子，ftime表示第二比例因子；Fdistance表示距离，Fthred表示距离阈值，Ftime表示时间更新值，Tthred表示时间阈值。
当fdis＝0，ftime＝1时，factor＝Ftime-Tthred；当fdis＝1，ftime＝0时，factor＝Fdistance-Fthred；当fdis≠0，ftime≠0时，factor＝fdis*(Fdistance-Fthred)+ftime*(Ftime-Tthred)；当fdis＝0，ftime＝0，factor＝0。
本实施方式中，筛选数据的值越小，表明对应的图像数据越重要。
需要说明的是，第一存储空间为图形处理器的各存储块，由于图形处理器在进行计算处理时采用异步的方式，因而在获取第一存储空间内每帧图像数据各自对应的筛选数据之前，需要同步图形处理器内各存储块之间的图像数据，避免出现死锁或者同线程下的误操作的情况。
步骤102：在筛选数据满足缓存存储空间对应的第一数据迁移条件后，将图像数据迁移至缓存存储空间。
一个具体的实现中，若缓存存储空间为中央处理器的存储空间，与中央处理器的存储空间对应的第一数据迁移条件为超过预设的第一阈值。
具体的说，该第一阈值可以根据实际应用进行设置，分别将每帧图像数据的筛选数据和第一阈值进行比较，将超过第一阈值的筛选数据所对应的图像数据迁移至中央处理器的存储空间内。
可以理解的是，为了避免出现CPU的内存不够的问题，在将图像数据迁移至缓存存储空间后，该三维重建方法还包括：在缓存存储空间增加新的图像数据后，获取缓存存储空间内每帧图像数据各自对应的筛选数据；在筛选数据满足第二数据迁移条件后，将图像数据迁移至硬盘的存储空间，第二数据迁移条件为筛选数据超过第二阈值，其中，第二阈值大于第一阈值。
将图像数据迁移至硬盘的存储空间的判断方式与将图像数据迁移至CPU的存储空间的方式大致一致，此处不再赘述。
步骤103：根据数据迁移后的第一存储空间内的图像数据，对目标场景进行三维重建。
具体的说，利用第一存储空间内的图像数据，按照三维重建模型对目标场景进行三维重建。
本发明实施方式相对于现有技术而言，在检测到第一存储空间增加新的图像数据后，获取第一存储空间内每帧图像数据的筛选数据，由于筛选数据用于表征对应的图像数据的重要程度，通过对每帧图像数据的筛选数据进行判断后，可实现将不重要的图像数据迁移到缓存空间内，从而减少了第一存储空间的内存资源的占用量，提高了对目标场景进行三维重建的速度；同时由于不断将图像数据迁移至缓存存储空间内，使得即使出现大范围的目标场景，也不会影响对该目标场景的三维重建速度，扩大了三维重建的场景范围。
本发明的第二实施方式涉及一种场景的三维重建方法。该场景的三维重建方法包括：在检测到第一存储空间增加新的图像数据后，获取第一存储空间内每帧图像数据各自对应的筛选数据；在筛选数据满足缓存存储空间对应的第一数据迁移条件后，将图像数据迁移至缓存存储空间；根据数据迁移后的第一存储空间内的图像数据，对目标场景进行三维重建。
第二实施方式与第一实施方式大致相同，主要区别之处在于：在本发明第二实施方式中，在对目标场景进行三维重建之前，场景的三维重建方法还包括：若采集过目标场景的图像数据，且检测到第一存储空间内未存储目标场景的图像数据，则在缓存存储空间查找目标场景的图像数据，并将查找到的目标场景的图像数据迁移回第一存储空间。该场景的三维重建方法的具体流程如图3所示：
步骤201：在检测到第一存储空间增加新的图像数据后，获取第一存储空间内每帧图像数据各自对应的筛选数据。
该步骤与第一实施方式中的步骤101大致相同，此处将不再赘述。
步骤202：在筛选数据满足缓存存储空间对应的第一数据迁移条件后，将图像数据迁移至缓存存储空间。
一个具体的实现中，该第一存储空间为图形处理器的各存储块；缓存存储空间包括：中央处理器的存储空间和硬盘的存储空间；与中央处理器的存储空间对应的第一数据迁移条件为超过预设的第一阈值且小于预设的第二阈值；与硬盘的存储空间对应的第一数据迁移条件为超过第二阈值。
具体的说，第二阈值大于第一阈值，由于筛选数据表征了数据的重要程度，筛选数据的值越小，表明对应的图像数据越重要。通过第一阈值和第二阈值将不同重要程度的图像数据分别存储，可以减少CPU内存资源的占用量。可以理解的是，图像数据迁移至硬盘的存储空间的过程中，需要先经过CPU的存储空间，再将图像数据从CPU的存储空间迁移至硬盘的存储空间。
步骤203：若采集过目标场景的图像数据，且检测到第一存储空间内未存储目标场景的图像数据，则在缓存存储空间查找目标场景的图像数据，并将查找到的目标场景的图像数据迁移回第一存储空间。
具体的说，在重定位的过程中，若确定获取过该目标场景的图像数据，则检测第一存储空间内是否存储有该目标场景的图像数据，若未存在，可以利用在重定位过程中确定的特征数据在缓存存储空间内查找该目标场景的图像数据，并将查找到的目标场景的图像数据迁移回第一存储空间。
步骤204：根据数据迁移后的第一存储空间内的图像数据，对目标场景进行三维重建。
本实施方式提供的场景的三维重建方法，若采集过目标场景的图像数据，且检测到未存储目标场景的图像数据，则可读取该缓存存储空间的图像数据进行三维重建，而无需再次重新采集目标场景的图像数据进行三维重建，缩短三维重建的速度。
本发明第三实施方式涉及一种终端，该终端30的结构如图4所示，包括：至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的指令，指令被至少一个处理器301执行，以使至少一个处理器301能够执行第一实施方式或第二实施方式中场景的三维重建方法。
其中，存储器302和处理器301采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器301和存储器302的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器301处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器301。
处理器301负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第四实施方式涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现第一实施方式或第二实施方式中场景的三维重建方法。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种场景的三维重建方法，其特征在于，包括：
在检测到第一存储空间增加新的图像数据后，获取所述第一存储空间内每帧图像数据各自对应的筛选数据，所述筛选数据用于表征对应的所述图像数据的重要程度；
在所述筛选数据满足缓存存储空间对应的第一数据迁移条件后，将所述图像数据迁移至所述缓存存储空间；
根据数据迁移后的所述第一存储空间内的图像数据，对目标场景进行三维重建。
2.根据权利要求1所述的场景的三维重建方法，其特征在于，获取所述第一存储空间内每帧图像数据各自对应的筛选数据，具体包括：
针对每帧图像数据进行以下处理：
获取所述图像数据的距离因素和时间更新因素，所述距离因素为所述图像数据中目标场景与图像采集装置之间的距离与预设的距离阈值之差，所述时间更新因素为用于表征所述图像数据更新活跃度的时间更新值与预设的时间阈值之差，其中，所述距离因素的值与所述时间更新因素的值均大于0；
根据所述距离因素、所述时间更新因素、预设的所述距离因素的第一比例因子以及预设的所述时间更新因素的第二比例因子，确定所述图像数据的筛选数据。
3.根据权利要求2所述的场景的三维重建方法，其特征在于，根据所述距离因素、所述时间更新因素、预设的所述距离因素的第一比例因子以及预设的所述时间更新因素的第二比例因子，确定所述图像数据的筛选数据，具体包括：
若确定所述第一比例因子的值为0且所述第二比例因子的值不为0，则获取所述时间更新因素，将所述第二比例因子和所述时间更新因素之间乘积的第一积值作为所述图像数据的筛选数据；
若所述第二比例因子的值为0且所述第一比例因子的值不为0，则获取所述距离因素，并将所述第一比例因子与所述距离因素之间乘积的第二积值作为所述图像数据的筛选数据；
若所述第一比例因子的值和所述第二比例因子的值均不为0，则获取所述第一积值，以及获取所述第二积值，计算所述第一积值与所述第二积值之和，将和值作为所述图像数据的筛选数据；
若所述第一比例因子的值和所述第二比例因子的值均为0，则将0作为所述图像数据的筛选数据。
4.根据权利要求1至3中任一项所述的场景的三维重建方法，其特征在于，在所述对目标场景进行三维重建之前，所述场景的三维重建方法还包括：
若采集过所述目标场景的图像数据，且检测到所述第一存储空间内未存储所述目标场景的图像数据，则在所述缓存存储空间查找所述目标场景的图像数据，并将查找到的所述目标场景的图像数据迁移回所述第一存储空间。
5.根据权利要求1至4中任一项所述的场景的三维重建方法，其特征在于，所述第一存储空间为图形处理器的各存储块；
所述缓存存储空间包括：中央处理器的存储空间和硬盘的存储空间；
与所述中央处理器的存储空间对应的所述第一数据迁移条件为超过预设的第一阈值且小于预设的第二阈值；
与所述硬盘的存储空间对应的所述第一数据迁移条件为超过所述第二阈值。
6.根据权利要求5所述的场景的三维重建方法，其特征在于，在获取所述第一存储空间内每帧图像数据各自对应的筛选数据之前，所述场景的三维重建方法还包括：
同步所述图形处理器内各存储块之间的图像数据。
7.根据权利要求2所述的场景的三维重建方法，其特征在于，确定每帧图像数据的所述时间更新值的过程，具体包括：
获取所述图像数据上一次更新后的所述时间更新值的数值，所述图像数据初始的所述时间更新值的数值为0；
若当前检测到所述图像数据被更新，则将所述时间更新值的数值减1，否则，将所述时间更新值的数值加1。
8.根据权利要求1至4中任一项所述的场景的三维重建方法，其特征在于，若所述缓存存储空间为中央处理器的存储空间，与所述中央处理器的存储空间对应的所述第一数据迁移条件为超过预设的第一阈值；
在将所述图像数据迁移至所述缓存存储空间后，所述三维重建方法还包括：
在所述缓存存储空间增加新的图像数据后，获取所述缓存存储空间内每帧图像数据各自对应的筛选数据；
在所述筛选数据满足第二数据迁移条件后，将所述图像数据迁移至硬盘的存储空间，所述第二数据迁移条件为所述筛选数据超过预设的第二阈值，其中，所述第二阈值大于所述第一阈值。
9.一种终端，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8任一所述的场景的三维重建方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的场景的三维重建方法。
CN201910585881.0A 2019-07-01 2019-07-01 一种场景的三维重建方法、终端和可读存储介质 Active CN110349253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910585881.0A CN110349253B (zh) 2019-07-01 2019-07-01 一种场景的三维重建方法、终端和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910585881.0A CN110349253B (zh) 2019-07-01 2019-07-01 一种场景的三维重建方法、终端和可读存储介质

Publications (2)

Publication Number Publication Date
CN110349253A true CN110349253A (zh) 2019-10-18
CN110349253B CN110349253B (zh) 2023-12-01

Family

ID=68177180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910585881.0A Active CN110349253B (zh) 2019-07-01 2019-07-01 一种场景的三维重建方法、终端和可读存储介质

Country Status (1)

Country Link
CN (1) CN110349253B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419451A (zh) * 2020-12-04 2021-02-26 上海联影医疗科技股份有限公司 一种图像重建方法、装置、设备及存储介质
WO2022134766A1 (zh) * 2020-12-24 2022-06-30 华为技术有限公司 场景迁移方法、装置及电子设备
CN117082307A (zh) * 2023-10-13 2023-11-17 天津幻彩科技有限公司 基于流畅度提升的三维场景流数据播放控制方法和设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150009214A1 (en) * 2013-07-08 2015-01-08 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN106548508A (zh) * 2016-09-20 2017-03-29 天津大学 一种高质量3d 纹理重建方法
US20170092015A1 (en) * 2015-09-30 2017-03-30 Umap AV Corp. Generating Scene Reconstructions from Images
CN107194984A (zh) * 2016-03-14 2017-09-22 武汉小狮科技有限公司 移动端实时高精度三维建模方法
US20180182117A1 (en) * 2016-12-27 2018-06-28 Inuitive Ltd. Method for Generating Three Dimensional Images
CN108537876A (zh) * 2018-03-05 2018-09-14 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
CN108734773A (zh) * 2018-05-18 2018-11-02 中国科学院光电研究院 一种用于混合图片的三维重建方法及系统
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150009214A1 (en) * 2013-07-08 2015-01-08 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
US20170092015A1 (en) * 2015-09-30 2017-03-30 Umap AV Corp. Generating Scene Reconstructions from Images
CN107194984A (zh) * 2016-03-14 2017-09-22 武汉小狮科技有限公司 移动端实时高精度三维建模方法
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN106548508A (zh) * 2016-09-20 2017-03-29 天津大学 一种高质量3d 纹理重建方法
US20180182117A1 (en) * 2016-12-27 2018-06-28 Inuitive Ltd. Method for Generating Three Dimensional Images
CN108537876A (zh) * 2018-03-05 2018-09-14 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
CN108734773A (zh) * 2018-05-18 2018-11-02 中国科学院光电研究院 一种用于混合图片的三维重建方法及系统
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419451A (zh) * 2020-12-04 2021-02-26 上海联影医疗科技股份有限公司 一种图像重建方法、装置、设备及存储介质
CN112419451B (zh) * 2020-12-04 2022-09-16 上海联影医疗科技股份有限公司 一种图像重建方法、装置、设备及存储介质
WO2022134766A1 (zh) * 2020-12-24 2022-06-30 华为技术有限公司 场景迁移方法、装置及电子设备
CN117082307A (zh) * 2023-10-13 2023-11-17 天津幻彩科技有限公司 基于流畅度提升的三维场景流数据播放控制方法和设备
CN117082307B (zh) * 2023-10-13 2023-12-29 天津幻彩科技有限公司 基于流畅度提升的三维场景流数据播放控制方法和设备

Also Published As

Publication number Publication date
CN110349253B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN110349253A (zh) 一种场景的三维重建方法、终端和可读存储介质
US9269123B2 (en) Volume rendering on shared memory systems with multiple processors by optimizing cache reuse
CN104063900B (zh) 基于webGL的三维地球的实现方案
CN107220997A (zh) 一种立体匹配方法及系统
CN111290699B (zh) 数据迁移方法、装置及系统
CN103970879B (zh) 一种调整数据块存储位置的方法及系统
CN112799599B (zh) 一种数据存储方法、计算核、芯片和电子设备
US20130314420A1 (en) Ray tracing core and method for processing ray tracing
EP3161793A1 (en) Adaptive partition mechanism with arbitrary tile shape for tile based rendering gpu architecture
US11238641B2 (en) Architecture for contextual memories in map representation for 3D reconstruction and navigation
CN112489213A (zh) 三维地形模型生成方法、装置、电子设备及存储介质
JP2022515798A (ja) 照明レンダリング方法、装置、電子装置及びコンピュータプログラム
WO2023169095A1 (zh) 数据处理方法、装置、设备以及介质
CN116245997A (zh) 基于超级计算机的三维模型动态渲染并行加速方法、系统
CN112513713B (zh) 用于地图构建的系统和方法
CN111367649B (zh) 高精地图数据并行处理方法和装置
US20140347355A1 (en) Ray tracing core and method for processing ray tracing
CN105719333A (zh) 三维图像数据处理方法及装置
CN111476872B (zh) 一种图像绘制方法及图像绘制装置
CN110825753B (zh) 一种在网页地图上增加定位点容量的方法
CN116402936A (zh) 一种基于八叉树的透明渲染复杂场景深度估计方法和装置
CN108648136A (zh) 对二维查找表进行的方法及装置
CN114522420A (zh) 游戏数据处理方法、装置、计算机设备及存储介质
CN111061824B (zh) 基于改进四叉树的范围判断方法、装置、设备
CN112817898A (zh) 数据传输方法、处理器、芯片及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210210

Address after: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: CLOUDMINDS (SHENZHEN) ROBOTICS SYSTEMS Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 200245 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

GR01 Patent grant
GR01 Patent grant