CN109901189A - 利用递归神经网络的三维点云跟踪装置及方法 - Google Patents

Abstract

本发明提出一种利用递归神经网络的三维点云跟踪装置及方法。所述三维点云跟踪装置及方法，可以是对整个环境的三维点云进行跟踪，并且通过使用递归神经网络模型来对整个环境进行建模，因此，所述三维点云跟踪装置及方法可是用来重建整个环境在目前时刻下的三维点云外，还可用来预测整个环境在后续时刻下的三维点云。

Description

利用递归神经网络的三维点云跟踪装置及方法

技术领域

本发明涉及一种点云(point cloud)跟踪装置及方法，尤其涉及一种利用递归神经网络(Recurrent Neural Network，RNN)的三维(three-dimensional，3D)点云跟踪装置及方法。。

背景技术

「点云」是指通过三维雷射扫描器所取得到的资料形式。现今中，三维雷射扫描器又可称作为「光达(LiDAR)」，它是主要利用感测反射的雷射光束而来快速获得到大量密布于扫描物体表面上的多个点，并且因为这些点皆可包含有三维坐标，所以光达便能建立起有关此扫描物体的三维点云，以用来描述此扫描物体的表面形状。

因此，近年来光达则通常被用于自驾车系统或道路感测系统中，以作为避障或跟踪车辆的用途。然而，当此扫描物体因被遮蔽或在光达视野死角时，现有技术即无法能够建立起有关此扫描物体的三维点云，从而也就失去了以上用途。有鉴于此，本领域亟需一种能够用来重建并预测三维点云的方式。

发明内容

本发明的目的在于提供一种利用递归神经网络的三维点云跟踪装置及方法，并且为了因应具有多移动目标的复杂环境，所以本发明是以整个环境的三维点云来作为跟踪对象。也就是说，本发明是用来重建并预测整个环境的三维点云。

为达上述目的，本发明实施例提供一种利用递归神经网络的三维点云跟踪装置。所述三维点云跟踪装置包括输入/输出界面、存储器以及处理器。输入/输出界面用来接收环境在不同时刻下的不同观测三维点云，且这些观测三维点云由至少一光达所扫描取得。存储器用来储存有关环境的至少一记忆三维点云。处理器则分别与输入/输出界面及存储器电性连接，用来接收这些观测三维点云及记忆三维点云，并且当收到环境在第一时刻下的观测三维点云时，处理器利用至少一递归神经网络模型，来对观测三维点云及记忆三维点云进行环境重建运算，以得到环境在此第一时刻下的重建三维点云，并且再利用递归神经网络模型，来对记忆三维点云及空白三维点云进行环境预测运算，以得到环境在第二时刻下的预测三维点云。其中，所述第二时刻晚于第一时刻。

本发明实施例另提供一种利用递归神经网络的三维点云跟踪方法，执行于前述三维点云跟踪装置中。所述三维点云跟踪方法包括如下步骤。令输入/输出界面接收环境在不同时刻下的不同观测三维点云，其中这些观测三维点云由至少一光达所扫描取得。令存储器储存有关环境的至少一记忆三维点云。令处理器接收这些观测三维点云及记忆三维点云，并且当收到环境在第一时刻下的观测三维点云时，令处理器利用至少一递归神经网络模型，来对观测三维点云及记忆三维点云进行环境重建运算，以得到环境在此第一时刻下的重建三维点云，并且令处理器再利用递归神经网络模型，来对记忆三维点云及空白三维点云进行环境预测运算，以得到环境在第二时刻下的预测三维点云。其中，所述第二时刻晚于第一时刻。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1是本发明实施例所提供的利用递归神经网络的三维点云跟踪装置的功能方块示意图。

图2是图1的三维点云跟踪装置中的处理器的运作示意图。

图3A是图2的递归神经网络模型中进行环境重建运算的运作示意图。

图3B是图3A的环境重建运算中更新第一或第二记忆三维点云的一较佳实施例下的运作示意图。

图3C是图2的递归神经网络模型中进行环境预测运算的运作示意图。

图4是本发明实施例所提供的利用递归神经网络的三维点云跟踪方法的流程示意图。

图5A是图4的三维点云跟踪方法中利用递归神经网络模型进行环境重建运算的流程示意图。

图5B是图4的三维点云跟踪方法中利用递归神经网络模型进行环境预测运算的流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

请参阅图1，图1是本发明实施例所提供的利用递归神经网络的三维点云跟踪装置的功能方块示意图。三维点云跟踪装置1包括输入/输出界面11、处理器13以及存储器15。值得一提的是，上述各元件可以是通过纯硬件电路来实现，或者是通过硬件电路搭配固件或软件来实现，但本发明皆不以此为限制。除此之外，上述各元件可以是整合或是分开设置，且本发明亦不以此为限制。总而言之，本发明并不限制三维点云跟踪装置1的具体实现方式。

在本实施例中，输入/输出界面11是用来接收环境(未绘示)在不同时刻下的不同观测三维点云S，且这些观测三维点云S由至少一光达(未绘示)所扫描取得。由于光达的扫描原理已为本技术领域中具有通常知识者所习知，因此有关上述观测三维点云S的细部内容于此就不再多加赘述。另外，存储器15是用来储存有关环境的至少一记忆三维点云M。有关于记忆三维点云M的具体内容，将会于下文中借由其他实施例而作详尽说明，故于此就先不再多加赘述。处理器13则分别与输入/输出界面11及存储器15电性连接，并用来接收这些观测三维点云S及记忆三维点云M。

请一并参阅图2，图2将用以来解释图1中的处理器13的具体运作方式。如图2所示，当收到环境在某第一时刻(例如，时刻t)下的观测三维点云S(t)时，处理器13则利用至少一递归神经网络模型17，来对观测三维点云S(t)及记忆三维点云M进行环境重建运算，以得到环境在此第一时刻下的重建三维点云R(t)，并且再利用递归神经网络模型17，来对记忆三维点云M及一个空白三维点云(未绘示)进行环境预测运算，以得到环境在第二时刻(例如，时刻t+1)下的预测三维点云P(t+1)。对此，应当理解的是，所述第二时刻晚于第一时刻。

然而，为了方便以下说明，本实施例的第一及第二时刻则是仅先采用时刻t及时刻t+1的例子来进行说明，但其并非用以限制本发明。同样地，为了方便以下说明，图2中的递归神经网络模型17则也是仅先采用数量为1的例子来进行说明，但其亦非用以限制本发明。也就是说，图2中所分别进行环境重建运算或环境预测运算的递归神经网络模型17，可以是指同一个递归神经网络模型17，或者是指不同的递归神经网络模型17，但本发明皆不以此为限制。

另外，有关图2的递归神经网络模型17中进行环境重建运算，或进行环境预测运算的具体运作方式，将会于下文中借由其他实施例而作详尽说明，故于此就先不再多加赘述。需要说明的是，虽然图2只用了再一次的递归神经网络模型17而来获得到环境在时刻t+1下的预测三维点云P(t+1)，但本发明却不以此为限制。也就是说，只要在处理时间及计算能力充足的条件下，本发明是都将能够依照预测的下一时刻远近(亦即，第二与第一时刻之间的时距)而来自行决定是否使用递回数次的递归神经网络模型17，从而来取得到环境在其他第二时刻(例如，时刻t+2)下的预测三维点云。

总而言之，根据以上内容的教示，本技术领域中具有通常知识者应可以理解到，因为本发明特别是以整个环境的三维点云来作为跟踪对象，所以当此环境在目前时刻(例如，第一时刻t)下却有着因某移动物体被遮蔽而未能获得到此环境的部分区域三维点云时，本发明是将能够利用过去所储存的此环境的记忆三维点云而来估测出此移动物体的三维点云信息，从而对于目前未能获知的上述部分区域三维点云进行补充。也就是说，正确地重建起此环境在目前时刻下的三维点云。

另一方面，对于上述被遮蔽的移动物体来说，因为现有技术通常仅能够以等速度运动的方式而来预测此移动物体的未来变化，所以当此移动物体是以非等速度方式运动，或是此移动物体被遮蔽的时间过长时，现有技术都将容易失去了对此移动物体的跟踪。但，因为本发明是利用了递归神经网络模型来对整个环境的三维点云进行编码，所以即使是在此环境内的某移动物体的运动方式较为复杂，或者是在此移动物体被遮蔽的时间过长时，本发明是都将能够仍预测得到此环境在后续时刻下的三维点云。也就是说，准确地跟踪到此环境内的移动物体的未来变化。

接着，请一并参阅图3A，图3A将用以来解释图2的递归神经网络模型17中进行环境重建运算的具体运作方式。值得一提的是，为了方便以下说明，图3A中的记忆三维点云M则是采用数量为2的例子来进行说明。也就是说，记忆三维点云M可包括第一记忆三维点云M1及第二记忆三维点云M2，但其亦非用以限制本发明。

如图3A所示，递归神经网络模型17是会先对观测三维点云S(t)进行第一稀疏卷积(sparse convolution)运算，以得到经此第一稀疏卷积SP1后的运算三维点云Q1(t)。然后，递归神经网络模型17是将运算三维点云Q1(t)与第一记忆三维点云M1进行第二稀疏卷积运算，以得到经此第二稀疏卷积SP2后的运算三维点云Q2(t)，并且以运算三维点云Q2(t)更新(update)第一记忆三维点云M1。最后，递归神经网络模型17是再将运算三维点云Q2(t)与第二记忆三维点云M2进行第三稀疏卷积运算，以得到环境在此时刻t(亦即，第一时刻)下的重建三维点云R(t)，并且以重建三维点云R(t)更新第二记忆三维点云M2。

从上述内容可知，因为图3A是用到了稀疏卷积的运算特性，所以本实施例的三维点云跟踪装置1是将能够在合理的时间及计算能力上处理复杂的三维点云信息。然而，由于稀疏卷积的运算原理已为本技术领域中具有通常知识者所习知，因此有关稀疏卷积SP1～SP3的细部内容于此就不再多加赘述。需要说明的是，图3A所使用的三层稀疏卷积方式(亦即，稀疏卷积SP1～SP3)在此仅只是举例，其并非用以限制本发明。换句话说，本技术领域中具有通常知识者应可依据实际需求或应用来进行不同层级数目的稀疏卷积设计。

另外，在其中一种应用中，递归神经网络模型17是可以仅将部分的稀疏卷积运算结果用于下一层的稀疏卷积运算或输出，并且将另一部分的稀疏卷积运算结果用于更新记忆三维点云。举例来说，在图3A的稀疏卷积SP2后，递归神经网络模型17是可以仅将部分的运算三维点云Q2(t)用于下一层的稀疏卷积运算(亦即，稀疏卷积SP3)，并且将另一部分的运算三维点云Q2(t)用于更新第一记忆三维点云M1。

然而，因为经第二稀疏卷积SP2后的运算三维点云Q2(t)的卷积核数目可以分为数个特征(或称，频道)，所以上述这两部分的运算三维点云Q2(t)可以是指包含有不同频道的数据。也就是说，上述这两部分的运算三维点云Q2(t)的数据可以是完全没有重迭。总而言之，本发明并不限制进行稀疏卷积运算或更新记忆三维点云时的具体实现方式。

另一方面，若考量到第一或第二记忆三维点云M1、M2并不是只能够完全用运算三维点云Q2(t)或重建三维点云R(t)来作取代，因此，在其中一种应用中，处理器13更可用以定义至少一权重自定函数f、至少一第一稀疏卷积核K1以及至少一第二稀疏卷积核K2。值得一提的是，上述权重自定函数f、第一稀疏卷积核K1及第二稀疏卷积核K2可是经由三维点云跟踪装置1在进行完一训练模式后所定义，但本发明并不以此为限制。

举例来说，所述训练模式可以是利用递归神经网络模型17来对已知的三维点云(未绘示)进行环境重建运算，以获得到其所重建后的三维点云，并且可借由比对已知的三维点云及其所重建后的三维点云间的误差关系，来从而制定出递归神经网络模型17中的各项特征参数(例如，权重自定函数f、第一稀疏卷积核K1及第二稀疏卷积核K2等，又或者是，稀疏卷积SP1～SP3内的各卷积核参数)。

另外，在所述训练模式中，递归神经网络模型17还可以通过使用线性损失函数(linear hinge loss)并加入L1惩罚(L1penalty)，以提升稀疏卷积的稀疏程度。由于训练模式的原理已皆为本技术领域中具有通常知识者所习知，因此上述内容将仅是做为示意，以下即不再多做说明。总而言之，本发明并不限制三维点云跟踪装置1进行训练模式时的具体实现方式，故本技术领域中具有通常知识者应可依据实际需求或应用来进行相关设计。

更进一步来说，在以运算三维点云Q2(t)更新第一记忆三维点云M1的一较佳实施中，递归神经网络模型17是会利用权重自定函数f，来由第一记忆三维点云M1、运算三维点云Q2(t)、第一稀疏卷积核K1及第二稀疏卷积核K2中，决定一个权重向量p，并且将第一记忆三维点云M1更新为第一记忆三维点云M1、运算三维点云Q2(t)及权重向量p代入一权重方程式后的结果。

类似地，在以重建三维点云R(t)更新第二记忆三维点云M2的一较佳实施中，递归神经网络模型17则是会利用权重自定函数f，来由第二记忆三维点云M2、重建三维点云R(t)、第一稀疏卷积核K1及第二稀疏卷积核K2中，决定权重向量p，并且将第二记忆三维点云M2更新为第二记忆三维点云M2、重建三维点云R(t)及权重向量p代入前述权重方程式后的结果。

因此，应当理解的是，在上述更新第一及第二记忆三维点云M1、M2的这两较佳实施例中，每一较佳实施例所能用到的权重自定函数f、第一及第二稀疏卷积核K1、K2即可是互不相同的。总而言之，本发明亦不限制权重自定函数f、第一及第二稀疏卷积核K1、K2的具体实现方式。接着，请一并参阅图3B，图3B将用以来解释图3A的环境重建运算中更新第一或第二记忆三维点云的一较佳实施例下的具体运作方式。在图3B中，权重方程式即为p*C1+(1-p)*C2，且权重向量p则表示为：p＝f(C1*K1+C2*K2)，而C1及C2则分别为第一记忆三维点云M1与运算三维点云Q2(t)，或第二记忆三维点云M2与重建三维点云R(t)。

根据以上内容的教示，应当亦理解的是，权重向量p的分量介于0至1之间。也就是说，假设在权重向量p全为0的情况下，递归神经网络模型17就会是只利用运算三维点云Q2(t)或重建三维点云R(t)(亦即，C2)来取代目前的第一或第二记忆三维点云M1、M2，以此类推，假设在权重向量p全为1的情况下，递归神经网络模型17也就会是只利用原先的第一或第二记忆三维点云M1、M2(亦即，C1)来维持作为目前的第一或第二记忆三维点云M1、M2，而不会是利用到运算三维点云Q2(t)或重建三维点云R(t)来更新目前的第一或第二记忆三维点云M1、M2。总而言之，图3B所使用更新第一或第二记忆三维点云M1、M2的具体实现方式在此亦仅只是举例，其并非用以限制本发明。

更进一步来说，从上述内容可知，图1中的存储器15所储存的记忆三维点云M(亦即，包括第一及第二记忆三维点云M1、M2)并非只是输入/输出界面11所收到的不同时刻下的这些观测三维点云S，而是这些观测三维点云S所经由数次卷积及更新处理(例如，图3A)后的数据结果。也就是说，图2中的记忆三维点云M即为过去收到的观测三维点云S(t-1)(未绘示)所经由数次卷积及更新处理后的数据结果。因此，在其中一种应用中，记忆三维点云M更可以是在当三维点云跟踪装置1所开始探测此环境后才产生，而非是一开始就预先储存在存储器15中。另外，假设观测三维点云S(t)即为最一开始的观测数据时，存储器15所储存的记忆三维点云M则可以是由空白三维点云经数次卷积及更新处理后所产生。总而言之，本发明亦不限制记忆三维点云M的具体实现方式。

再者，请一并参阅图3C，图3C将用以来解释图2的递归神经网络模型17中进行环境预测运算的具体运作方式。如图3C所示，递归神经网络模型17是会先将一个空白三维点云(未绘示)与第一记忆三维点云M1进行第四稀疏卷积运算，以得到经此第四稀疏卷积SP4后的运算三维点云Q3(t)。然后，递归神经网络模型17是会再将运算三维点云Q3(t)与第二记忆三维点云M2进行第五稀疏卷积运算，以得到环境在时刻t+1(亦即，第二时刻)下的预测三维点云P(t+1)。由于图3C中的部分技术原理与图3A相同，故于此也就不再多加赘述。总而言之，图3C所使用到的环境预测运算的具体实现方式在此也仅只是举例，其并非用以限制本发明。

最后，为了更进一步说明关于三维点云跟踪装置1的运作流程，本发明进一步提供其三维点云跟踪方法的一种实施方式。请参阅图4，图4是本发明实施例所提供的利用递归神经网络的三维点云跟踪方法的流程示意图。其中，图4的三维点云跟踪方法是可以执行于图1的三维点云跟踪装置1中，但本发明并不限制图4的三维点云跟踪方法仅能够执行于图1的三维点云跟踪装置1中。另外，详细步骤流程如前述实施例所述，于此仅作概述而不再多加冗述。

如图4所示，首先，在步骤S410中，令输入/输出界面接收环境在不同时刻下的不同观测三维点云，其中这些观测三维点云由至少一光达所扫描取得。其次，在步骤S420中，令存储器储存有关环境的至少一记忆三维点云。接着，在步骤S430中，令处理器接收这些观测三维点云及记忆三维点云，并且当收到环境在第一时刻下的观测三维点云时，则进行步骤S440至步骤S450。

在步骤S440中，令处理器利用至少一递归神经网络模型，来对观测三维点云及记忆三维点云进行环境重建运算，以得到环境在此第一时刻下的重建三维点云，并且在步骤S450中，令处理器再利用递归神经网络模型，来对记忆三维点云及空白三维点云进行环境预测运算，以得到环境在第二时刻下的预测三维点云。其中，所述第二时刻晚于第一时刻。

根据以上内容的教示，本技术领域中具有通常知识者应可以理解到，步骤S410、步骤S420及步骤S430应该为并行执行而未冲突的步骤。另外，以下为了更进一步说明关于步骤S440的实现细节，本发明进一步提供其步骤S440的一种实施方式。请参阅图5A，图5A是图4的三维点云跟踪方法中利用递归神经网络模型进行环境重建运算的流程示意图。其中，图5A中部分与图4相同的流程步骤以相同的图号标示，故于此便不再多加详述其细节。

在图5A的实施例中，步骤S440更可以包括有步骤S441至步骤S445。首先，在步骤S441中，递归神经网络模型是会先对观测三维点云进行第一稀疏卷积运算，以得到经第一稀疏卷积后的第一运算三维点云。接着，在步骤S443中，递归神经网络模型是将第一运算三维点云与存储器所储存的第一记忆三维点云进行第二稀疏卷积运算，以得到经第二稀疏卷积后的第二运算三维点云，并且以第二运算三维点云更新第一记忆三维点云。

然后，在步骤S445中，递归神经网络模型是再将第二运算三维点云与存储器所储存的第二记忆三维点云进行第三稀疏卷积运算，以得到环境在第一时刻下的重建三维点云，并且以重建三维点云更新第二记忆三维点云。值得注意的是，图5A所采用的实施方式在此仅是用以举例，其并非用以限制本发明。另外，图5A中更新第一或第二记忆三维点云的一较佳实施方式，可请参阅到图3B所示，故于此便不再多加赘述。

另外，以下为了更进一步说明关于步骤S450的实现细节，本发明进一步提供其步骤S450的一种实施方式。请参阅图5B，图5B是图4的三维点云跟踪方法中利用递归神经网络模型进行环境预测运算的流程示意图。其中，图5B中部分与图4相同的流程步骤以相同的图号标示，故于此便不再多加详述其细节。

在图5B的实施例中，步骤S450更可以包括有步骤S451至步骤S453。首先，在步骤S451中，递归神经网络模型是会先将一个空白三维点云与存储器所储存的第一记忆三维点云进行第四稀疏卷积运算，以得到经第四稀疏卷积后的第三运算三维点云。然后，在步骤S453中，递归神经网络模型是会再将第三运算三维点云与存储器所储存的第二记忆三维点云进行第五稀疏卷积运算，以得到环境在第二时刻下的预测三维点云。由于详细步骤流程如前述实施例所述，故于此也就不再多加详述其细节。

综上所述，本发明实施例所提供的利用递归神经网络的三维点云跟踪装置及方法，不仅可以是用来重建整个环境的三维点云，还可以是用来预测整个环境在后续时刻下的三维点云。特别地是，因为本发明是以整个环境的三维点云来作为跟踪对象，所以在重建的过程中，本发明是可以利用过去的点云信息，来对此环境目前所因某移动物体被遮蔽而未能探测的部分区域点云进行补充，以借此正确地重建起此环境在目前时刻下的三维点云，并且在预测的过程中，本发明是可以通过利用递归神经网络模型来对整个环境进行建模(亦即，编码)的方式，从而预测出此环境在后续时刻下的三维点云，并借此准确地跟踪到此环境内的某移动物体的未来变化。除此之外，本发明还可以是运用到了稀疏卷积的运算特性，因此在合理的时间及计算能力上，本发明是能够有效地处理复杂的三维点云信息，从而实践上述重建及预测的最佳效果。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (14)

1.一种利用递归神经网络的三维点云跟踪装置，其特征在于，该三维点云跟踪装置包括：

一输入/输出界面，用来接收一环境在不同时刻下的不同观测三维点云，其中该些观测三维点云由至少一光达所扫描取得；

一存储器，用来储存有关该环境的至少一记忆三维点云；以及

一处理器，分别与该输入/输出界面及该存储器电性连接，用来接收该些观测三维点云及该至少一记忆三维点云，并且当收到该环境在一第一时刻下的该观测三维点云时，该处理器利用至少一递归神经网络模型，来对该观测三维点云及该至少一记忆三维点云进行环境重建运算，以得到该环境在该第一时刻下的一重建三维点云，并且再利用该递归神经网络模型，来对该至少一记忆三维点云及一空白三维点云进行环境预测运算，以得到该环境在一第二时刻下的一预测三维点云，其中该第二时刻晚于该第一时刻。

2.如权利要求1所述的三维点云跟踪装置，其特征在于，该至少一记忆三维点云包括一第一记忆三维点云及一第二记忆三维点云，并且在利用该递归神经网络模型，来对该观测三维点云及该至少一记忆三维点云进行该环境重建运算，以得到该环境在该第一时刻下的该重建三维点云的步骤中，包括：

对该观测三维点云进行一第一稀疏卷积运算，以得到一第一运算三维点云；

将该第一运算三维点云与该第一记忆三维点云进行一第二稀疏卷积运算，以得到一第二运算三维点云，并且以该第二运算三维点云更新该第一记忆三维点云；以及

将该第二运算三维点云与该第二记忆三维点云进行一第三稀疏卷积运算，以得到该环境在该第一时刻下的该重建三维点云，并且以该重建三维点云更新该第二记忆三维点云。

3.如权利要求2所述的三维点云跟踪装置，其特征在于，在利用该递归神经网络模型，来对该至少一记忆三维点云及该空白三维点云进行环境预测运算，以得到该环境在该第二时刻下的该预测三维点云的步骤中，包括：

将该空白三维点云与该第一记忆三维点云进行一第四稀疏卷积运算，以得到一第三运算三维点云；以及

将该第三运算三维点云与该第二记忆三维点云进行一第五稀疏卷积运算，以得到该环境在该第二时刻下的该预测三维点云。

4.如权利要求3所述的三维点云跟踪装置，其特征在于，该处理器更用以定义至少一权重自定函数、至少一第一稀疏卷积核及至少一第二稀疏卷积核，并且在以该第二运算三维点云更新该第一记忆三维点云的步骤中，还包括：

利用该权重自定函数，来由该第一记忆三维点云、该第二运算三维点云、该第一稀疏卷积核及该第二稀疏卷积核中，决定一权重向量，并且将该第一记忆三维点云更新为该第一记忆三维点云、该第二运算三维点云及该权重向量代入一权重方程式后的结果。

5.如权利要求4所述的三维点云跟踪装置，其特征在于，在以该重建三维点云更新该第二记忆三维点云的步骤中，还包括：

利用该权重自定函数，来由该第二记忆三维点云、该重建三维点云、该第一稀疏卷积核及该第二稀疏卷积核中，决定该权重向量，并且将该第二记忆三维点云更新为该第二记忆三维点云、该重建三维点云及该权重向量代入该权重方程式后的结果。

6.如权利要求5所述的三维点云跟踪装置，其特征在于，该权重自定函数、该第一稀疏卷积核及该第二稀疏卷积核是经由该三维点云跟踪装置在进行完一训练模式后所定义，且该权重向量的分量介于0至1之间。

7.如权利要求6所述的三维点云跟踪装置，其特征在于，该权重方程式为p*C1+(1-p)*C2，其中p为该权重向量，且C1及C2分别为该第一记忆三维点云及该第二运算三维点云，或该第二记忆三维点云及该重建三维点云。

8.一种利用递归神经网络的三维点云跟踪方法，执行于一三维点云跟踪装置中，其特征在于，该三维点云跟踪装置包括一输入/输出界面、一存储器以及一处理器，该三维点云跟踪方法包括：

令该输入/输出界面接收一环境在不同时刻下的不同观测三维点云，其中该些观测三维点云由至少一光达所扫描取得；

令该存储器储存有关该环境的至少一记忆三维点云；以及

令该处理器接收该些观测三维点云及该至少一记忆三维点云，并且当收到该环境在一第一时刻下的该观测三维点云时，令该处理器利用至少一递归神经网络模型，来对该观测三维点云及该至少一记忆三维点云进行环境重建运算，以得到该环境在该第一时刻下的一重建三维点云，并且令该处理器再利用该递归神经网络模型，来对该至少一记忆三维点云及一空白三维点云进行环境预测运算，以得到该环境在第二时刻下的一预测三维点云，其中该第二时刻晚于该第一时刻。

9.如权利要求8所述的三维点云跟踪方法，其特征在于，该至少一记忆三维点云包括一第一记忆三维点云及一第二记忆三维点云，并且在利用该递归神经网络模型，来对该观测三维点云及该至少一记忆三维点云进行该环境重建运算，以得到该环境在该第一时刻下的该重建三维点云的步骤中，包括：

对该观测三维点云进行一第一稀疏卷积运算，以得到一第一运算三维点云；

将该第一运算三维点云与该第一记忆三维点云进行一第二稀疏卷积运算，以得到一第二运算三维点云，并且以该第二运算三维点云更新该第一记忆三维点云；以及

将该第二运算三维点云与该第二记忆三维点云进行一第三稀疏卷积运算，以得到该环境在该第一时刻下的该重建三维点云，并且以该重建三维点云更新该第二记忆三维点云。

10.如权利要求9所述的三维点云跟踪方法，其特征在于，在利用该递归神经网络模型，来对该至少一记忆三维点云及该空白三维点云进行环境预测运算，以得到该环境在该第二时刻下的该预测三维点云的步骤中，包括：

将该空白三维点云与该第一记忆三维点云进行一第四稀疏卷积运算，以得到一第三运算三维点云；以及

将该第三运算三维点云与该第二记忆三维点云进行一第五稀疏卷积运算，以得到该环境在该第二时刻下的该预测三维点云。

11.如权利要求10所述的三维点云跟踪方法，其特征在于，该处理器更用以定义至少一权重自定函数、至少一第一稀疏卷积核及至少一第二稀疏卷积核，并且在以该第二运算三维点云更新该第一记忆三维点云的步骤中，还包括：

利用该权重自定函数，来由该第一记忆三维点云、该第二运算三维点云、该第一稀疏卷积核及该第二稀疏卷积核中，决定一权重向量，并且将该第一记忆三维点云更新为该第一记忆三维点云、该第二运算三维点云及该权重向量代入一权重方程式后的结果。

12.如权利要求11所述的三维点云跟踪方法，其特征在于，在以该重建三维点云更新该第二记忆三维点云的步骤中，还包括：

利用该权重自定函数，来由该第二记忆三维点云、该重建三维点云、该第一稀疏卷积核及该第二稀疏卷积核中，决定该权重向量，并且将该第二记忆三维点云更新为该第二记忆三维点云、该重建三维点云及该权重向量代入该权重方程式后的结果。

13.如权利要求12所述的三维点云跟踪方法，其特征在于，该权重自定函数、该第一稀疏卷积核及该第二稀疏卷积核是经由该三维点云跟踪装置在进行完一训练模式后所定义，且该权重向量的分量介于0至1之间。

14.如权利要求13所述的三维点云跟踪方法，其特征在于，该权重方程式为p*C1+(1-p)*C2，其中p为该权重向量，且C1及C2分别为该第一记忆三维点云及该第二运算三维点云，或该第二记忆三维点云及该重建三维点云。