CN109087338B - 一种图像稀疏光流的提取方法和装置 - Google Patents
一种图像稀疏光流的提取方法和装置 Download PDFInfo
- Publication number
- CN109087338B CN109087338B CN201810163183.7A CN201810163183A CN109087338B CN 109087338 B CN109087338 B CN 109087338B CN 201810163183 A CN201810163183 A CN 201810163183A CN 109087338 B CN109087338 B CN 109087338B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- point cloud
- data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种图像稀疏光流的提取方法，用以解决现有的图像稀疏光流提取处理存在的处理任务繁重、处理效率低的问题。该方法包括；接收关于一个环境的多个点云数据、多帧图像数据和多个车辆位姿数据；根据多个点云数据和多个车辆位姿数据，分别确定各点云数据中包括的静态点；并分别提取各点云数据中的静态点，得到多个静态点云数据，一个静态点云数据与一个点云数据相对应；从多帧图像数据中依次选取一个图像数据对，确定该选取的图像数据对所对应的一个静态点云数据；依次将相对应的静态点云数据中的点投影到图像数据对的每帧图像数据上，得到对应的图像点对；分别提取各个图像数据对中的多个图像点对，得到图像稀疏光流。
Description
技术领域
本发明涉及计算机视觉领域，特别涉及一种图像稀疏光流的提取方法和装置。
背景技术
目前，在计算机视觉领域，网络上发布了许多基于视觉的数据集，其中包括一些图像稀疏光流数据集。但是这些数据都是针对特定场景获取的，无法应用在具体的实际应用场景中。
现有的图像稀疏光流通常是对图像数据经过多次迭代计算获取得到的，如SimonBaker等人在“A Database and Evaluation Methodology for Optical Flow”一文中所描述的。由于图像数据通常具有数据量大的特点，这样的处理过程存在处理任务繁重、处理效率低的问题。
可见现有的图像稀疏光流提取方法中存在处理任务繁重、处理效率低、无法简便有效的获取实际应用场景中的图像稀疏光流。
发明内容
有鉴于此，本发明提供了一种图像稀疏光流的提取方法，用以解决现有的图像稀疏光流提取处理方法存在的处理任务繁重、处理效率低、无法简便有效的获取实际应用场景中的图像稀疏光流的问题。
根据本申请的一个方面，提供一种图像稀疏光流的提取方法，包括：
光流提取装置接收关于一个环境的多个点云数据、多帧图像数据和多个车辆位姿数据；
根据多个点云数据和多个车辆位姿数据，分别确定各点云数据中包括的静态点；并分别提取各点云数据中的静态点，得到多个静态点云数据，一个静态点云数据与一个点云数据相对应；
从多帧图像数据中依次选取一个图像数据对，确定该选取的图像数据对所对应的一个静态点云数据；依次将相对应的静态点云数据中的点投影到图像数据对的每帧图像数据上，得到对应的图像点对；分别提取各个图像数据对中的多个图像点对，得到图像稀疏光流。
在多个实施例中，确定各点云数据中包括的静态点，包括：从多个点云数据中依次选取一个点云数据对，将选取的点云数据对中的第一个点云数据确定为基准帧，将第二个点云数据确定为参考帧；根据车辆位姿数据对齐基准帧和参考帧；对于基准帧中的一个点，根据距离关系在对齐的参考帧中确定出另一个点，在这两个点之间的距离小于预定阈值的情况下，将基准帧中的该点确定为静态点。
在多个实施例中，从多个点云数据中依次选取一个点云数据对，包括：按照点云数据的生成时间的顺序，依次选取第i个点云数据和第i+1个点云数据作为点云数据对，其中1≤i≤n-1，n为点云数据的个数。
在多个实施例中，对于基准帧中的一个点，根据距离关系在对齐的参考帧中确定出另一个点，包括：对于基准帧中的一个点，将该点转换到对齐的参考帧坐标系中得到对应点，或者在参考帧中确定与基准帧中相对应的一个对应点；在对齐的参考帧中确定出与该对应点距离最近的另一个点。
在多个实施例中，从多帧图像数据中依次选取一个图像数据对，包括：按照图像数据的生成时间的顺序，依次选取第j帧图像数据和第j+1帧图像数据作为图像数据对，其中1≤j≤m-1，m为图像数据的帧数。
在多个实施例中，确定该选取的图像数据对所对应的一个静态点云数据，包括：根据图像数据对中第一帧图像数据的生成时间信息，在多个静态点云数据中确定静态点云的生成时间信息与该生成时间信息最接近的一个静态点云为对应的静态点云。
在多个实施例中，依次将对应静态点云中的一个点投影到图像数据对的每帧图像数据上，得到对应的图像点对，包括：根据图像数据坐标与点云数据坐标之间的坐标转换关系，将静态点云中的每个点投影到图像数据对的每帧图像数据上，得到与图像数据对相对应的图像点对。
在多个实施例中，所述方法还包括：确定提取的图像点对所在的两个图像块的相似度；保留相似度小于预定阈值的图像点对；将保留的图像点对保存为静态场景基准稀疏光流。
在多个实施例中，确定提取的图像点对所在的两个图像块的相似度，包括：对于一个图像点对包括的两个点，分别提取每个点所在图像数据的预定区域的图像块；分别确定提取的各图像块中像素的绝对误差，并分别将图像块中全部像素的绝对误差和确定为该图像块的绝对误差；将两个图像块的绝对误差的和值确定为两个图像块的相似度。
在多个实施例中，接收到的多个点云数据是经过校正后的无失真点云数据；车辆位姿数据是通过组合导航系统获得的，组合导航系统包括卫星导航系统和惯性测量单元。
根据本申请的另一个方面，提供了一种图像稀疏光流的提取装置，包括：
接收模块，用于接收关于一个环境的多个点云数据、多帧图像数据和多个车辆位姿数据；
静态点提取模块，用于根据多个点云数据和多个车辆位姿数据，分别确定各点云数据中包括的静态点；并分别提取各点云数据中的静态点，得到多个静态点云数据，一个静态点云数据与一个点云数据相对应；
稀疏光流提取模块，用于从多帧图像数据中依次选取一个图像数据对，确定该选取的图像数据对所对应的一个静态点云数据；依次将相对应的静态点云数据中的点投影到图像数据对的每帧图像数据上，得到对应的图像点对；分别提取各个图像数据对中的多个图像点对，得到图像稀疏光流。
在多个实施例中，静态点提取模块确定各点云数据中包括的静态点，包括：从多个点云数据中依次选取一个点云数据对，将选取的点云数据对中的第一个点云数据确定为基准帧，将第二个点云数据确定为参考帧；根据车辆位姿数据对齐基准帧和参考帧；对于基准帧中的一个点，根据距离关系在对齐的参考帧中确定出另一个点，在这两个点之间的距离小于预定阈值的情况下，将基准帧中的该点确定为静态点。
在多个实施例中，静态点提取模块从多个点云数据中依次选取一个点云数据对，包括：按照点云数据的生成时间的顺序，依次选取第i个点云数据和第i+1个点云数据作为点云数据对，其中1≤i≤n-1，n为点云数据的个数。
在多个实施例中，静态点提取模块对于基准帧中的一个点，根据距离关系在对齐的参考帧中确定出另一个点，包括：对于基准帧中的一个点，将该点转换到对齐的参考帧坐标系中得到对应点，或者在参考帧中确定与基准帧中相对应的一个对应点；在对齐的参考帧中确定出与该对应点距离最近的另一个点。
在多个实施例中，稀疏光流提取模块从多帧图像数据中依次选取一个图像数据对，包括：按照图像数据的生成时间的顺序，依次选取第j帧图像数据和第j+1帧图像数据作为图像数据对，其中1≤j≤m-1，m为图像数据的帧数。
在多个实施例中，稀疏光流提取模块确定该选取的图像数据对所对应的一个静态点云数据，包括：根据图像数据对中第一帧图像数据的生成时间信息，在多个静态点云数据中确定静态点云的生成时间信息与该生成时间信息最接近的一个静态点云为对应的静态点云。
在多个实施例中，稀疏光流提取模块依次将对应静态点云中的一个点投影到图像数据对的每帧图像数据上，得到对应的图像点对，包括：根据图像数据坐标与点云数据坐标之间的坐标转换关系，将静态点云中的每个点投影到图像数据对的每帧图像数据上，得到与图像数据对相对应的图像点对。
在多个实施例中，所述装置还包括：优化模块，用于确定提取的图像点对所在的两个图像块的相似度；保留相似度小于预定阈值的图像点对；将保留的图像点对保存为静态场景基准稀疏光流。
在多个实施例中，优化模块确定提取的图像点对所在的两个图像块的相似度，包括：对于一个图像点对包括的两个点，分别提取每个点所在图像数据的预定区域的图像块；分别确定提取的各图像块中像素的绝对误差，并分别将图像块中全部像素的绝对误差和确定为该图像块的绝对误差；将两个图像块的绝对误差的和值确定为两个图像块的相似度。
根据本申请的另一个方面，还提供了一种图像稀疏光流的提取装置，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行所述至少一条机器可执行指令实现：
接收关于一个环境的多个点云数据、多帧图像数据和多个车辆位姿数据；
根据多个点云数据和多个车辆位姿数据，分别确定各点云数据中包括的静态点；并分别提取各点云数据中的静态点，得到多个静态点云数据，一个静态点云数据与一个点云数据相对应；
从多帧图像数据中依次选取一个图像数据对，确定该选取的图像数据对所对应的一个静态点云数据；依次将相对应的静态点云数据中的点投影到图像数据对的每帧图像数据上，得到对应的图像点对；分别提取各个图像数据对中的多个图像点对，得到图像稀疏光流。
在多个实施例中，处理器执行至少一条机器可执行指令实现确定各点云数据中包括的静态点，包括：从多个点云数据中依次选取一个点云数据对，将选取的点云数据对中的第一个点云数据确定为基准帧，将第二个点云数据确定为参考帧；根据车辆位姿数据对齐基准帧和参考帧；对于基准帧中的一个点，根据距离关系在对齐的参考帧中确定出另一个点，在这两个点之间的距离小于预定阈值的情况下，将基准帧中的该点确定为静态点。
在多个实施例中，处理器执行至少一条机器可执行指令实现从多个点云数据中依次选取一个点云数据对，包括：按照点云数据的生成时间的顺序，依次选取第i个点云数据和第i+1个点云数据作为点云数据对，其中1≤i≤n-1，n为点云数据的个数。
在多个实施例中，处理器执行至少一条机器可执行指令实现对于基准帧中的一个点，根据距离关系在对齐的参考帧中确定出另一个点，包括：对于基准帧中的一个点，将该点转换到对齐的参考帧坐标系中得到对应点，或者在参考帧中确定与基准帧中相对应的一个对应点；在对齐的参考帧中确定出与该对应点距离最近的另一个点。
在多个实施例中，处理器执行至少一条机器可执行指令实现从多帧图像数据中依次选取一个图像数据对，包括：按照图像数据的生成时间的顺序，依次选取第j帧图像数据和第j+1帧图像数据作为图像数据对，其中1≤j≤m-1，m为图像数据的帧数。
在多个实施例中，处理器执行至少一条机器可执行指令实现确定该选取的图像数据对所对应的一个静态点云数据，包括：根据图像数据对中第一帧图像数据的生成时间信息，在多个静态点云数据中确定静态点云的生成时间信息与该生成时间信息最接近的一个静态点云为对应的静态点云。
在多个实施例中，处理器执行至少一条机器可执行指令实现依次将对应静态点云中的一个点投影到图像数据对的每帧图像数据上，得到对应的图像点对，包括：根据图像数据坐标与点云数据坐标之间的坐标转换关系，将静态点云中的每个点投影到图像数据对的每帧图像数据上，得到与图像数据对相对应的图像点对。
在多个实施例中，处理器执行至少一条机器可执行指令还实现：确定提取的图像点对所在的两个图像块的相似度；保留相似度小于预定阈值的图像点对；将保留的图像点对保存为静态场景基准稀疏光流。
在多个实施例中，处理器执行至少一条机器可执行指令实现确定提取的图像点对所在的两个图像块的相似度，包括：对于一个图像点对包括的两个点，分别提取每个点所在图像数据的预定区域的图像块；分别确定提取的各图像块中像素的绝对误差，并分别将图像块中全部像素的绝对误差和确定为该图像块的绝对误差；将两个图像块的绝对误差的和值确定为两个图像块的相似度。
根据本申请实施例提供的图像稀疏光流的提取方法，光流提取装置根据一个环境的点云数据、车辆位姿数据来确定点云数据中包括的静态点，将静态点投影到一个对应的该环境的图像数据对上，得到图像点对，提取图像数据对包括的图像点对获得图像稀疏光流，能够根据多种数据源、通过简便的计算出来得到一个实际场景的图像稀疏光流，处理任务简单、处理效率高，能够简便有效的获取实际应用场景的图像稀疏光流，并且普适性高，从而能够解决现有的图像稀疏光流提取处理中存在的处理任务繁重、处理效率低、无法简便有效的获取实际应用场景中的图像稀疏光流的问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本申请实施例提供的一种图像稀疏光流的提取方法的处理流程图；
图2为本申请实施例提供的另一种图像稀疏光流的提取方法的处理流程图；
图3为本申请实施例提供的一种图像稀疏光流的提取装置的结构框图；
图4为本申请实施例提供的另一种图像稀疏光流的提取装置的结构框图；
图5为本申请实施例提供的另一种图像稀疏光流的提取装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
针对现有图像稀疏光流提取处理中存在的处理任务繁重、处理效率低以及无法简便有效的获取实际应用场景中的图像稀疏光流的问题，本申请实施例提供了一种图像稀疏光流的提取方法和装置，用以解决该问题。在本申请实施例提供的技术方案中，光流提取装置根据一个环境的点云数据、车辆位姿数据来确定点云数据中包括的静态点，将静态点投影到该环境的一个对应的图像数据对上得到图像点对，提取图像数据对中包括的图像点对获得图像稀疏光流，能够根据多种数据源、通过简便的计算得到一个实际场景的图像稀疏光流，相比于现有技术中的图像稀疏光流提取方法，具有计算量小、计算处理简便、处理效率高的特点，能够针对各种实际应用场景获取图像稀疏光流，具有较高的普适性，从而能够解决现有的图像稀疏光流提取处理中存在的处理任务繁重、处理效率低、无法简便有效的获取实际应用场景中的图像稀疏光流的问题。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
图1中示出了本申请实施例提供的图像稀疏光流的提取方法的处理流程图，包括：
步骤11、光流提取装置接收关于一个环境的多个点云数据、多帧图像数据和多个车辆位姿数据。
其中，通常点云数据来自于激光雷达(LiDAR)，图像数据来自于摄像头，车辆位姿数据来自于组合导航系统，组合导航系统可以包括卫星导航系统和惯性测量单元；例如，在一个自动驾驶车辆上或者一个模拟的自动驾驶车辆上，配置有激光雷达装置、摄像头装置和组合导航系统，通过激光雷达装置获取一个环境的点云数据，通过摄像头获取该环境的图像数据，并且通过组合导航系统获取车辆的位姿估计结果即车辆位姿数据。
在一个实施例中，摄像头和激光雷达之间，还可以通过一个触发机制来同步图像数据的获取和点云数据的获取。本申请不对具体的同步方法进行限定。
在一个实施例中，摄像头可以通过以大致30Hz的频率捕捉环境的图像数据，激光雷达以大致20Hz的扫描频率获取点云数据，导航系统以大致50Hz的频率以东北向坐标收集车辆位姿数据，车辆位姿数据中包括位置和方向。通过这样的工作频率，能够采集到较为密集的数据，有利于后续的处理。
在一个实施例中，由激光雷达获取的点云数据还可以得到进一步的校正处理成为校正后的无失真点云数据。图像数据也可以是对摄像头进行内部参数校正后获取的图像数据。本申请不对具体的校正方法进行限定。
步骤12、根据多个点云数据和多个车辆位姿数据，分别确定各点云数据中包括的静态点。
步骤12的处理过程包括：
步骤121、从多个点云数据中依次选取一个点云数据对，将选取的点云数据对中的第一个点云数据确定为基准帧，将第二个点云数据确定为参考帧；
在一个实施例中，按照点云数据的生成时间的顺序，依次选取第i个点云数据和第i+1个点云数据作为点云数据对，其中1≤i≤n-1，n为点云数据的个数，其中点云数据的生成时间可以通过点云数据的时间戳确定；例如，在选取点云数据对时，可以根据点云数据的时间戳的顺序，第一次选取第一个点云数据和第二个点云数据为一个点云数据对，第一个点云数据为基准帧，第二个点云数据为参考帧，第二次选取第二点云数据和第三个点云数据为一个点云数据对一个点云数据对，第二个点云数据为基准帧，第三个点云数据为参考帧，如此依次选取点云数据对。
步骤122、根据车辆位姿数据对齐基准帧和参考帧。
根据位姿数据也即位姿估计结果来对齐两个点云数据的方法，可以根据已有的方法或者本申请之后的方法进行对齐，本申请不做具体限定。
步骤123、对于基准帧中的一个点，根据距离关系在对齐的参考帧中确定出另一个点，在这两个点之间的距离小于预定阈值的情况下，将基准帧中的该点确定为静态点。
在一个实施例中，对于基准帧中的一个点，将该点转换到对齐的参考帧坐标系中得到对应点，或者在参考帧中确定与基准帧中相对应的一个对应点；并在对齐的参考帧中确定出与该对应点距离最近的另一个点；在这两个点之间的距离小于预定阈值的情况下，基准帧中的点为静态点。
步骤13、分别提取各点云数据中的静态点，得到多个静态点云数据，一个静态点云数据与一个点云数据相对应。
在一个实施例中，从点云数据中提取出静态点的相关数据，将提取的静态点的相关数据保存为与该点云数据对应的静态点云数据。
步骤14、从多帧图像数据中依次选取一个图像数据对，确定该选取的图像数据对所对应的一个静态点云数据。
在一个实施例中，从多帧图像数据中依次选取一个图像数据对，可以按照图像数据的生成时间的顺序，依次选取第j个图像数据和第j+1个图像数据作为图像数据对，其中1≤j≤m-1，m为图像数据的帧数，图像数据的生成时间可以通过图像数据的时间戳确定；例如，在选取图像数据对时，可以根据图像数据的时间戳的顺序，第一次选取第一帧图像数据和第二帧图像数据为一个图像数据对，第二次选取第二帧图像数据和第三帧图像数据为一个图像数据对，如此依次选取图像数据对。
步骤15、依次将相对应的静态点云数据中的点投影到图像数据对的每帧图像数据上，得到对应的图像点对。
在多个实施例中，可以通过多种方法将静态点云数据中的点投影到图像数据上，可以根据已有的方法或者本申请之后的方法进行投影，本申请不做具体限定。
在一个实施例中，可以根据图像数据坐标和点云数据坐标之间的坐标转换关系，将静态点云数据中的点投影到对应的图像数据对的各帧图像上，生成对应的图像点对。由于投影的点在图像中的位置可以通过相机模型精确的计算出来，并以浮点数格式进行保存，得到的图像点对具有亚像素级别的精度。
进一步，还可以建立图像点对之间的对应关系，以便于后续提取图像点对的操作。
步骤16、分别提取各个图像数据对中的多个图像点对，得到图像稀疏光流。
在一个实施例中，分别将图像数据对中的多个图像点对以及图像点对的相关数据提取出来，并保存为图像稀疏光流。
通过如图1所示的处理，光流提取装置根据一个环境的点云数据、车辆位姿数据来确定点云数据中包括的静态点，将静态点投影到一个对应的该环境的图像数据对上得到图像点对，提取图像数据对中包括的图像点对获得图像稀疏光流，能够根据多种数据源、通过简便的计算出来得到一个实际场景的图像稀疏光流，处理任务简单、处理效率高，能够简便有效的获取实际应用场景的图像稀疏光流，并且普适性高，从而能够解决现有的图像稀疏光流提取处理中存在的处理任务繁重、处理效率低、无法简便有效的获取实际应用场景中的图像稀疏光流的问题。
进一步地，在图1所示的方法中，由于提取的图像点对可能不全是能够真实有效地表达稀疏光流的图像点对，可以进步一地删除无效的也即差异较大的图像点对。基于图1所示的方法，本申请实施例还提出了另一种图像稀疏光流的提取方法的处理流程图，如图2所示，该方法在图1所示步骤11～16的基础上还包括：
步骤17、确定提取的图像点对所在的两个图像块的相似度。
在一个实施例中，步骤17包括如下的处理过程：
步骤171、对于一个图像点对包括的两个点，分别提取每个点所在图像数据的预定区域的图像块。
该预定区域可以是一个预定面积的区域，也可以是一个预定形状的区域，也可以是这二者的结合。
步骤172、分别确定提取的各图像块中像素的绝对误差，并分别将图像块中全部像素的绝对误差和确定为该图像块的绝对误差。
本申请不对确定像素的绝对误差的方法进行限定；图像块的全部像素的绝对误差和，可以是全部像素的绝对误差的算术和。
步骤173、将两个图像块的绝对误差的和值确定为两个图像块的相似度。通过计算两个图像块的绝对误差和，以及两个图像块的绝对误差的和值，可以衡量图像点对的差异程度。
步骤18、保留相似度小于预定阈值的图像点对。
当两个图像块的差异程度大于一定的阈值时，可以认为这两个图像块对应的图像点对之间存在显著的差异，从而放弃保留相似度大于或等于预定阈值的图像点对，仅保留相似度小于预定阈值的图像点对。
步骤19、将保留的图像点对保存为静态场景基准稀疏光流。
通过图2所示的处理，还可以进一步的对图像稀疏光流进行优化，排除差异较大的图像点对，保留无显著差异的图像点对，能够得到准确率更高的图像稀疏光流。
基于相同的发明构思，本申请实施例还提供了一种图像稀疏光流的提取装置，如图3所示，包括：
接收模块301，用于接收关于一个环境的多个点云数据、多帧图像数据和多个车辆位姿数据；
静态点提取模块302，用于根据多个点云数据和多个车辆位姿数据，分别确定各点云数据中包括的静态点；并分别提取各点云数据中的静态点，得到多个静态点云数据，一个静态点云数据与一个点云数据相对应；
稀疏光流提取模块303，用于从多帧图像数据中依次选取一个图像数据对，确定该选取的图像数据对所对应的一个静态点云数据；依次将相对应的静态点云数据中的点投影到图像数据对的每帧图像数据上，得到对应的图像点对；分别提取各个图像数据对中的多个图像点对，得到图像稀疏光流。
在一个实施例中，静态点提取模块302确定各点云数据中包括的静态点，包括：从多个点云数据中依次选取一个点云数据对，将选取的点云数据对中的第一个点云数据确定为基准帧，将第二个点云数据确定为参考帧；根据车辆位姿数据对齐基准帧和参考帧；对于基准帧中的一个点，根据距离关系在对齐的参考帧中确定出另一个点，在这两个点之间的距离小于预定阈值的情况下，将基准帧中的该点确定为静态点。
在一个实施例中，静态点提取模块302从多个点云数据中依次选取一个点云数据对，包括：按照点云数据的生成时间的顺序，依次选取第i个点云数据和第i+1个点云数据作为点云数据对，其中1≤i≤n-1，n为点云数据的个数。
在一个实施例中，静态点提取模块302对于基准帧中的一个点，根据距离关系在对齐的参考帧中确定出另一个点，包括：对于基准帧中的一个点，将该点转换到对齐的参考帧坐标系中得到对应点，或者在参考帧中确定与基准帧中相对应的一个对应点；在对齐的参考帧中确定出与该对应点距离最近的另一个点。
在一个实施例中，稀疏光流提取模块303从多帧图像数据中依次选取一个图像数据对，包括：按照图像数据的生成时间的顺序，依次选取第j帧图像数据和第j+1帧图像数据作为图像数据对，其中1≤j≤m-1，m为图像数据的帧数。
在一个实施例中，稀疏光流提取模块303确定该选取的图像数据对所对应的一个静态点云数据，包括：根据图像数据对中第一帧图像数据的生成时间信息，在多个静态点云数据中确定静态点云的生成时间信息与该生成时间信息最接近的一个静态点云为对应的静态点云。
在一个实施例中，稀疏光流提取模块303依次将对应静态点云中的一个点投影到图像数据对的每帧图像数据上，得到对应的图像点对，包括：根据图像数据坐标与点云数据坐标之间的坐标转换关系，将静态点云中的每个点投影到图像数据对的每帧图像数据上，得到与图像数据对相对应的图像点对。
通过图3所示的装置，图像稀疏光流提取装置根据一个环境的点云数据、车辆位姿数据来确定点云数据中包括的静态点，将静态点投影到一个对应的该环境的图像数据对上得到图像点对，提取图像数据对中包括的图像点对获得图像稀疏光流，能够根据多种数据源、通过简便的计算出来得到一个实际场景的图像稀疏光流，并且普适性高，能够解决现有的图像稀疏光流提取处理中存在的处理任务繁重、处理效率低、无法简便有效的获取实际应用场景的图像稀疏光流的问题。
进一步，在图3所示装置的基础上，本申请还提供了一种图像稀疏光流的提取装置，该装置在图3所示装置的基础上，能够进一步地删除差异较大的图像点对，保留相似度较高的图像点对。
如图4所示，该装置在图3所示装置的基础上，还包括：优化模块304，用于确定提取的图像点对所在的两个图像块的相似度；保留相似度小于预定阈值的图像点对；将保留的图像点对保存为静态场景基准稀疏光流。
在一个实施例中，优化模块304确定提取的图像点对所在的两个图像块的相似度，包括：对于一个图像点对包括的两个点，分别提取每个点所在图像数据的预定区域的图像块；分别确定提取的各图像块中像素的绝对误差，并分别将图像块中全部像素的绝对误差和确定为该图像块的绝对误差；将两个图像块的绝对误差的和值确定为两个图像块的相似度。
图4所示的装置能够对图像稀疏光流进行优化，排除差异较大的图像点对，保留无显著差异的图像点对，能够得到准确率更高的图像稀疏光流。
基于相同的发明构思，本申请实施例还提供了一种图像稀疏光流的提取装置，如图5所示，该装置包括一个处理器501和至少一个存储器502，至少一个存储器502中存储有至少一条机器可执行指令，处理器501执行所述至少一条机器可执行指令实现：
接收关于一个环境的多个点云数据、多帧图像数据和多个车辆位姿数据；
根据多个点云数据和多个车辆位姿数据，分别确定各点云数据中包括的静态点；并分别提取各点云数据中的静态点，得到多个静态点云数据，一个静态点云数据与一个点云数据相对应；
从多帧图像数据中依次选取一个图像数据对，确定该选取的图像数据对所对应的一个静态点云数据；依次将相对应的静态点云数据中的点投影到图像数据对的每帧图像数据上，得到对应的图像点对；分别提取各个图像数据对中的多个图像点对，得到图像稀疏光流。
在一个实施例中，处理器执行至少一条机器可执行指令实现确定各点云数据中包括的静态点，包括：从多个点云数据中依次选取一个点云数据对，将选取的点云数据对中的第一个点云数据确定为基准帧，将第二个点云数据确定为参考帧；根据车辆位姿数据对齐基准帧和参考帧；对于基准帧中的一个点，根据距离关系在对齐的参考帧中确定出另一个点，在这两个点之间的距离小于预定阈值的情况下，将基准帧中的该点确定为静态点。
在一个实施例中，处理器501执行至少一条机器可执行指令实现从多个点云数据中依次选取一个点云数据对，包括：按照点云数据的生成时间的顺序，依次选取第i个点云数据和第i+1个点云数据作为点云数据对，其中1≤i≤n-1，n为点云数据的个数。
在一个实施例中，处理器501执行至少一条机器可执行指令实现对于基准帧中的一个点，根据距离关系在对齐的参考帧中确定出另一个点，包括：对于基准帧中的一个点，将该点转换到对齐的参考帧坐标系中得到对应点，或者在参考帧中确定与基准帧中相对应的一个对应点；在对齐的参考帧中确定出与该对应点距离最近的另一个点。
在一个实施例中，处理器501执行至少一条机器可执行指令实现从多帧图像数据中依次选取一个图像数据对，包括：按照图像数据的生成时间的顺序，依次选取第j帧图像数据和第j+1帧图像数据作为图像数据对，其中1≤j≤m-1，m为图像数据的帧数。
在一个实施例中，处理器501执行至少一条机器可执行指令实现确定该选取的图像数据对所对应的一个静态点云数据，包括：根据图像数据对中第一帧图像数据的生成时间信息，在多个静态点云数据中确定静态点云的生成时间信息与该生成时间信息最接近的一个静态点云为对应的静态点云。
在一个实施例中，处理器501执行至少一条机器可执行指令实现依次将对应静态点云中的一个点投影到图像数据对的每帧图像数据上，得到对应的图像点对，包括：根据图像数据坐标与点云数据坐标之间的坐标转换关系，将静态点云中的每个点投影到图像数据对的每帧图像数据上，得到与图像数据对相对应的图像点对。
在一个实施例中，处理器501执行至少一条机器可执行指令还实现：确定提取的图像点对所在的两个图像块的相似度；保留相似度小于预定阈值的图像点对；将保留的图像点对保存为静态场景基准稀疏光流。
在一个实施例中，处理器501执行至少一条机器可执行指令实现确定提取的图像点对所在的两个图像块的相似度，包括：对于一个图像点对包括的两个点，分别提取每个点所在图像数据的预定区域的图像块；分别确定提取的各图像块中像素的绝对误差，并分别将图像块中全部像素的绝对误差和确定为该图像块的绝对误差；将两个图像块的绝对误差的和值确定为两个图像块的相似度。
通过图5所示的装置，图像稀疏光流提取装置根据一个环境的点云数据、车辆位姿数据来确定点云数据中包括的静态点，将静态点投影到一个对应的该环境的图像数据对上得到图像点对，提取图像数据对中包括的图像点对获得图像稀疏光流，能够根据多种数据源、通过简便的计算出来得到一个实际场景的图像稀疏光流，并且普适性高，能够解决现有的图像稀疏光流提取处理中存在的处理任务繁重、处理效率低、无法简便有效的获取实际应用场景的图像稀疏光流的问题。进一步地，图5所示装置还能够对图像稀疏光流进行优化，排除差异较大的图像点对，保留无显著差异的图像点对，能够得到准确率更高的图像稀疏光流。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (19)
1.一种图像稀疏光流的提取方法，其特征在于，包括：
图像稀疏光流提取装置接收关于一个环境的多个点云数据、多帧图像数据和多个车辆位姿数据；
根据多个点云数据和多个车辆位姿数据，从所述多个点云数据提取而得到多个静态点云数据，一个静态点云数据与一个点云数据相对应，其中：
从多个点云数据中依次选取一个点云数据对，将选取的点云数据对中的第一个点云数据确定为基准帧，将第二个点云数据确定为参考帧；
根据车辆位姿数据对齐基准帧和参考帧；
对于基准帧中的一个点，将该点转换到对齐的参考帧坐标系中得到对应点，或者在参考帧中确定与基准帧中相对应的一个对应点；在对齐的参考帧中确定出与该对应点距离最近的另一个点，在所述基准帧的点与所述另一个点之间的距离小于预定阈值的情况下，将基准帧中的该点确定为静态点；
从多帧图像数据中依次选取一个图像数据对；根据该选取的图像数据对中第一帧图像数据的生成时间信息，在多个静态点云数据中确定静态点云的生成时间信息与该生成时间信息最接近的一个静态点云为该选取的图像数据对相对应的静态点云；依次将与该选取的图像数据对相对应的静态点云数据中的点投影到该选取的图像数据对的每帧图像数据上，得到对应的图像点对；分别提取各个图像数据对中的多个图像点对以及图像点对的相关数据，保存为图像稀疏光流。
2.根据权利要求1所述的方法，其特征在于，从多个点云数据中依次选取一个点云数据对，包括：
按照点云数据的生成时间的顺序，依次选取第i个点云数据和第i+1个点云数据作为点云数据对，其中1≤i≤n-1，n为点云数据的个数。
3.根据权利要求1所述的方法，其特征在于，从多帧图像数据中依次选取一个图像数据对，包括：
按照图像数据的生成时间的顺序，依次选取第j帧图像数据和第j+1帧图像数据作为图像数据对，其中1≤j≤m-1，m为图像数据的帧数。
4.根据权利要求1所述的方法，其特征在于，依次将对应静态点云中的一个点投影到图像数据对的每帧图像数据上，得到对应的图像点对，包括：
根据图像数据坐标与点云数据坐标之间的坐标转换关系，将静态点云中的每个点投影到图像数据对的每帧图像数据上，得到与图像数据对相对应的图像点对。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定提取的图像点对所在的两个图像块的相似度；
保留相似度小于预定阈值的图像点对；
将保留的图像点对保存为静态场景基准稀疏光流。
6.根据权利要求5所述的方法，其特征在于，确定提取的图像点对所在的两个图像块的相似度，包括：
对于一个图像点对包括的两个点，分别提取每个点所在图像数据中预定区域的图像块；
分别确定提取的各图像块中像素的绝对误差，并分别将图像块中全部像素的绝对误差和作为该图像块的绝对误差；
将两个图像块的绝对误差的和值确定为两个图像块的相似度。
7.根据权利要求1所述的方法，其特征在于，接收到的多个点云数据是经过校正后的无失真点云数据；
车辆位姿数据是通过组合导航系统获得的，组合导航系统包括卫星导航系统和惯性测量单元。
8.一种图像稀疏光流的提取装置，其特征在于，包括：
接收模块，用于接收关于一个环境的多个点云数据、多帧图像数据和多个车辆位姿数据；
静态点提取模块，用于根据多个点云数据和多个车辆位姿数据，从所述多个点云数据提取而得到多个静态点云数据，一个静态点云数据与一个点云数据相对应；其中：
从多个点云数据中依次选取一个点云数据对，将选取的点云数据对中的第一个点云数据确定为基准帧，将第二个点云数据确定为参考帧；
根据车辆位姿数据对齐基准帧和参考帧；
对于基准帧中的一个点，将该点转换到对齐的参考帧坐标系中得到对应点，或者在参考帧中确定与基准帧中相对应的一个对应点；在对齐的参考帧中确定出与该对应点距离最近的另一个点，在所述基准帧的点与所述另一个点之间的距离小于预定阈值的情况下，将基准帧中的该点确定为静态点；
稀疏光流提取模块，用于从多帧图像数据中依次选取一个图像数据对；根据该选取的图像数据对中第一帧图像数据的生成时间信息，在多个静态点云数据中确定静态点云的生成时间信息与该生成时间信息最接近的一个静态点云为该选取的图像数据对相对应的静态点云；依次将与该选取的图像数据对相对应的静态点云数据中的点投影到该选取的图像数据对的每帧图像数据上，得到对应的图像点对；分别提取各个图像数据对中的多个图像点对以及图像点对的相关数据，保存为图像稀疏光流。
9.根据权利要求8所述的装置，其特征在于，静态点提取模块从多个点云数据中依次选取一个点云数据对，包括：
按照点云数据的生成时间的顺序，依次选取第i个点云数据和第i+1个点云数据作为点云数据对，其中1≤i≤n-1，n为点云数据的个数。
10.根据权利要求8所述的装置，其特征在于，稀疏光流提取模块从多帧图像数据中依次选取一个图像数据对，包括：
按照图像数据的生成时间的顺序，依次选取第j帧图像数据和第j+1帧图像数据作为图像数据对，其中1≤j≤m-1，m为图像数据的帧数。
11.根据权利要求8所述的装置，其特征在于，稀疏光流提取模块依次将对应静态点云中的一个点投影到图像数据对的每帧图像数据上，得到对应的图像点对，包括：
根据图像数据坐标与点云数据坐标之间的坐标转换关系，将静态点云中的每个点投影到图像数据对的每帧图像数据上，得到与图像数据对相对应的图像点对。
12.根据权利要求8所述的装置，其特征在于，所述装置还包括：优化模块，用于确定提取的图像点对所在的两个图像块的相似度；保留相似度小于预定阈值的图像点对；
将保留的图像点对保存为静态场景基准稀疏光流。
13.根据权利要求12所述的装置，其特征在于，优化模块确定提取的图像点对所在的两个图像块的相似度，包括：
对于一个图像点对包括的两个点，分别提取每个点所在图像数据中预定区域的图像块；
分别确定提取的各图像块中像素的绝对误差，并分别将图像块中全部像素的绝对误差和作为该图像块的绝对误差；
将两个图像块的绝对误差的和值确定为两个图像块的相似度。
14.一种图像稀疏光流的提取装置，其特征在于，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行所述至少一条机器可执行指令实现：
接收关于一个环境的多个点云数据、多帧图像数据和多个车辆位姿数据；
根据多个点云数据和多个车辆位姿数据，从所述多个点云数据提取而得到多个静态点云数据，一个静态点云数据与一个点云数据相对应，其中：
从多个点云数据中依次选取一个点云数据对，将选取的点云数据对中的第一个点云数据确定为基准帧，将第二个点云数据确定为参考帧；
根据车辆位姿数据对齐基准帧和参考帧；
对于基准帧中的一个点，将该点转换到对齐的参考帧坐标系中得到对应点，或者在参考帧中确定与基准帧中相对应的一个对应点；在对齐的参考帧中确定出与该对应点距离最近的另一个点，在所述基准帧的点与所述另一个点之间的距离小于预定阈值的情况下，将基准帧中的该点确定为静态点；
从多帧图像数据中依次选取一个图像数据对；根据该选取的图像数据对中第一帧图像数据的生成时间信息，在多个静态点云数据中确定静态点云的生成时间信息与该生成时间信息最接近的一个静态点云为该选取的图像数据对相对应的静态点云；依次将与该选取的图像数据对相对应的静态点云数据中的点投影到该选取的图像数据对的每帧图像数据上，得到对应的图像点对；分别提取各个图像数据对中的多个图像点对以及图像点对的相关数据，保存为图像稀疏光流。
15.根据权利要求14所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现从多个点云数据中依次选取一个点云数据对，包括：
按照点云数据的生成时间的顺序，依次选取第i个点云数据和第i+1个点云数据作为点云数据对，其中1≤i≤n-1，n为点云数据的个数。
16.根据权利要求14所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现从多帧图像数据中依次选取一个图像数据对，包括：
按照图像数据的生成时间的顺序，依次选取第j帧图像数据和第j+1帧图像数据作为图像数据对，其中1≤j≤m-1，m为图像数据的帧数。
17.根据权利要求14所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现依次将对应静态点云中的一个点投影到图像数据对的每帧图像数据上，得到对应的图像点对，包括：
根据图像数据坐标与点云数据坐标之间的坐标转换关系，将静态点云中的每个点投影到图像数据对的每帧图像数据上，得到与图像数据对相对应的图像点对。
18.根据权利要求14所述的装置，其特征在于，处理器执行至少一条机器可执行指令还实现：
确定提取的图像点对所在的两个图像块的相似度；
保留相似度小于预定阈值的图像点对；
将保留的图像点对保存为静态场景基准稀疏光流。
19.根据权利要求18所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现确定提取的图像点对所在的两个图像块的相似度，包括：
对于一个图像点对包括的两个点，分别提取每个点所在图像数据的预定区域的图像块；
分别确定提取的各图像块中像素的绝对误差，并分别确定各图像块中全部像素的绝对误差和；
将两个图像块的绝对误差和的和值确定为两个图像块的相似度。
Applications Claiming Priority (16)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/621,904 US20180357314A1 (en) | 2017-06-13 | 2017-06-13 | Time synchronization and data acquisition system for ground truth static scene sparse flow generation |
| US15/621,884 US10866101B2 (en) | 2017-06-13 | 2017-06-13 | Sensor calibration and time system for ground truth static scene sparse flow generation |
| USUS15/621,945 | 2017-06-13 | ||
| US15/621,945 US10360686B2 (en) | 2017-06-13 | 2017-06-13 | Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation |
| USUS15/621,861 | 2017-06-13 | ||
| US15/621,937 US20180356831A1 (en) | 2017-06-13 | 2017-06-13 | Sparse image point correspondences generation and correspondences refinement method for ground truth static scene sparse flow generation |
| USUS15/621,884 | 2017-06-13 | ||
| USUS15/621,918 | 2017-06-13 | ||
| US15/621,894 US20180356824A1 (en) | 2017-06-13 | 2017-06-13 | Time synchronization and data acquisition method for ground truth static scene sparse flow generation |
| US15/621,861 US10488521B2 (en) | 2017-06-13 | 2017-06-13 | Sensor calibration and time method for ground truth static scene sparse flow generation |
| US15/621,931 US20180357315A1 (en) | 2017-06-13 | 2017-06-13 | UNDISTORTED RAW LiDAR SCANS AND STATIC POINT EXTRACTIONS SYSTEM FOR GROUND TRUTH STATIC SCENE SPARSE FLOW GENERATION |
| USUS15/621,894 | 2017-06-13 | ||
| USUS15/621,931 | 2017-06-13 | ||
| US15/621,918 US10481267B2 (en) | 2017-06-13 | 2017-06-13 | Undistorted raw LiDAR scans and static point extractions method for ground truth static scene sparse flow generation |
| USUS15/621,937 | 2017-06-13 | ||
| USUS15/621,904 | 2017-06-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109087338A CN109087338A (zh) | 2018-12-25 |
| CN109087338B true CN109087338B (zh) | 2021-08-24 |
Family
ID=64839581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810163183.7A Active CN109087338B (zh) | 2017-06-13 | 2018-02-26 | 一种图像稀疏光流的提取方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109087338B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021163928A1 (zh) * | 2020-02-19 | 2021-08-26 | 华为技术有限公司 | 光流获取方法和装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8483960B2 (en) * | 2002-09-20 | 2013-07-09 | Visual Intelligence, LP | Self-calibrated, remote imaging and data processing system |
| US7363157B1 (en) * | 2005-02-10 | 2008-04-22 | Sarnoff Corporation | Method and apparatus for performing wide area terrain mapping |
| US9041915B2 (en) * | 2008-05-09 | 2015-05-26 | Ball Aerospace & Technologies Corp. | Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR |
| US7961301B2 (en) * | 2008-05-09 | 2011-06-14 | Ball Aerospace & Technologies Corp. | Flash LADAR system |
| US9488492B2 (en) * | 2014-03-18 | 2016-11-08 | Sri International | Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics |
| AU2014254426B2 (en) * | 2013-01-29 | 2018-05-10 | Andrew Robert Korb | Methods for analyzing and compressing multiple images |
| US9809078B2 (en) * | 2013-03-15 | 2017-11-07 | ClearMotion, Inc. | Multi-path fluid diverter valve |
| US9153027B2 (en) * | 2013-11-01 | 2015-10-06 | Nvidia Corporation | System, method, and computer program product for performing fast, non-rigid registration for high dynamic range image stacks |
| US9322148B2 (en) * | 2014-06-16 | 2016-04-26 | Caterpillar Inc. | System and method for terrain mapping |
| CN104240297A (zh) * | 2014-09-02 | 2014-12-24 | 东南大学 | 一种救援机器人三维环境地图实时构建方法 |
| CN105069826B (zh) * | 2015-08-26 | 2018-06-29 | 中国科学院深圳先进技术研究院 | 弹性物体变形运动的建模方法 |
| CN106683173B (zh) * | 2016-12-22 | 2019-09-13 | 西安电子科技大学 | 一种基于邻域块匹配提高三维重建点云稠密程度的方法 |
-
2018
- 2018-02-26 CN CN201810163183.7A patent/CN109087338B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109087338A (zh) | 2018-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111354042B (zh) | 机器人视觉图像的特征提取方法、装置、机器人及介质 | |
| CN108931795B (zh) | 定位设备轨迹优化和边界提取方法及装置 | |
| CN111445526B (zh) | 一种图像帧之间位姿的估计方法、估计装置和存储介质 | |
| CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
| CN111160298B (zh) | 一种机器人及其位姿估计方法和装置 | |
| US9183634B2 (en) | Image processing apparatus and image processing method | |
| CN116255992A (zh) | 一种同时定位与建图的方法和装置 | |
| CN114692720B (zh) | 基于鸟瞰图的图像分类方法、装置、设备及存储介质 | |
| EP3998582A1 (en) | Three-dimensional model generation method and three-dimensional model generation device | |
| CN112396073A (zh) | 基于双目图像的模型训练方法、装置及数据处理设备 | |
| US9886772B2 (en) | System for correcting RPC camera model pointing errors using 2 sets of stereo image pairs and probabilistic 3-dimensional models | |
| CN114494388B (zh) | 一种大视场环境下图像三维重建方法、装置、设备及介质 | |
| JP2016024052A (ja) | ３次元計測システム、３次元計測方法及びプログラム | |
| CN105809664B (zh) | 生成三维图像的方法和装置 | |
| CN114972027A (zh) | 一种图像拼接方法、装置、设备、介质和计算机产品 | |
| CN109087338B (zh) | 一种图像稀疏光流的提取方法和装置 | |
| CN112270748A (zh) | 基于图像的三维重建方法及装置 | |
| CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及系统 | |
| US20230260159A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
| CN111985266A (zh) | 尺度图确定方法、装置、设备及存储介质 | |
| CN116758503A (zh) | 车道线自动标注方法、装置、设备及存储介质 | |
| CN110570468A (zh) | 一种基于深度学习的双目视觉深度估计方法及其系统 | |
| CN115773759A (zh) | 自主移动机器人的室内定位方法、装置、设备及存储介质 | |
| US20230316460A1 (en) | Binocular image quick processing method and apparatus and corresponding storage medium | |
| KR20150119770A (ko) | 카메라를 사용한 3차원 좌표 측정 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No.1, Linkong 2nd Road, Shunyi Park, Zhongguancun Science and Technology Park, Shunyi District, Beijing Patentee after: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd. Patentee after: Tucson Ltd. Address before: 101300 Shunyi District Zhongguancun Science Park, Shunyi Park, No. 1 Linkong Second Road, Shunyi District, Beijing Patentee before: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd. Patentee before: TUSIMPLE |