CN113671519A - 一种飞行时间测距方法、装置、飞行时间相机及电子设备 - Google Patents

一种飞行时间测距方法、装置、飞行时间相机及电子设备 Download PDF

Info

Publication number
CN113671519A
CN113671519A CN202111231147.8A CN202111231147A CN113671519A CN 113671519 A CN113671519 A CN 113671519A CN 202111231147 A CN202111231147 A CN 202111231147A CN 113671519 A CN113671519 A CN 113671519A
Authority
CN
China
Prior art keywords
optical signal
cross
determining
processing
processing result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111231147.8A
Other languages
English (en)
Other versions
CN113671519B (zh
Inventor
吴昊
莫苏苏
王抒昂
刘德珩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Silicon Integrated Co Ltd
Original Assignee
Wuhan Silicon Integrated Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Silicon Integrated Co Ltd filed Critical Wuhan Silicon Integrated Co Ltd
Priority to CN202111231147.8A priority Critical patent/CN113671519B/zh
Publication of CN113671519A publication Critical patent/CN113671519A/zh
Application granted granted Critical
Publication of CN113671519B publication Critical patent/CN113671519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Abstract

本发明实施例公开了一种飞行时间测距方法、装置、飞行时间相机及电子设备，所述方法包括：发送光信号，基于所述光信号的频率确定至少一个第一解调信号；所述光信号经目标反射后被接收；所述第一解调信号的初始相位不大于
Figure 109843DEST_PATH_IMAGE001
；基于所述第一解调信号和接收的所述光信号进行多次互相关处理，获得多次互相关处理对应的多个处理结果；确定每个处理结果对应的第一相位差，根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果，基于所述目标处理结果确定目标距离。本发明能够提高iToF相机的抗干扰能力和测量精度。

Description

一种飞行时间测距方法、装置、飞行时间相机及电子设备
技术领域
本发明涉及光成像技术领域，尤其涉及一种飞行时间测距方法、装置、飞行时间相机及电子设备。
背景技术
飞行时间（ToF，Time of flight）技术是一种利用光的飞行时间来测量场景深度的技术，其中，iToF（indirect ToF）是通过测量相位偏移来间接测量光的飞行时间。具体地，iToF相机（也即iToF传感器）向场景中发射调制后的红外光信号，再由传感器接收场景中待测物体反射回来的光信号，通过一定的鉴频技术计算出相位变化，从而根据相位变化得到目标距离。
然而，iToF传感器在曝光阶段，部分环境光混杂在反射光中被传感器接收，环境光越强，引起的深度误差也越大。目前，iToF抗环境光的主要手段围绕在对硬件的改造上，增加了产品成本。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种飞行时间测距方法、装置、飞行时间相机及电子设备。
为达到上述目的，本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供一种飞行时间测距方法，包括：
发送光信号，基于所述光信号的频率确定至少一个第一解调信号；所述光信号经目标反射后被接收；所述第一解调信号的初始相位不大于
Figure 176DEST_PATH_IMAGE001
；
基于所述第一解调信号和接收的所述光信号进行多次互相关处理，获得多次互相关处理对应的多个处理结果；
确定每个处理结果对应的第一相位差，根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果，基于所述目标处理结果确定目标距离。
上述方案中，所述基于所述第一解调信号和接收的所述光信号进行多次互相关处理，获得多次互相关处理对应的多个处理结果，包括：
确定与每个第一解调信号的初始相位分别间隔0、
Figure 300402DEST_PATH_IMAGE001
、
Figure 848058DEST_PATH_IMAGE002
和
Figure 673932DEST_PATH_IMAGE003
的四个解调信号；基于四个解调信号对接收的所述光信号进行互相关处理，获得所述互相关处理对应的处理结果；每个所述处理结果包括四个互相关值，其中，每一解调信号对应一个所述互相关值。
上述方案中，所述四个互相关值包括所述第一解调信号对应的第一互相关值，以及与所述第一解调信号的初始相位分别间隔
Figure 789786DEST_PATH_IMAGE001
、
Figure 209266DEST_PATH_IMAGE002
和
Figure 419668DEST_PATH_IMAGE003
的解调信号分别对应的第二互相关值、第三互相关值和第四互相关值；
所述确定每个处理结果对应的第一相位差，包括：
确定每个处理结果对应的第一差值和第二差值，其中，所述第一差值为所述第一互相关值与所述第三互相关值的差值，所述第二差值为所述第四互相关值与所述第二互相关值的差值；
基于所述第一差值和所述第二差值的反正切值确定每个处理结果对应的第一相位差。
上述方案中，所述根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果，包括：
确定每个处理结果对应的第一相位差与
Figure 240993DEST_PATH_IMAGE004
的距离值，将距离值最大的所述第一相位差对应的处理结果确定为目标处理结果，其中，所述距离值包括每个处理结果对应的所述第一相位差距离
Figure 26284DEST_PATH_IMAGE004
的最小值，k为非负整数。
上述方案中，所述基于所述光信号的频率确定至少一个第一解调信号，包括：
在所述光信号具有不同初始相位时，基于所述光信号的频率确定一个第一解调信号；在所述光信号具有相同初始相位时，基于所述光信号的频率确定多个不同初始相位的第一解调信号。
上述方案中，所述发送光信号，包括：发送单一频率的光信号；
所述基于所述目标处理结果确定目标距离，包括：
根据所述目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差，基于所述第二相位差和所述光信号的频率确定所述目标距离。
上述方案中，所述发送光信号，包括：发送多个不同频率的光信号；
所述基于所述目标处理结果确定目标距离，包括：
根据所述目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差；基于对应于不同频率的多个处理结果确定所述目标处理结果的混叠次数，根据所述混叠次数、所述第二相位差以及所述目标处理结果对应的频率确定所述目标距离。
第二方面，本发明实施例还提供一种飞行时间测距装置，包括：
发送模块，用于发送光信号；所述光信号经目标反射后被接收；
解调信号生成模块，用于基于所述光信号的频率确定至少一个第一解调信号；所述第一解调信号的初始相位不大于
Figure 933060DEST_PATH_IMAGE001
；
互相关处理模块，用于基于所述解调信号生成模块确定的所述第一解调信号和接收的所述光信号进行多次互相关处理，获得多次互相关处理对应的多个处理结果；
以及目标距离计算模块，用于确定所述互相关处理模块获得的每个处理结果对应的第一相位差，根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果，基于所述目标处理结果确定目标距离。
上述方案中，所述解调信号生成模块，用于确定与每个第一解调信号的初始相位分别间隔0、
Figure 681574DEST_PATH_IMAGE001
、
Figure 498351DEST_PATH_IMAGE002
和
Figure 80642DEST_PATH_IMAGE003
的四个解调信号；
所述互相关处理模块，用于基于所述解调信号生成模块生成的所述四个解调信号对接收的所述光信号进行互相关处理，获得所述互相关处理对应的处理结果；每个所述处理结果包括四个互相关值，其中，每一解调信号对应一个所述互相关值。
上述方案中，所述四个互相关值包括所述第一解调信号对应的第一互相关值，以及与所述第一解调信号的初始相位分别间隔
Figure 599348DEST_PATH_IMAGE001
、
Figure 292498DEST_PATH_IMAGE002
和
Figure 196737DEST_PATH_IMAGE003
的解调信号分别对应的第二互相关值、第三互相关值和第四互相关值；所述目标距离计算模块包括：
第一处理子模块，用于确定所述互相关处理模块获得的每个处理结果对应的第一差值和第二差值，其中，所述第一差值为所述第一互相关值与所述第三互相关值的差值，所述第二差值为所述第四互相关值与所述第二互相关值的差值；基于所述第一处理子模块确定的所述第一差值和所述第二差值的反正切值确定每个处理结果对应的第一相位差。
上述方案中，所述目标距离计算模块还包括：
第二处理子模块，用于确定所述互相关处理模块获得的每个处理结果对应的第一相位差与
Figure 949930DEST_PATH_IMAGE004
的距离值，将距离值最大的所述第一相位差对应的处理结果确定为目标处理结果，其中，所述距离值包括每个处理结果对应的所述第一相位差距离
Figure 690353DEST_PATH_IMAGE004
的最小值，k为非负整数。
上述方案中，所述解调信号生成模块，用于在所述光信号具有不同初始相位时，基于所述光信号的频率确定一个第一解调信号；在所述光信号具有相同初始相位时，基于所述光信号的频率确定多个不同初始相位的第一解调信号。
上述方案中，所述发送模块，用于发送单一频率的光信号；所述目标距离计算模块还包括：
第三处理子模块，用于根据所述目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差，基于所述第二相位差和所述光信号的频率确定所述目标距离。
上述方案中，所述发送模块，用于发送多个不同频率的光信号；所述目标距离计算模块还包括：
第四处理子模块，用于根据所述目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差；基于对应于不同频率的多个处理结果确定所述目标处理结果的混叠次数，根据所述混叠次数、所述第二相位差以及所述目标处理结果对应的频率确定所述目标距离。
第三方面，本发明实施例还提供一种飞行时间相机，所述飞行时间相机包括光信号生成组件、发送组件、接收组件和控制器，所述控制器包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述光信号生成组件，用于生成光信号；
所述发送组件连接所述光信号生成组件，用于发送所述光信号生成组件生成的所述光信号；
所述接收组件，用于接收所述发送组件发送的光信号，并将接收到的光信号发送至所述控制器；所述光信号经目标反射后被所述接收组件接收；
所述处理器用于运行所述计算机程序时，执行前述方法的步骤。
第四方面，本发明实施例还提供一种电子设备，所述电子设备包括前述的飞行时间相机。
第五方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现前述方法的步骤。
本发明实施例提供了一种飞行时间测距方法、装置、飞行时间相机及电子设备，通过改变调制信号的配置原则或者改变发送光信号的初始相位，改变了测距过程中易受内部噪声和外部环境光干扰的相位差区间，能够获得多组受噪声影响程度不同的互相关处理结果，并从中选取最佳处理结果进行目标距离解算，提高了系统的抗干扰能力和测量精度。
附图说明
图1为本发明实施例的飞行时间测距方法的流程示意图一；
图2为本发明实施例的飞行时间测距方法的流程示意图二；
图3为本发明实施例的第一处理结果和第二处理结果各自对应的第一差值
Figure 187193DEST_PATH_IMAGE005
与接收光信号与发送光信号之间的相位差
Figure 712984DEST_PATH_IMAGE006
的关系示意图；
图4为本发明实施例的飞行时间测距方法的流程示意图三；
图5为本发明实施例的飞行时间测距方法的流程示意图四；
图6为本发明实施例的第五处理结果和第六处理结果各自对应的第一差值x与测量值的关系示意图；
图7为本发明实施例的飞行时间测距装置的组成结构示意图；
图8为本发明实施例的飞行时间相机的组成结构示意图；
图9为本发明实施例的电子设备的组成结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
本发明实施例提供了一种飞行时间测距方法。图1为本发明实施例的飞行时间测距方法的流程示意图一，如图1所示，所述方法包括：
步骤101、发送光信号，基于所述光信号的频率确定至少一个第一解调信号；所述光信号经目标反射后被接收；所述第一解调信号的初始相位不大于
Figure 371498DEST_PATH_IMAGE001
；
步骤102、基于所述第一解调信号和接收的所述光信号进行多次互相关处理，获得多次互相关处理对应的多个处理结果；
步骤103、确定每个处理结果对应的第一相位差，根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果，基于所述目标处理结果确定目标距离。
本实施例的飞行时间测距方法可应用于iToF传感器或由iToF传感器构成的成像系统中，iToF传感器发射连续的调制光信号，所述调制光信号在光路上传播一个周期的距离，相位将延迟
Figure 864796DEST_PATH_IMAGE007
，基于光速c，只需测量不足一个周期的相位差
Figure 899748DEST_PATH_IMAGE006
，即可根据该调制光信号经目标反射后所形成的相位差确定待测距离D。相关技术中，通常采用四步相移法获得所述相位差
Figure 778580DEST_PATH_IMAGE006
。
本实施例基于一基准光信号
Figure 467051DEST_PATH_IMAGE008
生成发送的光信号，其中，
Figure 323011DEST_PATH_IMAGE009
表示光信号的频率，t表示时间。发送的光信号可以是所述基准光信号，还可以是对所述基准光信号进行相移之后的光信号，即以已知的相位发送光信号，此情况下，基于发送的光信号和经目标反射后被接收的光信号确定目标距离的准确性将会取决于发送光信号的相移的准确性。
步骤101中，基于所述光信号的频率确定至少一个与所述光信号的频率相同的第一解调信号。所述步骤101至少包括以下情况之一：
发送单一频率、不同初始相位的光信号，基于所述光信号的频率确定一个第一解调信号；或者，发送单一频率、相同初始相位的光信号，基于所述光信号的频率确定多个不同初始相位、相同频率的第一解调信号；或者，发送多个不同频率的光信号，基于所述光信号的多个频率确定多个第一解调信号，每一所述光信号的频率至少对应一个第一解调信号；对应于同一频率的多个第一解调信号的初始相位不同，和/或，对应于同一频率的多个光信号的初始相位不同。
可以理解，只有在发送的光信号具有不同的初始相位时，可以确定一个第一解调信号；当发送的光信号具有相同初始相位时，若仅发送单一频率的光信号，则根据所述单一频率确定多个相同频率、不同初始相位的第一解调信号，若发送多个频率的光信号，则可以根据所述多个频率中的每个频率确定至少一个与该频率相同的第一解调信号，此时，相同频率的多个第一解调信号的初始相位不同。基于发送的光信号的初始相位不同，或者，基于第一解调信号的频率不同和/或初始相位不同，本实施例能够基于四步相移法进行多次互相关处理，得到多个不同精度的互相关处理结果。
在一些可选的实施例中，所述基于所述光信号的频率确定至少一个第一解调信号，包括：在所述光信号具有不同初始相位时，基于所述光信号的频率确定一个第一解调信号；在所述光信号具有相同初始相位时，基于所述光信号的频率确定多个不同初始相位的第一解调信号。
步骤102中，基于所述第一解调信号采用四步相移法对接收的光信号进行互相关处理，本实施例中，对于所述光信号的一种初始相位，基于一个第一解调信号以及与该第一解调信号分别间隔
Figure 771441DEST_PATH_IMAGE001
、
Figure 255512DEST_PATH_IMAGE002
和
Figure 521408DEST_PATH_IMAGE003
的三个解调信号对所述光信号进行互相关处理，即获得一次处理结果，基于此，所述光信号的不同初始相位和/或不同的第一解调信号，能够获得多次互相关处理对应的多次处理结果。
示例性的，所述步骤102可以包括：确定与每个第一解调信号的初始相位分别间隔0、
Figure 713267DEST_PATH_IMAGE001
、
Figure 355601DEST_PATH_IMAGE002
和
Figure 959758DEST_PATH_IMAGE003
的四个解调信号；基于四个解调信号对接收的所述光信号进行互相关处理，获得所述互相关处理对应的处理结果；每个所述处理结果包括四个互相关值，其中，每一解调信号对应一个所述互相关值。
作为一种实施方式，发送的所述光信号具有不同的初始相位，所述基于四个解调信号对接收的所述光信号进行互相关处理，获得所述互相关处理对应的处理结果，包括：基于四个解调信号对接收的不同初始相位的所述光信号进行互相关处理，获得不同初始相位的所述光信号各自对应的处理结果。具体地，基于一基准光信号
Figure 396556DEST_PATH_IMAGE010
进行不同的相移
Figure 836895DEST_PATH_IMAGE011
之后生成不同初始相位的发送光信号
Figure 17341DEST_PATH_IMAGE012
，其中，
Figure 476004DEST_PATH_IMAGE013
}分别表示光信号的k个不同初始相位。本实施例基于同一第一解调信号
Figure 83703DEST_PATH_IMAGE014
能够确定四个解调信号
Figure 244295DEST_PATH_IMAGE015
，基于所述四个解调信号对接收的光信号进行互相关处理，获得光信号的不同初始相位各自对应的处理结果，每一处理结果均包括四个互相关值，即每个解调信号对应一个互相关值。
作为另一种实施方式，发送的所述光信号的初始相位相同，所述基于四个解调信号对接收的所述光信号进行互相关处理，获得所述互相关处理对应的处理结果，包括：基于不同第一解调信号对应的四个解调信号对接收的所述光信号进行互相关处理，获得不同第一解调信号各自对应的处理结果。
具体地，以单一频率的发送光信号
Figure 228431DEST_PATH_IMAGE016
为例，基于所述光信号的频率
Figure 541601DEST_PATH_IMAGE017
，给定不同的n个不大于
Figure 195567DEST_PATH_IMAGE018
的初始相位
Figure 735133DEST_PATH_IMAGE019
}，能够确定n个第一解调信号
Figure 382015DEST_PATH_IMAGE020
，进一步对n个第一解调信号分别进行0、
Figure 690637DEST_PATH_IMAGE018
、
Figure 14039DEST_PATH_IMAGE021
和
Figure 775322DEST_PATH_IMAGE022
的相移，分别确定各个第一解调信号对应的四个解调信号。比如，四个解调信号可以为
Figure 225895DEST_PATH_IMAGE023
、
Figure 389023DEST_PATH_IMAGE024
等。
基于n个不同的解调信号可以确定n组不同的四个解调信号，分别基于n组不同的四个解调信号对接收的所述光信号进行互相关处理，获得n组处理结果。对于多个不同频率的光信号，同一频率对应多个不同初始相位的第一解调信号时，每一频率的互相关处理过程均可以参照上述单一频率的情况，这里不再赘述。
需要说明的是，iToF相机可基于发送的光信号通过多个移相器生成多个解调信号，并构成多个所述第一解调信号及其对应的四个解调信号，或者仅通过有限个（比如四个）移相器生成对应于同一第一解调信号的四个解调信号，然后通过不同时间窗口构成多个解调信号，比如在前一帧通过四个移相器生成第一解调信号对应的四个解调信号，在后一帧基于与前一帧不同的初始相位生成另一第一解调信号对应的四个解调信号。所述互相关处理则可以基于iToF相机中的互相关电路、卷积电路、非递归型滤波（FIR）电路等实现，本发明并不对互相关处理过程进行限定，可以理解，凡是能够实现互相关操作得到对应的互相关值的过程均在本发明的保护范围之内。
相关技术中，四步相移法在利用四个解调信号各自对应的互相关值确定接收光信号与发送光信号之间的相位差时，由于三角函数运算的取值范围的限制，在特定的相位差区间内，目标距离的解算精度容易受到内部噪声和外部环境光干扰的影响。故本申请步骤103中，基于多次互相关处理获得的多个处理结果，确定每个处理结果对应的第一相位差，所述第一相位差能够反映所述处理结果对噪声的敏感程度，基于多个处理结果各自对应的第一相位差能够确定一组精度最优的目标处理结果，用于解算目标距离。
本实施例中，确定每次互相关处理结果对应的第一相位差，所述第一相位差与发送光信号的初始相位、第一解调信号的初始相位以及发送光信号与接收光信号之间的相位差相关，本实施例中，当第一解调信号与发送光信号的初始相位一致时，所述第一相位差即为发送光信号与接收光信号之间的相位差
Figure 775005DEST_PATH_IMAGE025
，当第一解调信号与发送光信号的初始相位间隔
Figure 164529DEST_PATH_IMAGE026
时，相应的，所述第一相位差为
Figure 28580DEST_PATH_IMAGE027
。
示例性的，对于发送的光信号
Figure 170848DEST_PATH_IMAGE028
，经目标反射后被接收的光信号可以表示为
Figure 727732DEST_PATH_IMAGE029
，其中，
Figure 837508DEST_PATH_IMAGE030
表示发送光信号的初始相位，接收光信号的幅度a以及接收光信号与发送光信号的相位差
Figure 770829DEST_PATH_IMAGE025
未知。利用解调信号
Figure 767604DEST_PATH_IMAGE016
对接收的光信号进行互相关处理，得到相关函数为：
Figure 495388DEST_PATH_IMAGE031
；
对于初始相位
Figure 593925DEST_PATH_IMAGE032
在
Figure 65358DEST_PATH_IMAGE033
周期内等间隔分布的四个解调信号，例如，初始相位为
Figure 57585DEST_PATH_IMAGE034
的第一解调信号，初始相位分别为
Figure 80904DEST_PATH_IMAGE035
、
Figure 791371DEST_PATH_IMAGE036
和
Figure 192395DEST_PATH_IMAGE037
的第二解调信号、第三解调信号和第四解调信号，上述四个解调信号与接收光信号进行互相关处理，可以得到四个互相关值：
Figure 304708DEST_PATH_IMAGE038
；
Figure 374295DEST_PATH_IMAGE039
；
Figure 696692DEST_PATH_IMAGE040
；
Figure 244348DEST_PATH_IMAGE041
；
其中，K表示接收光信号叠加背景信息造成的偏移量，
Figure 86533DEST_PATH_IMAGE042
表示第一解调信号的初始相位，
Figure 327021DEST_PATH_IMAGE042
不大于
Figure 871135DEST_PATH_IMAGE018
。根据上述互相关处理结果中的四个互相关值
Figure 488061DEST_PATH_IMAGE043
、
Figure 683288DEST_PATH_IMAGE044
、
Figure 360257DEST_PATH_IMAGE045
和
Figure 267033DEST_PATH_IMAGE046
，基于三角函数运算可以确定该处理结果对应的第一相位差
Figure 281126DEST_PATH_IMAGE027
，其中，
Figure 488116DEST_PATH_IMAGE047
表示第一解调信号与发送光信号之间的初始相位的间隔。
采用本发明实施例的技术方案，通过改变解调信号的配置原则或改变发送光信号的初始相位，改变了测距过程中易受内部噪声和外部环境光干扰的相位差区间，能够获得多组受噪声影响程度不同的互相关处理结果，并从中选取最佳互相关处理结果进行目标距离解算，提高了系统的抗干扰能力和测量精度。
基于前述实施例步骤101至步骤103所述，本发明实施例还提供一种飞行时间测距方法。本实施例针对步骤103进行进一步阐述。
具体地，本实施例中，每个处理结果均包括四个互相关值，所述四个互相关值包括所述第一解调信号对应的第一互相关值，与所述第一解调信号的初始相位间隔
Figure 680194DEST_PATH_IMAGE018
的解调信号对应的第二互相关值，与所述第一解调信号的初始相位间隔
Figure 74266DEST_PATH_IMAGE021
的解调信号对应的第三互相关值，以及与所述第一解调信号的初始相位间隔
Figure 32995DEST_PATH_IMAGE022
的解调信号对应的第四互相关值；所述步骤103中，所述确定每个处理结果对应的第一相位差，包括：确定每个处理结果对应的第一差值和第二差值，其中，所述第一差值为所述第一互相关值与所述第三互相关值的差值，所述第二差值为所述第四互相关值与所述第二互相关值的差值；基于所述第一差值和所述第二差值的反正切值确定每个处理结果对应的第一相位差。
对于第i次互相关处理后获得的四个互相关值
Figure 953547DEST_PATH_IMAGE048
、
Figure 706739DEST_PATH_IMAGE049
、
Figure 962009DEST_PATH_IMAGE050
、
Figure 193270DEST_PATH_IMAGE051
，第i个处理结果对应的第一差值为
Figure 968328DEST_PATH_IMAGE052
，第二差值为
Figure 892422DEST_PATH_IMAGE053
，所述第一差值与所述第二差值的反正切值为
Figure 136452DEST_PATH_IMAGE054
，所述反正切值亦可通过
Figure 30459DEST_PATH_IMAGE055
确定。由于反正切函数取值范围
Figure 800969DEST_PATH_IMAGE056
的限制，本实施例将所述反正切值
Figure 895964DEST_PATH_IMAGE054
修正至
Figure 125826DEST_PATH_IMAGE057
内，得到所述第一相位差：
Figure 698889DEST_PATH_IMAGE058
。
多个处理结果能够获得多个第一相位差。但受到反正切函数的取值范围的影响，当
Figure 714119DEST_PATH_IMAGE054
中的
Figure 980015DEST_PATH_IMAGE059
取值在0附近时，由于系统内部噪声和外部环境光干扰带来的扰动，计算得到的接收光信号与发送光信号之间的相位差
Figure 933059DEST_PATH_IMAGE060
会存在较大误差，严重影响测距精度，其中
Figure 575393DEST_PATH_IMAGE061
表示第i次互相关处理对应的第一解调信号与发送光信号的初始相位差。因此，本实施例进行多次互相关处理，每次互相关处理对噪声敏感的相位差区间不同，根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果，基于目标处理结果确定目标距离。
作为一种可选的实施方式，所述根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果，包括：确定每个处理结果对应的第一相位差与
Figure 320495DEST_PATH_IMAGE062
的距离值，将距离值最大的所述第一相位差对应的处理结果确定为目标处理结果，其中，所述距离值包括每个处理结果对应的所述第一相位差距离
Figure 881926DEST_PATH_IMAGE062
的最小值，k为非负整数。也就是说，当反正切函数的解算值距离
Figure 712479DEST_PATH_IMAGE062
越远，计算精度越高，受到噪声和环境光影响的程度越小。
采用本发明实施例的技术方案，在利用解调信号基于四步相移法确定测距结果之前，根据多个互相关处理结果获取能够反映不同处理结果的理论解算精度的第一相位差，利用所述第一相位差选取最佳互相关处理结果进行目标距离解算，提高了系统的抗干扰能力和测量精度。
本发明实施例还提供一种飞行时间测距方法，本实施例针对单频iToF。图2为本发明实施例的飞行时间测距方法的流程示意图二，如图2所示，所述方法包括：
步骤201、发送单一频率的光信号，基于所述光信号的频率确定多个不同初始相位的第一解调信号；所述光信号经目标反射后被接收；所述第一解调信号的初始相位不大于
Figure 741527DEST_PATH_IMAGE063
；
步骤202、确定与每个第一解调信号的初始相位分别间隔0、
Figure 606715DEST_PATH_IMAGE018
、
Figure 339047DEST_PATH_IMAGE021
和
Figure 391317DEST_PATH_IMAGE022
的四个解调信号；分别基于不同第一解调信号对应的四个解调信号对接收的所述光信号进行互相关处理，获得多个第一解调信号各自对应的处理结果；每个所述处理结果包括四个互相关值，其中，每一解调信号对应一个所述互相关值；
步骤203、确定每个处理结果对应的第一相位差，根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果；
步骤204、根据所述目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差，基于所述第二相位差和所述光信号的频率确定所述目标距离。
本实施例步骤203的相关阐述具体可参照前述实施例中步骤103的相关阐述，为节省篇幅，这里不再赘述。
步骤201中，所述光信号为单一频率的光信号，基于所述光信号的频率确定的多个第一解调信号的初始相位不同。示例性的，发送光信号为
Figure 985240DEST_PATH_IMAGE016
，基于光信号的频率
Figure 439356DEST_PATH_IMAGE017
确定初始相位分别为0和
Figure 342589DEST_PATH_IMAGE064
的两个第一解调信号
Figure 882155DEST_PATH_IMAGE016
、
Figure 669983DEST_PATH_IMAGE065
。
步骤202中，基于其中一个第一解调信号
Figure 352506DEST_PATH_IMAGE016
确定的四个解调信号对接收的光信号进行互相关处理，获得第一处理结果
Figure 302007DEST_PATH_IMAGE066
，基于另一个第一解调信号
Figure 453503DEST_PATH_IMAGE065
确定的四个解调信号对接收的光信号进行互相关处理，获得第二处理结果
Figure 779442DEST_PATH_IMAGE067
}，其中，
Figure 817936DEST_PATH_IMAGE068
、
Figure 203918DEST_PATH_IMAGE069
、
Figure 718076DEST_PATH_IMAGE070
和
Figure 706761DEST_PATH_IMAGE071
分别表示由第一解调信号
Figure 989974DEST_PATH_IMAGE016
确定的四个解调信号各自对应的初始相位，
Figure 920759DEST_PATH_IMAGE043
、
Figure 656634DEST_PATH_IMAGE072
分别表示第一处理结果对应的第一互相关值、第二互相关值、第三互相关值和第四互相关值；
Figure 183430DEST_PATH_IMAGE073
、
Figure 586730DEST_PATH_IMAGE074
、
Figure 314514DEST_PATH_IMAGE075
和
Figure 147472DEST_PATH_IMAGE076
分别表示由第一解调信号
Figure 884484DEST_PATH_IMAGE065
确定的四个解调信号各自对应的初始相位，
Figure 1345DEST_PATH_IMAGE077
、
Figure 634451DEST_PATH_IMAGE078
分别表示第二处理结果对应的第一互相关值、第二互相关值、第三互相关值和第四互相关值。
本实施例中，所述第一相位差由反正切值确定，根据其与
Figure 610498DEST_PATH_IMAGE062
的距离值可以确定第一处理结果和第二处理结果各自对应的距离解算精度。以第一处理结果为例，对应的第一差值
Figure 993943DEST_PATH_IMAGE079
，第二差值
Figure 840676DEST_PATH_IMAGE080
，将反正切值
Figure 34897DEST_PATH_IMAGE081
修正至
Figure 232661DEST_PATH_IMAGE057
内即可得到所述第一处理结果对应的第一相位差。
图3为第一处理结果和第二处理结果对应的第一差值
Figure 921262DEST_PATH_IMAGE082
与接收光信号与发送光信号之间的真实相位差
Figure 888081DEST_PATH_IMAGE025
的关系示意图。如图3所示，第一处理结果在接收光信号与发送光信号的真实相位差
Figure 987624DEST_PATH_IMAGE025
位于
Figure 938263DEST_PATH_IMAGE018
或
Figure 289609DEST_PATH_IMAGE022
附近时，易受到干扰，第二处理结果则在接收光信号与发送光信号的真实相位差
Figure 478977DEST_PATH_IMAGE025
位于
Figure 624787DEST_PATH_IMAGE083
或
Figure 656197DEST_PATH_IMAGE084
附近时，易受到干扰。
基于此，通过配置初始相位不同的第一解调信号，本实施例能够有效规避易受到噪声和环境光干扰的相位差区间，并通过所述第一相位差，始终保证输出精度较高的测量结果。
作为一种可选的实施方式，所述多个第一解调信号包括两个初始相位不同的第一解调信号，分别基于两个第一解调信号的初始相位确定对应的四个解调信号，则所述步骤202中，所述分别基于不同第一解调信号对应的四个解调信号对接收的所述光信号进行互相关处理，获得多个第一解调信号各自对应的处理结果，可以包括：基于其中一个第一解调信号确定的四个解调信号对当前帧接收的光信号进行互相关处理，获得第一处理结果；基于另一个第一解调信号确定的四个解调信号对相邻帧接收的光信号进行互相关处理，确定第二处理结果。
相应的，所述步骤203还可以包括：判断第一处理结果对应的第一相位差与
Figure 76814DEST_PATH_IMAGE062
的距离值是否超过第一预设阈值；在所述距离值未超过所述第一预设阈值的情况下，确定第一处理结果为目标处理结果，在所述距离值超过所述第一预设阈值的情况下，确定第二处理结果为目标处理结果；其中，所述距离值为每个处理结果对应的第一相位差距离
Figure 628013DEST_PATH_IMAGE062
的最小值，k为非负整数。
本实施例通过在相邻两帧之间进行基于不同调制信号集合的距离解算，可以保证至少相邻两帧的解算结果同时受到噪声和环境光干扰的概率较低，提高了单频iToF相机的测量精度和抗干扰能力。
对于单频iToF而言，最大测量距离不能超过光信号一个周期对应的距离，步骤204中，根据所述目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差
Figure 210304DEST_PATH_IMAGE025
，基于所述第二相位差
Figure 729010DEST_PATH_IMAGE025
和所述光信号的频率
Figure 687738DEST_PATH_IMAGE017
确定所述目标距离
Figure 483656DEST_PATH_IMAGE085
。可以理解，所述第二相位差
Figure 610750DEST_PATH_IMAGE025
为发送光信号与接收光信号之间的真实相位差。
示例性的，对于发送光信号
Figure 226539DEST_PATH_IMAGE086
，
Figure 848013DEST_PATH_IMAGE030
表示光信号的初始相位，第一解调信号的初始相位为
Figure 498437DEST_PATH_IMAGE087
，基于初始相位分别为
Figure 297897DEST_PATH_IMAGE034
、
Figure 932141DEST_PATH_IMAGE035
、
Figure 91727DEST_PATH_IMAGE036
和
Figure 862237DEST_PATH_IMAGE037
的四个解调信号对接收的所述光信号进行互相关处理，可获得四个互相关值
Figure 957232DEST_PATH_IMAGE088
、
Figure 921514DEST_PATH_IMAGE089
、
Figure 760157DEST_PATH_IMAGE090
和
Figure 775387DEST_PATH_IMAGE091
，则所述第二相位差为：
Figure 41283DEST_PATH_IMAGE092
；
需要注意的是，第二相位差
Figure 994327DEST_PATH_IMAGE093
的取值为
Figure 636661DEST_PATH_IMAGE094
。在获得所述目标处理结果对应的第一相位差的前提下，可以根据所述第一相位差、所述目标处理结果对应的发送光信号的初始相位
Figure 116183DEST_PATH_IMAGE030
以及所述目标处理结果对应的第一解调信号的初始相位
Figure 677615DEST_PATH_IMAGE087
来确定所述第二相位差。
本发明实施例还提供一种飞行时间测距方法，本实施例针对单频iToF。图4为本发明实施例的飞行时间测距方法的流程示意图三，如图4所示，所述方法包括：
步骤301、发送单一频率、具有不同初始相位的光信号，基于所述光信号的频率确定一个第一解调信号；所述光信号经目标反射后被接收；所述第一解调信号的初始相位不大于
Figure 508168DEST_PATH_IMAGE018
；
步骤302、确定与所述第一解调信号的初始相位分别间隔0、
Figure 62515DEST_PATH_IMAGE018
、
Figure 662123DEST_PATH_IMAGE021
和
Figure 394456DEST_PATH_IMAGE022
的四个解调信号；基于所述四个解调信号对接收的不同初始相位的所述光信号进行互相关处理，获得不同初始相位的所述光信号各自对应的处理结果；每个所述处理结果包括四个互相关值，其中，每一解调信号对应一个所述互相关值；
步骤303、确定每个处理结果对应的第一相位差，根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果；
步骤304、根据所述目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差，基于所述第二相位差和所述光信号的频率确定所述目标距离。
本实施例步骤303和步骤304的相关阐述具体可分别参照前述实施例中步骤103和步骤204的相关阐述，为节省篇幅，这里不再赘述。
步骤301中，发送单一频率、具有不同初始相位的光信号，示例性的，可在不同时间窗口分别发送初始相位不同的光信号，比如在前一帧发送频率为
Figure 181146DEST_PATH_IMAGE017
、初始相位为0的光信号
Figure 430862DEST_PATH_IMAGE095
，在后一帧发送频率为
Figure 760343DEST_PATH_IMAGE017
、初始相位为
Figure 538943DEST_PATH_IMAGE083
的光信号
Figure 937564DEST_PATH_IMAGE065
，基于所述光信号的频率
Figure 725391DEST_PATH_IMAGE017
确定一个第一解调信号，可选的，所述第一解调信号为
Figure 413773DEST_PATH_IMAGE095
。
进一步确定四个解调信号为
Figure 363275DEST_PATH_IMAGE015
，分别基于四个解调信号对不同帧的接收光信号进行互相关处理，能够获得光信号
Figure 514771DEST_PATH_IMAGE095
对应的接收光信号的第三处理结果
Figure 575130DEST_PATH_IMAGE096
，和光信号
Figure 269417DEST_PATH_IMAGE065
对应的接收光信号的第四处理结果
Figure 265186DEST_PATH_IMAGE097
。本实施例中，基于第三处理结果得到的第一相位差为
Figure 779344DEST_PATH_IMAGE025
，基于第四处理结果得到的第一相位差为
Figure 768028DEST_PATH_IMAGE098
，根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果，可以理解，所述目标处理结果对应的第一相位差距离
Figure 51242DEST_PATH_IMAGE062
较远，目标距离的解算结果稳定性较高。对于发送两个以上不同初始相位的光信号的情况，可以参照上述过程，这里不再赘述。
本发明实施例还提供一种飞行时间测距方法，本实施例针对多频iToF。图5为本发明实施例的飞行时间测距方法的流程示意图四，如图5所示，所述方法包括：
步骤401、发送多个不同频率的光信号，基于所述光信号的多个不同频率确定多个第一解调信号；所述光信号经目标反射后被接收；所述第一解调信号的初始相位不大于
Figure 716448DEST_PATH_IMAGE018
；
步骤402、确定与每个第一解调信号的初始相位分别间隔0、
Figure 717902DEST_PATH_IMAGE018
、
Figure 385643DEST_PATH_IMAGE099
和
Figure 913577DEST_PATH_IMAGE022
的四个解调信号；分别基于不同第一解调信号对应的四个解调信号对接收的所述光信号进行互相关处理，获得多个第一解调信号各自对应的处理结果；每个所述处理结果包括四个互相关值，其中，每一解调信号对应一个所述互相关值；
步骤403、确定每个处理结果对应的第一相位差，根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果；
步骤404、根据所述目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差；基于对应于不同频率的多个处理结果确定所述目标处理结果的混叠次数，根据所述混叠次数、所述第二相位差以及所述目标处理结果对应的频率确定所述目标距离。
本实施例步骤403的相关阐述具体可参照前述实施例中步骤103的相关阐述，为节省篇幅，这里不再赘述。
步骤401中，发送多个不同频率的光信号；所述光信号的每一频率至少对应一个相同频率的第一解调信号，对应于同一频率的多个第一解调信号的初始相位不同，和/或，对应于同一频率的光信号的初始相位不同。
作为一种实施方式，多个第一解调信号的频率与所述光信号的各个频率一一对应，且所述多个第一解调信号的初始相位相同。示例性的，发送频率为
Figure 375782DEST_PATH_IMAGE100
和
Figure 474319DEST_PATH_IMAGE101
的光信号，所述多个第一解调信号包括频率不同、初始相位相同的两个第一解调信号
Figure 945752DEST_PATH_IMAGE102
、
Figure 62612DEST_PATH_IMAGE103
。步骤402中，基于其中一个第一解调信号
Figure 695719DEST_PATH_IMAGE102
确定的四个解调信号
Figure 780088DEST_PATH_IMAGE102
、
Figure 55211DEST_PATH_IMAGE104
、
Figure 901944DEST_PATH_IMAGE105
和
Figure 96165DEST_PATH_IMAGE106
对接收的光信号进行互相关处理，获得第五处理结果，基于另一个第一解调信号
Figure 293928DEST_PATH_IMAGE107
确定的四个解调信号
Figure 982530DEST_PATH_IMAGE107
、
Figure 683770DEST_PATH_IMAGE108
、
Figure 48892DEST_PATH_IMAGE109
和
Figure 733951DEST_PATH_IMAGE110
对接收的光信号进行互相关处理，获得第六处理结果。
同样地，本实施例中的第一相位差基于反正切值得到，图6为第五处理结果和第六处理结果各自对应的第一差值x与测量距离值的关系示意图。如图6所示，利用不同频率的第一解调信号确定的四个解调信号进行互相关处理出现
Figure 85298DEST_PATH_IMAGE111
时对应的测量距离存在差异，由此通过第五处理结果和第六处理结果能够规避单一频率下的噪声敏感区间，当某一频率下的测量精度下降时，本实施例可以利用其它频率的测量值进行融合得到最终输出的目标距离，从而提高多频iToF相机的测量精度和抗干扰能力。
当所述光信号的每一频率对应多个不同初始相位的第一解调信号，或者，对于每一频率发送多个不同初始相位的光信号时，对于每一频率的光信号的处理过程可参照前述实施例中对于单一频率的光信号的处理过程，这里不再赘述。需要说明的是，所述步骤403中，可以先在对应同一频率的多个处理结果中，确定该频率下距离值最大的第一相位差对应的处理结果，然后比较不同频率的处理结果对应的最大距离值，确定目标处理结果。
步骤404中，首先根据目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差
Figure 280525DEST_PATH_IMAGE112
，然后利用对应于不同频率的多个处理结果确定的第二相位差，确定所述目标处理结果对应的频率的混叠次数。以第五处理结果和第六处理结果为例，根据不同频率测量的目标距离与第二相位差的关系
Figure 957494DEST_PATH_IMAGE113
，采用穷举法等可以确定第五处理结果与第六处理结果的混叠次数
Figure 988904DEST_PATH_IMAGE114
、
Figure 143942DEST_PATH_IMAGE115
，其中，c表示光速，
Figure 695140DEST_PATH_IMAGE116
、
Figure 543010DEST_PATH_IMAGE117
分别表示由第五处理结果和第六处理结果确定的第二相位差。最终根据所述目标处理结果对应频率下的混叠次数、第二相位差以及频率确定目标距离。
本发明实施例还提供一种飞行时间测距装置。图7为本发明实施例的飞行时间测距装置的组成结构示意图，如图7所示，飞行时间测距装置500包括：
发送模块501，用于发送光信号；所述光信号经目标反射后被接收；
解调信号生成模块502，用于基于所述光信号的频率确定至少一个第一解调信号；所述第一解调信号的初始相位不大于
Figure 937082DEST_PATH_IMAGE018
；
互相关处理模块503，用于基于所述解调信号生成模块502确定的所述第一解调信号和接收的所述光信号进行多次互相关处理，获得多次互相关处理对应的多个处理结果；
以及目标距离计算模块504，用于确定所述互相关处理模块503获得的每个处理结果对应的第一相位差，根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果，基于所述目标处理结果确定目标距离。
在本发明的一些可选实施例中，所述解调信号生成模块502，用于确定与每个第一解调信号的初始相位分别间隔0、
Figure 754866DEST_PATH_IMAGE018
、
Figure 816363DEST_PATH_IMAGE021
和
Figure 242376DEST_PATH_IMAGE022
的四个解调信号；
所述互相关处理模块503，用于基于所述解调信号生成模块502生成的所述四个解调信号对接收的所述光信号进行互相关处理，获得所述互相关处理对应的处理结果；每个所述处理结果包括四个互相关值，其中，每一解调信号对应一个所述互相关值。
在本发明的一些可选实施例中，所述四个互相关值包括所述第一解调信号对应的第一互相关值，以及与所述第一解调信号的初始相位分别间隔
Figure 389324DEST_PATH_IMAGE018
、
Figure 10798DEST_PATH_IMAGE021
和
Figure 661222DEST_PATH_IMAGE022
的解调信号分别对应的第二互相关值、第三互相关值和第四互相关值；所述目标距离计算模块504包括：
第一处理子模块，用于确定所述互相关处理模块503获得的每个处理结果对应的第一差值和第二差值，其中，所述第一差值为所述第一互相关值与所述第三互相关值的差值，所述第二差值为所述第四互相关值与所述第二互相关值的差值；基于所述第一处理子模块确定的所述第一差值和所述第二差值的反正切值确定每个处理结果对应的第一相位差。
在本发明的一些可选实施例中，所述目标距离计算模块504还包括：
第二处理子模块，用于确定所述互相关处理模块503获得的每个处理结果对应的第一相位差与
Figure 460682DEST_PATH_IMAGE062
的距离值，将距离值最大的所述第一相位差对应的处理结果确定为目标处理结果，其中，所述距离值包括每个处理结果对应的所述第一相位差距离
Figure 563767DEST_PATH_IMAGE062
的最小值，k为非负整数。
在本发明的一些可选实施例中，所述解调信号生成模块502，用于在所述光信号具有不同初始相位时，基于所述光信号的频率确定一个第一解调信号；在所述光信号具有相同初始相位时，基于所述光信号的频率确定多个不同初始相位的第一解调信号。
在本发明的一些可选实施例中，所述发送模块501，用于发送单一频率的光信号；所述目标距离计算模块504还包括：
第三处理子模块，用于根据所述目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差，基于所述第二相位差和所述光信号的频率确定所述目标距离。
在本发明的一些可选实施例中，所述发送模块501，用于发送多个不同频率的光信号；所述目标距离计算模块504还包括：
第四处理子模块，用于根据所述目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差；基于对应于不同频率的多个处理结果确定所述目标处理结果的混叠次数，根据所述混叠次数、所述第二相位差以及所述目标处理结果对应的频率确定所述目标距离。本发明实施例中，所述飞行时间测距装置500中的发送模块501在实际应用中可由发光二极管（LED）、激光二极管、垂直腔面发射激光器（VCSEL，Vertical-Cavity Surface-Emitting Laser）等实现；所述飞行时间测距装置500中的解调信号生成模块502、互相关处理模块503和目标距离计算模块504（第一处理子模块、第二处理子模块、第三处理子模块和第四处理子模块），在实际应用中均可由所述装置中的中央处理器（CPU，Central Processing Unit）、数字信号处理器（DSP，Digital SignalProcessor）、微控制单元（MCU，Microcontroller Unit）或可编程门阵列（FPGA，Field－Programmable Gate Array）实现。
需要说明的是：上述实施例提供的飞行时间测距装置在进行测距时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的飞行时间测距装置与飞行时间测距方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本发明实施例还提供一种飞行时间相机。图8为本发明实施例的飞行时间相机的组成结构示意图，如图8所示，飞行时间相机600包括：光信号生成组件601、发送组件602、接收组件603和控制器604，所述控制器604包括处理器605和用于存储能够在处理器上运行的计算机程序的存储器606；其中，所述光信号生成组件601，用于生成光信号；
所述发送组件602连接所述光信号生成组件601，用于发送所述光信号生成组件601生成的所述光信号；
所述接收组件603，用于接收所述发送组件602发送的光信号，并将接收到的光信号发送至所述控制器604；所述光信号经目标反射后被所述接收组件603接收；
所述处理器605用于运行所述计算机程序时，执行前述实施例所述飞行时间测距方法的步骤。
可选的，光信号生成组件601可以包括LED光源或激光器（比如VCSEL），发送组件602还可以包括调制电路，用于对所述光信号生成组件601生成的光信号进行连续高频调制。上述本发明实施例揭示的方法可以应用于处理器605中，或者由处理器605实现。处理器605可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器605中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器605可以是通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器605可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器606，处理器605读取存储器606中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，飞行时间相机600可以被一个或多个应用专用集成电路（ASIC，Application Specific Integrated Circuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，Complex Programmable LogicDevice）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）、通用处理器、控制器、微控制器（MCU，Micro Controller Unit）、微处理器（Microprocessor）、或其他电子元件实现，用于执行前述方法。
图9是本发明实施例的电子设备的组成结构示意图，电子设备700可以是移动电话、计算机、数字广播终端、信息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。图9所示的电子设备700包括：前述实施例所述的飞行时间相机600、至少一个处理器701、存储器702、至少一个网络接口703和用户接口704。电子设备700中的各个组件通过总线系统705耦合在一起。可理解，总线系统705用于实现这些组件之间的连接通信。总线系统705除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线系统705。
其中，用户接口704可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。可以理解，存储器702或存储器606可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器（ROM，ReadOnly Memory）、可编程只读存储器（PROM，Programmable Read-Only Memory）、可擦除可编程只读存储器（EPROM，Erasable Programmable Read-Only Memory）、电可擦除可编程只读存储器（EEPROM，Electrically Erasable Programmable Read-Only Memory）、磁性随机存取存储器（FRAM，Ferromagnetic Random Access Memory）、快闪存储器（Flash Memory）、磁表面存储器、光盘、或只读光盘（CD-ROM，Compact Disc Read-Only Memory）；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器（RAM，RandomAccess Memory），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（SRAM，Static Random Access Memory）、同步静态随机存取存储器（SSRAM，Synchronous Static Random Access Memory）、动态随机存取存储器（DRAM，Dynamic Random Access Memory）、同步动态随机存取存储器（SDRAM，SynchronousDynamic Random Access Memory）、双倍数据速率同步动态随机存取存储器（DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory）、增强型同步动态随机存取存储器（ESDRAM，Enhanced Synchronous Dynamic Random Access Memory）、同步连接动态随机存取存储器（SLDRAM，SyncLink Dynamic Random Access Memory）、直接内存总线随机存取存储器（DRRAM，Direct Rambus Random Access Memory）。本发明实施例描述的存储器506旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例中的存储器702用于存储各种类型的数据以支持电子设备700的操作。这些数据的示例包括：用于在电子设备700上操作的任何计算机程序，如操作系统7021和应用程序7022；联系人数据；电话簿数据；消息；图片；视频等。其中，操作系统7021包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序7022可以包含各种应用程序，例如媒体播放器（Media Player）、浏览器（Browser）等，用于实现各种应用业务。实现本发明实施例方法的程序还可以包含在应用程序7022中。
在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器606，上述计算机程序可由飞行时间相机600的处理器605执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、FlashMemory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、 RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种飞行时间测距方法，其特征在于，所述方法包括：
发送光信号，基于所述光信号的频率确定至少一个第一解调信号；所述光信号经目标反射后被接收；所述第一解调信号的初始相位不大于
Figure 372326DEST_PATH_IMAGE001
；
基于所述第一解调信号和接收的所述光信号进行多次互相关处理，获得多次互相关处理对应的多个处理结果；
确定每个处理结果对应的第一相位差，根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果，基于所述目标处理结果确定目标距离。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一解调信号和接收的所述光信号进行多次互相关处理，获得多次互相关处理对应的多个处理结果，包括：
确定与每个第一解调信号的初始相位分别间隔0、
Figure 758308DEST_PATH_IMAGE001
、
Figure 131521DEST_PATH_IMAGE002
和
Figure 605358DEST_PATH_IMAGE003
的四个解调信号；基于四个解调信号对接收的所述光信号进行互相关处理，获得所述互相关处理对应的处理结果；每个所述处理结果包括四个互相关值，其中，每一解调信号对应一个所述互相关值。
3.根据权利要求2所述的方法，其特征在于，所述四个互相关值包括所述第一解调信号对应的第一互相关值，以及与所述第一解调信号的初始相位分别间隔
Figure 154151DEST_PATH_IMAGE001
、
Figure 445455DEST_PATH_IMAGE002
和
Figure 305964DEST_PATH_IMAGE003
的解调信号分别对应的第二互相关值、第三互相关值和第四互相关值；
所述确定每个处理结果对应的第一相位差，包括：
确定每个处理结果对应的第一差值和第二差值，其中，所述第一差值为所述第一互相关值与所述第三互相关值的差值，所述第二差值为所述第四互相关值与所述第二互相关值的差值；
基于所述第一差值和所述第二差值的反正切值确定每个处理结果对应的第一相位差。
4.根据权利要求1所述的方法，其特征在于，所述根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果，包括：
确定每个处理结果对应的第一相位差与
Figure 973706DEST_PATH_IMAGE004
的距离值，将距离值最大的所述第一相位差对应的处理结果确定为目标处理结果，其中，所述距离值包括每个处理结果对应的所述第一相位差距离
Figure 485327DEST_PATH_IMAGE004
的最小值，k为非负整数。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述光信号的频率确定至少一个第一解调信号，包括：
在所述光信号具有不同初始相位时，基于所述光信号的频率确定一个第一解调信号；在所述光信号具有相同初始相位时，基于所述光信号的频率确定多个不同初始相位的第一解调信号。
6.根据权利要求5所述的方法，其特征在于，所述发送光信号，包括：发送单一频率的光信号；
所述基于所述目标处理结果确定目标距离，包括：
根据所述目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差，基于所述第二相位差和所述光信号的频率确定所述目标距离。
7.根据权利要求5所述的方法，其特征在于，所述发送光信号，包括：发送多个不同频率的光信号；
所述基于所述目标处理结果确定目标距离，包括：
根据所述目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差；基于对应于不同频率的多个处理结果确定所述目标处理结果的混叠次数，根据所述混叠次数、所述第二相位差以及所述目标处理结果对应的频率确定所述目标距离。
8.一种飞行时间测距装置，其特征在于，所述装置包括：
发送模块，用于发送光信号；所述光信号经目标反射后被接收；
解调信号生成模块，用于基于所述光信号的频率确定至少一个第一解调信号；所述第一解调信号的初始相位不大于
Figure 947533DEST_PATH_IMAGE001
；
互相关处理模块，用于基于所述解调信号生成模块确定的所述第一解调信号和接收的所述光信号进行多次互相关处理，获得多次互相关处理对应的多个处理结果；
以及目标距离计算模块，用于确定所述互相关处理模块获得的每个处理结果对应的第一相位差，根据多个处理结果各自对应的第一相位差在多个处理结果中确定目标处理结果，基于所述目标处理结果确定目标距离。
9.根据权利要求8所述的装置，其特征在于，所述解调信号生成模块，用于确定与每个第一解调信号的初始相位分别间隔0、
Figure 295337DEST_PATH_IMAGE001
、
Figure 501191DEST_PATH_IMAGE002
和
Figure 368784DEST_PATH_IMAGE003
的四个解调信号；
所述互相关处理模块，用于基于所述解调信号生成模块生成的所述四个解调信号对接收的所述光信号进行互相关处理，获得所述互相关处理对应的处理结果；每个所述处理结果包括四个互相关值，其中，每一解调信号对应一个所述互相关值。
10.根据权利要求9所述的装置，其特征在于，所述四个互相关值包括所述第一解调信号对应的第一互相关值，以及与所述第一解调信号的初始相位分别间隔
Figure 533049DEST_PATH_IMAGE001
、
Figure 368150DEST_PATH_IMAGE002
和
Figure 112115DEST_PATH_IMAGE003
的解调信号分别对应的第二互相关值、第三互相关值和第四互相关值；所述目标距离计算模块包括：
第一处理子模块，用于确定所述互相关处理模块获得的每个处理结果对应的第一差值和第二差值，其中，所述第一差值为所述第一互相关值与所述第三互相关值的差值，所述第二差值为所述第四互相关值与所述第二互相关值的差值；基于所述第一处理子模块确定的所述第一差值和所述第二差值的反正切值确定每个处理结果对应的第一相位差。
11.根据权利要求8所述的装置，其特征在于，所述目标距离计算模块还包括：
第二处理子模块，用于确定所述互相关处理模块获得的每个处理结果对应的第一相位差与
Figure 598329DEST_PATH_IMAGE004
的距离值，将距离值最大的所述第一相位差对应的处理结果确定为目标处理结果，其中，所述距离值包括每个处理结果对应的所述第一相位差距离的最小值，k为非负整数。
12.根据权利要求8至11任一项所述的装置，其特征在于，所述解调信号生成模块，用于在所述光信号具有不同初始相位时，基于所述光信号的频率确定一个第一解调信号；在所述光信号具有相同初始相位时，基于所述光信号的频率确定多个不同初始相位的第一解调信号。
13.根据权利要求12所述的装置，其特征在于，所述发送模块，用于发送单一频率的光信号；所述目标距离计算模块还包括：
第三处理子模块，用于根据所述目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差，基于所述第二相位差和所述光信号的频率确定所述目标距离。
14.根据权利要求12所述的装置，其特征在于，所述发送模块，用于发送多个不同频率的光信号；所述目标距离计算模块还包括：
第四处理子模块，用于根据所述目标处理结果对应的第一相位差，确定接收的所述光信号与发送的所述光信号之间的第二相位差；基于对应于不同频率的多个处理结果确定所述目标处理结果的混叠次数，根据所述混叠次数、所述第二相位差以及所述目标处理结果对应的频率确定所述目标距离。
15.一种飞行时间相机，其特征在于，所述飞行时间相机包括光信号生成组件、发送组件、接收组件和控制器，所述控制器包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述光信号生成组件，用于生成光信号；
所述发送组件连接所述光信号生成组件，用于发送所述光信号生成组件生成的所述光信号；
所述接收组件，用于接收所述发送组件发送的光信号，并将接收到的光信号发送至所述控制器；所述光信号经目标反射后被所述接收组件接收；
所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。
16.一种电子设备，其特征在于，所述电子设备包括权利要求15所述的飞行时间相机。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202111231147.8A 2021-10-22 2021-10-22 一种飞行时间测距方法、装置、飞行时间相机及电子设备 Active CN113671519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111231147.8A CN113671519B (zh) 2021-10-22 2021-10-22 一种飞行时间测距方法、装置、飞行时间相机及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111231147.8A CN113671519B (zh) 2021-10-22 2021-10-22 一种飞行时间测距方法、装置、飞行时间相机及电子设备

Publications (2)

Publication Number Publication Date
CN113671519A true CN113671519A (zh) 2021-11-19
CN113671519B CN113671519B (zh) 2022-01-18

Family

ID=78550803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111231147.8A Active CN113671519B (zh) 2021-10-22 2021-10-22 一种飞行时间测距方法、装置、飞行时间相机及电子设备

Country Status (1)

Country Link
CN (1) CN113671519B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI804406B (zh) * 2022-08-04 2023-06-01 大陸商星宸科技股份有限公司 基於智慧處理器的飛行時間資料處理裝置與其資料處理方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070135984A1 (en) * 1992-05-05 2007-06-14 Automotive Technologies International, Inc. Arrangement and Method for Obtaining Information Using Phase Difference of Modulated Illumination
US20140168369A1 (en) * 2012-12-19 2014-06-19 Randall T. Crane Single frequency time of flight de-aliasing
US20170234985A1 (en) * 2016-02-11 2017-08-17 Massachusetts Institute Of Technology Methods and Apparatus for Time-of-Flight Imaging
JP2017201760A (ja) * 2016-05-06 2017-11-09 株式会社ニコン 撮像装置および測距装置
CN108759666A (zh) * 2018-05-28 2018-11-06 武汉点睛三维科技有限公司 一种基于飞行时间三维相机的尺寸测量方法
CN109991583A (zh) * 2019-03-14 2019-07-09 深圳奥比中光科技有限公司 一种抗干扰的距离测量方法及深度相机
US10382736B1 (en) * 2018-02-09 2019-08-13 Infineon Technologies Ag Two frequency time-of-flight three-dimensional image sensor and method of measuring object depth
CN112099035A (zh) * 2020-09-16 2020-12-18 上海航天控制技术研究所 一种长距离高精度测距系统及测距方法
US20210116549A1 (en) * 2018-04-16 2021-04-22 Ningbo Abax Sensing Co., Ltd. Distance measurement method and apparatus, and distance measurement sensor and distance measurement sensing array
CN112764020A (zh) * 2020-02-28 2021-05-07 加特兰微电子科技(上海)有限公司 解速度模糊、确定对象移动速度的方法、装置及相关设备
US20210239810A1 (en) * 2020-01-30 2021-08-05 Melexis Technologies Nv Optical range calculation apparatus and method of extending a measurable range
CN113238215A (zh) * 2021-07-09 2021-08-10 武汉市聚芯微电子有限责任公司 一种测距方法及ToF测距装置、存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070135984A1 (en) * 1992-05-05 2007-06-14 Automotive Technologies International, Inc. Arrangement and Method for Obtaining Information Using Phase Difference of Modulated Illumination
US20140168369A1 (en) * 2012-12-19 2014-06-19 Randall T. Crane Single frequency time of flight de-aliasing
US20170234985A1 (en) * 2016-02-11 2017-08-17 Massachusetts Institute Of Technology Methods and Apparatus for Time-of-Flight Imaging
JP2017201760A (ja) * 2016-05-06 2017-11-09 株式会社ニコン 撮像装置および測距装置
US10382736B1 (en) * 2018-02-09 2019-08-13 Infineon Technologies Ag Two frequency time-of-flight three-dimensional image sensor and method of measuring object depth
US20210116549A1 (en) * 2018-04-16 2021-04-22 Ningbo Abax Sensing Co., Ltd. Distance measurement method and apparatus, and distance measurement sensor and distance measurement sensing array
CN108759666A (zh) * 2018-05-28 2018-11-06 武汉点睛三维科技有限公司 一种基于飞行时间三维相机的尺寸测量方法
CN109991583A (zh) * 2019-03-14 2019-07-09 深圳奥比中光科技有限公司 一种抗干扰的距离测量方法及深度相机
US20210239810A1 (en) * 2020-01-30 2021-08-05 Melexis Technologies Nv Optical range calculation apparatus and method of extending a measurable range
CN112764020A (zh) * 2020-02-28 2021-05-07 加特兰微电子科技(上海)有限公司 解速度模糊、确定对象移动速度的方法、装置及相关设备
CN112099035A (zh) * 2020-09-16 2020-12-18 上海航天控制技术研究所 一种长距离高精度测距系统及测距方法
CN113238215A (zh) * 2021-07-09 2021-08-10 武汉市聚芯微电子有限责任公司 一种测距方法及ToF测距装置、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卢纯青 等: "基于TOF计算成像的三维信息获取与误差分析", 《红外与激光工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI804406B (zh) * 2022-08-04 2023-06-01 大陸商星宸科技股份有限公司 基於智慧處理器的飛行時間資料處理裝置與其資料處理方法

Also Published As

Publication number Publication date
CN113671519B (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
US10884109B2 (en) Analytical-adaptive multifrequency error minimization unwrapping
US20200249012A1 (en) Projector, camera module, and terminal device
US9558436B2 (en) Coded light pattern having hermitian symmetry
CN113671519B (zh) 一种飞行时间测距方法、装置、飞行时间相机及电子设备
CN109782266B (zh) 定位方法及装置、系统、计算机装置及可读存储介质
US20150292875A1 (en) Systems, methods, and media for performing shape measurement
US11238563B2 (en) Noise processing method and apparatus
CN112037295B (zh) 一种事件型ToF相机编解码方法、装置、介质及设备
CN115797401B (zh) 对齐参数的验证方法、装置、存储介质及电子设备
Ge et al. Acoustic strength-based motion tracking
CN113327317B (zh) 三维点云图获取方法、装置、电子设备和存储介质
CN113917395A (zh) 一种基于反射面扩展的声源定位方法、装置及电子设备
CN112445289A (zh) 可折叠式电子设备和折叠角度检测方法
CN109871122B (zh) 一种智能电子设备的水下操控系统及其操控方法
WO2020114375A1 (zh) 一种用于生成和识别二维码的方法与设备
CN112987022A (zh) 测距方法及装置、计算机可读介质和电子设备
CN113820695A (zh) 测距方法与装置、终端系统及计算机可读存储介质
CN112731417B (zh) 测距装置、电子设备及测量方法
CN111983598B (zh) 一种基于多径信号的轴心轨迹确定方法及装置
US11778161B2 (en) TOF camera device and method of driving the same
US20220329961A1 (en) Methods and apparatus to expand acoustic rendering ranges
CN110377186B (zh) 一种虚拟键盘的生成方法及装置
JPS63117284A (ja) 測距装置
CN112098979A (zh) 一种多台tof相机联合工作防干扰方法、tof相机及电子设备
CN114829878A (zh) 一种基于飞行时间ToF的测距芯片、装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant