CN106683174A - 双目视觉系统的三维重建方法、装置及双目视觉系统 - Google Patents

双目视觉系统的三维重建方法、装置及双目视觉系统 Download PDF

Info

Publication number
CN106683174A
CN106683174A CN201611208332.4A CN201611208332A CN106683174A CN 106683174 A CN106683174 A CN 106683174A CN 201611208332 A CN201611208332 A CN 201611208332A CN 106683174 A CN106683174 A CN 106683174A
Authority
CN
China
Prior art keywords
image
fuzzy core
view
binocular vision
pretreatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611208332.4A
Other languages
English (en)
Other versions
CN106683174B (zh
Inventor
代伟佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tuoheng Unmanned System Research Institute Co.,Ltd.
Original Assignee
Shanghai Feixun Data Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Feixun Data Communication Technology Co Ltd filed Critical Shanghai Feixun Data Communication Technology Co Ltd
Priority to CN201611208332.4A priority Critical patent/CN106683174B/zh
Publication of CN106683174A publication Critical patent/CN106683174A/zh
Application granted granted Critical
Publication of CN106683174B publication Critical patent/CN106683174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及计算机视觉技术领域，公开了一种双目视觉系统的三维重建方法、装置及双目视觉系统。所述双目视觉系统的三维重建方法，包括：获取双目摄像设备像素位置与场景点位置的摄像模型参数；对双目摄像设备采集的图像进行预处理；对预处理后的图像进行去模糊处理；从去模糊处理后的图像中提取图像中物体的特征点；对提取的图像中物体的特征点进行立体匹配处理，以获取图像中物体的空间离散点；以及根据摄像模型参数和空间离散点生成图像中物体的三维模型。本发明针对模糊图像通过图像预处理和去模糊处理快速获取清晰和高质量的图像，提高了特征点提取和空间离散点立体匹配的精确度，提高了双目视觉系统的三维重建的精确度、效果和工作效率。

Description

双目视觉系统的三维重建方法、装置及双目视觉系统
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种双目视觉系统的三维重建方法、装置及双目视觉系统。
背景技术
双目立体视觉是当前计算机视觉领域中的重要研究课题，现有立体视觉系统通过两个摄像机从不同角度同时获取目标物体的两幅数字图像，并基于视差原理和两摄像机内外参数的基础上，恢复出目标物体的三维空间信息。
现有双目视觉系统在特征点提取之前通常只进行降噪、锐化等简单的图像预处理，虽然针对普通静态图像可达到较好的三维重建效果，但针对由抖动导致的模糊图像，提取的特征点和空间立体匹配的离散点的精确度较低，导致现有双目视觉系统三维重建的精确度、效果和工作效率效果不佳。
发明内容
鉴于此，本发明提供一种双目视觉系统的三维重建方法、装置及双目视觉系统，解决现有双目视觉系统针对模糊图像进行三维重建的精确度、效果和工作效率效果不佳的技术问题。
根据本发明的一个实施例，提供一种双目视觉系统的三维重建方法，包括：获取双目摄像设备像素位置与场景点位置的摄像模型参数；对双目摄像设备采集的图像进行预处理；对预处理后的图像进行去模糊处理；从去模糊处理后的图像中提取图像中物体的特征点；对提取的图像中物体的特征点进行立体匹配处理，以获取图像中物体的空间离散点；以及根据获取的摄像模型参数和获取的图像中物体的空间离散点生成图像中物体的三维模型。
优选的，所述对预处理后的图像进行去模糊处理，包括：对预处理后图像的小视场图像进行模糊核估计处理，以获取小视场模糊核；将获取的小视场模糊核替代图像全视场图像的全视场模糊核；以及根据替代后的全视场模糊核对全视场图像进行非盲区卷积处理。
优选的，所述对预处理后图像的小视场图像进行模糊核估计处理，包括：获取预处理后图像的小视场图像的高频信息；通过迭代收缩阈值算法对获取的高频信息进行迭代更新，以获取更新的高频信息值；通过无约束迭代重加权最小二乘法对点扩散函数进行迭代更新，以获取更新的点扩散函数值；以及根据获取的更新的高频信息值和更新的点扩散函数值计算能量函数，以评估获取小视场模糊核。
优选的，所述小视场模糊核评估为：其中f为图像的高频信息值，h为点扩散函数值，*表示二维的卷积操作。
优选的，所述根据替代后的全视场模糊核对全视场图像进行非盲区卷积处理，包括：根据替代后的全视场模糊核通过超拉普拉斯先验的快速去卷积算法对全视场图像进行非盲区卷积处理。
优选的，所述对双目摄像设备采集的图像进行图像预处理，包括：对双目摄像设备采集的图像进行自适应中值滤波处理；对自适应中值滤波处理处理后的图像进行有限对比适应性直方均衡化处理；对有限对比适应性直方均衡化处理后的图像进行直方图匹配处理；以及对直方图匹配处理后的图像进行锐化处理。
根据本发明的另一个实施例，提供一种双目视觉系统的三维重建装置，包括：摄像模型参数获取模块，用于获取双目摄像设备像素位置与场景点位置的摄像模型参数；预处理模块，用于对双目摄像设备采集的图像进行预处理；去模糊模块，用于对所述预处理模块预处理后的图像进行去模糊处理；特征点提取模块，用于从所述去模糊模块去模糊处理后的图像中提取图像中物体的特征点；离散点获取模块，用于对所述特征点提取模块提取的图像中物体的特征点进行立体匹配处理，以获取图像中物体的空间离散点；以及三维模型生成模块，用于根据所述摄像模型参数获取模块获取的摄像模型参数和所述离散点获取模块获取的图像中物体的空间离散点生成图像中物体的三维模型。
优选的，所述去模糊模块，包括：小视场模糊核获取单元，用于对所述预处理模块预处理后图像的小视场图像进行模糊核估计处理，以获取小视场模糊核；模糊核替代单元，用于将所述小视场模糊核获取单元获取的小视场模糊核替代图像全视场图像的全视场模糊核；以及非盲区卷积处理单元，用于根据所述模糊核替代单元替代后的全视场模糊核对全视场图像进行非盲区卷积处理。
优选的，所述小视场模糊核获取单元，包括：高频信息获取子单元，用于获取所述预处理模块预处理后图像的小视场图像的高频信息；高频信息值更新子单元，用于通过迭代收缩阈值算法对所述高频信息获取子单元获取的高频信息进行迭代更新，以获取更新的高频信息值；点扩散函数值更新子单元，用于通过无约束迭代重加权最小二乘法对点扩散函数进行迭代更新，以获取更新的点扩散函数值；以及小视场模糊核评估子单元，用于根据所述高频信息值更新子单元获取的更新的高频信息值和所述点扩散函数值更新子单元更新的点扩散函数值计算能量函数，以评估获取小视场模糊核。
优选的，所述小视场模糊核评估子单元对小视场模糊核评估为：其中f为图像的高频信息值，h为点扩散函数值，*表示二维的卷积操作。
优选的，所述非盲区卷积处理单元用于根据所述模糊核替代单元替代后的全视场模糊核通过超拉普拉斯先验的快速去卷积算法对全视场图像进行非盲区卷积处理。
优选的，所述预处理模块，包括：自适应中值滤波处理单元，用于对双目摄像设备采集的图像进行自适应中值滤波处理；直方均衡化处理单元，用于对所述自适应中值滤波处理单元自适应中值滤波处理处理后的图像进行有限对比适应性直方均衡化处理；直方图匹配处理单元，用于对所述直方均衡化处理单元有限对比适应性直方均衡化处理后的图像进行直方图匹配处理；以及锐化处理单元，用于对所述直方图匹配处理单元直方图匹配处理后的图像进行锐化处理。
根据本发明的又一个实施例，提供一种双目视觉系统，所述双目视觉系统包括上述的双目视觉系统的三维重建装置。
本发明提供的双目视觉系统的三维重建方法、装置及双目视觉系统，获取双目摄像设备像素位置与场景点位置的摄像模型参数，对双目摄像设备采集的图像进行预处理，对预处理后的图像进行去模糊处理，从去模糊处理后的图像中提取图像中物体的特征点，对提取的图像中物体的特征点进行立体匹配处理以获取图像中物体的空间离散点，根据获取的摄像模型参数和获取的图像中物体的空间离散点生成图像中物体的三维模型，针对模糊图像通过图像预处理和去模糊处理快速获取清晰和高质量的图像，提高了特征点提取和空间离散点立体匹配的精确度，进而提高了双目视觉系统的三维重建的精确度、效果和工作效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例中双目视觉系统的三维重建方法的流程示意图。
图2为本发明一个实施例中图像预处理的流程示意图。
图3为本发明一个实施例中去模糊处理的流程示意图。
图4为本发明一个实施例中模糊核估计处理的流程示意图。
图5为本发明另一个实施例中双目视觉系统的三维重建装置的结构示意图。
图6为本发明另一个实施例中预处理模块的结构示意图。
图7为本发明另一个实施例中去模糊模块的结构示意图。
图8为本发明另一个实施例中小视场模糊核获取单元的结构示意图。
图9为本发明又一个实施例中双目视觉系统的结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案作进一步更详细的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以结合具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
图1为本发明一个实施例中双目视觉系统的三维重建方法的流程示意图。如图所示，所述双目视觉系统的三维重建方法，包括：
步骤S101：获取双目摄像设备像素位置与场景点位置的摄像模型参数。
在本实施例中，首选对双目摄像设备进行标定，并计算双目摄像设备的内外参数以及光心坐标，最终获取双目摄像设备像素位置与场景点位置的摄像模型参数，即场景点在双目摄像设备图像像素对应的空间位置的摄像模型参数。
步骤S102：对双目摄像设备采集的图像进行预处理。
在本实施例中，在对双目摄像设备采集的图像进行三维重建之前，还需要预先进行图像预处理。参见图2，所述图像预处理，包括：
步骤S201：对双目摄像设备采集的图像进行自适应中值滤波处理。
步骤S202：对自适应中值滤波处理处理后的图像进行有限对比适应性直方均衡化处理。
步骤S203：对有限对比适应性直方均衡化处理后的图像进行直方图匹配处理。
步骤S204：对直方图匹配处理后的图像进行锐化处理。
在本实施例中，双目摄像设备采集的图像进行自适应中值滤波处理，以降低图像噪音，对自适应中值滤波处理处理后的图像进行有限对比适应性直方均衡化处理以及直方图匹配处理，以提升图像对亮度匹配，最后对直方图匹配处理后的图像进行锐化处理，以突出图像边缘，通过预处理提升了图像的质量和清晰度，以便于后续对图像进行去模糊处理，提高了双目视觉系统的三维重建的精度、效果和工作效率，提升了双目视觉系统的三维重建系统性能和用户体验。
步骤S103：对预处理后的图像进行去模糊处理。
在本实施例中，为进一步提升图像质量和清晰度，对预处理后的图像进行去模糊处理。参见图3，所述去模糊处理，包括：
步骤S301：对预处理后图像的小视场图像进行模糊核估计处理，以获取小视场模糊核。
为了对预处理的图像进行最大程度的复原，首先对预处理后图像的小视场图像进行模糊核估计处理，以获取小视场模糊核。具体的，参见图4，所述模糊核估计处理，包括：
步骤S401：获取预处理后图像的小视场图像的高频信息。
在本实施例中，为了有效地根据图像的特征信息来估计模糊核和原始图像，利用图像梯度域的稀疏性来作为正则约束项。所述稀疏先验算法的能量函数为：
其中：约束条件为：h＞0，∑ihi＝1，f为原始图像的高频信息，h为点扩散函数，*表示二维的卷积操作。
在本实施例中，首先使用离散滤波器和来生成图像的高频信息
所述能量函数公式(1)包含三项，第一项为保真项，表示原始图像和模糊图像之间的差异，用于保证方程的解满足原问题的物理要求；第二项是有关x的先验约束条件l1/l2；第三项是有关h的约束项，利用模糊核h的正则项来减少模糊核中的噪声。关于h的约束条件(和为1、非负)遵循了模糊形成的物理原理，参数λ和β用于平衡保真项和约束项之间的比重。
所述能量函数是一个典型的非凸问题，为了有效地解决这一问题，本实施例中采用交替迭代法来完成，即从最初给定的f与h开始，然后交替更新f与h。为了获得更加精确的模糊核估计值h，采用金字塔迭代方法对图像和模糊核进行分层处理。所述金字塔迭代方法先从最顶层开始，每层得到的结果都将作为下一层进一步迭代的初始值，由粗到精进行求解，以获取估计值h更接近于真实的模糊核。
步骤S402：通过迭代收缩阈值算法对获取的高频信息进行迭代更新，以获取更新的高频信息值。
在本实施例中，通过迭代收缩阈值算法对获取的高频信息进行迭代更新，以获取更新的高频信息值。更新f的问题可表达为：
由于约束项的存在，更新f的问题公式(2)变成了非凸问题。为了求解这个非凸问题，首先使约束项的分母保持不变，则公式(2)就可以转化成求解凸的优化问题。对于凸的优化解法，本实施例采用迭代收缩阈值算法(Iteration ShrinkageThresholding Algorithm,ISTA)求解常用线性逆问题，通过固定分母，公式(2)可以简化为：
其中，H为模糊矩阵。
在更新f时，通过迭代收缩阈值算法进行内部迭代，通过外部循环更新||x||2达到求解公式(2)的目的。具体的，输入：更新的模糊核h，更新的图像f作为图像f0；输入：正则化参数λ＝20，最大外层迭代次数M＝2，内层迭代次数N＝2，ISTA阈值t＝0.001；并执行步骤：
1：for j＝0到M-1 do
2：λ′＝λ||fj||2
3：xj+1＝ISTA(h,λ′,fj,t,N)
4：end for
5：输出：图像fM
尽管公式(2)是非凸问题，但本实施例采用迭代收缩阈值算法通过内部迭代和外部循环求解公式(2)简化的公式(3)，提高了更新的高频信息值f的处理速度和精确度。
步骤S403：通过无约束迭代重加权最小二乘法对点扩散函数进行迭代更新，以获取更新的点扩散函数值。
在更新f后，进一步更新模糊核h的子问题，将前一次更新的图像作为已知量，则可以化简能量函数为：
公式(4)是一个凸优化问题，为了求解这个问题，本实施例采用无约束迭代重加权最小二乘法(Iterative Re-weighted Least Squares,IRLS)通过几次迭代获取最佳解，具有很好的收敛性。
具体的，用能量函数J替换函数J符合条件，当h取前一次更新后的值时当h为请他情况时而且多次迭代之后是收敛的。根据上述的条件，所述能量函数J可表达为：
其中，||h||2 D＝＜h,Dh＞，D为一个对角正定矩阵。
使用公式(5)的最佳解替换公式(4)的最佳解，即：
对公式(6)求导得：
公式(7)符合Ah＝b形式的表达，本实施例采用共轭梯度(Conjugate Gradient,GG)迭代进行计算。为了得到最佳解，可以增加迭代次数，并对得到的解进行约束。所述约束条件为有两个：第一个是将小于零的值赋值为0，第二个是对点扩散函数PSF(point spreadfunction)元素的和归一化为1。具体的，所述点扩散函数的具体计算方法为：
(a)将前一次得到的值作为h的初始值，取这一层更新后的图像，λ3＝0.02，k为迭代次数，最大迭代次数为5。
(b)计算
(c)利用共轭梯度法进行计算得h(k+1),k＝k+1，如果k运行到最大迭代次数，则执行步骤(d)，否则执行步骤(b)。
(d)h＝h(k+1)，对h按照下式进行处理。
在本实施例中，通过无约束迭代重加权最小二乘法对点扩散函数进行迭代更新，以获取更新的点扩散函数值，通过迭代更新获取到接近于真实模糊核的估计值h，提高了模糊核估计的准确度和处理速度，提升了图像还原的质量。
步骤S404：根据获取的更新的高频信息值和更新的点扩散函数值计算能量函数，以评估获取小视场模糊核。
在获取到小视场图像的高频信息、更新的高频信息值、以及更新的点扩散函数值后，根据获取的更新的高频信息值和更新的点扩散函数值计算能量函数公式(1)，以评估获取小视场模糊核。
步骤S302：将获取的小视场模糊核替代图像全视场图像的全视场模糊核。
由于抖动模糊对全视场图像的影响基本一致，所以全视场模糊核和小视场模糊核函数基本相同。小视场捕捉的图像分辨率更高，因此小视场模糊核的估计更为准确。在获取到小视场模糊核后，将获取的小视场模糊核替代图像全视场图像的全视场模糊核，提升了整个图像模糊核估计的准确性和便捷性。
步骤S303：根据替代后的全视场模糊核对全视场图像进行非盲区卷积处理。
在本实施例中，根据替代后的全视场模糊核通过超拉普拉斯先验的快速去卷积算法对全视场图像进行非盲区卷积处理，以实现图像的去模糊处理，提高了图像的清晰度和质量，便于后续基于清晰和高质量的图像进行三维重建，提高了双目视觉系统的三维重建的精确度、效果和工作效率。
步骤S104：从去模糊处理后的图像中提取图像中物体的特征点。
在对预处理后的图像进行去模糊处理后，在双目视觉系统获取的两幅图像中找到匹配的像点坐标，使得这两像点坐标为空间同一物点的投影，进而从去模糊处理后的图像中提取图像中物体的特征点。
步骤S105：对提取的图像中物体的特征点进行立体匹配处理，以获取图像中物体的空间离散点。
在提取到图像中物体的特征点后，对提取的图像中物体的特征点进行立体匹配处理，由两幅图像重建物体的空间坐标，以获取图像中物体的空间离散点。
步骤S106：根据获取的摄像模型参数和获取的图像中物体的空间离散点生成图像中物体的三维模型。
在获取到图像中物体的空间离散点后，根据获取的摄像模型参数对获取的图像中物体的空间离散点进行深度分析，进而根据空间离散点和对应的深度分析信息生成图像中物体的三维模型，最终方便快捷地实现了双目视觉系统的三维重建，提高了双目视觉系统的三维重建的准确度、效果和工作效率。
在本实施例的双目视觉系统的三维重建方法中，获取双目摄像设备像素位置与场景点位置的摄像模型参数，对双目摄像设备采集的图像进行预处理，对预处理后的图像进行去模糊处理，从去模糊处理后的图像中提取图像中物体的特征点，对提取的图像中物体的特征点进行立体匹配处理以获取图像中物体的空间离散点，根据获取的摄像模型参数和获取的图像中物体的空间离散点生成图像中物体的三维模型，针对模糊图像通过图像预处理和去模糊处理快速获取清晰和高质量的图像，提高了特征点提取和空间离散点立体匹配的精确度，进而提高了双目视觉系统的三维重建的精确度、效果和工作效率。
图5为本发明另一个实施例中双目视觉系统的三维重建装置的结构示意图。如图所示，在上述方法实施例的基础上，本实施例提供的双目视觉系统的三维重建装置100，包括摄像模型参数获取模块10、预处理模块20、去模糊模块30、特征点提取模块40、离散点获取模块50和三维模型生成模块60。
在本实施例中，所述摄像模型参数获取模块10对双目摄像设备进行标定，并计算双目摄像设备的内外参数以及光心坐标，最终获取双目摄像设备像素位置与场景点位置的摄像模型参数，即场景点在双目摄像设备图像像素对应的空间位置的摄像模型参数。
在所述三维模型生成模块60对双目摄像设备采集的图像进行三维重建之前，还需要通过所述预处理模块20预先进行图像预处理。参见图6，所述预处理模块20，包括自适应中值滤波处理单元201、直方均衡化处理单元202、直方图匹配处理单元203和锐化处理单元204。
在本实施例中，所述自适应中值滤波处理单元201双目摄像设备采集的图像进行自适应中值滤波处理，以降低图像噪音，所述直方均衡化处理单元202对所述自适应中值滤波处理单元201自适应中值滤波处理处理后的图像进行有限对比适应性直方均衡化处理，直方图匹配处理单元203对所述直方均衡化处理单元202有限对比适应性直方均衡化处理后的图像进行直方图匹配处理，以提升图像对亮度匹配，最后所述锐化处理单元204对所述直方图匹配处理单元203直方图匹配处理后的图像进行锐化处理，以突出图像边缘，所述预处理模块20通过预处理提升了图像的质量和清晰度，以便于后续所述去模糊模块30对图像进行去模糊处理，提高了双目视觉系统的三维重建的精度、效果和工作效率，提升了双目视觉系统的三维重建系统性能和用户体验。
在本实施例中，为进一步提升图像质量和清晰度，所述去模糊模块30对所述预处理模块20预处理后的图像进行去模糊处理。参见图7，所述去模糊模块30，包括小视场模糊核获取单元301、模糊核替代单元302和非盲区卷积处理单元303。
为了对所述预处理模块20预处理后的图像进行最大程度的复原，所述小视场模糊核获取单元301首先对所述预处理模块20预处理后图像的小视场图像进行模糊核估计处理，以获取小视场模糊核。具体的，参见图8，所述小视场模糊核获取单元301，包括高频信息获取子单元3011、高频信息值更新子单元3012、点扩散函数值更新子单元3013和小视场模糊核评估子单元3014。
为了有效地根据图像的特征信息来估计模糊核和原始图像，利用图像梯度域的稀疏性来作为正则约束项。所述稀疏先验算法的能量函数为：
其中：约束条件为：h＞0，∑ihi＝1，f为原始图像的高频信息，h为点扩散函数，*表示二维的卷积操作。
在本实施例中，所述高频信息获取子单元3011使用离散滤波器和来生成图像的高频信息以获取所述预处理模块20预处理后图像的小视场图像的高频信息。
所述能量函数公式(1)包含三项，第一项为保真项，表示原始图像和模糊图像之间的差异，用于保证方程的解满足原问题的物理要求；第二项是有关x的先验约束条件l1/l2；第三项是有关h的约束项，利用模糊核h的正则项来减少模糊核中的噪声。关于h的约束条件(和为1、非负)遵循了模糊形成的物理原理，参数λ和β用于平衡保真项和约束项之间的比重。
所述能量函数是一个典型的非凸问题，为了有效地解决这一问题，本实施例中采用交替迭代法来完成，即从最初给定的f与h开始，然后交替更新f与h。为了获得更加精确的模糊核估计值h，采用金字塔迭代方法对图像和模糊核进行分层处理。所述金字塔迭代方法先从最顶层开始，每层得到的结果都将作为下一层进一步迭代的初始值，由粗到精进行求解，以获取估计值h更接近于真实的模糊核。
所述高频信息值更新子单元3012通过迭代收缩阈值算法对所述高频信息获取子单元3011获取的高频信息进行迭代更新，以获取更新的高频信息值。具体的，通过迭代收缩阈值算法对获取的高频信息进行迭代更新，以获取更新的高频信息值。更新f的问题可表达为：
由于约束项的存在，更新f的问题公式(2)变成了非凸问题。为了求解这个非凸问题，首先使约束项的分母保持不变，则公式(2)就可以转化成求解凸的优化问题。对于凸的优化解法，本实施例采用迭代收缩阈值算法(Iteration ShrinkageThresholding Algorithm,ISTA)求解常用线性逆问题，通过固定分母，公式(2)可以简化为：
其中，H为模糊矩阵。
在所述高频信息值更新子单元3012更新f时，通过迭代收缩阈值算法进行内部迭代，通过外部循环更新||x||2达到求解公式(2)的目的。具体的，所述高频信息值更新子单元3012输入：更新的模糊核h，更新的图像f作为图像f0；输入：正则化参数λ＝20，最大外层迭代次数M＝2，内层迭代次数N＝2，ISTA阈值t＝0.001；并执行步骤：
1：for j＝0到M-1 do
2：λ′＝λ||fj||2
3：xj+1＝ISTA(h,λ′,fj,t,N)
4：end for
5：输出：图像fM
尽管公式(2)是非凸问题，但本实施例的所述高频信息值更新子单元3012采用迭代收缩阈值算法通过内部迭代和外部循环求解公式(2)简化的公式(3)，提高了更新的高频信息值f的处理速度和精确度。
所述点扩散函数值更新子单元3013通过无约束迭代重加权最小二乘法对点扩散函数进行迭代更新，以获取更新的点扩散函数值。在所述高频信息值更新子单元3012更新f后，所述点扩散函数值更新子单元3013进一步更新模糊核h的子问题，将前一次更新的图像作为已知量，则可以化简能量函数为：
公式(4)是一个凸优化问题，为了求解这个问题，本实施例的所述点扩散函数值更新子单元3013采用无约束迭代重加权最小二乘法(Iterative Re-weighted LeastSquares,IRLS)通过几次迭代获取最佳解，具有很好的收敛性。
具体的，用能量函数J替换函数J符合条件，当h取前一次更新后的值时当h为请他情况时而且多次迭代之后是收敛的。根据上述的条件，所述能量函数J可表达为：
其中，||h||2 D＝＜h,Dh＞，D为一个对角正定矩阵。
使用公式(5)的最佳解替换公式(4)的最佳解，即：
对公式(6)求导得：
公式(7)符合Ah＝b形式的表达，本实施例采用共轭梯度(Conjugate Gradient,GG)迭代进行计算。为了得到最佳解，可以增加迭代次数，并对得到的解进行约束。所述约束条件为有两个：第一个是将小于零的值赋值为0，第二个是对点扩散函数PSF(point spreadfunction)元素的和归一化为1。具体的，所述点扩散函数的具体计算方法为：
(a)将前一次得到的值作为h的初始值，取这一层更新后的图像，λ3＝0.02，k为迭代次数，最大迭代次数为5。
(b)计算
(c)利用共轭梯度法进行计算得h(k+1),k＝k+1，如果k运行到最大迭代次数，则执行步骤(d)，否则执行步骤(b)。
(d)h＝h(k+1)，对h按照下式进行处理。
在本实施例中，所述点扩散函数值更新子单元3013通过无约束迭代重加权最小二乘法对点扩散函数进行迭代更新，以获取更新的点扩散函数值，通过迭代更新获取到接近于真实模糊核的估计值h，提高了模糊核估计的准确度和处理速度，提升了图像还原的质量。
在高频信息获取子单元3011获取到小视场图像的高频信息、所述高频信息值更新子单元3012获取到更新的高频信息值、以及所述点扩散函数值更新子单元3013获取到更新的点扩散函数值后，所述小视场模糊核评估子单元3014根据所述高频信息值更新子单元3012获取的更新的高频信息值和所述点扩散函数值更新子单元3013获取的更新的点扩散函数值计算能量函数公式(1)，以评估获取小视场模糊核。
所述模糊核替代单元302将所述小视场模糊核获取单元301获取的小视场模糊核替代图像全视场图像的全视场模糊核。由于抖动模糊对全视场图像的影响基本一致，所以全视场模糊核和小视场模糊核函数基本相同。小视场捕捉的图像分辨率更高，因此小视场模糊核的估计更为准确。在所述小视场模糊核获取单元301获取到小视场模糊核后，所述模糊核替代单元302将获取的小视场模糊核替代图像全视场图像的全视场模糊核，提升了整个图像模糊核估计的准确性和便捷性。
在本实施例中，所述非盲区卷积处理单元303根据所述模糊核替代单元302替代后的全视场模糊核通过超拉普拉斯先验的快速去卷积算法对全视场图像进行非盲区卷积处理，以实现图像的去模糊处理，提高了图像的清晰度和质量，便于后续所述三维模型生成模块30基于清晰和高质量的图像进行三维重建，提高了双目视觉系统的三维重建的精确度、效果和工作效率。
在所述去模糊模块30对所述预处理模块20预处理后的图像进行去模糊处理后，所述特征点提取模块40在双目视觉系统获取的两幅图像中找到匹配的像点坐标，使得这两像点坐标为空间同一物点的投影，进而从所述去模糊模块30去模糊处理后的图像中提取图像中物体的特征点。
在所述特征点提取模块40提取到图像中物体的特征点后，所述离散点获取模块50对所述特征点提取模块40提取的图像中物体的特征点进行立体匹配处理，由两幅图像重建物体的空间坐标，以获取图像中物体的空间离散点。
在所述离散点获取模块50获取到图像中物体的空间离散点后，所述三维模型生成模块60根据所述摄像模型参数获取模块10获取的摄像模型参数对所述离散点获取模块50获取的图像中物体的空间离散点进行深度分析，进而根据空间离散点和对应的深度分析信息生成图像中物体的三维模型，最终方便快捷地实现了双目视觉系统的三维重建，提高了双目视觉系统的三维重建的准确度、效果和工作效率。
在本实施例的双目视觉系统的三维重建装置100中，所述摄像模型参数获取模块10获取双目摄像设备像素位置与场景点位置的摄像模型参数，所述预处理模块20对双目摄像设备采集的图像进行预处理，所述去模糊模块30对所述预处理模块20预处理后的图像进行去模糊处理，所述特征点提取模块40从所述去模糊模块30去模糊处理后的图像中提取图像中物体的特征点，所述离散点获取模块50对所述特征点提取模块40提取的图像中物体的特征点进行立体匹配处理以获取图像中物体的空间离散点，所述三维模型生成模块60根据所述摄像模型参数获取模块10获取的摄像模型参数和所述离散点获取模块50获取的图像中物体的空间离散点生成图像中物体的三维模型，针对模糊图像通过图像预处理和去模糊处理快速获取清晰和高质量的图像，提高了特征点提取和空间离散点立体匹配的精确度，进而提高了双目视觉系统的三维重建的精确度、效果和工作效率。
图9为本发明又一个实施例中双目视觉系统的结构示意图。如图所示，在上述实施例的基础上，所述双目视觉系统200包括上述实施例中所述的双目视觉系统的三维重建装置100，针对模糊图像通过图像预处理和去模糊处理快速获取清晰和高质量的图像，提高了特征点提取和空间离散点立体匹配的精确度，进而提高了双目视觉系统200的三维重建的精确度、效果和工作效率，提升了双目视觉系统200的精确度、系统性能和工作效率。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (13)

1.一种双目视觉系统的三维重建方法，其特征在于，包括：
获取双目摄像设备像素位置与场景点位置的摄像模型参数；
对双目摄像设备采集的图像进行预处理；
对预处理后的图像进行去模糊处理；
从去模糊处理后的图像中提取图像中物体的特征点；
对提取的图像中物体的特征点进行立体匹配处理，以获取图像中物体的空间离散点；以及
根据获取的摄像模型参数和获取的图像中物体的空间离散点生成图像中物体的三维模型。
2.根据权利要求1所述的双目视觉系统的三维重建方法，其特征在于，所述对预处理后的图像进行去模糊处理，包括：
对预处理后图像的小视场图像进行模糊核估计处理，以获取小视场模糊核；
将获取的小视场模糊核替代图像全视场图像的全视场模糊核；以及
根据替代后的全视场模糊核对全视场图像进行非盲区卷积处理。
3.根据权利要求2所述的双目视觉系统的三维重建方法，其特征在于，所述对预处理后图像的小视场图像进行模糊核估计处理，包括：
获取预处理后图像的小视场图像的高频信息；
通过迭代收缩阈值算法对获取的高频信息进行迭代更新，以获取更新的高频信息值；
通过无约束迭代重加权最小二乘法对点扩散函数进行迭代更新，以获取更新的点扩散函数值；以及
根据获取的更新的高频信息值和更新的点扩散函数值计算能量函数，以评估获取小视场模糊核。
4.根据权利要求3所述的双目视觉系统的三维重建方法，其特征在于，所述小视场模糊核评估为：其中f为图像的高频信息值，h为点扩散函数值，*表示二维的卷积操作。
5.根据权利要求2所述的双目视觉系统的三维重建方法，其特征在于，所述根据替代后的全视场模糊核对全视场图像进行非盲区卷积处理，包括：
根据替代后的全视场模糊核通过超拉普拉斯先验的快速去卷积算法对全视场图像进行非盲区卷积处理。
6.根据权利要求1所述的双目视觉系统的三维重建方法，其特征在于，所述对双目摄像设备采集的图像进行图像预处理，包括：
对双目摄像设备采集的图像进行自适应中值滤波处理；
对自适应中值滤波处理处理后的图像进行有限对比适应性直方均衡化处理；
对有限对比适应性直方均衡化处理后的图像进行直方图匹配处理；以及
对直方图匹配处理后的图像进行锐化处理。
7.一种双目视觉系统的三维重建装置，其特征在于，包括：
摄像模型参数获取模块，用于获取双目摄像设备像素位置与场景点位置的摄像模型参数；
预处理模块，用于对双目摄像设备采集的图像进行预处理；
去模糊模块，用于对所述预处理模块预处理后的图像进行去模糊处理；
特征点提取模块，用于从所述去模糊模块去模糊处理后的图像中提取图像中物体的特征点；
离散点获取模块，用于对所述特征点提取模块提取的图像中物体的特征点进行立体匹配处理，以获取图像中物体的空间离散点；以及
三维模型生成模块，用于根据所述摄像模型参数获取模块获取的摄像模型参数和所述离散点获取模块获取的图像中物体的空间离散点生成图像中物体的三维模型。
8.根据权利要求7所述的双目视觉系统的三维重建装置，其特征在于，所述去模糊模块，包括：
小视场模糊核获取单元，用于对所述预处理模块预处理后图像的小视场图像进行模糊核估计处理，以获取小视场模糊核；
模糊核替代单元，用于将所述小视场模糊核获取单元获取的小视场模糊核替代图像全视场图像的全视场模糊核；以及
非盲区卷积处理单元，用于根据所述模糊核替代单元替代后的全视场模糊核对全视场图像进行非盲区卷积处理。
9.根据权利要求8所述的双目视觉系统的三维重建装置，其特征在于，所述小视场模糊核获取单元，包括：
高频信息获取子单元，用于获取所述预处理模块预处理后图像的小视场图像的高频信息；
高频信息值更新子单元，用于通过迭代收缩阈值算法对所述高频信息获取子单元获取的高频信息进行迭代更新，以获取更新的高频信息值；
点扩散函数值更新子单元，用于通过无约束迭代重加权最小二乘法对点扩散函数进行迭代更新，以获取更新的点扩散函数值；以及
小视场模糊核评估子单元，用于根据所述高频信息值更新子单元获取的更新的高频信息值和所述点扩散函数值更新子单元更新的点扩散函数值计算能量函数，以评估获取小视场模糊核。
10.根据权利要求9所述的双目视觉系统的三维重建装置，其特征在于，所述小视场模糊核评估子单元对小视场模糊核评估为：其中f为图像的高频信息值，h为点扩散函数值，*表示二维的卷积操作。
11.根据权利要求8所述的双目视觉系统的三维重建装置，其特征在于，所述非盲区卷积处理单元用于根据所述模糊核替代单元替代后的全视场模糊核通过超拉普拉斯先验的快速去卷积算法对全视场图像进行非盲区卷积处理。
12.根据权利要求7所述的双目视觉系统的三维重建装置，其特征在于，所述预处理模块，包括：
自适应中值滤波处理单元，用于对双目摄像设备采集的图像进行自适应中值滤波处理；
直方均衡化处理单元，用于对所述自适应中值滤波处理单元自适应中值滤波处理处理后的图像进行有限对比适应性直方均衡化处理；
直方图匹配处理单元，用于对所述直方均衡化处理单元有限对比适应性直方均衡化处理后的图像进行直方图匹配处理；以及
锐化处理单元，用于对所述直方图匹配处理单元直方图匹配处理后的图像进行锐化处理。
13.一种双目视觉系统，其特征在于，所述双目视觉系统包括如权利要求7至12任一项所述的双目视觉系统的三维重建装置。
CN201611208332.4A 2016-12-23 2016-12-23 双目视觉系统的三维重建方法、装置及双目视觉系统 Active CN106683174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611208332.4A CN106683174B (zh) 2016-12-23 2016-12-23 双目视觉系统的三维重建方法、装置及双目视觉系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611208332.4A CN106683174B (zh) 2016-12-23 2016-12-23 双目视觉系统的三维重建方法、装置及双目视觉系统

Publications (2)

Publication Number Publication Date
CN106683174A true CN106683174A (zh) 2017-05-17
CN106683174B CN106683174B (zh) 2020-10-27

Family

ID=58871417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611208332.4A Active CN106683174B (zh) 2016-12-23 2016-12-23 双目视觉系统的三维重建方法、装置及双目视觉系统

Country Status (1)

Country Link
CN (1) CN106683174B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106969706A (zh) * 2017-04-02 2017-07-21 聊城大学 基于双目立体视觉的工件检测与三维测量系统及检测方法
CN110053743A (zh) * 2019-04-27 2019-07-26 扆亮海 一种用于水下精准测量的遥控机器人
CN110223377A (zh) * 2019-05-28 2019-09-10 上海工程技术大学 一种基于立体视觉系统高精度的三维重建方法
CN111179333A (zh) * 2019-12-09 2020-05-19 天津大学 一种基于双目立体视觉的散焦模糊核估计方法
CN111307198A (zh) * 2019-11-01 2020-06-19 宁波纳智微光电科技有限公司 一种动态测量系统及其测量方法
CN113393396A (zh) * 2021-06-18 2021-09-14 江苏园上园智能科技有限公司 图像去模糊模型、去模糊的三维重建方法及系统
CN117078565A (zh) * 2023-10-17 2023-11-17 深圳市精研科洁科技股份有限公司 一种摄像头抖动模糊图像优化增强方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN102073993A (zh) * 2010-12-29 2011-05-25 清华大学 一种基于摄像机自标定的抖动视频去模糊方法和装置
US20120093399A1 (en) * 2010-10-15 2012-04-19 Chung-Ang University Industry-Academy Cooperation Foundation Apparatus and method for enhancing image quality of image captured by using multiple color-filter aperture
CN102576454A (zh) * 2009-10-16 2012-07-11 伊斯曼柯达公司 利用空间图像先验的图像去模糊法
CN102609984A (zh) * 2012-02-02 2012-07-25 西南交通大学 基于正交双目降维空间的驾驶员眼部3d重构与跟踪方法
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测系统及检测方法
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法
CN105516579A (zh) * 2014-09-25 2016-04-20 联想(北京)有限公司 一种图像处理方法、装置和电子设备
CN105894499A (zh) * 2016-03-25 2016-08-24 华南理工大学 一种基于双目视觉的空间物体三维信息快速检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102576454A (zh) * 2009-10-16 2012-07-11 伊斯曼柯达公司 利用空间图像先验的图像去模糊法
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
US20120093399A1 (en) * 2010-10-15 2012-04-19 Chung-Ang University Industry-Academy Cooperation Foundation Apparatus and method for enhancing image quality of image captured by using multiple color-filter aperture
CN102073993A (zh) * 2010-12-29 2011-05-25 清华大学 一种基于摄像机自标定的抖动视频去模糊方法和装置
CN102609984A (zh) * 2012-02-02 2012-07-25 西南交通大学 基于正交双目降维空间的驾驶员眼部3d重构与跟踪方法
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测系统及检测方法
CN105516579A (zh) * 2014-09-25 2016-04-20 联想(北京)有限公司 一种图像处理方法、装置和电子设备
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法
CN105894499A (zh) * 2016-03-25 2016-08-24 华南理工大学 一种基于双目视觉的空间物体三维信息快速检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王力超 等: ""基于双摄像头的计算机立体视觉开发平台"", 《实验室研究与探索》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106969706A (zh) * 2017-04-02 2017-07-21 聊城大学 基于双目立体视觉的工件检测与三维测量系统及检测方法
CN110053743A (zh) * 2019-04-27 2019-07-26 扆亮海 一种用于水下精准测量的遥控机器人
CN110223377A (zh) * 2019-05-28 2019-09-10 上海工程技术大学 一种基于立体视觉系统高精度的三维重建方法
CN111307198A (zh) * 2019-11-01 2020-06-19 宁波纳智微光电科技有限公司 一种动态测量系统及其测量方法
CN111179333A (zh) * 2019-12-09 2020-05-19 天津大学 一种基于双目立体视觉的散焦模糊核估计方法
CN111179333B (zh) * 2019-12-09 2024-04-26 天津大学 一种基于双目立体视觉的散焦模糊核估计方法
CN113393396A (zh) * 2021-06-18 2021-09-14 江苏园上园智能科技有限公司 图像去模糊模型、去模糊的三维重建方法及系统
CN117078565A (zh) * 2023-10-17 2023-11-17 深圳市精研科洁科技股份有限公司 一种摄像头抖动模糊图像优化增强方法及系统
CN117078565B (zh) * 2023-10-17 2024-02-02 深圳市精研科洁科技股份有限公司 一种摄像头抖动模糊图像优化增强方法及系统

Also Published As

Publication number Publication date
CN106683174B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN106683174A (zh) 双目视觉系统的三维重建方法、装置及双目视觉系统
Chen et al. Blind image deblurring with local maximum gradient prior
Wu et al. Light field reconstruction using deep convolutional network on EPI
Cho et al. Image restoration by matching gradient distributions
Lu et al. Depth enhancement via low-rank matrix completion
EP2087466B1 (en) Generation of depth map for an image
EP3598385B1 (en) Face deblurring method and device
JP2013206468A (ja) ステレオマッチングのための方法及びステレオマッチングのためのシステム
WO2010067191A1 (en) Devices and methods for processing images using scale space
EP2622575A1 (en) Method and system for real-time images foreground segmentation
US20190206117A1 (en) Image processing method, intelligent terminal, and storage device
CN111402170A (zh) 图像增强方法、装置、终端及计算机可读存储介质
Purohit et al. Depth-guided dense dynamic filtering network for bokeh effect rendering
KR101341871B1 (ko) 비디오 디블러링 방법 및 그 장치
CN106709862B (zh) 一种图像处理方法及装置
Wang et al. First image then video: a two-stage network for spatiotemporal video denoising
CN111353982B (zh) 一种深度相机图像序列筛选方法及装置
CN111105370B (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN116012517B (zh) 一种正则化的图像渲染方法及装置
Son et al. Image-pair-based deblurring with spatially varying norms and noisy image updating
Li et al. SJ-HD^ 2R: Selective Joint High Dynamic Range and Denoising Imaging for Dynamic Scenes
Hu et al. Cnn-based deghosting in high dynamic range imaging
CN114078096A (zh) 图像去模糊方法、装置和设备
CN110121016B (zh) 一种基于双重曝光先验的视频去模糊方法及装置
CN107194931A (zh) 一种基于双目图像匹配获取目标深度信息的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200408

Address after: No. 2-3167, zone a, Nonggang City, No. 2388, Donghuan Avenue, Hongjia street, Jiaojiang District, Taizhou City, Zhejiang Province

Applicant after: Taizhou Jiji Intellectual Property Operation Co., Ltd

Address before: 201616 Shanghai city Songjiang District Sixian Road No. 3666

Applicant before: Phicomm (Shanghai) Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200713

Address after: 201616 Shanghai city Songjiang District Sixian Road No. 3666

Applicant after: Phicomm (Shanghai) Co.,Ltd.

Address before: No. 2-3167, zone a, Nonggang City, No. 2388, Donghuan Avenue, Hongjia street, Jiaojiang District, Taizhou City, Zhejiang Province

Applicant before: Taizhou Jiji Intellectual Property Operation Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200928

Address after: 210000 Jiangsu Software Park, No.1 Dongji Avenue, Jiangning Economic and Technological Development Zone, Nanjing, Jiangsu Province (Jiangning Development Zone)

Applicant after: Nanjing Tuoheng Unmanned System Research Institute Co.,Ltd.

Address before: 201616 Shanghai city Songjiang District Sixian Road No. 3666

Applicant before: Phicomm (Shanghai) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant