CN113658241A - 单目结构光的深度恢复方法、电子设备及存储介质 - Google Patents

单目结构光的深度恢复方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113658241A
CN113658241A CN202110938158.3A CN202110938158A CN113658241A CN 113658241 A CN113658241 A CN 113658241A CN 202110938158 A CN202110938158 A CN 202110938158A CN 113658241 A CN113658241 A CN 113658241A
Authority
CN
China
Prior art keywords
image
layer
parallax
pyramid
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110938158.3A
Other languages
English (en)
Other versions
CN113658241B (zh
Inventor
化雪诚
户磊
王海彬
刘祺昌
李东洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202110938158.3A priority Critical patent/CN113658241B/zh
Publication of CN113658241A publication Critical patent/CN113658241A/zh
Application granted granted Critical
Publication of CN113658241B publication Critical patent/CN113658241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例涉及图像处理领域，公开了一种单目结构光的深度恢复方法、电子设备及存储介质。本申请包括获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像；根据单目结构光图像生成包括N层金字塔图像的图像金字塔，N为大于1的整数；对图像金字塔进行如下处理：根据i层的视差图像和第i‑1层的金字塔图像，获取第i‑1层的视差图像，直至将第一层的视差图像作为目标物体的目标视差图像，其中，i的初始值为N，第N层的视差图像是根据第N层金字塔图像获取；根据目标视差图像，确定目标物体的深度信息。采用本申请实施例，可以减少单目结构光测量深度信息的计算量，提高计算速度，降低对部署设备的要求。

Description

单目结构光的深度恢复方法、电子设备及存储介质
技术领域
本发明实施例涉及图像处理领域，特别涉及一种单目结构光的深度恢复方法、电子设备及存储介质。
背景技术
3D相机因具有测量深度信息、能够测量目标物体的平面影像而被广泛应用于测量、检测等工作中，即3D相机可以获取目标物体的三维位置及尺寸等信息。3D相机通常包括深度传感器和多个摄像头，3D相机可以实现三维信息采集，且三维数据可以转成点云。3D相机实时获取环境物体深度信息，三维尺寸以及空间信息，为动作捕捉、三维建模、室内导航与定位等场景提供了技术支持，具有广泛的消费级、工业级应用需求，例如，动作捕捉识别、人脸识别、自动驾驶领域的三维建模、巡航和避障、工业领域的零件扫描检测分拣，安防领域的监控、人数统计等。目前3D相机中深度信息成像技术主要包括：飞行时间法(Time offlight，TOF)、双目立体视觉和结构光。
单目结构光技术是向目标物体投射随机不规则散斑，通过预设的算法进行散斑特征匹配进而获取目标物体的深度信息的技术。然而，在进行散斑特征匹配过程的计算量大，计算速度慢，导致获取深度信息的速度慢。
发明内容
本发明实施方式的目的在于提供一种单目结构光的深度恢复方法、电子设备及存储介质，可以减少单目结构光测量深度信息的计算量，提高计算速度，降低对部署设备的要求。
为解决上述技术问题，本发明的实施方式提供了一种单目结构光的深度恢复方法，包括：获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像；根据单目结构光图像生成包括N层金字塔图像的图像金字塔，N为大于1的整数；对图像金字塔进行如下处理：根据i层的视差图像和第i-1层的金字塔图像，获取第i-1层的视差图像，直至将第一层的视差图像作为目标物体的目标视差图像，其中，i的初始值为N，第N层的视差图像是根据第N层金字塔图像获取；根据目标视差图像，确定目标物体的深度信息。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的单目结构光的深度恢复方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的单目结构光的深度恢复方法。
本申请实施例中，获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像；根据单目结构光图像生成包括N层金字塔图像的图像金子塔，通过对该单目结构光图像进行下采样，生成的N组金字塔图像组成图像金子塔，且该图像金字塔中图像的分辨率具有逐层递减的特性，即第N层金字塔图像的分辨率最小，第1层金字塔图像的分辨率最大，分辨率低的金字塔图像的视差图像计算量小，计算速度快；根据上层的视差图像和当前层的金字塔图像，可以获取当前层的视差图像，由于上一层的金字塔图像的分辨率低，计算上一层的视差图像的计算量减小，本实施例中将上一层的视差图像作为获取当前层视差图像的输入数据，辅助获取本层的视差图像，可以减少对当前层视差图像的计算量，提高计算速度；从而可以减少单目结构光测量深度信息恢复的计算量，提高计算速度，降低对部署设备的要求。
另外，根据i层的视差图像和第i-1层的金字塔图像，获取第i-1层的视差图像，直至将第一层的视差图像作为所述目标物体的目标视差图像，包括：将第i层的视差图像上采样到第i-1层的分辨率，获得第i-1层的先验视差图像；根据所述第i-1层的先验视差图像确定第i-1层的视差搜索范围；根据所述第i-1层的视差搜索范围和所述第i-1层的金字塔图像，确定第i-1层的视差图像；将i更新为i-1，若检测到更新后的i等于1，则将更新后的第i层的视差图像作为目标视差图像，若检测到i大于1，则返回执行将第i层的视差图像上采样到第i-1层的金子塔图像的步骤。将上层的视差图像上采样到当前层的分辨率，可以获得当前层的先验视差图像，根据先验视差图像确定当前层金字塔图像的视差搜索范围，减少了当前层的金字塔图像获取视差图像的搜索范围，减少计算量，提高计算速度；从而可以减少单目结构光测量深度信息的计算量，提高计算速度，降低对部署设备的要求。
另外，根据第i-1层的先验视差图像确定第i-1层的视差搜索范围，包括：针对第i-1层金字塔图像的每个第一像素进行如下处理：判断第i-1层中与第一像素匹配的像素位置是否存在视差值，若存在视差值，则获取以视差值为中心的预设范围作为第一像素的视差搜索范围；若不存在视差值，则根据金子塔图像的分辨率确定第一像素的视差搜索范围。以视差值为中心的预设范围作为第一像素的视差搜索范围，而不是对所有可能的视差进行搜索，缩小了视差搜索范围，从而提高了视差计算速度。
另外，将第i层的视差图像上采样到第i-1层的分辨率，获得第i-1层的先验视差图像之前，方法还包括：将第i-1层的金字塔图像中亮度大于或等于预设的截断阈值的像素值置为所述截断阈值；获取像素值重置后的所述第i-1层的金字塔图像中属于背景光斑的像素点作为背景像素点；将所述背景像素点的像素值置为0。通过与截断阈值的比较，可以减少亮度过大的光斑对匹配代价计算的影响，将背景像素点置为0，增强金字塔图像中亮斑和背景像素点之间的区别，进而提高后续匹配代价的计算量的准确性。
另外，获取像素值重置后的第i-1层的金字塔图像中属于背景光斑的像素点作为背景像素点，包括：针对第i-1层的金字塔图像中每个第二像素进行如下处理：获取第二像素邻域内所有像素值之和作为和值；根据和值以及预设的亮斑阈值表达式，确定亮斑阈值；将小于或等于亮斑阈值的像素点作为属于背景光斑的像素点。根据第二像素的邻域确定该第二像素的亮斑阈值，使得确定的亮斑阈值更加准确，进而提高滤波的效果。
另外，亮斑阈值表达式为：
Figure BDA0003213668430000031
其中，Ithread表示亮斑阈值，sum表示所述和值，SAD表示邻域内像素之间的相似度，SAD_REF为预设的系数，N为邻域内像素点的个数。
另外，在根据i层的视差图像和第i-1层的金字塔图像，获取第i-1层的视差图像，直至将第一层的视差图像作为所述目标物体的目标视差图像之前，该方法还包括：采用零均值归一化方式获取所述第i层的金字塔图像的匹配代价；对获取的匹配代价进行代价聚合、视差计算，得到所述第i层的视差图像。通过零均值归一化方式可以克服散斑图像中亮度不均衡的问题，进一步提升了深度测量的鲁棒性和精度。
另外，对获取的匹配代价进行代价聚合，包括：根据所述匹配代价，采用区域生长的方式进行逐像素的代价聚合。采用区域生长的方式进行代价聚合，可以避免在进行逐像素匹配的过程中，出现噪声等外部因素使得像素匹配产生二义性以及避免出现错误点的匹配代价大于正确匹配点的匹配代价的情况。
另外，根据所述目标视差图像，确定所述目标物体的深度信息，包括：对所述目标视差图像中每个视差值进行亚像素处理，得到优化后的所述目标视差图像；根据优化后的所述目标视差图像，计算所述目标物体的深度信息。进行亚像素处理，可以提高目标视差图像的准确性，进而提高深度信息的准确度。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施例提供的一种单目结构光的深度恢复方法的流程图；
图2是根据本发明第一实施例提供的一种单目结构光的深度恢复方法中图像金字塔的示意图；
图3是根据本发明第一实施例提供的对图像金子塔进行处理的具体实现示意图；
图4是根据本发明第一实施例提供的对第i层金字塔图像进行截断和滤波处理的一种具体实现示意图；
图5是根据本发明第一实施例提供获取视差图像的一种具体实现示意图；
图6是根据本发明第一实施例提供的三角测量原理的示意图；
图7是根据本发明第二实施例提供的一种电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
TOF是通过测量光飞行时间确定距离，通过向目标物体连续发射激光脉冲，采用传感器接收从反射光线，通过探测光脉冲的飞行往返时间来得到确切的目标距离。双目立体视觉是是基于视差原理并利用成像设备从不同位置获取被测物体的两幅影像，通过计算影像对应点间的位置偏差，来获取目标物体的三维几何信息。然而，TOF技术对设备要求高、特别是时间测量模块，并且该技术在检测相位偏移时需要多次采样积分，运算量大，资源消耗大，边缘精度低。而双目立体视觉对环境光照非常敏感，光线变化导致影像偏差大，导致匹配失败或者精度降低，且双目立体视觉对算法要求高，计算量较大。而结构光技术，在进行散斑特征匹配过程的计算量大，计算速度慢，导致获取深度信息的速度慢。本实施例解决该单目结构光的深度测量的计算量大，对部署设备要求高的问题。
本发明的第一实施方式涉及一种单目结构光的深度恢复方法。该方法可以由电子设备执行，电子设备可以是深度信息采集装置。其流程如图1所示：
步骤101：获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像。
具体地，电子设备向目标物体投射随机不规则散斑，并采集该投射在目标物体上的散斑图像作为物体散斑图像，该电子设备同时获取存储的参考散斑图像。将该物体散斑图像和参考散斑图像的组合作为单目结构光图像。
步骤102：根据单目结构光图像生成包括N层金字塔图像的图像金字塔，N为大于1的整数。
具体地，图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。图像金字塔最初用于机器视觉和图像压缩，一副图像的图像金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。通过对原始图像进行梯次向下的下采样获得其它分类率的图像，直到达停止采样的预设条件。图像金字塔的层级越高，则图像越小，分辨率越低；图像金子塔的第一层是原始图像，该原始图像的分辨率最高。
本示例中，获取预先设置的采样参数，采样参数可以包括图像金字塔的层数和采样因子。按照采样参数对单目结构光图像进行下采样，由于单目结构光图像包括物体散斑图像和参考散斑图像，故按照采样参数分别对物体散斑图像和参考散斑图像进行下采样，得到多组不同分辨率的物体散斑图像和参考散斑图像，并将多组不同分辨率的物体散斑图像和参考散斑图像组成该图像金字塔，该图像金字塔的顶层的图像的分辨率最小，底层的图像的分辨最大，即为物体散斑图像和参考散斑图像的原始分辨率。本示例中，将图像金字塔中各层的单目结构光图像作为金字塔图像。
图2为本示例中图像金字塔的示意图，假设图像金子塔的层数为3，采样因子为2；参考散斑图像和物体散斑图像的原始分辨率为800*800，视差搜索范围是[0，160]；由于设置的图像金子塔的层数为3，采样因子为2，即第三层相对原始分辨率下采样4倍，那么第一层的金字塔图像的分辨率为800*800，视差搜索范围是[0，160]；第二层的金字塔图像的分辨率为400*400，视差搜索范围是[0，80]；第三层的金字塔图像的分辨率为200*200，视差搜索范围是[0，40]，图2中S1为第一层金字塔图像，S2为第二层金字塔图像，S3为第三层金字塔图像。
步骤103：对图像金字塔进行如下处理：根据i层的视差图像和第i-1层的金字塔图像，获取第i-1层的视差图像，直至将第一层的视差图像作为目标物体的目标视差图像，其中，i的初始值为N，第N层的视差图像是根据第N层金字塔图像获取。
具体地，i的初始值为N，故可以先获取第N层的视差图像，第N层的金字塔图像包括分辨率最低的物体散斑图像和对应分辨率最低的的参考散斑图像，对分辨率最低的物体散斑图像和对应分辨率最低的参考散斑图像进行匹配代价计算、代价聚合处理，得到该第N层的视差图像。将第N层的视差图像作为第N-1层金字塔图像的先验数据，进而可以快速根据该先验数据和第N-1层的金字塔图像，得到第N-1层的视差图像；判断第N-1层是否为第一层，若不是，则执行将第N-1层的视差图像作为第N-2层金字塔图像的先验数据，直至检测得到第一层的视差图像，将第一层的视差图像作为目标物体的目标视差图像。
步骤104：根据目标视差图像，确定目标物体的深度信息。
在确定目标视差图像之后，根据目标物体、红外相机和激光发射器构成的三角形，可以计算得到目标物体的深度信息，进而得到该目标物体的深度图像。
本申请实施例中，获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像；根据单目结构光图像生成包括N层金字塔图像的图像金子塔，通过对该单目结构光图像进行下采样，生成的N组金字塔图像组成图像金子塔，且该图像金字塔中图像的分辨率具有逐层递减的特性，即第N层金字塔图像的分辨率最小，第1层金字塔图像的分辨率最大，分辨率低的金字塔图像的视差图像计算量小，计算速度快；根据上层的视差图像和当前层的金字塔图像，可以获取当前层的视差图像，由于上一层的金字塔图像的分辨率低，计算上一层的视差图像的计算量减小，本实施例中将上一层的视差图像作为获取当前层视差图像的输入数据，辅助获取本层的视差图像，可以减少对当前层视差图像的计算量，提高计算速度；从而可以减少单目结构光测量深度信息恢复的计算量，提高计算速度，降低对部署设备的要求。
在一个实施例中，对图像金字塔进行处理，得到目标视差图像的过程还可以采用如图3所示的流程。
步骤101：获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像。
步骤102：根据单目结构光图像生成包括N层金字塔图像的图像金字塔，N为大于1的整数。
步骤1031：获取第i层的视差图像。
具体地，i的初始值为N，本示例中N为3，故i的初始值为3。对第i层的金字塔图像进行匹配代价计算、代价聚合处理，得到该第i层的视差图像。例如，假设物体散斑图像和参考散斑图像的原始分辨率为800*800；N为3，第三层的金字塔图像的分辨率为200*200，该三层的金字塔图像包括分辨率为200*200的物体散斑图像和分辨率为200*200的参考散斑图像，i的初始值为3，即对第三层的物体散斑图像和参考散斑图像进行匹配代价计算、代价聚合处理，得到第3层的视差图像，该第3层的视差图像的分辨率为200*200。
需要说明的是，视差图像中每个像素位置的值为物体散斑图像和参考散斑图像在相同位置的视差值。也即该视差图像中包括每个像素位置的视差值。
步骤1032：将第i层的视差图像上采样到第i-1层的分辨率，获得第i-1层的先验视差图像。
具体地，按照预设的采样因子进行上采样，例如，第三层的视差图像的分辨率为200*200，将该第三层的视差图像上采样到第2层的分辨率，得到分辨率为400*400的视差图像，将该视差图像作为第2层的先验视差图像。
步骤1033：根据第i-1层的先验视差图像确定第i-1层的视差搜索范围。
在一个实施例中，针对第i-1层金字塔图像的每个第一像素进行如下处理：判断第i-1层的先验视差图像中与第一像素匹配的像素位置是否存在视差值，若存在视差值，则获取以视差值为中心的预设范围作为第一像素的视差搜索范围；若不存在视差值，则根据金子塔图像的分辨率确定第一像素的视差搜索范围。
本实施例中，由于采用逐像素的匹配代价计算，第i-1层的视差搜索范围包括该第i-1层的金字塔图像各个像素位置的视差搜索范围。
根据第i-1层的先验视差图像可以确定该第i-1层的金字塔图像各个像素位置的视差搜索范围。下面以确定任意一个像素位置的视差搜索范围为例进行说明：
判断获取第二层金子塔图像中第一像素(x1,y1)，判断第二层的先验视差图像中(x1,y1)的位置是否有视差值，若存在视差值，则可以获取预设半径a,a为大于0的正数，确定第一像素(x1,y1)的视差搜索范围为[d-a,d+a]，如a＝1；若不存在视差值，则确定该第一像素(x1,y1)的视差搜索范围为[0，b],b为该第i-1层的分辨率。其中，检测是否存在视差值的方式可以通过判断对应像素位置的值是否为0，若为0，则确定不存在视差值，若确定不为0，则表明确定该像素位置(x1,y1)中存在视差值。
下面以具体的数值介绍确定视差搜索范围：假设采样因子为2，i＝3，第3层的金字塔图像的分辨率为800*800；获取第二层的先验视差图像，记为mask1数值，判断第二层的金字塔图像当前待查的第一像素位置的值d1是否为0；若确定d1≠0，则确定当前第一像素的视差搜索范围为[d1-2,d1+2]；若第二层的金字塔图像中当前待查的第一像素位置的值d1为0，则根据第二层的金子塔图像的分辨率确定该第一像素的搜索范围为[0，80]。同理，获取第二层的视差图像，该第二层的视差图像的分辨率为400*400，随后将第二层的视差图像上采样到第一层的分辨率，得到800*800的先验视差图像；判断第二层的金字塔图像当前待查的第一像素位置的值d2是否为0，若确定d2≠0，则确定当前第一像素的视差搜索范围为[d2-1,d2+1]；若第一层的金字塔图像中当前待查的第一像素位置的值d2为0，则当前第一像素的视差搜索范围为[0，160]。
步骤1034：根据第i-1层的视差搜索范围和第i-1层的金字塔图像，确定第i-1层的视差图像。
在确定了第i-1层的视差搜素范围之后，可以根据该视差搜索范围，对第i-1层的物体散斑图像和参考散斑图像进行匹配代价计算、代价聚合，得到该第i-1层的视图像。
步骤1035：将i更新为i-1，检测更新后的i是否等于1，若检测到更新后的i等于1，则执行步骤1036，否则，返回执行步骤1032。
具体地，令i＝i-1；检测更新后的i的值是否等于1，若检测到更新后的i的值等于1，则确定执行步骤1036，即将该第i层的视差图像作为目标视差图像，例如，图像金子塔的层数为3，i＝2,则在确定i-1层的视差图像后，令i＝i-1，即i＝1；检测到i＝1，则将第一层的视差图像作为目标视差图像。
若检测到更新后的i的值不等于1，则返回执行步骤1032。例如，图像金子塔的层数为3，i＝3,则在确定i-1层的视差图像后，令i＝i-1，即i＝2；检测到i不等于1，则返回执行步骤1032，将第2层的视差图像上采样到第1层的分辨率，获得第1层的先验视差图像，重复执行步骤1032至1035，直至i＝1。
步骤1036：将更新后的第i层的视差图像作为目标视差图像。
步骤104：根据目标视差图像，确定目标物体的深度信息。
本申请实施例中，第N层金字塔图像的分辨率最小，第1层金字塔图像的分辨率最大，分辨率低的金字塔图像的视差图像计算量小，计算速度快；将上层的视差图像上采样到当前层的分辨率，可以获得当前层的先验视差图像，根据先验视差图像确定当前层金字塔图像的视差搜索范围，减少了当前层的金字塔图像获取视差图像的搜索范围，减少计算量，提高计算速度；从而可以减少单目结构光测量深度信息的计算量，提高计算速度，降低对部署设备的要求。
在一个实施例中，在将第i层的视差图像上采样到第i-1层的分辨率，获得第i-1层的先验视差图像之前，对第i层金字塔图像进行截断和滤波处理，以提高后续计算匹配代价的准确性。其流程如图4所示：
步骤101：获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像。
步骤102：根据单目结构光图像生成包括N层金字塔图像的图像金字塔，N为大于1的整数。
步骤103-1：将第i层的金字塔图像中亮度大于或等于预设的截断阈值的像素值置为截断阈值。
具体地，散斑图像中亮度过大会导致代价匹配的计算造成影响，可以预先设置截断阈值，将大于或等于该预设阈值的像素值置为该预设阈值，从而可以减少亮度过量对有效亮斑的影响。该步骤103-1实现了对散斑图像中亮度的截断，该截断的公式可以如公式(1)所示：
Figure BDA0003213668430000091
I(x,y)表示像素位置(x,y)的像素值，threshold表示预设的截断阈值。
截断阈值用于区分亮斑和背景噪声，通过截断处理，可以减少过量的像素点，避免亮度过量的像素点对后续进行匹配代价的影响。
步骤103-2：获取像素值重置后的第i层的金字塔图像中属于背景光斑的像素点作为背景像素点。
具体地，获取像素重置后的第i层的金子塔图像，可以通过滤波处理获取该像素重置后的第i层的金子塔图像中属于背景光斑的像素点作为背景像素点。滤波处理过程可以为：针对第i层的金字塔图像中每个第二像素进行如下处理：获取第二像素邻域内所有像素值之和作为和值；根据和值以及预设的亮斑阈值表达式，确定亮斑阈值；将小于或等于亮斑阈值的像素点作为属于背景光斑的像素点。
具体地，本示例中将第i层的金字塔图像中像素作为第二像素。针对每个第二像素的处理如下：获取第二像素邻域内所有像素值之和作为和值，该预设的亮斑阈值表达式如公式(2)所示：
Figure BDA0003213668430000092
其中，Ithread表示亮斑阈值，sum表示上述和值，SAD表示邻域内像素之间的相似度，SAD_REF为预设的系数，N为邻域内像素点的个数。
判断该第二像素的像素值是否大于该亮斑阈值，若是大于，则保持该第二像素的像素值，若该第二像素的像素值小于或等于亮斑阈值，则确定该第二像素作为背景像素点。
步骤103-3：将背景像素点的像素值置为0。
具体地，步骤103-2以及步骤103-3的滤波处理可以如公式(3)所示：
Figure BDA0003213668430000101
其中，sum表示上述和值，即为以第二像素I(x,y)为中心的邻域内所有像素值之和，SAD表示邻域内像素之间的相似度，SAD_REF为预设的系数，SAD_REF可以在0～1之间，N为邻域内像素点的个数。
SAD可以采用绝对差值和方式计算，其表达式如公式(4)所示：
Figure BDA0003213668430000102
其中，SAD表示邻域内像素之间的相似度，windows(i,j)代表窗口位置的像素值，windows表示窗口，该窗口可以作为第二像素的邻域，mean表示该邻域内的所有像素的均值，l表示该窗口的尺寸。
本实施例中，通过自适应滤波处理，将不属于亮斑的背景像素点置为0，以来突出散斑图像中亮斑与背景之间的区别。
步骤1031：获取第i层的视差图像。
步骤1032：将第i层的视差图像上采样到第i-1层的分辨率，获得第i-1层的先验视差图像。
步骤1033：根据第i-1层的先验视差图像确定第i-1层的视差搜索范围。
步骤1034：根据第i-1层的视差搜索范围和第i-1层的金字塔图像，确定第i-1层的视差图像。
需要说明的是，本实施例中，在确定了第i-1层的视差搜索范围后，还可以对该第i-1层的视差图像进行上述步骤103-1～步骤103-2的截断处理和滤波处理，在完成截断处理和滤波处理后，确定第i-1层的视差图像。
步骤1035：将i更新为i-1，检测更新后的i是否等于1，若检测到更新后的i等于1，则执行步骤1036，否则，返回执行步骤1032。
步骤1036：将更新后的第i层的视差图像作为目标视差图像。
步骤104：根据目标视差图像，确定目标物体的深度信息。
本实施例中，在获取视差图像之前，对金字塔图像进行截断处理，可以减少过量像素点对后续匹配代价的计算的影响，并在截断处理后增加滤波处理，通过滤波处理，可以突出散斑图像中亮斑与背景的区别，提高后续匹配代价计算的准确度，减低计算量。
在一个实施例中，为解决散斑图像中光斑不均衡的问题，可以采用零均值归一化方式计算匹配代价。其流程如图5所示：
步骤101：获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像。
步骤102：根据单目结构光图像生成包括N层金字塔图像的图像金字塔，N为大于1的整数。
步骤1031-1：采用零均值归一化方式获取第i层的金字塔图像的匹配代价。
具体地，本实施例在匹配过程中采用抗噪性和光照适应性良好的零均值归一化交叉相关(Zero-Normalization cross correlation，ZNCC)算子，根据ZNCC的定义，待测的物体散斑图像J上的点(x,y)与参考散斑影像I上的点(x+d,y)的相关值如公式(5)所示：
Figure BDA0003213668430000111
其中，r(x,y,d)表示物体散斑图像J上的点(x,y)与参考散斑影像I上的点(x+d,y)的相关值，l表示计算相关的半窗口的尺寸值，d表示可能的视差值，
Figure BDA0003213668430000112
和
Figure BDA0003213668430000113
分别表示待匹配窗口内所有像素的灰度平均值。r代表散斑图像的行方向的偏移，c代表散斑图像的列方向上的偏移，r和c均是整数。匹配窗口是以当前像素位置为中心，预设边长的方形区域。
采用零均值归一化作为相关测度算子进行匹配代价的计算，可以克服散斑影像亮度不均衡的问题，进一步提升视差图像的鲁棒性和精度。
步骤1031-2：对获取的匹配代价进行代价聚合、视差计算，得到第i层的视差图像。
对获取的匹配代价进行代价聚合，包括：根据所述匹配代价，采用区域生长的方式进行逐像素的代价聚合。
具体地，在进行逐像素匹配的过程中，噪声等外部因素使得像素匹配产生二义性，且存在错误点的匹配代价大于正确匹配点的匹配代价的情况。本实施例采用区域生长的方式，将相似的特征点作为同一块区域进行视差计算，达到了代价聚合的效果。
步骤1032：将第i层的视差图像上采样到第i-1层的分辨率，获得第i-1层的先验视差图像。
步骤1033：根据第i-1层的先验视差图像确定第i-1层的视差搜索范围。
步骤1034：根据第i-1层的视差搜索范围和第i-1层的金字塔图像，确定第i-1层的视差图像。
步骤1035：将i更新为i-1，检测更新后的i是否等于1，若检测到更新后的i等于1，则执行步骤1036，否则，返回执行步骤1032。
步骤1036：将更新后的第i层的视差图像作为目标视差图像。
步骤1041：对目标视差图像中每个视差值进行亚像素处理，得到优化后的目标视差图像。
具体地，可以对目标视差图像中的每个视差值进行亚像素处理，对任意一个像素位置的视差值进行亚像素处理的过程可以为：目标视差图像上任意一个像素位置的视差值记为d，对应的ZNCC相关值为Zd，且该像素位置在视差d-1和d+1时的相关值分别为Zd-1和Zd+1，定义L＝Zd-1-Zd，R＝Zd+1-Zd，亚像素处理如公式(6)所示：
Figure BDA0003213668430000121
目标视差图像上任意一个像素位置的视差值记为d，d插表示该像素位置处理后的视差值，对应的ZNCC相关值为Zd，且该像素位置在视差d-1和d+1时的相关值分别为Zd-1和Zd+1，定义L＝Zd-1-Zd，R＝Zd+1-Zd，其中，
Figure BDA0003213668430000122
CL＝L,CR＝R。
步骤1042：根据优化后的目标视差图像，计算目标物体的深度信息。
具体地，得到优化后的目标视差图像后，根据三角测量原理，图6示出了三角测量原理图，图6中P为目标物体的位置，P’为在参考平面上与P对应的位置，f相机标定焦距，L为基线距离；目标深度信息Z可以根据公式(7)获得。
Figure BDA0003213668430000123
Z表示目标深度值，Z0为参考平面距离，单位mm，d插表示该像素位置处理后的视差值，f相机标定焦距，L为基线距离。
本实施例中，进行亚像素处理，可以提高目标视差图像的准确度，进而提高深度信息的准确度。
本发明第二实施方式还涉及一种电子设备，其结构如图7所示，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被所述至少一个处理器执行，以使至少一个处理器能够执行上述的单目结构光的深度恢复方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第申请实施方式还涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的单目结构光的深度恢复方法。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (11)

1.一种单目结构光的深度恢复方法，其特征在于，包括：
获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像；
根据所述单目结构光图像生成包括N层金字塔图像的图像金字塔，N为大于1的整数；
对所述图像金字塔进行如下处理：根据i层的视差图像和第i-1层的金字塔图像，获取第i-1层的视差图像，直至将第一层的视差图像作为所述目标物体的目标视差图像，其中，i的初始值为N，第N层的视差图像是根据第N层金字塔图像获取；
根据所述目标视差图像，确定所述目标物体的深度信息。
2.根据权利要求1所述的单目结构光的深度恢复方法，其特征在于，所述根据i层的视差图像和第i-1层的金字塔图像，获取第i-1层的视差图像，直至将第一层的视差图像作为所述目标物体的目标视差图像，包括：
将第i层的视差图像上采样到第i-1层的分辨率，获得第i-1层的先验视差图像；
根据所述第i-1层的先验视差图像确定第i-1层的视差搜索范围；根据所述第i-1层的视差搜索范围和所述第i-1层的金字塔图像，确定第i-1层的视差图像；
将i更新为i-1，若检测到更新后的i等于1，则将更新后的第i层的视差图像作为目标视差图像，若检测到i大于1，则返回执行将第i层的视差图像上采样到第i-1层的金子塔图像的步骤。
3.根据权利要求2所述的单目结构光的深度恢复方法，其特征在于，所述根据所述第i-1层的先验视差图像确定第i-1层的视差搜索范围，包括：
针对所述第i-1层金字塔图像的每个第一像素进行如下处理：
判断所述第i-1层的先验视差图像中与所述第一像素匹配的像素位置是否存在视差值，若存在视差值，则获取以所述视差值为中心的预设范围作为所述第一像素的视差搜索范围；若不存在视差值，则根据所述金子塔图像的分辨率确定所述第一像素的视差搜索范围。
4.根据权利要求2或3所述的单目结构光的深度恢复方法，其特征在于，所述将第i层的视差图像上采样到第i-1层的分辨率，获得第i-1层的先验视差图像之前，所述方法还包括：
将所述第i-1层的金字塔图像中亮度大于或等于预设的截断阈值的像素值置为所述截断阈值；
获取像素值重置后的所述第i-1层的金字塔图像中属于背景光斑的像素点作为背景像素点；
将所述背景像素点的像素值置为0。
5.根据权利要求4所述的单目结构光的深度恢复方法，其特征在于，所述获取像素值重置后的所述第i-1层的金字塔图像中属于背景光斑的像素点作为背景像素点，包括：
针对所述第i-1层的金字塔图像中每个第二像素进行如下处理：
获取所述第二像素邻域内所有像素值之和作为和值；
根据所述和值以及预设的亮斑阈值表达式，确定所述亮斑阈值；
将小于或等于所述亮斑阈值的像素点作为属于背景光斑的像素点。
6.根据权利要求5所述的单目结构光的深度恢复方法，其特征在于，所述亮斑阈值表达式为：
Figure FDA0003213668420000021
其中，Ithread表示亮斑阈值，sum表示所述和值，SAD表示所述邻域内像素之间的相似度，SAD_REF为预设的系数，N为所述邻域内像素点的个数。
7.根据权利要求1至3中任一项所述的单目结构光的深度恢复方法，其特征在于，在所述根据i层的视差图像和第i-1层的金字塔图像，获取第i-1层的视差图像，直至将第一层的视差图像作为所述目标物体的目标视差图像之前，所述方法包括：
采用零均值归一化方式获取所述第i层的金字塔图像的匹配代价；
对获取的匹配代价进行代价聚合、视差计算，得到所述第i层的视差图像。
8.根据权利要求7所述的单目结构光的深度恢复方法，其特征在于，所述对获取的匹配代价进行代价聚合，包括：
根据所述匹配代价，采用区域生长的方式进行逐像素的代价聚合。
9.根据权利要求1至3中任一项所述的单目结构光的深度恢复方法，所述根据所述目标视差图像，确定所述目标物体的深度信息，包括：
对所述目标视差图像中每个视差值进行亚像素处理，得到优化后的所述目标视差图像；
根据优化后的所述目标视差图像，计算所述目标物体的深度信息。
10.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-9任一所述的单目结构光的深度恢复方法。
11.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的单目结构光的深度恢复方法。
CN202110938158.3A 2021-08-16 2021-08-16 单目结构光的深度恢复方法、电子设备及存储介质 Active CN113658241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110938158.3A CN113658241B (zh) 2021-08-16 2021-08-16 单目结构光的深度恢复方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110938158.3A CN113658241B (zh) 2021-08-16 2021-08-16 单目结构光的深度恢复方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113658241A true CN113658241A (zh) 2021-11-16
CN113658241B CN113658241B (zh) 2022-12-16

Family

ID=78479284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110938158.3A Active CN113658241B (zh) 2021-08-16 2021-08-16 单目结构光的深度恢复方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113658241B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283081A (zh) * 2021-12-16 2022-04-05 北京的卢深视科技有限公司 基于金字塔加速的深度恢复方法、电子设备及存储介质
CN114299129A (zh) * 2021-12-31 2022-04-08 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN114387324A (zh) * 2021-12-22 2022-04-22 北京的卢深视科技有限公司 深度成像方法、装置、电子设备和计算机可读存储介质
CN114693546A (zh) * 2022-02-25 2022-07-01 合肥的卢深视科技有限公司 图像去噪方法、装置、电子设备和计算机可读存储介质
CN116051429A (zh) * 2023-03-31 2023-05-02 深圳时识科技有限公司 数据增强方法、脉冲神经网络训练方法、存储介质和芯片

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1987346A (zh) * 2006-11-01 2007-06-27 北京航空航天大学 快速高精度光斑图像质心定位方法及装置
US20110221919A1 (en) * 2010-03-11 2011-09-15 Wenbo Zhang Apparatus, method, and system for identifying laser spot
WO2017045304A1 (zh) * 2015-09-15 2017-03-23 苏州中启维盛机器人科技有限公司 采用ccd光敏器件的成像光斑计算方法
CN110009691A (zh) * 2019-03-28 2019-07-12 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及系统
CN111536905A (zh) * 2020-06-03 2020-08-14 北京航空航天大学 一种基于参考图像的单目光栅结构光视觉测量方法及系统
CN112289377A (zh) * 2018-08-22 2021-01-29 深圳市真迈生物科技有限公司 检测图像上的亮斑的方法、装置和计算机程序产品
CN112285070A (zh) * 2018-08-22 2021-01-29 深圳市真迈生物科技有限公司 检测图像上的亮斑的方法和装置、图像配准方法和装置
CN112771573A (zh) * 2019-04-12 2021-05-07 深圳市汇顶科技股份有限公司 基于散斑图像的深度估计方法及装置、人脸识别系统
CN112927280A (zh) * 2021-03-11 2021-06-08 北京的卢深视科技有限公司 深度图像的获取方法及装置、单目散斑结构光系统
CN113034666A (zh) * 2021-02-01 2021-06-25 中国计量大学 一种基于金字塔视差优化代价计算的立体匹配方法
CN113052754A (zh) * 2019-12-26 2021-06-29 武汉Tcl集团工业研究院有限公司 一种图片背景虚化的方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1987346A (zh) * 2006-11-01 2007-06-27 北京航空航天大学 快速高精度光斑图像质心定位方法及装置
US20110221919A1 (en) * 2010-03-11 2011-09-15 Wenbo Zhang Apparatus, method, and system for identifying laser spot
WO2017045304A1 (zh) * 2015-09-15 2017-03-23 苏州中启维盛机器人科技有限公司 采用ccd光敏器件的成像光斑计算方法
CN112289377A (zh) * 2018-08-22 2021-01-29 深圳市真迈生物科技有限公司 检测图像上的亮斑的方法、装置和计算机程序产品
CN112285070A (zh) * 2018-08-22 2021-01-29 深圳市真迈生物科技有限公司 检测图像上的亮斑的方法和装置、图像配准方法和装置
CN110009691A (zh) * 2019-03-28 2019-07-12 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及系统
CN112771573A (zh) * 2019-04-12 2021-05-07 深圳市汇顶科技股份有限公司 基于散斑图像的深度估计方法及装置、人脸识别系统
CN113052754A (zh) * 2019-12-26 2021-06-29 武汉Tcl集团工业研究院有限公司 一种图片背景虚化的方法及装置
CN111536905A (zh) * 2020-06-03 2020-08-14 北京航空航天大学 一种基于参考图像的单目光栅结构光视觉测量方法及系统
CN113034666A (zh) * 2021-02-01 2021-06-25 中国计量大学 一种基于金字塔视差优化代价计算的立体匹配方法
CN112927280A (zh) * 2021-03-11 2021-06-08 北京的卢深视科技有限公司 深度图像的获取方法及装置、单目散斑结构光系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王梦伟: "基于投影散斑的实时场景深度恢复", 《计算机辅助设计与图形学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283081A (zh) * 2021-12-16 2022-04-05 北京的卢深视科技有限公司 基于金字塔加速的深度恢复方法、电子设备及存储介质
CN114283081B (zh) * 2021-12-16 2022-11-08 合肥的卢深视科技有限公司 基于金字塔加速的深度恢复方法、电子设备及存储介质
CN114387324A (zh) * 2021-12-22 2022-04-22 北京的卢深视科技有限公司 深度成像方法、装置、电子设备和计算机可读存储介质
CN114299129A (zh) * 2021-12-31 2022-04-08 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN114299129B (zh) * 2021-12-31 2023-01-31 合肥的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN114693546A (zh) * 2022-02-25 2022-07-01 合肥的卢深视科技有限公司 图像去噪方法、装置、电子设备和计算机可读存储介质
CN116051429A (zh) * 2023-03-31 2023-05-02 深圳时识科技有限公司 数据增强方法、脉冲神经网络训练方法、存储介质和芯片
CN116051429B (zh) * 2023-03-31 2023-07-18 深圳时识科技有限公司 数据增强方法、脉冲神经网络训练方法、存储介质和芯片

Also Published As

Publication number Publication date
CN113658241B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN113658241B (zh) 单目结构光的深度恢复方法、电子设备及存储介质
EP3517997B1 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
US8718326B2 (en) System and method for extracting three-dimensional coordinates
US9826217B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
CN109410264B (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
WO2018227576A1 (zh) 地面形态检测方法及系统、无人机降落方法和无人机
JP2016029564A (ja) 対象検出方法及び対象検出装置
CN110443186B (zh) 立体匹配方法、图像处理芯片及移动载具
CN111429527B (zh) 一种车载相机的外参自动标定方法及系统
US11494925B2 (en) Method for depth image acquisition, electronic device, and storage medium
CN110162085A (zh) 用于无人载具的环境自适应感知与规避系统
CN111091592A (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
WO2022217988A1 (zh) 传感器配置方案确定方法、装置、计算机设备、存储介质及程序
CN111709985A (zh) 一种基于双目视觉的水下目标测距方法
CN109410234A (zh) 一种基于双目视觉避障的控制方法及控制系统
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
CN112802114A (zh) 多视觉传感器融合装置及其方法和电子设备
CN113099120A (zh) 深度信息获取方法、装置、可读存储介质及深度相机
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN113379816B (zh) 结构变动检测方法、电子设备及存储介质
Vaida et al. Automatic extrinsic calibration of LIDAR and monocular camera images
WO2020095549A1 (ja) 撮像装置
JPH11223516A (ja) ３次元画像撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220516

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Applicant after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Applicant before: Hefei lushenshi Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant