CN111669482A - 一种图像处理方法、系统、介质、芯片及结构光电子设备 - Google Patents

一种图像处理方法、系统、介质、芯片及结构光电子设备 Download PDF

Info

Publication number
CN111669482A
CN111669482A CN201910172453.5A CN201910172453A CN111669482A CN 111669482 A CN111669482 A CN 111669482A CN 201910172453 A CN201910172453 A CN 201910172453A CN 111669482 A CN111669482 A CN 111669482A
Authority
CN
China
Prior art keywords
infrared
image
processing unit
camera
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910172453.5A
Other languages
English (en)
Inventor
戴伦学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou Rockchip Electronics Co Ltd
Original Assignee
Fuzhou Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou Rockchip Electronics Co Ltd filed Critical Fuzhou Rockchip Electronics Co Ltd
Priority to CN201910172453.5A priority Critical patent/CN111669482A/zh
Publication of CN111669482A publication Critical patent/CN111669482A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种图像处理方法、系统、介质、芯片及结构光电子设备，图像处理单元用于发送控制指令至红外激光发射单元和红外LED，以及根据接收到的红外图像，生成所述红外图像的3D信息；红外激光发射单元和红外LED用于根据控制指令发送红外特征光至3D物体；红外摄像头和彩色摄像头用于根据拍摄指令基于红外特征光分别拍摄一副3D物体的红外图像和彩色图像；应用处理单元用于根据接收到的彩色图像和3D信息，生成所述3D物体的RGB‑D图像。本发明的图像处理方法、系统、介质、芯片及结构光电子设备通过设置独立的图像处理单元来进行数据的采集和处理，降低了AP的工作负荷，提升了图像采集处理效率。

Description

一种图像处理方法、系统、介质、芯片及结构光电子设备
技术领域
本发明涉及图像处理的技术领域，特别是涉及一种图像处理方法、系统、介质、芯片及结构光电子设备。
背景技术
现有技术中，图像采集和图像识别针对的多为二维图像。在一些安全验证场景下，二维图像的采集和识别存在一定的安全隐患，无法准确确定图像中的对象是否为对象本身。因此，结构光应运而生。结构光是一组由投影仪和摄像头组成的系统结构，用投影仪投射特定的光信息到物体表面后及背景后，由摄像头采集，并根据物体造成的光信号的变化来计算物体的位置和深度等信息，进而复原整个三维空间。通过结构光设备来获取对象的3D信息，能够准确识别采集对象，从而可广泛应用于人脸识别、物品检测等技术领域。
目前，在进行特征光采集时，摄像头在采集图像数据时，采集指令的发起、采集参数的设定以及对采集到的图像的后续处理都是通过应用处理单元(ApplicationProcessor，AP)来完成。AP与摄像头通过数据线和控制线直接连接，单向控制，串行操作。由于所有的操作都需要通过AP发起，降低了图像采集处理的效率，也降低了系统性能。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图像处理方法、系统、介质、芯片及结构光电子设备，通过设置独立的图像处理单元来进行数据的采集和处理，从而降低了AP的工作负荷，提升了图像采集处理效率。
为实现上述目的及其他相关目的，本发明提供一种结构光电子设备，包括红外激光发射单元、红外LED、红外摄像头、彩色摄像头、图像处理单元和应用处理单元；所述图像处理单元与所述红外激光发射单元、所述红外LED、所述红外摄像头和所述彩色摄像头相连，用于发送控制指令至所述红外激光发射单元和所述红外LED，并发送拍摄指令至所述红外摄像头和所述彩色摄像头，以及根据接收到的红外图像，生成所述红外图像的3D信息；所述红外激光发射单元和所述红外LED用于根据所述控制指令发送红外特征光至3D物体；所述红外摄像头和所述彩色摄像头用于根据所述拍摄指令基于所述红外特征光分别拍摄一副所述3D物体的红外图像和彩色图像；所述应用处理单元与所述图像处理单元、所述红外摄像头和所述彩色摄像头相连，用于根据接收到的所述彩色图像和所述3D信息，生成所述3D物体的RGB-D图像。
于本发明一实施例中，所述图像处理单元和所述应用处理单元分别向所述红外摄像头和所述彩色摄像头发送拍摄指令；所述红外摄像头将所述红外图像发送至所述图像处理单元，所述彩色摄像头将所述彩色图像发送至所述应用处理单元；所述图像处理单元将所述3D信息发送至所述应用处理单元。
于本发明一实施例中，所述应用处理单元向所述红外摄像头和所述彩色摄像头发送拍摄指令；所述红外摄像头和所述彩色摄像头分别将所述红外图像和所述彩色图像发送至所述应用处理单元，所述应用处理单元将所述红外图像发送至所述图像处理单元，所述图像处理单元将所述3D信息发送至所述应用处理单元。
于本发明一实施例中，所述图像处理单元向所述红外摄像头和所述彩色摄像头发送拍摄指令；所述红外摄像头和所述彩色摄像头分别将所述红外图像和所述彩色图像发送至所述图像处理单元，所述图像处理单元将所述3D信息和所述彩色图像发送至所述应用处理单元。
于本发明一实施例中，所述图像处理单元包括数字信号处理器，所述数字信号处理器用于根据接收到的红外图像，生成所述红外图像的3D信息。
于本发明一实施例中，所述应用处理单元包括主控模块和数字信号处理器；所述数字信号处理器用于根据接收到的所述彩色图像和所述3D信息，生成所述3D物体的RGB-D图像，所述主控模块用于与所述图像处理单元、所述红外摄像头和所述彩色摄像头进行通信。
本发明提供一种图像处理方法，包括以下步骤：
发送控制指令至红外激光发射单元和红外LED，以使所述红外激光发射单元和所述红外LED根据所述控制指令发送红外特征光至3D物体；
当所述红外摄像头和所述彩色摄像头根据拍摄指令基于所述红外特征光分别拍摄一副所述3D物体的红外图像和彩色图像时，根据接收到的红外图像生成所述红外图像的3D信息，以使应用处理单元根据接收到的所述彩色图像和所述3D信息生成所述3D物体的RGB-D图像。
于本发明一实施例中，还包括向所述红外摄像头发送拍摄指令，接收所述红外图像，令所述彩色图像发送至所述应用处理单元，并将所述3D信息发送至所述应用处理单元。
于本发明一实施例中，还包括令所述红外图像和所述彩色图像发送至所述应用处理单元，接收所述应用处理单元发送来的所述红外图像，并将所述3D信息发送至所述应用处理单元。
于本发明一实施例中，还包括向所述红外摄像头和所述彩色摄像头分别发送拍摄指令，接收所述红外图像和所述彩色图像，并将所述3D信息和所述彩色图像发送至所述应用处理单元。
对应地，本发明提供一种图像处理系统，包括指令发送模块和图像处理模块；
所述指令发送模块用于发送控制指令至红外激光发射单元和红外LED，以使所述红外激光发射单元和所述红外LED根据所述结构光控制指令发送红外特征光至3D物体；
所述图像处理模块用于当所述红外摄像头和所述彩色摄像头根据拍摄指令基于所述红外特征光分别拍摄一副所述3D物体的红外图像和彩色图像时，根据接收到的红外图像生成所述红外图像的3D信息，以使应用处理单元根据接收到的所述彩色图像和所述3D信息生成所述3D物体的RGB-D图像。
本发明提供一种存储介质，其上存储有计算机程序，该所述计算机程序被处理器执行时实现上述的图像处理方法。
最后，本发明提供一种图像处理芯片，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述车辆云服务器执行上述的图像处理方法。
如上所述，本发明的图像处理方法、系统、介质、芯片及结构光电子设备，具有以下有益效果：
(1)通过设置独立的图像处理单元来进行数据的采集和处理，降低了应用处理单元的工作负荷，提升了图像采集处理效率；
(2)能够通过不同的模式实现图像处理单元和应用处理单元的协同工作，从而能够根据不同的应用场景实现最佳系统性能；
(3)能够实现3D图像识别，可广泛应用于人脸识别、安防等技术领域。
附图说明
图1显示为本发明的结构光电子设备于一实施例中的结构示意图；
图2显示为本发明的结构光电子设备的于一实施例中的连接示意图；
图3显示为本发明的结构光电子设备于第一实施例中的协同处理示意图；
图4显示为本发明的结构光电子设备于第二实施例中的协同处理示意图；
图5显示为本发明的结构光电子设备于第三实施例中的协同处理示意图；
图6显示为本发明的图像处理方法于一实施例中的流程图；
图7显示为本发明的图像处理系统于一实施例中的结构示意图；
图8显示为本发明的图像处理芯片于一实施例中结构示意图。
元件标号说明
111 红外激光发射单元
113 红外LED
115 红外摄像头
117 彩色摄像头
130 图像处理单元
140 应用处理单元
110 结构光电子设备
71 指令发送模块
72 图像处理模块
81 处理器
82 存储器
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
本发明的图像处理方法、系统、介质、芯片及结构光电子设备通过设置单独的图像处理单元，将图像的采集和处理功能从应用处理单元中剥离出来，从而降低了应用处理单元的工作负荷，提升了图像采集处理效率和结构光电子设备的整体性能。
如图1所示，于一实施例中，本发明的结构光电子设备110可为智能手机、平板电脑、台式电脑、游戏机等任何具有拍照或摄像功能的电子设备。所述电子设备110包括红外激光发射单元111、红外LED113、红外摄像头115、彩色摄像头117、图像处理单元130和应用处理单元140。该电子设备110可利用红外激光发射单元111和红外LED113，发射特征光至3D物体100；并利用红外摄像头115和彩色摄像头117，收集从3D物体100反射回的特征光、红外光、和自然光。之后，该电子设备110可以利用图像处理单元130和应用处理单元140，根据收集的特征光、红外光、和自然光，进行数据处理分析并生成RGB-D图像150。所述3D物体100可为任何物理存在的3D自然实体，比如人体、生物体、机器或者环境物体。
所述图像处理单元130与所述红外激光发射单元111、所述红外LED113、所述红外摄像头115和所述彩色摄像头117分别通过连线121，122，123和124相连。图像处理单元130可以通过控制线121和控制线122发送一组相关控制指令至所述红外激光发射单元111和所述红外LED113，也可以通过控制线123和124发送另外一组相关控制指令至所述红外摄像头115和所述彩色摄像头117。
所述红外激光发射单元111和红外LED113用于根据所述相关控制指令发送红外特征光至3D物体100。具体地，所述红外激光发射单元111用于发射经过调制的具有一定结构特征的“第一红外光”；所述红外LED113用于发射与第一红外光相比，有不同结构特征的“第二红外光”。在某些实施例中，红外激光发射单元111和红外LED113可以同时发送第一红外光和第二红外光，也可以先后发送第一红外光或第二红外光。相似地，一次红外特征光的发送可以包括一束第一红外光和多束第二红外光；也可以包括多束第一红外光和一束第二红外光。
所述红外摄像头115和所述彩色摄像头117用于根据接收到的拍摄指令，基于所述红外特征光分别拍摄一幅或多幅包含所述3D物体100的红外图像和彩色图像。具体地，所述图像处理单元130发送“第一控制指令”至红外激光发射单元111，控制红外激光发射单元111发射“第一红外光”至3D物体100。然后，图像处理单元130发送“第二控制指令”至红外摄像头115，控制红外摄像头115根据从3D物体100反射回来的第一红外光，生成一幅包含所述3D物体100的“第一红外图像”。之后，图像处理单元130发送“第三控制指令”至红外LED113，控制红外LED113发射“第二红外光”至3D物体100。再然后，图像处理单元130发送“第四控制指令”至红外摄像头115，控制红外摄像头115根据从3D物体100反射回来的第二红外光，生成一幅包含所述3D物体100的“第二红外图像”。
所述红外特征光照射在所述3D物体100后，所述红外摄像头115根据所述3D物体100反射回来的红外光生成的第一红外图像和第二红外图像中，不包括其他波长的光线内容。在某个实施例中，第一红外光中包括用于发掘3D结构的信息(比如红外散斑信息)，而第二红外光中不包括3D结构信息。之后，红外摄像头115可以将生成的第一红外图像和第二红外图像，通过数据线123发送给图像处理单元130，或者通过数据线125发送给应用处理单元140。
因此，图像处理单元130(或者应用处理单元140)可以通过分析对比第一红外图像和第二红外图像，提取出与3D物体100相关的3D信息。“3D信息”是指以“信息点”的形式来记录所述红外图像中的与3D相关的各种信息。其中，3D信息中的每一个信息点包含：一个对应像素的三维坐标、颜色信息(RGB)、图像深度、或反射强度信息等。图像深度是指存储每个像素所用的位数，也用于量度图像的色彩分辨率。
在某些实施例中，结构光电子设备110不配置红外LED113，转而让红外激光发射单元111来发射第二红外光。在这种情况下，红外激光发射单元111可以交替发射第一红外光和第二红外光。同时，根据照射从3D物体100反射回来的红外结构光或者自然光，所述彩色摄像头117可以生成一幅或者多幅包含所述3D物体100的“彩色图像”，并将彩色图像通过数据线124发送给图像处理单元130，或者通过数据线126发送给应用处理单元140。
所述应用处理单元140通过连线133与所述图像处理单元130、通过连线125和连线126与所述红外摄像头115和所述彩色摄像头117相连。所述应用处理单元140可以用于根据接收到的红外图像、彩色图像和3D信息，生成所述3D物体的RGB-D图像150。其中，“RGB-D图像”可以包括一个或者多个以下信息：RGB三通道彩色图像，和Depth图像。“Depth图像”类似于灰度图像，其中的每个像素值可以用于表达从传感器到物体的实际距离，即Depth图像中的每个像素点的数值，可用于表征物理场景中某一点距离摄像机的远近。因此，Depth图像可作为一种三维场景的信息表达方式。另外，RGB图像和Depth图像可以用于互相配准，即两个图像中相对应的像素点之间具有一对一的对应关系。
具体地，当图像处理单元130根据上述红外图像来生成3D信息时，所述应用处理单元140无需从红外摄像头130获取红外图像并生成3D信息，而可直接根据从图像处理单元130获取的3D信息和从彩色摄像头117获取的彩色图像，来生成所述3D物体100的RGB-D图像150，从而减少了功耗，提升了整个结构光电子设备110的性能。在另外一个实施例中，所述应用处理单元140可分别基于数据线125和数据线126，从所述红外摄像头115和所述彩色摄像头117处获取红外图像和彩色图像，然后通过数据/控制线133与所述图像处理单元130进行合作，共同处理并生成3D信息和RGB-D图像150。
需要说明的是，在一些实施例中，控制线和数据线为用于传送电子信息的电子连线。“控制线”是指用于传送一个或多个控制指令的电子连线，“数据线”是指用于传送一组或多组数据的电子连线。根据不同的需求，“电子连线”可以设计为单向或双向传输。在单向传输时，电子连线的一端连接一个电子元件/处理单元的发送接口，另一端连接另外一个电子元件/处理单元的接收接口。电子信息从一个电子元件/处理单元的发送接口传送到电子连线的一端，再通过电子连线传送到与其另一端相连的另一个电子元件/处理单元的接收接口。在双向传输时，根据电子信息的传送方向，与电子连线接收电子信息的一端相连的可视为发送接口，与电子连线发送电子信息的一端相连的可视为接收接口。在另外一些实施例中，多根电子连线可以组成一个控制线或者数据线，多根控制线或数据线也可以共用同一根电子连线，一根电子连线可以在一个时间段用作控制线，在另外一个时间段用作数据线。比如：图1中的连线123可包含一根从图像处理单元130到红外摄像头115传输的控制线，和一根从红外摄像头115到图像处理单元130传输的数据线。
于本发明一实施例中，所述图像处理单元130至少包括一个数字信号处理器(Digital Signal Processing，DSP)131，所述DSP131可用于处理接收到的各种图像，包括彩色图像和红外图像。所述图像处理单元130可单独执行图像处理相关功能，也可与AP140一同完成涉及所述结构光电子设备110的任何系统控制、数据处理等功能。
于本发明一实施例中，所述应用处理单元140包括主控模块141和数字信号处理器143；所述数字信号处理器143用于根据接收到的所述彩色图像和所述3D信息，生成所述3D物体100的RGB-D图像150，所述主控模块141用于与所述图像处理单元130、所述红外摄像头115和所述彩色摄像头117进行通信。具体地，所述应用处理单元140中的图像处理功能由所述数字信号处理器143完成，所述主控模块141用于执行系统控制、通信等功能。
在一些实施例中，所述红外摄像头115和所述彩色摄像头117可以接收外部控制指令，并根据外部控制指令来收集或设置图像采集参数，调整内部光学元件，并获取图像/视频。在一些实施例中，所述图像处理单元130能够分别通过数据/控制线123和数据/控制线124控制所述红外摄像头115和所述彩色摄像头117，并处理控制指令和图像/视频数据。具体来说，所述图像处理单元130有指令处理功能和数据处理功能。其中指令处理功能是指处理用于控制所述红外摄像头115和所述彩色摄像头117的控制指令，或者生成能够控制所述红外摄像头115和所述彩色摄像头117的控制指令的能力；数据处理功能是指处理所述红外摄像头115和所述彩色摄像头117生成的数据，或者生成与所述红外摄像头115和所述彩色摄像头117生成的数据相关的数据的能力。应用处理单元140为能够控制所述红外摄像头115和所述彩色摄像头117以及图像处理单元130的电子元件。应用处理单元140可为中央处理器(Central Processing Unit，CPU)、或者系统芯片(System on Chip，SoC)。
在本发明中，图像处理单元130设置在红外摄像头115、彩色摄像头117和应用处理单元140之间，用于对应用处理单元140发出的控制指令和红外摄像头115、彩色摄像头117采集的数据作出传递和优化的处理。具体来说，图像处理单元130至少有一个用于接收控制指令的“指令接收接口”，一个用于发送控制指令的“指令发送接口”，一个用于接收数据的“数据接收接口”和一个用于发送数据的“数据发送接口”。通过数据线、控制线和上述接口的连接图像处理单元实现与红外摄像头115、彩色摄像头117和应用处理单元140的通信。
在一些实施例中，应用处理单元140通过其指令发送接口发送出各种控制指令，所述控制指令可以发送(133)给图像处理单元130，也可以发送(125)给红外摄像头115或发送(126)给彩色摄像头117。同时，应用处理单元140通过数据接收接口接收到的数据，可以是从图像处理单元130传送(133)来的，也可以是从红外摄像头115传送(125)和彩色摄像头117传送(126)来的。
在一些实施例中，红外摄像头115或彩色摄像头117通过其指令接收接口接收到的控制指令，可以是从图像处理单元130传送(123或124)来的，也可以是从应用处理单元140传送(125或126)来的。同时红外摄像头115或彩色摄像头117通过其数据发送接口发送出的数据，可以发送(123或124)给图像处理单元130，也可以发送(125或126)给应用处理单元140。
在一些实施例中，应用处理单元140可以不发送任何控制指令，而通过图像处理单元130生成的控制指令，来对红外摄像头115和彩色摄像头117实现操控。具体来说，图像处理单元130在了解应用处理单元140的需求的前提下，独立产生一个或者多个控制指令并传送给红外摄像头115和彩色摄像头117。红外摄像头115和彩色摄像头117将根据控制指令生成的数据传送回图像处理单元130。图像处理单元130再对这些数据进行处理后传送给应用处理单元140。因此，图像处理单元130可进一步减轻应用处理单元140的负担，并提高其图像采集效率，优化了结构光电子设备110的系统性能。
于一实施例中，本发明的结构光电子设备的通信连接方式如图2所示。其中，图1的连线123可以由图2中的控制线351和数据线361组成；图1的连线125可以由图2中的控制线352和数据线362组成；图1的连线124可以由图2中的控制线355和数据线365组成；图1的连线125可以由图2中的控制线356和数据线366组成；图1的连线133可以由图2中的控制线353和数据线364组成。另外，图1的连线133还可以包括图2中的SPI线354和数据线363。
比如，图像处理单元130通过控制线351发送拍摄指令至红外摄像头115，通过控制线355发送拍摄指令至彩色摄像头117。所述红外摄像头通过数据线361将所拍摄的红外图像发送至所述图像处理单元130，所述彩色摄像头117通过数据线365将所拍摄的彩色图像发送至所述图像处理单元130。其中，所述控制线351与所述图像处理单元130的I2C Master接口311相连，所述控制线355与所述图像处理单元130的I2C Master接口313相连，所述数据线361与所述图像处理单元130的MIPI RX接收接口312相连，所述数据线365与所述图像处理单元130的MIPI RX接收接口314相连。
其中，应用处理单元140通过控制线352发送拍摄指令至红外摄像头115，通过控制线356发送拍摄指令至彩色摄像头117。所述红外摄像头通过数据线362将所拍摄的红外图像发送至所述应用处理单元140，所述彩色摄像头117通过数据线366将所拍摄的彩色图像发送至所述应用处理单元140。其中，所述控制线352与所述应用处理单元140的I2C Master接口332相连，所述控制线356与所述应用处理单元140的I2C Master接口334相连，所述数据线362与所述应用处理单元140的MIPI RX接收接口331相连，所述数据线366与所述应用股处理单元140的DVP接口344相连。
其中，所述图像处理单元130与所述应用处理单元140之间设置有控制线353、数据线363、数据线364和SPI线354。其中，所述控制线353两端分别连接所述图像处理单元130的I2C Slave接口321和所述应用处理单元140的I2C Master接口341；所述数据线363两端分别连接所述图像处理单元130的MIPI TX发送接口323和所述应用处理单元140的DSI接口343；所述数据线364两端分别连接所述图像处理单元130的MIPI TX发送接口324和所述应用处理单元140的DVP接口344；所述SIP线两端分别连接所述图像处理单元130的SPI Slave接口322和所述应用处理单元140的SPI Master接口342。具体地，所述应用处理单元140通过所述数据线363将红外图像发送至所述图像处理单元130；所述图像处理单元130通过所述数据线364将3D信息发送至所述应用处理单元140。所述应用处理单元140通过所述控制线353向所述图像处理单元130发送数据采集指令，以使所述图像处理单元130向所述红外摄像头115和所述彩色摄像头117发送拍摄指令。
在某些实施例中，所述应用处理单元140可以通过数据线363将未处理的(或者半处理的)数据发送给图像处理单元130处理。另类的，所述应用处理单元140可以通过其I2CMaster接口332，利用另外一根控制线与红外激光发射单元111相连，用于直接控制红外激光发射单元111发射红外特征光。相似的，所述应用处理单元140可以通过其I2C Master接口334，利用另外一根控制线与红外LED 113相连，用于直接控制红外LED 113发射红外特征光。
下面通过具体实施例来进一步阐述本发明的结构光电子设备于不用应用场景下的应用模式。根据不同的应用场景，本发明的结构光电子设备可选择当前最优的应用模式，从而增加其适用性。
实施例一
如图3所示，在该实施例中，所述图像处理单元130发送拍摄指令至所述红外摄像头115；所述红外摄像头115根据接收到的拍摄指令获取3D物体的红外图像211，并将所述红外图像211发送至所述图像处理单元130。所述图像处理单元130对所述红外图像211进行图像处理，获取所述红外图像211的3D信息221，并通过数据线将所述3D信息221发送至所述应用处理单元140。
所述应用处理单元140发送拍摄指令至所述彩色摄像头117，所述彩色摄像头117根据接收到的拍摄指令获取3D物体的彩色图像212，并将所述彩色图像212发送至所述应用处理单元140。
.所述应用处理单元140根据接收到的3D信息221和彩色图像212进行处理，从而得到所述红外图像211和所述彩色图像212的RGB-D图像222，有助于实现所述3D物体的三维识别。
因此，在该实施例中，一部分的3D图像处理功能从应用处理单元140中剥离出来，并放置在图像处理单元130内。所述图像处理单元130和所述应用处理单元140分别与不同的摄像头相连，获取不同的图像，执行不同的操作，分工明确，效果高。
实施例二
如图4所示，在该实施例中，所述应用处理模块140发送拍摄指令至所述红外摄像头115和所述彩色摄像头117。所述红外摄像头115根据接收到的拍摄指令获取3D物体的红外图像231，并将所述红外图像231发送至所述应用处理单元140。所述彩色摄像头117根据接收到的拍摄指令获取3D物体的彩色图像232，并将所述彩色图像232发送至所述应用处理单元140。
.所述应用处理单元140将接收到的红外图像231(或包括彩色图像232)发送至所述图像处理单元130；所述图像处理单元130对所述红外图像231(或彩色图像232)进行图像处理，从而得到所述红外图像231的3D信息241，并通过数据线将所述3D信息241发送至所述应用处理单元140。
所述应用处理单元140根据接收到的3D信息241和彩色图像232进行处理，从而得到所述红外图像231和所述彩色图像232的RGB-D图像242，有助于实现所述3D物体的三维识别。
因此，在该实施例中，所述图像处理单元130仅与所述应用处理单元140相连，通过所述应用处理单元140的中继功能，对所述红外图像进行图像处理，从而既实现了图像处理功能的独立设置，又避免对原有系统做太多改动，简化了系统设置。
实施例三
如图5所示，在该实施例中，所述图像处理单元130发送拍摄指令至所述红外摄像头115和所述彩色摄像头117。所述红外摄像头115根据接收到的拍摄指令获取3D物体的红外图像251，并将所述红外图像251发送至所述图像处理单元130。所述彩色摄像头117根据接收到的拍摄指令获取3D物体的彩色图像252，并将所述彩色图像252发送至所述图像处理单元130。
所述图像处理单元130对所述红外图像251进行图像处理，获取3D信息261，并将所述3D信息261和所述彩色图像252发送至所述应用处理单元140。
所述应用处理单元140根据接收到的3D信息261和彩色图像252进行处理，从而得到所述红外图像251和所述彩色图像252的RGB-D图像262，有助于实现所述3D物体的三维识别。
因此，在该实施例中，所述红外摄像头115和所述彩色摄像头117均与所述图像处理单元130相连，由所述图像处理单元130直接进行控制和数据通信。所述图像处理单元130进行图像处理后，将图像处理后的数据发送至所述应用处理单元140，从而进一步减轻了所述应用处理单元的系统负荷，提升了所述结构光电子设备的系统性能。
下面通过具体实施例来进一步阐述本发明的结构光电子设备的具体应用。具体地，在人脸识别的安全验证应用中，2D图像识别存在一定的安全隐患，故可采用本发明的结构光电子设备，以实现更为安全的3D图像识别和验证。首先，基于彩色摄像头获取彩色图像，检测所述彩色图像中是否有人脸图像；若有人脸图像，则启动所述红外摄像头，获取人脸的红外图像；接着基于所述彩色图像和所述红外图像获取人脸的3D信息，构建人脸的RGB-D图像；最后，将所述RGB-D图像与预存的RGB-D图像进行比对，若二者相匹配，则通过人脸验证，若二者不匹配，则人脸验证不通过。上述人脸识别的安全验证可应用于楼宇门禁系统、银行操作系统等等。
如图6所示，于一实施例中，本发明的图像处理方法应用于图像处理单元中，具体包括以下步骤：
步骤S1、发送控制指令至红外激光发射单元和红外LED，以使所述红外激光发射单元和所述红外LED根据所述控制指令发送红外特征光至3D物体。
具体地，图像处理单元发送控制指令至红外激光发射单元和红外LED，所述红外激光发射单元和所述红外LED响应所述控制指令，分别发出第一红外光和第二红外光，从而构成红外特征光照射在3D物体上。
步骤S2、当所述红外摄像头和所述彩色摄像头根据拍摄指令基于所述红外特征光分别拍摄一副所述3D物体的红外图像和彩色图像时，根据接收到的红外图像生成所述红外图像的3D信息，以使应用处理单元根据接收到的所述彩色图像和所述3D信息生成所述3D物体的RGB-D图像。
具体地，所述红外摄像头和所述彩色摄像头在接收到拍摄指令后，基于所述红外特征光对所述3D物体进行拍摄，分别获取包含3D信息的红外图像和包含2D信息的彩色图像。所述图像处理单元对所述红外图像进行图像处理，生成所述红外图像的3D信息，所述应用处理单元根据所述3D信息和所述彩色图像生成所述3D物体的RGB-D图像。
其中，基于对所述红外摄像头和所述彩色摄像头的控制方式的不同，所述红外图像和所述彩色图像的传输方式也不同，导致所述图像处理单元进行的具体操作也不同。具体地，包括以下三种方式：
(1)所述图像处理单元和所述应用处理单元分别发送拍摄指令至所述红外摄像头和所述彩色摄像头。所述红外图像和所述彩色图像分别传输至所述图像处理单元和所述应用处理单元，所述图像处理单元对所述红外图像进行处理，获取3D信息，并将所述3D信息发送至所述应用处理单元。
(2)所述应用处理单元发送拍摄指令至所述红外摄像头和所述彩色摄像头。所述红外图像和所述彩色图像发送至所述应用处理单元，所述图像处理单元接收所述应用处理单元发送来的所述红外图像，对所述红外图像进行处理以获取3D信息，并将所述3D信息发送至所述应用处理单元。
(3)所述图像处理单元发送拍摄指令至所述红外摄像头和所述彩色摄像头。所述红外图像和所述彩色图像均传输至所述图像处理单元，所述图像处理单元对所述红外图像进行处理以获取3D信息，并将所述3D信息和所述彩色图像发送至所述应用处理单元。
如图7所示，于一实施例中，本发明的图像处理系统包括指令发送模块71和图像处理模块72。
所述指令发送模块71用于发送控制指令至红外激光发射单元和红外LED，以使所述红外激光发射单元和所述红外LED根据所述控制指令发送红外特征光至3D物体；
所述图像处理模块72与所述指令发送模块71相连，用于当所述红外摄像头和所述彩色摄像头根据拍摄指令基于所述红外特征光分别拍摄一副所述3D物体的红外图像和彩色图像时，根据接收到的红外图像生成所述红外图像的3D信息，以使应用处理单元根据接收到的所述彩色图像和所述3D信息生成所述3D物体的RGB-D图像。
其中，指令发送模块71和图像处理模块72的结构和原理与上述图像处理方法中的步骤一一对应，故在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
本发明的存储介质上存储有计算机程序，该所述计算机程序被处理器执行时实现上述的图像处理方法。所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图8所示，于一实施例中，本发明的图像处理芯片包括：处理器81及存储器82。
所述存储器82用于存储计算机程序。
所述存储器82包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器81与所述存储器82相连，用于执行所述存储器32存储的计算机程序，以使所述图像处理芯片执行上述的图像处理方法。
优选地，所述处理器81可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明的图像处理方法、系统、介质、芯片及结构光电子设备通过设置独立的图像处理单元来进行数据的采集和处理，降低了应用处理单元的工作负荷，提升了图像采集处理效率；能够通过不同的模式实现图像处理单元和应用处理单元的协同工作，从而能够根据不同的应用场景实现最佳系统性能；能够实现3D图像识别，可广泛应用于人脸识别、安防等技术领域。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种结构光电子设备，其特征在于：包括红外激光发射单元、红外LED、红外摄像头、彩色摄像头、图像处理单元和应用处理单元；
所述图像处理单元与所述红外激光发射单元、所述红外LED、所述红外摄像头和所述彩色摄像头相连，用于发送控制指令至所述红外激光发射单元和所述红外LED，以及根据接收到的红外图像，生成所述红外图像的3D信息；
所述红外激光发射单元和所述红外LED用于根据所述控制指令发送红外结构光至3D物体；
所述红外摄像头和所述彩色摄像头用于根据接收到的拍摄指令基于所述红外特征光分别拍摄一副所述3D物体的红外图像和彩色图像；
所述应用处理单元与所述图像处理单元、所述红外摄像头和所述彩色摄像头相连，用于根据接收到的所述彩色图像和所述3D信息，生成所述3D物体的RGB-D图像。
2.根据权利要求1所述的结构光电子设备，其特征在于：所述图像处理单元和所述应用处理单元分别向所述红外摄像头和所述彩色摄像头发送拍摄指令；所述红外摄像头将所述红外图像发送至所述图像处理单元，所述彩色摄像头将所述彩色图像发送至所述应用处理单元；所述图像处理单元将所述3D信息发送至所述应用处理单元。
3.根据权利要求1所述的结构光电子设备，其特征在于：所述应用处理单元向所述红外摄像头和所述彩色摄像头发送拍摄指令；所述红外摄像头和所述彩色摄像头分别将所述红外图像和所述彩色图像发送至所述应用处理单元，所述应用处理单元将所述红外图像发送至所述图像处理单元，所述图像处理单元将所述3D信息发送至所述应用处理单元。
4.根据权利要求1所述的结构光电子设备，其特征在于：所述图像处理单元向所述红外摄像头和所述彩色摄像头发送拍摄指令；所述红外摄像头和所述彩色摄像头分别将所述红外图像和所述彩色图像发送至所述图像处理单元，所述图像处理单元将所述3D信息和所述彩色图像发送至所述应用处理单元。
5.根据权利要求1所述的结构光电子设备，其特征在于：所述图像处理单元包括数字信号处理器，所述数字信号处理器用于根据接收到的红外图像，生成所述红外图像的3D信息。
6.根据权利要求1所述的结构光电子设备，其特征在于：所述应用处理单元包括主控模块和数字信号处理器；所述数字信号处理器用于根据接收到的所述彩色图像和所述3D信息，生成所述3D物体的RGB-D图像，所述主控模块用于与所述图像处理单元、所述红外摄像头和所述彩色摄像头进行通信。
7.一种图像处理方法，其特征在于：包括以下步骤：
发送控制指令至红外激光发射单元和红外LED，以使所述红外激光发射单元和所述红外LED根据所述控制指令发送红外特征光至3D物体；
当所述红外摄像头和所述彩色摄像头根据拍摄指令基于所述红外特征光分别拍摄一副所述3D物体的红外图像和彩色图像时，根据接收到的红外图像生成所述红外图像的3D信息，以使应用处理单元根据接收到的所述彩色图像和所述3D信息生成所述3D物体的RGB-D图像。
8.根据权利要求7所述的图像处理方法，其特征在于：还包括向所述红外摄像头发送拍摄指令，接收所述红外图像，令所述彩色图像发送至所述应用处理单元，并将所述3D信息发送至所述应用处理单元。
9.根据权利要求7所述的图像处理方法，其特征在于：还包括令所述红外图像和所述彩色图像发送至所述应用处理单元，接收所述应用处理单元发送来的所述红外图像，并将所述3D信息发送至所述应用处理单元。
10.根据权利要求7所述的图像处理方法，其特征在于：还包括向所述红外摄像头和所述彩色摄像头分别发送拍摄指令，接收所述红外图像和所述彩色图像，并将所述3D信息和所述彩色图像发送至所述应用处理单元。
11.一种图像处理系统，其特征在于：包括指令发送模块和图像处理模块；
所述指令发送模块用于发送控制指令至红外激光发射单元和红外LED，以使所述红外激光发射单元和所述红外LED根据所述控制指令发送红外特征光至3D物体；
所述图像处理模块用于当所述红外摄像头和所述彩色摄像头根据拍摄指令基于所述红外特征光分别拍摄一副所述3D物体的红外图像和彩色图像时，根据接收到的红外图像生成所述红外图像的3D信息，以使应用处理单元根据接收到的所述彩色图像和所述3D信息生成所述3D物体的RGB-D图像。
12.一种存储介质，其上存储有计算机程序，其特征在于，该所述计算机程序被处理器执行时实现权利要求7至10中任一项所述的图像处理方法。
13.一种图像处理芯片，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述图像处理芯片执行权利要求7至10中任一项所述的图像处理方法。
CN201910172453.5A 2019-03-07 2019-03-07 一种图像处理方法、系统、介质、芯片及结构光电子设备 Pending CN111669482A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910172453.5A CN111669482A (zh) 2019-03-07 2019-03-07 一种图像处理方法、系统、介质、芯片及结构光电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910172453.5A CN111669482A (zh) 2019-03-07 2019-03-07 一种图像处理方法、系统、介质、芯片及结构光电子设备

Publications (1)

Publication Number Publication Date
CN111669482A true CN111669482A (zh) 2020-09-15

Family

ID=72381832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910172453.5A Pending CN111669482A (zh) 2019-03-07 2019-03-07 一种图像处理方法、系统、介质、芯片及结构光电子设备

Country Status (1)

Country Link
CN (1) CN111669482A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781303A (zh) * 2021-09-01 2021-12-10 瑞芯微电子股份有限公司 图像处理方法、介质、处理器及电子设备
WO2023010874A1 (zh) * 2021-08-05 2023-02-09 华为技术有限公司 一种图像拍摄装置以及图像处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7870816B1 (en) * 2006-02-15 2011-01-18 Lockheed Martin Corporation Continuous alignment system for fire control
CN106686305A (zh) * 2016-12-22 2017-05-17 深圳众思科技有限公司 电子设备的图像处理方法及电子设备
CN107105217A (zh) * 2017-04-17 2017-08-29 深圳奥比中光科技有限公司 多模式深度计算处理器以及3d图像设备
CN108076253A (zh) * 2016-11-18 2018-05-25 福州瑞芯微电子股份有限公司 一种智能电子设备和图像处理单元、装置、方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7870816B1 (en) * 2006-02-15 2011-01-18 Lockheed Martin Corporation Continuous alignment system for fire control
CN108076253A (zh) * 2016-11-18 2018-05-25 福州瑞芯微电子股份有限公司 一种智能电子设备和图像处理单元、装置、方法
CN106686305A (zh) * 2016-12-22 2017-05-17 深圳众思科技有限公司 电子设备的图像处理方法及电子设备
CN107105217A (zh) * 2017-04-17 2017-08-29 深圳奥比中光科技有限公司 多模式深度计算处理器以及3d图像设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023010874A1 (zh) * 2021-08-05 2023-02-09 华为技术有限公司 一种图像拍摄装置以及图像处理方法
CN113781303A (zh) * 2021-09-01 2021-12-10 瑞芯微电子股份有限公司 图像处理方法、介质、处理器及电子设备
CN113781303B (zh) * 2021-09-01 2024-05-10 瑞芯微电子股份有限公司 图像处理方法、介质、处理器及电子设备

Similar Documents

Publication Publication Date Title
CN107105217B (zh) 多模式深度计算处理器以及3d图像设备
US8786679B2 (en) Imaging device, 3D modeling data creation method, and computer-readable recording medium storing programs
CN107424187B (zh) 深度计算处理器、数据处理方法以及3d图像设备
WO2018161466A1 (zh) 深度图像获取系统和方法
CN106210698B (zh) 深度相机的控制方法
US11887321B2 (en) Three-dimensional scanning image acquisition and processing methods and apparatuses, and three-dimensional scanning device
KR100776805B1 (ko) 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법
JP2021520154A (ja) 画像処理方法、コンピュータ可読記憶媒体、および電子機器
TWI709110B (zh) 攝像頭校準方法和裝置、電子設備
CN108495113B (zh) 用于双目视觉系统的控制方法和装置
CN108683902B (zh) 目标图像获取系统与方法
CN110191266B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN108332660B (zh) 机器人三维扫描系统和扫描方法
CN111669482A (zh) 一种图像处理方法、系统、介质、芯片及结构光电子设备
CN109040745B (zh) 摄像头自校准方法和装置、电子设备、计算机存储介质
JPWO2020236307A5 (zh)
JP7010209B2 (ja) 画像処理装置および方法
CN106817794A (zh) Tof电路模块及其应用
Zalud et al. Fusion of thermal imaging and CCD camera-based data for stereovision visual telepresence
CN111095297A (zh) 人脸识别的装置、方法和电子设备
CN109389631B (zh) 深度计算系统与方法
CN210166794U (zh) 人脸识别的装置和电子设备
CN106959747B (zh) 三维人体测量方法及其设备
JP2001119722A (ja) ３次元画像検出システムと３次元画像検出装置
US11170204B2 (en) Data processing method, electronic device and computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200915