CN113395496A - 图像处理装置、图像处理方法、电子设备以及存储介质 - Google Patents

图像处理装置、图像处理方法、电子设备以及存储介质 Download PDF

Info

Publication number
CN113395496A
CN113395496A CN202011042370.3A CN202011042370A CN113395496A CN 113395496 A CN113395496 A CN 113395496A CN 202011042370 A CN202011042370 A CN 202011042370A CN 113395496 A CN113395496 A CN 113395496A
Authority
CN
China
Prior art keywords
signal
image signal
image
signal transmission
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011042370.3A
Other languages
English (en)
Other versions
CN113395496B (zh
Inventor
吕俊
刘勇
孙士友
刘文君
郭润增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011042370.3A priority Critical patent/CN113395496B/zh
Publication of CN113395496A publication Critical patent/CN113395496A/zh
Application granted granted Critical
Publication of CN113395496B publication Critical patent/CN113395496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理装置、图像处理方法、电子设备以及存储介质,包括:采集模组,所述采集模组包括传感器以及所述传感器对应的第一信号传输端;信号转接板,所述信号转接板包括第二信号传输端以及第三信号传输端,所述第二信号传输端与所述第一信号传输端电性连接,所述第二信号传输端中的第一图像信号经所述信号转接板处理之后,得到第二图像信号,所述第二图像信号传输至所述第三信号传输端;主板,所述主板包括第四信号传输端,所述第四信号传输端与所述信号转接板电性连接,所述主板对所述第二图像信号进行处理,该方案可以提高图像处理装置的兼容性。

Description

图像处理装置、图像处理方法、电子设备以及存储介质
技术领域
本发明涉及计算机技术领域,具体涉及一种图像处理装置、图像处理方法、电子设备以及存储介质。
背景技术
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
其中,图像处理装置作为图像采集的基础,在计算机视觉技术中起到重要的作用,然而,受限于不同厂商图像处理装置的深度解决方案不同,因此,主板上无法兼容多家的深度芯片。
发明内容
本申请提供一种图像处理装置、图像处理方法、电子设备以及存储介质,可以提高图像处理装置的兼容性。
本申请提供了一种图像处理装置,包括:
采集模组,所述采集模组包括传感器以及所述传感器对应的第一信号传输端;
信号转接板,所述转接板包括第二信号传输端以及第三信号传输端,所述第二信号传输端与所述第一信号传输端电性连接,所述第二信号传输端中的图像信号经所述信号转接板处理之后,得到第二图像信号,所述第二图像信号传输至所述第三信号传输端;
主板,所述主板包括第四信号传输端,所述第四信号传输端与所述第三信号传输端电性连接,所述主板用于对所述第二图像信号进行处理。
可选的,在本申请的一些实施例中,所述信号转接板包括线路板和转接板,所述线路板通过所述第二信号传输端与所述采集模组电性连接,所述线路板通过所述第三信号传输端与所述主板电性连接,所述转接板设置在所述线路板上,所述转接板用于将所述第二信号传输端中的第一图像信号调整为第二图像信号,并将所述第二图像信号传输至所述第三信号传输端。
可选的,在本申请的一些实施例中,所述传感器包括颜色传感器和/或红外传感器,所述第一信号传输端包括所述颜色传感器对应的第一颜色图像信号传输端和/或所述红外传感器对应的第一红外图像信号传输端,所述转接板包括颜色信号转接器和红/或外信号转接器,所述第二信号传输端包括第二颜色图像信号传输端和/或第二红外图像信号传输端,所述第三信号传输端包括第三颜色图像信号传输端和/或第三红外图像信号传输端,所述图像信号包括第一颜色图像信号和/或第一红外图像信号;
其中,所述颜色信号转接器用于将所述第一颜色图像信号调整第二颜色图像信号,并将所述第二颜色图像信号传输至所述第三颜色图像信号传输端;和/或,所述红外信号转接器用于将所述第一红外图像信号调整至第二红外图像信号,并将所述第二红外图像信号传输至所述第三红外图像信号传输端。
可选的,在本申请的一些实施例中,所述颜色信号转接器包括第一颜色转接端和第二颜色转接端;
其中,所述第一颜色转接端与所述第二颜色图像信号传输端电性连接,所述第二颜色转接端与所述第三颜色图像信号传输端电性连接。
可选的,在本申请的一些实施例中,所述红外信号转接器包括第一红外转接端和第二红外转接端,所述第一红外转接端与所述第二红外图像信号传输端电性连接,所述第二红外转接端与所述第三红外图像信号传输端电性连接。
可选的,在本申请的一些实施例中,所述红外信号转接器还包括信号处理单元,所述信号处理单元包括具有第一引脚端和第二引脚端,所述第一引脚端与所述第一红外转接端电性连接,所述第二引脚端与所述第二红外转接端电性连接,所述信号处理单元对所述红外线传感器采集的红外图像进行处理,并将处理后得到的第二红外图像对应的信号传输至所述第二引脚端。
可选的,在本申请的一些实施例中,所述采集模组还包括壳体和支撑部,所述壳体与所述支撑部形成一收容空间,所述传感器设置在所述收容空间内,所述壳体的一侧面开设有通孔,所述第一信号传输端穿过所述通孔与所述第二信号传输端连接。
可选的,在本申请的一些实施例中,所述采集模组还包括激光发射单元以及距离检测单元,所述激光发射单元用于向所述传感器提供进行图像采集时所需的红外光,所述距离检测单元用于检测待采集的对象与采集模组之间的距离。
可选的,在本申请的一些实施例中,所述主板还包括应用处理器和第一连接器;
其中,所述第一连接器的第一端与所述第四传输端电性连接,所述第一连接器的第二端与所述应用处理器电性连接,所述应用处理器用于对所述第二图像信号进行处理。
可选的,在本申请的一些实施例中,所述主板还包括图像信号处理器、第二连接器以及控制芯片;
其中,所述控制芯片分别与所述应用处理器以及所述图像信号处理器相连,所述第二连接器的第一端与所述第四传输端电性连接,所述第二连接器的第二端与所述图像信号处理器电性连接;
所述控制芯片用于控制所述第一连接器的第二端使能,以便所述应用处理器对所述第二图像信号处理,或;
所述控制芯片用于控制所述第二连接器的第二端使能,以便所述图像信号处理器对所述第二图像信号处理。
相应的,本申请还提供了一种图像处理方法,应用于图像处理装置中,所述方法包括:
传感器采集目标对象的图像,将经传感器采集得到的第一图像信号由第一信号传输端传输至所述信号转接板的第二信号传输端;
所述信号转接板将所述第二信号传输端中的第一图像信号调整为第二图像信号;
所述第二图像信号经所述信号转接板的第三信号传输端传输至主板;
所述主板接收所述第二图像信号,并对所述第二图像信号进行处理。
可选的,在本申请的一些实施例中,所述信号转接板将所述第二信号传输端中的第一图像信号调整为第二图像信号,并将调整后的图像信号传输至所述信号传输端,包括:
所述信号转接板检测所述第一图像信号的信号类型;
当检测所述第一图像信号包括第一颜色图像信号时,所述信号转接板将所述第二信号传输端中的第一颜色图像信号调整为第二颜色图像信号,和/或;
当检测到所述第一图像信号包括第一红外图像信号时,所述信号转接板根据所述传感器的传感器类型将所述第二信号传输端中的第一红外图像信号调整为第二红外图像信号。
可选的,在本申请的一些实施例中,,所述信号转接板根据所述传感器的传感器类型将所述第二信号传输端中的第一红外图像信号调整为预设类型的第二红外图像信号,包括:
当所述传感器的传感器类型为预设传感器类型时,所述信号转接板对采集的红外图像进行处理;
所述信号转接板将处理后的红外图像对应的信号调整至预设类型的红外图像信号。
本申请提供的图像处理装置以及图像处理方法,其中,所述图像处理装置包括:采集模组,所述采集模组包括传感器以及所述传感器对应的第一信号传输端;信号转接板,所述信号转接板包括第二信号传输端以及第三信号传输端,所述第二信号传输端与所述第一信号传输端电性连接,所述第二信号传输端中的第一图像信号经所述信号转接板处理之后,得到第二图像信号,所述第二图像信号传输至所述第三信号传输端;主板,所述主板包括第四信号传输端,所述第四信号传输端与所述信号转接板电性连接,所述主板对所述第二图像信号进行处理,本申请提供了一种新型的图像处理装置,利用信号转接板将第二信号传输端中的第一图像信号调整为第二图像信号,便于主板后续对第二图像信号进行处理,因此,提高了图像处理装置的兼容性。
附图说明
为了更清楚地说明本申请中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请提供的图像处理装置的第一种实施方式的结构示意图;
图1b是本申请提供的图像处理装置的第二种实施方式的结构示意图;
图1c是本申请提供的图像处理装置的第三种实施方式的结构示意图
图1d是本申请提供的颜色信号转接器的结构示意图;
图1e是本申请提供的红外信号转接器的结构示意图;
图1f是本申请提供的图像处理装置的第四种实施方式的结构示意图;
图1g是本申请提供的图像处理方法的流程示意图;
图2a是本申请提供的图像处理方法的另一流程示意图;
图2b是本申请提供的刷脸设备C的传感器的结构示意图;
图3是本申请提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优先顺序的限定。
本申请提供一种图像处理装置、图像处理方法、电子设备和存储介质。
请参阅图1a,该图像处理装置1包括采集模组10、信号转接板20以及主板30,其中,采集模组10包括传感器10A以及传感器10A对应的第一信号传输端10B,信号转接板20包括第二信号传输端20A以及第三信号传输端20B,第二信号传输端20A与第一信号传输端10B电性连接,第二信号传输端20A中的第一图像信号经信号转接板20处理之后,得到第二图像信号,并将第二图像信号传输至第三信号传输端20B,主板包括第四信号传输端30A,第四信号传输端30A与第三信号传输端20B电性连接,主板对第二图像信号进行处理。
进一步的,请参阅图1b,信号转接板20包括线路板201和转接板202,线路板201通过第二信号传输端20A与采集模组10电性连接,线路板201通过第三信号传输端20B与主板30电性连接,转接板202设置在线路板201上,转接板202用于将第二信号传输端20A中的图像信号调整为预设类型的图像信号,并将调整后的图像信号传输至第三信号传输端20B中。
可选的,在一些实施例中,如图1b所示,本申请提供的传感器可以包括颜色传感器10A1和红外传感器10A2,颜色传感器10A1又称RGB传感器,在本申请中,颜色传感器10A1负责将光信号转换为电性号,再经过内部数模转换为数字信号,数字信号再经过图像处理芯片加工处理,从而转换成在屏幕上能够看到的图像。
可以理解的是,图像信号包括颜色图像信号和红外图像信号,如图1b所示,第一信号传输端10B包括颜色传感器10A1对应的第一颜色图像信号传输端10B1和红外传感器10A2对应的第一红外图像信号传输端10B2,转接板20包括颜色信号转接器21和红外信号转接器22,第二信号传输端20A包括第二颜色图像信号传输端20A1和第二红外图像信号传输端20A2,第三信号传输端20B包括第三颜色图像信号传输端20B1和第三红外图像信号传输端20B2,其中,颜色信号转接器21用于将颜色图像信号调整至预设类型的颜色图像信号,并将调整后的颜色图像信号传输至第三颜色图像信号传输端20B1;红外信号转接器22用于将红外图像信号调整至预设类型的红外图像信号,并将调整后的红外图像信号传输至第三红外图像信号传输端20B2。
可选的,在一些实施例中,请继续参阅图1b,主板30还可以包括应用处理器30B和第一连接器30C,其中,第一连接器30C的第一端与第四传输端30A电性连接,第一连接器30C的第二端与应用处理器30B电性连接,应用处理器30B用于对第二图像信号进行处理。
由此可见,传感器(颜色传感器10A1和红外传感器10A2)采集的图像信号是经第四传输端30A以及第一连接器C传输至应用处理器30B的,因而图像处理过程均通过应用处理器30B来进行,应用处理器30B的处理压力较大,且应用处理器30B对图像信号处理功能性能较差,图像识别性能较差,从而使得人脸识别准确性不高。
因此,本申请在主板30增加独立的图像信号处理器(Image Signal Processor,ISP),传感器进行图像采集后,可以通过独立ISP进行处理,再将经处理的图像信号传输至应用处理器30B,进行图像识别等操作等,由此,独立ISP不但可以分担应用处理器30B的处理压力,而且相较应用处理器30B而言,独立ISP的图像处理性能显然很好,从而提升图像识别性能,进而提升图像识别率,即,在一些实施例中,请参阅图1c,主板30还包括图像信号处理器30D、第二连接器30E以及控制芯片30F;其中,控制芯片30F分别与应用处理器30B以及图像信号处理器30D相连,第二连接器30E的第一端与第四传输端30A电性连接,第二连接器30E的第二端与图像信号处理器30D电性连接,控制芯片30F控制第一连接器30C的第二端使能,以便应用处理器30B对第二图像信号处理,或,控制芯片30F控制第二连接器30E的第二端使能,以便图像信号处理器30D对第二图像信号处理,在本申请中,以图像处理装置应用于人脸识别设备为例,独立的图像信号处理器30D可用于实现如下功能:
(1)RGB参数调试(tuning),可用于修改算法的参数,让图像画质达到最优。一般而言,选定了硬件之后,硬件所能提供的图像画质效果是固定的,而能提升进一步图像画质的工作就只有tuning了,通过不断的权衡tuning参数,使得硬件在主观效果和客观效果方面都有较好的表现。
(2)高动态范围图像(High-Dynamic Range,HDR)功能,例如采用支持HDR效果的摄像头模组时,不设置独立ISP的AP平台无法充分实现摄像头模组的HDR效果,而增加独立ISP之后,则可以将HDR效果调至最优。
(3)宽动态范围(Wide Dynamic Range,WDR),WDR功能能够使得图像中特别亮的部位和特别暗的部位同时都能表现特别清楚,提升图像细节。
(4)3D降噪,用于降低用户晃动带来的图像模糊影响,提升图像的降噪去抖效果。
(5)人脸自动曝光(FACE Automatic Exposure,FACE AE)功能。
(6)RGB三图对齐。
(7)压缩传输,传感器输出的数据Raw data通常是RGB格式,可将RGB格式转换为明亮度-色度(YUV)格式,以便于图像数据的处理,并且便于图像数据的传输,节省带宽。
(8)由于统一为USB口,无需考虑平台,实现软件归一。
当然,独立的图像信号处理器30D可用于还可以包括其他可能的图像信号处理功能,本申请实施例对此不做限制。
请参阅图1d,颜色信号转接器21包括第一颜色转接端21A和第二颜色转接端21B,第一颜色转接端21A与第二颜色图像信号传输端20A1电性连接,第二颜色转接端21B与第三颜色图像信号传输端20B1电性连接。
请参阅图1e,红外信号转接器22包括第一红外转接端22A和第二红外转接端22B,第一红外转接端21A与第二红外图像信号传输端20A2电性连接,第二红外转接端21B与第三红外图像信号传输端20B2电性连接。
在此,需要说明的是,红外传感器采集图像的方案可以包括结构光方案和飞行时间法(Time of flight,Tof)方案,其中,结构光技术的基本原理是,通过红外激光器,将具有一定结构特征的光线投射到被拍摄物体上,再由专门的红外传感器进行采集。这种具备一定结构的光线,会因被摄物体的不同深度区域,而采集不同的图像相位信息,然后,再将采集的图像相位信息传输至运算单元,以便将这种结构的变化换算成深度信息,以此来获得三维结构,所谓飞行时间法是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似,只不过3D激光传感器是逐点扫描,而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处,都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非侵入式三维探测、适用领域非常类似的双目测量系统相比,TOF相机具有根本不同3D成像机理。双目立体测量通过左右立体像对匹配后,再经过三角测量法来进行立体探测,而TOF相机是通过入、反射光探测来获取的目标距离获取。TOF技术采用主动光探测方式,与一般光照需求不一样的是,TOF照射单元的目的不是照明,而是利用入射光信号与反射光信号的变化来进行距离测量,所以,TOF的照射单元都是对光进行高频调制之后再进行发射,比如LED或激光二极管发射的脉冲光,脉冲可达到100MHz。与普通相机类似,TOF相机芯片前端需要一个搜集光线的镜头。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。同时由于光学成像系统具有透视效果,不同距离的场景为各个不同直径的同心球面,而非平行平面,所以在实际使用时,需要后续处理单元对这个误差进行校正。作为TOF的相机的核心,TOF芯片每一个像元对入射光往返相机与物体之间的相位分别进行纪录。该传感器结构与普通图像传感器类似,但比图像传感器更复杂,它包含2个或者更多快门,用来在不同时间采样反射光线。因为这种原因,TOF芯片像素比一般图像传感器像素尺寸要大得多,一般100um左右。照射单元和TOF传感器都需要高速信号控制,这样才能达到高的深度测量精度。比如,照射光与TOF传感器之间同步信号发生10ps的偏移,就相当于1.5mm的位移。而当前的CPU可到3GHz,相应得时钟周期是300ps,则相应得深度分辨率为45mm。运算单元主要是完成数据校正和计算工作,通过计算入射光与反射光相对相移关系,即可求取距离信息,超声波的波长比一般声波要短,具有较好的方向性,而且能透过不透明物质,这一特性已被广泛用于超声波探伤、测厚、测距、遥控和超声成像技术。超声成像是利用超声波呈现不透明物内部形象的技术。把从换能器发出的超声波经声透镜聚焦在不透明试样上,从试样透出的超声波携带了被照部位的信息(如对声波的反射、吸收和散射的能力),经声透镜汇聚在压电接收器上,所得电性号输入放大器,利用扫描系统可把不透明试样的形象显示在荧光屏上。上述装置称为超声显微镜。超声成像技术已在医疗检查方面获得普遍应用,在微电子器件制造业中用来对大规模集成电路进行检查,在材料科学中用来显示合金中不同组分的区域和晶粒间界等。声全息术是利用超声波的干涉原理记录和重现不透明物的立体图像的声成像技术,其原理与光波的全息术基本相同,只是记录手段不同而已(见全息术)。用同一超声信号源激励两个放置在液体中的换能器,它们分别发射两束相干的超声波:一束透过被研究的物体后成为物波,另一束作为参考波。物波和参考波在液面上相干叠加形成声全息图,用激光束照射声全息图,利用激光在声全息图上反射时产生的衍射效应而获得物的重现像,通常用摄像机和电视机作实时观察。
可知,对于结构光方案的红外传感器而言,需要将采集的图像相位信息传输至运算单元,因此,在一些实施例中,请参阅图1f,红外信号转接器22还包括信号处理单元22C,信号处理单元22C包括具有第一引脚端22C1和第二引脚端22C2,第一引脚端22C1与第一红外转接端22A电性连接,第二引脚端22C2与第二红外转接端22B电性连接,信号处理单元22C用于当红外传感器10A2为预设传感器类型的传感器时,对红外线传感器10A2采集的红外图像进行处理,并将处理后的红外图像对应的信号传输至所述第二引脚端,以便红外转接器22将处理后的红外图像对应的红外图像信号调整至预设类型的红外图像信号。
可以理解的是,第二信号传输端20A包括第二颜色图像信号传输端20A1和第二红外图像信号传输端20A2,第一信号传输端10B包括颜色传感器10A1对应的第一颜色图像信号传输端10B1和红外传感器10A2对应的第一红外图像信号传输端10B2,因此,通过10E可以包括第一通孔10E1和第二通孔10E2,以便第一颜色图像信号传输端10B1穿过第一通孔10E1与第二颜色图像信号传输端20A1连接,以及第一红外图像信号传输端10B2穿过第二通孔10E2与第二红外图像信号传输端20A2连接连接。
进一步的,请继续参阅图1f,采集模组10还包括激光发射单元10F以及距离检测单元10G,激光发射单元10F用于为传感器10A进行图像采集时所需的红外光,距离检测单元10G用于检测待采集的对象与采集模组10之间的距离。
比如,当红外传感器10A2为结构光传感器时,激光发射单元10F将具有一定结构特征的光线投射到被拍摄物体(如人脸)上,再由专门的结构光传感器进行采集,距离检测单元10G检测人脸与采集模组10之间的距离,当距离检测单元10G检测到与采集模组10之间的距离小于预设距离时,则关闭激光发射单元10F,以免激光发射单元10F发出的红外光对人眼造成损伤。
本申请提供的图像处理装置,利用转接板20将第二信号传输端20A中的图像信号调整为预设类型的图像信号,便于主板30后续对调整后的图像信号进行处理,因此,提高了图像处理装置1的兼容性。。
相应的,本申请还提供一种图像处理方法,应用于上述图像处理装置,该方法包括:传感器采集目标对象的图像,第一信号传输端将采集的图像对应的图像信号传输至所述第二信号传输端,信号转接板将第二信号传输端中的图像信号调整为预设类型的图像信号,并将调整后的图像信号传输至信号传输端,主板接收调整后的图像信号,并对调整后的图像信号进行处理。
请参阅图1g,图1g为本申请提供的图像处理方法的流程示意图。该图像处理方法的具体流程可以如下:
101、传感器采集目标对象的图像,并将采集的图像对应的图像信号通过第一信号传输端传输至第二信号传输端。
传感器可以包括颜色传感器(又称RGB传感器)和红外传感器,第一信号传输端包括第一颜色图像信号传输端和第一红外图像信号传输端,例如,具体的,颜色传感器可以采集目标人脸的颜色图像,红外传感器可以采集目标人脸的红外图像,然后,颜色传感器将通过其镜头的光信号转换为电性号,再经过内部数模转换为数字信号(即颜色图像信号),再将颜色图像信号通过第一颜色图像信号传输端传输至第二颜色图像信号传输端,同理,红外传感器将通过其镜头的光信号转换为电性号,再经过内部数模转换为数字信号(即红外图像信号),再将红外图像信号通过第一红外图像信号传输端传输至第二红外图像信号传输端。
102、信号转接板将第二信号传输端中的图像信号调整为预设类型的图像信号,并将调整后的图像信号传输至信号传输端。
在本申请中,利用转接板将第二信号传输端中的图像信号调整为预设类型的图像信号,可以实现不同类型的传感器与同一主板之间的连接,因此,提高了图像处理装置的兼容性,其中,图像信号包括颜色图像信号和红外图像信号,即,可选的,在一些实施例中,步骤“信号转接板将第二信号传输端中的图像信号调整为预设类型的图像信号”,具体可以包括:
(11)信号转接板检测图像信号的信号类型;
(12)当检测到图像信号为颜色图像信号时,信号转接板将第二信号传输端中的颜色图像信号调整为预设类型的颜色图像信号,并将调整后的颜色图像信号传输至信号传输端;
(13)当检测到图像信号为红外图像信号时,信号转接板根据传感器的传感器类型将第二信号传输端中的红外图像信号调整为预设类型的红外图像信号,并将调整后的红外图像信号传输至信号传输端。
可以理解的是,第二信号传输端中的图像信号包括多种信号,如控制信号和电源信号等等,因此,可以分别将这些信号调整至相应类型的信号,比如,对于颜色图像信号中的控制信号而言,可以将其对应的信号类型调整为“Depth_SCL”,具体根据实际情况进行设置,同理,对于红外图像信号而言也是如此,在此不再赘述。
需要说明的是,对于结构光方案的红外传感器而言,需要将采集的图像相位信息传输至运算单元,也即,在一些实施例中,步骤“信号转接板根据传感器的传感器类型将第二信号传输端中的红外图像信号调整为预设类型的红外图像信号”,具体可以包括:
(21)当传感器的传感器类型为预设传感器类型时,信号转接板对采集的红外图像进行处理;
(22)信号转接板将处理后的红外图像对应的信号调整至预设类型的红外图像信号。
比如,预设传感器类型为结构光类型,当检测到传感器的传感器类型为结构光类型时,信号转接板中的信号处理单元则对红外图像进行处理,比如,信号转接板中的信号处理单元则对红外图像进行深度处理,得到红外图像的深度图像,然后,信号转接板将该深度图像对应的信号调整至预设类型的红外图像信号。
103、主板接收调整后的图像信号,并对调整后的图像信号进行处理。
例如,具体的,主板在接收到调整后的图像信号后,可以解析调整后的图像信号,得到调整后的图像信号对应图像(以下称为目标图像),比如,当传感器为Tof传感器时,主板可以对目标图像进行深度计算;又比如,主板可以对目标图像的人像进行识别等等,具体根据实际需求进行选择,在此不再赘述。
本申请的图像识别方法,利用转接板将第二信号传输端中的图像信号调整为预设类型的图像信号,便于主板后续对调整后的图像信号进行处理,从而在同一主板上可以实现多任务处理。
根据实施例所述的方法,以下将举例进一步详细说明。
在本实施例中将以该图像处理装置具体集成在终端中为例进行说明。
请参阅图2a,一种图像处理方法,具体流程可以如下:
201、终端的传感器采集目标对象的图像,并将采集的图像对应的图像信号通过第一信号传输端传输至第二信号传输端。
例如,具体的,传感器可以包括颜色传感器(又称RGB传感器)和红外传感器,第一信号传输端包括第一颜色图像信号传输端和第一红外图像信号传输端,当终端接收到用户触发的图像采集操作时,终端基于该图像采集操作,调用传感器采集目标对象的图像,并将采集的图像对应的图像信号通过第一信号传输端传输至第二信号传输端。
202、终端的信号转接板将第二信号传输端中的图像信号调整为预设类型的图像信号,并将调整后的图像信号传输至信号传输端。
在本申请中,利用转接板将第二信号传输端中的图像信号调整为预设类型的图像信号,可以实现不同类型的传感器与同一主板之间的连接,因此,提高了图像处理装置的兼容性,第一信号传输端包括颜色传感器对应的第一颜色图像信号传输端和红外传感器对应的第一红外图像信号传输端,转接板包括颜色信号转接器和红外信号转接器,其中,颜色信号转接器用于将颜色图像信号调整至预设类型的颜色图像信号,并将调整后的颜色图像信号传输至颜色图像信号传输端;红外信号转接器用于将红外图像信号调整至预设类型的红外图像信号,并将调整后的红外图像信号传输至红外图像信号传输端,请参阅表1和表2,表1为颜色信号转接器的引脚定义,表2为红外信号转接器的引脚定义;
Figure BDA0002707026560000141
Figure BDA0002707026560000151
Figure BDA0002707026560000161
表1
Figure BDA0002707026560000162
Figure BDA0002707026560000171
Figure BDA0002707026560000181
Figure BDA0002707026560000191
Figure BDA0002707026560000201
表2
203、终端的主板接收调整后的图像信号,并对调整后的图像信号进行处理。
为了便于进一步理解本申请的图像处理方案,以下对本申请的图像处理装置及图像处理方法进行进一步介绍,以图像处理装置集成在刷脸设备为例进行说明,刷脸是人脸生物特征识别技术的俗称,即通过人脸识别技术进行身份鉴定的过程,因此,可以理解的是,刷脸设备即为人脸识别设备,具体的,用户A向用户B购买某个商品时,用户A选择通过刷脸设备C进行支付相应的费用,当刷脸设备C检测到用户B触发的图像识别请求时,刷脸设备C的传感器采集目标对象的图像,并将采集的图像对应的图像信号通过第一信号传输端传输至第二信号传输端,然后,刷脸设备C的信号转接板将第二信号传输端中的图像信号调整为预设类型的图像信号,并将调整后的图像信号传输至信号传输端,最后,刷脸设备C的主板接收调整后的图像信号,并对调整后的图像信号进行处理,比如,刷脸设备C验证用户A的人脸,完成相应的支付操作。
其中,刷脸设备C的传感器的结构示意图如图2b所示,在本申请中,刷脸设备C利用转接板将第二信号传输端中的图像信号调整为预设类型的图像信号,便于刷脸设备C的主板后续对调整后的图像信号进行处理,因此,提高了刷脸设备C的图像处理装置的兼容性。
此外,本申请还提供一种电子设备,如图3所示,其示出了本申请所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器301、一个或一个以上计算机可读存储介质的存储器302、电源303和输入单元304等部件。本领域技术人员可以理解,图3中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器301是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器302内的软件程序和/或模块,以及调用存储在存储器302内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器301可包括一个或多个处理核心;优选的,处理器301可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器301中。
存储器302可用于存储软件程序以及模块,处理器301通过运行存储在存储器302的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器302可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器302可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器302还可以包括存储器控制器,以提供处理器301对存储器302的访问。
电子设备还包括给各个部件供电的电源303,优选的,电源303可以通过电源管理系统与处理器301逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源303还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元304,该输入单元304可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器301会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器302中,并由处理器301来运行存储在存储器302中的应用程序,从而实现各种功能,如下:
传感器采集目标对象的图像,第一信号传输端将采集的图像对应的图像信号传输至所述第二信号传输端,信号转接板将第二信号传输端中的图像信号调整为图像信号,并将调整后的图像信号传输至信号传输端,主板接收调整后的图像信号,并对调整后的图像信号进行处理。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
本申请提供的图像处理装置,利用转接板将第二信号传输端中的图像信号调整为图像信号,便于主板后续对调整后的图像信号进行处理,因此,提高了图像处理装置的兼容性。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请所提供的任一种图像处理方法中的步骤。例如,该指令可以执行如下步骤:
传感器采集目标对象的图像,第一信号传输端将采集的图像对应的图像信号传输至所述第二信号传输端,信号转接板将第二信号传输端中的图像信号调整为图像信号,并将调整后的图像信号传输至信号传输端,主板接收调整后的图像信号,并对调整后的图像信号进行处理。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请所提供的任一种图像处理方法中的步骤,因此,可以实现本申请所提供的任一种图像处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的方法。
以上对本申请所提供的一种图像处理装置、图像处理方法、电子设备以及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种图像处理装置,其特征在于,包括:
采集模组,所述采集模组包括传感器以及所述传感器对应的第一信号传输端;
信号转接板,所述信号转接板包括第二信号传输端以及第三信号传输端,所述第二信号传输端与所述第一信号传输端电性连接,所述第二信号传输端中的第一图像信号经所述信号转接板处理之后,得到第二图像信号,所述第二图像信号传输至所述第三信号传输端;
主板,所述主板包括第四信号传输端,所述第四信号传输端与所述第三信号传输端电性连接,所述主板对所述第二图像信号进行处理。
2.根据权利要求1所述的图像处理装置,其特征在于,所述信号转接板包括线路板和转接板,所述线路板通过所述第二信号传输端与所述采集模组电性连接,所述线路板通过所述第三信号传输端与所述主板电性连接,所述转接板设置在所述线路板上,所述转接板用于将所述第一图像信号调整为所述第二图像信号,并将所述第二图像信号传输至所述第三信号传输端。
3.根据权利要求2所述的图像处理装置,其特征在于,所述传感器包括颜色传感器和/或红外传感器,所述第一信号传输端包括所述颜色传感器对应的第一颜色图像信号传输端和/或所述红外传感器对应的第一红外图像信号传输端,所述转接板包括颜色信号转接器和/或红外信号转接器,所述第二信号传输端包括第二颜色图像信号传输端和/或第二红外图像信号传输端,所述第三信号传输端包括第三颜色图像信号传输端和/或第三红外图像信号传输端,所述第一图像信号包括第一颜色图像信号和/或第一红外图像信号;
其中,所述颜色信号转接器用于将所述第一颜色图像信号调整至第二颜色图像信号,并将所述第二颜色图像信号传输至所述第三颜色图像信号传输端;和/或,所述红外信号转接器用于将所述第一红外图像信号调整至第二红外图像信号,并将所述第二红外图像信号传输至所述第三红外图像信号传输端。
4.根据权利要求3所述的方法,其特征在于,所述颜色信号转接器包括第一颜色转接端和第二颜色转接端;
其中,所述第一颜色转接端与所述第二颜色图像信号传输端电性连接,所述第二颜色转接端与所述第三颜色图像信号传输端电性连接。
5.根据权利要求3所述的图像处理装置,其特征在于,所述红外信号转接器包括第一红外转接端和第二红外转接端,所述第一红外转接端与所述第二红外图像信号传输端电性连接,所述第二红外转接端与所述第三红外图像信号传输端电性连接。
6.根据权利要求5所述的图像处理装置,其特征在于,所述红外信号转接器还包括信号处理单元,所述信号处理单元包括具有第一引脚端和第二引脚端,所述第一引脚端与所述第一红外转接端电性连接,所述第二引脚端与所述第二红外转接端电性连接,所述信号处理单元对所述红外线传感器采集的第一红外图像信号进行处理,并将处理后得到的第二红外图像信号传输至所述第二引脚端。
7.根据权利要求1所述的图像处理装置,其特征在于,所述采集模组还包括壳体和支撑部,所述壳体与所述支撑部形成一收容空间,所述传感器设置在所述收容空间内,所述壳体的一侧面开设有通孔,所述第一信号传输端穿过所述通孔与所述第二信号传输端连接。
8.根据权利要求7所述的图像处理装置,其特征在于,所述采集模组还包括激光发射单元和/或距离检测单元,所述激光发射单元用于向所述传感器提供进行图像采集时所需的红外光,和/或,所述距离检测单元用于检测待采集的对象与采集模组之间的距离。
9.根据权利要求1所述的图像处理装置,其特征在于,所述主板还包括应用处理器和第一连接器;
其中,所述第一连接器的第一端与所述第四传输端电性连接,所述第一连接器的第二端与所述应用处理器电性连接,所述应用处理器用于对所述第二图像信号进行处理。
10.根据权利要求9所述的图像处理装置,其特征在于,所述主板还包括图像信号处理器、第二连接器以及控制芯片;
其中,所述控制芯片分别与所述应用处理器以及所述图像信号处理器相连,所述第二连接器的第一端与所述第四传输端电性连接,所述第二连接器的第二端与所述图像信号处理器电性连接;
所述控制芯片用于控制所述第一连接器的第二端使能,以便所述应用处理器对所述第二图像信号处理,或;
所述控制芯片用于控制所述第二连接器的第二端使能,以便所述图像信号处理器对所述第二图像信号处理。
11.一种图像处理方法,应用于图像处理装置中,其特征在于,包括:
传感器采集目标对象的图像,将经传感器采集得到的第一图像信号由第一信号传输端传输至所述信号转接板的第二信号传输端;
所述信号转接板将所述第二信号传输端中的第一图像信号调整为第二图像信号;
所述第二图像信号经所述信号转接板的信号传输端传输至主板;
所述主板接收所述第二图像信号,并对所述第二图像信号进行处理。
12.根据权利要求11所述的方法,其特征在于,所述信号转接板将所述第二信号传输端中的第一图像信号调整为第二图像信号,包括:
所述信号转接板检测所述第一图像信号的信号类型;
当检测到所述第一图像信号包括第一颜色图像信号时,所述信号转接板将所述第二信号传输端中的第一颜色图像信号调整为第二颜色图像信号,和/或;
当检测到所述第一图像信号包括第一红外图像信号时,所述信号转接板根据所述传感器的传感器类型将所述第二信号传输端中的第一红外图像信号调整为第二红外图像信号。
13.根据权利要求12所述的方法,其特征在于,所述信号转接板根据所述传感器的传感器类型将所述第二信号传输端中的第一红外图像信号调整为第二红外图像信号,包括:
当所述传感器的传感器类型为预设传感器类型时,所述信号转接板对采集的红外图像进行处理;
所述信号转接板将处理后的红外图像对应的信号调整至预设类型的红外图像信号。
14.一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求11至13任一项所述图像处理方法的步骤。
15.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求11至13任一项所述图像处理方法的步骤。
CN202011042370.3A 2020-09-28 2020-09-28 图像处理装置、图像处理方法、电子设备以及存储介质 Active CN113395496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011042370.3A CN113395496B (zh) 2020-09-28 2020-09-28 图像处理装置、图像处理方法、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011042370.3A CN113395496B (zh) 2020-09-28 2020-09-28 图像处理装置、图像处理方法、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN113395496A true CN113395496A (zh) 2021-09-14
CN113395496B CN113395496B (zh) 2024-03-29

Family

ID=77616486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011042370.3A Active CN113395496B (zh) 2020-09-28 2020-09-28 图像处理装置、图像处理方法、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN113395496B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110169933A1 (en) * 2008-07-31 2011-07-14 Intelligence In Medical Technologies Method and system for centralizing construction of images
KR20120050617A (ko) * 2010-11-11 2012-05-21 엘지전자 주식회사 멀티미디어 장치와 복수 개의 이종 이미지 센서 그리고 그 제어방법
WO2013105041A1 (en) * 2012-01-10 2013-07-18 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US20170111600A1 (en) * 2015-10-16 2017-04-20 Capso Vision, Inc. Single Image Sensor for Capturing Mixed Structured-light Images and Regular Images
US20170195641A1 (en) * 2014-06-13 2017-07-06 Beijing Research Center For Information Technology In Agriculture Agricultural remote sensing system
CN107274368A (zh) * 2017-06-16 2017-10-20 大连交通大学 兼容性视觉处理系统及方法
US20170339329A1 (en) * 2016-05-19 2017-11-23 Scenera, Inc. Intelligence Interface for Interchangable Sensors
CN108702443A (zh) * 2017-08-24 2018-10-23 深圳市大疆创新科技有限公司 图像处理方法、设备及无人机
WO2020001041A1 (zh) * 2018-06-28 2020-01-02 Oppo广东移动通信有限公司 深度处理器和三维图像设备
WO2020041987A1 (zh) * 2018-08-28 2020-03-05 深圳市汇顶科技股份有限公司 生物特征识别装置、方法和电子设备
CN111609932A (zh) * 2020-05-25 2020-09-01 南京大学 一种光谱和深度信息实时采集装置及方法
CN111860530A (zh) * 2020-07-31 2020-10-30 Oppo广东移动通信有限公司 电子设备、数据处理方法及相关装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110169933A1 (en) * 2008-07-31 2011-07-14 Intelligence In Medical Technologies Method and system for centralizing construction of images
KR20120050617A (ko) * 2010-11-11 2012-05-21 엘지전자 주식회사 멀티미디어 장치와 복수 개의 이종 이미지 센서 그리고 그 제어방법
WO2013105041A1 (en) * 2012-01-10 2013-07-18 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US20170195641A1 (en) * 2014-06-13 2017-07-06 Beijing Research Center For Information Technology In Agriculture Agricultural remote sensing system
US20170111600A1 (en) * 2015-10-16 2017-04-20 Capso Vision, Inc. Single Image Sensor for Capturing Mixed Structured-light Images and Regular Images
US20170339329A1 (en) * 2016-05-19 2017-11-23 Scenera, Inc. Intelligence Interface for Interchangable Sensors
CN107274368A (zh) * 2017-06-16 2017-10-20 大连交通大学 兼容性视觉处理系统及方法
CN108702443A (zh) * 2017-08-24 2018-10-23 深圳市大疆创新科技有限公司 图像处理方法、设备及无人机
WO2020001041A1 (zh) * 2018-06-28 2020-01-02 Oppo广东移动通信有限公司 深度处理器和三维图像设备
WO2020041987A1 (zh) * 2018-08-28 2020-03-05 深圳市汇顶科技股份有限公司 生物特征识别装置、方法和电子设备
CN111609932A (zh) * 2020-05-25 2020-09-01 南京大学 一种光谱和深度信息实时采集装置及方法
CN111860530A (zh) * 2020-07-31 2020-10-30 Oppo广东移动通信有限公司 电子设备、数据处理方法及相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
米永奇;卢荣胜;: "1394总线多视觉传感器并行图像采集处理技术", 合肥工业大学学报(自然科学版), no. 05, 28 May 2007 (2007-05-28) *

Also Published As

Publication number Publication date
CN113395496B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN107209008B (zh) 结构化光图案生成
EP3134850B1 (en) Method for controlling a camera based on processing an image captured by other camera
TW512286B (en) Real-time opto-electronic image processor
US11258962B2 (en) Electronic device, method, and computer-readable medium for providing bokeh effect in video
CN104052967B (zh) 智能水下偏振目标深度图获取系统及其方法
CN107113373B (zh) 在电子信息处理系统中的方法及信息处理系统
CN113491497B (zh) 偏振光内窥镜装置
CN112884666B (zh) 图像处理方法、装置及计算机存储介质
US20200177869A1 (en) Electronic device and method for acquiring depth information by using at least one of cameras or depth sensor
CN111679289A (zh) 一种深度计算系统、方法及计算机可读存储介质
CN110213491B (zh) 一种对焦方法、装置及存储介质
CN110378971A (zh) 一种图像对齐精度的检测方法及装置、设备、存储介质
TW202301272A (zh) 分散式深度資料處理
US20190272423A1 (en) Method for generating plural information using camera to sense plural wave bandwidth and apparatus thereof
CN113395496B (zh) 图像处理装置、图像处理方法、电子设备以及存储介质
US20220028102A1 (en) Devices and methods for determining confidence in stereo matching using a classifier-based filter
CN109121194B (zh) 用于电子设备的状态转换的方法和装置
US11676293B2 (en) Methods for depth sensing using candidate images selected based on an epipolar line
JP3151472B2 (ja) 3次元物体像の生成方法
CN115066882A (zh) 用于执行自动对焦的电子装置和方法
Oi et al. Real-time IP–hologram conversion hardware based on floating point DSPs
CN112184537A (zh) 异构计算架构摄像系统及图像处理方法
CN210006063U (zh) 一种检测设备
CN111679422B (zh) 显微镜、图像处理系统及图像处理方法
US20230288690A1 (en) Microscope system and system, method, and computer program for a microscope system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40052241

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant