CN111511263B - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN111511263B
CN111511263B CN201880083095.4A CN201880083095A CN111511263B CN 111511263 B CN111511263 B CN 111511263B CN 201880083095 A CN201880083095 A CN 201880083095A CN 111511263 B CN111511263 B CN 111511263B
Authority
CN
China
Prior art keywords
component
color
emphasis
processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880083095.4A
Other languages
English (en)
Other versions
CN111511263A (zh
Inventor
佐藤朋也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN111511263A publication Critical patent/CN111511263A/zh
Application granted granted Critical
Publication of CN111511263B publication Critical patent/CN111511263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H04N5/58—Control of contrast or brightness in dependence upon ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

提供能够容易捕捉正常粘膜与异常粘膜的色调变化的图像处理装置及图像处理方法。图像处理装置具备：分割处理部(32)，其将拍摄被检体内而得到的摄像信号分割为与物体的照度光成分相当的基础成分、和与该基础成分及物体的反射率成分相当的细节成分；颜色强调处理部(37)，其针对基础成分，进行在规定的颜色空间上扩大色阶的颜色强调处理；以及合成部(38)，其将由颜色强调处理部(37)进行了颜色强调处理的基础成分与细节成分合成并输出。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及一种图像处理装置及图像处理方法，对拍摄被摄体内而得到的摄像信号进行扩大规定的颜色空间上的色阶的颜色强调处理。
背景技术
以往，在内窥镜中，已知一种能够在抑制图像的对比度的劣化的同时调整明亮度的技术(例如参照专利文献1)。在该技术中，将从内窥镜输入的影像信号分割为包括对比度成分信号的第1信号和对比度成分信号以外的第2信号，对第2信号实施明亮度调整处理之后，再次将第1信号与第2信号合成。
现有技术文献
专利文献
专利文献1：国际公开第2017/022324号
发明内容
发明要解决的问题
然而，在内窥镜观察中，手术医生等医生基于粘膜的色调变化进行正常粘膜与炎症、病变等的异常粘膜的判断。但是，在以往的白色光观察时拍摄到的图像中，通常，粘膜颜色分布在红色区域的窄范围内，因此，存在难以捕捉正常粘膜与异常粘膜的色调变化这样的问题点。
本发明是鉴于上述问题而完成的，其目的在于，提供一种能够容易捕捉正常粘膜与异常粘膜的色调变化的图像处理装置及图像处理方法。
用于解决问题的手段
为了解决上述问题，实现目的，本发明的图像处理装置的特征在于，所述图像处理装置具备：分割处理部，其将拍摄被检体内而得到的摄像信号分割为与物体的照度光成分相当的基础成分、和与该基础成分及物体的反射率成分相当的细节成分；颜色强调处理部，其针对所述基础成分，进行在规定的颜色空间上扩大粘膜颜色的色阶的颜色强调处理；以及合成部，其将由所述颜色强调处理部进行了所述颜色强调处理的所述基础成分与所述细节成分合成并输出。
此外，本发明的图像处理装置在上述发明的基础上，其特征在于，所述颜色强调处理部针对所述基础成分，在Lab颜色空间使用规定的转换函数来扩大所述粘膜颜色的色阶。
此外，本发明的图像处理装置在上述发明的基础上，其特征在于，所述颜色强调处理部至少针对蓝色成分基于利用红色成分进行标准化得到的值来进行所述颜色强调处理。
此外，本发明的图像处理装置在上述发明的基础上，其特征在于，所述图像处理装置还具备：明亮度校正部，其针对所述基础成分进行明亮度校正；以及灰度压缩部，其针对由所述明亮度校正部进行了所述明亮度校正的所述基础成分，进行灰度压缩处理，所述颜色强调处理部针对由所述灰度压缩部进行了所述灰度压缩处理的所述基础成分，进行所述颜色强调处理。
此外，本发明的图像处理装置在上述发明的基础上，其特征在于，所述图像处理装置具备：分割处理部，其将拍摄被检体内而得到的摄像信号分割为与物体的照度光成分相当的基础成分、和与该基础成分及物体的反射率成分相当的细节成分；合成部，在针对所述基础成分和所述细节成分中的至少一方实施规定的强调处理之后，所述合成部进行合成并输出；以及颜色强调处理部，其针对从所述合成部输出的合成信号，进行在规定的颜色空间上扩大粘膜颜色的色阶的颜色强调处理。
此外，本发明的图像处理装置在上述发明的基础上，其特征在于，所述图像处理装置还具备：明亮度校正部，其针对所述基础成分进行明亮度校正；灰度压缩部，其针对由所述明亮度校正部进行了所述明亮度校正的所述基础成分，进行灰度压缩处理。
此外，本发明的图像处理装置在上述发明的基础上，其特征在于，所述颜色强调处理部针对所述合成信号，在Lab颜色空间使用规定的转换函数来扩大所述粘膜颜色的色阶。
此外，本发明的图像处理装置在上述发明的基础上，其特征在于，所述颜色强调处理部至少针对蓝色成分基于利用红色成分进行标准化得到的值来进行所述颜色强调处理。
此外，本发明的图像处理方法的特征在于，所述图像处理方法包括如下步骤：分割处理步骤，将拍摄被检体内而得到的摄像信号分割为与物体的照度光成分相当的基础成分、和与该基础成分及物体的反射率成分相当的细节成分；颜色强调处理步骤，针对所述基础成分，进行在规定的颜色空间上扩大色阶的颜色强调处理；以及合成步骤，将在所述颜色强调处理步骤中进行了所述颜色强调处理的所述基础成分与所述细节成分合成并输出。
此外，本发明的图像处理方法的特征在于，所述图像处理方法包括如下步骤：分割处理步骤，将拍摄被检体内而得到的摄像信号分割为与物体的照度光成分相当的基础成分、和与该基础成分及物体的反射率成分相当的细节成分；合成步骤，在针对所述基础成分和所述细节成分中的至少一方实施规定的强调处理之后，进行合成并输出；以及颜色强调处理步骤，针对在所述合成步骤中输出的合成信号，进行在规定的颜色空间上扩大粘膜颜色的色阶的颜色强调处理。
发明的效果
根据本发明，起到能够容易捕捉正常粘膜与异常粘膜的色调变化这样的效果。
附图说明
图1是示出本发明的实施方式1的内窥镜系统的概要结构的图。
图2是示出本发明的实施方式1的内窥镜系统的功能结构的框图。
图3A是示出色调强调处理前的粘膜颜色的分布范围的示意图。
图3B是示出色调强调处理后的粘膜颜色的分布范围的示意图。
图4A是示出色调强调处理前的颜色分布的示意图。
图4B是示出色调强调处理后的颜色分布的效果的示意图。
图5是示出本发明的实施方式1的处理装置所执行的处理概要的流程图。
图6是示出本发明的实施方式2的色调强调部的功能结构的框图。
图7A是示出色调强调处理前的粘膜颜色的分布范围的示意图。
图7B是示出色调强调处理前的粘膜颜色的分布范围的示意图。
图8A是示出色调强调处理前的颜色分布的示意图。
图8B是示出色调强调处理后的颜色分布的效果的示意图。
图9是示出本发明的实施方式1、2的变形例1的内窥镜系统的功能结构的框图。
图10是示出本发明的实施方式1、2的变形例2的内窥镜系统的功能结构的框图。
具体实施方式
以下，作为用于实施本发明的方式(以下称为“实施方式”)，以具备拍摄患者等被检体的体腔内而显示图像的内窥镜的内窥镜系统为例进行说明。此外，不通过该实施方式来限定本发明。并且，在附图的记载中，针对相同的部分标注相同的标号。
(实施方式1)
〔内窥镜系统的结构〕
图1是示出本发明的实施方式1的内窥镜系统的概要结构的图。图2是示出本发明的实施方式1的内窥镜系统的功能结构的框图。
图1及图2所示的内窥镜系统1具备：内窥镜2，其向被检体内插入前端，从前端照射照明光而拍摄被检体的体内图像；处理装置3，其具有产生用于从内窥镜2的前端射出的照明光的光源部43，对内窥镜2拍摄到的摄像信号实施规定的图像处理，并且，统一地控制内窥镜系统1整体的动作；以及显示装置4，其显示与由处理装置3实施了信号处理的摄像信号对应的图像。
〔内窥镜的结构〕
首先，对内窥镜2的详细结构进行说明。
内窥镜2具备：插入部21，其具有挠性且呈细长形状；操作部22，与插入部21的基端侧连接，受理各种操作信号的输入；以及通用缆线23，其从操作部22向与插入部21延伸的方向不同的方向延伸，内置有与处理装置3(包括光源部43)连接的各种缆线。
插入部21具有：前端部24，其内置有摄像元件244，该摄像元件244是通过接收光并进行光电转换而生成信号的像素呈二维状排列而成；弯曲自如的弯曲部25，其由多个弯曲块构成；以及长条状的可挠管部26，其与弯曲部25的基端侧连接，且具有挠性。插入部21被插入到被检体内，通过摄像元件244来拍摄处于外部光无法到达的位置的活体组织等被摄体。
前端部24具有：光导241，其使用玻璃纤维等而构成，成为光源部43发出的光的导光路；照明透镜242，其设置在光导241的前端；聚光用的光学系统243；以及摄像元件244，其设置在光学系统243的成像位置，接收由光学系统243会聚的光并将其光电转换成电信号，实施规定的信号处理。
光学系统243使用一个或多个透镜而构成，具有使视场角变化的光学变焦功能及使焦点变化的对焦功能。
摄像元件244对来自光学系统243的光进行光电转换而生成电信号(摄像信号)，向处理装置3输出。具体而言，摄像元件244具有：受光部244a，其呈矩阵状排列有多个像素，各像素对来自光学系统243的光进行光电转换而生成电信号，其中，该多个像素分别具有蓄积与光量相应的电荷的光电二极管、将从光电二极管转送的电荷转换成电压电平的电容器等；以及读出部244b，其依次读出受光部244a的多个像素中的作为读出对象而任意设定的像素所生成的电信号，作为摄像信号将其输出。在受光部244a设置有彩色滤光片，各像素接收红色(R)、绿色(G)及蓝色(B)的各颜色成分的波段中的任意波段的光。摄像元件244按照从处理装置3接收到的驱动信号，对前端部24的各种动作进行控制。摄像元件244例如使用CCD(Charge Coupled Device)图像传感器、CMOS(Complementary Metal OxideSemiconductor)图像传感器来实现。
操作部22具有：弯曲旋钮221，其使弯曲部25沿上下方向及左右方向弯曲；处置用具插入部222，其向被检体内插入活体钳子、电手术刀及检查探针等处置用具；以及作为操作输入部的多个开关223，它们除了输入处理装置3的操作指示信号之外，还输入送气单元、送水单元、画面显示控制等的周边设备的操作指示信号。从处置用具插入部222插入的处置用具经由前端部24的处置用具通道(未图示)而从开口部(未图示)露出。
通用缆线23至少内置有光导241、以及将一个或多个信号线汇总在一起的集合缆线245。集合缆线245包括用于传输摄像信号的信号线、用于传输驱动摄像元件244用的驱动信号的信号线、用于收发包括与内窥镜2(摄像元件244)相关的固有信息等的信息的信号线。另外，在本实施方式1中，对使用信号线来传输电信号的情况进行说明，但也可以在前端部24设置E/O转换电路，通过光信号来进行传输，还可以在前端部24设置通信模块等，通过无线通信在内窥镜2与处理装置3之间传输摄像信号。当然，也可以在前端部24设置A/D转换电路，通过对摄像信号进行A/D转换而将数字的摄像信号向处理装置3输出。
〔处理装置的结构〕
接着，对处理装置3的结构进行说明。
处理装置3具备摄像信号取得部31、分割处理部32、IHb处理部33、细节强调处理部34、明亮度校正部35、灰度压缩部36、色调强调部37、合成部38、显示图像生成部39、输入部40、记录部41、控制部42以及光源部43。另外，本实施方式1的图像处理装置至少使用分割处理部32、IHb处理部33、细节强调处理部34、明亮度校正部35、灰度压缩部36、色调强调部37以及合成部38而构成。此外，本实施方式1的图像处理装置构成为使用FPGA(FieldProgrammable Gate Array)、ASIC(Application Specific Integrated Circuit)及GPU(Graphics Processing Unit)等，至少发挥分割处理部32、IHb处理部33、细节强调处理部34、明亮度校正部35、灰度压缩部36、色调强调部37以及合成部38的功能。
摄像信号取得部31接收从内窥镜2的摄像元件244输出的摄像信号，并对接收到的摄像信号实施规定的图像处理而向分割处理部32输出。这里，作为规定的图像处理，进行对摄像信号去除噪声的噪声去除处理、将模拟的摄像信号转换成数字的摄像信号的A/D转换处理、以及同时化处理等。
分割处理部32对从摄像信号取得部31输入的摄像信号SA，进行分割成视觉上相关性弱的成分与视觉上相关性强的成分的分割处理。这里，作为分割处理，例如，能够使用Lightness and retinex theory,E.H.Land,J.J.McCann,Journal of the OpticalSociety of America,61(1),1-11(1971)所记载的技术(Retinex理论)来进行。在基于Retinex理论的分割处理中，视觉上相关性弱的成分相当于物体的照明光成分，通常被称为基础成分。与此相对，在基于Retinex理论的分割处理中，视觉上相关性强的成分是相当于物体的反射率成分的成分，通常被称为细节成分。细节成分是用构成图像的信号除以基础成分而得到的成分。细节成分包括物体的轮廓(边缘)成分、纹理成分等对比度成分。分割处理部32将包括基础成分的信号(以下称为“基础成分信号SB”)向IHb处理部33输出，并且，将包括细节成分的信号(以下称为“细节成分信号SC”)向细节强调处理部34输出。另外，关于由分割处理部32进行的成分分割处理，例如可以使用Temporally Coherent Local ToneMapping of HDR Video,T.O.Aydin、et al.,ACM Transactions on Graphics,Vol 33,November 2014所记载的Edge-aware filtering技术来进行，也可以将空间频率分为多个频带而进行分割。此外，分割处理部32在输入了R、G及B的各颜色成分的摄像信号SA的情况下，对各颜色成分的摄像信号分别进行上述的分割处理。同样，在以后的信号处理中，也对各颜色成分实施处理。
IHb处理部33对从分割处理部32输入的基础成分信号SB进行血红蛋白指数色彩强调处理(以下称为“IHb色彩强调处理”)，将进行了该IHb色彩强调处理的基础成分信号SD向明亮度校正部35输出。这里，IHb色彩强调处理是指，通过对与R、G及B的各颜色成分的基础成分信号SB对应的各图像进行图像间运算来算出近似的粘膜血流量的处理。
细节强调处理部34对从分割处理部32输入的细节成分信号SC进行强调细节成分的细节强调处理，将进行了该细节强调处理的细节成分信号SE向合成部38输出。这里，细节强调处理是对物体的轮廓成分及纹理成分等对比度成分进行强调的处理。
明亮度校正部35对从IHb处理部33输入的基础成分信号SD进行明亮度调整处理，将进行了该明亮度调整处理的基础成分信号SF向灰度压缩部36输出。这里，明亮度调整处理是指，基于各像素位置处的亮度值来进行增大低亮度值的增益提升处理等的处理。另外，明亮度校正部35也可以通过对基础成分信号SD进行运算处理来进行增益提升处理等。
灰度压缩部36对从明亮度校正部35输入的基础成分信号SF进行灰度压缩处理，将进行了该灰度压缩处理的基础成分信号SG向色调强调部37输出。这里，灰度压缩处理是γ处理等。
色调强调部37对从灰度压缩部36输入的基础成分信号SG进行强调色调的色调强调处理，将进行了该色调强调处理的基础成分信号SH向合成部38输出。具体而言，色调强调部37进行使分布在红色的窄颜色区域的粘膜颜色分布到宽区域这样的转换处理。例如，色调强调部37进行扩大灰度的处理，使得分布在红色的窄颜色区域的原始的粘膜颜色分布至紫色的区域。另外，之后详细叙述色调强调处理。
合成部38将从细节强调处理部34输入的细节成分信号SE与从色调强调部37输入的基础成分信号SH合成，将该合成后的合成信号SI向显示图像生成部39输出。合成部38通过合成细节成分信号SE与基础成分信号SH，能够仅对视觉上相关性弱的基础成分生成扩展了粘膜颜色的分布范围的合成信号SI。
显示图像生成部39对从合成部38输入的合成信号SI实施使得成为能够由显示装置4显示的信号的这种信号处理，生成显示用的图像信号SJ并向显示装置4输出。显示图像生成部39在从合成部38输入的合成信号SI被分为R、G及B的各颜色成分的情况下，对各颜色成分实施插值处理，生成对各像素位置赋予了RGB的颜色成分的图像信号并向显示装置4输出。
使用键盘、鼠标、开关、触摸面板来实现输入部40，输入部40受理指示内窥镜系统1的动作的动作指示信号等各种信号的输入。另外，输入部40也可以包括设置于操作部22的开关、外部的平板式计算机等便携式终端。
记录部41记录用于使内窥镜系统1动作的各种程序、以及包括内窥镜系统1的动作所需的各种参数等在内的数据。记录部41具有用于记录内窥镜系统1所执行的各种程序的程序记录部411。记录部41使用闪存、SDRAM(Synchronous Dynamic Random AccessMemory)及存储卡等而构成。
控制部42使用CPU(Central Processing Unit)等而构成，进行包括摄像元件244及光源部43的各结构部的驱动控制及针对各结构部的数据的输入输出控制等。控制部42参照记录部41所存储的用于摄像控制的控制信息数据(例如，读出定时等)，经由集合缆线245所包含的规定的信号线而作为驱动信号向摄像元件244发送。
〔光源部的结构〕
接着，对光源部43的结构进行说明。
光源部43具备照明部401和照明控制部402。照明部401在照明控制部402的控制下，对被摄体(被检体)依次切换并射出不同曝光量的照明光。照明部401具有光源401a和光源驱动器401b。
光源401a使用射出白色光的LED光源、一个或多个透镜等而构成，通过LED光源的驱动而射出光(照明光)。光源401a所产生的照明光经由光导241从前端部24的前端朝向被摄体被射出。另外，光源401a也可以使用红色LED光源、绿色LED光源及蓝色LED光源而构成，射出照明光。此外，光源401a也可以使用激光光源、氙灯、卤素灯等灯。
光源驱动器401b在照明控制部402的控制下，对光源401a供给电流，由此，使光源401a射出照明光。
照明控制部402基于来自控制部42的控制信号(调光信号)，控制向光源401a供给的电力量，并且控制光源401a的驱动定时。
〔显示装置的结构〕
接着，对显示装置4的结构进行说明。
显示装置4经由影像缆线而显示与处理装置3(显示图像生成部39)生成的图像信号SJ对应的图像。显示装置4使用液晶或有机EL(Electro Luminescence)等监视器而构成。
〔色调强调处理的概要〕
接着，对上述的色调强调部37执行的色调强调处理的概要进行说明。图3A是示出色调强调处理前的粘膜颜色的分布范围的示意图，图3B是示出色调强调处理后的粘膜颜色的分布范围的示意图，图4A是示出色调强调处理前的颜色分布的示意图，图4B是示出色调强调处理后的颜色分布的效果的示意图。在图3A及图4A中，横轴表示第一颜色，纵轴表示第二颜色。此外，在图3B及图4B中，横轴表示通过第一颜色用的转换函数进行灰度扩展后的转换后第一颜色，纵轴表示通过第二颜色用的转换函数进行灰度扩展后的转换后第二颜色。
如图3A及图3B所示，色调强调部37通过粘膜颜色的分布范围R1的强调处理，扩展粘膜颜色的分布范围R2(图3A→图3B)。具体而言，色调强调部37通过第一颜色用的转换函数，针对粘膜颜色的分布范围R1内的第一颜色的范围B1(红色成分)将灰度扩展为粘膜颜色的分布范围R2内的第一颜色的范围B2。此外，色调强调部37通过第二颜色用的转换函数，针对粘膜颜色的分布范围R1内的第二颜色的范围A1(蓝色成分)将灰度扩展为粘膜颜色的分布范围R2内的第二颜色的范围A2。由此，如图4A及图4B所示，以将分布在红色的窄颜色区域的粘膜颜色分布到宽区域的方式进行强调处理，因此，色阶性提高，由此，能够容易捕捉正常粘膜与炎症及早期肿瘤性病变的色调变化。
〔处理装置的处理〕
接着，对处理装置的处理进行说明。图5是示出处理装置3执行的处理概要的流程图。
首先，如图5所示，摄像信号取得部31接收并取得从内窥镜2的摄像元件244输出的摄像信号(步骤S101)。在该情况下，摄像信号取得部31对从摄像元件244接收并取得的摄像信号实施规定的图像处理，向分割处理部32输出。
接下来，分割处理部32对从摄像信号取得部31输入的摄像信号SA，进行分割为基础成分信号SB与细节成分信号SC的分割处理(步骤S102)。
之后，IHb处理部33对从分割处理部32输入的基础成分信号SB进行IHb色彩强调处理(步骤S103)。
接下来，细节强调处理部34对从分割处理部32输入的细节成分信号SC进行强调细节成分的细节强调处理(步骤S104)。
之后，明亮度校正部35对从IHb处理部33输入的基础成分信号SD进行明亮度调整处理(步骤S105)。
接下来，灰度压缩部36对从明亮度校正部35输入的基础成分信号SF进行灰度压缩处理(步骤S106)。
之后，色调强调部37对从灰度压缩部36输入的基础成分信号SG进行强调色调的色调强调处理(步骤S107)。
接下来，合成部38进行将从细节强调处理部34输入的细节成分信号SE与从色调强调部37输入的基础成分信号SH合成的合成处理(步骤S108)。
之后，显示图像生成部39对从合成部38输入的合成信号SI进行生成能够由显示装置4显示的方式的信号的显示图像生成处理(步骤S109)。
接下来，在从输入部40输入了指示结束的指示信号的情况下(步骤S110：是)，处理装置3结束本处理。与此相对，在未从输入部40输入指示结束的指示信号的情况下(步骤S110：否)，处理装置3返回上述的步骤S101。
根据以上说明的本发明的实施方式1，合成部38将通过色调强调部37进行了颜色强调处理的基础成分与细节成分合成而输出，因此，能够容易捕捉正常粘膜与异常粘膜的色调变化。
此外，根据本发明的实施方式1，通过色调强调部37至少针对蓝色成分基于利用红色成分进行标准化得到的值来进行色调强调处理，能够提高色阶性，因此，能够容易捕捉正常粘膜、炎症及早期肿瘤性病变的色调变化。
(实施方式2)
接着，对本发明的实施方式2进行说明。本实施方式2与上述的实施方式1的色调强调部37不同。具体而言，在上述的实施方式1中，色调强调部37扩展了R、G及B的各颜色成分的基础成分信号中的粘膜颜色的分布范围，但在本实施方式2中，在Lab颜色空间上对粘膜颜色的分布范围进行扩展。因此，以下，对本实施方式2的色调强调部的结构进行说明。另外，针对与上述实施方式1的内窥镜系统1相同的结构标注相同的标号并省略说明。
〔色调强调部的结构〕
图6是示出本实施方式2的色调强调部的功能结构的框图。图6所示的色调强调部37a进行在Lab颜色空间使用规定的转换函数来扩大基础成分的色阶的色调强调处理，将进行了该色调强调处理的基础成分信号SH向合成部38输出。色调强调部37a具有Lab转换处理部371、A＊强调处理部372、B＊强调处理部373、以及RGB转换处理部374。
Lab转换处理部371将从灰度压缩部36输入的R、G及B的各颜色成分的基础成分信号SG向Lab颜色空间转换。将转换到Lab颜色空间的基础成分信号SGA向A＊强调处理部372输入。此外，将转换到Lab颜色空间的基础成分信号SGB向B＊强调处理部373输入，将转换到Lab颜色空间的基础成分信号SGL向RGB转换处理部374输入。
A＊强调处理部372针对从Lab转换处理部371输入的基础成分信号SGA，通过规定的函数进行强调处理，将进行了该强调处理的基础成分信号SGA ＊’向RGB转换处理部374输出。具体而言，A＊强调处理部372针对从Lab转换处理部371输入的基础成分信号SGA，通过强调处理来扩展粘膜颜色的分布范围。更具体而言，A＊强调处理部372针对从Lab转换处理部371输入的基础成分信号SGA，在将基础成分信号SGA设为a＊、将基础成分信号SGA ＊’设为a＊’的情况下，通过以下的式(1)来进行强调处理。
a＊’＝f(a＊)···(1)
B＊强调处理部373针对从Lab转换处理部371输入的基础成分信号SGB，通过规定的函数进行强调处理，将进行了该强调处理的基础成分信号SGB ＊’向RGB转换处理部374输出。具体而言，B＊强调处理部373针对从Lab转换处理部371输入的基础成分信号SGB，将由A＊强调处理部372利用a＊进行标准化而得到的值作为输入参数，通过强调处理来扩展粘膜颜色的分布范围。更具体而言，B＊强调处理部373针对从Lab转换处理部371输入的基础成分信号SGB，在将基础成分信号SGB设为b＊、将基础成分信号SGB ＊’设为b＊’的情况下，首先，通过以下的式(2)计算输入参数。
输入参数＝b＊/a＊···(2)
然后，通过以下的式，B＊强调处理部373针对从Lab转换处理部371输入的基础成分信号SGB，通过以下的式(3)进行强调处理。
b＊’/a＊＝g(b＊/a＊)···(3)
即，以下的式(4)成立。
b＊’＝g(b＊/a＊)a＊···(4)
RGB转换处理部374针对从A＊强调处理部372输入的基础成分信号SGA ＊’、从B＊强调处理部373输入的基础成分信号SGB ＊’及从Lab转换处理部371输入的基础成分信号SGL，进行转换成R、G及B的各颜色成分的基础成分信号SH的RGB转换处理，并向合成部38输出。
〔色调强调处理的概要〕
接着，对上述的色调强调部37a执行的色调强调处理的概要进行说明。图7A是示出色调强调处理前的粘膜颜色的分布范围的示意图，图7B是示出色调强调处理前的粘膜颜色的分布范围的示意图，图8A是示出色调强调处理前的颜色分布的示意图，图8B是示出色调强调处理后的颜色分布的效果的示意图。在图7A及图8A中，横轴表示A＊，纵轴表示B＊。此外，在图7B及图8B中，横轴表示通过A＊的转换函数进行灰度扩展后的转换后的A＊’，纵轴表示通过B＊的转换函数进行灰度扩展后的B＊’。
如图7A及图7B所示，色调强调部37a通过粘膜颜色的分布范围R1的强调处理，扩展粘膜颜色的分布范围R2(图7A→图7B)。具体而言，色调强调部37a通过A＊的转换函数，针对粘膜颜色的分布范围R1内的A＊的范围B1(红色成分)，将灰度扩展为粘膜颜色的分布范围R2内的A＊的范围B2。此外，色调强调部37a通过将BB＊/A＊值作为输入的转换函数，针对粘膜颜色的分布范围R1内的B＊的范围A1(蓝色成分)将灰度扩展为粘膜颜色的分布范围R2内的B＊的范围A2。由此，如图8A及图8B所示，以将分布在红色的窄颜色区域的粘膜颜色分布到宽区域的方式进行强调处理，因此，色阶性提高，由此，能够容易捕捉正常粘膜与炎症及早期肿瘤性病变的色调变化。
根据以上说明的本发明的实施方式2，色调强调部37a针对基础成分，在Lab颜色空间使用规定的转换函数来扩大粘膜颜色的色阶，因此，能够容易捕捉正常粘膜与异常粘膜的色调变化。
另外，在本发明的实施方式2中，色调强调部37a将基础成分转换成Lab颜色空间，但不限于此，也可以在其他颜色空间、例如RGB或YCbCr内进行扩大色阶这样的处理。
此外，在本发明的实施方式2中，色调强调部37a也可以针对基础成分信号SGL的明度成分，基于利用红色成分进行标准化而得到的值来进行转换处理。
(实施方式1、2的变形例1)
接着，对本发明的实施方式1、2的变形例1进行说明。图9是示出本发明的实施方式1、2的变形例1的内窥镜系统的功能结构的框图。
图9所示的内窥镜系统1b代替上述的实施方式1的内窥镜系统1的处理装置3而具备处理装置3b。处理装置3b代替上述的实施方式1的处理装置3的色调强调部37而具备色调强调部37b。
色调强调部37b设置在摄像信号取得部31与分割处理部32之间。即，本实施方式1、2的变形例1的色调强调部37b针对摄像信号SA进行强调处理，使得分布在红色的窄颜色区域的粘膜颜色分布到宽区域，将进行了强调处理的摄像信号SK向分割处理部32输出。
根据以上说明的本发明的实施方式1、2的变形例1，能够容易捕捉正常粘膜与异常粘膜的色调变化。
(实施方式1、2的变形例2)
接着，对本发明的实施方式1、2的变形例2进行说明。图10是示出本发明的实施方式1、2的变形例2的内窥镜系统的功能结构的框图。
图10所示的内窥镜系统1c代替上述的实施方式1的内窥镜系统1的处理装置3而具备处理装置3c。处理装置3c代替上述的实施方式1的处理装置3的色调强调部37而具备色调强调部37c。
色调强调部37c设置在合成部38与显示图像生成部39之间。即，本实施方式1、2的变形例2的色调强调部37c针对从合成部38输入的合成信号SI进行强调处理，使得分布在红色的窄颜色区域的粘膜颜色分布到宽区域，将进行了强调处理的合成信号SL向显示图像生成部39输出。
根据以上说明的本发明的实施方式1、2的变形例2，能够容易捕捉正常粘膜与异常粘膜的色调变化。
(其他的实施方式)
通过适当组合上述的本发明的实施方式1、2所公开的多个结构要素，能够形成各种发明。例如，也可以从上述的本发明的实施方式1、2所记载的全部结构要素中删除一些结构要素。此外，也可以适当组合在上述的本发明的实施方式1、2中说明的结构要素。
此外，在本发明的实施方式1、2中，控制装置与光源装置为一体，但也可以分体设置。
此外，在本发明的实施方式1、2中，为内窥镜系统，但例如也能够应用于胶囊型的内窥镜、拍摄被检体的视频显微镜、具有摄像功能的便携电话及具有摄像功能的平板型终端。
此外，在本发明的实施方式1、2中，为具备软性的内窥镜的内窥镜系统，但也能够应用于具备硬性的内窥镜的内窥镜系统、具备工业用的内窥镜的内窥镜系统。
此外，在本发明的实施方式1、2中，为具备向被检体插入的内窥镜的内窥镜系统，但也能够应用于副鼻腔内窥镜及电手术刀、检查探针等的内窥镜系统。
此外，在本发明的实施方式1、2中，能够将上述的“部”改写为“单元”、“电路”等。例如，能够将控制部改写为控制单元、或控制电路。
此外，本发明的实施方式1、2的内窥镜系统所执行的程序也可以以能够安装的形式或能够执行的形式的文件数据的方式记录于CD-ROM、软盘(FD)、CD-R、DVD(DigitalVersatile Disk)、USB介质、闪存等计算机可读取的记录介质来提供。
此外，本发明的实施方式1、2的内窥镜系统所执行的程序也可以构成为，存储在与因特网等网络连接的计算机上，通过经由网络下载来提供。并且，此外，也可以构成为经由因特网等网络来提供或发布本发明的实施方式1、2的内窥镜系统所执行的程序。
此外，在本发明的实施方式1、2中，经由传输缆线从内窥镜摄像头向控制装置发送了信号，但例如不需要为有线方式，也可以为无线方式。在该情况下，按照规定的无线通信标准(例如Wi-Fi(注册商标)、Bluetooth(注册商标))，从内窥镜摄像头向控制装置发送图像信号等即可。当然，也可以按照其他的无线通信标准来进行无线通信。
另外，在本说明书的流程图的说明中，使用“首先”、“之后”、“接下来”等表现而明确了步骤间的处理的前后关系，但实施本发明所需的处理的顺序并不是通过这些表现而唯一决定。即，本说明书中记载的流程图中的处理的顺序能够在不矛盾的范围内变更。此外，不限于由这样的单纯的分支处理构成的程序，也可以综合地判定更多的判定项目并使它们分支。在该情况下，也可以在促使用户进行手动操作而反复学习的期间内并用进行机器学习这样的人工智能的技术。此外，也可以学习较多的专家进行的操作模式，进而以加入复杂条件的形式进行深度学习而执行。
以上，基于附图对本申请的若干实施方式详细进行了说明，但这些是例示，能够以在本发明所公开的栏中记载的方案为代表，通过基于本领域技术人员的知识而实施了各种变形、改良的其他方式来实施本发明。
标号说明
1、1b、1c内窥镜系统；2内窥镜；3、3b、3c处理装置；4显示装置；21插入部；22操作部；23通用缆线；24前端部；25弯曲部；26可挠管部；31摄像信号取得部；32分割处理部；33IHb处理部；34细节强调处理部；35明亮度校正部；36灰度压缩部；37、37a、37b、37c色调强调部；38合成部；39显示图像生成部；40输入部；41记录部；42控制部；43光源部；221弯曲旋钮；222处置用具插入部；223开关；241光导；242照明透镜；243光学系统；244摄像元件；244a受光部；244b读出部；245集合缆线；371Lab转换处理部；372A＊强调处理部；373B＊强调处理部；374RGB转换处理部；401照明部；401a光源；401b光源驱动器；402照明控制部；411程序记录部

Claims (10)

1.一种图像处理装置，其特征在于，
所述图像处理装置具备：
分割处理部，其将拍摄被检体内而得到的摄像信号分割为与物体的照明光成分相当的第1基础成分、和与物体的反射率成分相当的细节成分；
颜色强调处理部，其生成第2基础成分，该第2基础成分是对所述第1基础成分进行在规定的颜色空间上扩大粘膜颜色的色阶的颜色强调处理而得到的；以及
合成部，其将所述第2基础成分与所述细节成分合成并输出，
所述颜色强调处理部进行如下处理：
将具有R成分、G成分和B成分的所述第1基础成分转换为Lab颜色空间的L成分、a成分和b成分，
对所述a成分实施扩展颜色的分布范围的强调处理，
对所述b成分实施扩展颜色的分布范围的强调处理，
将所述L成分以及被实施了强调处理的所述a成分和所述b成分转换为具有R成分、G成分和B成分的所述第2基础成分。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述颜色强调处理部对所述a成分实施扩展粘膜颜色的分布范围的强调处理，
所述颜色强调处理部对所述b成分实施扩展粘膜颜色的分布范围的强调处理。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
所述颜色强调处理部针对所述第1基础成分的所述a成分，利用规定的函数进行强调处理，
所述颜色强调处理部针对所述第1基础成分的所述b成分，基于利用a成分进行标准化得到的值来进行强调处理。
4.根据权利要求1或2所述的图像处理装置，其特征在于，
所述L成分是明度成分，
所述a成分是红色成分，
所述b成分是蓝色成分。
5.根据权利要求1至4中的任意一项所述的图像处理装置，其特征在于，
所述图像处理装置还具备：
明亮度校正部，其针对所述第1基础成分进行明亮度校正；以及
灰度压缩部，其针对由所述明亮度校正部进行了所述明亮度校正的所述第1基础成分，进行灰度压缩处理，
所述颜色强调处理部针对由所述灰度压缩部进行了所述灰度压缩处理的所述第1基础成分，进行所述颜色强调处理。
6.一种图像处理装置，其特征在于，
所述图像处理装置具备：
分割处理部，其将拍摄被检体内而得到的摄像信号分割为与物体的照明光成分相当的基础成分、和与物体的反射率成分相当的细节成分；
合成部，在对所述基础成分和所述细节成分中的至少一方实施规定的强调处理之后，所述合成部进行合成而输出第1合成信号；以及
颜色强调处理部，其生成第2合成信号，该第2合成信号是对从所述合成部输出的所述第1合成信号进行在规定的颜色空间上扩大粘膜颜色的色阶的颜色强调处理而得到的，
所述颜色强调处理部进行如下处理：
将具有R成分、G成分和B成分的所述第1合成信号转换为Lab颜色空间的L成分、a成分和b成分，
对所述a成分实施扩展颜色的分布范围的强调处理，
对所述b成分实施扩展颜色的分布范围的强调处理，
将所述L成分以及被实施了强调处理的所述a成分和所述b成分转换为具有R成分、G成分和B成分的所述第2合成信号。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述图像处理装置还具备：
明亮度校正部，其针对所述基础成分进行明亮度校正；
灰度压缩部，其针对由所述明亮度校正部进行了所述明亮度校正的所述基础成分，进行灰度压缩处理。
8.根据权利要求6所述的图像处理装置，其特征在于，
所述颜色强调处理部至少针对蓝色成分基于利用红色成分进行标准化得到的值来进行所述颜色强调处理。
9.一种图像处理方法，其特征在于，
所述图像处理方法包括如下步骤：
分割处理步骤，将拍摄被检体内而得到的摄像信号分割为与物体的照明光成分相当的第1基础成分、和与物体的反射率成分相当的细节成分；
颜色强调处理步骤，对所述第1基础成分实施在规定的颜色空间上扩大色阶的颜色强调处理，从而生成第2基础成分；以及
合成步骤，将在所述颜色强调处理步骤中进行了所述颜色强调处理的所述第2基础成分与所述细节成分合成并输出，
在所述颜色强调处理步骤中：
将具有R成分、G成分和B成分的所述第1基础成分转换为Lab颜色空间的L成分、a成分和b成分，
对所述a成分实施扩展颜色的分布范围的强调处理，
对所述b成分实施扩展颜色的分布范围的强调处理，
将所述L成分以及被实施了强调处理的所述a成分和所述b成分转换为具有R成分、G成分和B成分的所述第2基础成分。
10.一种图像处理方法，其特征在于，
所述图像处理方法包括如下步骤：
分割处理步骤，将拍摄被检体内而得到的摄像信号分割为与物体的照明光成分相当的基础成分、和与物体的反射率成分相当的细节成分；
合成步骤，在针对所述基础成分和所述细节成分中的至少一方实施规定的强调处理之后，进行合成而输出第1合成信号；以及
颜色强调处理步骤，生成第2合成信号，该第2合成信号是对在所述合成步骤中输出的第1合成信号进行在规定的颜色空间上扩大粘膜颜色的色阶的颜色强调处理而得到的，
在所述颜色强调处理步骤中：
将具有R成分、G成分和B成分的所述第1合成信号转换为Lab颜色空间的L成分、a成分和b成分，
对所述a成分实施扩展颜色的分布范围的强调处理，
对所述b成分实施扩展颜色的分布范围的强调处理，
将所述L成分以及被实施了强调处理的所述a成分和所述b成分转换为具有R成分、G成分和B成分的所述第2合成信号。
CN201880083095.4A 2017-12-26 2018-11-06 图像处理装置及图像处理方法 Active CN111511263B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017249132 2017-12-26
JP2017-249132 2017-12-26
PCT/JP2018/041234 WO2019130834A1 (ja) 2017-12-26 2018-11-06 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN111511263A CN111511263A (zh) 2020-08-07
CN111511263B true CN111511263B (zh) 2023-02-28

Family

ID=67067062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880083095.4A Active CN111511263B (zh) 2017-12-26 2018-11-06 图像处理装置及图像处理方法

Country Status (4)

Country Link
US (2) US11509834B2 (zh)
JP (2) JP6946468B2 (zh)
CN (1) CN111511263B (zh)
WO (1) WO2019130834A1 (zh)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63173182A (ja) 1987-01-13 1988-07-16 Olympus Optical Co Ltd 色彩画像処理方式
US6343158B1 (en) * 1996-12-18 2002-01-29 Fujitsu Limited Apparatus for converting gray levels of an image, a method thereof, a program storage device thereof, and an infrared camera
JP4370008B2 (ja) * 1998-11-17 2009-11-25 オリンパス株式会社 内視鏡画像処理装置
JP4652694B2 (ja) * 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
JP5355846B2 (ja) * 2006-05-08 2013-11-27 オリンパスメディカルシステムズ株式会社 内視鏡用画像処理装置
US8526736B2 (en) * 2010-10-29 2013-09-03 JVC Kenwood Corporation Image processing apparatus for correcting luminance and method thereof
JP5667917B2 (ja) * 2011-04-01 2015-02-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
EP2781191A1 (en) * 2013-03-19 2014-09-24 Schnidar, Harald Methods for assessing erythema
JP5990141B2 (ja) * 2013-08-21 2016-09-07 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法
JP6050286B2 (ja) * 2014-06-27 2016-12-21 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
JP6121368B2 (ja) * 2014-06-27 2017-04-26 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
WO2017022324A1 (ja) * 2015-08-05 2017-02-09 オリンパス株式会社 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP6562554B2 (ja) * 2016-05-13 2019-08-21 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの信号処理方法
WO2017203996A1 (ja) * 2016-05-24 2017-11-30 オリンパス株式会社 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
DE112017002653T5 (de) * 2016-05-24 2019-03-21 Olympus Corporation Bildsignalverarbeitungsvorrichtung, Bildsignalverarbeitungsverfahren und Bildsignalverarbeitungsprogramm

Also Published As

Publication number Publication date
US12035052B2 (en) 2024-07-09
JP6946468B2 (ja) 2021-10-06
JPWO2019130834A1 (ja) 2020-11-19
JP7234320B2 (ja) 2023-03-07
WO2019130834A1 (ja) 2019-07-04
US11509834B2 (en) 2022-11-22
US20200322564A1 (en) 2020-10-08
CN111511263A (zh) 2020-08-07
US20230042498A1 (en) 2023-02-09
JP2022000179A (ja) 2022-01-04

Similar Documents

Publication Publication Date Title
US9675238B2 (en) Endoscopic device
CN107205629B (zh) 图像处理装置和摄像系统
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
CN107113405B (zh) 图像处理装置、图像处理装置的工作方法、记录介质和内窥镜装置
US10574934B2 (en) Ultrasound observation device, operation method of image signal processing apparatus, image signal processing method, and computer-readable recording medium
JPWO2017221738A1 (ja) 画像処理装置
US20190328218A1 (en) Image processing device, image processing method, and computer-readable recording medium
US10863149B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
US10462440B2 (en) Image processing apparatus
WO2017203996A1 (ja) 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
CN111511263B (zh) 图像处理装置及图像处理方法
JP6937902B2 (ja) 内視鏡システム
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP2017221276A (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant