CN114727027B - 曝光参数调节方法、装置、计算机设备和存储介质 - Google Patents
曝光参数调节方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114727027B CN114727027B CN202210231492.XA CN202210231492A CN114727027B CN 114727027 B CN114727027 B CN 114727027B CN 202210231492 A CN202210231492 A CN 202210231492A CN 114727027 B CN114727027 B CN 114727027B
- Authority
- CN
- China
- Prior art keywords
- image
- value
- brightness value
- brightness
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000006872 improvement Effects 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 3
- 230000005284 excitation Effects 0.000 description 15
- 230000003902 lesion Effects 0.000 description 12
- 230000006378 damage Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 101100153581 Bacillus anthracis topX gene Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 101100261006 Salmonella typhi topB gene Proteins 0.000 description 1
- 101150041570 TOP1 gene Proteins 0.000 description 1
- 101150104012 TOP2 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013189 cholangiography Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000001926 lymphatic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 101150032437 top-3 gene Proteins 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
Abstract
本申请涉及一种曝光参数调节方法、装置、电子装置和存储介质，其中，该曝光参数调节方法包括：获取内窥镜图像；基于所述内窥镜图像确定目标区域图像；获取所述目标区域图像的实时亮度值；基于所述实时亮度值与目标亮度值调节曝光参数。通过本申请，无需引入新的硬件结构，仅通过算法改进，直接通过目标区域图像的亮度判断当前图像是否满足观察要求，并对应调节曝光参数，成本低，操作简单，能够有效提高效率。
Description
技术领域
本申请涉及内窥镜技术领域，特别是涉及一种曝光参数调节方法、装置、计算机设备和存储介质。
背景技术
近红外荧光造影剂被广泛应用于内窥镜成像设备，以实现术中淋巴标记、肿瘤边界标定、血管造影和胆管造影等功能。为了提高荧光图像的信噪比和信背比(信背比是指样品信号强度与背景强度的比值)，荧光相机往往仅能接收到内窥镜收集到的荧光信号，根据当前荧光强度调节曝光参数，导致靠近组织观察荧光较弱的成像对象时，相机曝光参数自动调高，荧光图像的灰度值提升；远离组织观察时，照射到成像对象的激发光弱，相机曝光参数无法再大幅度提高，荧光图像的灰度值下降。这使得荧光图像忽亮忽暗，远近表现不一致，影响医生判断。
传统方式往往需要加入额外的测光装置，以确定内窥镜与被观察组织的距离，再根据距离调整曝光参数，但这种方式成本较高，且操作复杂，效率较低。
发明内容
在本实施例中提供了一种曝光参数调节方法、装置、电子装置和存储介质，以解决相关技术中引入额外的测试装置导致内窥镜成本较高，且操作复杂，效率较低的问题。
第一个方面，在本实施例中提供了一种曝光参数调节方法，应用于内窥镜系统，所述方法包括：
获取内窥镜图像；
基于所述内窥镜图像确定目标区域图像；
获取所述目标区域图像的实时亮度值；
基于所述实时亮度值与目标亮度值调节曝光参数。
在其中的一些实施例中，所述曝光参数包括光源亮度、曝光时间以及曝光增益中的至少一项。
在其中的一些实施例中，所述基于所述实时亮度值与目标亮度值调节曝光参数包括：
获取所述实时亮度值与目标亮度值的差值；
若所述差值大于预设阈值，且所述实时亮度值小于所述目标亮度值，则依次调节曝光时间、曝光增益以及光源亮度。
在其中的一些实施例中，所述基于所述实时亮度值与目标亮度值调节曝光参数还包括：
获取所述实时亮度值与目标亮度值的差值；
若所述差值大于预设阈值，且所述实时亮度值大于所述目标亮度值，则依次调节光源亮度、曝光增益以及曝光时间。
在其中的一些实施例中，所述基于所述内窥镜图像确定目标区域图像包括：
基于所述内窥镜图像各区域的信背比确定病灶区域的坐标信息；
基于所述坐标信息确定所述目标区域图像。
在其中的一些实施例中，所述目标区域包括多个病灶区域，所述获取所述目标区域图像的实时亮度值包括：
获取多个病灶区域图像的亮度值；
基于多个所述亮度值进行加权平均计算，得到所述目标区域图像的实时亮度值。
在其中的一些实施例中，所述基于所述实时亮度值与目标亮度值调节曝光参数之后还包括：
基于调节后的曝光参数获取内窥镜图像。
第二个方面，在本实施例中提供了一种曝光参数调节装置，所述装置包括：
内窥镜图像获取模块，用于获取内窥镜图像；
目标图像获取模块，用于基于所述内窥镜图像确定目标区域图像；
亮度值获取模块，用于获取所述目标区域图像的实时亮度值；
调节模块，用于基于所述实时亮度值与目标亮度值调节曝光参数。
第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的曝光参数调节方法。
第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的曝光参数调节方法。
与相关技术相比，在本实施例中提供的曝光参数调节方法、装置、电子装置和存储介质，获取内窥镜图像；基于所述内窥镜图像确定目标区域图像；获取所述目标区域图像的实时亮度值；基于所述实时亮度值与目标亮度值调节曝光参数。无需引入新的硬件结构，仅通过算法改进，直接通过目标区域图像的亮度判断当前图像是否满足观察要求，并对应调节曝光参数，成本低，操作简单，能够有效提高效率。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明一实施例的曝光参数调节方法的终端的硬件结构框图；
图2是本发明一实施例的曝光参数调节方法的流程示意图；
图3是本发明另一实施例的曝光参数调节方法的流程示意图；
图4是本发明一实施例的目标区域图像的示意图；
图5是本发明另一实施例的目标区域图像的示意图；
图6是本发明另一实施例的曝光参数调节方法的流程示意图；
图7是本发明一实施例的曝光参数调节装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的曝光参数调节方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的曝光参数调节方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
请参阅图2，图2是本发明一实施例的曝光参数调节方法的流程示意图。在本实施例中，曝光参数调节方法包括：
S202：获取内窥镜图像。
示例性地，通过内窥镜系统获取被观察组织的内窥镜图像。其中，内窥镜系统包括内窥镜、显像系统以及计算机等设备，显像系统将内窥镜获取的影像信息输入计算机，计算机对影像信息进行数字化处理，并在显示界面实时显示内窥镜图像；内窥镜图像反映了被观察组织的影像信息，包括但不限于内窥镜直接拍摄的常规显示图像以及在荧光激发光激发下的荧光显示图像。
S204：基于内窥镜图像确定目标区域图像。
示例性地，对内窥镜系统获取的内窥镜图像进行处理和分析，得到目标区域图像。其中，目标区域图像包括但不限于病灶区域图像、增生组织区域图像或者正常组织区域图像。
具体的，目标区域图像为病灶区域图像。在其中一个具体实施例中，获取内窥镜系统直接拍摄的常规显示图像，对常规显示图像进行边缘检测、目标检测等图像分析方法，从而得到病灶区域图像；在另一个具体实施例中，在手术中向被观察组织注射吲哚青绿(ICG)等荧光试剂，在开启荧光激发光后，病灶区域的荧光试剂会发出另一光谱，该光谱与荧光激发光叠加，使得病灶区域的亮度高于非病灶区域，即病灶区域图像具有明显的信背比，通过对内窥镜图像进行分析，即可得到病灶区域图像。
具体的，目标区域图像包括但不限于：病灶轮廓的内部区域图像，覆盖病灶区域的最小矩形区域图像、病灶轮廓的内部最大圆形区域图像等。优选的，病灶区域图像既能充分反馈病灶区域的图像亮度信息，又容易获取和计算，以提高曝光参数调节的准确度和调节效率。
S206：获取目标区域图像的实时亮度值。
示例性地，获取目标区域图像后，计算目标区域图像的实时亮度值。其中，实时亮度值反映了当前目标区域图像的整体亮度信息，基于实时亮度值可以确定当前内窥镜的曝光是否正常。
在其中一个实施例中，获取每个目标区域图像中的每个像素点的亮度值，并计算其像素点的亮度平均值，作为目标区域图像的实时亮度值；在另一个具体实施例中，由于目标区域图像可能包含少量非目标区域，因此通过边缘检测、图像二值化等方法去除非目标区域的像素点，并计算剩余目标区域图像的像素点的亮度平均值，作为目标区域图像的实时亮度值；在另一个具体实施例中，由于逐点计算像素点的亮度平均值可能导致计算量较大，因此将目标区域图像划分成预设数量的目标子区域，为每个目标子区域选取一个亮度值，并计算所有目标子区域的亮度平均值，作为目标区域图像的实时亮度值。
S208：基于实时亮度值与目标亮度值调节曝光参数。
示例性地，获取目标区域图像的实时亮度值后，将其与目标亮度值进行比较，并基于比较结果调节内窥镜的曝光参数。其中，目标亮度值是当前目标区域图像的标准亮度值，其数值大小可以人为进行设置，也可以由内窥镜系统通过计算和分析获取，还可以是当前帧图像之前的目标区域图像的亮度值，本实施例对此不作限制。
本实施例获取内窥镜图像；基于内窥镜图像确定目标区域图像；获取目标区域图像的实时亮度值；基于实时亮度值与目标亮度值调节曝光参数，无需引入新的硬件结构，仅通过算法改进，直接通过目标区域图像的亮度判断当前图像是否满足观察要求，并对应调节曝光参数，成本低，操作简单，能够有效提高效率。
在另一个实施例中，曝光参数包括光源亮度、曝光时间以及曝光增益中的至少一项。
示例性地，曝光参数是指在内窥镜系统拍摄过程中设置的、与最终成像亮度和质量相关的参数。可以理解的，目标区域图像的实时亮度值过高或者过低均会影响最终的检测结果，因此需要对内窥镜的曝光参数进行调节。
具体的，曝光参数至少包括光源亮度、曝光时间以及曝光增益。其中，光源亮度是指内窥镜光源在被观察组织内部所发出的光线的强度，光源亮度越大，目标区域图像的实时亮度值越大。曝光时间是指将光投射到感光材料的感光面上所需要的时间，即快门的打开时间，曝光时间越长，感光材料所接收到的光线越多，目标区域图像的实时亮度值越大。曝光增益是指对图像信号进行放大的倍数，曝光增益越大，目标区域图像的实时亮度值越大。
可以理解的，上述曝光参数仅仅作为示例，本发明中的曝光参数还可以包括光圈、感光度、曝光指数等参数，对此本发明不再赘述。
本实施例相对于现有技术，增加了对内窥镜激发光源的光源亮度调节功能，通过搭配光源亮度、曝光时间以及曝光增益的调节顺序和调节幅度，提高了曝光参数调节的灵活性。并且，基于光源亮度调节还可以控制内窥镜前端的温度，避免内窥镜前端温度过高损伤被观察组织，以及控制激发光源对被观察组织的危害程度，从而降低了内窥镜激发光源对人体的危害。
在另一个实施例中，基于实时亮度值与目标亮度值调节曝光参数包括：
步骤1：获取实时亮度值与目标亮度值的差值；
步骤2：若差值大于预设阈值，且实时亮度值小于目标亮度值，则依次调节曝光时间、曝光增益以及光源亮度。
示例性地，将目标区域图像的实时亮度值与目标亮度值进行比较，以计算其差值，并将该差值与预设阈值进行比较。若差值大于预设阈值，则表明目标区域图像的实时亮度值相比于目标亮度值过高或者过低，因此需要调整目标亮度值；若差值小于预设阈值，则表明目标区域图像的实时亮度值在允许的亮度范围内，此时目标区域图像的曝光状况良好，不需要对目标亮度值进行调节。其中，预设阈值可以由系统设置或者人为设置，用于表示内窥镜系统的亮度容差值，即内窥镜系统能接受的实时亮度值与目标亮度值的差值范围。
示例性地，若差值大于预设阈值，且目标区域图像的实时亮度值小于目标亮度值，则表明目标区域图像的实时亮度值过低，依次调节曝光时间、曝光增益以及光源亮度。
在其中一个具体实施例中，先增加内窥镜的曝光时间，以提高目标区域图像的实时亮度值；若曝光时间达到最大值时，实时亮度值依然低于目标亮度值，则增加曝光增益；若曝光增益达到最大值时，实时亮度值依然低于目标亮度值，则增加光源亮度，以提高目标区域图像的实时亮度值。
可以理解的，由于内窥镜光源是激发光，具有一定的危害性，并且光源亮度过高时会导致内窥镜前端的镜杆温度过高从而损伤组织，因此需要在最后增加光源亮度；而曝光增益过高时，会导致图像噪声偏大，进而影响图像质量，因此需要在先增加曝光时间，然后才增加曝光增益。
可以理解的，本实施例中的调节顺序并不是绝对的，由于增益过大时，图像噪声过大，导致无法准确进行病灶检测，因此此时需要先部分增加曝光增益，然后先增加光源亮度以提高目标区域图像的实时亮度值，而不能直接将曝光增益增加至最大值。
在另一个具体实施例中，先增加内窥镜的曝光时间，以提高目标区域图像的实时亮度值；若曝光时间达到最大值时，实时亮度值依然低于目标亮度值，则增加曝光增益；若曝光增益达到中间值时，实时亮度值依然低于目标亮度值，则增加光源亮度；若光源亮度达到最大值时，实时亮度值依然低于目标亮度值，则进一步增加曝光增益，以提高目标区域图像的实时亮度值。
本实施例计算实时亮度值与目标亮度值的差值，若差值大于预设阈值且实时亮度值小于目标亮度值时，依次调节曝光时间、曝光增益以及光源亮度。首先调节曝光时间参数，提高了图像亮度，并且避免了增加对被观察组织的危害，以及增加图像噪声；再通过在调节曝光时间之后调节曝光增益的方式，降低了曝光增益对内窥镜图像的噪声干扰；通过最后增加光源亮度的方式，降低了激发光源对人体的危害。
在另一个实施例中，基于实时亮度值与目标亮度值调节曝光参数还包括：
步骤1：获取实时亮度值与目标亮度值的差值；
步骤2：若差值大于预设阈值，且实时亮度值大于目标亮度值，则依次调节光源亮度、曝光增益以及曝光时间。
示例性地，将目标区域图像的实时亮度值与目标亮度值进行比较，以计算其差值，并将该差值与预设阈值进行比较。若差值大于预设阈值，则表明目标区域图像的实时亮度值相比于目标亮度值过高或者过低，因此需要调整目标亮度值；若差值小于预设阈值，则表明目标区域图像的实时亮度值在允许的亮度范围内，此时目标区域图像的曝光状况良好，不需要对目标亮度值进行调节。其中，预设阈值可以由系统设置或者人为设置，用于表示内窥镜系统的亮度容差值，即内窥镜系统能接受的实时亮度值与目标亮度值的差值范围。
示例性地，若差值大于预设阈值，且目标区域图像的实时亮度值大于目标亮度值，则表明目标区域图像的实时亮度值过高，依次调节光源亮度、曝光增益以及曝光时间。
在其中一个具体实施例中，先降低内窥镜的光源亮度，以降低目标区域图像的实时亮度值；若光源亮度降低到最小值时，实时亮度值依然高于目标亮度值，则降低曝光增益；若曝光增益降低到最小值时，实时亮度值依然高于目标亮度值，则降低曝光时间，以降低目标区域图像的实时亮度值。
可以理解的，由于内窥镜光源是激发光，具有一定的危害性，并且光源亮度过高时会导致内窥镜前端的镜杆温度过高从而损伤组织，因此需要首先降低光源亮度；而曝光增益过高时，会导致图像噪声偏大，进而影像图像质量，因此需要先降低曝光增益，然后再降低曝光时间。
请参阅图3，图3是本发明另一实施例的曝光参数调节方法的流程示意图。在另一个具体实施例中，定义目标区域图像的实时亮度值为h3aY′，目标亮度值为h3aY，亮度容差值为T，光源亮度最小值为lightMin，最大值为lightMax；曝光时间最小值为shutMin，最大值为shutMax；曝光增益最小值为gainMin，中间值为gainMiddle，最大值为gainMax。比较h3aY′与h3aY±T的大小，当h3aY-T≤h3aY′≤h3aY+T时，表示亮度变化在容差范围内，不需要做调整；当h3aY′>h3aY+T时，说明当前亮度偏高，优先降低激发光光源的亮度，当降低到光源亮度的最小值lightMin时，图像仍旧偏亮，再降低曝光增益，当降低到曝光增益到最小值gainMin时，图像仍旧偏亮，接着降低曝光时间，直到h3aY′在容差范围内；当h3aY′<h3aY-T时，说明当前亮度偏低，先增加图像传感器的曝光时间，当达到最大值shutMax时，图像亮度还是偏低，开始增加曝光增益，当曝光增益超过gainMiddle时，图像亮度还是偏低，再开始增加光源亮度，当光源亮度达到lightMax时，图像亮度还是偏低，最后再继续增加曝光增益，直到h3aY′在容差范围内。
本实施例计算实时亮度值与目标亮度值的差值，若差值大于预设阈值且实时亮度值大于目标亮度值时，依次调节光源亮度、曝光增益以及曝光时间。由于光源亮度过高时，激发光源功率和温度较高，对被观察组织的危害较大，因此首先降低光源亮度，以优先降低激发光源对被观察组织的危害，并降低了图像亮度；再通过在降低光源亮度之后降低曝光增益的方式，次优先地降低曝光增益导致的噪声干扰，最后调节激发光源的光源亮度。
在另一个实施例中，基于内窥镜图像确定目标区域图像包括：
步骤1：基于内窥镜图像各区域的信背比确定病灶区域的坐标信息；
步骤2：基于坐标信息确定目标区域图像。
示例性地，根据内窥镜图像的信背比，获取病灶区域的坐标信息，可以理解的，由于病灶区域的亮度与内窥镜图像背景部分明显不同，因此可以获取信背比不同的病灶区域，病灶区域的坐标信息可以是病灶区域边缘像素点的坐标信息。获取坐标信息后，根据坐标信息划分目标区域图像，该目标区域图像包含病灶区域。
请参阅图4，图4是本发明一实施例的目标区域图像的示意图。具体的，图4中的不规则区域即为病灶区域，提取病灶区域后，基于病灶区域的最左点、最右点、最上点以及最下点的坐标信息划分目标区域，即为图4中的虚线矩形框部分。
具体的，目标区域可以用坐标信息进行表示，一个目标区域的坐标信息包含该目标区域左上角x轴坐标left、左上角y轴坐标top、右下角x轴坐标right和右下角y轴坐标bottom。如图4所示，内窥镜图像有三个病灶区域，则可以得到三个目标区域的坐标信息：[left1,top1,right1,bottom1]、[left2,top2,right2,bottom2]和[left3,top3,right3,bottom3]。
在其中一个具体实施例中，基于图像块确定病灶区域的坐标信息。请参阅图5，图5是本发明另一实施例的目标区域图像的示意图。具体的，图像块为图5的网格中的每个网格图像。首先，计算内窥镜图像中的图像块的大小，若图像块的横向数量为widthNum，纵向数量为heightNum，内窥镜图像的宽度为Width，高度为Height，则得出每个图像块的宽度、高度依次为：
其次，计算病灶区域的块坐标信息，病灶区域左边界、右边界、上边界、下边界的块坐标依次为：
其中，left为病灶区域左边界到y轴的距离，right为病灶区域右边界到y轴的距离，top为病灶区域上边界到x轴的距离，bottom为病灶区域下边界到x轴的距离。
具体的，根据上述计算方法，依次得到三个病灶区域的块坐标信息：[tileL1,lileR1,tileT1,tileB1]、[tileL2,lileR2,tileT2,tileB2]、[tileL3,lileR3,tileT3,tileB3]。
本实施例基于内窥镜图像的信背比获取病灶区域的坐标信息，进而确定目标区域图像，由于病灶区域的亮度显著高于背景区域，因此以信背比差异获取的病灶区域更为准确，并且目标区域可基于病灶区域的坐标信息设置，以使目标区域在保证覆盖病灶区域的前提下，减少目标区域内的非病灶区域，从而提高了目标区域图像的质量，进而提高了曝光参数调节的准确性。
在另一个实施例中，目标区域包括多个病灶区域，获取目标区域图像的实时亮度值包括：
步骤1：获取多个病灶区域图像的亮度值；
步骤2：基于多个亮度值进行加权平均计算，得到目标区域图像的实时亮度值。
示例性地，目标区域图像可以同时包括多个病灶区域图像。获取多个病灶区域图像后，分别计算每个病灶区域图像的亮度值，并确定每个病灶区域图像对应的权值。通过对每个病灶区域图像进行加权计算，得到病灶区域图像的平均亮度值，并将该平均亮度值作为目标区域图像的实时亮度值。
在其中一个具体实施例中，获取病灶区域图像的所有像素点的平均值，作为该病灶区域图像的亮度值。
在另一个具体实施例中，基于图像块计算病灶区域图像的亮度值。具体的，首先，确定病灶区域左边界、右边界、上边界、下边界覆盖的图像块数量L、R、T、B，以及病灶区域覆盖的图像块数量S，分别计算病灶区域的左边界权重lLeftWeight、右边界权重rRightWeight、上边界权重tTopWeight、下边界权重bBottomWeight：
然后，计算病灶区域覆盖的每个图像块的权重，以WEIGHT_MAX作为图像块中权重的最大值，则：
左上角的图像块的权重为：
weightTable＝WEIGHT_MAX*lLeftWeight*tTopWeight
左下角的图像块的权重为：
weightTable＝WEIGHT_MAX*lLeftWeight*bBottomWeight
右上角的图像块的权重为：
weightTable＝WEIGHT_MAX*rRightWeight*tTopWeight
右下角的图像块的权重为：
weightTable＝WEIGHT_MAX*rRightWeight*bBottomWeight
上边界中间的图像块的权重为：
weightTable＝WEIGHT_MAX*tTopWeight
下边界中间的图像块的权重为：
weightTable＝WEIGHT_MAX*bBottomWeight
左边界中间的图像块的权重为；
weightTable＝WEIGHT_MAX*lLeftWeight
右边界中间的图像块的权重为：
weightTable＝WEIGHT_MAX*rRightWeight
病灶区域非边界的图像块的权重为：
weightTable＝WEIGHT_MAX
非病灶区域的图像块的权重为：
weightTable＝0
最后，通过每个图像块的权重，计算病灶区域的平均亮度值。具体的，首先计算病灶区域的所有图像块的亮度和：
h3aLumaSum＝∑(LumaWin[i]*weightTable[i])
其中，LumaWin[i]为第i个图像块的亮度，weightTable[i]为第i个图像块的权重。再计算病灶区域的所有图像块的权重和：
weightSum＝∑(weightTable[i])
最后通过加权平均计算该病灶区域的亮度值，作为实时亮度值：
具体的，通过上述方法得到每个病灶区域的亮度值后，再次根据每个病灶区域的亮度值以及权值，进行加权平均计算得到该目标区域图像的平均亮度值。
可选的，目标区域还可以只包括一个病灶区域，获取该病灶区域的亮度值，作为目标区域图像的实时亮度值。具体的，病灶区域的亮度值包括但不限于病灶区域的所有像素点的亮度平均值以及病灶区域的所有图像块的加权平均亮度值。
本实施例获取多个病灶区域图像的亮度值，并对病灶区域图像的亮度值进行加权平均计算，以获取目标区域图像的实时亮度值。通过加权计算的方法，可以更准确的反映目标区域图像的整体亮度信息，从而提高曝光参数调节的准确性。
在另一个实施例中，方法还包括：
获取初始状态下目标区域的实时亮度值，作为目标亮度值。
示例性地，在初始状态下获取目标区域的实时亮度值，作为在后续调节过程中的目标亮度值，以及当前状态下目标区域的亮度值的参照。在其中一个具体实施例中，初始状态可以是预先设置的标准状态，该状态下的实时亮度值即为标准亮度值，在后续曝光参数调节过程中始终以该标准亮度值作为参照。在另一个具体实施例中，内窥镜的拍摄姿态是动态调整的，初始状态可以是当前拍摄姿态之前的拍摄姿态对应的目标区域图像状态，从而动态的获取初始状态下目标区域的目标亮度值，作为当前的实时亮度值的参照，通过不同拍摄姿态间的亮度值差异，实时调节内窥镜的曝光参数。
本实施例通过将初始状态下的目标区域图像的实时亮度值作为参照，对曝光参数进行调节，提高了曝光参数在当前场景下的适应性。
在另一个实施例中，基于实时亮度值与目标亮度值调节曝光参数之后还包括：
基于调节后的曝光参数获取内窥镜图像。
示例性地，在基于目标区域图像的实时亮度值调整曝光参数后，基于调整后的曝光参数获取内窥镜图像，进而对被观察组织进行病理分析和检测。
请参阅图6，图6是本发明另一实施例的曝光参数调节方法的流程示意图。具体的，首先获取内窥镜图像，并提取内窥镜图像像素点的亮度；将内窥镜图像划分成预设数量的图像块，并计算每个图像块的大小；提取病灶区域，计算病灶区域的块坐标信息；根据图像块在病灶区域的位置计算病灶区域的图像块的权重以及权重和；进一步加权计算出病灶区域的平均亮度值；最后基于平均亮度值调整曝光参数。
本实施例通过动态调整后的曝光参数获取内窥镜图像，提高了内窥镜图像的质量，进而提高了后续病理分析和检测的准确率以及效率。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中还提供了一种曝光参数调节装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是本实施例的曝光参数调节装置的结构框图，如图7所示，该装置包括：
内窥镜图像获取模块10，用于获取内窥镜图像；
目标图像获取模块20，用于基于内窥镜图像确定目标区域图像；
目标图像获取模块20，还用于基于内窥镜图像各区域的信背比确定病灶区域的坐标信息；
基于坐标信息确定目标区域图像；
亮度值获取模块30，用于获取目标区域图像的实时亮度值；
亮度值获取模块30，还用于获取多个病灶区域图像的亮度值；
基于多个亮度值进行加权平均计算，得到目标区域图像的实时亮度值；
调节模块40，用于基于实时亮度值与目标亮度值调节曝光参数；
调节模块40，还用于获取实时亮度值与目标亮度值的差值；
若差值大于预设阈值，且实时亮度值小于目标亮度值，则依次调节曝光时间、曝光增益以及光源亮度；
调节模块40，还用于获取实时亮度值与目标亮度值的差值；
若差值大于预设阈值，且实时亮度值大于目标亮度值，则依次调节光源亮度、曝光增益以及曝光时间；
曝光参数调节装置，还包括优化图像获取模块；
优化图像获取模块，用于基于调节后的曝光参数获取内窥镜图像。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取内窥镜图像；
S2，基于内窥镜图像确定目标区域图像；
S3，获取目标区域图像的实时亮度值；
S4，基于实时亮度值与目标亮度值调节曝光参数。
需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
此外，结合上述实施例中提供的曝光参数调节方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种曝光参数调节方法。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (9)
1.一种曝光参数调节方法，应用于内窥镜系统，其特征在于，所述方法包括：
获取内窥镜图像；
基于所述内窥镜图像确定目标区域图像；
获取所述目标区域图像的实时亮度值；
基于所述实时亮度值与目标亮度值调节曝光参数；
所述目标区域包括多个病灶区域，所述获取所述目标区域图像的实时亮度值包括：
获取多个病灶区域图像的亮度值；
基于多个所述亮度值进行加权平均计算，得到所述目标区域图像的实时亮度值；
所述获取多个病灶区域图像的亮度值包括：
获取所述病灶区域图像的所有像素点的平均值作为该病灶区域图像的亮度值，或，基于图像块计算病灶区域图像的亮度值。
2.根据权利要求1所述的方法，其特征在于，所述曝光参数包括光源亮度、曝光时间以及曝光增益中的至少一项。
3.根据权利要求2所述的方法，其特征在于，所述基于所述实时亮度值与目标亮度值调节曝光参数包括：
获取所述实时亮度值与目标亮度值的差值；
若所述差值大于预设阈值，且所述实时亮度值小于所述目标亮度值，则依次调节曝光时间、曝光增益以及光源亮度。
4.根据权利要求2所述的方法，其特征在于，所述基于所述实时亮度值与目标亮度值调节曝光参数还包括：
获取所述实时亮度值与目标亮度值的差值；
若所述差值大于预设阈值，且所述实时亮度值大于所述目标亮度值，则依次调节光源亮度、曝光增益以及曝光时间。
5.根据权利要求1所述的方法，其特征在于，所述基于所述内窥镜图像确定目标区域图像包括：
基于所述内窥镜图像各区域的信背比确定病灶区域的坐标信息；
基于所述坐标信息确定所述目标区域图像。
6.根据权利要求1所述的方法，其特征在于，所述基于所述实时亮度值与目标亮度值调节曝光参数之后还包括：
基于调节后的曝光参数获取内窥镜图像。
7.一种曝光参数调节装置，其特征在于，所述装置包括：
内窥镜图像获取模块，用于获取内窥镜图像；
目标图像获取模块，用于基于所述内窥镜图像确定目标区域图像；
亮度值获取模块，用于获取所述目标区域图像的实时亮度值；
调节模块，用于基于所述实时亮度值与目标亮度值调节曝光参数；
所述亮度值获取模块，还用于获取多个病灶区域图像的亮度值；基于多个所述亮度值进行加权平均计算，得到所述目标区域图像的实时亮度值，所述目标区域包括多个病灶区域；
所述亮度值获取模块，还用于获取所述病灶区域图像的所有像素点的平均值作为该病灶区域图像的亮度值，或，基于图像块计算病灶区域图像的亮度值。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的曝光参数调节方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的曝光参数调节方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210231492.XA CN114727027B (zh) | 2022-03-09 | 2022-03-09 | 曝光参数调节方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210231492.XA CN114727027B (zh) | 2022-03-09 | 2022-03-09 | 曝光参数调节方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114727027A CN114727027A (zh) | 2022-07-08 |
| CN114727027B true CN114727027B (zh) | 2024-04-05 |
Family
ID=82237444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210231492.XA Active CN114727027B (zh) | 2022-03-09 | 2022-03-09 | 曝光参数调节方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114727027B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115426457A (zh) * | 2022-08-30 | 2022-12-02 | 佗道医疗科技有限公司 | 一种内窥镜亮度调节方法 |
| CN116338707B (zh) * | 2023-05-31 | 2023-08-11 | 深圳玩智商科技有限公司 | 曝光调整方法、装置、设备和计算机可读存储介质 |
| CN116758551A (zh) * | 2023-07-03 | 2023-09-15 | 读书郎教育科技有限公司 | 应用于词典笔的ocr文字识别方法 |
| CN116634289B (zh) * | 2023-07-24 | 2023-10-20 | 苏州熠品质量技术服务有限公司 | 一种对图像传感器过曝区域调光的方法 |
| CN116965765B (zh) * | 2023-08-01 | 2024-03-08 | 西安交通大学医学院第二附属医院 | 基于目标检测算法的早期胃癌内镜实时辅助检测系统 |
| CN117575999B (zh) * | 2023-11-01 | 2024-04-16 | 广州盛安医学检验有限公司 | 一种基于荧光标记技术的病灶预测系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104202535A (zh) * | 2014-06-30 | 2014-12-10 | 杭州光典医疗器械有限公司 | 一种自动曝光方法及装置 |
| CN104580923A (zh) * | 2014-12-30 | 2015-04-29 | 重庆金山科技（集团）有限公司 | 电子内窥镜曝光装置及曝光方法 |
| CN112565621A (zh) * | 2020-12-01 | 2021-03-26 | 浙江华诺康科技有限公司 | 内窥镜光源亮度和曝光调节方法、装置和可读存储介质 |
| CN112911165A (zh) * | 2021-03-02 | 2021-06-04 | 杭州海康慧影科技有限公司 | 内窥镜曝光方法、装置及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11576554B2 (en) * | 2019-12-20 | 2023-02-14 | Verily Life Sciences Llc | Method for adjusting an exposure of an endoscope |
-
2022
- 2022-03-09 CN CN202210231492.XA patent/CN114727027B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104202535A (zh) * | 2014-06-30 | 2014-12-10 | 杭州光典医疗器械有限公司 | 一种自动曝光方法及装置 |
| CN104580923A (zh) * | 2014-12-30 | 2015-04-29 | 重庆金山科技（集团）有限公司 | 电子内窥镜曝光装置及曝光方法 |
| CN112565621A (zh) * | 2020-12-01 | 2021-03-26 | 浙江华诺康科技有限公司 | 内窥镜光源亮度和曝光调节方法、装置和可读存储介质 |
| CN112911165A (zh) * | 2021-03-02 | 2021-06-04 | 杭州海康慧影科技有限公司 | 内窥镜曝光方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114727027A (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114727027B (zh) | 曝光参数调节方法、装置、计算机设备和存储介质 | |
| CN107277356B (zh) | 逆光场景的人脸区域处理方法和装置 | |
| CN108346149B (zh) | 图像检测、处理方法、装置及终端 | |
| KR101662846B1 (ko) | 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법 | |
| WO2019105262A1 (zh) | 背景虚化处理方法、装置及设备 | |
| US8917938B2 (en) | Method for estimating blur degree of image and method for evaluating image quality | |
| CN110033418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| EP2749202A1 (en) | Automatic exposure control device, control device, endoscope device and automatic exposure control method | |
| CN110855889B (zh) | 图像处理方法、装置、图像处理设备及存储介质 | |
| CN108616689B (zh) | 基于人像的高动态范围图像获取方法、装置及设备 | |
| WO2015070723A1 (zh) | 眼部图像处理方法和装置 | |
| KR20150024769A (ko) | 촬상 장치 및 그 촬상 방법, 화상 처리 장치 및 그 화상 처리 방법, 및, 프로그램 | |
| CN108846819B (zh) | 激光切割参数获取方法及装置、电子设备、存储介质 | |
| WO2019105254A1 (zh) | 背景虚化处理方法、装置及设备 | |
| US20220012915A1 (en) | Apparatuses, systems, and methods for managing auto-exposure of image frames depicting signal content against a darkened background | |
| CN113965679B (zh) | 深度图获取方法、结构光相机、电子设备及存储介质 | |
| CN110047059B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN110047060B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN112884666B (zh) | 图像处理方法、装置及计算机存储介质 | |
| WO2019011110A1 (zh) | 逆光场景的人脸区域处理方法和装置 | |
| CN107346531A (zh) | 一种图像优化方法、装置及终端 | |
| CN114125225B (zh) | 一种内窥镜亮度自动调节方法及装置、系统、电子设备 | |
| JP2015090562A (ja) | 画像処理装置、方法、及びプログラム | |
| CN117575924A (zh) | 一种统一模型的可见光与近红外荧光图像融合方法 | |
| CN116402735A (zh) | 基于多方向视角标定的内窥镜图像重构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |