CN117275433A - 一种屏幕校色方法和系统 - Google Patents
一种屏幕校色方法和系统 Download PDFInfo
- Publication number
- CN117275433A CN117275433A CN202311541487.XA CN202311541487A CN117275433A CN 117275433 A CN117275433 A CN 117275433A CN 202311541487 A CN202311541487 A CN 202311541487A CN 117275433 A CN117275433 A CN 117275433A
- Authority
- CN
- China
- Prior art keywords
- screen
- area
- image
- color
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000008859 change Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
- G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
- G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种屏幕校色方法和系统，属于屏幕校验技术领域，具体包括：控制多个图案在屏幕上从不同的预设坐标起点进行增大，直到控制端辨识得到N个图案的区域时，基于所述区域进行所述屏幕的校正区域的确定，基于所述预设坐标起点，按照预设面积进行多个Apriltag码的生成直到所述控制端识别得到多个标定码区域时，使用摄像机获取每一个标定码区域的屏幕坐标，在对应的标定码处生成的LUT色块图像，并通过摄像机拍摄的画面确定每一个LUT色块图像与标准色块的差值，并基于所述差值对所述屏幕进行校色处理，从而提升了校色处理的效率。
Description
技术领域
本发明属于屏幕校验技术领域，尤其涉及一种屏幕校色方法和系统。
背景技术
随着VR、AR、XR等技术的快速发展，屏幕偏色问题会直接影响到画面视觉效果，屏幕校色成为虚拟制作中不可或缺的一环。目前，基于标定码的校色方式是应用最广泛的校色方式之一。
具体实现过程是将LUT的所有色块逐个在屏幕上进行满屏显示，并使用摄像机拍摄图片，然后将图像与标准颜色块进行对比，计算出屏幕显示颜色与标准颜色的差值，再生成屏幕所需要的反相差值写入到LUT文件，最后将LUT文件赋予LED视频处理器或渲染服务器，以改变输出和图像信号能数，从而使最终拍摄的屏幕图像具有标准的、无偏差的显示效果。然而，该校色过程需要用户手动调整码的大小、数量、位置，根据实际情况设置延迟、取色间隔等参数，以及根据使用场景选择对应的标定码，因此，对于非专业性用户来说可能不太友好。
针对上述技术问题，本发明提供了一种屏幕校色方法和系统。
发明内容
本发明的目的是提供一种屏幕校色方法。
为了解决上述技术问题，本发明提供了一种屏幕校色方法，其特征在于，具体包括：
S1控制多个图案在屏幕上从不同的预设坐标起点进行增大，直到控制端辨识得到N个图案的区域时，基于所述区域进行所述屏幕的校正区域的确定；
S2基于所述预设坐标起点，按照预设面积进行多个Apriltag码的生成直到所述控制端识别得到多个标定码区域时，进入下一步骤；
S3使用摄像机获取每一个标定码区域的屏幕坐标，在对应的标定码处生成的LUT色块图像，并通过摄像机拍摄的画面确定每一个LUT色块图像与标准色块的差值，并基于所述差值对所述屏幕进行校色处理。
本发明的有益效果在于：
1、本发明提出了一种将屏幕分为多个区域快速校色的方法以及可适应多主机不同大小屏幕的校色区域自适应方案。每个区域对应不同颜色块，同时对多个区域进行校色，提高校色速度以及保证画面在屏幕上各个位置显示效果的一致性。能够根据实际摄像机实际拍摄画面给出最佳的校色区域。这种方法大大提高了屏幕校色技术的高效性和易学习性，同时解决了由LED屏幕结构特点所产生的色差问题。
2、降低使用门槛：校色过程需要用户无需手动调整码的大小、数量、位置，一键获取延迟、取色间隔等参数，保证画面在屏幕上各个位置显示效果的一致性，提高了校色效率，能在几秒时间内完成校色过程，比传统校色方式快了十几倍。
进一步的技术方案在于，所述图案为设定面积的矩形tag码，其中所述设定面积基于所述屏幕的分辨率进行确定。
进一步的技术方案在于，在控制多个图案在屏幕上从不同的预设坐标起点进行增大时，其中所述图案的增大步长根据所述图案的面积、控制端的辨识时长以及屏幕的面积进行动态调整。
进一步的技术方案在于，所述图像的增大步长的确定的具体步骤为：
S11获取所述屏幕的面积，并基于所述屏幕的面积进行所述图案的基础增大步长的确定，并判断所述图案的面积是否大于预设图案面积，若是，则进入步骤S13，若否，则进入步骤S12；
S12判断所述控制端的辨识时长是否大于预设时长，若是，则进入下一步骤，若否，则通过所述基础增大步长进行所述图像的增大步长的确定；
S13通过所述图像的面积以及设定面积的比值、图像的面积与所述屏幕的面积的比值以及所述图像的面积进行所述图像面积修正步长的确定，基于所述图像面积修正步长以及所述图像的当前的增大步长进行修正增大步长的确定，并基于所述辨识时长确定所述修正增大步长是否满足要求，若是，则将所述修正增大步长作为图像的增大步长，若否，则进入下一步骤；
S14获取所述辨识时长与所述预设时长的比值，并结合在所述辨识时长内的图像的增大步长的变动次数以及增大步长与基础增大步长的比值对所述图像的修正增大步长进行修正得到所述图像的增大步长。
进一步的技术方案在于，基于所述辨识时长确定所述修正增大步长是否满足要求，具体包括：
基于所述辨识时长与所述预设时长的比值进行最小步长阈值的确定，并通过所述最小步长阈值确定所述修正增大步长是否满足要求。
进一步的技术方案在于，所述图像的增大步长的确定的具体步骤为：
通过所述图像的面积与预设图像面积的比值、控制端的辨识时长与预设时长的比值以及所述屏幕的面积进行当前的辨识时长的图像增长步长阈值的确定；
当所述图像的当前的增大步长不小于所述图像增长步长阈值时：
则将图像的当前的增大步长作为所述图像的增大步长；
当所述图像的当前的增大步长小于所述图像增长步长阈值时：
通过所述图像的面积以及设定面积的比值、图像的面积与所述屏幕的面积的比值以及所述图像的面积进行所述图像面积修正步长的确定，基于所述图像面积修正步长以及所述图像的当前的增大步长进行修正增大步长的确定，并判断所述修正增大步长是否小于所述图像增长步长阈值，若是，则进入下一步骤，若否，则将所述修正增大步长作为图像的增大步长；
获取所述辨识时长与所述预设时长的比值，并结合在所述辨识时长内的图像的增大步长的变动次数以及增大步长与基础增大步长的比值对所述图像的修正增大步长进行修正得到所述图像的增大步长。
进一步的技术方案在于，按照预设面积进行多个Apriltag码的生成，具体包括：
根据所述屏幕的面积和分辨率进行所述Apriltag码的多个预设面积的确定，并基于所述多个预设面积从大到小在所述屏幕上进行所述Apriltag码的生成。
进一步的技术方案在于，在基于所述差值对所述屏幕进行校色处理之前，还需要根据不同区的标定码区域的LUT色块图像与标准色块的差值进行所述屏幕的屏幕质量的评估，并当所述屏幕质量满足要求后，再基于所述差值对所述屏幕进行校色处理。
进一步的技术方案在于，所述屏幕的屏幕质量的评估的具体步骤为：
S31将所述标定码区域的LUT色块图像与标准色块的差值作为所述标定码区域的图像色彩差，并根据所述图像色彩差以及预设色彩差阈值进行所述标定码区域中的问题区域的确定，并基于所述问题区域的数量以及所述问题区域的数量与所述标定码区域的数量的比值确定所述屏幕的屏幕质量是否满足要求，若是，则进入下一步骤，若否，则进入步骤S33；
S32基于所述问题区域的图像色彩差与所述预设色彩差阈值的偏差量进行所述问题区域的图像质量问题量的确定，并基于所述问题区域的图像质量问题量的数量和确定所述屏幕的屏幕质量是否满足要求，若是，则通过所述问题区域的数量与所述标定码区域的数量的比值进行所述屏幕的屏幕质量的评估，若否，则进入下一步骤；
S33获取所述问题区域的图像质量问题量的平均值，并结合所述问题区域的图像质量问题量的数量和、问题区域的数量以及所述问题区域的数量与所述标定码区域的数量的比值进行所述屏幕的问题区域的屏幕质量的确定；
S34将所述标定码区域的LUT色块图像与标准色块存在偏差的标定码区域作为偏差区域，并根据所述偏差区域的数量以及图像色彩差 、问题区域的屏幕质量进行所述屏幕的屏幕质量的评估。
进一步的技术方案在于，当所述屏幕的屏幕质量不满足要求时，则确定无须对所述屏幕进行校色处理，直接输出屏幕的屏幕质量无法满足要求，需要进行替换处理。
进一步的技术方案在于，所述屏幕的屏幕质量的评估的具体步骤为：
将所述标定码区域的LUT色块图像与标准色块的差值作为所述标定码区域的图像色彩差，并根据所述图像色彩差以及预设色彩差阈值进行所述标定码区域中的问题区域的确定，当所述屏幕存在问题区域时：
基于所述问题区域的图像色彩差与所述预设色彩差阈值的偏差量进行所述问题区域的图像质量问题量的确定，获取所述问题区域的图像质量问题量的平均值，并结合所述问题区域的图像质量问题量的数量和、问题区域的数量以及所述问题区域的数量与所述标定码区域的数量的比值进行所述屏幕的问题区域的屏幕质量的确定；
将所述标定码区域的LUT色块图像与标准色块存在偏差的标定码区域作为偏差区域，并根据所述偏差区域的数量以及图像色彩差、问题区域的屏幕质量进行所述屏幕的屏幕质量的评估；
当所述屏幕不存在问题区域时：
将所述标定码区域的LUT色块图像与标准色块存在偏差的标定码区域作为偏差区域，并根据所述偏差区域的数量以及在所述标定码区域的比例、偏差区域的图像色彩差进行所述屏幕的屏幕质量的评估。
另一方面，本申请实施例中提供一种屏幕校色系统，包括：校正区域确定模块；标定码区域获取模块；校色处理模块；
其中所述校正区域确定模块负责控制多个图案在屏幕上从不同的预设坐标起点进行增大，直到控制端辨识得到N个图案的区域时，基于所述区域进行所述屏幕的校正区域的确定；
所述标定码区域获取模块负责基于所述预设坐标起点，按照预设面积进行多个Apriltag码的生成直到所述控制端识别得到多个标定码区域；
所述校色处理模块负责使用摄像机获取每一个标定码区域的屏幕坐标，在对应的标定码处生成的LUT色块图像，并通过摄像机拍摄的画面确定每一个LUT色块图像与标准色块的差值，并基于所述差值对所述屏幕进行校色处理。
另一方面，本发明提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的一种屏幕校色方法。
其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1是根据实施例1中的一种屏幕校色方法的流程图。
图2是实施例1中的图像的增大步长的确定的具体步骤的流程图。
图3是实施例3中的一种计算机存储介质的框架图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。
用语“一个”、“一”、“该”、“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。
本发明的名词解释：
标定码：标定码是一种用于校准相机镜头的工具。标定码通常是由一系列已知位置和大小的黑白方块组成，可以放置在被拍摄的场景中。标定码一般由专业的标定设备或者软件生成，具有高度的准确性和精度。标定码可以帮助相机镜头准确地测量物体的大小和位置。
tag码：标签码（Tag Code）是一种用于标识物品或对象的编码系统。它通常由一组数字、字母或符号组成，可以用于追踪物品的位置、状态、数量等信息。标签码广泛应用于物流、仓储、制造业等领域，以及零售业、图书馆等场合。
Apriltag码：Apriltag是一种用于相机标定的标记，由美国加州理工学院的研究人员开发。Apriltag标记的形状类似于一个方框，由黑色和白色的条纹组成，具有很好的视觉特征和鲁棒性，可以在不同的光照条件下进行精确的相机标定。Apriltag标记的特点是可以通过相机的标定算法来精确地测量相机的内部参数，包括焦距、畸变等。这使得Apriltag标记成为机器人、无人机等应用中常用的相机标定工具。除了在相机标定方面的应用，Apriltag标记还可以用于机器人导航、三维重建等领域。它的鲁棒性和精度使得它成为许多机器人和计算机视觉应用中的重要工具。
Aruco标记： ArUco是一个开源的微型的现实增强库，目前好像已经集成在OpenCV3.0以上的版本内了，它除了用于现实增强，还很用于实现一些机器视觉方面的应用，上图中的波士顿动力也曾用此方法用于Atlas的视觉定位，ArUco开源库的几个特点如下： 1.基于C++； 2.仅依赖于OpenCV（≥2.4.9）和Eigen3（源码中已经包含）； 3.BDS开源。
LED：显示屏是一种新型的信息显示媒体，它是利用发光二极管点阵模块或像素单元组成的平面式显示屏幕。图2所示为8×8点阵LED显示屏的结构图，从图上看，8×8点阵共需要64个发光二极管，且每个发光二极管放置在行线和列线的交叉点上，当对应的某一行置高电平，某一列置低电平时，则相应的二极管点亮。
LUT：LUT 是 Look Up Table的简称，直译就是「检查表」的意思。有时我们也会称它为「颜色查找表」、「色彩对应表」等。LUT 通常应用在三个方面 ：1、 用于显示设备的色彩校准 ；2、 用于图像色彩空间的转换 ； 3、用于特殊色彩效果的设计与模拟。第一个应用场景指的是通过 LUT 来校正显示器颜色不准确的地方。显示器校正过程中，色彩管理程序需要加载正确的校正信息至电脑的显卡中，当你的电脑再次开启的时候，ICC 文件中的 LUT信息立即被加载并传输信号至显卡，此时显示的效果就会发生变化。第二个应用场景指的是 LUT 的色彩管理。一部影视作品从拍摄到校色，再到最终放映，每一个环节都有自己独立的色彩管理方案， LUT 色彩管理就是让不同的色彩空间统一起来。换句话说，就是将影像由一种标准色彩空间转换成另一种标准的色彩空间。比如，LogC 转换成 Cineon/REDlogFilm，或 Rec.709 转换为 DCI-P3。第三个应用场景指的是用 LUT 来调整影片的颜色风格。也就是我们经常说的调色。如今，LUT 不仅广泛应用于达芬奇（DaVinci Resolve）或 Adobe SpeedGrade 这种专业的调色软件，也可以在剪辑合成软件如 Final Cut Pro X，Premiere Pro ，Nuke 等中使用。
AR：增强现实，将虚拟的信息叠加到真实的现实世界中； 通过智能手机、平板电脑等电子设备进行体验；此类附加信息或内容通常是视觉或听觉的，并且对当前环境的观察可以是直接的，没有中间转换，处理和渲染，或者是间接的。
XR：扩展现实，指由计算机技术和可穿戴设备产生的所有真实及虚拟环境的结合以及人机交互。
LED显示器采用细小的三基色（红、绿、蓝）LED灯组合排列来显示内容，但不同观看角度看到的发光灯组会有不同的色差显示。摄像机在拍摄LED屏幕时，只能在正对屏幕时拍摄，而在多块屏幕拼接时无法保证对每一块屏幕都是正对或统一的角度拍摄，因此会出现“阴阳”屏的现像，大大破坏了LED显示的效果和统一画面表现。
现有的屏幕校色方式是基于整个屏幕的，通过使用软件在屏幕上每个像素上增加RGB值，以校正显示在屏幕上的图片、视频或三维场景的颜色。但是，由于LED屏幕是用细小的三基色（红、绿、蓝）LED灯组合排列来进行显示内容的，因此在不同的观看角度看到的发光灯组会有不同的色差显示，现有的校色方法无法解决这个问题。
为解决上述技术问题，采用以下技术方案：
利用监听端程序自动获取当前屏幕的分辨率，首先将图案（2×2tag码）设置rect（0，0，主机分辨率宽，主机分辨率高），等待控制端识别结果，如果识别的id列表中没有0，Rect的xy起点开始向增大的方向变化 宽高变化成（主机分辨率宽-x 主机分辨率高-y），直到控制端发出识别出来id 0的时候停止变化 rect的xy起点，Rect的宽高开始向减少的方向变化 xy起点不变，直到控制端识别出id 1 2 3 的命令的时候停止变化，判断出摄像机拍摄屏幕画面的范围区域；然后从16×16 到8×8 到 4×4的Apriltag码去依次尝试获取id，假如获取到全部id就停止，这样实现了区域的自适应与校色速度的自适应 。
等系统自适应生成对应数量的标定码区域后，使用摄像机拍摄图像获取每一个标定码的屏幕坐标。接着，在对应的标定码处生成的LUT色块图像，并确保每一次显示的色块与对应的标定码区域和编号对应。摄像机拍摄的画面不同的区域取值进行对比，并计算出屏幕显示每一个色块与标准色块的差值。最终，我们将这些差值写入到校准使用的LUT文件中。由于屏幕分为了多个区域，进行并行校色，从而保证画面在屏幕上各个位置显示效果的一致性，并大大提升屏幕的校色效率，减少屏幕校色的时间。
以下将从三个实施例进行详尽说明。
实施例1
为了解决上述技术问题，如图1所示，本发明提供了一种屏幕校色方法，其特征在于，具体包括：
S1控制多个图案在屏幕上从不同的预设坐标起点进行增大，直到控制端辨识得到N个图案的区域时，基于所述区域进行所述屏幕的校正区域的确定；
具体的，所述图案为设定面积的矩形tag码，其中所述设定面积基于所述屏幕的分辨率进行确定。
需要说明的是，在控制多个图案在屏幕上从不同的预设坐标起点进行增大时，其中所述图案的增大步长根据所述图案的面积、控制端的辨识时长以及屏幕的面积进行动态调整。
在其中的一个可能的实施例中，如图2所示，上述步骤S1中的所述图像的增大步长的确定的具体步骤为：
S11获取所述屏幕的面积，并基于所述屏幕的面积进行所述图案的基础增大步长的确定，并判断所述图案的面积是否大于预设图案面积，若是，则进入步骤S13，若否，则进入步骤S12；
S12判断所述控制端的辨识时长是否大于预设时长，若是，则进入下一步骤，若否，则通过所述基础增大步长进行所述图像的增大步长的确定；
S13通过所述图像的面积以及设定面积的比值、图像的面积与所述屏幕的面积的比值以及所述图像的面积进行所述图像面积修正步长的确定，基于所述图像面积修正步长以及所述图像的当前的增大步长进行修正增大步长的确定，并基于所述辨识时长确定所述修正增大步长是否满足要求，若是，则将所述修正增大步长作为图像的增大步长，若否，则进入下一步骤；
S14获取所述辨识时长与所述预设时长的比值，并结合在所述辨识时长内的图像的增大步长的变动次数以及增大步长与基础增大步长的比值对所述图像的修正增大步长进行修正得到所述图像的增大步长。
另外需要说明的是，基于所述辨识时长确定所述修正增大步长是否满足要求，具体包括：
基于所述辨识时长与所述预设时长的比值进行最小步长阈值的确定，并通过所述最小步长阈值确定所述修正增大步长是否满足要求。
在另外的一个可能的实施例中，上述步骤S1中所述图像的增大步长的确定的具体步骤为：
通过所述图像的面积与预设图像面积的比值、控制端的辨识时长与预设时长的比值以及所述屏幕的面积进行当前的辨识时长的图像增长步长阈值的确定；
当所述图像的当前的增大步长不小于所述图像增长步长阈值时：
则将图像的当前的增大步长作为所述图像的增大步长；
当所述图像的当前的增大步长小于所述图像增长步长阈值时：
通过所述图像的面积以及设定面积的比值、图像的面积与所述屏幕的面积的比值以及所述图像的面积进行所述图像面积修正步长的确定，基于所述图像面积修正步长以及所述图像的当前的增大步长进行修正增大步长的确定，并判断所述修正增大步长是否小于所述图像增长步长阈值，若是，则进入下一步骤，若否，则则将所述修正增大步长作为图像的增大步长；
获取所述辨识时长与所述预设时长的比值，并结合在所述辨识时长内的图像的增大步长的变动次数以及增大步长与基础增大步长的比值对所述图像的修正增大步长进行修正得到所述图像的增大步长。
S2基于所述预设坐标起点，按照预设面积进行多个Apriltag码的生成直到所述控制端识别得到多个标定码区域时，进入下一步骤；
需要说明的是，按照预设面积进行多个Apriltag码的生成，具体包括：
根据所述屏幕的面积和分辨率进行所述Apriltag码的多个预设面积的确定，并基于所述多个预设面积从大到小在所述屏幕上进行所述Apriltag码的生成。
S3使用摄像机获取每一个标定码区域的屏幕坐标，在对应的标定码处生成的LUT色块图像，并通过摄像机拍摄的画面确定每一个LUT色块图像与标准色块的差值，并基于所述差值对所述屏幕进行校色处理。
需要进一步说明的是，在基于所述差值对所述屏幕进行校色处理之前，还需要根据不同区的标定码区域的LUT色块图像与标准色块的差值进行所述屏幕的屏幕质量的评估，并当所述屏幕质量满足要求后，再基于所述差值对所述屏幕进行校色处理。
在其中的一个可能的实施例中，上述步骤S3中所述屏幕的屏幕质量的评估的具体步骤为：
S31将所述标定码区域的LUT色块图像与标准色块的差值作为所述标定码区域的图像色彩差，并根据所述图像色彩差以及预设色彩差阈值进行所述标定码区域中的问题区域的确定，并基于所述问题区域的数量以及所述问题区域的数量与所述标定码区域的数量的比值确定所述屏幕的屏幕质量是否满足要求，若是，则进入下一步骤，若否，则进入步骤S33；
S32基于所述问题区域的图像色彩差与所述预设色彩差阈值的偏差量进行所述问题区域的图像质量问题量的确定，并基于所述问题区域的图像质量问题量的数量和确定所述屏幕的屏幕质量是否满足要求，若是，则通过所述问题区域的数量与所述标定码区域的数量的比值进行所述屏幕的屏幕质量的评估，若否，则进入下一步骤；
S33获取所述问题区域的图像质量问题量的平均值，并结合所述问题区域的图像质量问题量的数量和、问题区域的数量以及所述问题区域的数量与所述标定码区域的数量的比值进行所述屏幕的问题区域的屏幕质量的确定；
S34将所述标定码区域的LUT色块图像与标准色块存在偏差的标定码区域作为偏差区域，并根据所述偏差区域的数量以及图像色彩差、问题区域的屏幕质量进行所述屏幕的屏幕质量的评估。
可以理解的是，当所述屏幕的屏幕质量不满足要求时，则确定无须对所述屏幕进行校色处理，直接输出屏幕的屏幕质量无法满足要求，需要进行替换处理。
在另外的一个可能的实施例中，上述步骤S3中所述屏幕的屏幕质量的评估的具体步骤为：
将所述标定码区域的LUT色块图像与标准色块的差值作为所述标定码区域的图像色彩差，并根据所述图像色彩差以及预设色彩差阈值进行所述标定码区域中的问题区域的确定，当所述屏幕存在问题区域时：
基于所述问题区域的图像色彩差与所述预设色彩差阈值的偏差量进行所述问题区域的图像质量问题量的确定，获取所述问题区域的图像质量问题量的平均值，并结合所述问题区域的图像质量问题量的数量和、问题区域的数量以及所述问题区域的数量与所述标定码区域的数量的比值进行所述屏幕的问题区域的屏幕质量的确定；
将所述标定码区域的LUT色块图像与标准色块存在偏差的标定码区域作为偏差区域，并根据所述偏差区域的数量以及图像色彩差、问题区域的屏幕质量进行所述屏幕的屏幕质量的评估；
当所述屏幕不存在问题区域时：
将所述标定码区域的LUT色块图像与标准色块存在偏差的标定码区域作为偏差区域，并根据所述偏差区域的数量以及在所述标定码区域的比例、偏差区域的图像色彩差进行所述屏幕的屏幕质量的评估。
具体的举例说明：
测试视频处理器使用诺瓦M40Pro，LED显示屏幕使用秀狐P1.68，箱体排列为6列5行，屏幕刷新率3840Hz，显示屏体与显示拼接器通过网线进行连接，拍摄摄像机使用的是索尼的FS7，快门调至120/1秒，记录格式调为120帧每秒，控制主机为HPZ4，网络交换机为华为S5735S，控制主机装有视频采集卡BMD4K12G。
打开接收端主机，打开LED屏幕显示，打开摄像机快门设置为50/1秒，校准开始时，打开接收端系统接收页面，打开控制端主机，使用TeamViewer软件连接接收端主机【屏幕主机】，摄像机使用SDI线连接控制端主机， 在控制端上，点击“自适应”按钮，屏幕闪烁迭代n次apriltag图案（2×2 左上 右上 左下 右下id 分别是0123）的，最终确定最佳区域和标定码最佳密度，并将其显示到屏幕上。像机拍摄到标定码图像输出到控制端主机上，控制端识别标定码图像，通过id与颜色表一一对应，生成lut文件，系统自动跟据记录的屏幕标记的标定码区域进行LUT色块的显示，并将摄像机拍摄到标定码标记图像输出到控制端进行色块的对比和校正，校正完成的色块会实时生成到指定的LUT文件中，整套LUT色块显示计算只需要1分08秒就完成了，校色完成后生成一个基于LED屏幕显示色块反算的LUT文件，同时生成校色检验结果文件，两者显示效果一致，证明校色结果准确校色操作成功，完成此块LED的颜色校正工作。
实施例2
另一方面，本申请实施例中提供一种屏幕校色系统，包括：校正区域确定模块；标定码区域获取模块；校色处理模块；
其中所述校正区域确定模块负责控制多个图案在屏幕上从不同的预设坐标起点进行增大，直到控制端辨识得到N个图案的区域时，基于所述区域进行所述屏幕的校正区域的确定；
所述标定码区域获取模块负责基于所述预设坐标起点，按照预设面积进行多个Apriltag码的生成直到所述控制端识别得到多个标定码区域；
所述校色处理模块负责使用摄像机获取每一个标定码区域的屏幕坐标，在对应的标定码处生成的LUT色块图像，并通过摄像机拍摄的画面确定每一个LUT色块图像与标准色块的差值，并基于所述差值对所述屏幕进行校色处理。
实施例3
如图3所示，本发明提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的一种屏幕校色方法。
基于上述实施例，取得以下技术效果：
1、本发明提出了一种将屏幕分为多个区域快速校色的方法以及可适应多主机不同大小屏幕的校色区域自适应方案。每个区域对应不同颜色块，同时对多个区域进行校色，提高校色速度以及保证画面在屏幕上各个位置显示效果的一致性。能够根据实际摄像机实际拍摄画面给出最佳的校色区域。这种方法大大提高了屏幕校色技术的高效性和易学习性，同时解决了由LED屏幕结构特点所产生的色差问题。
2、降低使用门槛：校色过程需要用户无需手动调整码的大小、数量、位置，一键获取延迟、取色间隔等参数，保证画面在屏幕上各个位置显示效果的一致性，提高了校色效率，能在几秒时间内完成校色过程，比传统校色方式快了十几倍。
本发明实施例的描述中，需要理解的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作，因此，不能理解为对本发明实施例的限制。
在本说明书的描述中，术语“一个实施例”、“一个优选实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明实施例的优选实施例而已，并不用于限制本发明实施例，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种屏幕校色方法，其特征在于，具体包括：
控制多个图案在屏幕上从不同的预设坐标起点进行增大，直到控制端辨识得到N个图案的区域时，基于所述区域进行所述屏幕的校正区域的确定；
基于所述预设坐标起点，按照预设面积进行多个Apriltag码的生成直到所述控制端识别得到多个标定码区域时，进入下一步骤；
使用摄像机获取每一个标定码区域的屏幕坐标，在对应的标定码处生成的LUT色块图像，并通过摄像机拍摄的画面确定每一个LUT色块图像与标准色块的差值，并基于所述差值对所述屏幕进行校色处理。
2.如权利要求1所述的屏幕校色方法，其特征在于，所述图案为设定面积的矩形tag码，其中所述设定面积基于所述屏幕的分辨率进行确定。
3.如权利要求1所述的屏幕校色方法，其特征在于，在控制多个图案在屏幕上从不同的预设坐标起点进行增大时，其中所述图案的增大步长根据所述图案的面积、控制端的辨识时长以及屏幕的面积进行动态调整。
4.如权利要求1所述的屏幕校色方法，其特征在于，所述图像的增大步长的确定的具体步骤为：
S11获取所述屏幕的面积，并基于所述屏幕的面积进行所述图案的基础增大步长的确定，并判断所述图案的面积是否大于预设图案面积，若是，则进入步骤S13，若否，则进入步骤S12；
S12判断所述控制端的辨识时长是否大于预设时长，若是，则进入下一步骤，若否，则通过所述基础增大步长进行所述图像的增大步长的确定；
S13通过所述图像的面积以及设定面积的比值、图像的面积与所述屏幕的面积的比值以及所述图像的面积进行所述图像面积修正步长的确定，基于所述图像面积修正步长以及所述图像的当前的增大步长进行修正增大步长的确定，并基于所述辨识时长确定所述修正增大步长是否满足要求，若是，则将所述修正增大步长作为图像的增大步长，若否，则进入下一步骤；
S14获取所述辨识时长与所述预设时长的比值，并结合在所述辨识时长内的图像的增大步长的变动次数以及增大步长与基础增大步长的比值对所述图像的修正增大步长进行修正得到所述图像的增大步长。
5.如权利要求4所述的屏幕校色方法，其特征在于，基于所述辨识时长确定所述修正增大步长是否满足要求，具体包括：
基于所述辨识时长与所述预设时长的比值进行最小步长阈值的确定，并通过所述最小步长阈值确定所述修正增大步长是否满足要求。
6.如权利要求1所述的屏幕校色方法，其特征在于，按照预设面积进行多个Apriltag码的生成，具体包括：
根据所述屏幕的面积和分辨率进行所述Apriltag码的多个预设面积的确定，并基于所述多个预设面积从大到小在所述屏幕上进行所述Apriltag码的生成。
7.如权利要求1所述的屏幕校色方法，其特征在于，在基于所述差值对所述屏幕进行校色处理之前，还需要根据不同区的标定码区域的LUT色块图像与标准色块的差值进行所述屏幕的屏幕质量的评估，并当所述屏幕质量满足要求后，再基于所述差值对所述屏幕进行校色处理。
8.如权利要求7所述的屏幕校色方法，其特征在于，当所述屏幕的屏幕质量不满足要求时，则确定无须对所述屏幕进行校色处理，直接输出屏幕的屏幕质量无法满足要求，需要进行替换处理。
9.如权利要求7所述的屏幕校色方法，其特征在于，所述屏幕的屏幕质量的评估的具体步骤为：
将所述标定码区域的LUT色块图像与标准色块的差值作为所述标定码区域的图像色彩差，并根据所述图像色彩差以及预设色彩差阈值进行所述标定码区域中的问题区域的确定，当所述屏幕存在问题区域时：
基于所述问题区域的图像色彩差与所述预设色彩差阈值的偏差量进行所述问题区域的图像质量问题量的确定，获取所述问题区域的图像质量问题量的平均值，并结合所述问题区域的图像质量问题量的数量和、问题区域的数量以及所述问题区域的数量与所述标定码区域的数量的比值进行所述屏幕的问题区域的屏幕质量的确定；
将所述标定码区域的LUT色块图像与标准色块存在偏差的标定码区域作为偏差区域，并根据所述偏差区域的数量以及图像色彩差、问题区域的屏幕质量进行所述屏幕的屏幕质量的评估；
当所述屏幕不存在问题区域时：
将所述标定码区域的LUT色块图像与标准色块存在偏差的标定码区域作为偏差区域，并根据所述偏差区域的数量以及在所述标定码区域的比例、偏差区域的图像色彩差进行所述屏幕的屏幕质量的评估。
10.一种屏幕校色系统，采用权利要求1-9任一项所述的一种屏幕校色方法，其特征在于，具体包括：校正区域确定模块；标定码区域获取模块；校色处理模块；
其中所述校正区域确定模块负责控制多个图案在屏幕上从不同的预设坐标起点进行增大，直到控制端辨识得到N个图案的区域时，基于所述区域进行所述屏幕的校正区域的确定；
所述标定码区域获取模块负责基于所述预设坐标起点，按照预设面积进行多个Apriltag码的生成直到所述控制端识别得到多个标定码区域；
所述校色处理模块负责使用摄像机获取每一个标定码区域的屏幕坐标，在对应的标定码处生成的LUT色块图像，并通过摄像机拍摄的画面确定每一个LUT色块图像与标准色块的差值，并基于所述差值对所述屏幕进行校色处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311541487.XA CN117275433B (zh) | 2023-11-20 | 2023-11-20 | 一种屏幕校色方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311541487.XA CN117275433B (zh) | 2023-11-20 | 2023-11-20 | 一种屏幕校色方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117275433A true CN117275433A (zh) | 2023-12-22 |
| CN117275433B CN117275433B (zh) | 2024-02-20 |
Family
ID=89219956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311541487.XA Active CN117275433B (zh) | 2023-11-20 | 2023-11-20 | 一种屏幕校色方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117275433B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003257661A (ja) * | 2002-02-28 | 2003-09-12 | Matsushita Electric Ind Co Ltd | 有機エレクトロルミネッセンス素子、それを用いた画像形成装置、携帯端末、有機エレクトロルミネッセンス素子の製造方法 |
| US20070146746A1 (en) * | 2005-12-28 | 2007-06-28 | Kwe International, Inc. | Color coordinate systems including systems with a coordinate defined by a square root of a quadratic polynomial in tristimulus values and, possibly, by a sign of a function of one or more of tristimulus values |
| CN101136192A (zh) * | 2006-08-11 | 2008-03-05 | 奥普提克斯晶硅有限公司 | 用于显示几何和色彩的自动校准和校正的系统和方法 |
| US20110208427A1 (en) * | 2010-02-25 | 2011-08-25 | Peter S. Brennan | Location Identification Systems and Methods |
| CA2843438A1 (en) * | 2012-07-30 | 2013-03-21 | Reza Rassool | System and method for providing audio for a requested note using a render cache |
| JP2013072861A (ja) * | 2011-09-29 | 2013-04-22 | Casio Comput Co Ltd | 画像表示装置 |
| KR101691880B1 (ko) * | 2015-09-23 | 2017-01-03 | (주) 이즈커뮤니케이션즈 | 자동 캘리브레이션 기능이 구비된 인터액티브 시스템 및 인터액티브 시스템의 자동 캘리브레이션 방법 |
| CN106534820A (zh) * | 2016-12-01 | 2017-03-22 | 北京利亚德视频技术有限公司 | 一种多屏显示校色方法和系统 |
| CN106782375A (zh) * | 2016-12-27 | 2017-05-31 | 惠科股份有限公司 | 液晶显示器件及其驱动方法 |
| KR20170060669A (ko) * | 2015-11-24 | 2017-06-02 | 삼성디스플레이 주식회사 | 표시 장치 및 이의 영상 표시 방법 |
| CN107093407A (zh) * | 2017-06-27 | 2017-08-25 | 武汉华星光电技术有限公司 | 液晶显示器的功耗降低装置及功耗降低方法、液晶显示器 |
| CN108182902A (zh) * | 2018-01-18 | 2018-06-19 | 深圳市华星光电技术有限公司 | 自动色偏补偿系统及自动色偏补偿方法 |
| CN110602467A (zh) * | 2019-09-09 | 2019-12-20 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、存储介质及电子设备 |
| CN116030757A (zh) * | 2023-03-29 | 2023-04-28 | 北京七维视觉传媒科技有限公司 | Led显示屏校色方法、装置、计算机设备及存储介质 |
-
2023
- 2023-11-20 CN CN202311541487.XA patent/CN117275433B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003257661A (ja) * | 2002-02-28 | 2003-09-12 | Matsushita Electric Ind Co Ltd | 有機エレクトロルミネッセンス素子、それを用いた画像形成装置、携帯端末、有機エレクトロルミネッセンス素子の製造方法 |
| US20070146746A1 (en) * | 2005-12-28 | 2007-06-28 | Kwe International, Inc. | Color coordinate systems including systems with a coordinate defined by a square root of a quadratic polynomial in tristimulus values and, possibly, by a sign of a function of one or more of tristimulus values |
| CN101136192A (zh) * | 2006-08-11 | 2008-03-05 | 奥普提克斯晶硅有限公司 | 用于显示几何和色彩的自动校准和校正的系统和方法 |
| JP2008113416A (ja) * | 2006-08-11 | 2008-05-15 | Silicon Optix Inc | 表示の形状及び色の自動較正及び修正のためのシステム及び方法 |
| US20110208427A1 (en) * | 2010-02-25 | 2011-08-25 | Peter S. Brennan | Location Identification Systems and Methods |
| JP2013072861A (ja) * | 2011-09-29 | 2013-04-22 | Casio Comput Co Ltd | 画像表示装置 |
| CA2843438A1 (en) * | 2012-07-30 | 2013-03-21 | Reza Rassool | System and method for providing audio for a requested note using a render cache |
| KR101691880B1 (ko) * | 2015-09-23 | 2017-01-03 | (주) 이즈커뮤니케이션즈 | 자동 캘리브레이션 기능이 구비된 인터액티브 시스템 및 인터액티브 시스템의 자동 캘리브레이션 방법 |
| KR20170060669A (ko) * | 2015-11-24 | 2017-06-02 | 삼성디스플레이 주식회사 | 표시 장치 및 이의 영상 표시 방법 |
| CN106534820A (zh) * | 2016-12-01 | 2017-03-22 | 北京利亚德视频技术有限公司 | 一种多屏显示校色方法和系统 |
| CN106782375A (zh) * | 2016-12-27 | 2017-05-31 | 惠科股份有限公司 | 液晶显示器件及其驱动方法 |
| CN107093407A (zh) * | 2017-06-27 | 2017-08-25 | 武汉华星光电技术有限公司 | 液晶显示器的功耗降低装置及功耗降低方法、液晶显示器 |
| CN108182902A (zh) * | 2018-01-18 | 2018-06-19 | 深圳市华星光电技术有限公司 | 自动色偏补偿系统及自动色偏补偿方法 |
| CN110602467A (zh) * | 2019-09-09 | 2019-12-20 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、存储介质及电子设备 |
| CN116030757A (zh) * | 2023-03-29 | 2023-04-28 | 北京七维视觉传媒科技有限公司 | Led显示屏校色方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117275433B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11115633B2 (en) | Method and system for projector calibration | |
| US10750141B2 (en) | Automatic calibration projection system and method | |
| EP3680853A1 (en) | Image processing method and device, electronic device, and computer-readable storage medium | |
| CN116527863A (zh) | 基于虚拟现实的视频生成方法、装置、设备及介质 | |
| WO2021134219A1 (zh) | 参数标定方法及装置 | |
| US11977811B2 (en) | Controlling characteristics of light output from LED walls | |
| US11736670B2 (en) | System and method for generating video content with hue-preservation in virtual production | |
| CN113053324A (zh) | 背光控制方法、装置、设备、系统及存储介质 | |
| US11284052B2 (en) | Method for automatically restoring a calibrated state of a projection system | |
| US11625816B2 (en) | Learning device, image generation device, learning method, image generation method, and program | |
| CN117275433B (zh) | 一种屏幕校色方法和系统 | |
| WO2020252976A1 (zh) | 一种视频植入方法及装置、设备、介质、系统 | |
| US20230171508A1 (en) | Increasing dynamic range of a virtual production display | |
| US20110052055A1 (en) | Color conversion system and method | |
| CN114760422B (zh) | 一种逆光检测方法及系统、电子设备及存储介质 | |
| WO2024204048A1 (ja) | 処理装置、設定装置、多面体及びプログラム | |
| CN103927735B (zh) | 信息处理方法和电子设备 | |
| CN117478861A (zh) | 颜色校准映射关系的建立方法、虚拟拍摄系统及相关装置 | |
| CN117689787A (zh) | 一种3d凸透镜投影仿真方法及终端 | |
| CN116453456A (zh) | Led屏幕校准方法、装置、电子设备及存储介质 | |
| WO2023064105A1 (en) | Context-dependent color-mapping of image and video data | |
| WO2023094872A1 (en) | Increasing dynamic range of a virtual production display | |
| WO2023094881A1 (en) | Increasing dynamic range of a virtual production display | |
| CN117270707A (zh) | 投影控制方法、装置以及投影交互系统 | |
| CN118160296A (zh) | 图像和视频数据的上下文相关颜色映射 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |