CN114745586A - 一种图像的传输方法、装置及可读存储介质 - Google Patents
一种图像的传输方法、装置及可读存储介质 Download PDFInfo
- Publication number
- CN114745586A CN114745586A CN202210391255.XA CN202210391255A CN114745586A CN 114745586 A CN114745586 A CN 114745586A CN 202210391255 A CN202210391255 A CN 202210391255A CN 114745586 A CN114745586 A CN 114745586A
- Authority
- CN
- China
- Prior art keywords
- displayed
- frames
- frame
- display
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000005192 partition Methods 0.000 claims abstract description 72
- 238000004590 computer program Methods 0.000 claims description 14
- 230000000873 masking effect Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000000758 substrate Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
本发明提供了一种图像的传输方法、装置及可读存储介质，其中，该传输方法包括：获取连续的多个待显示帧的图像数据；根据各个所述待显示帧的图像数据，将相应的所述待显示帧划分为多个显示分区；确定各个所述待显示帧的各个所述显示分区的用于表征亮度的特征参数；根据所述特征参数，确定所述多个待显示帧的输出频率；根据所述输出频率，传输所述多个待显示帧中至少部分待显示帧的图像数据，以使显示装置中的驱动电路接收所述至少部分待显示帧的图像数据，并驱动所述显示装置中的显示面板显示图像。用于在兼顾功耗的同时，提高画质。
Description
技术领域
本发明涉及显示技术领域，特别涉及一种图像的传输方法、装置及可读存储介质。
背景技术
随着以游戏为中心的显示行业快速发展，用户对快速响应和高画质的要求越来越高。为了提供丰富的用户体验，显示器(Monitor)引入更高的刷新率和更高的分辨率，使得视频、动画更加流畅。但这些升级后的功能会增加功耗缩短电池寿命，特别是在显示芯片(Graphics Processing Unit，GPU)的输出帧率与屏幕刷新率不同步，会导致视觉伪像，比如，撕裂、卡顿等不良画面。
发明内容
本发明提供了一种图像的传输方法、装置及可读存储介质，用于在兼顾功耗的同时，提高画质。
第一方面，本发明实施例提供了一种图像的传输方法，包括：
获取连续的多个待显示帧的图像数据；
根据各个所述待显示帧的图像数据，将相应的所述待显示帧划分为多个显示分区；
确定各个所述待显示帧的各个所述显示分区的用于表征亮度的特征参数；
根据所述特征参数，确定所述多个待显示帧的输出频率；
根据所述输出频率，传输所述多个待显示帧中至少部分待显示帧的图像数据，以使显示装置中的驱动电路接收所述至少部分待显示帧的图像数据，并驱动所述显示装置中的显示面板显示图像。
在一种可能的实现方式中，所述确定各个所述待显示帧的各个所述显示分区的用于表征亮度的特征参数，包括：
提取各个所述待显示帧的各个所述显示分区的灰度值大小；
根据所述灰度值大小，确定相应的所述显示分区的亮度值大小，所述灰度值大小以及所述亮度值大小为用于表征亮度的特征参数。
在一种可能的实现方式中，所述根据所述特征参数，确定所述多个待显示帧的输出频率，包括：
根据各个所述待显示帧对应的各个所述显示分区的亮度值大小，确定所述亮度值大小的均值；
将所述均值作为相应的所述待显示帧的亮度值大小；
根据各个所述待显示帧的亮度值大小，确定所述多个待显示帧之间的亮度跳变速度；
根据亮度跳变速度与输出频率之间的对应关系，确定所述多个待显示帧的输出频率。
在一种可能的实现方式中，所述根据亮度跳变速度与输出频率之间的对应关系，确定所述多个待显示帧的输出频率，包括：
若所述亮度跳变速度大于等于预设速度，则确定所述多个待显示帧的输出频率为预设频率；
若所述亮度跳变速度小于所述预设速度，则确定所述多个待显示帧的输出频率为小于所述预设频率的频率。
在一种可能的实现方式中，若所述输出频率为所述预设频率的1/N，N为大于1的整数，所述根据所述输出频率，传输所述多个待显示帧中至少部分待显示帧的图像数据，包括：
根据所述输出频率，仅传输所述多个待显示帧中第N*I-(N-1)个待显示帧的图像数据，且屏蔽所述多个待显示帧中除所述第N*I-(N-1)个待显示帧之外的其它待显示帧的图像数据，其中，I为大于0的整数。
在一种可能的实现方式中，若N为2，则所述根据所述输出频率，仅传输所述多个待显示帧中第N*I-(N-1)个待显示帧的图像数据，且屏蔽所述多个待显示帧中除所述第N*I-(N-1)个待显示帧之外的其它待显示帧的图像数据，包括：
根据所述输出频率，仅传输所述多个待显示帧中第2I-1个待显示帧的图像数据，且屏蔽所述多个待显示帧中第2I个待显示帧的图像数据。
第二方面，本发明实施例提供了一种图像的传输装置，包括：
获取单元，用于获取连续的多个待显示帧的图像数据；
划分单元，用于根据各个所述待显示帧的图像数据，将相应的所述待显示帧划分为多个显示分区；
第一确定单元，用于确定各个所述待显示帧的各个所述显示分区的用于表征亮度的特征参数；
第二确定单元，用于根据所述特征参数，确定所述多个待显示帧的输出频率；
传输单元，用于根据所述输出频率，传输所述多个待显示帧中至少部分待显示帧的图像数据，以使显示装置中的驱动电路接收所述至少部分待显示帧的图像数据，并驱动所述显示装置中的显示面板显示图像。
在一种可能的实现方式中，所述第一确定单元用于：
提取各个所述待显示帧的各个所述显示分区的灰度值大小；
根据所述灰度值大小，确定相应的所述显示分区的亮度值大小，所述灰度值大小以及所述亮度值大小为用于表征亮度的特征参数。
在一种可能的实现方式中，所述第二确定单元用于：
根据各个所述待显示帧对应的各个所述显示分区的亮度值大小，确定所述亮度值大小的均值；
将所述均值作为相应的所述待显示帧的亮度值大小；
根据各个所述待显示帧的亮度值大小，确定所述多个待显示帧之间的亮度跳变速度；
根据亮度跳变速度与输出频率之间的对应关系，确定所述多个待显示帧的输出频率。
第三方面，本发明一种显示装置，包括：
显示面板、用于驱动所述显示面板的驱动电路以及如上面任一项所述的传输装置；
所述驱动电路用于接收所述传输装置根据所述输出频率传输所述多个待显示帧中至少部分待显示帧的图像数据，并驱动所述显示面板显示图像。
在一种可能的实现方式中，所述驱动电路包括与所述传输装置电连接的时序控制器以及分别与所述时序控制器电连接的源极驱动电路和栅极驱动电路。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上面任一项所述的图像的传输方法的步骤。
本发明的有益效果如下：
本发明实施例提供了一种图像的传输方法、装置及可读存储介质，首先，获得连续的多个待显示帧的图像数据，然后，根据各个待显示帧的图像数据，将相应的待显示帧划分为多个显示分区，然后，确定各个待显示帧的各个显示分区的用于表征亮度的特征参数，比如，灰度值大小、亮度值大小等，然后，根据该特征参数，确定多个待显示帧的输出频率，然后，根据所确定的输出频率，传输多个待显示帧中至少部分待显示帧的图像数据，这样的话，在显示装置中的驱动电路接收至少部分待显示帧的图像数据之后，可以驱动显示装置中的显示面板显示图像，从而保证了显示装置的显示功能。
由于可以根据各个待显示帧的图像数据，对相应的待显示帧进行分区，这样的话，可以对相应的待显示帧进行分区侦测，后续可以从各个分区中确定出用于表征亮度的特征参数，进而根据各个分区的特征参数，确定多个待显示帧的输出频率。由于各个待显示帧的图像数据有可能不同，对各个待显示帧的分区划分有可能不同，相应地基于各个分区所确定的用于表征亮度的特征参数也会有所不同，后续根据特征参数所确定的输出频率有可能不同，如此一来，实现了根据各个待显示帧的图像数据，对多个待显示帧的输出频率的自适应调整，从而能够在降低显示装置的功耗的同时，提高了显示装置的画质。
附图说明
图1为相关技术中可变刷新率驱动和亮度变化的时序示意图；
图2为本发明实施例提供的一种图像的传输方法所适用的显示装置的其中一种结构示意图；
图3为本发明实施例提供的一种图像的传输方法中亮度矩形模式为聚集模式的其中一种示意图；
图4为本发明实施例提供的一种图像的传输方法中亮度矩形模式为分散模式的其中一种示意图；
图5为本发明实施例提供的一种图像的传输方法的方法流程图；
图6为图5中步骤S103的其中一种方法流程图；
图7为图5中步骤S104的其中一种方法流程图；
图8为本发明实施例提供的一种图像的传输方法中图像数据传输时序图；
图9为本发明实施例提供的一种图像的传输方法中可变刷新率驱动和亮度变化的时序图；
图10为本发明实施例提供的一种图像的传输装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
需要注意的是，附图中各图形的尺寸和形状不反映真实比例，目的只是示意说明本发明内容。并且自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
在相关技术中，数字集成电路在高频工作时，功耗与其开关频率(即刷新频率)之间的公式为：P＝fCV2，其中，P表示功耗，f表示刷新频率，C表示负载电容，V表示施加电压，通常CV为一固定常数。基于该公式可知，数字集成电路的功耗与其刷新频率呈正比。对于高刷新率显示器，其功耗通常较高。特别是采用低温多晶硅薄膜晶体管(Low TemperaturePoly-silicon Thin Film Transistor，LTPS TFT)的显示器，由于其较大的关断漏电流而无法在低刷新率下正常驱动，并且会影响亮度变化，从而导致低刷新率下和切换刷新率下的闪烁问题。以显示装置按照60Hz显示为例，结合图1所示的可变刷新率驱动和亮度变化的时序示意图，其中，横坐标X表示可变刷新率驱动，纵坐标Y表示图像亮度变化，a表示真实图像轮廓随着时间的变化，当60Hz切换至30Hz，由于刷新率不同，C区域不同，屏幕亮度变化明显，用户可以在刷新率快速变化的瞬间感知到亮度变化，从而导致视觉伪像图像轮廓。
鉴于此，本发明实施例提供了一种图像的传输方法、装置及可读存储介质，用于兼顾低功耗的同时，提高画质。
如图2所示为本发明实施例提供的图像的传输方法所适用的显示装置的其中一种结构示意图，该显示装置包括系统级芯片(System on Chip，SOC)10、显示面板20和驱动电路30，显示面板20可以为液晶显示面板。其中，显示面板20的显示区(Active Area，AA)包括多个阵列排布的像素PX。即像素PX沿行方向和列方向重复排列在显示区AA中。每个像素PX包括多个子像素spx。比如，一个像素PX包括红色子像素、绿色子像素和蓝色子像素，可以通过红绿蓝进行混色，实现彩色显示。再比如，一个像素PX包括红色子像素、绿色子像素、蓝色子像素和白色子像素，可以通过红绿蓝白进行混色，实现彩色显示。当然，还可以根据实际应用需要来设置像素中子像素的发光颜色，在此不做限定。
在实际应用中，系统级芯片10获取到视频，该视频包括连续的多个待显示帧的图像数据，每个待显示帧的图像数据可以控制显示面板20显示一幅图像画面。在其中一种示例性实施例中，在控制显示面板20显示一幅图像画面时，系统级芯片10需要将这一个待显示帧的图像数据传输给驱动电路30，以使驱动电路30根据系统级芯片10传输过来的图像数据驱动显示面板20显示图像画面。驱动电路30包括时序控制器301、栅极驱动电路302和源极驱动电路303，其中，时序控制器301与系统级芯片10电连接，时序控制器301分别与栅极驱动电路302和源极驱动电路303电连接，时序控制器301用于根据系统级芯片10的输出频率对栅极驱动电路302和源极驱动电路303输出的信号进行控制，以驱动显示面板20显示相应的图像，栅极驱动电路302用于对显示面板20中的各行像素进行逐行扫描，源极驱动电路303用于对显示面板20中的各列像素提供数据信号。当然，本发明实施例中的显示装置还可以包括其它结构，可以参照相关技术中的描述，在此不做赘述。
结合图3和图4所示的亮度矩形模式，其中，图3为亮度矩形模式为聚集模式的其中一种示意图，图4为亮度矩形模式为分散模式的其中一种示意图，其中，图3中亮度矩形的长度为L，其宽度为W，图4中九个亮度矩形中每个亮度矩形的长度为L/3，图4中九个亮度矩形中每个亮度矩形的宽度为W/3,这两种模式具有完全相同的灰色区域和直方图，相应地，两种模式中灰色矩形面积总和相等，即具有完全相同的像素分布。本发明人在实际研究中发现，聚集模式相较于分散模式，人类视觉更能感知到亮度闪烁，也就是说，在所有频率范围内，更大的字段(即灰度值)会导致视觉上更高的灵敏度。这样的话，将待显示帧进行分区侦测，选择最佳刷新率驱动显示，避免了视觉伪影的出现，保证了画质。在本发明实施例中，可以对各个待显示帧进行分区，分区前后对应的待显示帧的图像数据不会有所改变，也就是说，分区并不会对相应的待显示帧的图像数据造成影响。
如图5所示，本发明实施例提供了一种图像的传输方法，该传输方法应用于一传输装置，该传输装置可以为系统级芯片10，该传输方法包括：
S101：获取连续的多个待显示帧的图像数据；
对于多个待显示帧的具体个数，可以根据实际应用需要来设置，在此不做限定。所获取的多个待显示帧的图像数据可以是GPU传输过来的图像数据。
S102：根据各个所述待显示帧的图像数据，将相应的所述待显示帧划分为多个显示分区；
在具体实施过程中，不同的待显示帧的图像数据可以相同，还可以不同；可以根据各个待显示帧的图像数据，将相应的待显示帧划分为多个显示分区，其中，可以根据各个待显示帧相应的图像数据来对相应的待显示帧进行分区，各个待显示帧所划分的显示分区个数可以相同，也可以不同，具体根据各个待显示帧的图像数据来确定，在此不做限定。对同一个待显示帧来说，所划分的显示分区的个数越多，对待显示帧的划分越精细，基于此所确定出的输出频率越精确。在其中一种示例性实施例中，可以根据各个待显示帧相应的图像数据的复杂程度来对相应的待显示帧进行显示分区的划分，图像数据越复杂所划分的显示分区的个数越多，相应地，图像数据越单一所划分的显示分区的个数越少。比如，多个待显示帧包括待显示帧A和待显示帧B，若待显示帧A的图像数据较为单一，待显示帧A划分为显示分区a1和显示分区a2在内的两个显示分区，若待显示帧B的图像数据较为复杂，待显示帧B划分为显示分区b1、显示分区b2和显示分区b3在内的三个显示分区。当然，可以根据实际应用需要来对各个待显示帧的显示分区进行划分，在此不做限定。
S103：确定各个所述待显示帧的各个所述显示分区的用于表征亮度的特征参数；
将各个待显示帧划分为多个显示分区之后，可以提取各个显示分区的灰阶，进而确定各个显示分区的用于表征亮度的特征参数，比如，灰度值大小和亮度值大小。
S104：根据所述特征参数，确定所述多个待显示帧的输出频率；
在确定各个待显示帧的各个显示分区的特征参数之后，可以根据特征参数，确定多个待显示帧的输出频率，特征参数不同，相应的多个待显示帧的输出频率也有可能不同，如此一来，实现了根据特征参数对多个待显示帧的输出频率的自适应调整。
S105：根据所述输出频率，传输所述多个待显示帧中至少部分待显示帧的图像数据，以使显示装置中的驱动电路接收所述至少部分待显示帧的图像数据，并驱动所述显示装置中的显示面板显示图像。
在确定多个待显示帧的输出频率之后，按照该输出频率传输多个待显示帧中至少部分待显示帧的图像数据，其中，至少部分待显示帧可以是部分待显示帧，还可以是全部待显示帧，在此不做限定。这样的话，显示装置中的驱动电路在接收到传输装置根据输出频率所传输的多个待显示帧中至少部分待显示帧的图像数据之后，可以驱动显示面板显示图像，从而保证了显示装置的显示功能。
在本发明实施例中，如图6所示，步骤S103：确定各个所述待显示帧的各个所述显示分区的用于表征亮度的特征参数，包括：
S201：提取各个所述待显示帧的各个所述显示分区的灰度值大小；
S202：根据所述灰度值大小，确定相应的所述显示分区的亮度值大小，所述灰度值大小以及所述亮度值大小为用于表征亮度的特征参数。
在具体实施过程中，步骤S201至步骤S202的具体实现过程如下：
在将各个待显示帧划分为多个显示分区之后，提取各个待显示帧的各个显示分区的灰度值大小，然后，根据所提取的灰度值大小，确定相应的显示分区的亮度值大小，该灰度值大小以及亮度值大小为用于表征亮度的特征参数。在其中一种示例性的实施例中，同一待显示帧的各个显示分区所提取的灰度值大小可以是相同的，还可以是不同的，具体可以根据该待显示帧的图像数据的分布情况来限定。
在本发明实施例中，如图7所示，步骤S104：根据所述特征参数，确定所述多个待显示帧的输出频率，包括：
S301：根据各个所述待显示帧对应的各个所述显示分区的亮度值大小，确定所述亮度值大小的均值；
S302：将所述均值作为相应的所述待显示帧的亮度值大小；
S303：根据各个所述待显示帧的亮度值大小，确定所述多个待显示帧之间的亮度跳变速度；
S304：根据亮度跳变速度与输出频率之间的对应关系，确定所述多个待显示帧的输出频率。
在具体实施过程中，步骤S301至步骤S304的具体实现过程如下：
首先，根据各个待显示帧对应的各个显示分区的亮度值大小，确定亮度值大小的均值，如此一来，确定出了各个待显示帧的各个显示分区的亮度值大小的均值；比如，多个待显示帧包括待显示帧A和待显示帧B在内的两个待显示帧，待显示帧A划分为显示分区a1和显示分区a2在内的两个显示分区，待显示帧B划分为显示分区b1、显示分区b2和显示分区b3在内的三个显示分区，显示分区a1的亮度值大小为a11，显示分区a2的亮度值大小为a22，对于待显示帧A对应的显示分区的亮度值大小的均值为(a11+a22)/2；显示分区b1的亮度值大小为b11，显示分区b2的亮度值大小为b22，显示分区b3的亮度值大小为b33，对于待显示帧B对应的显示分区的亮度值大小的均值为(b11+b22+b33)/3。在确定各个待显示帧对应的显示分区的亮度值大小的均值之后，将各均值作为相应的待显示帧的亮度值大小。仍以上述例子为例，待显示帧A的亮度值大小可以为(a11+a22)/2，待显示帧B的亮度值大小可以为(b11+b22+b33)/3。在确定出各个待显示帧的亮度值大小之后，可以根据各个待显示帧的亮度值大小，确定多个待显示帧之间的亮度跳变速度。若多个待显示帧之间的亮度值大小的差值较大，表明多个待显示帧之间的亮度跳变速度越快，反之，若多个待显示帧之间的亮度值大小的差值较小，表明多个待显示帧之间的亮度跳变速度越慢。在确定多个待显示帧之间的亮度跳变速度之后，根据亮度跳变速度与输出频率之间的对应关系，确定多个待显示帧的输出频率，可以是输出频率与亮度跳变速度之间呈正比，多个待显示帧之间的亮度跳变速度越快，则输出频率越大，反之，多个待显示帧之间的亮度跳变速度越慢，则输出频率越小。如此一来，实现了对多个待显示帧的输出频率的自适应调整，降低了显示装置的功耗。
在本发明实施例中，步骤S304：根据亮度跳变速度与输出频率之间的对应关系，确定所述多个待显示帧的输出频率，包括：
若所述亮度跳变速度大于等于预设速度，则确定所述多个待显示帧的输出频率为预设频率；
若所述亮度跳变速度小于所述预设速度，则确定所述多个待显示帧的输出频率为小于所述预设频率的频率。
在具体实施过程中，若多个待显示帧之间的亮度跳变速度大于等于预设速度，则确定多个待显示帧的输出频率为预设频率，其中，可以根据实际应用需要来设置预设速度，在此不做限定。在其中一种示例性实施例中，若亮度跳变速度为240fps，则多个待显示帧的输出频率可以为240Hz。若多个待显示帧之间的亮度跳变速度小于预设速度，则确定多个待显示帧的输出频率为小于预设频率的频率，在其中一种示例性实施例中，若多个待显示帧之间的亮度跳变速度小于240fps，多个待显示帧的输出频率可以为小于240Hz的频率，比如，120Hz、80Hz、60Hz等。需要说明的是，在输出多个待显示帧的图像数据时，对多个待显示帧的部分待显示帧的图像数据，可以采用其中一种输出频率进行输出，对多个待显示帧的除部分待显示帧的图像数据之外，还可以采用另外一种输出频率进行输出；比如，对于连续的100个待显示帧，对第1个到第10个待显示帧可以采用240Hz的输出频率进行输出，对第11个到第80个待显示帧可以采用120Hz的输出频率进行输出，对第81个至第100个待显示帧可以采用60Hz的输出频率进行输出。当然，还可以根据实际应用需要分别采用合适的输出频率对多个待显示帧中的至少部分待显示帧进行输出，在此不做限定。
在本发明实施例中，若显示装置当前处于高刷新率显示，尽管主机(比如，显卡)所传输的数据没有变化，在具体实施过程中，可以使用帧掩蔽方法来切换输出频率，具体地，通过屏蔽暂时不需要更新的帧来延长一帧中的空白时间，从而降低了空白期间的显示功耗，避免了视觉伪影的产生。在其中一种示例性实施例中，若所述输出频率为所述预设频率的1/N，N为大于1的整数，所述根据所述输出频率，传输所述多个待显示帧中至少部分待显示帧的图像数据，包括：
根据所述输出频率，仅传输所述多个待显示帧中第N*I-(N-1)个待显示帧的图像数据，且屏蔽所述多个待显示帧中除所述第N*I-(N-1)个待显示帧之外的其它待显示帧的图像数据，其中，I为大于0的整数。
在具体实施过程中，在确定多个待显示帧的输出频率之后，若输出频率为预设频率的1/N，N为大于1的整数，仅传输多个待显示帧中的第N*I-(N-1)个待显示帧的图像数据，同时屏蔽多个待显示帧中除第N*I-(N-1)个待显示帧之外的其它待显示帧的图像数据。其中，I为大于0的整数，I可以依次取1、2、3等，具体可以根据实际应用需要来设置I的具体数值，在此不做限定。这样的话，不仅有助于在低输出频率下正确驱动显示，还有助于降低功耗。
在本发明实施例中，若N为2，则所述根据所述输出频率，仅传输所述多个待显示帧中第N*I-(N-1)个待显示帧的图像数据，且屏蔽所述多个待显示帧中除所述第N*I-(N-1)个待显示帧之外的其它待显示帧的图像数据，包括：
根据所述输出频率，仅传输所述多个待显示帧中第2I-1个待显示帧的图像数据，且屏蔽所述多个待显示帧中第2I个待显示帧的图像数据。
在其中一种示例性实施例中，显示装置在默认条件下采用预设频率为240Hz来输出多个待显示帧的图像数据，若要将其切换至120Hz，相应地，N为2，结合图8所示的图像数据传输时序图，其中，虚线表示所屏蔽的待显示帧的图像数据，在按照120Hz输出多个待显示帧时，可以仅传输多个待显示帧中第2I-1个待显示帧的图像数据，同时屏蔽多个待显示帧中第2I个待显示帧的图像数据，也就是说，仅传输多个待显示帧中的第1、3、5、7、……等奇数帧的图像数据，不更新多个待显示帧中的第2、4、6、8、……等偶数帧的图像数据，数据继续保持在偶数帧，未更新的偶数帧所对应的时长可以视为空白时长(Blanking time)，只需要每8.33ms刷新一次数据。相应地，显示装置中的栅极驱动电路和源极驱动电路可以仅在奇数帧处于活动状态，而在偶数帧时停止操作，依靠更新其前一帧奇数帧时存储在电容中的电荷进行充电，数据仍保持在前一帧奇数帧，后续存储在电容中的电荷还未放电完，再次更新其下一帧奇数帧，以此重复操作，保证了显示装置的正常显示。
仍结合图8所示的时序图，若要将其切换至80Hz，相应地，N为3，可以仅传输多个待显示帧中第3I-2个待显示帧的图像数据，同时屏蔽多个待显示帧中除第3I-2个待显示帧之外的其它待显示帧的图像数据，可以是同时屏蔽第3I-1个待显示帧和第3I个待显示帧的图像数据，比如，仅传输第1、4、7、10、……个待显示帧的图像数据，屏蔽第2、3、5、6、8、9、……个待显示帧的图像数据。若要将其切换至60Hz，相应地，可以仅传输多个待显示帧中第4I-3个待显示帧的图像数据，同时屏蔽第4I-2个待显示帧、第4I-1个待显示帧和第4I个待显示帧的图像数据，比如，仅传输第1、5、9、13、……个待显示帧的图像数据，屏蔽第2、3、4、6、7、8、10、11、12、……个待显示帧的图像数据。当然，还可以根据实际应用需要根据具体的输出频率来传输以及屏蔽多个待显示帧中各个待显示帧的图像数据，在此不做限定。
本发明人在实际研究中发现，采用图5所示的驱动方法，结合图9所示的可变刷新率驱动和亮度变化的时序图，当从60Hz切换至30Hz时，明显减小了区域C，实现了图像轮廓b的效果，相较于图1中图像轮廓a来说，有效改善了刷新率变化时亮度的跳变，进而降低了功耗，减少了屏幕撕裂。
基于同一发明构思，本发明实施例还提供了一种图像的传输装置，如图10所示，该传输装置包括：
获取单元100，用于获取连续的多个待显示帧的图像数据；
划分单元200，用于根据各个所述待显示帧的图像数据，将相应的所述待显示帧划分为多个显示分区；
第一确定单元300，用于确定各个所述待显示帧的各个所述显示分区的用于表征亮度的特征参数；
第二确定单元400，用于根据所述特征参数，确定所述多个待显示帧的输出频率；
传输单元500，用于根据所述输出频率，传输所述多个待显示帧中至少部分待显示帧的图像数据，以使显示装置中的驱动电路接收所述至少部分待显示帧的图像数据，并驱动所述显示装置中的显示面板显示图像。
在具体实施过程中，传输装置可以是系统级芯片。
在本发明实施例中，所述第一确定单元300用于：
提取各个所述待显示帧的各个所述显示分区的灰度值大小；
根据所述灰度值大小，确定相应的所述显示分区的亮度值大小，所述灰度值大小以及所述亮度值大小为用于表征亮度的特征参数。
在本发明实施例中，所述第二确定单元400用于：
根据各个所述待显示帧对应的各个所述显示分区的亮度值大小，确定所述亮度值大小的均值；
将所述均值作为相应的所述待显示帧的亮度值大小；
根据各个所述待显示帧的亮度值大小，确定所述多个待显示帧之间的亮度跳变速度；
根据亮度跳变速度与输出频率之间的对应关系，确定所述多个待显示帧的输出频率。
若所述亮度跳变速度大于等于预设速度，则确定所述多个待显示帧的输出频率为预设频率；
若所述亮度跳变速度小于所述预设速度，则确定所述多个待显示帧的输出频率为小于所述预设频率的频率。
在本发明实施例中，若所述输出频率为所述预设频率的1/N，N为大于1的整数，所述传输单元500用于：
根据所述输出频率，仅传输所述多个待显示帧中第N*I-(N-1)个待显示帧的图像数据，且屏蔽所述多个待显示帧中除所述第N*I-(N-1)个待显示帧之外的其它待显示帧的图像数据，其中，I为大于0的整数。
在本发明实施例中，若N为2，则所述传输单元500用于：
根据所述输出频率，仅传输所述多个待显示帧中第2I-1个待显示帧的图像数据，且屏蔽所述多个待显示帧中第2I个待显示帧的图像数据。
基于同一发明构思，本发明实施例还提供了一种显示装置，该显示装置包括显示面板20、驱动电路30以及如前面所述的传输装置，在其中一种示例性实施例中，结合图2所示，传输装置可以是系统级芯片10。驱动电路30用于接收传输装置根据输出频率传输多个待显示帧中至少部分待显示帧的图像数据，并驱动显示面板显示图像。显示装置解决问题的原理与前述传输装置相似，因此该显示装置的实施可以参见前述传输装置的实施，重复之处不再赘述。
在本发明实施例中，所述驱动电路30包括与所述传输装置电连接的时序控制器301以及分别与所述时序控制器301电连接的源极驱动电路303和栅极驱动电路302。对于时序控制器301、源极驱动电路303和栅极驱动电路302的具体结构可以参照相关技术中的描述，在此不做详述。
在本发明实施例中，显示面板可以为液晶显示面板，可以包括相对设置的对向基板和阵列基板，以及位于对向基板和阵列基板之间的液晶层。
在具体实施过程中，本发明实施例提供的显示装置可以为手机、平板电脑、电视机、显示器、笔记本电脑、数码相框、导航仪等任何具有显示功能的产品或部件。对于该显示装置的其它必不可少的组成部分均为本领域的普通技术人员应该理解具有的，在此就不做赘述，也不应作为对本发明的限制。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，并且该计算机程序被处理器执行时实现本发明实施例提供的上述任一种图像的传输方法的步骤。具体地，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
基于同一发明构思，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明实施例提供的上述任一项所述的图像的传输方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (12)
1.一种图像的传输方法，其特征在于，包括：
获取连续的多个待显示帧的图像数据；
根据各个所述待显示帧的图像数据，将相应的所述待显示帧划分为多个显示分区；
确定各个所述待显示帧的各个所述显示分区的用于表征亮度的特征参数；
根据所述特征参数，确定所述多个待显示帧的输出频率；
根据所述输出频率，传输所述多个待显示帧中至少部分待显示帧的图像数据，以使显示装置中的驱动电路接收所述至少部分待显示帧的图像数据，并驱动所述显示装置中的显示面板显示图像。
2.如权利要求1所述的方法，其特征在于，所述确定各个所述待显示帧的各个所述显示分区的用于表征亮度的特征参数，包括：
提取各个所述待显示帧的各个所述显示分区的灰度值大小；
根据所述灰度值大小，确定相应的所述显示分区的亮度值大小，所述灰度值大小以及所述亮度值大小为用于表征亮度的特征参数。
3.如权利要求2所述的方法，其特征在于，所述根据所述特征参数，确定所述多个待显示帧的输出频率，包括：
根据各个所述待显示帧对应的各个所述显示分区的亮度值大小，确定所述亮度值大小的均值；
将所述均值作为相应的所述待显示帧的亮度值大小；
根据各个所述待显示帧的亮度值大小，确定所述多个待显示帧之间的亮度跳变速度；
根据亮度跳变速度与输出频率之间的对应关系，确定所述多个待显示帧的输出频率。
4.如权利要求3所述的方法，其特征在于，所述根据亮度跳变速度与输出频率之间的对应关系，确定所述多个待显示帧的输出频率，包括：
若所述亮度跳变速度大于等于预设速度，则确定所述多个待显示帧的输出频率为预设频率；
若所述亮度跳变速度小于所述预设速度，则确定所述多个待显示帧的输出频率为小于所述预设频率的频率。
5.如权利要求1-4任一项所述的方法，其特征在于，若所述输出频率为所述预设频率的1/N，N为大于1的整数，所述根据所述输出频率，传输所述多个待显示帧中至少部分待显示帧的图像数据，包括：
根据所述输出频率，仅传输所述多个待显示帧中第N*I-(N-1)个待显示帧的图像数据，且屏蔽所述多个待显示帧中除所述第N*I-(N-1)个待显示帧之外的其它待显示帧的图像数据，其中，I为大于0的整数。
6.如权利要求5所述的方法，其特征在于，若N为2，则所述根据所述输出频率，仅传输所述多个待显示帧中第N*I-(N-1)个待显示帧的图像数据，且屏蔽所述多个待显示帧中除所述第N*I-(N-1)个待显示帧之外的其它待显示帧的图像数据，包括：
根据所述输出频率，仅传输所述多个待显示帧中第2I-1个待显示帧的图像数据，且屏蔽所述多个待显示帧中第2I个待显示帧的图像数据。
7.一种图像的传输装置，其特征在于，包括：
获取单元，用于获取连续的多个待显示帧的图像数据；
划分单元，用于根据各个所述待显示帧的图像数据，将相应的所述待显示帧划分为多个显示分区；
第一确定单元，用于确定各个所述待显示帧的各个所述显示分区的用于表征亮度的特征参数；
第二确定单元，用于根据所述特征参数，确定所述多个待显示帧的输出频率；
传输单元，用于根据所述输出频率，传输所述多个待显示帧中至少部分待显示帧的图像数据，以使显示装置中的驱动电路接收所述至少部分待显示帧的图像数据，并驱动所述显示装置中的显示面板显示图像。
8.如权利要求7所述的装置，其特征在于，所述第一确定单元用于：
提取各个所述待显示帧的各个所述显示分区的灰度值大小；
根据所述灰度值大小，确定相应的所述显示分区的亮度值大小，所述灰度值大小以及所述亮度值大小为用于表征亮度的特征参数。
9.如权利要求8所述的装置，其特征在于，所述第二确定单元用于：
根据各个所述待显示帧对应的各个所述显示分区的亮度值大小，确定所述亮度值大小的均值；
将所述均值作为相应的所述待显示帧的亮度值大小；
根据各个所述待显示帧的亮度值大小，确定所述多个待显示帧之间的亮度跳变速度；
根据亮度跳变速度与输出频率之间的对应关系，确定所述多个待显示帧的输出频率。
10.一种显示装置，其特征在于，包括：
显示面板、驱动电路以及如权利要求7-9任一项所述的传输装置；
所述驱动电路用于接收所述传输装置根据所述输出频率传输所述多个待显示帧中至少部分待显示帧的图像数据，并驱动所述显示面板显示图像。
11.如权利要求10所述的显示装置，其特征在于，所述驱动电路包括与所述传输装置电连接的时序控制器以及分别与所述时序控制器电连接的源极驱动电路和栅极驱动电路。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的图像的传输方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210391255.XA CN114745586A (zh) | 2022-04-14 | 2022-04-14 | 一种图像的传输方法、装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210391255.XA CN114745586A (zh) | 2022-04-14 | 2022-04-14 | 一种图像的传输方法、装置及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114745586A true CN114745586A (zh) | 2022-07-12 |
Family
ID=82281523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210391255.XA Pending CN114745586A (zh) | 2022-04-14 | 2022-04-14 | 一种图像的传输方法、装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114745586A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007094171A (ja) * | 2005-09-29 | 2007-04-12 | Sanyo Electric Co Ltd | 映像表示制御装置、投写型映像表示装置及び背面投写型映像表示装置 |
| US20160125785A1 (en) * | 2014-10-29 | 2016-05-05 | Apple Inc. | Display With Spatial and Temporal Refresh Rate Buffers |
| KR20160078596A (ko) * | 2014-12-24 | 2016-07-05 | 엘지디스플레이 주식회사 | 액정표시장치 및 그 구동방법 |
| CN108648702A (zh) * | 2018-03-26 | 2018-10-12 | 上海天马微电子有限公司 | 像素驱动电路及其驱动方法、显示面板和显示装置 |
| CN111314623A (zh) * | 2020-02-26 | 2020-06-19 | 开易（北京）科技有限公司 | 基于驾驶员监控系统的图像采集方法及装置 |
| CN111754946A (zh) * | 2020-07-03 | 2020-10-09 | 深圳Tcl新技术有限公司 | 画质优化方法、显示装置及计算机可读存储介质 |
| CN113129828A (zh) * | 2019-12-30 | 2021-07-16 | 乐金显示有限公司 | 显示装置及其驱动方法 |
| US20220059028A1 (en) * | 2020-08-20 | 2022-02-24 | Sharp Kabushiki Kaisha | Control apparatus, display apparatus including self-luminous element, and control method |
-
2022
- 2022-04-14 CN CN202210391255.XA patent/CN114745586A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007094171A (ja) * | 2005-09-29 | 2007-04-12 | Sanyo Electric Co Ltd | 映像表示制御装置、投写型映像表示装置及び背面投写型映像表示装置 |
| US20160125785A1 (en) * | 2014-10-29 | 2016-05-05 | Apple Inc. | Display With Spatial and Temporal Refresh Rate Buffers |
| KR20160078596A (ko) * | 2014-12-24 | 2016-07-05 | 엘지디스플레이 주식회사 | 액정표시장치 및 그 구동방법 |
| CN108648702A (zh) * | 2018-03-26 | 2018-10-12 | 上海天马微电子有限公司 | 像素驱动电路及其驱动方法、显示面板和显示装置 |
| CN113129828A (zh) * | 2019-12-30 | 2021-07-16 | 乐金显示有限公司 | 显示装置及其驱动方法 |
| CN111314623A (zh) * | 2020-02-26 | 2020-06-19 | 开易（北京）科技有限公司 | 基于驾驶员监控系统的图像采集方法及装置 |
| CN111754946A (zh) * | 2020-07-03 | 2020-10-09 | 深圳Tcl新技术有限公司 | 画质优化方法、显示装置及计算机可读存储介质 |
| US20220059028A1 (en) * | 2020-08-20 | 2022-02-24 | Sharp Kabushiki Kaisha | Control apparatus, display apparatus including self-luminous element, and control method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9837030B2 (en) | Refresh rate dependent adaptive dithering for a variable refresh rate display | |
| JP6054417B2 (ja) | 制御装置、表示装置、および表示装置の制御方法 | |
| US11798510B2 (en) | Display apparatus and driving method thereof | |
| JP6253894B2 (ja) | 制御装置、表示装置および制御方法 | |
| CN111640390A (zh) | 显示画面闪烁调节电路及方法、显示装置 | |
| EP2804171B1 (en) | Display device and driving method thereof | |
| US20210225329A1 (en) | Image display method, display system and computer-readable storage medium | |
| JP2002023707A (ja) | 表示装置 | |
| US10621902B2 (en) | Driving circuit for display screen with adjustable color depth bit value, display method and display device | |
| CN107615369B (zh) | 控制装置、显示装置、控制方法、及计算机可读取存储介质 | |
| JP2014211535A (ja) | 制御装置、表示装置、および表示装置の制御方法 | |
| US11790865B1 (en) | Image processing method, storage medium, and display device | |
| US11735147B1 (en) | Foveated display burn-in statistics and burn-in compensation systems and methods | |
| KR20180056488A (ko) | 표시 장치 및 이의 구동 방법 | |
| CN112673415B (zh) | 背光驱动方法、显示驱动方法、驱动装置及显示装置 | |
| CN109783043B (zh) | 一种显示器频率显示的方法、装置及显示器 | |
| CN105575345B (zh) | 一种图像显示方法及装置 | |
| US10068549B2 (en) | Cursor handling in a variable refresh rate environment | |
| CN109256098B (zh) | 驱动方法、驱动装置和显示装置 | |
| CN116543675A (zh) | 画面侦测方法、装置、显示面板和计算机可读存储介质 | |
| CN113593491B (zh) | 显示面板的驱动方法、显示面板及显示装置 | |
| CN114745586A (zh) | 一种图像的传输方法、装置及可读存储介质 | |
| CN107680549A (zh) | 帧速率控制方法 | |
| CN110706658A (zh) | 背光扫描式的显示方法及背光扫描式的显示系统 | |
| CN115424584B (zh) | 显示驱动电路、显示屏的刷新方法、显示模组及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |