CN113170068A - 视频帧亮度滤波器 - Google Patents
视频帧亮度滤波器 Download PDFInfo
- Publication number
- CN113170068A CN113170068A CN201980080643.2A CN201980080643A CN113170068A CN 113170068 A CN113170068 A CN 113170068A CN 201980080643 A CN201980080643 A CN 201980080643A CN 113170068 A CN113170068 A CN 113170068A
- Authority
- CN
- China
- Prior art keywords
- frame
- interest
- region
- luminance
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 14
- 230000003068 static effect Effects 0.000 claims description 6
- 235000019557 luminance Nutrition 0.000 description 87
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
提供了一种计算装置(10)，其包括显示器(34)和处理器(14)。处理器可以针对包括在视频(40)中的多个帧中的每一帧(42)，确定该帧的感兴趣区域(46)的亮度特征(52)。处理器可以确定多个帧中的一个或多个附加帧(42P、42F)的感兴趣区域的一个或多个附加亮度特征(52P、52F)。处理器可以确定在感兴趣区域中存在高亮度状况(60)。处理器可以基于亮度特征和一个或多个附加亮度特征来生成用于该帧的滤波器(58)。处理器可以将滤波器应用于该帧的感兴趣区域以生成滤波的帧(72)。在滤波的帧的感兴趣区域中不存在高亮度状况。处理器可以输出滤波的帧以在显示器处显示。
Description
背景技术
显示装置的一些用户具有对明亮光和/或亮度的突然增加敏感的眼睛。当这样的用户观看视频时，用户的视觉系统可能被视频的某些部分刺激。对该问题的过去的解决方案包括使整个视频变暗。然而，使整个视频变暗可能导致难以注意到视频暗帧中的细节。当眼睛敏感的用户和眼睛不敏感的用户两者都观看视频时，该问题尤其明显。对于眼睛敏感的用户来说足够暗的视频对于眼睛不敏感的用户来说可能太暗。
发明内容
根据本公开的一个方面，提供了一种计算装置，其包括显示器和处理器。该处理器可以被配置为针对包括在视频中的多个帧中的每一帧，确定该帧的至少感兴趣区域的亮度特征。该处理器可以被进一步配置为确定多个帧中的一个或多个附加帧的至少感兴趣区域的一个或多个附加亮度特征。该处理器可以被进一步配置为确定在感兴趣的区域中存在高亮度状况。该处理器可以被进一步配置为基于亮度特征和一个或多个附加亮度特征生成用于该帧的滤波器。该处理器可以被进一步配置为将滤波器应用于该帧的至少感兴趣区域以生成滤波的帧。在滤波的帧的感兴趣区域中不存在高亮度状况。处理器可以被进一步配置为输出滤波的帧以在显示器处显示。
提供该发明内容是为了以简化的形式介绍在下面的详细描述中进一步描述的概念的选择。该发明内容不旨在识别所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实现方式。
附图说明
图1示出了根据一个示例实施例的计算装置。
图2示出了根据图1的实施例的视频的示例帧。
图3示出了根据图1的实施例的示例亮度特征。
图4示出了根据图1的实施例的示例滤波后的亮度特征。
图5示出了根据图1的实施例的预定亮度阈值的示例确定。
图6示出了根据图1的实施例的与计算装置一起使用的方法的流程图。
图7示出了示例计算环境的示意图，在该示例计算环境中，可以制定图1的计算装置。
具体实施方式
为了解决以上讨论的问题，发明人已经设想了以下系统和方法。图。图1示出了根据本公开的一个实施例的计算装置10。计算装置10可以包括存储器12和可操作地耦接到存储器12的处理器14。计算装置10可以进一步包括可以可操作地耦接到处理器14和/或存储器12的输入装置套件20，该输入装置套件20包括一个或多个输入装置22。例如，一个或多个输入装置22可以包括触摸屏、触控板、键盘、鼠标、一个或多个按钮、麦克风、一个或多个位置传感器和/或一个或多个其他输入装置22中的一个或多个。计算装置10可以进一步包括输出装置套件30，该输出装置套件30包括一个或多个输出装置32。输出装置套件30可以包括显示器34。诸如一个或多个扬声器和/或触觉反馈装置的其他输出装置32也可以包括在输出装置套件30中。计算装置10可以进一步包括一个或多个通信装置16，计算装置10可以经由该一个或多个通信装置16与一个或多个其他计算装置通信。在一些实施例中，除了装备在计算装置10上之外或替代地装备在计算装置10上，存储器12、处理器14、一个或多个输入装置22和/或一个或多个输出装置32中的至少一个的一个或多个功能可以装备在一个或多个其他计算装置上。
处理器14可以被配置为接收视频40。在一些实施例中，视频40作为视频文件存储在存储器12中。可选地，视频40可以经由一个或多个通信装置16进行流式传输，并且当在计算装置10处接收到该视频时视频被处理。视频40可以包括多个帧42，每一帧42包括多个像素44。处理器14可以被配置为对包括在视频40中的多个帧42中的每一帧42执行亮度调整。在一些实施例中，处理器14可以对整个视频40执行亮度调整，而在其他实施例中，处理器14可以仅对包括在视频40中的帧42的子集执行亮度调整。另外，针对每一帧42，处理器14可以对整个帧42执行亮度调整。可选地，在一些实施例中，处理器14可以仅对帧42的感兴趣区域执行亮度调整。图2示出了包括多个像素44的示例帧42。图2所示的帧42包括感兴趣区域46，该感兴趣区域46包括多个像素44。在图2的示例中，多个像素44包括以灰度级示出的不同亮度的像素44。尽管在图2的实施例中感兴趣区域46是矩形的，但是在其他实施例中，感兴趣区域46可以具有其他形状。在一些实施例中，感兴趣区域46可以是整个帧42。
包括在帧42中的多个像素44中的每个像素44可以具有相应的亮度54。处理器14可以被进一步配置为从帧42提取与包括在关注区域46中的像素44的亮度54相关的亮度数据50。在一些实施例中，处理器14可以被配置为确定帧42的至少感兴趣区域46的亮度特征52。图3示出了感兴趣区域46的示例亮度特征52。亮度特征52可以是包括多个亮度范围56的亮度分布。分布可以是直方图的形式，如图所示。针对多个亮度范围56中的每个亮度范围56，亮度特征52可以指示感兴趣区域46中具有该亮度范围56内的亮度54的像素44的数量。在一些实施例中，亮度特征52可以包括像素44能够具有的每个亮度54的亮度范围56。在其他实施例中，处理器14可以将像素44合并(bin)到较小数量的亮度范围56中。亮度范围56可以是线性分布的。例如，如图3所示，每个亮度范围56可以包括在最小亮度与最大亮度之间的范围的八分之一。如果需要，也可以使用非线性分布。
返回图1，处理器14可以被进一步配置为确定多个帧42中的一个或多个附加帧的至少感兴趣区域46的一个或多个附加亮度特征52。在一些实施例中，一个或多个附加帧可以是紧跟在视频40中的帧42之后的一个或多个后续帧42F。例如，一个或多个附加帧可以是两个后续帧42F。在其他实施例中，一个或多个附加帧可以包括紧接在帧42之前的一个或多个先前帧42P。
基于亮度数据50，处理器14可以被进一步配置为检测帧42的感兴趣区域中的高亮度状况。作为一个示例，高亮度状况60可以是超过预定像素阈值数量66的关注区域46中的多个像素44中的每一个像素具有超过阈值亮度62的相应亮度54的条件。阈值亮度62例如可以经由从一个或多个输入装置22接收的用户输入而被调节。另外或可选地，在一些实施例中，预定像素阈值数量66可以经由用户输入而被调节。
在其他实施例中，高亮度状况60可以是感兴趣区域46的平均亮度超过预定平均亮度阈值68的条件。感兴趣区域46的平均亮度可以是均值亮度或中值亮度。类似于阈值亮度62和预定像素阈值数量66，在一些实施例中，预定平均亮度阈值68可以经由用户输入而被调节。
在其中当处理器14检测到高亮度状况60时使用阈值亮度62的一些实施例中，处理器14可以至少部分地基于一个或多个附加亮度特征来确定阈值亮度62。一个或多个附加亮度特征可以包括一个或多个先前亮度特征52P和/或一个或多个后续亮度特征52F。在一些实施例中，阈值亮度62可以在帧42之间不同。为了防止由于亮度的快速变化而在视频40中出现闪烁，处理器14可以设置阈值亮度62，使得阈值亮度62与一个或多个附加亮度特征52中的最高亮度54相差小于阈值量。
处理器14可以被进一步配置为生成用于帧42的滤波器58。滤波器58可以指示感兴趣区域46中的每个像素44的亮度变化。针对感兴趣区域46中的一个或多个像素44，亮度变化可以为零。在一些实施例中，亮度变化在感兴趣区域46上可以是不均匀的。因此，处理器14可以对不同的像素44施加不同的亮度变化，而不是将感兴趣区域46中的每个像素44均匀地变暗相同的量。例如，滤波器58可以将感兴趣区域46中的每个像素44的相应亮度54乘以S形曲线(sigmoid curve)。下面提供了实现S形曲线以修改亮度的示例代码：
处理器14可以被进一步配置为至少部分地基于预定亮度变化阈值64来生成滤波器58。在高亮度状况60是感兴趣区域46的平均亮度超过预定平均亮度阈值68的条件的实施例中，预定亮度变化阈值64可以是感兴趣区域46的平均亮度变化的阈值量。在高亮度状况60是感兴趣区域46中超过预定像素阈值数量66的多个像素44中的每一个像素具有超过阈值亮度62的相应亮度54的条件的实施例中，预定亮度变化阈值64可以是帧42中的像素44的亮度54与先前帧42P中的像素44的亮度54之间的阈值差。在这样的实施例中，当大于预定像素阈值数量66的像素44的数量在亮度54中变化超过预定亮度变化阈值64的量时，处理器14可以检测高亮度状况60。在这样的实施例中，阈值亮度62可以被动态调整以避免超过预定亮度变化阈值64，如下文所述。
在生成滤波器58之后，处理器14可以被进一步配置为将滤波器58应用于帧42的至少感兴趣区域46以生成可以包括在滤波的视频70中的滤波的帧72。图4示出了滤波的帧72的感兴趣区域46的滤波后的亮度特征76。在滤波的帧72的感兴趣区域46中可以不存在高亮度状况60。在一些实施例中，具有高于阈值亮度62的相应滤波的亮度的滤波像素74的数量可以低于预定像素阈值数量66。例如，对于小于预定像素阈值数量66的滤波的帧72的感兴趣区域46中的多个滤波的像素74，相应的滤波的亮度可以与先前帧42P和/或后续帧42F中的该像素44的亮度54相差大于预定亮度变化阈值64的量。在其他实施例中，滤波的帧72的感兴趣区域46的平均亮度可以低于预定平均亮度阈值68。因此，随着视频40的播放，感兴趣区域46的亮度变化的速率可以减小，以便给用户的眼睛更多的时间来调整亮度的变化。
在一些实施例中，处理器14可以被进一步配置为至少部分地基于预定亮度变化阈值64来确定阈值亮度62。在这样的实施例中，当感兴趣区域46中超过预定像素阈值数量66的像素44的数量相对于先前帧42P将超过预定亮度变化阈值64时，滤波器58可以将像素44的相应亮度的增加限制为小于或等于预定亮度变化阈值64的量。如图5所示，阈值亮度62可以表示为静态阈值亮度80和动态阈值亮度82中的较低者。静态阈值亮度80可以由用户经由用户输入来设置，或者可以是默认值。动态阈值亮度82可以是当将超过预定亮度变化阈值64时使用的阈值。因此，预定亮度变化阈值64可以被动态地调整，使得感兴趣区域46的亮度54不会比对于用户来说舒适的更快地变化。
在一些实施例中，不是确定感兴趣区域46中超过预定像素阈值数量66的像素44的数量将超过预定亮度变化阈值64，而是处理器14可以替代地确定感兴趣区域46的平均亮度将相对于先前帧42P变化大于预定亮度变化阈值64的量。在这样的实施例中，滤波器58可以将感兴趣区域46的平均亮度的增加限制为小于或等于预定亮度变化阈值64的量。
在先前帧42P和/或后续帧42F也被滤波的实施例中，处理器14可以通过将帧42的亮度特征52与先前帧42P和/或后续帧42F的滤波的亮度特征76进行比较来确定感兴趣区域46的亮度变化。例如，处理器14可以确定滤波的先前帧72P与帧42之间的亮度变化是否超过预定亮度变化阈值68和/或帧42与滤波的后续帧72F之间的亮度变化是否超过预定亮度变化阈值68。处理器可以被进一步配置为修改滤波器58以防止亮度变化超过预定亮度变化阈值64。亮度54的变化可以是超过预定像素阈值数量66的多个像素44的亮度54的变化，或者可选地是感兴趣区域46的平均亮度的变化。在一些实施例中，可以迭代地修改滤波器58和应用于一个或多个附加帧的一个或多个附加滤波器。因此，可以平滑帧之间的滤波变化，并且可以避免由于滤波的快速变化而引起的闪烁。
在一些实施例中，滤波器58可以是无限脉冲响应滤波器。下面提供将滤波器58实现为无限脉冲响应滤波器的示例代码：
在该示例代码中，p是先前帧的平均亮度，mp是先前帧的最大亮度，c是当前帧42的平均亮度，mc是当前帧42的最大亮度，duration是帧42的持续时间，maxLumChange是预定亮度变化阈值64，并且x和y是无限脉冲响应滤波器的系数。
在其他实施例中，滤波器58可以是有限脉冲响应滤波器。例如，当视频40是存储在计算装置10的存储器12中的视频文件而不是流式视频时，可以使用有限脉冲响应滤波器。在滤波器58是有限脉冲响应滤波器的实施例中，一个或多个附加帧可以包括多个先前帧42P和多个后续帧42F。
在生成滤波的帧72之后，处理器14可以被进一步配置为输出滤波的帧72以在计算装置10的显示器34处显示。滤波的帧72可以作为滤波的视频70的一部分输出。
图6示出了与计算装置一起使用的方法100的流程图。方法100可以与图1的计算装置10一起使用或者可选地与一些其他计算装置一起使用。可以针对包括在视频中的多个帧中的每一帧执行方法100的步骤。多个帧可以包括整个视频或者可选地仅包括视频的帧的子集。
在步骤102，方法100可以包括确定帧的至少感兴趣区域的亮度特征。感兴趣区域可以包括整个帧或者可选地仅包括帧的子集。在一些实施例中，帧的至少感兴趣区域的亮度特征可以是亮度分布，针对多个亮度范围中的每一个亮度范围，该亮度分布包括感兴趣区域中具有该亮度范围内的亮度的多个像素。在这样的实施例中，亮度特征可以包括像素可能具有的每个可能亮度的亮度范围。可选地，类似亮度的像素可以被合并到亮度范围中。在其他实施例中，亮度特征可以是感兴趣区域上的平均亮度，其可以是均值亮度或中值亮度。在步骤104，方法100可以进一步包括确定多个帧中的一个或多个附加帧的至少感兴趣区域的一个或多个附加亮度特征。例如，一个或多个附加帧可以包括紧接在视频中的帧之前的一个或多个先前帧和/或紧接在视频中的帧之后的一个或多个后续帧。
在步骤106，方法100可以进一步包括检测帧的感兴趣区域中的高亮度状况。检测高亮度状况可以包括，在步骤108，确定感兴趣区域中超过预定像素阈值数量的多个像素中的每一个像素具有超过阈值亮度的相应亮度。另外或可选地，在步骤110，检测高亮度状况可以包括确定感兴趣区域的平均亮度超过预定平均亮度阈值。在一些实施例中，阈值亮度可以经由用户输入而被调节。
在一些实施例中，检测高亮度状况可以至少部分地基于预定亮度变化阈值。预定阈值亮度可以是帧与先前帧之间的亮度的阈值变化。亮度的变化可以是平均亮度的变化或者超过预定像素阈值数量的数量的像素的亮度的变化。在一个示例中，预定亮度变化阈值可以用于确定动态阈值亮度。例如，动态阈值亮度可以是预定亮度变化阈值和感兴趣区域的平均亮度的和。阈值亮度可以是静态阈值亮度和动态阈值亮度中的较低者。
在步骤112，方法100可以进一步包括基于亮度特征和一个或多个附加亮度特征生成用于帧的滤波器。该滤波器可以是无限脉冲响应滤波器。可选地，该滤波器可以是有限脉冲响应滤波器。在步骤114，方法100可以进一步包括将滤波器应用于帧的至少感兴趣区域以生成滤波的帧。在滤波的帧的感兴趣区域中可能不存在高亮度状况。例如，滤波的帧的感兴趣区域可以包括低于超过亮度阈值的预定像素阈值数量的数量的像素。在其他实施例中，感兴趣区域的平均亮度可以低于平均亮度阈值。在一些实施例中，滤波器在感兴趣区域上可以是不均匀的，而不是以相同量修改感兴趣区域中的每个像素的亮度。
如上所述，除了阈值亮度之外或者替换阈值亮度，可以基于预定亮度变化阈值来生成滤波器。在这样的实施例中，针对滤波的帧的感兴趣区域中小于预定像素阈值数量的滤波的多个像素，相应的滤波的亮度可以与在先前帧和/或后续帧中的像素的亮度相差大于预定亮度变化阈值的量。
在步骤116，方法100可以进一步包括输出滤波的帧以在显示器处显示。显示器可以被包括在执行方法100的计算装置中，或者可以经由一个或多个通信装置与计算装置通信耦接。
在步骤118，方法100可以可选地包括生成用于一个或多个附加帧的一个或多个相应的附加滤波器。在执行步骤118的实施例中，可以在以上步骤的一个或多个其他迭代中生成一个或多个相应的附加滤波器。一个或多个相应的附加滤波器可以不同于针对帧生成的滤波器。因此，应用于感兴趣区域的滤波量可以在对其执行滤波的多个帧上变化。
使用以上讨论的系统和方法，可以调整视频的一个或多个帧的亮度，使得可以由眼睛高度光敏的用户舒适地观看视频。这可以在不使一个或多个帧变暗如此严重以至于视频不会被眼睛不是高度光敏感的用户所欣赏的情况下完成。以上用于滤波视频的系统和方法可以与存储的视频和流式视频两者一起使用，并且可以允许在没有大的缓冲延迟的情况下调整视频的亮度。
在一些实施例中，本文所描述的方法和过程可以绑定到一个或多个计算装置的计算系统。具体地，这样的方法和过程可以实现为计算机应用程序或服务、应用程序编程接口(API)、库和/或其他计算机程序产品。
图7示意性地示出了可以执行上述方法和过程中的一个或多个的计算系统200的非限制性实施例。计算系统200以简化形式示出。计算系统200可以实施以上所述和图1所示的计算装置10。计算系统200可以采取一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算装置、游戏装置、移动计算装置、移动通信装置(例如，智能电话)和/或其他计算装置以及诸如智能手表和头戴式增强现实装置的可穿戴计算装置的形式。
计算系统200包括逻辑处理器202、易失性存储器204和非易失性存储装置206。计算系统200可以可选地包括显示子系统208、输入子系统210、通信子系统212和/或图7中未示出的其他组件。
逻辑处理器202包括被配置为执行指令的一个或多个物理装置。例如，逻辑处理器可以被配置为执行作为一个或多个应用程序、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的指令。这样的指令可以被实施以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果或以其他方式达到期望的结果。
逻辑处理器可以包括被配置为执行软件指令的一个或多个物理处理器(硬件)。另外或可选地，逻辑处理器可以包括被配置为执行硬件实现的逻辑或固件指令的一个或多个硬件逻辑电路或固件装置。逻辑处理器202的处理器可以是单核或多核，并且在其上执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑处理器的各个组件可选地可以分布在两个或更多个单独的装置之间，该两个或更多个单独的装置可以被远程定位和/或被配置用于协调处理。逻辑处理器的各方面可以由以云计算配置配置的远程可访问的联网计算装置虚拟化和执行。在这样的情况下，应当理解，这些虚拟化的方面在各种不同机器的不同物理逻辑处理器上运行。
非易失性存储装置206包括一个或多个物理装置，该一个或多个物理装置被配置为保持可由逻辑处理器执行的指令以实现本文描述的方法和过程。当实现这样的方法和过程时，可以转换非易失性存储装置206的状态-例如以保持不同的数据。
非易失性存储装置206可以包括可移动和/或内置的物理装置。非易失性存储装置206可以包括光存储器(例如，CD、DVD、HD-DVD、蓝光光盘等)、半导体存储器(例如，ROM、EPROM、EEPROM、闪存等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)或其他大容量存储装置技术。非易失性存储装置206可以包括非易失性、动态、静态、读/写、只读、顺序访问、位置可寻址、文件可寻址和/或内容可寻址装置。应当理解，非易失性存储装置206被配置为即使在对非易失性存储装置206断电时也保持指令。
易失性存储器204可以包括物理装置，该物理装置包括随机存取存储器。易失性存储器204通常由逻辑处理器202用于在软件指令的处理期间临时存储信息。应当理解，当对易失性存储器204断电时，易失性存储器204通常不继续存储指令。
逻辑处理器202、易失性存储器204和非易失性存储装置206的各方面可以一起集成到一个或多个硬件逻辑组件中。例如，这样的硬件逻辑组件可以包括现场可编程门阵列(FPGA)、特定于程序和应用的集成电路(PASIC/ASIC)、特定于程序和应用的标准产品(PSSP/ASSP)、片上系统(SOC)和复杂可编程逻辑装置(CPLD)。
术语“模块”、“程序”和“引擎”可以用于描述计算系统200的一个方面，该计算系统200通常由处理器以软件实现以使用易失性存储器的部分来执行特定功能，该功能涉及专门配置处理器以执行该功能的变换处理。因此，模块、程序或引擎可以经由逻辑处理器202使用易失性存储器204的部分执行由非易失性存储装置206保持的指令来实例化。应当理解，不同的模块、程序和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、API、函数等实例化。同样，相同的模块、程序和/或引擎可以由不同的应用、服务、代码块、对象、例程、API、函数等实例化。术语“模块”、“程序”和“引擎”可以包括可执行文件、数据文件、库、驱动程序、脚本、数据库记录等的个体或群组。
当包括显示子系统208时，显示子系统208可以用于呈现由非易失性存储装置206保持的数据的可视表示。可视表示可以采用图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变由非易失性存储装置保持的数据，并且因此转换非易失性存储装置的状态，显示子系统208的状态可以同样地被转换以可视地表示底层数据的变化。显示子系统208可以包括利用几乎任何类型的技术的一个或多个显示装置。这样的显示装置可以与逻辑处理器202、易失性存储器204和/或非易失性存储装置206组合在共享机箱中，或者这样的显示装置可以是外围显示装置。
当包括输入子系统210时，输入子系统210可以包括一个或多个用户输入装置(诸如键盘、鼠标、触摸屏或游戏控制器)或者与一个或多个用户输入装置(诸如键盘、鼠标、触摸屏或游戏控制器)接口。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)组件或与所选择的自然用户输入(NUI)组件接口。这样的组件可以是集成的或外围的，并且输入动作的转换和/或处理可以在线或离线处理。示例NUI组件可以包括用于语音和/或语音识别的麦克风；用于机器视觉和/或手势识别的红外、颜色、立体和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪；以及用于评估大脑活动的电场传感组件；和/或任何其他合适的传感器。
当包括通信子系统212时，通信子系统212可以被配置为将本文所述的各种计算装置彼此通信地耦接，并且与其他装置通信地耦接。通信子系统212可以包括与一个或多个不同通信协议兼容的有线和/或无线通信装置。作为非限制性示例，通信子系统可以被配置为经由无线电话网络或有线或无线局域网或广域网(诸如Wi-Fi连接上的HDMI)进行通信。在一些实施例中，通信子系统可以允许计算系统200经由诸如因特网的网络向其他装置发送和/或从其他装置接收消息。
根据本公开的一个方面，提供了一种计算装置，其包括显示器和处理器。该处理器可以被配置为针对包括在视频中的多个帧中的每一帧，确定该帧的至少感兴趣区域的亮度特征。该处理器可以被进一步配置为确定多个帧中的一个或多个附加帧的至少感兴趣区域的一个或多个附加亮度特征。该处理器可以被进一步配置为检测帧的感兴趣区域中的高亮度状况。该处理器可以被进一步配置为基于亮度特征和一个或多个附加亮度特征生成用于该帧的滤波器。该处理器可以被进一步配置为将滤波器应用于该帧的至少感兴趣区域以生成滤波的帧。在滤波的帧的感兴趣区域中可能不存在高亮度状况。该处理器可以被进一步配置为输出滤波的帧以在显示器处显示。
根据该方面，滤波器可以是无限脉冲响应滤波器。根据该方面，一个或多个附加帧可以紧跟在视频中的帧之后。
根据该方面，滤波器可以是有限脉冲响应滤波器。
根据该方面，帧的至少感兴趣区域的亮度特征可以是亮度分布，针对多个亮度范围中的每一个亮度范围，该亮度分布包括感兴趣区域中具有该亮度范围内的亮度的多个像素。
根据该方面，高亮度状况可以是感兴趣区域中超过预定像素阈值数量的多个像素中的每一个像素具有超过阈值亮度的相应亮度的条件。根据该方面，阈值亮度是静态阈值亮度和动态阈值亮度中的较低者。
根据该方面，高亮度状况可以是感兴趣区域的平均亮度超过预定平均亮度阈值的条件。
根据该方面，处理器可以被配置为至少部分地基于预定亮度变化阈值来检测高亮度状况。根据该方面，针对滤波的帧的感兴趣区域中的小于预定像素阈值数量的多个滤波的像素，相应的滤波的亮度可以与在先前帧和/或后续帧中的像素的亮度相差大于预定亮度变化阈值的量。
根据该方面，处理器可以被进一步配置为生成用于一个或多个附加帧的一个或多个相应的附加滤波器。一个或多个相应的附加滤波器可以不同于针对帧生成的滤波器。
根据该方面，帧与滤波的帧之间的亮度变化可以在至少关注区域上是不均匀的。
根据本公开的另一方面，提供了一种与计算装置一起使用的方法。该方法可以包括针对包括在视频中的多个帧中的每一帧，确定该帧的至少感兴趣区域的亮度特征。该方法可以进一步包括确定多个帧中的一个或多个附加帧的至少感兴趣区域的一个或多个附加亮度特性。该方法可以进一步包括检测该帧的感兴趣区域中的高亮度状况。该方法可以进一步包括基于亮度特征和一个或多个附加亮度特征生成用于该帧的滤波器。该方法可以进一步包括将滤波器应用于该帧的至少感兴趣区域以生成滤波的帧。在滤波的帧的感兴趣区域中可能不存在高亮度状况。该方法可以进一步包括输出滤波的帧以在显示器处显示。
根据该方面，滤波器可以是无限脉冲响应滤波器。
根据该方面，滤波器可以是有限脉冲响应滤波器。
根据该方面，帧的至少感兴趣区域的亮度特征可以是亮度分布，针对多个亮度范围中的每一个亮度范围，该亮度分布包括感兴趣区域中具有该亮度范围内的亮度的多个像素。
根据该方面，检测高亮度状况可以包括确定感兴趣区域中超过预定像素阈值数量的多个像素中的每一个像素具有超过阈值亮度的相应亮度。
根据该方面，检测高亮度状况可以包括确定感兴趣区域的平均亮度超过预定平均亮度阈值。
根据该方面，检测高亮度状况可以至少部分地基于预定亮度变化阈值。
根据本公开的另一方面，提供了一种计算装置，其包括显示器和处理器。该处理器可以被配置为针对包括在视频中的多个帧中的每一帧，确定该帧的至少感兴趣区域的亮度特征。该处理器可以被进一步配置为确定多个帧中的至少先前帧的至少感兴趣区域的附加亮度特征。该处理器可以被进一步配置为确定在帧的感兴趣区域中存在高亮度状况。该高亮度状况可以包括感兴趣区域的平均亮度相对于感兴趣区域在先前帧中的先前亮度的增加超过预定亮度变化阈值。该处理器可以被进一步配置为基于亮度特征和一个或多个附加亮度特征生成用于该帧的滤波器。该处理器可以被进一步配置为将滤波器应用于该帧的至少感兴趣区域以生成滤波的帧。在滤波的帧的感兴趣区域中可能不存在高亮度状况。该处理器可以被进一步配置为输出滤波的帧以在显示器处显示。
应当理解，本文所描述的配置和/或方法本质上是示例性的，并且这些特定实施例或示例不应被认为是限制性的，因为许多变化是可能的。本文所描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。因此，所示和/或所描述的各种动作可以按照所示和/或所描述的顺序、按照其他顺序、并行或者省略来执行。同样，可以改变上述处理的顺序。
本公开的主题包括本文所公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质以及其任何和所有等同物的所有新颖的和非显而易见的组合和子组合。
Claims (15)
1.一种计算装置，包括：
显示器；以及
处理器，被配置为：
针对被包括在视频中的多个帧中的每个帧：
确定所述帧的至少感兴趣区域的亮度特征；
确定所述多个帧中的一个或多个附加帧的至少所述感兴趣区域的一个或多个附加亮度特征；
检测所述帧的所述感兴趣区域中的高亮度状况；
基于所述亮度特征和所述一个或多个附加亮度特征生成用于所述帧的滤波器；
将所述滤波器应用于所述帧的至少所述感兴趣区域以生成滤波的帧，其中所述高亮度状况不存在于所述滤波的帧的所述感兴趣区域中；以及
输出所述滤波的帧以在所述显示器处显示。
2.根据权利要求1所述的计算装置，其中所述滤波器是无限脉冲响应滤波器。
3.根据权利要求2所述的计算装置，其中所述一个或多个附加帧紧跟在所述视频中的所述帧之后。
4.根据权利要求1所述的计算装置，其中所述滤波器是有限脉冲响应滤波器。
5.根据权利要求1所述的计算装置，其中所述帧的至少所述感兴趣区域的所述亮度特征是亮度分布，针对多个亮度范围中的每个亮度范围，所述亮度分布包括所述感兴趣区域中具有在所述亮度范围内的亮度的多个像素。
6.根据权利要求1所述的计算装置，其中所述高亮度状况是在所述感兴趣区域中超过预定像素阈值数量的多个像素中的每个像素具有超过阈值亮度的相应亮度的状况。
7.根据权利要求6所述的计算装置，其中所述阈值亮度是静态阈值亮度和动态阈值亮度中的较低者。
8.根据权利要求1所述的计算装置，其中所述高亮度状况是所述感兴趣区域的平均亮度超过预定平均亮度阈值的状况。
9.根据权利要求1所述的计算装置，其中所述处理器被配置为至少部分地基于预定亮度变化阈值来检测所述高亮度状况。
10.根据权利要求9所述的计算装置，其中，针对所述滤波的帧中的所述感兴趣区域中的少于所述预定像素阈值数量的多个经滤波的像素，相应的经滤波的亮度与在先前帧和/或在后续帧中的所述像素的亮度相差大于所述预定亮度变化阈值的量。
11.根据权利要求1所述的计算装置，其中：
所述处理器被进一步配置为生成用于所述一个或多个附加帧的一个或多个相应的附加滤波器；以及
所述一个或多个相应的附加滤波器不同于所生成的用于所述帧的所述滤波器。
12.根据权利要求1所述的计算装置，其中所述帧与所述滤波的帧之间的亮度变化在至少所述感兴趣区域上是不均匀的。
13.一种与计算装置一起使用的方法，所述方法包括：
针对被包括在视频中的多个帧中的每个帧：
确定所述帧的至少感兴趣区域的亮度特征；
确定所述多个帧中的一个或多个附加帧的至少所述感兴趣区域的一个或多个附加亮度特征；
检测所述帧的所述感兴趣区域中的高亮度状况；
基于所述亮度特征和所述一个或多个附加亮度特征，生成用于所述帧的滤波器；
将所述滤波器应用于所述帧的至少所述感兴趣区域以生成滤波的帧，其中所述高亮度状况不存在于所述滤波的帧的所述感兴趣区域中；以及
输出所述滤波的帧以在显示器处显示。
14.根据权利要求13所述的方法，其中检测所述高亮度状况包括：确定所述感兴趣区域的平均亮度超过预定平均亮度阈值。
15.根据权利要求13所述的方法，其中检测所述高亮度状况至少部分地基于预定亮度变化阈值。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/210,380 | 2018-12-05 | ||
| US16/210,380 US10909403B2 (en) | 2018-12-05 | 2018-12-05 | Video frame brightness filter |
| PCT/US2019/063133 WO2020117543A1 (en) | 2018-12-05 | 2019-11-26 | Video frame brightness filter |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113170068A true CN113170068A (zh) | 2021-07-23 |
Family
ID=68919788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980080643.2A Pending CN113170068A (zh) | 2018-12-05 | 2019-11-26 | 视频帧亮度滤波器 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10909403B2 (zh) |
| EP (1) | EP3874738A1 (zh) |
| CN (1) | CN113170068A (zh) |
| WO (1) | WO2020117543A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10778932B2 (en) | 2018-12-05 | 2020-09-15 | Microsoft Technology Licensing, Llc | User-specific video frame brightness filter |
| CN113052043A (zh) * | 2021-03-17 | 2021-06-29 | 深圳荆虹科技有限公司 | 一种降低误检率的手部检测方法及装置 |
| CN113269607B (zh) * | 2021-05-21 | 2022-03-01 | 深圳市方圆展示制品有限公司 | 一种线上线下体验智慧展示系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101527852A (zh) * | 2008-03-03 | 2009-09-09 | 索尼株式会社 | 信号处理装置、方法和程序 |
| US20090324074A1 (en) * | 2008-06-25 | 2009-12-31 | Semiconductor Energy Laboratory Co., Ltd. | Image processing system and method of image processing |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1459761B (zh) | 2002-05-24 | 2010-04-21 | 清华大学 | 基于Gabor滤波器组的字符识别技术 |
| US7352410B2 (en) | 2005-05-31 | 2008-04-01 | Kolorific, Inc. | Method and system for automatic brightness and contrast adjustment of a video source |
| US20070132865A1 (en) | 2005-12-12 | 2007-06-14 | Eastman Kodak Company | Filtered noise reduction in digital images |
| US7744216B1 (en) | 2006-01-06 | 2010-06-29 | Lockheed Martin Corporation | Display system intensity adjustment based on pupil dilation |
| US8605017B2 (en) | 2006-06-02 | 2013-12-10 | Samsung Display Co., Ltd. | High dynamic contrast display system having multiple segmented backlight |
| KR101232163B1 (ko) | 2006-06-26 | 2013-02-12 | 엘지디스플레이 주식회사 | 액정 표시장치의 구동장치 및 구동방법 |
| WO2009030418A2 (de) | 2007-08-28 | 2009-03-12 | Valeo Schalter Und Sensoren Gmbh | Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen |
| KR100970883B1 (ko) | 2008-10-08 | 2010-07-20 | 한국과학기술원 | 영역 특성을 고려한 영상 보정 장치 및 그 방법 |
| RU2426264C2 (ru) | 2009-07-20 | 2011-08-10 | Дмитрий Валерьевич Шмунк | Способ улучшения изображений |
| JP5113940B2 (ja) | 2009-09-22 | 2013-01-09 | 株式会社東芝 | 画像処理装置、画像表示装置 |
| EP2580748B1 (en) | 2010-06-14 | 2022-02-23 | Barco NV | Luminance boost method and system |
| US9123280B2 (en) | 2010-06-23 | 2015-09-01 | Sharp Kabushiki Kaisha | Image display device and image display method |
| JP5991486B2 (ja) | 2010-08-04 | 2016-09-14 | 日本電気株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
| US9204135B2 (en) | 2011-09-26 | 2015-12-01 | Bit Cauldron Corporation | Method and apparatus for presenting content to non-3D glass wearers via 3D display |
| US20130286245A1 (en) | 2012-04-30 | 2013-10-31 | Ramin Samadani | System and method for minimizing flicker |
| US20130336445A1 (en) | 2012-06-14 | 2013-12-19 | Carestream Health, Inc. | Roi selection for imaging apparatus |
| US9479695B2 (en) | 2014-07-31 | 2016-10-25 | Apple Inc. | Generating a high dynamic range image using a temporal filter |
| US20160110846A1 (en) | 2014-10-21 | 2016-04-21 | Qualcomm Incorporated | Automatic display image enhancement based on user's visual perception model |
| US9804392B2 (en) | 2014-11-20 | 2017-10-31 | Atheer, Inc. | Method and apparatus for delivering and controlling multi-feed data |
| GB2533553B (en) | 2014-12-15 | 2020-09-09 | Sony Interactive Entertainment Inc | Image processing method and apparatus |
| KR20160089688A (ko) * | 2015-01-20 | 2016-07-28 | 삼성전자주식회사 | 엑스선 영상 장치, 및 그 제어방법 |
| US9843761B2 (en) | 2015-02-05 | 2017-12-12 | Polycom, Inc. | System and method for brightening video image regions to compensate for backlighting |
| US9741305B2 (en) * | 2015-08-04 | 2017-08-22 | Apple Inc. | Devices and methods of adaptive dimming using local tone mapping |
| ES2844628T3 (es) | 2015-10-30 | 2021-07-22 | Milwaukee Electric Tool Corp | Control, configuración y monitorización remota de luces |
| EP3403130A4 (en) | 2016-01-12 | 2020-01-01 | eSIGHT CORP. | METHODS AND DEVICES FOR INCREASING LANGUAGE ELEMENT VISION |
| WO2017222997A1 (en) | 2016-06-20 | 2017-12-28 | Magic Leap, Inc. | Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions |
| JP6185636B1 (ja) | 2016-09-02 | 2017-08-23 | シャープ株式会社 | 映像表示装置、テレビジョン受像機、プログラム、及び記録媒体 |
| JP6750998B2 (ja) | 2016-10-07 | 2020-09-02 | パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 | 監視システム及び監視方法 |
| US10168879B1 (en) | 2017-05-12 | 2019-01-01 | Snap Inc. | Interactive image recoloring |
| GB2562536B (en) | 2017-05-19 | 2022-07-27 | Displaylink Uk Ltd | Adaptive compression by light level |
| US10778932B2 (en) | 2018-12-05 | 2020-09-15 | Microsoft Technology Licensing, Llc | User-specific video frame brightness filter |
| US20200186764A1 (en) | 2018-12-05 | 2020-06-11 | Microsoft Technology Licensing, Llc | Color-specific video frame brightness filter |
-
2018
- 2018-12-05 US US16/210,380 patent/US10909403B2/en active Active
-
2019
- 2019-11-26 CN CN201980080643.2A patent/CN113170068A/zh active Pending
- 2019-11-26 WO PCT/US2019/063133 patent/WO2020117543A1/en unknown
- 2019-11-26 EP EP19821479.3A patent/EP3874738A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101527852A (zh) * | 2008-03-03 | 2009-09-09 | 索尼株式会社 | 信号处理装置、方法和程序 |
| US20090324074A1 (en) * | 2008-06-25 | 2009-12-31 | Semiconductor Energy Laboratory Co., Ltd. | Image processing system and method of image processing |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020117543A1 (en) | 2020-06-11 |
| EP3874738A1 (en) | 2021-09-08 |
| US20200184247A1 (en) | 2020-06-11 |
| US10909403B2 (en) | 2021-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10503996B2 (en) | Context-aware display of objects in mixed environments | |
| US10331190B2 (en) | Detecting user focus on hinged multi-screen device | |
| US9165566B2 (en) | Indefinite speech inputs | |
| CN113170068A (zh) | 视频帧亮度滤波器 | |
| US20150154134A1 (en) | Devices and methods to receive input at a first device and present output in response on a second device different from the first device | |
| AU2015241053A1 (en) | Automated selective upload of images | |
| US11630509B2 (en) | Determining user intent based on attention values | |
| US11429186B2 (en) | Location-based entity selection using gaze tracking | |
| US11379952B1 (en) | Foveated image capture for power efficient video see-through | |
| US10515270B2 (en) | Systems and methods to enable and disable scrolling using camera input | |
| WO2020117574A1 (en) | Color-specific video frame brightness filter | |
| US20200137409A1 (en) | Frame extrapolation via motion vectors | |
| US10778932B2 (en) | User-specific video frame brightness filter | |
| EP3568743A1 (en) | Moving interface controls | |
| US11907290B2 (en) | Electronic device and control method thereof | |
| US20150054847A1 (en) | Status display controller, status display control method, and recording medium that stores program | |
| KR20220129473A (ko) | 픽셀 수준 예측 작업을 위한 낮은 복잡도의 딥 가이디드 필터 디코더 | |
| US20200273212A1 (en) | Rendering objects to match camera noise | |
| KR20210087781A (ko) | 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치 | |
| US11783444B1 (en) | Warping an input image based on depth and offset information | |
| US11237671B1 (en) | Temporal filter touch detection | |
| JP5306500B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US20180096195A1 (en) | Probabilistic face detection | |
| KR102605451B1 (ko) | 이미지 내에 포함된 복수의 외부 객체들 각각에 대응하는 복수의 서비스들을 제공하는 전자 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |