CN113867678B - 基于电子墨水技术的视频处理装置和显示器 - Google Patents

基于电子墨水技术的视频处理装置和显示器 Download PDF

Info

Publication number
CN113867678B
CN113867678B CN202111145413.5A CN202111145413A CN113867678B CN 113867678 B CN113867678 B CN 113867678B CN 202111145413 A CN202111145413 A CN 202111145413A CN 113867678 B CN113867678 B CN 113867678B
Authority
CN
China
Prior art keywords
video
module
electronic ink
video memory
image frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111145413.5A
Other languages
English (en)
Other versions
CN113867678A (zh
Inventor
陈锐
龚元宏
龚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dasung Tech Co ltd
Original Assignee
Beijing Dasung Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dasung Tech Co ltd filed Critical Beijing Dasung Tech Co ltd
Priority to CN202111145413.5A priority Critical patent/CN113867678B/zh
Publication of CN113867678A publication Critical patent/CN113867678A/zh
Application granted granted Critical
Publication of CN113867678B publication Critical patent/CN113867678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3433Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices
    • G09G3/344Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices based on particles moving in a fluid or in a gas, e.g. electrophoretic devices
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本公开实施例提供了基于电子墨水技术的视频处理装置和显示器。视频处理装置包括:视频流和图像处理模块,其用于接收视频流,从所述视频流中采样到图像帧,并且对采样到的图像帧进行处理以获取适于在电子墨水显示屏上显示的灰度图帧;显存控制模块,其用于将灰度图帧存储到显存中,并且用于从显存读取存储的灰度图帧;时序控制模块,其通过显存控制模块从所述显存获取灰度图帧,并且基于获取的灰度图帧生成操作数据,并且基于操作数据提供用于控制所述电子墨水显示屏的控制数据,可以将多种视频和图像处理功能一体化地集成到基于电子墨水技术的视频处理装置,并且以流的形式处理视频,可以简化显示器的整体架构,并且降低显示时的画面延迟。

Description

基于电子墨水技术的视频处理装置和显示器
技术领域
本公开实施例涉及基于电子墨水技术的视频处理装置和显示器。
背景技术
电子墨水技术(Electronic Paper Display,英文简称EPD)是借助环境光显示的新技术。EPD显示技术系将黑、白两色的带电颗粒(墨滴)封装于微胶囊结构中,由外加电场控制不同电荷黑白颗粒的升降移动,以呈现出黑白单色的显示效果,在电场的作用下,黑白两种不同的颗粒不停运动,当白色的颗粒上升到上表面时,所有的环境光照射到上表面被完全反射,这样就形成了白色的状态,也就是纸的状态。当交换电极后,两种颜色的颗粒会交换位置,这样白色的颗粒就可以到下面去了,黑色的颗粒就到上面,光被黑色的颗粒全部吸收,结果就导致黑色,也就形成了黑白显示。另外,在上表面也可以有混合的状态,两种不同的颗粒成比例的混合,这样可以形成黑白及有灰度层次的不同颜色。
目前,EPD技术除了可以被应用在电子书等手持电子阅读器设备上,还可以用于电脑显示器等,用于显示连续画面。例如,图1示出了现有技术中的基于电子墨水显示屏的电脑显示器的结构示意图。
图1所示的基于电子墨水显示屏的电脑显示器10与电脑(主机)20相连接。当电脑20是台式计算机时,基于EPD显示屏的电脑显示器10优选地通过USB连接线与电脑(主机)20连接。USB连接线不仅在电脑显示器10和USB连接线与电脑20之间传递数据,还能够从电脑20向电脑显示器10供电。
图1所示的基于电子墨水显示屏的电脑显示器10包括:电子墨水(EPD)显示屏101,其用于显示视频画面;电源控制电路103,其用于向EPD显示屏提供驱动电压;时序控制电路102,其用于向电源控制电103路提供用于控制驱动电压的产生和撤除的控制信号,并且时序控制电路102还用于按视频画面刷新模式向EPD显示屏提供用于驱动EPD显示屏的驱动信号;微控制电路104,其用于向时序控制电路102提供视频画面刷新模式;以及视频图像转换装置105,其从电脑20接收视频信号,并将视频信号转换为适于在EPD显示屏101上显示的具有不同灰度的画面信号,并将具有不同灰度的画面信号提供给微控制电路104。
在图1所示的电脑显示器10中,视频信号需要视频图像转换装置105转换,视频图像转换装置105需要对完整的一帧图像进行处理,并以完整的一帧图像的形式发送给微控制电路104,随后再由微控制电路104将收到的数据发送给时序控制电路102。在图1所示的电脑显示器10中,图像转换装置105、微控制电路104和时序控制电路102都是独立的装置,每个装置发送的数据也是以完整的图像帧为单位,这导致电脑显示器10在进行显示时会出现画面延迟,而且电脑显示器10的整体结构也较为复杂。
发明内容
本公开实施例的目的在于提供基于电子墨水技术的视频处理装置和显示器,本公开实施例以流的形式对视频进行处理,并且提供了一体化的视频处理装置,从而采取整体性的装置以流的方式处理视频以进行显示,可以简化显示器的结构,降低显示时的画面延迟。
第一方面,本公开实施例中提供了一种基于电子墨水技术的视频处理装置,包括:
视频流和图像处理模块,其用于接收视频流,从所述视频流中采样到图像帧,并且对采样到的图像帧进行处理以获取适于在电子墨水显示屏上显示的灰度图帧;
显存控制模块,其用于将所述灰度图帧存储到显存中,并且用于从所述显存读取存储的灰度图帧;
时序控制模块,其通过所述显存控制模块从所述显存获取灰度图帧,并且基于获取的灰度图帧生成操作数据,并且基于所述操作数据提供用于控制所述电子墨水显示屏的控制数据。
结合第一方面,本公开在第一方面的第一种实现方式中,所述视频流和图像处理模块从所述视频流中逐像素地采样到图像帧,并且对采样到的图像帧进行逐像素地处理以获取适于在电子墨水显示屏上显示的灰度图帧。
结合第一方面或第一方面的第一种实现方式,本公开在第一方面的第二种实现方式中,所述视频流和图像处理模块包括:
采样子模块,其用于所述视频流中采样到图像帧;
灰度转换子模块,其用于将所述图像帧转换为灰度图帧;
伽马值调整子模块,其用于对所述灰度图帧的伽马值进行调整;
灰度模拟子模块,其用于对经过伽马值特征的灰度图帧进行处理以通过每像素第一预设数量比特的数据模拟每像素第二预设数量比特的数据,以获取适于在电子墨水显示屏上显示的灰度图帧,其中,所述第二预设数量高于所述第一预设数量。
结合第一方面的第二种实现方式,本公开在第一方面的第三种实现方式中,所述灰度模拟子模块采用的处理包括二值化判别算法处理、有序抖动算法处理和基于误差传递的抖动算法处理中的任一种。
结合第一方面或第一方面的第一种实现方式,本公开在第一方面的第四种实现方式中,所述显存控制模块包括:
显存写控制子模块,其用于将从所述视频流和图像处理模块获取的适于在电子墨水显示屏上显示的灰度图帧写入到显存中;
显存读控制子模块,其用于从显存读取适于在电子墨水显示屏上显示的灰度图帧并提供给所述时序控制模块;
仲裁器,其用于对所述显存写控制子模块和所述显存读控制子模块的操作进行仲裁。
结合第一方面的第四种实现方式,本公开在第一方面的第五种实现方式中,在所述视频流和图像处理模块对采样到的图像帧进行逐像素地处理以获取适于在电子墨水显示屏上显示的灰度图帧的过程中,当所述视频流和图像处理模每次处理完成第三预设数量的像素时,所述显存写控制子模块根据所述显存的特性将所述第三预设数量的像素的数据写入到显存中。
结合第一方面或第一方面的第一种实现方式,本公开在第一方面的第六种实现方式中,所述时序控制模块包括:
操作数据生成子模块,其用于通过所述显存控制模块从所述显存获取灰度图帧,并且基于所述灰度图帧生成操作数据;
时序控制电路,其用于基于所述操作数据生成用于控制电子墨水显示屏的控制数据。
结合第一方面的第六种实现方式,本公开在第一方面的第七种实现方式中,所述操作数据生成子模块通过所述显存控制模块从所述显存获取电子墨水显示屏当前显示的灰度图帧和所述当前显示的灰度图帧的下一灰度图帧,以比对出所述当前显示的灰度图帧的下一灰度图帧与所述当前显示的灰度图之间的差别,并且基于所述差别生成操作数据。
第二方面,本公开实施例中提供了一种基于电子墨水技术的显示器,包括:
视频处理装置、显存、电子墨水显示屏,
其中,
所述视频处理装置包括:
视频流和图像处理模块,其用于接收视频流,从所述视频流中采样到图像帧,并且对采样到的图像帧进行处理以获取适于在所述电子墨水显示屏上显示的灰度图帧;
显存控制模块,其用于将所述灰度图帧存储到所述显存中,并且用于从所述显存读取存储的灰度图帧;
时序控制模块,其通过所述显存控制模块从所述显存获取灰度图帧,并且基于获取的灰度图帧生成操作数据,并且基于所述操作数据提供用于控制所述电子墨水显示屏的控制数据。
结合第二方面,本公开在第二方面的第一种实现方式中,还包括:
视频格式转换装置,其通过多种接口接收视频信号,将接收的视频信号转换为视频流输出到所述视频处理装置。
本公开实施例的有益效果是:根据本公开实施例,通过视频流和图像处理模块,其用于接收视频流,从所述视频流中采样到图像帧,并且对采样到的图像帧进行处理以获取适于在电子墨水显示屏上显示的灰度图帧;显存控制模块,其用于将所述灰度图帧存储到显存中,并且用于从所述显存读取存储的灰度图帧;时序控制模块,其通过所述显存控制模块从所述显存获取灰度图帧,并且基于获取的灰度图帧生成操作数据,并且基于所述操作数据提供用于控制所述电子墨水显示屏的控制数据,可以将多种视频和图像处理功能一体化地集成到基于电子墨水技术的视频处理装置,并且以流的形式处理视频,可以简化显示器的整体架构,并且降低显示时的画面延迟。
根据本公开的实施例,通过所述视频流和图像处理模块从所述视频流中逐像素地采样到图像帧,并且对采样到的图像帧进行逐像素地处理以获取适于在电子墨水显示屏上显示的灰度图帧,可以以像素为单位,通过流的形式处理视频,可以提高视频处理效率,并且降低显示时的画面延迟。
根据本公开的实施例,通过所述视频流和图像处理模块包括:采样子模块,其用于所述视频流中采样到图像帧;灰度转换子模块,其用于将所述图像帧转换为灰度图帧;伽马值调整子模块,其用于对所述灰度图帧的伽马值进行调整;灰度模拟子模块,其用于对经过伽马值特征的灰度图帧进行处理以通过每像素第一预设数量比特的数据模拟每像素第二预设数量比特的数据,以获取适于在电子墨水显示屏上显示的灰度图帧,其中,所述第二预设数量高于所述第一预设数量,可以将多种视频和图像处理功能一体化地集成到基于电子墨水技术的视频处理装置,并且以流的形式处理视频,可以简化显示器的整体架构,并且降低显示时的画面延迟。
根据本公开的实施例,通过所述灰度模拟子模块采用的处理包括二值化判别算法处理、有序抖动算法处理和基于误差传递的抖动算法处理中的任一种,可以通过流的形式处理视频,提高视频处理效率,并且降低显示时的画面延迟。
根据本公开的实施例,通过所述显存控制模块包括:显存写控制子模块,其用于将从所述视频流和图像处理模块获取的适于在电子墨水显示屏上显示的灰度图帧写入到显存中;显存读控制子模块,其用于从显存读取适于在电子墨水显示屏上显示的灰度图帧并提供给所述时序控制模块;仲裁器,其用于对所述显存写控制子模块和所述显存读控制子模块的操作进行仲裁,可以将多种视频和图像处理功能一体化地集成到基于电子墨水技术的视频处理装置,并且以流的形式处理视频,可以简化显示器的整体架构,并且降低显示时的画面延迟。
根据本公开的实施例,通过在所述视频流和图像处理模块对采样到的图像帧进行逐像素地处理以获取适于在电子墨水显示屏上显示的灰度图帧的过程中,当所述视频流和图像处理模每次处理完成第三预设数量的像素时,所述显存写控制子模块根据所述显存的特性将所述第三预设数量的像素的数据写入到显存中,可以通过流的形式处理视频,提高视频处理效率,并且降低显示时的画面延迟。
根据本公开的实施例,通过所述时序控制模块包括:操作数据生成子模块,其用于通过所述显存控制模块从所述显存获取灰度图帧,并且基于所述灰度图帧生成操作数据;时序控制电路,其用于基于所述操作数据生成用于控制电子墨水显示屏的控制数据,可以将多种视频和图像处理功能一体化地集成到基于电子墨水技术的视频处理装置,简化显示器的整体架构。
根据本公开的实施例,通过所述操作数据生成子模块通过所述显存控制模块从所述显存获取电子墨水显示屏当前显示的灰度图帧和所述当前显示的灰度图帧的下一灰度图帧,以比对出所述当前显示的灰度图帧的下一灰度图帧与所述当前显示的灰度图之间的差别,并且基于所述差别生成操作数据,可以使得电子墨水显示屏中的尽量少的像素进行状态改变,从而可以提高刷新效率,优化显示效果。
根据本公开的实施例,通过视频处理装置、显存、电子墨水显示屏,其中,所述视频处理装置包括:视频流和图像处理模块,其用于接收视频流,从所述视频流中采样到图像帧,并且对采样到的图像帧进行处理以获取适于在所述电子墨水显示屏上显示的灰度图帧;显存控制模块,其用于将所述灰度图帧存储到所述显存中,并且用于从所述显存读取存储的灰度图帧;时序控制模块,其通过所述显存控制模块从所述显存获取灰度图帧,并且基于获取的灰度图帧生成操作数据,并且基于所述操作数据提供用于控制所述电子墨水显示屏的控制数据,可以将多种视频和图像处理功能一体化地集成到基于电子墨水技术的视频处理装置,并且以流的形式处理视频,可以简化显示器的整体架构,并且降低显示时的画面延迟。
根据本公开的实施例,通过视频格式转换装置,其通过多种接口接收视频信号,将接收的视频信号转换为视频流输出到所述视频处理装置,可以无需外部装置进行各种视频接口的视频格式转换,而是一体化地集成到显示器,并且以流的形式处理视频,可以简化显示器的整体架构,并且降低显示时的画面延迟。
附图说明
图1是根据相关技术的基于电子墨水技术的显示器的示意性结构的框图。
图2是根据本公开实施例具体实施方式的基于电子墨水技术的显示器的一个示例的示意性结构的框图。
图3是根据本公开实施例具体实施方式的基于电子墨水技术的视频处理装置的具体结构的一个示例的框图。
图4是图3所示的基于电子墨水技术的视频处理装置的具体结构的另一个示例的框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本公开实施例进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本公开实施例的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开实施例的概念。
图2是根据本公开实施例具体实施方式的基于电子墨水技术的显示器200的一个示例的示意性结构的框图。
图2所示的基于电子墨水技术的显示器200包括视频处理装置202、显存203、电子墨水显示屏204。在基于电子墨水技术的显示器200需要通过诸如HDMI、MIPI、DP等各种接口获取视频而非直接获取符合要求的视频流的情况下,基于电子墨水技术的显示器200还可以包括视频格式转换装置201,用于将通过诸如HDMI、MIPI、DP等各种接口获取的视频转换为符合要求的视频流。在本公开的一个实施例中,符合要求的视频流可以指的是以特定周期传送特定数量的特定格式的数据的视频流,例如,一个时钟周期传递一个像素的RGB信号的视频流。本领域技术人员可以理解,根据本公开的实施例的教导,视频流不限于前述示例而是可以采用其他形式。
在本公开的一个实施例中,视频格式转换装置201通过多种接口接收视频信号,将接收的视频信号转换为视频流输出到所述视频处理装置202。
根据本公开的实施例,通过视频格式转换装置,其通过多种接口接收视频信号,将接收的视频信号转换为视频流输出到所述视频处理装置,可以无需外部装置进行各种视频接口的视频格式转换,而是一体化地集成到显示器,并且以流的形式处理视频,可以简化显示器的整体架构,并且降低显示时的画面延迟。
图2所示的基于电子墨水技术的显示器200中的视频处理装置202对视频流进行处理,将获取的图像帧存储到显存203或者从显存203读取图像帧,基于从显存203读取的图像帧生成控制信号,以对电子墨水显示屏204进行控制。从图2可见,相较于图1所示的现有技术的电脑显示器10,视频处理装置202可以替代图1中的图像转换装置105、微控制电路104和时序控制电路102,即,以一体化的装置替代现有技术中的多个装置从而简化显示器200的结构,并且在改变处理视频的方式的基础上降低显示时的画面延迟。在本公开实施例的基于电子墨水技术的显示器200中的视频处理装置202中,对电子墨水显示屏进行电源控制的电路可以集成到电子墨水显示屏上,或者独立于显示器200设置,其具体实现方式在本公开实施例中不做讨论。
在本公开的一个实施例中,图2所示的基于电子墨水技术的显示器200可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列(FPGA)或其它可编程逻辑装置,离散门或晶体管逻辑,来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。即,为了降低显示时的画面延迟并且简化基于电子墨水技术的显示器的架构,本公开实施例采用新的视频处理方式,基于该处理方式利用一体化实现的视频处理装置实现了简化的显示器架构。
图3是根据本公开实施例具体实施方式的基于电子墨水技术的视频处理装置的具体结构的一个示例的框图。
如图3所示,视频处理装置202包括视频流和图像处理模块2021、显存控制模块2022和时序控制模块2023。视频流和图像处理模块2021用于接收视频流,从所述视频流中采样到图像帧,并且对采样到的图像帧进行处理以获取适于在所述电子墨水显示屏204上显示的灰度图帧。显存控制模块2022用于将所述灰度图帧存储到所述显存203中,并且用于从所述显存203读取存储的灰度图帧。时序控制模块2023通过所述显存控制模块2022从所述显存203获取灰度图帧,并且基于获取的灰度图帧生成操作数据,并且基于所述操作数据提供用于控制所述电子墨水显示屏204的控制数据。
根据本公开实施例,通过视频流和图像处理模块,其用于接收视频流,从所述视频流中采样到图像帧,并且对采样到的图像帧进行处理以获取适于在电子墨水显示屏上显示的灰度图帧;显存控制模块,其用于将所述灰度图帧存储到显存中,并且用于从所述显存读取存储的灰度图帧;时序控制模块,其通过所述显存控制模块从所述显存获取灰度图帧,并且基于获取的灰度图帧生成操作数据,并且基于所述操作数据提供用于控制所述电子墨水显示屏的控制数据,可以将多种视频和图像处理功能一体化地集成到基于电子墨水技术的视频处理装置,并且以流的形式处理视频,可以简化显示器的整体架构,并且降低显示时的画面延迟。
图2所示的基于电子墨水技术的显示器200可以包括图3所示的视频处理装置202。
根据本公开的实施例,通过视频处理装置、显存、电子墨水显示屏,其中,所述视频处理装置包括:视频流和图像处理模块,其用于接收视频流,从所述视频流中采样到图像帧,并且对采样到的图像帧进行处理以获取适于在所述电子墨水显示屏上显示的灰度图帧;显存控制模块,其用于将所述灰度图帧存储到所述显存中,并且用于从所述显存读取存储的灰度图帧;时序控制模块,其通过所述显存控制模块从所述显存获取灰度图帧,并且基于获取的灰度图帧生成操作数据,并且基于所述操作数据提供用于控制所述电子墨水显示屏的控制数据,可以将多种视频和图像处理功能一体化地集成到基于电子墨水技术的视频处理装置,并且以流的形式处理视频,可以简化显示器的整体架构,并且降低显示时的画面延迟。以流的形式进行的处理可以指的是在一定时间段内以预定数量的像素的数据的形式对视频流、图像帧、灰度图帧等数据进行处理。与图1所示的现有技术不同,本公开实施例不需要各个装置将完整处理好的一帧(幅)图像/画面整体传递给其他装置,而是在一个装置的内部模块之间以流的形式传递和处理数据,这可以极大地降低显示时的画面延迟。相较于图1所示的现有技术,采用根据本公开实施例的视频流和图像处理模块的显示器可以将显示时的画面延迟降低70%。因此,极大提升了显示器的显示效果。
在本公开的一个实施例中,视频流和图像处理模块2021接收的视频流是一个时钟周期传递一个像素的RGB信号的视频流,以一个时钟周期获取一个像素的RGB信号的方式进行采样,并且对采样到的图像帧进行处理以获取适于在所述电子墨水显示屏204上显示的灰度图帧。在本公开的一个实施例中,视频流和图像处理模块2021以流的形式处理视频和图像,并且可以通过显存控制模块2022以流的形式将数据存储到显存203。显存控制模块2022可以以流的形式读取存储在显存203中的图像帧,并且传递给时序控制模块2023,以供时序控制模块2023生成操作数据并且进一步生成用于控制电子墨水显示屏204的控制数据。
在本公开的一个实施例中,视频流和图像处理模块2021从视频流中逐像素地采样到图像帧,并且对采样到的图像帧进行逐像素地处理以获取适于在电子墨水显示屏204上显示的灰度图帧。视频流和图像处理模块2021进行的逐像素采样和处理操作可以被认为流式处理。即,视频流和图像处理模块2021每接收到一个像素的RGB数据就进行采样,并且进行相应处理以获取适于在电子墨水显示屏上显示的灰度图帧。
根据本公开的实施例,通过所述视频流和图像处理模块从所述视频流中逐像素地采样到图像帧,并且对采样到的图像帧进行逐像素地处理以获取适于在电子墨水显示屏上显示的灰度图帧,可以以像素为单位,通过流的形式处理视频,可以提高视频处理效率,并且降低显示时的画面延迟。
以下参照图4对图3所示的视频处理装置202的结构进行进一步描述。
图4是图3所示的基于电子墨水技术的视频处理装置202的具体结构的另一个示例的框图。图4示出了视频处理装置202中的视频流和图像处理模块2021、显存控制模块2022和时序控制模块2023的具体示例性结构。
如图4所示,视频流和图像处理模块2021包括:采样子模块20221,其用于视频流中采样到图像帧;灰度转换子模块20212,其用于将所述图像帧转换为灰度图帧;伽马值调整子模块20213,其用于对所述灰度图帧的伽马值进行调整;灰度模拟子模块20214,其用于对经过伽马值特征的灰度图帧进行处理以通过每像素第一预设数量比特的数据模拟每像素第二预设数量比特的数据,以获取适于在电子墨水显示屏204上显示的灰度图帧,其中,所述第二预设数量高于所述第一预设数量。
根据本公开的实施例,通过所述视频流和图像处理模块包括:采样子模块,其用于所述视频流中采样到图像帧;灰度转换子模块,其用于将所述图像帧转换为灰度图帧;伽马值调整子模块,其用于对所述灰度图帧的伽马值进行调整;灰度模拟子模块,其用于对经过伽马值特征的灰度图帧进行处理以通过每像素第一预设数量比特的数据模拟每像素第二预设数量比特的数据,以获取适于在电子墨水显示屏上显示的灰度图帧,其中,所述第二预设数量高于所述第一预设数量,可以将多种视频和图像处理功能一体化地集成到基于电子墨水技术的视频处理装置,并且以流的形式处理视频,可以简化显示器的整体架构,并且降低显示时的画面延迟。
在本公开的一个实施例中,采样子模块20221可以从视频流中逐像素地采样到图像帧,每一个时钟周期采集一个像素的RGB信号。在本公开的一个实施例中,灰度转换子模块20212可以采用相关技术中已知的处理方式对各个像素的RGB信号进行灰度转换。图像帧转换为灰度信号才可以在电子墨水显示屏上进行显示。在本公开的一个实施例中,伽马值调整子模块20213可以采用相关技术中已知的处理方式对转换为灰度信号的灰度图帧进行伽马调整(或矫正)。在本公开的一个实施例中,可以设置一个或多个包括RGB信号、灰度值、伽马值等参数的查找表来对图像帧进行灰度转换和伽马特征等处理。
在本公开的一个实施例中,对于已经转换成灰度值(并且经过了伽马值调整)的像素数据,需要灰度模拟子模块20214进行第二阶段的灰度处理。灰度模拟子模块20214可以通过各种图形处理方法将灰度图转换为更加适合电子墨水显示屏显示的数据。在本公开的一个实施例中,通过每像素第一预设数量比特的数据模拟每像素第二预设数量比特的数据指的是,用每像素较少比特的数据的灰度图模拟每像素较多比特的数据灰度图。换言之,用较低阶灰度图模拟较高阶灰度图,在降低需要处理的数据量的情况下尽量保证图像质量。
在本公开的一个实施例中,述灰度模拟子模块20214采用的处理包括二值化判别算法处理、序抖动算法处理和基于误差传递的抖动算法处理中的任一种。
根据本公开的实施例,通过所述灰度模拟子模块采用的处理包括二值化判别算法处理、有序抖动算法处理和基于误差传递的抖动算法处理中的任一种,可以通过流的形式处理视频,提高视频处理效率,并且降低显示时的画面延迟。
在本公开的一个实施例中,通过二值化判别算法,可以将一幅多灰度值的图像转化为只有黑(例如,前景文字部分)白(例如,背景部分)分布的二值图像(Binary Image)。例如,对于256阶灰度的灰度图,0阶灰度对应于黑色,255阶对应于白色。例如,二值化后0对应于黑色前景文字,1对应于白色背景。二值化判别算法的更多细节可以从本领域相关技术中获取,本公开对此不做赘述。
在本公开的一个实施例中,对于有序抖动算法,抖动是通过灰度图的一块区域去表示一个像素点,通过区域的黑点密度就可以模拟出像素的灰度,例如,将一个灰度值255的像素对应到一个2*2的矩阵。又例如,2*2矩阵表示256阶灰度的像素的亮度毕竟有限,还可以使用4*4的矩阵代替每个像素点,图像的就会变为原来的16倍,图像大大增大。有序抖动算法的更多细节可以从本领域相关技术中获取,本公开对此不做赘述。
在本公开的一个实施例中,基于误差传递的抖动算法相较于二值化判别算法和有序抖动算法显得复杂。基于误差传递的抖动算法的基本原理是,首先会对当前像素点进行量化,然后将量化误差值传递到周围的几个像素点上,用以保证整体的数值准确。随后再对下一个像素点做同样的操作。以原始图像255阶灰度,抖动算法处理后为两阶灰阶为例:假设当前像素点的灰度值是180,那么因为大于127,会被量化为255,其中产生的误差值是,255-180=75。那么需要在周围的几个像素上总共减去75(或者可以根据特殊的需要,适当少减)。在并行计算结构中,对每个时钟到来的像素,计算出误差值后,立刻根据算法需求,进行误差值的拆分。将下一行需要的误差值,存放在缓存中,并在适当的时候进行必要的运算;将下一个像素需要的误差值(如有需要),直接在下个时钟周期与下一个像素进行叠加(必要时还会提前加上上一行缓存的误差值)。基于误差传递的抖动算法的示例是Floyd-Steinberg抖动算法。
在本公开的一个实施例中,显存控制模块2022包括:显存写控制子模块20221,其用于将从视频流和图像处理模块2021获取的适于在电子墨水显示屏204上显示的灰度图帧写入到显存203中;显存读控制子模块20222,其用于从显存203读取适于在电子墨水显示屏204上显示的灰度图帧并提供给时序控制模块2023;仲裁器20223,其用于对显存写控制子模块20221和显存读控制子模块20222的操作进行仲裁。在本公开的一个实施例中,显存写控制子模块20221和显存读控制子模块20222分别进行对显存203的写操作和读操作有利于提高对显存203的读写效率,进而提高视频流和图像处理模块的数据存取效率。仲裁器20223可以对显存写控制子模块20221和显存读控制子模块20222的对显存203的写操作和读操作进行仲裁控制,提高对显存203的读写效率,防止读写冲突。
根据本公开的实施例,通过所述显存控制模块包括:显存写控制子模块,其用于将从所述视频流和图像处理模块获取的适于在电子墨水显示屏上显示的灰度图帧写入到显存中;显存读控制子模块,其用于从显存读取适于在电子墨水显示屏上显示的灰度图帧并提供给所述时序控制模块;仲裁器,其用于对所述显存写控制子模块和所述显存读控制子模块的操作进行仲裁,可以将多种视频和图像处理功能一体化地集成到基于电子墨水技术的视频处理装置,并且以流的形式处理视频,可以简化显示器的整体架构,并且降低显示时的画面延迟。
在本公开的一个实施例中,在视频流和图像处理模块2021对采样到的图像帧进行逐像素地处理以获取适于在电子墨水显示屏204上显示的灰度图帧的过程中,当视频流和图像处理模2021每次处理完成第三预设数量的像素时,显存写控制子模块20221根据显存的特性将第三预设数量的像素的数据写入到显存203中。
根据本公开的实施例,通过在所述视频流和图像处理模块对采样到的图像帧进行逐像素地处理以获取适于在电子墨水显示屏上显示的灰度图帧的过程中,当所述视频流和图像处理模每次处理完成第三预设数量的像素时,所述显存写控制子模块根据所述显存的特性将所述第三预设数量的像素的数据写入到显存中,可以通过流的形式处理视频,提高视频处理效率,并且降低显示时的画面延迟。
在本公开的一个实施例中,显存203的特性可以指的是于显存203的位宽和数据突发长度。在灰度模拟子模块20214对经过伽马值特征的灰度图帧进行流式处理的同时,每计算完毕第三预设数量的像素(受限于显存的位宽和数据突发长度),就可以将数据写入显存203中。例如,第三预设数量可以是16-256中的任一值,也可以是其他值。当视频流和图像处理模块202接收完成整帧视频信号时,所有的像素点都已经经过了流式图像处理,并且存放到了显存203中。在本公开的一个实施例中,灰度模拟子模块20214对经过伽马值特征的灰度图帧进行流式处理,可以在每计算完成第三预设数量的像素时,通过显存写控制子模块2022写入显存203。在本公开的一个实施例中,在第三预设数量的值可以在某个范围内,从而不会因为一次写入的像素数据量过小而导致灰度模拟子模块20214的处理时钟周期与显存203的写操作时钟周期不匹配使得对显存203的写操作效率降低,也不会因为一次写入的像素数据量过大而导致显存203无法一次写入导致显存203存储异常。因此,可以认为,这样的架构中,视频数据从视频流和图像处理模块202接收完毕到存放到显存203中,实现了零延迟。
在本公开的一个实施例中,时序控制模块2023包括:操作数据生成子模块20231,其用于通过显存控制模块2022从显存203获取灰度图帧,并且基于所述灰度图帧生成操作数据;时序控制电路20232,其用于基于所述操作数据生成用于控制电子墨水显示屏204的控制数据。
根据本公开的实施例,通过所述时序控制模块包括:操作数据生成子模块,其用于通过所述显存控制模块从所述显存获取灰度图帧,并且基于所述灰度图帧生成操作数据;时序控制电路,其用于基于所述操作数据生成用于控制电子墨水显示屏的控制数据,可以将多种视频和图像处理功能一体化地集成到基于电子墨水技术的视频处理装置,简化显示器的整体架构。
在本公开的一个实施例中,操作数据生成子模块20231通过显存控制模块2022从显存203获取电子墨水显示屏204当前显示的灰度图帧和所述当前显示的灰度图帧的下一灰度图帧,以比对出当前显示的灰度图帧的下一灰度图帧与当前显示的灰度图之间的差别,并且基于所述差别生成操作数据。
根据本公开的实施例,通过所述操作数据生成子模块通过所述显存控制模块从所述显存获取电子墨水显示屏当前显示的灰度图帧和所述当前显示的灰度图帧的下一灰度图帧,以比对出所述当前显示的灰度图帧的下一灰度图帧与所述当前显示的灰度图之间的差别,并且基于所述差别生成操作数据,可以使得电子墨水显示屏中的尽量少的像素进行状态改变,从而可以提高刷新效率,优化显示效果。
在本公开的一个实施例中,操作数据可以包括指示对做什么显示屏204的视频画面的刷新方式的数据。时序控制电路20232提供用于驱动电子墨水显示屏204的驱动信号以使得所述电子墨水显示屏显示当前显示的灰度图帧的下一灰度图帧。
在本公开的一个实施例中,基于电子墨水技术的视频处理装置可以被制成一体化地诸如芯片之类的装置,例如FPGA芯片。一体化的视频处理装置可以以流的方式处理视频以进行显示,可以简化显示器的结构,降低显示时的画面延迟。
在本公开的一个实施例中,前述方案可以应用彩色电子墨水显示屏。在彩色电子墨水显示屏中,每一个像素表面涂上彩色的滤光片,像素实现还是采用黑白色的电子墨水技术。通过每个像素的黑白程度(灰度),就可以实现对应的颜色的色值。其具体实现方式可以通过相关技术获得,本公开对此不做赘述。
本领域技术人员还可以了解到本公开实施例实施方式列出的各种说明性逻辑块,单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性,上述的各种说明性部件,单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本公开实施例实施方式保护的范围。
本公开实施例实施方式中所描述的各种说明性的逻辑块,或单元都可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列(FPGA)或其它可编程逻辑装置,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本公开实施例实施方式中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于用户终端中。可选地,处理器和存储媒介也可以设置于用户终端中的不同的部件中。
以上所述的具体实施方式,对本公开实施例的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本公开实施例的具体实施方式而已,并不用于限定本公开实施例的保护范围,凡在本公开实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公开实施例的保护范围之内。

Claims (8)

1.一种基于电子墨水技术的视频处理装置,其特征在于,包括:
视频流和图像处理模块,其用于接收视频流,从所述视频流中采样到图像帧,并且对采样到的图像帧进行处理以获取适于在电子墨水显示屏上显示的灰度图帧;
显存控制模块,其用于将所述灰度图帧存储到显存中,并且用于从所述显存读取存储的灰度图帧;
时序控制模块,其通过所述显存控制模块从所述显存获取灰度图帧,并且基于获取的灰度图帧生成操作数据,并且基于所述操作数据提供用于控制所述电子墨水显示屏的控制数据;
其中,在所述视频流和图像处理模块对采样到的图像帧进行逐像素地处理以获取适于在电子墨水显示屏上显示的灰度图帧的过程中,当所述视频流和图像处理模每次处理完成第三预设数量的像素时,所述显存控制模块根据所述显存的特性将所述第三预设数量的像素的数据写入到显存中;
所述视频流和图像处理模块包括:
采样子模块,其用于所述视频流中采样到图像帧;
灰度转换子模块,其用于将所述图像帧转换为灰度图帧;
伽马值调整子模块,其用于对所述灰度图帧的伽马值进行调整;
灰度模拟子模块,其用于对经过伽马值特征的灰度图帧进行处理以通过每像素第一预设数量比特的数据模拟每像素第二预设数量比特的数据,以获取适于在电子墨水显示屏上显示的灰度图帧,其中,所述第二预设数量高于所述第一预设数量。
2.根据权利要求1所述的视频处理装置,其特征在于,所述视频流和图像处理模块从所述视频流中逐像素地采样到图像帧,并且对采样到的图像帧进行逐像素地处理以获取适于在电子墨水显示屏上显示的灰度图帧。
3.根据权利要求1所述的视频处理装置,其特征在于,所述灰度模拟子模块采用的处理包括二值化判别算法处理、有序抖动算法处理和基于误差传递的抖动算法处理中的任一种。
4.根据权利要求1或2所述的视频处理装置,其特征在于,所述显存控制模块包括:
显存写控制子模块,其用于将从所述视频流和图像处理模块获取的适于在电子墨水显示屏上显示的灰度图帧写入到显存中;
显存读控制子模块,其用于从显存读取适于在电子墨水显示屏上显示的灰度图帧并提供给所述时序控制模块;
仲裁器,其用于对所述显存写控制子模块和所述显存读控制子模块的操作进行仲裁。
5.根据权利要求1或2所述的视频处理装置,其特征在于,所述时序控制模块包括:
操作数据生成子模块,其用于通过所述显存控制模块从所述显存获取灰度图帧,并且基于所述灰度图帧生成操作数据;
时序控制电路,其用于基于所述操作数据生成用于控制电子墨水显示屏的控制数据。
6.根据权利要求5所述的视频处理装置,其特征在于,所述操作数据生成子模块通过所述显存控制模块从所述显存获取电子墨水显示屏当前显示的灰度图帧和所述当前显示的灰度图帧的下一灰度图帧,以比对出所述当前显示的灰度图帧的下一灰度图帧与所述当前显示的灰度图之间的差别,并且基于所述差别生成操作数据。
7.一种基于电子墨水技术的显示器,其特征在于,包括:
视频处理装置、显存、电子墨水显示屏,
其中,
所述视频处理装置包括:
视频流和图像处理模块,其用于接收视频流,从所述视频流中采样到图像帧,并且对采样到的图像帧进行处理以获取适于在所述电子墨水显示屏上显示的灰度图帧;
显存控制模块,其用于将所述灰度图帧存储到所述显存中,并且用于从所述显存读取存储的灰度图帧;
时序控制模块,其通过所述显存控制模块从所述显存获取灰度图帧,并且基于获取的灰度图帧生成操作数据,并且基于所述操作数据提供用于控制所述电子墨水显示屏的控制数据;
其中,在所述视频流和图像处理模块对采样到的图像帧进行逐像素地处理以获取适于在电子墨水显示屏上显示的灰度图帧的过程中,当所述视频流和图像处理模每次处理完成第三预设数量的像素时,所述显存控制模块根据所述显存的特性将所述第三预设数量的像素的数据写入到显存中;
所述视频流和图像处理模块包括:
采样子模块,其用于所述视频流中采样到图像帧;
灰度转换子模块,其用于将所述图像帧转换为灰度图帧;
伽马值调整子模块,其用于对所述灰度图帧的伽马值进行调整;
灰度模拟子模块,其用于对经过伽马值特征的灰度图帧进行处理以通过每像素第一预设数量比特的数据模拟每像素第二预设数量比特的数据,以获取适于在电子墨水显示屏上显示的灰度图帧,其中,所述第二预设数量高于所述第一预设数量。
8.根据权利要求7所述的显示器,其特征在于,还包括:
视频格式转换装置,其通过多种接口接收视频信号,将接收的视频信号转换为视频流输出到所述视频处理装置。
CN202111145413.5A 2021-09-28 2021-09-28 基于电子墨水技术的视频处理装置和显示器 Active CN113867678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111145413.5A CN113867678B (zh) 2021-09-28 2021-09-28 基于电子墨水技术的视频处理装置和显示器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111145413.5A CN113867678B (zh) 2021-09-28 2021-09-28 基于电子墨水技术的视频处理装置和显示器

Publications (2)

Publication Number Publication Date
CN113867678A CN113867678A (zh) 2021-12-31
CN113867678B true CN113867678B (zh) 2023-06-16

Family

ID=78992132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111145413.5A Active CN113867678B (zh) 2021-09-28 2021-09-28 基于电子墨水技术的视频处理装置和显示器

Country Status (1)

Country Link
CN (1) CN113867678B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117311650B (zh) * 2022-06-23 2024-09-06 格兰菲智能科技股份有限公司 显示模块验证方法、系统和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023904A (zh) * 2016-05-16 2016-10-12 深圳市博阅科技股份有限公司 基于电子墨水屏的显示控制方法及装置
CN107086027A (zh) * 2017-06-23 2017-08-22 青岛海信移动通信技术股份有限公司 文字显示方法及装置、移动终端及存储介质
CN109410849B (zh) * 2018-12-21 2021-05-18 上海墨案智能科技有限公司 刷新控制方法、装置及存储介质
CN110049310B (zh) * 2019-04-04 2021-06-15 广东省安心加科技有限公司 视频图像获取、视频质量检测方法和装置
CN111752063B (zh) * 2020-06-08 2021-04-30 掌阅科技股份有限公司 可变换显示模式的方法、阅读终端及计算机存储介质
CN112965678A (zh) * 2021-03-16 2021-06-15 广州文石信息科技有限公司 一种基于电子墨水屏的显示器、装置、存储介质及方法

Also Published As

Publication number Publication date
CN113867678A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN112965678A (zh) 一种基于电子墨水屏的显示器、装置、存储介质及方法
KR100516246B1 (ko) 화상 데이터 처리 장치 및 화상 데이터 처리 방법
US7649575B2 (en) Liquid crystal display device with improved response speed
US20060208960A1 (en) Display specific image processing in an integrated circuit
US11127110B2 (en) Data processing systems
US8994640B2 (en) Low motion blur liquid crystal display
JP2003316334A (ja) 表示装置及び表示用駆動回路
US10019951B2 (en) Display apparatus and method for driving display apparatus
CN100545903C (zh) 图像数据的误差累加抖动
CN113704164B (zh) 彩屏阅读器的刷新方法、彩屏阅读器及计算机存储介质
CN113867677A (zh) 显示系统和电子墨水显示屏的刷新方法
CN113867678B (zh) 基于电子墨水技术的视频处理装置和显示器
US7023413B1 (en) Memory controller and liquid crystal display apparatus using the same
CN114283755B (zh) 显示控制模组、显示控制方法和显示装置
KR20130015031A (ko) 표시 패널의 구동 방법 및 이를 수행하기 위한 표시 장치
WO2020098624A1 (zh) 显示方法、装置、vr显示装置、设备及存储介质
JP2007333770A (ja) 電気光学装置、電気光学装置用駆動回路、及び電気光学装置の駆動方法、並びに電子機器
US10803837B2 (en) Image processing apparatus, display panel and display apparatus
CN220913877U (zh) 应用于显示面板的驱动控制部
CN106935213B (zh) 低延迟显示系统及方法
CN110706633B (zh) 一种dmd高灰度级图像显示方法及装置
CN108806615B (zh) 一种针对电润湿显示器的新型像素数据编码方法及装置
CN101593494B (zh) 液晶显示器及其驱动方法
KR102423052B1 (ko) 개용 표시 장치 및 이의 구동 방법
US20230103014A1 (en) Dynamic frame rate conversion in active matrix display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant