CN115103233B - 显示区域内置图像处理的拼接墙系统及其控制方法和设备 - Google Patents

显示区域内置图像处理的拼接墙系统及其控制方法和设备 Download PDF

Info

Publication number
CN115103233B
CN115103233B CN202210648677.0A CN202210648677A CN115103233B CN 115103233 B CN115103233 B CN 115103233B CN 202210648677 A CN202210648677 A CN 202210648677A CN 115103233 B CN115103233 B CN 115103233B
Authority
CN
China
Prior art keywords
data
displayed
image
signal source
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210648677.0A
Other languages
English (en)
Other versions
CN115103233A (zh
Inventor
鲍尔
黄建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vtron Group Co Ltd
Original Assignee
Vtron Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vtron Group Co Ltd filed Critical Vtron Group Co Ltd
Priority to CN202210648677.0A priority Critical patent/CN115103233B/zh
Publication of CN115103233A publication Critical patent/CN115103233A/zh
Application granted granted Critical
Publication of CN115103233B publication Critical patent/CN115103233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种显示区域内置图像处理的拼接墙系统及其控制方法和设备,该系统包括图像获取模块、数据交换模块、配置控制模块和拼接显示墙,拼接显示墙上设置有m个显示区域,每个显示区域均设置有图像处理模块,数据交换模块分别与配置控制模块和每个图像处理模块连接。该系统通过集合了图像拼接、图像缩放功能和LED发送器裁剪功能、远距离传输等功能的图像处理模块,并将图像处理模块内置在显示区域中,使得该系统通过降低大量的线缆数量,可大量降低布线成本和工程施工成本,节省机房空间,综合提升经济效益和能源效益,也减少了该系统布置的工作量,解决现有LED拼接墙系统需要布局线缆多,工程成本高且工作量大的问题。

Description

显示区域内置图像处理的拼接墙系统及其控制方法和设备
技术领域
本发明涉及图像处理技术领域,尤其涉及一种显示区域内置图像处理的拼接墙系统及其控制方法和设备。
背景技术
在LED显示拼接屏中通常需要外置图像处理器对信号源进行图像拼接、图像缩放、图像合成后,再通过HDMI/DVI视频信号线缆传输到LED发送设备视频输入端,然后通过LED发送设备输出到LED显示拼接屏中。而由LED发送设备到LED拼接屏之间需要长距离传输,一般采用千兆网线或光纤进行传输。
因LED显示拼接屏因为规模较大,通常在实际使用中,图像处理器、LED发送设备通常需要放置在专用的机房中,而机房离LED显示拼接屏的距离比较长,需要布置大量的千兆线缆/光纤线缆。如图9所示,以1套8x16LED拼接墙为例,需要布置多达8条HDMI线缆,32条长度为100米的千兆网信号线缆,该LED拼接墙系统复杂,实施过程存在造价成本高(线缆数量多)、施工工程工作量大,工期长等问题,渐而该LED拼接墙系统采用设备多,在排出故障困难大。
发明内容
本发明实施例提供了一种显示区域内置图像处理的拼接墙系统及其控制方法和设备,用于解决现有LED拼接墙系统需要布局线缆多,工程成本高且工作量大的技术问题。
为了实现上述目的,本发明实施例提供如下技术方案:
一种显示区域内置图像处理的拼接墙系统,包括图像获取模块、数据交换模块、配置控制模块和拼接显示墙,所述拼接显示墙上设置有m个显示区域,每个所述显示区域均设置有图像处理模块,所述图像获取模块与所述数据交换模块连接,所述数据交换模块分别与所述配置控制模块和每个所述图像处理模块连接;
所述图像获取模块,用于获取n个信号源图像并将n个所述信号源图像构成的信号数据集通过所述数据交换模块传送至所述配置控制模块;
所述拼接显示墙,用于将其自身的参数数据通过所述数据交换模块传送至所述配置控制模块;
所述配置控制模块,用于根据用户需求、所述信号数据集和所述参数数据确定待显示数据和待显示区域,根据所述参数数据确定与所述待显示数据对应的待显示位置数据,将所述待显示位置数据和所述待显示数据通过所述数据交换模块传送至与所述待显示区域对应的所述图像处理模块;
所述图像处理模块,用于根据所述待显示位置数据对所述待显示数据进行裁剪、缩放和拼接处理,获得显示图像并在所述待显示区域上输出。
优选地,所述数据交换模块通过通信协议分别与所述图像获取模块、所述配置控制模块和所述图像处理模块进行数据传输。
优选地,所述数据交换模块包括交换机。
本发明还提供一种显示区域内置图像处理的拼接墙系统的控制方法,应用于上述所述的显示区域内置图像处理的拼接墙系统上,该控制方法包括以下步骤:
通过数据交换模块获取n个信号源图像构成的信号数据集以及获取拼接显示墙的参数数据;
采用配置控制模块根据用户需求和所述信号数据集确定待显示数据和待显示区域,根据所述参数数据确定与所述待显示数据对应的待显示位置数据;
根据所述待显示位置数据采用与所述待显示区域对应的图像处理模块对所述待显示数据进行裁剪、缩放和拼接处理,获得显示图像并在所述待显示区域上输出;
其中,所述参数数据包括拼接显示墙的起始坐标、分辨率长和分辨率宽。
优选地,采用配置控制模块根据用户需求和所述信号数据集确定待显示数据和待显示区域包括:
根据用户需求从所述信号数据集中提取需要显示的信号源数据,确定待显示数据;
根据用户需求确定在所述拼接显示墙上的待显示区域,并基于所述参数数据确定所述待显示数据的坐标数据;
其中,所述信号源数据包括信号源图像的属性、起始坐标、分辨率长和分辨率宽。
优选地,采用配置控制模块根据用户需求和所述信号数据集确定待显示数据和待显示区域包括:根据用户需求从所述信号数据集中逐一提取需要显示的信号源数据,直至从信号数据集中提取满足用户需求所有信号源图像的信号源数据,确定待显示数据。
优选地,采用配置控制模块根据所述参数数据确定与所述待显示数据对应的待显示位置数据包括:
根据所述参数数据中拼接显示墙的起始坐标构建实际坐标系;
根据所述待显示数据中每个信号源图像的起始坐标构建虚拟窗口坐标系,获得与所述待显示数据中每个信号源图像对应的虚拟坐标数据;
根据所述实际坐标系和虚拟窗口坐标系,将每个所述虚拟坐标数据转换为在所述实际坐标系的实际坐标数据;
所述待显示数据中所有信号源图像的实际坐标数据构成待显示位置数据。
优选地,根据所述待显示位置数据采用图像处理模块对所述待显示数据进行裁剪、缩放和拼接处理,获得显示图像包括:
根据所述待显示数据中每个信号源图像的虚拟坐标数据,在其对应的所述信号源图像的虚拟窗口坐标系中裁剪,获得裁剪图像;
对所述裁剪图像进行缩放,得到缩放图像和与所述缩放图像对应的缩放图像实际坐标;
根据所述待显示数据中所有信号源图像的缩放图像实际坐标,对所述待显示数据中所有信号源图像的缩放图像进行拼接,得到显示图像。
优选地,该显示区域内置图像处理的拼接墙系统的控制方法包括:若采用配置控制模块根据用户需求和所述信号数据集确定k个待显示数据和与k个待显示数据对应的k个待显示区域,则采用与k个待显示区域对应的k个图像处理模块并行处理。
本发明还提供一种终端设备,包括处理器以及存储器;
所述存储器,用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器,用于根据所述程序代码中的指令执行上述所述的显示区域内置图像处理的拼接墙系统的控制方法。
从以上技术方案可以看出,本发明实施例具有以下优点:该显示区域内置图像处理的拼接墙系统,包括图像获取模块、数据交换模块、配置控制模块和拼接显示墙,拼接显示墙上设置有m个显示区域,每个显示区域均设置有图像处理模块,图像获取模块与数据交换模块连接,数据交换模块分别与配置控制模块和每个图像处理模块连接。该显示区域内置图像处理的拼接墙系统通过集合了图像拼接、图像缩放功能和LED发送器裁剪功能、远距离传输等功能的图像处理模块,并将图像处理模块内置在显示区域中,使得该拼接墙系统通过降低大量的线缆数量,可大量降低布线成本和工程施工成本,节省机房空间,综合提升经济效益和能源效益,也减少了该拼接墙系统布置的工作量,解决了现有LED拼接墙系统需要布局线缆多,工程成本高且工作量大的技术问题。
该显示区域内置图像处理的拼接墙系统的控制方法,包括通过数据交换模块获取n个信号源图像构成的信号数据集以及获取拼接显示墙的参数数据;采用配置控制模块根据用户需求和信号数据集确定待显示数据和待显示区域,根据参数数据确定与待显示数据对应的待显示位置数据;根据待显示位置数据采用与待显示区域对应的图像处理模块对待显示数据进行裁剪、缩放和拼接处理,获得显示图像并在待显示区域上输出。该显示区域内置图像处理的拼接墙系统的控制方法通过集合了图像拼接、图像缩放功能和LED发送器裁剪功能、远距离传输等功能的图像处理模块,并将图像处理模块内置在显示区域中,使得该拼接墙系统通过该控制方法实现待显示数据在特定的待显示区域上显示,通过该控制方法控制该拼接墙系统的图像处理模块和配置控制模块的运行,实现降低大量的线缆数量,可大量降低布线成本和工程施工成本,节省机房空间,综合提升经济效益和能源效益,也减少了该拼接墙系统布置的工作量,解决了现有LED拼接墙系统需要布局线缆多,工程成本高且工作量大的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例所述的显示区域内置图像处理的拼接墙系统的框架图;
图2为本发明实施例所述的显示区域内置图像处理的拼接墙系统中图像处理模块的拼接展示图;
图3为本发明实施例所述的显示区域内置图像处理的拼接墙系统中图像获取模块与图像处理模块之间的拼接图;
图4为本发明实施例所述的显示区域内置图像处理的拼接墙系统的控制方法的步骤流程图;
图5为本发明另一实施例所述的显示区域内置图像处理的拼接墙系统的控制方法的步骤流程图;
图6为本发明实施例所述的显示区域内置图像处理的拼接墙系统的控制方法的坐标转换图;
图7为本发明实施例所述的显示区域内置图像处理的拼接墙系统的控制方法的裁剪示意图;
图8为本发明实施例所述的显示区域内置图像处理的拼接墙系统的控制方法的缩放示意图;
图9为现有LED拼接墙系统的框架图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本申请实施例提供了一种显示区域内置图像处理的拼接墙系统及其控制方法和设备,用于解决了现有LED拼接墙系统需要布局线缆多,工程成本高且工作量大的技术问题。
实施例一:
图1为本发明实施例所述的显示区域内置图像处理的拼接墙系统的框架图,图2为本发明实施例所述的显示区域内置图像处理的拼接墙系统中图像处理模块的拼接展示图,图3为本发明实施例所述的显示区域内置图像处理的拼接墙系统中图像获取模块与图像处理模块之间的拼接图。
如图1和图2所示,本发明实施例提供了一种显示区域内置图像处理的拼接墙系统,包括图像获取模块10、数据交换模块20、配置控制模块30和拼接显示墙40,拼接显示墙40上设置有m个显示区域41,每个显示区域41均设置有图像处理模块42,图像获取模块42与数据交换模块20连接,数据交换模块20分别与配置控制模块30和每个图像处理模块42连接。其中,m为大于2的自然数。
需要说明的是,数据交换模块20可以为交换机,用于数据交换。在本实施例中,数据交换模块20优先选用具有无线传输交换数据的网络交换机。
在发明实施例中,图像获取模块10可以用于获取n个信号源图像并将n个信号源图像构成的信号数据集通过数据交换模块20传送至配置控制模块30。
需要说明的是,图像获取模块10通过各种不同的摄像设备获取信号源图像,将获取的n个信号源图像构成信号数据集,之后将信号数据集通过数据交换模块20传送至配置控制模块30中。在本实施例中,n为大于1的自然数。摄像设备可以为摄像头、相机、具有摄像功能的终端设备等。其中,信号数据集中每个信号源图像的数据包括开始标志、信号源编号、信号源类型、信号源起始坐标、信号源分辨率长、信号源分辨率宽、校验和以及结束标志等。
在本发明实施例中,拼接显示墙40可以用于将其自身的参数数据通过述数据交换模块20传送至配置控制模块40。
需要说明的是,配置控制模块40需要获取拼接显示墙40整个屏的参数数据。在本实施例中,参数数据包括拼接显示墙的起始坐标、分辨率长、分辨率宽、开始标志、校验和、结束标志以及显示区域的坐标、分辨率长、分辨率宽、开始标志、校验和、结束标志。
在本发明实施例中,配置控制模块30用于根据用户需求、信号数据集和参数数据确定待显示数据和待显示区域,根据参数数据确定与待显示数据对应的待显示位置数据,将待显示位置数据和待显示数据通过数据交换模块20传送至与待显示区域对应的图像处理模块42。
需要说明的是,配置控制模块30可以根据用户需求,能够在参数数据中选择合适显示的显示区域作为待显示区域,配置控制模块30根据待显示区域的参数数据确定与待显示区域对应的图像处理模块42。也能够根据用户需求在信号数据集中提取需要显示的信号源图像组成待显示数据,以及从参数数据中确定与待显示数据对应的待显示位置数据。之后配置控制模块30通过数据交换模块20将待显示位置数据和待显示数据传送至与待显示区域对应的图像处理模块42中。在本实施例中,待显示数据包括每个信号源图像的信号源属性(如编号)、起始坐标、分辨率长和分辨率宽。待显示位置数据包括每个信号源图像的信号源属性以及与该信号源属性对应的显示位置起始坐标、显示宽度、显示高度、校验和、开始标记和结束标记。
在本发明实施例中,图像处理模块42可以用于根据待显示位置数据对待显示数据进行裁剪、缩放和拼接处理,获得显示图像并在待显示区域上输出。
需要说明的是,如图2或图3所示,图像处理模块42能够根据待显示数据中每个信号源图像的信号源属性选取需要裁剪的信号源图像,之后根据每个信号源图像在待显示数据中的起始坐标、分辨率长和分辨率宽进行裁剪,得到待显示数据中所有需要显示的裁剪图像;之后根据缩放变换值对裁剪图像进行缩放,得到缩放图像和缩放图像实际坐标;最后将裁剪、缩放得到的所有缩放图像根据缩放图像实际坐标进行拼接,得到显示图像,将显示图像在待显示区域上输出或显示。其中,缩放变换值为每个裁剪图像的分辨率长、分辨率宽与其对应需要待显示区域的显示宽度、显示高度确定的。
在本发明实施例中,图像处理模块42可以为云屏智能的控制模块,也称CSAM模块。如图2所示,有6个信号源图像,分别记为信号源1、信号源2、信号源3、信号源4、信号源5和信号源6,6个信号源图像需要在该显示区域内置图像处理的拼接墙系统的8个显示区域中显示,则需要对6个信号源图像通过配置控制模块30和图像处理模块42进行操作,得到如图2所示拼接后展示的效果图,图2中CSAM模块3对应显示区域41展示的图像是:对信号源1和信号源3进行了缩放和拼接处理得到的,CSAM模块5对应显示区域41展示的图像是:对信号源3和信号源5进行了缩放、裁剪和拼接处理后显示图像,如图3所示。
在发明实施例中,该显示区域内置图像处理的拼接墙系统中的配置控制模块30和图像处理模块42根据显示区域内置图像处理的拼接墙系统的控制方法实现获得待显示位置数据、待显示数据和显示图像的。该显示区域内置图像处理的拼接墙系统通过数据交换模块20将各种信号源图像网络化,再通过配置控制模块30配合配置每个信号源图像(窗口)属性,将信号数据集根据待显示区域分配到相应显示区域41的图像处理模块42上处理,之后将图像处理模块42处理后的显示图像进行显示。图像处理模块42集合了图像拼接、图像缩放功能和LED发送器裁剪功能、远距离传输等功能,并将图像处理模块42内置在显示区域41中,使得该拼接墙系统布线数量大量减少,如附图图1与现有拼接墙系统布线的附图图9相比,千兆网线缆数量从32条降到8条,布线成本大幅降低,也不需要控制机柜这个设备,节约了成本。
本发明提供的一种显示区域内置图像处理的拼接墙系统,包括图像获取模块、数据交换模块、配置控制模块和拼接显示墙,拼接显示墙上设置有m个显示区域,每个显示区域均设置有图像处理模块,图像获取模块与数据交换模块连接,数据交换模块分别与配置控制模块和每个图像处理模块连接。该显示区域内置图像处理的拼接墙系统通过集合了图像拼接、图像缩放功能和LED发送器裁剪功能、远距离传输等功能的图像处理模块,并将图像处理模块内置在显示区域中,使得该拼接墙系统通过降低大量的线缆数量,可大量降低布线成本和工程施工成本,节省机房空间,综合提升经济效益和能源效益,也减少了该拼接墙系统布置的工作量,解决了现有LED拼接墙系统需要布局线缆多,工程成本高且工作量大的技术问题。
在本发明的一个实施例中,数据交换模块20通过通信协议分别与图像获取模块10、配置控制模块30和图像处理模块42进行数据传输。
需要说明的是,数据交换模块20也可以通过无线通信方式分别与图像获取模块10、配置控制模块30和图像处理模块42进行数据传输。
实施例二:
图4为本发明实施例所述的显示区域内置图像处理的拼接墙系统的控制方法的步骤流程图,图5为本发明另一实施例所述的显示区域内置图像处理的拼接墙系统的控制方法的步骤流程图。
如图4和图5所示,本发明实施例还提供一种显示区域内置图像处理的拼接墙系统的控制方法,应用于上述的显示区域内置图像处理的拼接墙系统上,该显示区域内置图像处理的拼接墙系统的控制方法包括以下步骤:
S1.通过数据交换模块获取n个信号源图像构成的信号数据集以及获取拼接显示墙的参数数据。
需要说明的是,在步骤S1中,可以通过各种不同的摄像设备获取数个信号源图像,将获取的n个信号源图像构成信号数据集。在本实施例中,n为大于1的自然数。摄像设备可以为摄像头、相机、具有摄像功能的终端设备等。其中,信号数据集中每个信号源图像的数据包括开始标志、信号源编号、信号源类型、信号源起始坐标、信号源分辨率长、信号源分辨率宽、校验和以及结束标志等。实施例二方法中该显示区域内置图像处理的拼接墙系统的内容已在实施例一中详细阐述了,在此实施例二中不再对该显示区域内置图像处理的拼接墙系统的内容进行详细阐述。
在本发明实施例的步骤S1中,还可以获取拼接显示墙整个屏的参数数据。在本实施例中,参数数据包括拼接显示墙的起始坐标、分辨率长、分辨率宽、开始标志、校验和、结束标志以及显示区域的坐标、分辨率长、分辨率宽、开始标志、校验和、结束标志。
S2.采用配置控制模块根据用户需求和信号数据集确定待显示数据和待显示区域,根据参数数据确定与待显示数据对应的待显示位置数据。
需要说明的是,在步骤S2中,可以根据用户需求,能够在参数数据中选择合适显示的显示区域作为待显示区域,配置控制模块根据待显示区域的参数数据确定与待显示区域对应的图像处理模块。也能够根据用户需求在信号数据集中提取需要显示的信号源图像组成待显示数据,以及从参数数据中确定与待显示数据对应的待显示位置数据。在本实施例中,待显示数据包括每个信号源图像的信号源属性(如编号)、起始坐标、分辨率长和分辨率宽。待显示位置数据包括每个信号源图像的信号源属性以及与该信号源属性对应的显示位置起始坐标、显示宽度、显示高度、校验和、开始标记和结束标记。
S3.根据待显示位置数据采用与待显示区域对应的图像处理模块对待显示数据进行裁剪、缩放和拼接处理,获得显示图像并在待显示区域上输出。
需要说明的是,在步骤S3中,可以根据待显示数据中每个信号源图像的信号源属性选取需要裁剪的信号源图像,之后根据每个信号源图像在待显示数据中的起始坐标、分辨率长和分辨率宽进行裁剪,得到待显示数据中所有需要显示的裁剪图像;之后根据缩放变换值对裁剪图像进行缩放,得到缩放图像和缩放图像实际坐标;最后将裁剪、缩放得到的所有缩放图像根据缩放图像实际坐标进行拼接,得到显示图像,将显示图像在待显示区域上输出或显示。其中,缩放变换值为每个裁剪图像的分辨率长、分辨率宽与其对应需要待显示区域的显示宽度、显示高度确定的。
本发明提供的一种显示区域内置图像处理的拼接墙系统的控制方法,包括通过数据交换模块获取n个信号源图像构成的信号数据集以及获取拼接显示墙的参数数据;采用配置控制模块根据用户需求和信号数据集确定待显示数据和待显示区域,根据参数数据确定与待显示数据对应的待显示位置数据;根据待显示位置数据采用与待显示区域对应的图像处理模块对待显示数据进行裁剪、缩放和拼接处理,获得显示图像并在待显示区域上输出。该显示区域内置图像处理的拼接墙系统的控制方法通过集合了图像拼接、图像缩放功能和LED发送器裁剪功能、远距离传输等功能的图像处理模块,并将图像处理模块内置在显示区域中,使得该拼接墙系统通过该控制方法实现待显示数据在特定的待显示区域上显示,通过该控制方法控制该拼接墙系统的图像处理模块和配置控制模块的运行,实现降低大量的线缆数量,可大量降低布线成本和工程施工成本,节省机房空间,综合提升经济效益和能源效益,也减少了该拼接墙系统布置的工作量,解决了现有LED拼接墙系统需要布局线缆多,工程成本高且工作量大的技术问题。
在本发明的一个实施例中,采用配置控制模块根据用户需求和信号数据集确定待显示数据和待显示区域包括:
根据用户需求从信号数据集中提取需要显示的信号源数据,确定待显示数据;
根据用户需求确定在拼接显示墙上的待显示区域,并基于参数数据确定待显示数据的坐标数据;
其中,信号源数据包括信号源图像的属性、起始坐标、分辨率长和分辨率宽。
需要说明的是,如图3所示,若用户需求是将信号源3对应的部分信号源图像和信号源5对应的部分信号源图像作为在与CSAM模块5对应的显示区域上显示,那么需要信号数据集中获取与信号源3的信号源图像和与信号源5对应的信号源图像及其信号源图像的属性、起始坐标、分辨率长和分辨率宽构建待显示数据。在本实施例中,在确定待显示数据的同时,也需要确定待显示数据中每个信号源图像在拼接显示墙中放置的起始坐标(即是待显示区域的起始坐标)和以及其显示的长、宽数据,待显示数据的坐标数据包括待显示数据中每个信号源图像在待显示区域的起始坐标、显示的长、宽数据。
在本发明实施例中,采用配置控制模块根据用户需求和信号数据集确定待显示数据和待显示区域包括:根据用户需求从信号数据集中逐一提取需要显示的信号源数据,直至从信号数据集中提取满足用户需求所有信号源图像的信号源数据,确定待显示数据。
在本发明的一个实施例中,采用配置控制模块根据参数数据确定与待显示数据对应的待显示位置数据包括:
根据参数数据中拼接显示墙的起始坐标构建实际坐标系;
根据待显示数据中每个信号源图像的起始坐标构建虚拟窗口坐标系,获得与待显示数据中每个信号源图像对应的虚拟坐标数据;
根据实际坐标系和虚拟窗口坐标系,将每个虚拟坐标数据转换为在实际坐标系的实际坐标数据;
待显示数据中所有信号源图像的实际坐标数据构成待显示位置数据。
图6为本发明实施例所述的显示区域内置图像处理的拼接墙系统的控制方法的坐标转换图。
需要说明的是,采用配置控制模块根据参数数据确定与待显示数据对应的待显示位置数据指的是:首先根据拼接显示墙的起始坐标构建实际坐标系,该实际坐标系是以拼接显示墙左上角作为原点,以拼接显示墙的分辨率长和分辨率宽分别为横坐标和纵坐标构建的;其次对待显示数据中每个信号源图像的起始坐标构建虚拟窗口坐标系,该虚拟窗口坐标系是以信号源图像左上角作为原点,以信号源图像的分辨率长和分辨率宽分别为横坐标和纵坐标构建的,并根据每个信号源图像的分辨率长和分辨率宽的数值,在虚拟窗口坐标系中得到待显示数据中每个信号源图像对应的虚拟坐标数据;其次,以实际坐标系作为基准,将每个信号源图像对应的虚拟坐标数据转换为在实际坐标下的实际坐标数据,从而得到待显示数据的待显示位置数据。若其中一个信号源的分辨率长为A、分辨率宽为B,其实际坐标数据的横坐标为W'=W+A,纵坐标为H'=H+B,如图6所示,W、H分别为虚拟窗口坐标系在实际坐标系下的坐标。
在本发明的一个实施例中,根据待显示位置数据采用图像处理模块对待显示数据进行裁剪、缩放和拼接处理,获得显示图像包括:
根据待显示数据中每个信号源图像的虚拟坐标数据,在其对应的信号源图像的虚拟窗口坐标系中裁剪,获得裁剪图像;
对裁剪图像进行缩放,得到缩放图像和与缩放图像对应的缩放图像实际坐标;
根据待显示数据中所有信号源图像的缩放图像实际坐标,对待显示数据中所有信号源图像的缩放图像进行拼接,得到显示图像。
图7为本发明实施例所述的显示区域内置图像处理的拼接墙系统的控制方法的裁剪示意图,图8为本发明实施例所述的显示区域内置图像处理的拼接墙系统的控制方法的缩放示意图。
需要说明的是,根据待显示位置数据采用图像处理模块对待显示数据进行裁剪、缩放和拼接处理过程是:首先对待显示数据中需要显示部分图像从信号源图像中裁剪出,得到裁剪图像;其次,对裁剪图像进行缩放获得缩放图像(如图8所示)和与缩放图像对应的缩放图像实际坐标;最后根据所有缩放图像的缩放图像实际坐标进行拼接,得到显示图像。
在本发明实施例中,信号源图像是属于二维平面坐标系,信号源中每个像素点的集合是二维矩阵,可以通过提取需要显示部分图像的坐标集合就是实现了图像的裁剪,如图7所示。
在本发明实施例中,信号源图像是属于二维平面坐标系,CSAM模块采用二维平面坐标,其原理如下:若二维平面上裁剪图像有一点坐标为(x,y),经过变换后成为另一点坐标(x1,y1),则可用向量乘上一个变换矩阵得得到。即是:
式中,a、e分别为系数,当a=e=1时,则为恒等变换,也就是裁剪图像没有任何变化;当a=e>1时,裁剪图像沿着两个坐标轴方向等比例缩小;当a=e>1时,裁剪图像沿着两个坐标轴方向等比例放大;当a!=e时,裁剪图像沿着两个坐标轴方向非均匀比例变换。
在本发明实施例中,该显示区域内置图像处理的拼接墙系统的控制方法包括:若采用配置控制模块根据用户需求和信号数据集确定k个待显示数据和与k个待显示数据对应的k个待显示区域,则采用与k个待显示区域对应的k个图像处理模块并行处理,从而提高其运行效率。其中,k为大于1的自然数。
在本发明实施例中,该显示区域内置图像处理的拼接墙系统及其控制方法适用的场景不限制信号源图像的数量,不限制信号源图像在整个拼接显示墙中的规则摆放和信号源图像在拼接显示墙内部的数量,可以实现任意多个信号源图像和每个信号源图形在整个拼接显示墙中位置任意摆放。
实施例三:
本发明实施例提供了一种终端设备,包括处理器以及存储器;
存储器,用于存储程序代码,并将程序代码传输给处理器;
处理器,用于根据程序代码中的指令执行上述的显示区域内置图像处理的拼接墙系统的控制方法。
需要说明的是,处理器用于根据所程序代码中的指令执行上述的一种显示区域内置图像处理的拼接墙系统实施例中的步骤。或者,处理器执行计算机程序时实现上述各系统/装置实施例中各模块/单元的功能。
示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器中,并由处理器执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在终端设备中的执行过程。
终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是终端设备的内部存储单元,例如终端设备的硬盘或内存。存储器也可以是终端设备的外部存储设备,例如终端设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及终端设备所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种显示区域内置图像处理的拼接墙系统,其特征在于,包括图像获取模块、数据交换模块、配置控制模块和拼接显示墙,所述拼接显示墙上设置有m个显示区域,每个所述显示区域均设置有图像处理模块,所述图像获取模块与所述数据交换模块连接,所述数据交换模块分别与所述配置控制模块和每个所述图像处理模块连接;
所述图像获取模块,用于获取n个信号源图像并将n个所述信号源图像构成的信号数据集通过所述数据交换模块传送至所述配置控制模块;
所述拼接显示墙,用于将其自身的参数数据通过所述数据交换模块传送至所述配置控制模块;
所述配置控制模块,用于根据用户需求、所述信号数据集和所述参数数据确定待显示数据和待显示区域,根据所述参数数据确定与所述待显示数据对应的待显示位置数据,将所述待显示位置数据和所述待显示数据通过所述数据交换模块传送至与所述待显示区域对应的所述图像处理模块;
所述图像处理模块,用于根据所述待显示位置数据对所述待显示数据进行裁剪、缩放和拼接处理,获得显示图像并在所述待显示区域上输出;
所述配置控制模块还用于根据用户需求在所述信号数据集中提取需要显示的信号源图像组成待显示数据;根据用户需求在所述参数数据中选择显示的显示区域作为待显示区域;待显示数据包括每个信号源图像的信号源属性、起始坐标、分辨率长和分辨率宽;待显示位置数据包括每个信号源图像的信号源属性以及与该信号源属性对应的显示位置起始坐标、显示宽度、显示高度、校验和、开始标记和结束标记;
所述图像处理模块还用于根据待显示数据中每个信号源图像的信号源属性选取需要裁剪的信号源图像;根据每个信号源图像在待显示数据中的起始坐标、分辨率长和分辨率宽进行裁剪,得到待显示数据中所有需要显示的裁剪图像;根据缩放变换值对裁剪图像进行缩放,得到缩放图像和缩放图像实际坐标;将裁剪、缩放得到的所有缩放图像根据缩放图像实际坐标进行拼接,得到显示图像。
2.根据权利要求1所述的显示区域内置图像处理的拼接墙系统,其特征在于,所述数据交换模块通过通信协议分别与所述图像获取模块、所述配置控制模块和所述图像处理模块进行数据传输。
3.根据权利要求1所述的显示区域内置图像处理的拼接墙系统,其特征在于,所述数据交换模块包括交换机。
4.一种显示区域内置图像处理的拼接墙系统的控制方法,应用于如权利要求1-3任意一项所述的显示区域内置图像处理的拼接墙系统上,其特征在于,该控制方法包括以下步骤:
通过数据交换模块获取n个信号源图像构成的信号数据集以及获取拼接显示墙的参数数据;
采用配置控制模块根据用户需求和所述信号数据集确定待显示数据和待显示区域,根据所述参数数据确定与所述待显示数据对应的待显示位置数据;
根据所述待显示位置数据采用与所述待显示区域对应的图像处理模块对所述待显示数据进行裁剪、缩放和拼接处理,获得显示图像并在所述待显示区域上输出;
其中,所述参数数据包括拼接显示墙的起始坐标、分辨率长和分辨率宽。
5.根据权利要求4所述的显示区域内置图像处理的拼接墙系统的控制方法,其特征在于,采用配置控制模块根据用户需求和所述信号数据集确定待显示数据和待显示区域包括:
根据用户需求从所述信号数据集中提取需要显示的信号源数据,确定待显示数据;
根据用户需求确定在所述拼接显示墙上的待显示区域,并基于所述参数数据确定所述待显示数据的坐标数据;
其中,所述信号源数据包括信号源图像的属性、起始坐标、分辨率长和分辨率宽。
6.根据权利要求4所述的显示区域内置图像处理的拼接墙系统的控制方法,其特征在于,采用配置控制模块根据用户需求和所述信号数据集确定待显示数据和待显示区域包括:根据用户需求从所述信号数据集中逐一提取需要显示的信号源数据,直至从信号数据集中提取满足用户需求所有信号源图像的信号源数据,确定待显示数据。
7.根据权利要求5所述的显示区域内置图像处理的拼接墙系统的控制方法,其特征在于,采用配置控制模块根据所述参数数据确定与所述待显示数据对应的待显示位置数据包括:
根据所述参数数据中拼接显示墙的起始坐标构建实际坐标系;
根据所述待显示数据中每个信号源图像的起始坐标构建虚拟窗口坐标系,获得与所述待显示数据中每个信号源图像对应的虚拟坐标数据;
根据所述实际坐标系和虚拟窗口坐标系,将每个所述虚拟坐标数据转换为在所述实际坐标系的实际坐标数据;
所述待显示数据中所有信号源图像的实际坐标数据构成待显示位置数据。
8.根据权利要求7所述的显示区域内置图像处理的拼接墙系统的控制方法,其特征在于,根据所述待显示位置数据采用图像处理模块对所述待显示数据进行裁剪、缩放和拼接处理,获得显示图像包括:
根据所述待显示数据中每个信号源图像的虚拟坐标数据,在其对应的所述信号源图像的虚拟窗口坐标系中裁剪,获得裁剪图像;
对所述裁剪图像进行缩放,得到缩放图像和与所述缩放图像对应的缩放图像实际坐标;
根据所述待显示数据中所有信号源图像的缩放图像实际坐标,对所述待显示数据中所有信号源图像的缩放图像进行拼接,得到显示图像。
9.根据权利要求4所述的显示区域内置图像处理的拼接墙系统的控制方法,其特征在于,包括:若采用配置控制模块根据用户需求和所述信号数据集确定k个待显示数据和与k个待显示数据对应的k个待显示区域,则采用与k个待显示区域对应的k个图像处理模块并行处理。
10.一种终端设备,其特征在于,包括处理器以及存储器;
所述存储器,用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器,用于根据所述程序代码中的指令执行如权利要求4所述的显示区域内置图像处理的拼接墙系统的控制方法。
CN202210648677.0A 2022-06-09 2022-06-09 显示区域内置图像处理的拼接墙系统及其控制方法和设备 Active CN115103233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210648677.0A CN115103233B (zh) 2022-06-09 2022-06-09 显示区域内置图像处理的拼接墙系统及其控制方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210648677.0A CN115103233B (zh) 2022-06-09 2022-06-09 显示区域内置图像处理的拼接墙系统及其控制方法和设备

Publications (2)

Publication Number Publication Date
CN115103233A CN115103233A (zh) 2022-09-23
CN115103233B true CN115103233B (zh) 2023-10-10

Family

ID=83288668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210648677.0A Active CN115103233B (zh) 2022-06-09 2022-06-09 显示区域内置图像处理的拼接墙系统及其控制方法和设备

Country Status (1)

Country Link
CN (1) CN115103233B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104052959A (zh) * 2013-03-12 2014-09-17 无锡思朗电子科技有限公司 一种基于网络视频节点的分布式拼接控制显示系统
CN106454154A (zh) * 2016-11-24 2017-02-22 Tcl数码科技(深圳)有限责任公司 一种电视墙拼接方法及系统
CN109640051A (zh) * 2018-12-20 2019-04-16 长沙全度影像科技有限公司 一种大场景的分布式拼接监控系统
CN112073647A (zh) * 2019-06-10 2020-12-11 杭州海康威视数字技术股份有限公司 图像缩放显示方法、图像处理设备及显示系统
CN112243105A (zh) * 2019-07-17 2021-01-19 杭州海康威视数字技术股份有限公司 分布式拼接显示系统、方法、装置及电子设备
CN112561929A (zh) * 2020-12-09 2021-03-26 威创集团股份有限公司 拼接屏裁剪缩放方法、设备及其一种电子设备、存储介质
CN112866784A (zh) * 2020-12-31 2021-05-28 威创集团股份有限公司 一种大屏局部回显控制方法、控制系统、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104052959A (zh) * 2013-03-12 2014-09-17 无锡思朗电子科技有限公司 一种基于网络视频节点的分布式拼接控制显示系统
CN106454154A (zh) * 2016-11-24 2017-02-22 Tcl数码科技(深圳)有限责任公司 一种电视墙拼接方法及系统
CN109640051A (zh) * 2018-12-20 2019-04-16 长沙全度影像科技有限公司 一种大场景的分布式拼接监控系统
CN112073647A (zh) * 2019-06-10 2020-12-11 杭州海康威视数字技术股份有限公司 图像缩放显示方法、图像处理设备及显示系统
CN112243105A (zh) * 2019-07-17 2021-01-19 杭州海康威视数字技术股份有限公司 分布式拼接显示系统、方法、装置及电子设备
CN112561929A (zh) * 2020-12-09 2021-03-26 威创集团股份有限公司 拼接屏裁剪缩放方法、设备及其一种电子设备、存储介质
CN112866784A (zh) * 2020-12-31 2021-05-28 威创集团股份有限公司 一种大屏局部回显控制方法、控制系统、设备及存储介质

Also Published As

Publication number Publication date
CN115103233A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
US10235964B2 (en) Splicing display system and display method thereof
CN110189416B (zh) 检修现场的远程指导方法及系统
CN104583982B (zh) 医疗支援系统及其方法
CA3028863C (en) Projection image construction method and device
US11183105B2 (en) Display panel and device, image processing method and device, and virtual reality system
CN110290285B (zh) 图像处理方法、图像处理装置、图像处理系统及介质
CN115103233B (zh) 显示区域内置图像处理的拼接墙系统及其控制方法和设备
CN107688447B (zh) 图像处理服务器及具有其的超高分辨率显示系统
CN109308862B (zh) 信号控制方法、控制装置、处理装置及信号控制设备
CN104717397A (zh) 一种图像数据处理方法及电子设备
CN104156188A (zh) 一种高帧频红外场景生成与输出系统及方法
US20180324475A1 (en) Transmission device, transmission method, reception device, reception method, and transmission/reception system
CN103577133B (zh) 超高清信息显示系统及其显示方法
CN104125445A (zh) 影像景深调整装置与影像景深调整方法
WO2017059906A1 (en) System and method for locational definition of an image display device in a video wall display system
CN102819410A (zh) 一种可实现双屏幕显示功能的显示器
CN108243293B (zh) 一种基于虚拟现实设备的图像显示方法及系统
JP2022113550A5 (zh)
CN112083907A (zh) 一种大数据可视化拼接显示系统
CN115623339B (zh) 用于多摄像头的图像数据交换方法、装置、系统和汽车
CN110825480A (zh) 图片的展示方法、装置、电子设备及计算机可读存储介质
CN115862506B (zh) 点屏方法、图像信号处理装置和存储介质
CN113691866B (zh) 视频处理方法、装置、电子设备和介质
WO2024111783A1 (en) Mesh transformation with efficient depth reconstruction and filtering in passthrough augmented reality (ar) systems
CN203596165U (zh) Lcd大屏幕中拼接电路模块

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant