CN113946301B - 拼接显示系统及其图像处理方法 - Google Patents

拼接显示系统及其图像处理方法 Download PDF

Info

Publication number
CN113946301B
CN113946301B CN202010688186.XA CN202010688186A CN113946301B CN 113946301 B CN113946301 B CN 113946301B CN 202010688186 A CN202010688186 A CN 202010688186A CN 113946301 B CN113946301 B CN 113946301B
Authority
CN
China
Prior art keywords
sub
image
pixel data
display
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010688186.XA
Other languages
English (en)
Other versions
CN113946301A (zh
Inventor
曹东波
冯峰
黄华
姜幸群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010688186.XA priority Critical patent/CN113946301B/zh
Priority to US17/376,667 priority patent/US11755271B2/en
Publication of CN113946301A publication Critical patent/CN113946301A/zh
Application granted granted Critical
Publication of CN113946301B publication Critical patent/CN113946301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开提供一种拼接显示系统及其图像处理方法,涉及图像处理技术领域,能够降低初始图像的分割难度。图像处理方法包括:控制装置获取至少一帧初始图像。控制装置根据一帧初始图像的分辨率和Q个所述显示器的排列方式,将每帧初始图像分割成Q个第一子图像。控制装置将每帧初始图像分割得到的Q个第一子图像分别输出至Q个显示器。每个显示器根据自身的物理分辨率,对获取到的第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像,第二子图像的分辨率等于显示器的物理分辨率。显示器显示第二子图像。

Description

拼接显示系统及其图像处理方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种拼接显示系统及其图像处理方法。
背景技术
拼接显示系统中的每个显示器既可以单独作为一个显示器进行显示,也可以和拼接显示系统中的其它显示器拼接形成一个超大屏幕进行显示。根据不同的使用需求,拼接显示系统可以实现百变大屏功能、单屏分割显示、单屏单独显示、任意组合显示、全屏拼接显示、竖屏显示和跨屏显示等显示功能,从而可以实现各种显示预案。
发明内容
本发明的实施例提供一种拼接显示系统及其图像处理方法,能够降低对初始图像的分割难度。
为达到上述目的,本发明的实施例采用如下技术方案:
一方面,提供一种拼接显示系统的图像处理方法,其特征在于,所述拼接显示系统包括控制装置和Q个显示器,Q≥2。
所述图像处理方法包括:
所述控制装置获取至少一帧初始图像。
所述控制装置根据一帧所述初始图像的分辨率和Q个所述显示器的排列方式,将每帧所述初始图像分割成Q个第一子图像。
所述控制装置将每帧所述初始图像分割得到的Q个所述第一子图像分别输出至Q个所述显示器。
每个所述显示器根据自身的物理分辨率,对获取到的所述第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像,所述第二子图像的分辨率等于所述显示器的物理分辨率。
所述显示器显示所述第二子图像。
可选的,所述控制装置获取至少一帧所述初始图像包括:
将视频文件进行解封装和解码,以读取所述视频文件中的多帧初始图像。
可选的,所述图像处理方法还包括:
所述控制装置将待输出至每个所述显示器的各个所述第一子图像进行编码和封装,以得到Q个子视频文件。
所述控制装置将每帧所述初始图像分割得到的Q个所述第一子图像分别输出至Q个所述显示器包括:将所述Q个子视频文件分别输出至Q个所述显示器。
可选的,在每个所述显示器根据自身的物理分辨率,对获取到的第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像之前,所述图像处理方法还包括:
所述显示器将接收到的所述子视频文件进行解封装和解码,以读取所述子视频文件中的多个第一子图像。
可选的,所述图像处理方法还包括:所述显示器将一个待显示的第一子图像存储在帧缓冲存储器中,以使得所述显示器根据自身的物理分辨率,对经缓存后的所述待显示的第一子图像进行转换。
可选的,所述显示器根据自身的物理分辨率,对获取到的第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像包括:所述显示器根据自身的物理分辨率,对获取到的第一子图像的分辨率进行转换,以得到第二子图像。
或者,可选的,所述显示器根据自身的物理分辨率,对获取到的第一子图像的分辨率进行转换,以得到第二子图像包括:所述显示器提取所述第一子图像中位于有效区域的部分,并根据自身的物理分辨率对所述位于有效区域的部分的分辨率进行转换,以得到第二子图像。
可选的,每个所述显示器根据自身的物理分辨率,对获取到的第一子图像中的至少一部分图像的分辨率进行转换,包括:每个所述显示器根据自身的物理分辨率,通过抽值法或者插值法对获取到的所述第一子图像中的至少一部分图像的分辨率进行转换。
可选的,所述第一子图像的分辨率为M×N,所述显示器的物理分辨率为M0×N0;其中,M≥M0且N≥N0
每个所述显示器根据自身的物理分辨率,对获取到的所述第一子图像中的至少一部分图像的分辨率进行转换,以得到所述第二子图像,包括:
计算和/>并对R1和R2进行取整,得到R1′和R2′。
根据M0×N0个像素组中的第一像素数据得到M0×N0个第二像素数据,以得到所述第二子图像;每个所述像素组中包括R1′×R2′个所述第一像素数据,M0×N0个所述像素组构成M′×N′个所述第一像素数据,其中,M′=M0×R1′,N′=N0×R2′;在R1′=R1,R2′=R2的情况下,M′×N′个所述第一像素数据为所述第一子图像包含的所有像素数据;在R1′≠R1和/或R2′≠R2的情况下,M′×N′个所述第一像素数据为所述第一子图像经图像处理后得到的像素数据。
可选的,所述第一子图像的分辨率为M×N,所述显示器的物理分辨率为M0×N0;其中,M<M0且N<N0
将所述第一子图像中的M行第一像素数据扩充为M0行第二像素数据。
将所述第一子图像中的N列第一像素数据扩充为N0列第二像素数据。
可选的,根据M0×N0个所述像素组中的所述第一像素数据得到M0×N0个所述第二像素数据,以得到所述第二子图像,包括:
任取每个所述像素组中的一个所述第一像素数据以作为与该像素组所对应的所述第二像素数据,以得到所述第二子图像。
或者,可选的,计算每个所述像素组中的所有所述第一像素数据的加权平均值,以该加权平均值作为与该像素组所对应的所述第二像素数据,以得到所述第二子图像。
可选的,将所述第一子图像中的M行所述第一像素数据扩充为M0行所述第二像素数据,包括:
计算取整后得到D1′。
在D1=D1′的情况下,在每列中的每个所述第一像素数据之前或者之后插入D1′-1个新增的第一像素数据,以该每个所述第一像素数据作为根据其所新增的第一像素数据,和/或,以相邻的两个所述第一像素数据的加权平均值作为位于该相邻的两个所述第一像素数据之间的新增的第一像素数据;以一个所述第一像素数据对应一个所述第二像素数据,一个新增的第一像素数据对应一个所述第二像素数据,以得到M0行所述第二像素数据。
在D1≠D1′且D1向上取整得到D1′的情况下,在每列中的a1个所述第一像素数据中的每个所述第一像素数据之前或者之后插入D1′-1个新增的第一像素数据,以该每个所述第一像素数据作为根据其所新增的第一像素数据,和/或,以a1个第一像素数据中相邻的两个所述第一像素数据的加权平均值作为位于该相邻的两个所述第一像素数据之间的新增的第一像素数据,其中a1=(M0-M)/(D1′-1);以一个所述第一像素数据对应一个所述第二像素数据,一个新增的第一像素数据对应一个所述第二像素数据,以得到M0行所述第二像素数据。
在D1≠D1′且D1向下取整得到D1′的情况下,在每列所述第一像素数据中第一个所述第一像素数据之前或者最后一个所述第一像素数据之后插入M0-M×D1′个虚拟像素数据,所述虚拟像素数据与其靠近的一个所述第一像素数据相同或者为0;在每列中的每个所述第一像素数据之前或者之后插入D1′-1个新增的第一像素数据,以该每个所述第一像素数据作为根据其所新增的第一像素数据,和/或,以相邻的两个所述第一像素数据的加权平均值作为位于该相邻的两个所述第一像素数据之间的新增的第一像素数据;以一个所述第一像素数据对应一个所述第二像素数据,一个所述虚拟像素数据对应一个所述第二像素数据,一个新增的第一像素数据对应一个所述第二像素数据,以得到M0行所述第二像素数据。
将所述第一子图像中的N列第一像素数据扩充为N0列第二像素数据,包括:
计算取整后得到D2′。
在D2=D2′的情况下,在每行中的每个所述第一像素数据之前或者之后插入D2′-1个新增的第一像素数据,以该每个所述第一像素数据作为根据其所新增的第一像素数据,和/或,以相邻的两个所述第一像素数据的加权平均值作为位于该相邻的两个所述第一像素数据之间的新增的第一像素数据;以一个所述第一像素数据对应一个所述第二像素数据,一个新增的第一像素数据对应一个所述第二像素数据,以得到N0列所述第二像素数据。
在D2≠D2′且D2向上取整得到D2′的情况下,在每行中的a2个所述第一像素数据中的每个所述第一像素数据之前或者之后插入D2′-1个新增的第一像素数据,以该每个所述第一像素数据作为根据其所新增的第一像素数据,和/或,以a2个第一像素数据中相邻的两个所述第一像素数据的加权平均值作为位于该相邻的两个所述第一像素数据之间的新增的第一像素数据,其中a2=(N0-N)/(D2′-1);以一个所述第一像素数据对应一个所述第二像素数据,一个新增的第一像素数据对应一个所述第二像素数据,以得到N0列所述第二像素数据。
在D2≠D2′且D2向下取整得到D2′的情况下,在每行所述第一像素数据中的第一个所述第一像素数据之前或者最后一个所述第一像素数据之后插入N0-N×D2′个虚拟像素数据,所述虚拟像素数据与其靠近的一个所述第一像素数据相同或者为0;在每行中的每个所述第一像素数据之前或者之后插入D2′-1个新增的第一像素数据,以该每个所述第一像素数据作为根据其所新增的第一像素数据,和/或,以相邻的两个所述第一像素数据的加权平均值作为位于该相邻的两个所述第一像素数据之间的新增的第一像素数据;以一个所述第一像素数据对应一个所述第二像素数据,一个所述虚拟像素数据对应一个所述第二像素数据,一个新增的第一像素数据对应一个第二像素数据,以得到N0列所述第二像素数据。
本公开的实施例还提供一种拼接显示系统,包括:
控制装置,被配置为获取至少一帧初始图像;以及根据一帧所述初始图像的分辨率和Q个显示器的排列方式,将每帧所述初始图像分割成Q个第一子图像,并将每帧所述初始图像分割得到的Q个所述第一子图像分别输出至Q个所述显示器。
Q个显示器,Q≥2;每个显示器被配置根据自身的物理分辨率,对获取到的所述第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像,并显示所述第二子图像;其中所述第二子图像的分辨率等于所述显示器的物理分辨率。
本公开的实施例还提供一种计算机存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序运行时,执行如上所述的控制装置的图像处理方法。
本公开的实施例提供一种拼接显示系统及其图像处理方法。其中的控制装置在分割初始图像时,仅根据初始图像的分辨率、显示器的数量和排列方式对初始图像进行分割,从而获得多个第一子图像,然后将多个第一子图像输出至与每个第一子图像所对应的显示器中。从而,在本公开的实施例中,控制装置在分割初始图像时,由于不需要根据显示器的物理分辨率对初始图像进行分割,因此,可以降低控制装置在分割初始图像时的难度,以及降低对控制装置中第一处理器的性能要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的一种拼接显示系统的结构示意图;
图1b为本发明实施例提供的一种显示器的结构示意图;
图2为本发明实施例提供的一种拼接显示系统的图像处理方法的流程示意图;
图3为相关技术提供的一种显示器的显示过程的流程示意图;
图4为本发明实施例提供的另一种拼接显示系统的图像处理方法的流程示意图;
图5为本发明实施例提供的又一种拼接显示系统的图像处理方法的流程示意图;
图6a为本发明实施例提供的又一种拼接显示系统的图像处理方法的流程示意图;
图6b为本发明实施例提供的一种显示器的显示过程的流程示意图;
图7a为本发明实施例提供的一种第一子图像的示意图;
图7b为本发明实施例提供的另一种第一子图像的示意图;
图7c为本发明实施例提供的又一种第一子图像的示意图;
图8a为本发明实施例提供的一种第二子图像的示意图;
图8b为本发明实施例提供的另一种第二子图像的示意图;
图9a为本发明实施例提供的另一种第一子图像的示意图;
图9b为本发明实施例提供的又一种第二子图像的示意图;
图9c为本发明实施例提供的又一种第二子图像的示意图;
图9d为本发明实施例提供的又一种第一子图像的示意图;
图9e为本发明实施例提供的又一种第二子图像的示意图;
图9f为本发明实施例提供的又一种第一子图像的示意图;
图9g为本发明实施例提供的又一种第二子图像的示意图;
图10a为本发明实施例提供的一种控制装置的结构示意图;
图10b为本发明实施例提供的另一种控制装置的结构示意图;
图10c为本发明实施例提供的又一种控制装置的结构示意图;
图11为本发明实施例提供的另一种显示器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图像处理技术是一种利用数字处理技术对图像施加某种运算和处理,以提取图像中的各种信息,从而达到某种特定目的的技术。而在显示技术领域,显示器中的处理器承担着对图像进行处理的任务。
参考图1a所示,本公开的实施例提供一种拼接显示系统1,该拼接显示系统1包括控制装置和Q个显示器10,Q≥2且为整数。其中,控制装置被配置为控制Q个显示器10进行显示,以及与Q个显示器10之间进行通信。控制装置与显示器10之间可以通过有线通信方式或无线通信方式相连接。
控制装置例如包括:第一处理器、第一存储器和第一通信器件。
第一处理器可以是一个或多个通用中央处理器(central processing unit,CPU)、微处理器、特定应用集成电路(application-specific integrated circuit,ASIC)或者用于控制本公开一些实施例的程序执行的集成电路;其中,CPU可以是单核处理器(single-CPU),也可以是多核处理器(multi-CPU)。这里的一个处理器可以指一个或多个设备、电路或用于处理数据(例如计算机程序指令)的处理核。
第一存储器可存储计算机程序和数据,其可以包括高速随机存取存储器,还可以包括非易失存储器,例如磁盘存储器件、闪存器件或其他易失性固态存储器件等。
第一通信器件为与外部设备(例如Q个显示器10)进行信息交互的器件,与一个或多个(至少两个)处理器相连,以在处理器的控制下向外部设备发送数据或命令;或者,接收外部设备发送的数据或命令。第一通信器件可以是收发器、收发电路、发送器、接收器等;例如可以是Wi-Fi(Wireless-Fidelity,无线网)装置、蓝牙装置、3G(The 3 Generationmobile communication technology,第三代移动通信技术)通信器件、4G(The 4Generation mobile communication technology,第四代移动通信技术)通信器件、5G(The5 Generation mobile communication technology,第五代移动通信技术)通信器件和Lora(基于扩频技术的超远距离无线传输)通信模块等无线通信器件,也可以是通用串行总线(USB)接口等有线通信器件。其中,Wi-Fi装置为拼接显示系统1提供遵循Wi-Fi相关标准协议的网络接入。蓝牙装置可以是集成电路或者蓝牙芯片等。
显示器10例如为LED(Light-Emitting Diode,发光二极管)显示器,LCD(LiquidCrystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)和QLED(Quantum Dot Light Emitting Diodes,量子点发光二极管)显示器等。
显示器10例如包括第二处理器、第二存储器、第二通信器件和帧缓冲存储器(Frame Buffer,帧缓存)。其中,对第二处理器、第二存储器和第二通信器件的解释可以参照上述对第一处理器、第一存储器和第一通信器件的解释,因此不再赘述。帧缓冲存储器是显示器所显示画面的一个直接映象,又称为位映射图(Bit Map)或光栅。帧缓存的每一存储单元对应显示器中的一个像素,整个帧缓存对应一帧图像。
可选的,参考图1b所示,显示器10例如为LED显示器,LED显示器包括多个像素100,每个像素100至少包括第一颜色亚像素P1、第二颜色亚像素P2和第三颜色亚像素P3,其中第一颜色、第二颜色和第三颜色例如为三基色,三基色又例如为红、绿、蓝。
示例的,LED显示器包括多个呈阵列分布的LED,每个LED对应一个亚像素。
在一些实施例中,多个LED的发光颜色至少包括三种,且多个LED的发光颜色与对应的亚像素的发光颜色相同,即第一颜色的LED与第一颜色的亚像素相对应,第二颜色的LED与第二颜色的亚像素相对应,第三颜色的LED与第三颜色的亚像素相对应。
在另一些实施例中,多个LED的发光颜色相同,即,从LED出射的光线为单一颜色的光线,例如均为白光,或者均为蓝光。在该种结构中,显示器10中包括滤光层,滤光层用于将单一颜色的光线转换为三基色的光线。
在此基础上,参考图2所示,拼接显示系统1的图像处理方法包括:
S1、控制装置获取至少一帧初始图像。
初始图像即为Q个显示器10需要同时进行显示的图像,其中,Q个显示器10所显示的图像共同构成了该初始图像或大致构成了该初始图像。
初始图像例如存储在存储器中,该存储器可以是拼接显示系统1中的第一存储器,也可以是与拼接显示系统1通过接口连接的外部存储器,例如U盘(USB flash disk,USB闪存盘)。
S2、控制装置根据一帧初始图像的分辨率和Q个显示器10的排列方式,将每帧初始图像分割成Q个第一子图像。
Q个显示器10的排列方式例如为s×t,其中,s为行数,t为列数,s和t均为正整数,且s×t=Q。则初始图像需要被分割为s×t个第一子图像,其中每个第一子图像的分辨率与初始图像的分辨率有关,s×t个第一子图像的分辨率可以相同,也可以不同。
在s×t个第一子图像的分辨率相同的情况下,示例的,初始图像的分辨率例如为M00×N00,则每个第一子图像的分辨率例如可以表示为
在此基础上,示例的,当初始图像的分辨率为640×480,Q=2×4时,则初始图像需要被分割为2×4个第一子图像,则每个第一子图像的分辨率例如为320×120。
在Q个第一子图像的分辨率不同的情况下,控制装置例如在将每帧初始图像分割为Q个第一子图像时,将一些第一子图像的分辨率分配的较大,另一些第一子图像的分辨率分配的较小。
上述控制装置在对初始图像进行分割时,仅与初始图像的分辨率和Q个显示器10的排列方式有关。
S3、控制装置将每帧初始图像分割得到的Q个第一子图像分别输出至Q个显示器10。
在一些实施例中,控制装置在将第一子图像输出至显示器10的过程中,例如可以先存储第一子图像,再将第一子图像输出至显示器10中。控制装置例如按照显示器10的排列方式将第一子图像按顺序存储在存储器中。控制装置存储第一子图像时,首先可以避免因显示器10异常未接收到第一子图像导致的第一子图像丢失的问题;其次,当控制装置在将多个初始图像分割后,可以将与每个显示器10所对应的多个第一子图像存储在一起,然后再将该多个第一子图像同时发送给对应的一个显示器10,以减少控制装置与显示器10之间的通信次数,降低因通信的不稳定性对数据传输效率的影响,从而保证控制装置与显示器10之间的通信质量。
在另一些实施例中,控制装置也可以不经过存储第一子图像的过程,直接将第一子图像传输至显示器10中,即,控制装置一边分割初始图像,一边向显示器10输出第一子图像;从而使得控制装置节省了存储第一子图像的时间,以此实现控制装置与显示器10之间的实时通信,提高数据的传输速率。
基于上述,无论控制装置是一边分割初始图像,一边向显示器10输出第一子图像,还是将所有的初始图像分割完毕,并将与同一个显示器10对应的第一子图像按顺序存储在一起,最后再一次性将与同一个显示器10对应的所有第一子图像传输至显示器10中,均能够实现向显示器10传输数据,且传输过程均较为简单。
S4、每个显示器10根据自身的物理分辨率,对获取到的第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像,第二子图像的分辨率等于显示器的物理分辨率。
由于控制装置在分割初始图像时,仅根据Q个显示器10的数量和排列方式进行了分割,从而获得的多个第一子图像的分辨率可能是相同,也可能是不同的,但无论多个第一子图像的分辨率是相同的还是不同的,其与显示器10的物理分辨率之间并无对应关系,也就是说,每个显示器10所接收到的第一子图像的分辨率与其物理分辨率并不一定是相等的。
基于上述,可以理解的是,同一个显示器10接收到的多个第一子图像的分辨率是相同的且与显示器的物理分辨率可能相等,也可能不等;而不同的显示器10接收到的第一子图像的分辨率可能相同,也可能不同。
由于显示器10接收到的第一子图像的分辨率与其自身的物理分辨率并不一定相同,而显示器10无法显示与其物理分辨率不同的第一子图像,所以显示器10需要先对第一子图像的分辨率进行转换,以得到与显示器10的物理分辨率相同的第二子图像。
当第一子图像的分辨率与显示器10的物理分辨率相同时,可以直接将第一子图像作为第二子图像,该过程也可以看做是以1:1的形式将第一子图像转换为第二子图像;其中,1:1可以理解为,将第一子图像中的一个像素作为第二子图像中的一个像素。
当第一子图像的分辨率与显示器10的物理分辨率不同时,显示器10在转换该第一子图像的分辨率时,例如可以以一定的比例放大或者缩小第一子图像的分辨率。
S5、显示器10显示第二子图像。
由于第二子图像的分辨率与显示器10的物理分辨率相等,从而显示器10可以直接显示第二子图像。
由于控制装置在分割初始图像时,不是根据显示器10的物理分辨率去分割的,因此,显示器10需要先对第一子图像的分辨率进行转换,以获得与显示器10的物理分辨率相同的第二子图像,从而才能正常显示。当显示器具有转换图像分辨率的功能时,可以接收多种多样不同分辨率的图像,从而可以提高显示器的通用性和适用性。
在每个第一子图像在被输出至与其对应的显示器10中后,由于显示器10在显示时,需要根据其自身的物理分辨率和第一子图像的分辨率对第一子图像的分辨率进行处理,从而以使得处理后的第一子图像的分辨率等于显示器10的物理分辨率,以使得处理后的第一子图像可以正常显示在显示器10中,也就是说,在第一子图像的分辨率与显示器10的分辨率不同的情况下,显示器10必须具备能够转换第一子图像的分辨率的功能,才能正常显示第一子图像,最终使得Q个显示器10所显示的处理后的第一子图像可以拼接成初始图像或者大致拼接成初始图像。其中,Q个显示器10的物理分辨率可以相同,也可以不同。
在相关技术中,拼接显示系统在将初始图像显示在多个显示器上时,需要根据初始图像的分辨率、多个显示器的数量、排列方式以及每个显示器的物理分辨率对初始图像进行分割,以获得子图像;尤其在所有显示器的物理分辨率不完全相同时,在分割初始图像时,由于该多个显示器并不具有转换子图像分辨率的功能,从而需要在分割初始图像时便根据每个显示器的物理分辨率分割得到分辨率与该显示器的物理分辨率大小相同的子图像。这样,当每个显示器接收到子图像后,由于子图像的分辨率与显示器的分辨率相同,所以显示器可以直接进行显示。而当每个显示器的物理分辨率相同时,在分割初始图像时,得到的子图像的分辨率与显示器的物理分辨率也是相同的,也会直接进行显示,并不会对子图像的分辨率进行处理。所以,在相关技术中,在分割初始图像时,需要根据显示器的数量、排列方式和物理分辨率对初始图像进行分割,且显示器并不具有转换子图像的分辨率的功能,从而导致初始图像的分割过程较为复杂。
示例的,参考图3所示,相关技术中的显示器在显示视频文件时,其显示过程如下:
S31′、注册解码器。
注册可用于解码视频文件的解码器,视频文件例如包括视频流和音频数据;其中,视频流包括了多帧图像的数据。
S32′、打开封装格式。
打开视频文件,视频文件的封装格式例如为mp4(MPEG-4 Part14)、mov(QuickTime)、wmv(Windows Media Video)等格式,不同的封装格式对应不同的解码器。
S33′、查找视频流。
在视频文件中查找视频流。
S34′、解封装。
对视频流解封装,即打开视频流的封装格式。
S35′、解复用。
对视频流中的数据进行解复用。
S36′、查找解码器。
查找与视频流中的数据相对应的解码器。
S37′、打开解码器。
打开视频流中的数据。
S38′、读取一帧图像的数据。
从视频流中的数据中读取出一帧图像的数据。
当相关技术中的显示器被应用在拼接显示系统中时,其打开的视频流中所包括的每帧图像的数据为子图像的数据,其中子图像由初始图像分割获得。
S39′、判断读取的数据是否是视频流。
由于视频文件中也包括音频数据,因此需要确认S38′中所读取的数据是否真的是视频流,而不是将音频数据误读取了。
S310′、若不是视频流,则停止。
若不是视频流的数据,则可能是将视频文件中的音频数据误读取,因此将无法进行显示,需要停止。
S311′、若是视频流,则包装一帧图像的数据。
若是视频流,则说明数据读取正确,从而将该一帧图像的数据以一个数据包的形式存储在存储器中。
S312′、处理一帧图像的数据。
基于一帧图像的数据包对该数据包继续进行处理,例如为复制。
S313′、存储一帧图像的数据。
显示器例如将处理后的一帧图像的数据存储在帧缓存中。
S314′、显示。
显示器根据存储在用于进行显示的存储器中的一帧图像的数据,进行画面显示。在多个显示器应用于拼接显示系统中时,每个显示器所显示的图像为初始图像的一部分,所有的显示器所显示的图像共同构成了或者大致构成了初始图像。
从上述过程中可以看出,相关技术中的显示器是直接从存储器中读取一帧图像(例如子图像)的数据进行画面显示的,其中对一帧图像的所有处理中并不包括对分辨率的转换。因此,相关技术中的显示器不具有对子图像的分辨率进行转换的功能,只能显示与其自身的物理分辨率相同的图像。
而在本公开的实施例中,一方面,拼接显示系统1中的控制装置在分割初始图像时,仅根据初始图像的分辨率、显示器10的数量和排列方式对初始图像进行分割,从而获得多个第一子图像,然后将多个第一子图像输出至与每个第一子图像所对应的显示器中。从而,在本公开的实施例中,控制装置在分割初始图像时,由于不需要根据显示器10的物理分辨率对初始图像进行分割,因此,可以降低控制装置在分割初始图像时的难度,以及降低对控制装置中第一处理器的性能要求。另一方面,拼接显示系统1中的显示器10具有能够转换第一子图像中的至少一部分图像的分辨率的功能,图像处理功能更强大,从而可以保证第二子图像的正常显示。
可选的,参考图4所示,控制装置获取至少一帧初始图像包括:
S10、控制装置将视频文件进行解封装和解码,以读取视频文件中的多帧初始图像。
控制装置需要依次读取视频文件中所包括的多帧初始图像,从而为后续显示视频做准备。
可选的,参考图5所示,拼接显示系统1的图像处理方法还包括:
S21、控制装置存储每帧初始图像分割得到的Q个第一子图像。
示例的,控制装置将分割每帧初始图像所得到的Q个第一子图像按顺序存储在第一存储器中;其中,分割一帧初始图像所得到的Q个第一子图像按照与Q个显示器10一一对应的顺序存储,与同一个显示器10所对应的多个第一子图像,则按照多帧图像的分割顺序进行存储。
当控制装置在显示视频时,视频文件中所包括的多帧图像中的每帧图像均需要作为一个初始图像而被分割,分割后得到的所有第一子图像被控制装置所存储,所有的第一子图像中与同一个显示器10所对应的多个第一子图像被按顺序存储在一起,该存储的顺序与视频文件中多帧图像的顺序相同或相对应,与同一个显示器10对应的多个第一子图像经过处理后可以组成一个子视频文件,一个子视频文件与一个显示器10相对应。
S22、控制装置将待输出至每个显示器10的各个第一子图像进行编码和封装,以得到Q个子视频文件。
示例的,与同一显示器10对应的多个第一子图像在通过编码和封装后,可以形成一个子视频文件,该子视频文件的格式例如为mp4、mov、wmv等格式中的任一种。
将每帧初始图像分割得到的Q个第一子图像分别输出至Q个显示器10包括:
S30、将Q个子视频文件分别输出至Q个显示器10。
每个子视频文件包括多个第一子图像,每个显示器10在接收到子视频文件后,经过对该子视频文件的处理,可以提取出子视频文件中所包括的多个第一子图像。
控制装置在分割初始图像时,在将视频文件中所包括的多个初始图像进行分割的过程中,将与同一个显示器10所对应的多个第一子图像存储在一起,并对与同一个显示器10所对应的多个第一子图像进行编码和封装,以得到子视频文件;该过程可以理解为,控制装置将一个视频文件分割为多个子视频文件,一个子视频文件与一个显示器相对应。控制装置以子视频文件的形式向显示器10发送数据,数据传输的过程较为简单,对控制装置的硬件性能要求较低,该硬件例如为第一处理器。
可选的,参考图6a所示,在每个显示器10根据自身的物理分辨率,对获取到的第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像之前,拼接显示系统1的图像处理方法还包括:
S101、显示器10将接收到的子视频文件进行解封装和解码,以读取子视频文件中的多个第一子图像。
由于子视频文件的封装格式为mp4、mov和wmv等,在读取子视频文件中存储的多个第一子图像之前,需要对子视频文件进行解封装和解码;其中,解封装和解码为编码和封装的逆过程。多个第一子图像以子视频文件的形成传输至对应的显示器10中时,可以减少第一子图像发送至与其不对应的显示器10的概率。
可选的,显示器10将一个待显示的第一子图像存储在帧缓冲存储器中,以使得显示器10根据自身的物理分辨率,对经缓存后的待显示的第一子图像进行转换。
帧缓存可以在第二存储器的任意位置,第二处理器通过访问帧缓存来刷新显示器10的显示画面,全部的第一子图像都共享第二存储器中的同一个帧缓存。第二处理器首先从帧缓存中读取待显示的第一子图像,然后再对第一子图像的分辨率进行转换,从而以得到第二子图像。
基于上述,参考图6b,显示器10在接收到子视频文件后,通过子视频文件进行显示的过程例如包括以下:
S1001、注册解码器。
解码器的类型与子视频文件的格式相关,例如mp4和mov格式所对应的解码器不同。
S1002、打开封装格式。
通过解码器打开子视频文件的封装格式,子视频文件例如包括视频流和音频文件。
S1003、查找视频流。
在子视频文件中查找视频流。
结合图6a和图6b,在显示器10执行S101之前,显示器10还可以执行S1001~S1003以获得子视频文件中的视频流。
S1010、解封装。
对视频流进行解封装。
S1011、解复用。
对视频流进行解复用。
S1012、查找解码器。
查找与视频流中的数据格式相对应的解码器,视频流中的数据格式例如为YUV(一种颜色编码方式)或RGB(RGB color mode,RGB色彩模式)格式中的任一种。
S1013、打开解码器。
打开视频流所对应的解码器。
S1014、读取一个第一子图像。
从视频流中读取一个第一子图像的数据。
S1015、判断是否是视频流。
判断读取到的一个第一子图像的数据是否是视频流,若不是,则执行S1016,若是,则执行S1017。
S1016、停止。
由于读取到的数据并不是第一子图像的数据,因此后续无法进行显示,直接停止即可。
S1017、包装第一子图像。
若是视频流,则说明数据读取正确,从而将该第一子图像的数据以一个数据包的形式存储。
S1018、处理第一子图像。
基于第一子图像的数据包对该数据包继续进行处理,例如复制。
S1019、存储第一子图像101。
显示器10例如将处理后的第一子图像存储在帧缓存中。
在上述利用子视频文件进行显示的过程中,图6b中的S1010~S1019可以理解为对图6a中S101的进一步解释。
S200、对第一子图像的分辨率进行转换,以获得第二子图像。
显示器10从帧缓存中读取数据,然后根据显示器10的物理分辨率对第一子图像的分辨率进行转换,以获得第二子图像,其中,第二子图像的分辨率等于显示器10的物理分辨率。
S300、显示第二子图像。
显示器10显示第二子图像。
上述显示器10的显示过程较为简单,相对于相关技术中增加了对第一子图像分辨率进行转换的步骤,从而使得显示器10在接收到与其物理分辨率不同的第一子图像时,也可以正常显示。
可选的,显示器10根据自身的物理分辨率,对获取到的第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像,包括:显示器10根据自身的物理分辨率,对获取到的第一子图像的分辨率进行转换,以得到第二子图像。
显示器10直接对第一子图像的分辨率进行转换,以得到第二子图像,即显示器10直接对全部的第一子图像进行转换,转换的过程较为简单。
或者,可选的,显示器10根据自身的物理分辨率,对获取到的第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像,包括:显示器10提取第一子图像中位于有效区域的部分,并根据自身的物理分辨率对位于有效区域的部分的分辨率进行转换,以得到第二子图像。该过程可以理解为显示器10仅对第一子图像的有效区域进行转换,即显示器10转换了第一子图像的部分。由于对于观众而言,往往只对一幅图像中的某个区域感兴趣,因此将第一子图像的有效区域例如设置为观众感兴趣的区域,不同观众对同一幅图像感兴趣的区域可能不同,因此第一子图像的有效区域是可以变化的,可根据观众的兴趣进行选择。在对第一子图像的有效区域的分辨率进行转换时,由于有效区域的部分的分辨率小于第一子图像整体的分辨率,则在进行分辨率转换时,每个显示器10所处理的数据量较少,转换第一子图像的分辨率获得第二子图像的速度更快。尤其在第一子图像的分辨率大于显示器10的物理分辨率的情况下,当显示器10显示分辨率较小的第一子图像中的有效区域时,其显示效果相对于显示器10显示分辨率大于其物理分辨率的图像时的显示效果更好。
显示器10提取第一子图像中位于有效区域的部分时,例如可以通过机器学习的方式获取。机器学习算法例如通过对第一子图像中的特征进行提取,然后对所提取的特征进行初级检测和匹配,从而以确定第一子图像的有效区域。
可选的,每个显示器10根据自身的物理分辨率,对获取到的第一子图像中的至少一部分图像的分辨率进行转换,包括:每个显示器10根据自身的物理分辨率,通过抽值法或者插值法对获取到的第一子图像中的至少一部分图像的分辨率进行转换。
下面对显示器10通过抽值法和插值法对获取到的第一子图像中的至少一部分图像的分辨率进行转换的过程做如下阐述。
第一子图像的分辨率为M×N,显示器10的物理分辨率为M0×N0;其中,M≥M0且N≥N0
每个显示器10根据自身的物理分辨率,对获取到的第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像,包括:
S2001、计算和/>并对R1和R2进行取整,得到R1′和R2′。
其中,对R1和R2进行取整,既可以向上取整,也可以向下取整,向上取整还是向下取整时例如可以根据四舍五入的规律进行选择。
若R1和R2均为整数,则R1=R1′;R2=R2′。
S2002、根据M0×N0个像素组中的第一像素数据得到M0×N0个第二像素数据,以得到第二子图像。每个像素组中包括R1′×R2′个第一像素数据,M0×N0个像素组构成M′×N′个第一像素数据,其中,M′=M0×R1′,N′=N0×R2′。在R1′=R1,R2′=R2的情况下,M′×N′个第一像素数据为第一子图像包含的所有像素数据;在R1′≠R1和/或R2′≠R2的情况下,M′×N′个第一像素数据为第一子图像经图像处理后得到的像素数据。
第一子图像中的每个像素为第一像素,每个第一像素所对应的像素数据为第一像素数据,第二子图像中的每个像素为第二像素,每个第二像素所对应的像素数据为第二像素数据。第一像素数据和第二像素数据例如既包括像素所显示的颜色信息,也包括像素的位置。
在R1′=R1,R2′=R2的情况下,M′×N′个第一像素数据为第一子图像所包含的所有像素数据,即包括第一子图像中所有的第一像素数据,此时不需要对第一子图像进行处理,便可直接将其划分为M0×N0个像素组,一个像素组与第二子图像中的一个第二像素的位置相对应,根据一个像素组中的R1′×R2′个第一像素数据可得到一个第二像素数据。
示例的,参考图7a所示,第一子图像101的分辨率为16×16,显示器10的物理分辨率为8×8(即M0=8,N0=8),则R1=16/8=2,R2=16/8=2,R1和R2均为整数;此时,2×2个第一像素1011组成一个像素组1000,从而第一子图像101共包括8×8个像素组1000,且同一个第一像素1011仅位于一个像素组1000中。由于R1和R2均为整数,因此M′=8×2=16,N′=8×2=16。
在R1′≠R1和/或R2′≠R2的情况下,M′×N′个第一像素数据为第一子图像101经图像处理后得到的像素数据,此时需要对第一子图像101进行处理,例如增加一些虚拟像素103以作为第一像素1011或者直接减少一些第一像素1011,以使得第一子图像101可以被划分为M0×N0个像素组1000,且每个像素中包括R1′×R2′个第一像素数据,一个像素组1000与第二子图像102中的一个第二像素的位置相对应,根据一个像素组1000中的R1′×R2′个第一像素数据可得到一个第二像素数据。
示例的,参考图7b所示,第一子图像101的分辨率为14×14,显示器10的物理分辨率为8×8(即M0=8,N0=8);则R1=1.75,R2=1.75,向上取整后R1′=2,R2′=2,由于是向上取整,因此需要在第一子图像101中增加一些虚拟像素103以作为第一像素1011,以使得第一子图像101可以被划分为8×8个像素组1000。示例的,在第一子图像101中,沿第一像素1011的行方向,在每一行第一像素1011之后增加2个虚拟像素103,以使得每一行第一像素1011的数量增加至16个;沿第一像素1011的列方向,在每一列第一像素1011之后增加2个虚拟像素103,以使得每一列第一像素1011的数量增加至16个。虚拟像素103的显示颜色例如为黑色,或者与其最靠近的一个第一像素1011的显示颜色相同。在图7b中,以虚拟像素103的显示颜色为黑色为例进行示意。在增加虚拟像素103后,在第一子图像101中,M′=8×2=16,N′=8×2=16,此时2×2个第一像素1011组成一个像素组1000,从而第一子图像101共包括8×8个像素组1000,且同一个第一像素1011仅位于一个像素组1000中。
又示例的,参考图7c,第一子图像101的分辨率为10×10,显示器10的物理分辨率为8×8(即M0=8,N0=8);则R1=1.25,R2=1.25,向下取整后R1′=1,R2′=1。由于是向下取整,因此第一子图像101中每一行和每一列中最后的两个第一像素1011(外边界为虚线的第一像素1011)将会被舍弃,不会被划分至像素组1000中。此时,在第一子图像101中,M′=8×1=8,N′=8×1=8,1×1个第一像素1011组成一个像素组1000,从而第一子图像101共包括8×8个像素组1000,且同一个第一像素1011仅位于一个像素组1000中。
当第一子图像101的分辨率大于显示器10的物理分辨率时,通过增加一些虚拟像素103以作为第一像素1011或者直接舍弃一些第一像素1011,从而以使得第一子图像101可以被划分为多个像素组1000,多个像素组1000的数量和排列方式与显示器10的物理分辨率相同。
在此基础上,可选的,根据M0×N0个像素组1000中的第一像素数据得到M0×N0个第二像素数据,以得到第二子图像102,包括:
任取每个像素组1000中的一个第一像素数据以作为与该像素组1000所对应的第二像素数据,以得到第二子图像102。
示例的,参考图7a,每个像素组1000中包括4个第一像素数据,例如取每个像素组1000中第1行第2列的一个的第一像素数据作为与该像素组1000所对应的第二像素数据,从而得到例如如图8a所示的第二子图像102。
在另一些实施例中,计算每个像素组1000中的所有第一像素数据的加权平均值,以该加权平均值作为与该像素组1000所对应的第二像素数据,以得到第二子图像102。
示例的,参考图7b,每个像素组1000中包括4个第一像素数据,计算每个像素中的4个第一像素数据的加权平均值,得到与每个像素组1000所对应的第二像素数据,从而得到例如如图8b所示的第二子图像102。
在第一子图像101的分辨率大于显示器10的物理分辨率的情况下,通过将第一子图像101中R1′×R2′个第一像素数据划分为一个像素组1000,再通过该一个像素组1000中的多个第一像素数据获得一个第二像素数据,从而获得第二子图像102,获得第二子图像102的方式较为简单。
可选的,第一子图像101的分辨率为M×N,显示器10的物理分辨率为M0×N0;其中,M<M0且N<N0
将第一子图像101中的M行第一像素数据扩充为M0行第二像素数据。
将第一子图像101中的N列第一像素数据扩充为N0列第二像素数据。
由于M<M0,N<N0,因此可以增加一些第一像素数据,该些增加的第一像素数据在下文中被称为新增的第一像素数据,从而使得在行方向上,第一像素数据和新增的第一像素数据之和等于N0;在列方向上,第一像素数据和新增的第一像素数据之和等于M0
示例的,参考图9a,显示器10的物理分辨率例如为16×16,第一子图像101的分辨率例如为8×8,则每一列和每一行的第一像素数据的数量均需要增加至16个,以将8行第一像素数据扩充为16行第二像素数据,将8列第一像素数据扩充为16列第二像素数据。在一些实施例中,在每一行和每一列第一像素数据中的首个第一像素数据之前和最后一个第一像素数据之后各增加4个虚拟像素103,该些虚拟像素103的虚拟像素数据与其最靠近的一个第一像素数据相同或者为0,当虚拟像素数据为0时,虚拟像素103所显示颜色例如为黑色,从而可以得到如图9b所示的第二子图像102,第二子图像102的分辨率为16×16,该些虚拟像素103形成了第二子图像102中的黑边。该种对第一子图像102的分辨率进行转换,以得到第二子图像102的方式较为简单。
在另一些实施例中,计算和/>取整后得到D1′和D2′。
在D1=D1′的情况下,在每列中的每个第一像素数据之前或者之后插入D1′-1个新增的第一像素数据,以该每个第一像素数据作为根据其所新增的第一像素数据,和/或,以相邻的两个第一像素数据的加权平均值作为位于该相邻的两个第一像素数据之间的新增的第一像素数据。最后,以一个第一像素数据对应一个第二像素数据,一个新增的第一像素数据对应一个第二像素数据,以得到M0行第二像素数据。
在D2=D2′的情况下,在每行中的每个第一像素数据之前或者之后插入D2′-1个新增的第一像素数据,以该每个第一像素数据作为根据其所新增的第一像素数据,和/或,以相邻的两个第一像素数据的加权平均值作为位于该相邻的两个第一像素数据之间的新增的第一像素数据。最后,以一个第一像素数据对应一个第二像素数据,一个新增的第一像素数据对应一个第二像素数据,以得到N0列第二像素数据。
以该每个第一像素数据作为根据其所新增的第一像素数据,可以理解为,例如沿列方向,若在每个第一像素数据之前插入至少一个新增的第一像素数据,则该新增的第一像素数据是根据位于其后且与其相邻的一个第一像素数据所新增的。若在每个第一像素数据之后插入至少一个新增的第一像素数据,则该新增的第一像素数据是根据位于其前方且与其相邻的一个第一像素数据所新增的。若在每个第一像素数据之前或之后插入多个新增的第一像素数据,该多个新增的第一像素数据例如可以相同。
以相邻的两个第一像素数据的加权平均值作为位于该相邻的两个第一像素数据之间的新增的第一像素数据,可以理解为无论在每个第一像素数据之前还是之后插入了新增的第一像素数据,在相邻的两个第一像素数据之间均会存在新增的第一像素数据,该新增的第一像素数据可以取位于其两侧,且与其相邻的两个第一像素数据的加权平均值。当相邻的两个第一像素数据之间存在多个新增的第一像素数据时,该多个新增的第一像素数据可以相同,也可以不同,例如可以通过调整相邻的两个第一像素数据的权值,以获得该两个相邻的第一像素数据的多个不同的加权平均值,从而获得多个不同的新增的第一像素数据。又示例的,在调整相邻的两个第一像素数据的权值时,权值分配可以根据新增的第一像素数据越靠近两个第一像素数据中的那个第一像素数据所占的权值越大的原则进行。
示例的,参考图9a,显示器10的物理分辨率为16×16,第一子图像101的分辨率为8×8,则因此,沿列方向,可以在每个第一像素数据之后插入2-1=1个新增的第一像素数据,以使得8行第一像素数据可以扩充为16行;沿行方向,可以在每个第一像素数据之后插入2-1=1个新增的第一像素数据,以使得8列第一像素数据可以扩充为16列。其中,一个第一像素数据对应一个第二像素数据,一个新增的第一像素数据对应一个第二像素数据。以新增的第一像素数据与位于其之前的一个第一像素数据相同为例,从而可以的到如图9c所示的第二子图像102,第二子图像102的分辨率为16×16,第二子图像102的分辨率等于显示器10的物理分辨。
在另一些实施例中,新增的第一像素数据也可以取与其相邻的两个第一像素数据的加权平均值。示例的,参考图9c,第1行第2列的第二像素数据与一新增的第一像素数据相同,该新增的第一像素数据例如可以取图9a中第1行第1个和第2个第一像素数据的加权平均值。在此基础上,示例的,第1个第一像素数据的权值例如为0.6,第2个第一像素数据的权值例如为0.4;或者,第1个第一像素数据和第2个第一像素数据的权值均为0.5,此时,新增的第一像素数据也可以称为第1个第一像素数据和第2个第一像素数据的平均值。
在D1≠D1′且D1向上取整得到D1′的情况下,在每列中的a1个第一像素数据中的每个第一像素数据之前或者之后插入D1′-1个新增的第一像素数据,以该每个第一像素数据作为根据其所新增的第一像素数据,和/或,以a1个第一像素数据中相邻的两个第一像素数据的加权平均值作为位于该相邻的两个第一像素数据之间的新增的第一像素数据,其中a1=(M0-M)/(D1′-1);以一个第一像素数据对应一个第二像素数据,一个新增的第一像素数据对应一个第二像素数据,以得到M0个第二像素数据。
在D2≠D2′且D2向上取整得到D2′的情况下,在每行中的a2个第一像素数据中的每个第一像素数据之前或者之后插入D2′-1个新增的第一像素数据,以该每个第一像素数据作为根据其所新增的第一像素数据,和/或,以a2个第一像素数据中相邻的两个第一像素数据的加权平均值作为位于该相邻的两个第一像素数据之间的新增的第一像素数据,其中a2=(N0-N)/(D2′-1);以一个第一像素数据对应一个第二像素数据,一个新增的第一像素数据对应一个第二像素数据,以得到N0列第二像素数据。
示例的,参考图9d所示,显示器10的物理分辨率例如为16×16,第一子图像101的分辨率例如为10×10,从而可以计算出D1=1.6和D2=1.6,向上取整D1′=2、D2′=2,从而计算出a1=(16-10)/(2-1)=6、a2=(16-10)/(2-1)=6。参考图9d,沿行方向,在每行中的前6个第一像素数据中的每个第一像素1011之后插入2-1=1个新增的第一像素数据;沿列方向,在每列中的前6个第一像素数据中的每个第一像素数据之后也插入1个新增的第一像素数据,从而得到如图9e所示的第二子图像102,第二子图像102的分辨率为16×16。结合图9d和图9e,上述过程可以理解为,分别沿行方向和列方向,在图9d中的虚线框之外的每个第一像素数据之后插入一个新增的第一像素数据,以得到如图9e中所示的第二像素数据。参考图9d,计算a3=M-a1和a4=N-a2,即a3=10-6=4,a4=10-6=4,从而无需在每行中最后4个第一像素数据和每列中的最后4个第一像素数据(即图9d中虚线框内的第一像素数据)之后插入新增的第一像素数据;参考图9e,图9e中的所有虚线框内的第二像素数据与图9d中虚线框内的第一像素数据一一对应。
在D1≠D1′且D1向下取整得到D1′的情况下,在每列第一像素数据中第一个第一像素数据之前或者最后一个第一像素数据之后插入M0-M×D1′个虚拟像素数据,虚拟像素数据与其靠近的一个第一像素数据相同或者为0;在每列中的每个第一像素数据之前或者之后插入D1′-1个新增的第一像素数据,以该每个第一像素数据作为根据其所新增的第一像素数据,和/或,以相邻的两个第一像素数据的加权平均值作为新增的第一像素数据;以一个第一像素数据对应一个第二像素数据,一个虚拟像素数据对应一个第二像素数据,一个新增的第一像素数据对应一个第二像素数据,以得到M0行第二像素数据。
在D2≠D2′且D2向下取整得到D2′的情况下,在每行第一像素数据中的第一个第一像素数据之前或者最后一个第一像素数据之后插入N0-N×D2′个虚拟像素数据,虚拟像素数据与其靠近的一个第一像素数据相同或者为0;在每行中的每个第一像素数据之前或者之后插入D2′-1个新增的第一像素数据,以该每个第一像素数据作为根据其所新增的第一像素数据,和/或,以相邻的两个第一像素数据的加权平均值作为位于该相邻的两个第一像素数据之间的新增的第一像素数据;以一个第一像素数据对应一个第二像素数据,一个虚拟像素数据对应一个第二像素数据,一个新增的第一像素数据对应一个第二像素数据,以得到N0列第二像素数据。
示例的,参考图9f,显示器10的物理分辨率例如为16×16,第一子图像101的分辨率例如为7×7。首先,计算D1=16/7=2.29,D2=16/7=2.29;向下取整后得到D1′=2,D2′=2。其次,计算虚拟像素103的数量:沿行方向,16-7×2=2;沿列方向,16-7×2=2。示例的,在每行和每列的最后一个第一像素数据之后插入2个虚拟像素103,虚拟像素数据例如为0。再次,根据D1′和D2′,例如在每行和每列中的第一像素1011之后插入1个新增的第一像素数据;最后,以一个第一像素数据与一个第二像素数据对应,一个新增的第一像素数据与一个第二像素数据对应,一个虚拟像素103与一个第二像素数据对应,从而得到如图9g所示的第二子图像102,该第二子图像102的分辨率等于16×16。
上述的D1=D1′、D2=D2′、D1≠D1′且向上取整、D2≠D2′且向上取整、D1≠D1′且向下取整和D2≠D2′且向下取整是可以进行组合的,示例的,例如在D1=D1′和D2≠D2′且向上取整的情况下对第一子图形101进行处理,处理的过程与在上述各种情况下的相同,因此不再赘述。
通过以上方式可以根据显示器10的物理分辨率,较为简单的将与显示器10的物理分辨率不同的第一子图像101转换为第二子图像102,最终以使显示器10显示第二子图像102,其中,第二子图像102与第一子图像101的显示内容是大致接近的。从而,本公开中的显示器10是具有转换第一子图像101分辨率的功能的,因此,在分割初始图像时,不需要考虑显示器10的物理分辨率,从而使得初始图像的分割较为简单。
本公开的实施例还提供一种拼接显示系统1,包括:
控制装置,被配置为获取至少一帧初始图像;以及根据一帧初始图像的分辨率和Q个显示器的排列方式,将每帧初始图像分割成Q个第一子图像,并将每帧初始图像分割得到的Q个第一子图像分别输出至Q个显示器。
对控制装置的介绍请参照前文中对控制装置的描述。
Q个显示器,Q≥2;每个显示器被配置根据自身的物理分辨率,对获取到的第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像,并显示第二子图像;其中第二子图像的分辨率等于显示器的物理分辨率。
对显示器的介绍请参照前文中对显示的描述。
可选的,参考图10a所示,控制装置11例如包括:
获取单元111,被配置为获取至少一帧初始图像。
示例的,例如从视频文件中获取一帧初始图像。
分割单元112,被配置为根据一帧初始图像的分辨率和Q个显示器10的排列方式,将每帧初始图像分割成Q个第一子图像101。
将初始图像分割为Q个第一子图像101的过程可以参照前文中分割初始图像的过程。
输出单元113,被配置为将每帧初始图像分割得到的Q个第一子图像101分别输出至Q个显示器10中。
输出单元113可以和显示器10之间进行数据传输,输出单元113将第一子图像101传输至对应的显示器10中,以供显示器10进行显示。
可选的,参考图10b所示,控制装置11还包括:
存储单元114,存储单元114被配置为存储每帧初始图像分割得到的Q个第一子图像101。
在分割单元112通过分割每个初始图像获得Q个第一子图像101后,可以先将Q个第一子图像101存储存储单元114中;若分割视频文件中的多个初始图像则可以获得Q个子视频文件,每个子视频文件中包括多个第一子图像101,一个子视频文件与一个显示器10相对应。
输出单元113,还被配置为将Q个子视频文件分别输出至Q个显示器10。
Q个显示器10接收到子视频文件后,经过对子视频文件的处理,可以进行显示,显示的过程例如参考图6b。
在控制装置11包括存储单元114时,可以先将子视频文件存储起来,然后再将子视频文件输出至显示器10中,将子视频文件传输至显示器10中的过程较为简单。
在另一些实施例中,参考图10c,控制装置11包括:第一存储器115、第一处理器116和第一通信器件117。第一存储器115存储有计算机程序,第一处理器116被配置为运行计算机程序,以使得控制装置11执行图2中所示的S1~S3、或者执行图4中所示的S10~S3,或者执行图5和图6a中所示的S1~S30;第一通信器件117用于实现控制装置11与显示器10之间的通信,第一通信器件117例如为Lora通信模块。
参考图11,Q个显示器10中的每个显示器10包括:第二处理器104、显示屏105和第二通信器件106。第二处理器104被配置根据显示器10的物理分辨率,对获取到的第一子图像101中的至少一部分图像的分辨率进行转换,以得到第二子图像102,第二子图像102的分辨率等于显示器10的物理分辨率;显示屏105被配置为显示第二子图像102;第二通信器件106被配置为与第一通信器件117进行通信;第二通信器件106例如为Lora通信模块。
在一些实施例中,显示器10的物理分辨率为32×32,显示器10的尺寸例如为1m×1m。第一子图像101的分辨率例如为640×480。由于该显示器10尺寸较大,像素数量较少,相邻两个像素之间的距离较大,且第一子图像101的分辨率远远大于显示器10的物理分辨率,因此该显示器10需要具有转换第一子图像101的分辨率的功能,才能正常显示。
该拼接显示系统1与上述的拼接显示系统1的图像处理方法具有相同的有益效果,因此不再赘述。
本公开的实施例还提供一种计算机存储介质,计算机可读存储介质中存储有计算机程序,当计算机程序运行时,执行如图2、图4和图5所示的控制装置11的图像处理方法,从而具有与控制装置11的图像处理方法相同的有益效果,所以不再赘述。
需要说明的是,参考图7b,图8b、图9b和图9g,第一子图像101中的像素均为第一像素1011,第二子图像102中的像素均为第二像素1021,也就是说当虚拟像素103位于第一子图像101中时,其所代表的是一个第一像素1011,该第一像素1011的第一像素数据等于该虚拟像素103的像素数据;当虚拟像素103位于第二子图像102中时,其所代表的是一个第二像素1021,该第二像素1021的第二像素数据来等于该虚拟像素103的像素数据。示例的,参考图9g,可以通过图形的外边界和填充的颜色区分出,每个第二像素1021的第二像素数据与第一像素数据(图形外边界为实线的)、新增的第一像素数据(图形外边界为虚线)和虚拟像素103(图形填充颜色为黑色)所存在对应关系。
需要说明的是,在本公开中,将对第一子图像101进行分辨率转换,以使得转换后的图像的分辨率等于显示器10的分辨率时的处理后的图像称为第二子图像102,其它未对第一子图像101的分辨率进行转换的处理后的图像并不是第二子图像102。
需要说明的是,本公开的实施例中的分辨率相同,可以理解为像素的行数和列数均相同。
需要说明的是,本公开的实施例中的相同的附图标记既可以表示像素,也可以表示像素数据。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种拼接显示系统的图像处理方法,其特征在于,所述拼接显示系统包括控制装置和Q个显示器,Q≥2;
所述图像处理方法包括:
所述控制装置获取至少一帧初始图像;
所述控制装置根据一帧所述初始图像的分辨率和Q个所述显示器的排列方式,将每帧所述初始图像分割成Q个第一子图像;
所述控制装置将每帧所述初始图像分割得到的Q个所述第一子图像分别输出至Q个所述显示器;
每个所述显示器根据自身的物理分辨率,对获取到的所述第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像,所述第二子图像的分辨率等于所述显示器的物理分辨率;
所述显示器显示所述第二子图像;
每个所述显示器根据自身的物理分辨率,对获取到的第一子图像中的至少一部分图像的分辨率进行转换,包括:
每个所述显示器根据自身的物理分辨率,通过抽值法或者插值法对获取到的所述第一子图像中的至少一部分图像的分辨率进行转换;
所述第一子图像的分辨率为M×N,所述显示器的物理分辨率为M0×N0;其中,M≥M0且N≥N0
每个所述显示器根据自身的物理分辨率,对获取到的所述第一子图像中的至少一部分图像的分辨率进行转换,以得到所述第二子图像,包括:
计算和/>并对R1和R2进行取整,得到R1′和R2′;
根据M0×N0个像素组中的第一像素数据得到M0×N0个第二像素数据,以得到所述第二子图像;每个所述像素组中包括R1′×R2′个所述第一像素数据,M0×N0个所述像素组构成M′×N′个所述第一像素数据,其中,M′=M0×R1′,N′=N0×R2′;在R1′=R1,R2′=R2的情况下,M′×N′个所述第一像素数据为所述第一子图像包含的所有像素数据;在R1′≠R1和/或R2′≠R2的情况下,M′×N′个所述第一像素数据为所述第一子图像经图像处理后得到的像素数据。
2.根据权利要求1所述的拼接显示系统的图像处理方法,其特征在于,
所述控制装置获取至少一帧所述初始图像包括:
将视频文件进行解封装和解码,以读取所述视频文件中的多帧初始图像。
3.根据权利要求2所述的拼接显示系统的图像处理方法,其特征在于,还包括:
所述控制装置将待输出至每个所述显示器的各个所述第一子图像进行编码和封装,以得到Q个子视频文件;
所述控制装置将每帧所述初始图像分割得到的Q个所述第一子图像分别输出至Q个所述显示器包括:
所述控制装置将所述Q个子视频文件分别输出至Q个所述显示器。
4.根据权利要求3所述的拼接显示系统的图像处理方法,其特征在于,在每个所述显示器根据自身的物理分辨率,对获取到的所述第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像之前,所述图像处理方法还包括:
所述显示器将接收到的所述子视频文件进行解封装和解码,以读取所述子视频文件中的多个第一子图像。
5.根据权利要求1或4所述的拼接显示系统的图像处理方法,其特征在于,还包括:
所述显示器将一个待显示的第一子图像存储在帧缓冲存储器中,以使得所述显示器根据自身的物理分辨率,对经缓存后的所述待显示的第一子图像进行转换。
6.根据权利要求1所述的拼接显示系统的图像处理方法,其特征在于,所述显示器根据自身的物理分辨率,对获取到的第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像包括:
所述显示器根据自身的物理分辨率,对获取到的第一子图像的分辨率进行转换,以得到第二子图像;
或者,
所述显示器提取所述第一子图像中位于有效区域的部分,并根据自身的物理分辨率对所述位于有效区域的部分的分辨率进行转换,以得到第二子图像。
7.根据权利要求1所述的拼接显示系统的图像处理方法,其特征在于,
根据M0×N0个所述像素组中的所述第一像素数据得到M0×N0个所述第二像素数据,以得到所述第二子图像,包括:
任取每个所述像素组中的一个所述第一像素数据以作为与该像素组所对应的所述第二像素数据,以得到所述第二子图像;
或者,计算每个所述像素组中的所有所述第一像素数据的加权平均值,以该加权平均值作为与该像素组所对应的所述第二像素数据,以得到所述第二子图像。
8.一种应用权利要求1~7中任一项所述的图像处理方法的拼接显示系统,其特征在于,包括:
控制装置,被配置为获取至少一帧初始图像;以及根据一帧所述初始图像的分辨率和Q个显示器的排列方式,将每帧所述初始图像分割成Q个第一子图像,并将每帧所述初始图像分割得到的Q个所述第一子图像分别输出至Q个所述显示器;
Q个显示器,Q≥2;每个显示器被配置根据自身的物理分辨率,对获取到的所述第一子图像中的至少一部分图像的分辨率进行转换,以得到第二子图像,并显示所述第二子图像;其中所述第二子图像的分辨率等于所述显示器的物理分辨率。
9.一种计算机存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序运行时,执行如权利要求1~7中任一项所述的拼接显示系统的图像处理方法。
CN202010688186.XA 2020-07-16 2020-07-16 拼接显示系统及其图像处理方法 Active CN113946301B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010688186.XA CN113946301B (zh) 2020-07-16 2020-07-16 拼接显示系统及其图像处理方法
US17/376,667 US11755271B2 (en) 2020-07-16 2021-07-15 Stitching display system and image processing method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010688186.XA CN113946301B (zh) 2020-07-16 2020-07-16 拼接显示系统及其图像处理方法

Publications (2)

Publication Number Publication Date
CN113946301A CN113946301A (zh) 2022-01-18
CN113946301B true CN113946301B (zh) 2024-02-09

Family

ID=79293389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010688186.XA Active CN113946301B (zh) 2020-07-16 2020-07-16 拼接显示系统及其图像处理方法

Country Status (2)

Country Link
US (1) US11755271B2 (zh)
CN (1) CN113946301B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328193A (zh) * 2020-09-09 2021-02-05 深圳Tcl新技术有限公司 多终端屏幕组合方法、装置、设备和计算机存储介质
CN114495855B (zh) * 2022-01-24 2023-08-04 海宁奕斯伟集成电路设计有限公司 视频数据转换电路、方法及显示设备
CN116091320B (zh) * 2023-04-10 2023-06-20 深圳市先地图像科技有限公司 一种图像处理方法、装置及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376293A (zh) * 2010-08-19 2012-03-14 上海济丽信息技术有限公司 一种基于fpga的图像拼接处理器及图像拼接方法
CN105141876A (zh) * 2015-09-24 2015-12-09 京东方科技集团股份有限公司 视频信号转换方法、视频信号转换装置以及显示系统
CN105653224A (zh) * 2015-12-31 2016-06-08 京东方科技集团股份有限公司 一种拼接显示系统及其显示方法
CN109062531A (zh) * 2018-08-15 2018-12-21 京东方科技集团股份有限公司 拼接屏以及拼接屏的显示方法和显示控制装置
CN109992226A (zh) * 2017-12-29 2019-07-09 浙江宇视科技有限公司 图像显示方法、装置及拼接显示屏

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080211825A1 (en) * 2006-10-12 2008-09-04 Canon Kabushiki Kaisha Display control apparatus, display apparatus, display control method, and display processing method
JP2014194525A (ja) * 2013-02-28 2014-10-09 Canon Inc 画像表示装置、画像出力装置、及びその制御方法
US9899002B2 (en) * 2013-09-27 2018-02-20 Lenovo (Bejing) Limited Information processing methods for displaying parts of an object on multiple electronic devices
US9922394B2 (en) * 2014-12-05 2018-03-20 Samsung Electronics Co., Ltd. Display apparatus and method for displaying split screens thereof
KR20160133867A (ko) * 2015-05-13 2016-11-23 삼성전자주식회사 멀티 디스플레이 시스템 및 멀티 디스플레이 시스템의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376293A (zh) * 2010-08-19 2012-03-14 上海济丽信息技术有限公司 一种基于fpga的图像拼接处理器及图像拼接方法
CN105141876A (zh) * 2015-09-24 2015-12-09 京东方科技集团股份有限公司 视频信号转换方法、视频信号转换装置以及显示系统
CN105653224A (zh) * 2015-12-31 2016-06-08 京东方科技集团股份有限公司 一种拼接显示系统及其显示方法
CN109992226A (zh) * 2017-12-29 2019-07-09 浙江宇视科技有限公司 图像显示方法、装置及拼接显示屏
CN109062531A (zh) * 2018-08-15 2018-12-21 京东方科技集团股份有限公司 拼接屏以及拼接屏的显示方法和显示控制装置

Also Published As

Publication number Publication date
US20220019398A1 (en) 2022-01-20
US11755271B2 (en) 2023-09-12
CN113946301A (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
CN113946301B (zh) 拼接显示系统及其图像处理方法
WO2017113951A1 (zh) 拼接显示系统及其显示方法
AU2016370324B2 (en) Imaging method, imaging device, and electronic device
US8947449B1 (en) Color space conversion between semi-planar YUV and planar YUV formats
US10574937B2 (en) Method for high-definition image processing, method for high-definition image playback and related apparatus and system
KR102617258B1 (ko) 이미지 프로세싱 방법 및 장치
CN105554416A (zh) 一种基于fpga的高清视频淡入淡出处理系统及方法
GB2516124A (en) Optimizing video transfer
US20200128264A1 (en) Image processing
WO2023024421A1 (zh) 多路图像拼接方法、系统、可读存储介质、及无人车
US9123090B2 (en) Image data compression device, image data decompression device, display device, image processing system, image data compression method, and image data decompression method
CN103813124A (zh) 图像处理装置和图像处理方法
CN114554171A (zh) 图像格式转换方法、装置、显示屏控制设备和存储介质
CN105007444B (zh) 一种单像素视频显示装置及显示方法
CN115866254A (zh) 一种传输视频帧及摄像参数信息的方法与设备
US9167272B2 (en) Method, apparatus and system for exchanging video data in parallel
CN205265822U (zh) 一种图像处理系统
CN116700943A (zh) 一种视频播放系统、方法以及电子设备
US11830413B2 (en) Method, device for processing image, and system
CN115967784A (zh) 基于mipi csi c-phy协议的图像传输处理系统及处理方法
US9317891B2 (en) Systems and methods for hardware-accelerated key color extraction
KR102213423B1 (ko) 스케일러를 이용한 uhd 영상 분배 장치 및 그 방법
KR101927865B1 (ko) 영상 증강 현실 서비스를 제공하는 방법, 셋톱박스 및 컴퓨터 프로그램
KR101937718B1 (ko) 유효 픽셀 기반의 버스 프로토콜을 이용한 영상 처리 장치 및 방법
US10339641B2 (en) Image processing apparatus and method, and decoding apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant