CN114500880A - 图像处理装置及多画面显示的图像处理方法 - Google Patents
图像处理装置及多画面显示的图像处理方法 Download PDFInfo
- Publication number
- CN114500880A CN114500880A CN202011548881.2A CN202011548881A CN114500880A CN 114500880 A CN114500880 A CN 114500880A CN 202011548881 A CN202011548881 A CN 202011548881A CN 114500880 A CN114500880 A CN 114500880A
- Authority
- CN
- China
- Prior art keywords
- video
- information
- video information
- image processing
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 105
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000005540 biological transmission Effects 0.000 claims abstract description 61
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 101001046426 Homo sapiens cGMP-dependent protein kinase 1 Proteins 0.000 description 19
- 102100022422 cGMP-dependent protein kinase 1 Human genes 0.000 description 19
- 238000010586 diagram Methods 0.000 description 11
- 101150071665 img2 gene Proteins 0.000 description 10
- DNDNWOWHUWNBCK-PIAXYHQTSA-N [(2s,3r,4s,5s,6r)-3,4,5-trihydroxy-6-(hydroxymethyl)oxan-2-yl] (1z)-2-(1h-indol-3-yl)-n-sulfooxyethanimidothioate Chemical compound O[C@@H]1[C@@H](O)[C@H](O)[C@@H](CO)O[C@H]1S\C(=N/OS(O)(=O)=O)CC1=CNC2=CC=CC=C12 DNDNWOWHUWNBCK-PIAXYHQTSA-N 0.000 description 9
- 101150013335 img1 gene Proteins 0.000 description 9
- 238000013461 design Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 101001046427 Homo sapiens cGMP-dependent protein kinase 2 Proteins 0.000 description 4
- 102100022421 cGMP-dependent protein kinase 2 Human genes 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 101000945096 Homo sapiens Ribosomal protein S6 kinase alpha-5 Proteins 0.000 description 2
- 102100036829 Probable peptidyl-tRNA hydrolase Human genes 0.000 description 2
- 102100033645 Ribosomal protein S6 kinase alpha-5 Human genes 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 101100031571 Danio rerio pth4 gene Proteins 0.000 description 1
- 101001135770 Homo sapiens Parathyroid hormone Proteins 0.000 description 1
- 101001135995 Homo sapiens Probable peptidyl-tRNA hydrolase Proteins 0.000 description 1
- 108090000445 Parathyroid hormone Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2350/00—Solving problems of bandwidth in display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/12—Frame memory handling
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Endoscopes (AREA)
- Digital Computer Display Output (AREA)
Abstract
本发明提供一种图像处理装置及多画面显示的图像处理方法。图像处理装置包括图像处理电路、传输安排电路以及视频合并电路。图像处理电路以第一带宽接收第一视频信息，以第二带宽接收第二视频信息，对第一视频信息以及第二视频信息进行处理后产生第一视频信息封包以及第二视频信息封包，再传送至传输安排电路。视频合并电路以第三带宽从传输安排电路接收第一视频信息封包以及第二视频信息封包后还原成第一视频信息以及第二视频信息，并共同输出至显示器。当第一视频信息以及第二视频信息都为全屏幕模式时，第三带宽小于第一带宽以及第二带宽的和。
Description
技术领域
本发明涉及一种图像处理技术，尤其涉及一种降低带宽需求以达成多画面显示的图像处理装置及图像处理方法。
背景技术
现有的电视墙或多画面显示器，通常是从多个视频来源接收多个视频画面，并将这些视频画面以部分重叠或缩小显示画面等方式输出至同一个屏幕上。特别是，因显示画面重叠而被遮盖未显示的视频部分仍然亦会占用硬件设备的内存与传输带宽。例如，随着视频来源的数量增加，硬件设备的带宽需求便会成正比增长，并大幅度地占用硬件设备的运算资源，从而影响显示视频的质量，无法将这些视频画面都使用接近全屏幕的尺寸进行显示。
发明内容
本发明实施例提供一种图像处理装置及多画面显示的图像处理方法，能够降低硬件结构的成本，且在全屏幕情况下可以降低带宽的需求。
本发明的图像处理装置包括图像处理电路、传输安排电路以及视频合并电路。图像处理电路以第一带宽接收第一视频信息，以第二带宽接收第二视频信息，并对第一视频信息以及第二视频信息进行处理后产生第一视频信息封包以及第二视频信息封包。传输安排电路接收第一视频信息封包以及第二视频信息封包。视频合并电路以第三带宽从传输安排电路接收第一视频信息封包以及第二视频信息封包，并将第一视频信息封包以及第二视频信息封包还原成第一视频信息以及第二视频信息，并将第一视频信息以及第二视频信息共同输出至显示器。其中当第一视频信息以及第二视频信息都为全屏幕模式时，第三带宽小于第一带宽以及第二带宽的和。
本发明的多画面显示的图像处理方法，适用于包括视频合并电路的图像处理装置以及显示器，其包括下列步骤。以第一带宽获得第一视频信息，以第二带宽获得第二视频信息，并对第一视频信息以及第二视频信息进行处理后产生第一视频信息封包以及第二视频信息封包。以第三带宽传输第一视频信息封包以及第二视频信息封包至视频合并电路。通过视频合并电路以将第一视频信息封包以及第二视频信息封包还原成第一视频信息以及第二视频信息。共同输出第一视频信息以及第二视频信息至显示器。其中当第一视频信息以及第二视频信息都为全屏幕模式时，第三带宽小于第一带宽以及第二带宽的和。
基于上述，本发明实施例所述的图像处理装置及多画面显示的图像处理方法可以将多个视频来源进行处理，以减少因为显示画面重叠而被遮蔽的未显示视频的数据量，让这些未显示视频不会占用到硬件设备的传输带宽。如此一来，可以在同时维持更新率且不影响显示视频质量的前提下，不限制输入视频的叠加数量与视频画面的显示大小，并且可将这些视频画面都使用接近全屏幕的尺寸进行显示，且不需要增加图像处理装置处理及传输这些视频画面的传输带宽以及暂存空间，进而节省成本和降低硬件设计的复杂度。
附图说明
图1是依照本发明一实施例的图像处理装置的方块图；
图2是依照本发明一实施例的图像处理装置的情境示意图；
图3是依照本发明应用在不同实施例上的情境示意图；
图4是依照本发明一实施例的时分多路复用传输的情境示意图；
图5A至图5B是依照本发明另一实施例的图像处理装置的操作示意图；
图6是依照本发明一实施例的图像处理方法的流程图。
附图标记说明
100、200：图像处理装置；
110、210、510：图像处理电路；
120、220、420：传输安排电路；
130、230、430、530：视频合并电路；
140、240、340、540：显示器；
150、250：控制器；
160、260：第一视频缓冲器；
170、270、470：第二视频缓冲器；
180、280：视频缩放器；
BW1～BW3：带宽；
IMG1～IMG6：视频信息；
MSK1～MSK4：掩码；
OP、OP_1、OP_2：输出视频；
PKG1～PKG6：封包；
PTH1～PTH4：路径；
S610～S640：步骤。
具体实施方式
现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。
图1是依照本发明的一实施例的图像处理装置100的方块图。请参照图1，图像处理装置100主要包括图像处理电路110、传输安排电路120以及视频合并电路130。图像处理电路110、传输安排电路120以及视频合并电路130可以各自内建于或外接于图像处理装置100之上，其连接方式可以为有线或无线传输，本发明不在此设限。换句话说，图像处理装置100可整合为单一设备而实现，以节省电路板的布线面积且增加这些电路组件的工作效率。或者，图像处理装置100可由多台相互连接的电子装置来实现。显示器140的种类可以是液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light Emitting Diode，LED)显示器、场发射显示器(Field Emission Display，FED)、有机发光二极管(Organic LightEmitting Diode，OLED)或其他种类的显示器。
图像处理电路110用以接收与处理多个视频来源，当多个视频来源在显示器140的显示画面上互相层叠的时候，可以减少这些视频因为层叠而被遮蔽的视频像素的数据量，进而降低需要的传输带宽。在本实施例及图1中是以两个视频来源做举例，本发明技术人员可以依据设计需求增加视频来源。例如在图2中是以四个视频来源做举例，本发明实施例不在此设限。在本实施例中，图像处理电路110可以分别依据第一带宽BW1来接收第一视频信息IMG1，依据第二带宽BW2来接收第二视频信息IMG2，并对第一视频信息IMG1以及第二视频信息IMG2进行处理(例如以掩码的方式)后产生第一视频信息封包PKG1以及第二视频信息封包PKG2，以降低第一视频信息封包PKG1以及第二视频信息封包PKG2的传输带宽需求。在本实施例中，图像处理电路110同时地从第一来源接收第一视频信息IMG1，以及从第二来源接收第二视频信息IMG2。在其他实施例中，图像处理电路110可以不同时从第一来源与第二来源接收第一视频信息IMG1与第二视频信息IMG2。前述第一带宽BW1与第二带宽BW2可以彼此相同或不同，第一来源与第二来源也可以彼此相同或不同。
传输安排电路120可以接收并安排传输多个视频信息封包至视频合并电路130。在本实施例中，传输安排电路120可以依据第三带宽BW3传输第一视频信息封包PKG1以及第二视频信息封包PKG2至视频合并电路130。
视频合并电路130可以接收并还原多个视频信息封包，再共同输出至显示器140以进行显示。在本实施例中，视频合并电路130可以接收并将第一视频信息封包PKG1以及第二视频信息封包PKG2还原成经处理后的第一视频信息IMG1以及经处理后的第二视频信息IMG2，再共同输出至显示器140。在此请特别注意，此时经处理后的第一视频信息IMG1以及经处理后的第二视频信息IMG2的视频像素的数据量已经少于原先未经处理的第一视频信息IMG1以及第二视频信息IMG2，例如在第一视频信息IMG与第二视频信息IMG2在显示器140上若有层叠的部分，被掩码的区域(不可视区域)的视频像素可以不被传输以减少其数据量，如此一来，其在处理及传输所需的带宽及暂存空间仍维持在相当于仅传输单一个视频信息的状态。因此，当第一视频信息IMG1以及第二视频信息IMG2都为全屏幕模式时，第三带宽BW3小于第一带宽BW1以及第二带宽BW2的和(BW1+BW2＞BW3)。换句话说，本发明的图像处理装置100在多个输入来源有相互层叠或皆为全屏幕模式时，可以在不影响显示质量的前提下，使传输带宽小于多个输入带宽的和，进而达到节省成本并降低硬件设计复杂度的功效。特别一提的是，上述的第一、第二以及第三带宽可以是在传输规格上的最大带宽，例如皆为5Gbps，然而实际在传输数据时所使用的带宽并不一定会完全使用到带宽的上限，需视数据量而定。
在其他实施例中，图像处理装置100除了图1中实线所示出的图像处理电路110、传输安排电路120以及视频合并电路130之外，还可以包括虚线所示出的控制器150、第一视频缓冲器160、第二视频缓冲器170以及视频缩放器180。或像是键盘、扬声器以及各式通信接口等等，本发明对此不限制。
在一实施例中，图像处理电路110可以耦接至控制器150。控制器150可以具有输入与输出功能。例如可以具有显示窗口，供用户查看与调整多个视频来源在显示器140上进行显示的视频尺寸与相对位置，并依据用户的调整来减少需要输出的视频像素。例如在本实施例中，控制器150可以依据显示窗口上的调整操作(即图1中的显示窗口调整操作)来调整第一视频信息IMG1以及第二视频信息IMG2分别对应的掩码。以通过掩码的方式减少需要输出的视频像素的数据量，即降低第一视频信息封包PKG1以及第二视频信息封包PKG2在传输时的带宽需求。另一方面，用户也可以通过鼠标(图未示)调整图1中显示器140所显示的视频画面的显示窗口大小时，控制器会实时地接收到显示窗口大小的调整信息，进而通知图像处理电路110实时地调整所对应的掩码的大小，以减少被掩码住的不可视区域的视频像素的数据量。
在一实施例中，图像处理电路110可以耦接第一视频缓冲器160来暂存输入的视频信息。在一实施例中，传输安排电路120会持续传送视频封包至视频合并电路130，视频合并电路130可以耦接第二视频缓冲器170来暂存这些视频信息封包，待接收完毕之后再进行后续的处理。上述第一视频缓冲器160可以设置在图像处理电路110内，第二视频缓冲器170可以设置在视频合并电路130内，本发明对此不限制。第一视频缓冲器160与第二视频缓冲器170的种类可以是任意型式的固定式或可移动式随机存取内存(random access memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)或其组合。
在一实施例中，视频合并电路130可以包括视频缩放器180，用以进行输入视频的视频缩放及调整在显示器140上的显示位置。依照不同的设计需求，上述图像处理电路110、传输安排电路120、视频合并电路130、控制器150以及视频缩放器180的实现方式可以是硬件(hardware)、固件(firmware)、软件(software，即程序)或是前述三者中的多种组合形式。
以硬件形式而言，上述图像处理电路110、传输安排电路120、视频合并电路130、控制器150以及视频缩放器180等组件可以是实现于集成电路(integrated circuit)上的逻辑电路。或者，前述组件可以利用硬件描述语言(hardware description languages，例如Verilog HDL或VHDL)或其他合适的编程语言来实现为硬件。举例来说，上述图像处理电路110、传输安排电路120、视频合并电路130、控制器150以及(或是)视频缩放器180的相关功能可以被实现于一或多个微控制器、微处理器、特殊应用集成电路(Application-specificIntegrated Circuit,ASIC)、数字信号处理器(digital signal processor,DSP)、现场可程序逻辑门阵列(Field Programmable Gate Array,FPGA)、复杂可程序逻辑装置(ComplexProgrammable Logic Device,CPLD)和/或其他处理单元中的各种逻辑区块、模块和电路。
以软件形式和/或固件形式而言，上述图像处理电路110、传输安排电路120、视频合并电路130、控制器150以及(或是)视频缩放器180可以被实现为编程代码(programmingcodes)。例如，利用一般的编程语言(programming languages，例如C、C++或汇编语言)或其他合适的编程语言来实现。所述编程代码可以被记录/存放在记录媒体中，所述记录媒体中例如包括只读存储器(Read Only Memory，ROM)、存储装置和/或随机存取内存(RandomAccess Memory，RAM)。计算机、中央处理器(Central Processing Unit，CPU)、微控制器或微处理器可以从所述记录媒体中读取并执行所述编程代码，从而达成相关功能。作为所述记录媒体，可使用“非临时的计算机可读取媒体(non-transitory computer readablemedium)”，例如可使用磁带(tape)、光盘(disk)、磁卡(card)、半导体内存、可编程设计的逻辑电路等。而且，所述程序也可经由任意传输媒体(通信网路或广播电波等)而提供给所述计算机(或CPU)。所述通信网路例如是互联网(Internet)、有线通信(wiredcommunication)、无线通信(wireless communication)或其它通信介质。
以下列举实施例来对本发明进行说明。请参照图2。图2示出本发明一实施例的图像处理装置200的情境示意图。在图2中，图像处理装置200的各组件与显示器240适用于图1中的图像处理装置100的各组件与显示器140。图像处理装置200包括图像处理电路210、传输安排电路220、视频合并电路230、控制器250、第一视频缓冲器260、第二视频缓冲器270以及视频缩放器280。其中控制器250与第一视频缓冲器260各自耦接于图像处理电路210，第二视频缓冲器270耦接于视频合并电路230。
在本实施例中，图像处理电路210接收视频信息IMG3～IMG6，并将其暂存在第一视频缓冲器260中。控制器250可以依据用户输入的显示窗口调整操作来调整掩码MSK1～MSK4，以使视频信息IMG3～IMG6可以分别通过路径PTH1～PTH4和掩码MSK1～MSK4来减少输出的视频像素的数据量，并产生视频信息封包PKG3～PKG6。例如。在一实施例中，掩码MSK1～MSK4可以用以表示相对于全屏幕区域的多个不同的视频可视区域，且多个不同的视频可视区域之间互不重叠。于此，全屏幕区域可以为显示器240的最大显示范围，视频可视区域可以为显示器240上的视频信息IMG3～IMG6未被遮蔽的显示范围。换句话说，掩码MSK1～MSK4可以滤除视频信息IMG3～IMG6在显示器240上因为视频层叠而被遮蔽的视频像素，以节省传输时的带宽需求。
传输安排电路220会接收图像处理电路210产生的视频信息封包PKG3～PKG6，并传输到视频合并电路230。视频合并电路230可以利用第二视频缓冲器270暂存视频信息封包PKG3～PKG6，并将其还原成经处理后的多个视频信息(此时的视频像素的数据量会少于原输入的视频信息IMG3～IMG6)，再通过视频缩放器280重设大小与显示位置后合并为输出视频OP。换句话说，对于用户而言，输出视频OP在视觉上是显示视频信息IMG3～IMG6层叠后的画面，但实际上经由本发明的图像处理装置200的处理，被遮蔽的视频像素数据可以被减少或是不被传输，因此可以减少视频信息封包PKG3～PKG6在传输时所需的传输带宽，也可以减少视频信息封包PKG3～PKG6在暂存时所需的暂存空间。基于上述，虽然图像处理装置200接收了四个视频信息IMG3～IMG6，但在其内部所需的传输带宽实质上仅相当于传输任一个单一视频信息IMG3～IMG6的视频数据量，如此一来，在视频信息IMG3～IMG6都在显示器240上显示为全屏幕模式时，图像处理装置200内部所需的传输带宽会小于视频信息IMG3～IMG6的输入带宽的总和，相对于现有技术在接收的视频信息越多时需要通过对应增加内部传输带宽以及暂存空间来说，本发明可以进而节省成本及降低硬件设计复杂度。
在本实施例中，视频信息封包PKG3～PKG6可以包括视频信息IMG3～IMG6对应的显示视频以及视频设定信息。视频缩放器280可以依据这些视频设定信息，在输出视频OP中配置这些显示视频的显示位置，以将经处理后的视频信息整合在输出视频OP中。例如，视频缩放器280可以先依据视频信息封包PKG3中的视频设定信息，在输出视频OP中配置视频信息IMG3对应的显示视频的显示位置，再依序配置视频信息IMG4～IMG6对应的多个显示视频的显示位置，以整合为完整的输出视频OP。于此，显示视频可以为视频信息IMG3～IMG6在显示器240上未被层叠遮蔽的可视视频。在一实施例中，视频设定信息可以用以表示显示视频位于显示器240的全屏幕区域中的不同区域，这些区域互不重叠。在一实施例中，视频设定信息还可以包括这些区域相对于全屏幕区域的位移信息以及尺寸信息。换句话说，视频缩放器280可以依据视频设定信息中各自对应的区域的位移信息以及尺寸信息，来配置这些显示视频在输出视频OP上的显示位置。如此一来，可以不限制视频来源的叠加数量，甚至可以在维持更新率且不影响显示视频质量的前提下，将产生输出视频OP的带宽需求实质上维持在单一个视频的带宽需求，可以大幅节省硬件的成本。
请参照图3。图3是依照本发明应用在不同实施例上的情境示意图。在本实施例中，显示器340被匹配为显示四进一出的显示画面，其中四个视频来源可以依据用户做放大缩小以及移动的调整，且视频来源的数量只是为了方便说明，在其他实施例中可以为其他数量。假设接收这四个视频来源时的带宽都是1单位。在没有考虑到对这四个视频来源互相遮蔽的部分进行处理的情况下，以图3左边示例来说，四个视频来源显示于显示器340上时互不重叠，并且各自缩小而在显示器340上显示占满一个全屏幕画面，则在处理及传输这些视频时的所需带宽等同单一视频来源进行全屏幕显示所需的1单位。以图3中间示例来说，其中一个视频来源是以全屏幕显示且另外三个视频来源是缩小显示，假设处理及传输这些缩小的视频来源的所需带宽约为0.3单位，则在处理及传输这些视频时的所需带宽约为1.3单位。以图3右边示例来说，其中一个视频来源是以全屏幕显示且另外三个视频来源是接近全屏幕显示，则在处理及传输这些视频时的所需带宽将接近4单位。因此，随着视频来源的数量或相互层叠的部分增加，硬件设备的带宽需求便会成正比增长，并大幅度地占用硬件设备的运算资源。若硬件设备的带宽不足即会发生显示异常或是有需要降低画面更新率的问题。
相较之下，本发明图3右边示例因为可以将多个视频画面因为层叠而被遮蔽的部分的视频像素的数据量减少或是省略不传输，因此在产生显示画面的时候仅需要实质上与显示单一画面相同的传输带宽以及暂存空间。如此一来，即便在显示画面当中有多个接近全屏幕的视频信息互相层叠(在本实施例中的视频来源例如是4个，但其数量不以为限)，也不需要提升硬件资源就能够正常显示。若是图3中间示例与左边示例的作法，当有越多个接近全屏幕的视频信息互相层叠时，如果没有对应增加硬件资源且没有针对输入视频进行调整的话，则会有无法正常显示或是有需要降低画面更新率的问题出现。
请参照图4。图4示出本发明一实施例的时分多路复用传输的情境示意图。其中传输安排电路420、视频合并电路430与第二视频缓冲器470适用于图2中的传输安排电路220、视频合并电路230与第二视频缓冲器270。在本实施例中，传输安排电路420可以利用时分多路复用的方式，将视频信息封包PKG3～PKG6分割为多个子封包，并依序传送给视频合并电路330。在本实施例中，视频合并电路430可以利用第二视频缓冲器470来暂存视频信息封包PKG3～PKG6的多个子封包，并可以在显示器的显示画面更新时，自第二视频缓冲器470中读取视频信息封包PKG3～PKG6的全部子封包，以进行后续的封包还原与合并为输出视频OP的动作。
在此请特别注意，本实施例的时分多路复用传输是指传输安排电路420会利用显示器的视频更新时间，对不同的视频信息封包PKG3～PKG6的子封包安排不同的传输时间间隔，再依序传输至视频合并电路430。例如，在本实施例中，输出视频OP的完整显示画面由18个子封包所组成，其中包含视频信息封包PKG3～PKG6分别占用的7、3、4、4个子封包。则传输安排电路420可以利用显示器的视频更新时间(例如，16.6毫秒/60赫兹)，计算出视频信息封包PKG3～PKG6各自的子封包的传送时间间隔(例如，视频信息封包PKG3的子封包的传送时间间隔可以为16.6毫秒/7＝2.37毫秒)，以平均传送视频信息封包PKG3～PKG6的多个子封包。如此一来，本实施例所述的时分多路复用传输方式，可以避免可能会因为视频信息封包PKG3～PKG6被分割成不同数量的子封包又同时发送，而造成在一开始过于集中传送导致子封包丢失，以及在部分视频信息封包PKG3～PKG6的子封包传完后(例如在图4中的视频信息封包PKG4会最先传完)会有传输带宽被浪费等问题。另一方面，由于本发明是通过减少或是不传输显示画面中层叠而被遮蔽部份的视频像素数据的方式来产生输出视频OP，因此在传输安排电路420传送视频信息封包至视频合并电路430时所需的传输带宽相当于仅有一个视频信息的传输带宽，且第二视频缓冲器470所需的传输带宽与暂存空间最多也仅需相当于传输单一个以全屏幕显示的视频信息所需的硬件资源。
请同时参照图5A与图5B。图5A至图5B示出本发明另一实施例的图像处理装置的操作示意图。其中图像处理电路510、视频合并电路530与显示器540适用于图2中的图像处理电路210、视频合并单元230与显示器240。于图5A中示出了显示器540上的视频变化，图5B则示出图像处理装置针对不可视视频数据的处理动作。
在本实施例中，图像处理电路510可以分开传输在显示器540的显示画面上未因层叠而被遮蔽的可视视频、以及被遮蔽的不可视视频所分别对应的视频信息封包(例如不可视视频像素的位置、位移信息以及尺寸信息)，以利视频合并电路530还原成完整的输出视频。例如，在本实施例中，当图5A中的显示器540的显示视频由输出视频OP_1进行缩放变为输出视频OP_2时，其可视视频与不可视视频皆会被放大。则图5B中的图像处理电路510可以选择先将输出视频OP_1中的可视视频的视频像素数据传递至视频合并电路530。然后将输出视频OP_1中的不可视视频数据拆成多个矩形(例如图5A中的三块矩形)，并依照相对于输出视频OP_1的原点(例如在本实施例中为左上角)纪录其位置信息、位移信息以及尺寸信息，再将这些不可视视频的位置信息、位移信息以及尺寸信息传送至视频合并电路530。如此一来，在视频合并电路530需要进行显示器540的显示画面缩放处理时，可以依照这些不可视视频的视频信息，将显示画面还原成正常大小。
请参照图6。图6示出本发明一实施例的图像处理方法的流程图。此图像处理方法适用于图1包括视频合并电路130的图像处理装置100以及显示器140来实现。于步骤S610中，图像处理装置100以第一带宽接收第一视频信息，以第二带宽接收第二视频信息，并对第一视频信息以及第二视频信息进行处理后产生第一视频信息封包以及第二视频信息封包。
于步骤S620中，图像处理装置100以第三带宽传输第一视频信息封包以及第二视频信息封包至视频合并电路130。于步骤S630中，通过视频合并电路130以将第一视频信息封包以及第二视频信息封包还原成第一视频信息以及第二视频信息。于步骤S640中，通过视频合并电路130共同输出第一视频信息以及第二视频信息至显示器140，当第一视频信息以及第二视频信息都为全屏幕模式时，第三带宽小于第一带宽以及第二带宽的和。关于上述图像处理方法的步骤的实施细节，请参照前述实施例的说明。
综上所述，于本发明的实施例中，所述的图像处理装置及多画面显示的图像处理方法可以将多个视频来源进行处理，以减少因为显示画面重叠而被遮蔽的未显示视频的数据量，让这些未显示视频不会占用到硬件设备的传输带宽。如此一来，可以在同时维持更新率且不影响显示视频质量的前提下，不限制输入视频的叠加数量与视频画面的显示大小，并且可将这些视频画面都使用接近全屏幕的尺寸进行显示且不增加图像处理装置在处理以及传输这些视频画面时所需的传输带宽以及暂存空间，进而节省成本和降低硬件设计的复杂度。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (16)
1.一种图像处理装置，其特征在于，包括：
图像处理电路，以第一带宽接收第一视频信息，以第二带宽接收第二视频信息，并对所述第一视频信息以及所述第二视频信息进行处理后产生第一视频信息封包以及第二视频信息封包；
传输安排电路，接收所述第一视频信息封包以及所述第二视频信息封包，以及
视频合并电路，以第三带宽从所述传输安排电路接收所述第一视频信息封包以及所述第二视频信息封包，并将所述第一视频信息封包以及所述第二视频信息封包还原成所述第一视频信息以及所述第二视频信息，并将所述第一视频信息以及所述第二视频信息输出至显示器；
其中，所述第三带宽小于所述第一带宽以及所述第二带宽的和。
2.根据权利要求1所述的图像处理装置，其中所述传输安排电路利用时分多路复用的方式以所述第三带宽将所述第一视频信息封包以及所述第二视频信息封包传送给所述视频合并电路。
3.根据权利要求1所述的图像处理装置，还包括：
控制器，耦接所述图像处理电路；
其中所述控制器用以依据显示窗口调整操作调整与所述第一视频信息对应的第一掩码以及与所述第二视频信息对应的第二掩码；
其中所述图像处理电路依据所述第一掩码以对所述第一视频信息进行处理后产生所述第一视频信息封包，且依据所述第二掩码以对所述第二视频信息进行处理后产生所述第二视频信息封包。
4.根据权利要求3所述的图像处理装置，其中所述第一掩码与所述第二掩码分别用以表示相对于全屏幕区域的第一视频致能区域与第二视频致能区域，所述第一掩码中的所述第一视频致能区域与所述第二掩码中的所述第二视频致能区域互不重叠。
5.根据权利要求1所述的图像处理装置，其中所述第一视频信息封包包括第一视频以及第一视频设定信息，所述第二视频信息封包包括第二视频以及第二视频设定信息；
其中所述视频合并电路包括视频缩放器，所述视频缩放器依据所述第一视频设定信息以及所述第二视频设定信息以在输出视频中配置所述第一视频与所述第二视频的显示位置，以将所述第一视频信息以及所述第二视频信息整合在所述输出视频中；
其中所述视频合并电路提供所述输出视频至所述显示器，以使所述显示器进行显示。
6.根据权利要求5所述的图像处理装置，其中所述第一视频设定信息用以表示所述第一视频位于全屏幕区域中的第一区域，所述第二视频设定信息用以表示所述第二视频位于所述全屏幕区域中的第二区域，其中所述第一区域与所述第二区域互不重叠。
7.根据权利要求6所述的图像处理装置，其中所述第一视频设定信息包括所述第一区域相对于所述全屏幕区域的位移信息以及尺寸信息，所述第二视频设定信息包括所述第二区域对于所述全屏幕区域的位移信息以及尺寸信息；
其中所述视频缩放器依据所述第一视频设定信息与所述第二视频设定信息中所述第一区域与所述第二区域各自的位移信息以及尺寸信息以在所述输出视频中配置所述第一视频与所述第二视频的显示位置。
8.根据权利要求1所述的图像处理装置，还包括：
第一视频缓冲器，耦接所述图像处理电路，
其中所述图像处理电路利用所述第一视频缓冲器来暂存所述第一视频信息与所述第二视频信息。
9.根据权利要求1所述的图像处理装置，还包括：
第二视频缓冲器，耦接所述视频合并电路，
其中所述视频合并电路利用所述第二视频缓冲器来暂存所述第一视频信息封包与所述第二视频信息封包。
10.一种多画面显示的图像处理方法，适用于包括视频合并电路的图像处理装置，其特征在于，所述图像处理方法包括：
以第一带宽获得第一视频信息，以第二带宽获得第二视频信息，并对所述第一视频信息以及所述第二视频信息进行处理后产生第一视频信息封包以及第二视频信息封包；
以第三带宽传输所述第一视频信息封包以及所述第二视频信息封包至所述视频合并电路；以及
通过所述视频合并电路以将所述第一视频信息封包以及所述第二视频信息封包还原成所述第一视频信息以及所述第二视频信息；以及
共同输出所述第一视频信息以及所述第二视频信息至显示器；
其中，所述第三带宽小于所述第一带宽以及所述第二带宽的和。
11.根据权利要求10所述的图像处理方法，其中所述图像处理方法利用时分多路复用的方式以所述第三带宽将所述第一视频信息封包以及所述第二视频信息封包传送给所述视频合并电路。
12.根据权利要求10所述的图像处理方法，其中所述图像处理方法对所述第一视频信息以及所述第二视频信息进行处理后产生所述第一视频信息封包以及所述第二视频信息封包的步骤包括：
依据显示窗口调整操作调整与所述第一视频信息对应的第一掩码以及所述第二视频信息对应的第二掩码；以及
依据所述第一掩码以对所述第一视频信息进行处理后产生所述第一视频信息封包，且依据所述第二掩码以对所述第二视频信息进行处理后产生所述第二视频信息封包。
13.根据权利要求12所述的图像处理方法，其中所述第一掩码与所述第二掩码分别用以表示相对于全屏幕区域的第一视频致能区域与第二视频致能区域，所述第一掩码中的所述第一视频致能区域与所述第二掩码中的所述第二视频致能区域互不重叠。
14.根据权利要求10所述的图像处理方法，其中所述第一视频信息封包包括第一视频以及第一视频设定信息，所述第二视频信息封包包括第二视频以及第二视频设定信息；
其中，将所述第一视频信息封包以及所述第二视频信息封包还原成所述第一视频信息以及所述第二视频信息的步骤包括：
依据所述第一视频设定信息以及所述第二视频设定信息以在输出视频中配置所述第一视频与所述第二视频的显示位置，以将所述第一视频信息以及所述第二视频信息整合在所述输出视频中，其中所述输出视频用以提供至所述显示器，以使所述显示器进行显示。
15.根据权利要求14所述的图像处理方法，其中所述第一视频设定信息用以表示所述第一视频位于全屏幕区域中的第一区域，所述第二视频设定信息用以表示所述第二视频位于所述全屏幕区域中的第二区域，其中所述第一区域与所述第二区域互不重叠。
16.根据权利要求15所述的图像处理方法，其中所述第一视频设定信息包括所述第一区域相对于所述全屏幕区域的位移信息以及尺寸信息，所述第二视频设定信息包括所述第二区域对于所述全屏幕区域的位移信息以及尺寸信息；
其中，将所述第一视频信息以及所述第二视频信息整合在所述输出视频中的步骤包括：
依据所述第一视频设定信息与所述第二视频设定信息中所述第一区域与所述第二区域各自的位移信息以及尺寸信息以在所述输出视频中配置所述第一视频与所述第二视频的显示位置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109136790A TWI772933B (zh) | 2020-10-23 | 2020-10-23 | 影像處理裝置及多畫面顯示的影像處理方法 |
| TW109136790 | 2020-10-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114500880A true CN114500880A (zh) | 2022-05-13 |
Family
ID=81257083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011548881.2A Pending CN114500880A (zh) | 2020-10-23 | 2020-12-24 | 图像处理装置及多画面显示的图像处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11798518B2 (zh) |
| CN (1) | CN114500880A (zh) |
| TW (1) | TWI772933B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201010436A (en) * | 2008-08-19 | 2010-03-01 | Tech Advance Ind Co Ltd | Data transmission method and device, data receiving method and device, and computer program products thereof |
| CN101820524A (zh) * | 2010-03-22 | 2010-09-01 | 中兴通讯股份有限公司 | 用于电视会议的视频播放方法 |
| TW201304502A (zh) * | 2011-07-13 | 2013-01-16 | Nueteq Technology Inc | 影像訊號傳送裝置、接收裝置、傳輸系統及其方法 |
| US20130250121A1 (en) * | 2012-03-23 | 2013-09-26 | On-Net Survillance Systems, Inc. | Method and system for receiving surveillance video from multiple cameras |
| CN104641412A (zh) * | 2012-09-05 | 2015-05-20 | Ati科技无限责任公司 | 用于选择性显示刷新的方法和设备 |
| CN109525858A (zh) * | 2017-09-18 | 2019-03-26 | 联咏科技股份有限公司 | 视频编码电路以及无线视频传输装置与方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1343315A1 (en) | 2002-03-08 | 2003-09-10 | Synelec Telecom Multimedia | Video wall |
-
2020
- 2020-10-23 TW TW109136790A patent/TWI772933B/zh active
- 2020-12-24 CN CN202011548881.2A patent/CN114500880A/zh active Pending
-
2021
- 2021-07-23 US US17/383,452 patent/US11798518B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201010436A (en) * | 2008-08-19 | 2010-03-01 | Tech Advance Ind Co Ltd | Data transmission method and device, data receiving method and device, and computer program products thereof |
| CN101820524A (zh) * | 2010-03-22 | 2010-09-01 | 中兴通讯股份有限公司 | 用于电视会议的视频播放方法 |
| TW201304502A (zh) * | 2011-07-13 | 2013-01-16 | Nueteq Technology Inc | 影像訊號傳送裝置、接收裝置、傳輸系統及其方法 |
| US20130250121A1 (en) * | 2012-03-23 | 2013-09-26 | On-Net Survillance Systems, Inc. | Method and system for receiving surveillance video from multiple cameras |
| CN104641412A (zh) * | 2012-09-05 | 2015-05-20 | Ati科技无限责任公司 | 用于选择性显示刷新的方法和设备 |
| CN109525858A (zh) * | 2017-09-18 | 2019-03-26 | 联咏科技股份有限公司 | 视频编码电路以及无线视频传输装置与方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202218434A (zh) | 2022-05-01 |
| TWI772933B (zh) | 2022-08-01 |
| US11798518B2 (en) | 2023-10-24 |
| US20220130349A1 (en) | 2022-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103021378B (zh) | 一种多屏拼接显示装置和方法 | |
| US20170084231A1 (en) | Imaging system management for camera mounted behind transparent display | |
| CN106528025B (zh) | 多屏图像投屏方法、终端、服务器和系统 | |
| US10593298B2 (en) | Display control device, display control method, and display apparatus | |
| CN109461413B (zh) | 一种背光驱动方法、装置及液晶显示装置 | |
| US11334307B2 (en) | Image display method and video processing device | |
| US20170339379A1 (en) | Video display apparatus, video display system, and luminance adjusting method of video display apparatus | |
| US9967540B2 (en) | Ultra high definition 3D conversion device and an ultra high definition 3D display system | |
| US20180295339A1 (en) | Non-transitory storage medium and apparatus for processing source image to generate target image | |
| CN1873607A (zh) | 高速多画面多屏融合显示处理装置 | |
| US20200342678A1 (en) | Electronic Device With Coordinated Camera and Display Operation | |
| US20070262944A1 (en) | Apparatus and method for driving a display panel | |
| WO2011074172A1 (ja) | 情報表示装置、表示制御用集積回路、表示制御プログラム、及び表示制御方法 | |
| US20240177691A1 (en) | Dynamic frame rate optimization | |
| CN114500880A (zh) | 图像处理装置及多画面显示的图像处理方法 | |
| JP2006235233A (ja) | 大画面の映像表示方法、映像表示装置及び大画面映像表示装置 | |
| CN2842931Y (zh) | 高速多画面多屏融合显示处理装置 | |
| US10896660B2 (en) | Display control device, display device, and display control method | |
| KR20130048491A (ko) | 데이터 라인들간의 슬루 레이트 편차를 감소시키는 디스플레이 패널 구동장치 | |
| CN114584641A (zh) | 显示调整方法、装置、电子设备及存储介质 | |
| CN111176599A (zh) | 一种拼接屏控制系统 | |
| WO2024117465A1 (ko) | 디스플레이 장치 및 그 구동 방법 | |
| US20210152714A1 (en) | System and method for connecting multiple video, metadata and remote telecommand signals for teleprompting and other applications | |
| CN114564267B (zh) | 信息处理方法、装置、电子设备和存储介质 | |
| TWI783625B (zh) | 用於圖框率控制的晶片組與相關的影像處理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |