CN113905171A - 多路图像处理装置及方法 - Google Patents

多路图像处理装置及方法 Download PDF

Info

Publication number
CN113905171A
CN113905171A CN202010642096.7A CN202010642096A CN113905171A CN 113905171 A CN113905171 A CN 113905171A CN 202010642096 A CN202010642096 A CN 202010642096A CN 113905171 A CN113905171 A CN 113905171A
Authority
CN
China
Prior art keywords
image
image processing
pixel
merged
redundant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010642096.7A
Other languages
English (en)
Other versions
CN113905171B (zh
Inventor
邱庆哲
何东宇
金少华
戴洪海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realtek Semiconductor Corp
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Priority to CN202010642096.7A priority Critical patent/CN113905171B/zh
Priority to TW109127424A priority patent/TWI748597B/zh
Priority to US17/131,827 priority patent/US11640658B2/en
Publication of CN113905171A publication Critical patent/CN113905171A/zh
Application granted granted Critical
Publication of CN113905171B publication Critical patent/CN113905171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开一种多路图像处理装置。影像合并电路被配置以：接收至少其中之一具有最大像素行数的多影像画面；使影像画面中，像素行数小于最大像素行数者产生冗余像素行，以使所有影像画面的像素行数等于最大像素行数；使影像画面产生冗余像素列，其数目由最大计算窗口的大小决定；使每两个待合并的影像画面通过冗余像素列合并，产生合并影像画面。图像处理电路对合并影像画面进行图像处理程序，产生处理后合并影像画面，其中图像处理程序至少部分是根据最大计算窗口所运算。影像分割电路将处理后合并影像画面分割产生处理后影像画面。

Description

多路图像处理装置及方法
技术领域
本发明是关于图像处理技术，尤其是关于一种多路图像处理装置及方法。
背景技术
在影像监视系统的技术演进下，摄影机输出的影像分辨率愈来愈大，系统中的摄影机数量也愈来愈多。在这样的状况下，用以处理多路影像的影像信号处理(image signalprocessing；ISP)芯片，将在设计上面临更多的挑战。
举例而言，影像信号处理芯片的面积主要由暂存影像的内存大小以及逻辑电路的大小决定。影像分辨率的增加，将使影像信号处理芯片需要更大容量的内存进行暂存。而摄影机数量的增加，则使影像信号处理芯片的逻辑电路需要更强大的平行处理能力。因此，如果没有更具效率的图像处理技术，影像信号处理芯片的面积成本将大幅上升。
发明内容
鉴于先前技术的问题，本发明之一目的在于提供一种多路图像处理装置及方法，以改善先前技术。
本发明包含一种多路图像处理装置，包含：影像合并电路、图像处理电路以及影像分割电路。影像合并电路被配置以：接收分别具有像素行数以及像素列数的多影像画面，影像画面至少其中之一具有最大像素行数；使影像画面中，像素行数小于最大像素行数者产生至少一冗余像素行，以使所有影像画面的像素行数等于最大像素行数；使每两个待合并的影像画面分别对应产生至少一冗余像素列，冗余像素列的数目由最大计算窗口(window)的大小决定；使每两个待合并的影像画面通过对应的冗余像素列合并，以在所有的影像画面合并后产生合并影像画面。图像处理电路被配置以对合并影像画面进行图像处理程序，以产生处理后合并影像画面，其中图像处理程序至少部分是根据最大计算窗口所运算。影像分割电路被配置以将处理后合并影像画面中对应冗余像素行以及冗余像素列的部分移除，以分割产生多个处理后影像画面。
本发明另包含一种多路图像处理方法，包含：通过影像合并电路接收分别具有像素行数以及像素列数的多影像画面，影像画面至少其中之一具有最大像素行数；通过影像合并电路使影像画面中，像素行数小于最大像素行数者产生至少一冗余像素行，以使所有影像画面的像素行数等于最大像素行数；通过影像合并电路使每两个待合并的影像画面分别对应产生至少一冗余像素列，冗余像素列的数目由最大计算窗口的大小决定；通过影像合并电路使每两个待合并的影像画面通过对应的冗余像素列合并，以在所有的影像画面合并后产生合并影像画面；通过图像处理电路对合并影像画面进行图像处理程序，以产生处理后合并影像画面，其中图像处理程序至少部分是根据最大计算窗口所运算；以及通过影像分割电路将处理后合并影像画面中对应冗余像素行以及冗余像素列的部分移除，以分割产生多个处理后影像画面。
有关本发明的特征、实施与功效，现配合附图作较佳实施例详细说明如下。
附图说明
图1显示本发明的一实施例中，一种多路图像处理装置的方块图；
图2A至图2D显示本发明的一实施例中，影像画面经由影像合并电路进行合并的各阶段的示意图；以及
图3显示本发明一实施例中，一种多路图像处理方法的流程图。
【符号说明】
100:多路图像处理装置
110:影像合并电路
120:图像处理电路
130:影像分割电路
140A、140B:摄影机
150A、150B:影像前处理电路
200A、200B:像素
210、220、230:冗余像素列
300:多路图像处理方法
S310～S360:步骤
CA、CB:像素列数
CBA、CBB、CBM:列间隔信息
CEA、CEB、CEM:列结束信息
CSA、CSB、CSM:列起始信息
IMA、IMB:影像画面
IMM:合并影像画面
IMP:处理后合并影像画面
IMAP、IMBP:处理后影像画面
RA、RB、RC:像素列数
FBA、FBB、FBM:画面间隔信息
FEA、FEB、FEM:画面结束信息
FSA、FSB、FSM:画面起始信息
具体实施方式
本发明之一目的在于提供一种多路图像处理装置及方法，对多路影像画面产生冗余像素，不仅使影像画面的尺寸相符，更可使影像画面不会在以计算窗口为单位的图像处理中被彼此的像素值影响，有效地共享图像处理电路的资源。多路图像处理装置的硬件成本将可大幅下降。
请参照图1。图1显示本发明之一实施例中，一种多路图像处理装置100的方块图。多路图像处理装置100包含：影像合并电路110、图像处理电路120以及影像分割电路130。
影像合并电路110被配置以接收多影像画面。在一实施例中，不同的影像画面是来自于不同的多个摄影机。
影像合并电路110将此些影像画面合并后经由图像处理电路120处理，达到使多路影像画面共享图像处理电路120的资源的目的。在一实施例中，为达到最有效的资源共享目的，图像处理电路120所进行的是以计算窗口(window)为单位，同时对影像画面中的多个像素进行运算的图像处理程序。在一实施例中，上述以计算窗口为单位的图像处理程序包含例如，但不限于时域去噪、边缘增强、插值或其组合。
在图像处理电路120处理完成后，影像分割电路130将进一步把处理完成的影像分割回影像合并前的原始尺寸，以在硬件成本较低的情形下达到图像处理的目的。
以下将针对多路图像处理装置100的结构与运作方式，进行更详细的说明。
在一实施例中，影像合并电路110被配置以分别接收来自两个摄影机140A、140B的两个影像画面(frame)IMA、IMB。其中，多路图像处理装置100实际上可还包含影像前处理电路150A、150B，分别先对影像画面IMA、IMB进行前图像处理程序，再由影像合并电路110接收。
在一实施例中，影像前处理电路150A、150B所进行的是以影像画面中的个别像素进行运算的前图像处理程序，相对以计算窗口为单位的图像处理程序而言运算量较小。前图像处理程序可包含例如，但不限于自动曝光、自动白平衡或其组合。
请同时参照图2A至图2D。图2A至图2D显示本发明之一实施例中，影像画面IMA、IMB经由影像合并电路110进行合并的各阶段的示意图。
如图2A所示，影像画面IMA、IMB包含以矩阵形式排列成多行(row)与多列(column)的多像素200A、200B。其中，影像画面IMA具有像素行数RA以及像素列数CA，影像画面IMB具有像素行数RB以及像素列数CB。影像画面IMA、IMB至少其中之一具有最大像素行数。
举例而言，影像画面IMA的像素行数RA以及像素列数CA分别为768以及1024，影像画面IMB的像素行数RB以及像素列数CB分别为600以及800。影像画面IMA的像素行数RA(768)大于影像画面IMB的像素行数RB(600)，影像画面IMA将具有最大像素行数(768)。
在一实施例中，影像画面IMA、IMB在像素200A、200B外，还包含个别画面同步信息以及个别列同步信息。其中，影像画面IMA的个别画面同步信息包含画面(frame)起始信息FSA、画面结束信息FEA以及画面间隔信息FBA。影像画面IMA的个别列同步信息包含列起始信息CSA、列结束信息CEA以及列间隔信息CBA。
类似地，影像画面IMB的个别画面同步信息包含画面起始信息FSB、画面结束信息FEB以及画面间隔信息FBB。影像画面IMB的个别列同步信息包含列起始信息CSB、列结束信息CEB以及列间隔信息CBB。
在一实施例中，影像合并电路110可依据影像画面IMA、IMB的画面初始信息FSA、FSB，先将影像画面IMA、IMB对齐。
接着，影像合并电路110被配置以使影像画面中，像素行数小于最大像素行数者产生至少一冗余像素行，以使所有影像画面的像素行数等于最大像素行数。
如图2B所示，由于影像画面IMA的像素行数已是最大像素行数，因此影像合并电路110不需对影像画面IMA产生冗余像素行。由于而影像画面IMB的像素行数小于最大像素行数，因此影像合并电路110对影像画面IMB产生冗余像素行210。
其中，冗余像素行210的数目，是依最大像素行数(像素行数RA)与影像画面IMB原本的像素行数(像素行数RB)的差距而定。举例而言，当最大像素行数为768，影像画面IMB原本的像素行数为600，则冗余像素行210将为168行。因此，在冗余像素行210产生后，影像画面IMA、IMB的像素行数均为RA。
在一实施例中，冗余像素行210的像素值，是由影像合并电路110复制影像画面IMB的边界像素行的像素值所产生。举例而言，当影像画面IMB原本的像素行数为600时，冗余像素行210的像素值是由影像画面IMB的第600行复制而来。
需注意的是，上述的范例中，冗余像素行210是根据影像画面IMB中最后一行的边界像素行产生。在一实施例中，冗余像素行210也可选择性根据影像画面IMB中第一行的边界像素行产生，或者部分根据第一行、部分根据最后一行的边界像素行产生。
接着，影像合并电路110被配置以使每两个待合并的影像画面分别对应产生至少一冗余像素(dummy pixel)列，冗余像素列的数目由最大计算窗口(window)的大小决定。一般而言，冗余像素列的列数不超过影像画面的总列数的1％，但不以此为限。
如图2C所示，影像合并电路110使待合并的影像画面IMA、IMB分别对应产生冗余像素列220、230。其中，冗余像素列220、230的数目分别为像素列数RC。
在一实施例中，图像处理电路120所进行的图像处理程序中，至少部分是根据一个最大计算窗口所运算，且其尺寸为N×N，N为奇数正整数。其中，影像合并电路110使影像画面IMA、IMB分别对应产生的冗余像素列的像素列数RC为(N-1)/2。举例而言，当N为7时，影像合并电路110使影像画面IMA对应最后一列的边界像素列，产生数目为3((7-1)/2＝3)的冗余像素列220。同时，影像合并电路110使影像画面IMB对应第一列的边界像素列，产生数目为3的冗余像素列230。
类似地，冗余像素列220、230的像素值，是由影像合并电路110复制影像画面IMA、IMB的边界像素列的像素值所产生。举例而言，当影像画面IMA原本的像素列数为1024时，冗余像素列220的像素值是由影像画面IMA的第1024列(最末列)复制而来。而对影像画面IMB而言，冗余像素列230的像素值则是由影像画面IMB的第1列(最首列)复制而来。冗余像素列220、230的像素值也可自影像画面IMA、IMB的其他像素复制而来，并不以此为限。
通过上述根据最大计算窗口所产生的冗余像素列220、230，影像画面IMA、IMB可在图像处理电路120时不受彼此的像素值影响。
进一步地，影像合并电路110被配置以使每两个待合并的影像画面通过对应的冗余像素列合并，以在所有的影像画面合并后产生合并影像画面。
如图2D所示，影像合并电路110使影像画面IMA、IMB通过对应的冗余像素列220、230合并(使冗余像素列220拼接于冗余像素列230)，以在影像画面IMA、IMB合并后产生合并影像画面IMM。
在一实施例中，当影像画面IMA原本具有像素行数RA、像素列数CA，影像画面IMB原本具有像素行数RB以及像素列数CB，最大像素行数为RA，且对应影像画面IMA、IMB所产生的冗余像素列220、230的数目分别为像素列数RC，则合并影像画面IMM的像素行数将为RA(即最大像素行数)，而像素列数则为CA+CB+2×RC。
在一实施例中，影像合并电路110还被配置以移除影像画面IMA、IMB各包含的个别画面同步信息以及个别列同步信息，并产生合并影像画面IMM的合并画面同步信息以及合并列同步信息。在一实施例中，合并画面同步信息包含画面起始信息FSM、画面结束信息FEM以及画面间隔信息FBM。合并列同步信息包含列起始信息CSM、列结束信息CEM以及列间隔信息CBM。
图像处理电路120被配置以对合并影像画面IMM进行图像处理程序，以产生处理后合并影像画面IMP。在一实施例中，图像处理电路120包含例如，但不限于用以暂存处理后合并影像画面IMP的内存，以及实际对暂存处理后合并影像画面IMP进行图像处理运算的逻辑电路(未绘示)。如先前所述，图像处理电路120所进行的，是以计算窗口为单位，同时对影像画面中的多个像素进行运算的图像处理程序，因此不再赘述。
影像分割电路130被配置以将处理后合并影像画面IMP中对应冗余像素行(即冗余像素行210)以及冗余像素列(即冗余像素列220、230)的部分移除，以分割产生处理后影像画面IMAP、IMBP。其中，处理后影像画面IMAP、IMBP的像素行数以及像素列数分别对应于原始的影像画面IMA、IMB。
在一实施例中，影像分割电路130还被配置以对处理后影像画面IMAP、IMBP重建个别画面同步信息以及个别列同步信息。
因此，在影像分割电路130进行个别画面同步信息以及个别列同步信息的重建后，处理后影像画面IMAP将包含画面起始信息FSA、画面结束信息FEA以及画面间隔信息FBA的画面同步信息，与列起始信息CSA、列结束信息CEA以及列间隔信息CBA的个别列同步信息。
另一方面，处理后影像画面IMBP将包含画面起始信息FSB、画面结束信息FEB以及画面间隔信息FBB的画面同步信息，与列起始信息CSB、列结束信息CEB以及列间隔信息CBB的个别列同步信息。
因此，本发明的多路图像处理装置可对多路的影像画面产生冗余像素，不仅使影像画面的尺寸相符，更可使影像画面不会在以计算窗口为单位的图像处理程序中被彼此的像素值影响，有效地共享图像处理电路的资源。举例而言，图像处理电路包含的硬件组件，例如但不限于内存以及逻辑单元可因此不需对应多路的影像画面分别独立设置。多路图像处理装置的硬件成本将可大幅下降。
需注意的是，上述的范例是以两个影像画面(即两路)为例进行说明。实际上，本发明的多路图像处理装置可对大于二的任意数目的影像画面进行合并与处理。并且，上述的范例是以先产生冗余像素行，后产生冗余像素列的顺序为例进行说明。实际上，本发明的多路图像处理装置也可选择性地先产生冗余像素列，后产生冗余像素行。
进一步地，上述的范例是以横向的像素为行，以纵向的像素为列为例进行说明。实际上，本发明的多路图像处理装置也可使横向的像素为列，以纵向的像素为行进行影像的合并与处理。本发明并不为上述的实施方式所限。
请参照图3。图3为本发明一实施例中，一种多路图像处理方法300的流程图。
除前述装置外，本发明另公开一种多路图像处理方法300，应用于例如，但不限于图1的多路图像处理装置100中。多路图像处理方法300的一实施例如图3所示，包含下列步骤：
步骤S310：通过影像合并电路110接收分别具有像素行数以及像素列数的多影像画面，例如图2A所示的影像画面IMA、IMB。影像画面至少其中之一具有最大像素行数。
步骤S320：通过影像合并电路110使影像画面中，像素行数小于最大像素行数者产生至少一冗余像素行，以使所有影像画面的像素行数等于最大像素行数。
以图2B的影像画面IMA、IMB为例，影像合并电路110将使影像画面IMB产生冗余像素行210，以使所有影像画面IMA、IMB的像素行数等于最大像素行数。
步骤S330：通过影像合并电路110使每两个待合并的影像画面分别对应产生至少一冗余像素列，冗余像素列的数目由最大计算窗口的大小决定。
以图2C的影像画面IMA、IMB为例，影像合并电路110将使影像画面IMA、IMB产生冗余像素列220、230。冗余像素列220、230的数目则是由图像处理电路120的最大计算窗口的大小决定。
步骤S340：通过影像合并电路110使每两个待合并的影像画面通过对应的冗余像素列合并，以在所有的影像画面合并后产生合并影像画面。
以图2D的合并影像画面IMM为例，影像合并电路110是使影像画面IMA、IMB分别通过对应的冗余像素列220、230进行合并而产生合并影像画面IMM。
步骤S350：通过图像处理电路120对合并影像画面，例如图2D的合并影像画面IMM进行图像处理程序，以产生处理后合并影像画面IMP，其中图像处理程序至少部分是根据最大计算窗口所运算。
步骤S360：通过影像分割电路130将处理后合并影像画面IMP中对应冗余像素行以及冗余像素列的部分移除，以分割产生多个处理后影像画面，例如处理后影像画面IMAP、IMBP。
需注意的是，上述的实施方式仅为一范例。在其他实施例中，本领域的通常知识者当可在不违背本发明的精神下进行更动。
综合上述，本发明中的多路图像处理装置及方法可对多路影像画面产生冗余像素，不仅使影像画面的尺寸相符，更可使影像画面不会在以计算窗口为单位的图像处理中被彼此的像素值影响，有效地共享图像处理电路的资源。多路图像处理装置的硬件成本将可大幅下降。
虽然本发明的实施例如上所述，然而这些实施例并非用来限定本发明，本技术领域具有通常知识者可依据本发明的明示或隐含的内容对本发明的技术特征施以变化，凡此种种变化均可能属于本发明所寻求的专利保护范畴，换言之，本发明的专利保护范围须视本申请的权利要求书所界定者为准。

Claims (10)

1.一种多路图像处理装置，其特征在于，包含：
一影像合并电路，被配置以：
接收分别具有一像素行数以及一像素列数的多影像画面，所述多影像画面至少其中之一具有一最大像素行数；
使所述多影像画面中，该像素行数小于该最大像素行数者产生至少一冗余像素行，以使所有所述多影像画面的该像素行数等于该最大像素行数；
使每两个待合并的所述多影像画面分别对应产生至少一冗余像素列，该冗余像素列的数目由一最大计算窗口(window)的大小决定；以及
使每两个待合并的所述多影像画面通过对应的该冗余像素列合并，以在所有的所述多影像画面合并后产生一合并影像画面；
一图像处理电路，被配置以对该合并影像画面进行一图像处理程序，以产生一处理后合并影像画面，其中该图像处理程序至少部分是根据该最大计算窗口所运算；以及
一影像分割电路，被配置以将该处理后合并影像画面中对应该冗余像素行以及该冗余像素列的部分移除，以分割产生多个处理后影像画面。
2.如权利要求1所述的多路图像处理装置，其特征在于，该影像合并电路更被配置以移除所述多影像画面各包含的一个别画面同步信息以及一个别列同步信息，并产生该合并影像画面的一合并画面同步信息以及合并列同步信息；
该影像分割电路对所述多个处理后影像画面分别重建该个别画面同步信息以及该个别列同步信息。
3.如权利要求2所述的多路图像处理装置，其特征在于，该影像合并电路还被配置以根据所述多影像画面各包含的该个别画面同步信息中的一画面初始信息，将所述多影像画面对齐。
4.如权利要求1所述的多路图像处理装置，其特征在于，该影像合并电路被配置以分别复制所述多影像画面的至少一边界像素行以及至少一边界像素列的多像素值产生该冗余像素行以及该冗余像素列。
5.如权利要求1所述的多路图像处理装置，其特征在于，该图像处理程序包含时域去噪、边缘增强、插值或其组合。
6.如权利要求1所述的多路图像处理装置，其特征在于，还包含多影像前处理电路，分别对所述多影像画面进行一前图像处理程序，再由该影像合并电路接收。
7.如权利要求5所述的多路图像处理装置，其特征在于，该前图像处理包含自动曝光、自动白平衡或其组合。
8.如权利要求1所述的多路图像处理装置，其特征在于，所述多影像画面分别来自多个摄影机其中之一。
9.如权利要求1所述的多路图像处理装置，其特征在于，该最大计算窗口的大小为N×N，且N为奇数正整数，该影像合并电路对每两个待合并所述多影像画面分别对应产生的该冗余像素列的数目为(N-1)/2。
10.一种多路图像处理方法，其特征在于，包含：
通过一影像合并电路接收分别具有一像素行数以及一像素列数的多影像画面，所述多影像画面至少其中之一具有一最大像素行数；
通过该影像合并电路使所述多影像画面中，该像素行数小于该最大像素行数者产生至少一冗余像素行，以使所有所述多影像画面的该像素行数等于该最大像素行数；
通过该影像合并电路使每两个待合并的所述多影像画面分别对应产生至少一冗余像素列，该冗余像素列的数目由一最大计算窗口的大小决定；
通过该影像合并电路使每两个待合并的所述多影像画面通过对应的该冗余像素列合并，以在所有的所述多影像画面合并后产生一合并影像画面；
通过一图像处理电路对该合并影像画面进行一图像处理程序，以产生一处理后合并影像画面，其中该图像处理程序至少部分是根据该最大计算窗口所运算；以及
通过一影像分割电路将该处理后合并影像画面中对应该冗余像素行以及该冗余像素列的部分移除，以分割产生多个处理后影像画面。
CN202010642096.7A 2020-07-06 2020-07-06 多路图像处理装置及方法 Active CN113905171B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010642096.7A CN113905171B (zh) 2020-07-06 2020-07-06 多路图像处理装置及方法
TW109127424A TWI748597B (zh) 2020-07-06 2020-08-12 多路影像處理裝置及方法
US17/131,827 US11640658B2 (en) 2020-07-06 2020-12-23 Multi-path image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010642096.7A CN113905171B (zh) 2020-07-06 2020-07-06 多路图像处理装置及方法

Publications (2)

Publication Number Publication Date
CN113905171A true CN113905171A (zh) 2022-01-07
CN113905171B CN113905171B (zh) 2024-04-26

Family

ID=79167081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010642096.7A Active CN113905171B (zh) 2020-07-06 2020-07-06 多路图像处理装置及方法

Country Status (3)

Country Link
US (1) US11640658B2 (zh)
CN (1) CN113905171B (zh)
TW (1) TWI748597B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123751A1 (en) * 2005-03-15 2008-05-29 Carsten Herpel Method and Apparatus for Encoding Plural Video Signals as a Single Encoded Video Signal, Method and Apparatus for Decoding Such an Encoded Video Signal
CN101257588A (zh) * 2008-03-20 2008-09-03 凌阳科技股份有限公司 用于处理电视分割画面的影像处理系统与方法
CN101631188A (zh) * 2008-07-14 2010-01-20 华晶科技股份有限公司 数字影像的合成方法
CN104184961A (zh) * 2013-05-22 2014-12-03 辉达公司 用于生成全景视频的移动设备和系统
US20150036736A1 (en) * 2013-07-31 2015-02-05 Axis Ab Method, device and system for producing a merged digital video sequence
CN104869376A (zh) * 2015-05-18 2015-08-26 中国科学院自动化研究所 视频融合中多图像多像素级别几何校正方法
US20160301881A1 (en) * 2015-04-10 2016-10-13 Apple Inc. Generating synthetic video frames using optical flow
CN106296614A (zh) * 2016-08-17 2017-01-04 北京集创北方科技股份有限公司 图像处理装置及图像处理方法
CN106604011A (zh) * 2015-10-16 2017-04-26 联咏科技股份有限公司 处理来源图像以产生目标图像的方法及装置
CN108347641A (zh) * 2017-01-25 2018-07-31 晨星半导体股份有限公司 配合电视传播系统的动态影像处理装置及动态影像处理方法
CN108881927A (zh) * 2017-11-30 2018-11-23 北京视联动力国际信息技术有限公司 一种视频数据合成方法和装置
CN109640085A (zh) * 2010-04-09 2019-04-16 索尼公司 图像处理装置和方法
US20190297294A1 (en) * 2018-03-20 2019-09-26 Texas Instruments Incorporated Redundancy in active pixel sensor
TW201939953A (zh) * 2018-03-16 2019-10-01 晨星半導體股份有限公司 影像壓縮系統及利用影像壓縮系統以壓縮影像畫面的方法
CN111263208A (zh) * 2018-11-30 2020-06-09 杭州海康威视数字技术股份有限公司 一种画面合成方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4949391A (en) * 1986-09-26 1990-08-14 Everex Ti Corporation Adaptive image acquisition system
US10225582B1 (en) * 2017-08-30 2019-03-05 Microsoft Technology Licensing, Llc Processing live video streams over hierarchical clusters

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123751A1 (en) * 2005-03-15 2008-05-29 Carsten Herpel Method and Apparatus for Encoding Plural Video Signals as a Single Encoded Video Signal, Method and Apparatus for Decoding Such an Encoded Video Signal
CN101257588A (zh) * 2008-03-20 2008-09-03 凌阳科技股份有限公司 用于处理电视分割画面的影像处理系统与方法
CN101631188A (zh) * 2008-07-14 2010-01-20 华晶科技股份有限公司 数字影像的合成方法
CN109640085A (zh) * 2010-04-09 2019-04-16 索尼公司 图像处理装置和方法
CN104184961A (zh) * 2013-05-22 2014-12-03 辉达公司 用于生成全景视频的移动设备和系统
US20150036736A1 (en) * 2013-07-31 2015-02-05 Axis Ab Method, device and system for producing a merged digital video sequence
US20160301881A1 (en) * 2015-04-10 2016-10-13 Apple Inc. Generating synthetic video frames using optical flow
CN104869376A (zh) * 2015-05-18 2015-08-26 中国科学院自动化研究所 视频融合中多图像多像素级别几何校正方法
CN106604011A (zh) * 2015-10-16 2017-04-26 联咏科技股份有限公司 处理来源图像以产生目标图像的方法及装置
CN106296614A (zh) * 2016-08-17 2017-01-04 北京集创北方科技股份有限公司 图像处理装置及图像处理方法
CN108347641A (zh) * 2017-01-25 2018-07-31 晨星半导体股份有限公司 配合电视传播系统的动态影像处理装置及动态影像处理方法
CN108881927A (zh) * 2017-11-30 2018-11-23 北京视联动力国际信息技术有限公司 一种视频数据合成方法和装置
TW201939953A (zh) * 2018-03-16 2019-10-01 晨星半導體股份有限公司 影像壓縮系統及利用影像壓縮系統以壓縮影像畫面的方法
US20190297294A1 (en) * 2018-03-20 2019-09-26 Texas Instruments Incorporated Redundancy in active pixel sensor
CN111263208A (zh) * 2018-11-30 2020-06-09 杭州海康威视数字技术股份有限公司 一种画面合成方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIN GUO;XINYUE WEI;YIQING LIU: "An FPGA implementation of multi-channel video processing and 4K real-time display system", 2017 10TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING, BIOMEDICAL ENGINEERING AND INFORMATICS (CISP-BMEI 2017), 31 December 2017 (2017-12-31) *
王超凡: "面向监控的多路视频流拼接算法的研究", 中国优秀硕士论文库, 30 June 2019 (2019-06-30), pages 1 - 60 *

Also Published As

Publication number Publication date
TW202203154A (zh) 2022-01-16
US11640658B2 (en) 2023-05-02
CN113905171B (zh) 2024-04-26
TWI748597B (zh) 2021-12-01
US20220005167A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
US8441492B2 (en) Methods and apparatus for image processing at pixel rate
CN108073549B (zh) 卷积运算装置及方法
CN109845282B (zh) 图像数据处理方法及传输装置、图像显示方法及存储介质
CN111932459A (zh) 视频图像的处理方法及装置、电子设备、存储介质
CN112601068A (zh) 视频数据增广方法、装置及计算机可读介质
CN103533287A (zh) 一种视频处理方法及装置
WO2006020532A2 (en) Fast area-selected filtering for pixel-noise and analog artifacts reduction
CN113905171B (zh) 多路图像处理装置及方法
CN111083366B (zh) 基于数据分割的图像处理方法、装置及系统
CN114936633B (zh) 用于转置运算的数据处理单元及图像转置运算方法
CN113658050A (zh) 一种图像的去噪方法、去噪装置、移动终端及存储介质
US7149364B2 (en) Mean filter device and filtering method
KR100863925B1 (ko) 영상 에러 은닉 장치 및 방법
Mcllroy et al. Hardware for real-time image processing
CN109672841B (zh) 一种低成本de-interlace处理方法
Peng et al. Image restoration for interlaced scan CCD image with space-variant motion blurs
JP4435838B2 (ja) デジタルイメージ強化方法及びその装置
Xiang et al. Temporal Kernel Consistency for Blind Video Super-Resolution
JP3553376B2 (ja) 並列画像処理プロセッサ
CN110555802B (zh) 为图像并行运算电路提供数据的多像素拼接方法和系统
US8437546B2 (en) Image processing apparatus and method of controlling the same
Ge et al. Joint Video Denoising and Super-Resolution Network for IoT Cameras
CN116416195A (zh) 图像处理方法、计算机设备和计算机可读存储介质
JP2016075983A (ja) 画像処理装置、画像処理方法、及びプログラム
CN116389770A (zh) 一种基于FPGA的warp方法、装置、发送卡及显示控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant