CN112119631A - 监视图像生成方法、装置、设备和系统、图像处理设备 - Google Patents

监视图像生成方法、装置、设备和系统、图像处理设备 Download PDF

Info

Publication number
CN112119631A
CN112119631A CN201980031015.5A CN201980031015A CN112119631A CN 112119631 A CN112119631 A CN 112119631A CN 201980031015 A CN201980031015 A CN 201980031015A CN 112119631 A CN112119631 A CN 112119631A
Authority
CN
China
Prior art keywords
image
column
monitoring
column block
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980031015.5A
Other languages
English (en)
Inventor
杨磊
张青涛
麻军平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112119631A publication Critical patent/CN112119631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本说明书实施例提供一种监视图像生成方法、装置、设备和系统、图像处理设备，以图像列块的方式按行读出图像帧，一个图像列块块包含了若干列像素，保证了数据读出效率。读出的每个图像列块分别生成子监视图像，生成的子监视图像再写入监视图像存储空间的对应列块上，当将全幅图像分成N个图像列块时，片内存储RAM消耗只需要整个监视图像存储的1/N，大大降低了存储资源。该方法可以实现高分辨率图像的监视图像处理，可实现高分辨率、高帧频的监视图像生成。

Description

监视图像生成方法、装置、设备和系统、图像处理设备
技术领域
本公开涉及图像处理技术领域，具体而言，涉及监视图像生成方法、装置、设备和系统、图像处理设备。
背景技术
监视图像(waveform图像)是监视器上用来观测场景亮度，色彩度分布的波形图，它描述的是Y/U/V/R/G/B某一分量在图像上每一列的集中分布情况。监视器上应用的主要包括RGB或YUV三分量同时在监视器上显示或某一颜色分量单独在监视器上显示。
由于视频图像是按行缓存到DDR(Double Data Rate SDRAM，双倍速率同步动态随机存储器)存储中，并从DDR中按列调取图像进行waveform计算，因此，存在数据读取效率低的问题。另一种可实现的结构是在软件架构的cache或FPGA(Field－Programmable GateArray，现场可编程门阵列)的片内RAM(Random Access Memory，随机存取存储器)上开辟一个和要显示的waveform图同样的空间，图像按行输出，输出时每列独立进行统计，但受限于cache或片内RAM的大小，导致waveform图的精确度及准确性较低，同时也会占用大量片内存储资源。
发明内容
有鉴于此，本公开的实施例提出了监视图像生成方法、装置、设备和系统、图像处理设备，以解决相关技术中数据读取效率低，waveform图精确度及准确性较低，占用片内存储资源大的技术问题。
根据本公开实施例的第一方面，提出一种监视图像生成方法，所述方法包括：
将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上，以得到所述图像帧的监视图像，其中，所述图像帧被预先划分为多个图像列块，各个图像列块均包括所述图像帧的多列像素点，且各个图像列块对应的子监视图像均按照以下方式生成：
按行读取所述图像列块中的像素点；
根据所述像素点的像素值生成所述图像列块对应的子监视图像。
根据本公开实施例的第二方面，提出一种监视图像生成设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下方法：
将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上，以得到所述图像帧的监视图像，其中，所述图像帧被预先划分为多个图像列块，各个图像列块均包括所述图像帧的多列像素点，且各个图像列块对应的子监视图像均按照以下方式生成：
按行读取所述图像列块中的像素点；
根据所述像素点的像素值生成所述图像列块对应的子监视图像。
根据本公开实施例的第三方面，提出一种监视图像生成装置，其特征在于，还包括：
直方图统计单元，数据处理单元和数据输出单元；
针对图像帧中的各个图像列块，所述直方图统计单元用于分别各个生成所述图像列块各个列的统计直方图，并将所述统计直方图发送至数据处理单元；其中，所述图像帧被预先划分为多个图像列块；
所述数据处理单元用于根据所述图像列块各个列的统计直方图生成所述图像列块对应的子监视图像，并将所述子监视图像发送至数据输出单元；
所述数据输出单元用于将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上，以得到所述图像帧的监视图像。
根据本公开实施例的第四方面，提出一种监视图像生成系统，其特征在于，包括：
任一实施例所述的监视图像生成装置；以及
用于存储所述图像帧的存储单元。
根据本公开实施例的第五方面，提出一种图像处理设备，其特征在于，包括任一实施例所述的监视图像生成系统。
应用本说明书实施例方案，以图像列块的方式按行读出图像帧，一个图像列块块包含了若干列像素，保证了数据读出效率。读出的每个图像列块分别生成子监视图像，生成的子监视图像再写入监视图像存储空间的对应列块上，当将全幅图像分成N个图像列块时，片内存储RAM消耗只需要整个监视图像存储的1/N，大大降低了存储资源。该方法可以实现高分辨率图像的监视图像处理，可实现高分辨率、高帧频的监视图像生成。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开的实施例示出的一种监视图像生成方法的示意流程图。
图2是根据本公开的实施例示出的一种图像列块的示意图。
图3是根据本公开的实施例示出的监视图像的插值处理过程示意图。
图4是根据本公开的实施例示出的监视图像跳址结构示意图。
图5是根据本公开的实施例示出的监视图像生成装置的示意图。
图6是根据本公开的实施例示出的另一种监视图像生成装置的示意图。
图7是根据本公开的实施例示出的一种监视图像生成系统的示意图。
图8是根据本公开的实施例示出的另一种监视图像生成系统的示意图。
图9是根据本公开的实施例示出的用于实施本说明书方法的监视图像生成设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
如图1所示，是本说明书一个实施例的监视图像生成方法流程图。所述方法可包括：
步骤S101：将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上，以得到所述图像帧的监视图像，其中，所述图像帧被预先划分为多个图像列块，各个图像列块均包括所述图像帧的多列像素点，且各个图像列块对应的子监视图像均按照以下方式生成：
步骤S102：按行读取所述图像列块中的像素点；
步骤S103：根据所述像素点的像素值生成所述图像列块对应的子监视图像。
图像帧一般是按行进行读写的，而监视图像要求按照图像列处理整幅图像某一颜色分量的同像素的集中程度，对图像帧的每一列进行直方图统计。如果图像帧较大，用软件处理全部图像列计算时间较慢，很难实现高帧频大画幅的监视图像或三颜色分量的同时显示；若用硬件如FPGA(Field－Programmable Gate Array，现场可编程门阵列)或ASIC(Application Specific Integrated Circuit，特殊应用集成电路)来进行处理，由于图像帧按行输出按列统计，FPGA的架构难以实现pipeline，受限于片内RAM资源又难以实现全部列监视图像的缓存，多数只能小图显示，难以实现高帧频，大画幅精细监视图像的显示。
基于此，在本说明书实施例的方法中，预先将图像存储空间中的图像帧划分成多个图像列块(tile)，并按照预先划分的图像列块来对图像帧进行逐块读取，其中，每一个图像列块都采用逐行读取的方式进行读取，通过对逐个图像列块的监视图像进行计算来实现整个图像帧的监视图像计算。本说明书实施例可基于FPGA实现，监视图像生成过程可以由片内RAM执行，原图像帧可以存储在DDR中，生成的监视图像也可以存储在DDR中。
一个实施例的图像列块的示意图如图2所示。图中的图像帧包括9列，每3列划分为一个图像列块，共划分为3个图像列块。在对图像进行读取时，可以先按行读取图像列块1中的各个像素点；在图像列块1中的各个像素点均读取完毕之后，再按行读取图像列块2中的各个像素点；同样，在图像列块2中的各个像素点均读取完毕之后，再按行读取图像列块3中的各个像素点。
当访问一个图像列块中各个像素点的像素点时，可以根据该图像列块中各个像素点的像素值进行直方图统计，生成该图像列块对应的子监视图像。仍以图2所示的图像为例，在访问图像列块1中的各个像素点时，可以根据图像列块1中各个像素点的像素值生成图像列块1的子监视图像；在访问图像列块2中的各个像素点时，可以根据图像列块2中各个像素点的像素值生成图像列块2的子监视图像；同理，在访问图像列块3中的各个像素点时，可以根据图像列块3中各个像素点的像素值生成图像列块3的子监视图像。
在获取到子监视图像之后，可以将子监视图像写入监视图像存储空间的对应列块上。写入时，可以每获取到一个子监视图像就写入一个。
在上述实施例中，图像帧以图像列块的方式从图像存储空间中按行读取，由于每次可读取若干列，因此，保证了图像读出效率。将整幅图像帧划分成N个图像列块，处理单元中只需开辟一个可存储每个图像列块直方图的存储空间，因此资源消耗只需要整个监视图像存储的1/N，大大降低了存储资源，较小的片内RAM使用即可实现大幅监视图像的生成。因此，采用本说明书实施例的方法可以实现高分辨率图像的监视图像处理，并可实现高分辨率、高帧频的监视图像生成。
在一个实施例中，可以先确定一幅图像所需划分的图像列块的数量。为了保证数据读写效率，一般读写数时会连续读写若干个数据字节。因此，可以根据预设的数据读写效率确定对所述图像帧进行一次读写时的读写数据量，再根据所述读写数据量确定所述图像帧划分出的图像列块的数量。
假设图像共k列，需统计颜色分量的深度为q比特，选定一个满足数据读写效率的最小burst量，据此确定单色监视图像每个图像列块的图像列数为M，三色监视图像每个图像列块的图像列数为3M。三色监视图像需同时显示时，可以例化三倍的RAM，分别同时进行对应颜色分量的监视图像生成。假定图像为1080p RGB 8bit图像，M取64，要显示的单色和三色监视图像大小均为1920*512，三色waveform图是640*512的R、G、B三个waveform图的拼接结果。则单色显示时分成了30个图像列块，三色显示时分成了10个图像列块，存储每个颜色分量的每个图像列块的RAM空间大小为64*256*12bit。具体来说，单色监视图像M满足：
M*q＝burst量*burst宽度；
三色监视图像M满足：
3M*q＝burst量*burst宽度；
其中，为保证DDR读写效率，burst宽度一般大于32个字节，在某种情况下还需要保证连续读一个最小burst量的数据恰好为待读出的M个像素数据(对于单色监视图像)或者3M个像素数据(对于三色监视图像)的大小。
在一个实施例中，监视图像生成包括直方图统计和监视图像映射输出两个步骤。根据所述像素点的像素值生成所述图像列块对应的子监视图像的步骤包括：分别生成所述图像列块中各个列的统计直方图，并根据所述图像列块中各个列的统计直方图生成所述图像列块对应的子监视图像，其中，所述图像列块中各个列的统计直方图均根据以下方式生成：分别对所述列中各个像素值的像素点进行数量统计，得到所述列中对应像素值的统计值；根据所述列中各个像素值的统计值生成所述列的统计直方图。
现以图2所示的图像帧中图像列块1为例对生成图像列块1的子监视图像的过程进行说明，图像列块2和图像列块3的子监视图像按照类似的方式生成，此后不再赘述。可以分别生成第一列的统计直方图T1、第二列的统计直方图T2和第三列的统计直方图T3，然后根据T1、T2和T3生成图像列块1的子监视图像。其中，统计直方图T1可以根据以下方式生成：对图像列块1第一列中各个像素点的像素值进行统计，得到该列中各个像素值的像素点的个数，例如，像素值为0的像素点的个数为N0，像素值为1的像素点的个数为N1，像素值为2的像素点的个数为N2，等等，以此类推。N0，N1，N2，……即分别为像素值0，像素值1，像素值2，……的统计值。然后，可以根据N0，N1，N2，……生成图像列块1第一列的统计直方图。第二列和第三列的统计直方图按照类似的方式生成。
直方图统计时执行图像按列的统计方法。对于单色监视图像的统计，统计只在对应颜色空间内的RAM中进行，当一个图像列块包括64列时，每个RAM划分出64个直方图存储空间。对于分辨率为1080p的图像，从DDR读出的图像为每行64个像素，共1080行，按行输出，于是输入的第一个像素的对应分量在第一个直方图中统计，第二个像素的对应分量在第二个直方图中统计，第64个像素的对应分量在第64个直方图中统计，第65个像素的对应分量重新在第一个直方图中统计，以此类推统计完所有64列像素。
对于三色监视图像的统计，统计在三个RAM中同时进行，对于分辨率为1080p的图像，输入的图像为每行192个像素，共1080行，输入的第1、2、3个像素对应的每个分量分别在对应的第1个直方图中统计，第4、5、6个像素在第2个直方图统计，第190、191、192个像素在第64个直方图统计，第193、194、195个像素重新在第一个直方图中统计，以此类推统计完所有192列像素。
子监视图像可以直接根据统计直方图来生成，也可以根据图像的亮度来生成。具体来说，根据所述图像列块中各个列的统计直方图生成所述图像列块对应的子监视图像的步骤包括：对所述图像列块中各个列的统计直方图进行拼接，得到所述图像列块对应的子监视图像；或者分别将各个统计值映射为对应的亮度值，分别根据各个列的亮度值生成对应列的亮度分布图，对所述图像列块各个列的亮度分布图进行拼接，得到所述图像列块对应的子监视图像。
对于根据统计直方图来生成子监视图像的方式，可以将各个列的统计直方图横向拼接或者纵向拼接，得到所述图像列块对应的子监视图像。对于根据亮度值来生成子监视图像的方式，以图2中图像列块1中的第一列为例，可以将统计直方图T1中的各个统计值分别映射为亮度值，例如，将N0映射为Y0，将N1映射为Y1，将N2映射为Y2，……，以此类推。在将统计值映射为亮度值时，可以根据以下原则：将较大的统计值映射为较亮的亮度值，较小的统计值映射为较暗的亮度值。根据Y0，Y1，Y2，……可以得到第一列的亮度分布图。同理，对于图像列块1中的第二列和第三列也可以按照类似的方式生成亮度分布图。然后，对第一列的亮度分布图、第二列的亮度分布图和第三列的亮度分布图进行横向拼接或者纵向拼接，可以得到图像列块1的子监视图像。按照类似的方式可以得到图像列块2和图像列块3的子监视图像，此处不再赘述。
在一个实施例中，可以分别对各个统计值进行映射，映射方法包括线性映射法、非线性映射法以及查表映射法等，映射后得到所述统计值对应的亮度值。以线性映射法举例说明，在一个实施例中，分别对各个统计值进行线性映射的步骤包括：
按照以下方式对所述统计值进行线性映射：
Y＝histo(x)*(2k-1)/T；
式中，histo(x)是像素值为x的像素点的数量的统计值，T是预设的统计值上限，k是亮度值的表示位数，Y是亮度值。
本说明书中将统计值线性映射为亮度值的映射方式也可以采用其他公式，此外，也可以采用线性映射以外的其他映射方式将统计值映射为亮度值，此处不再赘述。
为了保证监视图像的高帧率，可以将两个监视图像生成模块做乒乓操作处理。通过“输入数据选择单元”和“输出数据选择单元”，按节拍、相互配合地切换，来将经过缓冲的数据流不停地送到“图像数据处理模块”进行运算及处理。使用乒乓操作可以完成数据的无缝缓冲与处理，还可以节约缓冲区空间。
一个监视图像生成模块完成直方图统计后需要将该图像列块的直方图数据映射输出，此时另一个监视图像生成模块可以在此时进行下一个图像列块的直方图统计，两个模块乒乓交错进行保证监视图像生成模块能够处理连续高帧频的视频源数据。在监视图像帧频要求不高的情况下也可以不做乒乓处理，一个图像列块的图像从图像存储单元读出后等待直方图数据统计及映射输出完毕后再读出新的数据，可以使监视图像生成过程占用的逻辑资源及片内RAM将近减少一倍。
监视图像要在显示屏上显示出来，按照原始大图统计得到的监视图像显示起来可能会太大，为了解决上述问题，可以采取以下三种方式中的至少一种：
方式一：
若显示屏的像素宽度小于每个图像列块的显示需求列数，可以进行相邻列的合并统计。其中，显示需求列数是指这一个图像列块的监视图像实际在显示屏上显示时所占的列像素个数。合并统计是指多列用一个直方图统计，假设显示需求需要监视图像宽度缩小3倍，则3列合并统计。通过这种方式，直接在统计时就合并，直接生成适合显示的监视图像小图，无需在进行监视图像显示时根据需求生成监视图像大图并进行等比例缩小。
方式二：
若显示屏的像素高度小于2q,可以执行相邻像素值的合并统计。举例来讲，8位像素统计高度是256，当监视图像要显示的高度是128时，则可以将像素值0和像素值1看作一个像素值统计，……，将像素值254和像素值255看作一个像素值统计，统计直方图的大小就是128了。通过这种方式，直接在统计时就合并，直接生成适合显示的监视图像小图，无需在进行监视图像显示时根据需求生成监视图像大图并进行等比例缩小。
方式三：
在将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上之前，分别对各个子监视图像进行缩放处理。对于任意分辨率的监视图像显示要求也可以采用该方案，可以先以一种固定分辨率生成一个图像列块的监视图像，将该监视图像缩放后再写入监视图像存储空间，多个缩放后的监视图像的拼接即可形成所需分辨率的监视图像。也可以生成一种固定分辨率的监视图像，一帧图像的监视图像计算完毕后再缩放得到所需分辨率的监视图像。例如，1080p，8位的图像都生成1920*256大小的监视图像，后续利用监视图像的缩放和拼接来将监视图像显示成所需的分辨率。对于一个图像帧划分成多个图像列块的情形，则每个图像列块都经过相应的缩放。
在一个实施例中，若所述子监视图像为单色监视图像，分别对所述列中各个像素值的像素点进行数量统计的统计步长为3；若所述子监视图像为三色监视图像，分别对所述列中各个像素值的像素点进行数量统计的统计步长为1。统计步长为3，即统计直方图统计按照加3递增的方法进行统计，一个对应像素值的像素点数量每增加1，该像素值对应的统计值加3。由于单色统计时每个统计直方图统计的是图像高度个像素，三色统计时每个统计直方图统计的是图像高度*3个像素，该意图是让单色统计的每个统计直方图的值最后乘以3，和三色统计的统计直方图一致，可进行同样的亮度映射。
当某一统计地址下的统计值达到该颜色分量定义下的最高上限T时，统计直方图的统计值保持为T不变。其中，统计地址就是直方图统计的统计像素值，例如，假设在统计直方图中，像素值为0的像素点数量的统计值为25，像素值为6的像素点数量的统计值为2，像素值为255的像素点数量的统计值为10，则0，6和255分别为3个统计地址，25，2和10则分别为这三个统计地址下的统计值。本实施例可以限制每个像素值的最大统计值，达到直方图消顶的效果。
当三色同时显示时，可以先输出r直方图数据的第一行(每个直方图的最大地址)，然后依次输出g直方图数据的第一行，b直方图数据的第一行，最后输出b直方图数据的最后一行。其他输出顺序也可以，只需保证在输出时将一个图像列块的三色直方图数据均写入DDR中对应颜色的监视图像存储空间中。
在一个实施例中，在将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上之前，还可以对所述子监视图像的像素点按行进行插值处理。一种可行的插值方式是：每一行数据拉伸成两行，除了最后一行外，扩展的第一行为原数据，扩展的第二行数据为当前行和下一行原数据的均值；最后一行扩展的两行数据均为原数据的复制。输出时，假设插值前子监视图像包括K行数据，则通过插值可将子监视图像扩展成2K行数据。在实际应用中可以根据显示需求来确定是否对子监视图像进行扩展。正常监视图像的大小是图像宽度*2m，m为统计像素数据宽度，若监视图像的位数是8位，则其高度就是256，如果用分辨率为1080p的显示屏显示可能会太小，因此，通过插值可以对监视图像的高度进行放大，例如，当原监视图像的高度为256时，通过上述方式可以将监视图像的高度放大到512。
监视图像映射输出过程如图3所示，原图的第1行存储的是a，e，……，h，原图的第2行存储的是b，f，……，j，则扩展后的第1行与原图的第1行相同，也是a，e，……，h，扩展后的第2行为原图中第1行与第2行的平均值，即(a+b)/2，(e+f)/2，(h+j)/2，扩展后的第3行与原图的第2行相同，也是b，f，……，j，扩展后的第4行为原图中第2行与第3行的平均值，以此类推。
除了以上插值方法，也可以采取其他的线性插值方式或者非线性插值方式来进行插值，或者采用图像像素复制，此处不再赘述。
生成的各个子监视图像可以按行跳址写入所述监视图像存储空间。对图像存储空间进行读取时，在每个burst中的数据连续读取，但在burst队列之间进行跳址，跳址成图像下一行的对应位置。取burst长度为64个像素，单色显示在每个burst后均跳址，三色显示在三个burst后进行跳址。跳址保证从图像存储空间中读出图像数据时依次将每个图像列块块按照从左到右，从上到下按行输出。监视图像写入监视图像存储空间时同样跳址写入，保证写入监视图像存储空间的监视图像即为连续的待显示的监视图像。
跳址读写结构如图4所示，DDR中存储的图像按照标号从小到大从DMA(DirectMemory Access，直接内存存取)中跳址读出。假设每个图像列块包括64列，图像共1080行，对于单色监视图像，每次读取64列，且这64列从第1行至第1080行按行读取；对于三色监视图像，每次读取192列，即，先读取r分量的第1列，再读取g分量的第1列，再读取b分量的第1列，……，一直到r分量的第64列，g分量的第64列，b分量的第64列，这192列从第1行至第1080行按行读取。读取到的图像列块按列进行直方图统计，统计完成后按标号从小到大的写地址写入DMA。假设256行的数据插值扩展成512行，则写入时，对于单色监视图像，先写入第1列至第64列，这64列数据从第1行至第512行按行写入；对于三色监视图像，先写入第1列至第192列，这192列数据从第1行至第512行按行写入。
从图像存储空间读取图像和将监视图像写入监视图像存储空间均进行跳址处理。图像存储空间存储的图像是逐行写入的整帧图像，读出的图像是按图像列块输出的逐行图像。监视图像存储空间写入的监视图像是一整幅监视图像的一个图像列块区域，全部写完后监视图像存储空间中恰好拼成一幅待显示的逐行存储的监视图像。读写跳址均保证了数据读写效率。
图4的跳址顺序可以任意指定，只需将一个图像列块的数据读出和对应图像列块的监视图像写到对应位置。更改图3的监视图像输出顺序，图4的跳址方法等可以轻易实现监视图像的上下翻转，左右翻转，3色监视图像显示的监视图像排布顺序等。
在一个实施例中，还可以对所述图像帧及其监视图像进行叠加显示。监视图像存储空间中存储的监视图像是单色亮度图，监视图像显示时还需要从监视图像存储空间中读出对应亮度数据并针对每个颜色分量的监视图像表示映射成相应的彩色分量。映射后的监视图像需要和原视频叠加显示。叠加可采用blend算法，一般是把监视图像经过色彩映射后透明化叠加到原始图像上。
对于1个时钟处理多个像素的如4k大分辨率图像，可以将用于一个图像列块存储的监视图像统计RAM分割成交错的若干份，使所有RAM能够在一个时钟内同时进行直方图统计，也可以在一个时钟内输出监视图像的多个像素，保证实时处理。举例来说，假设一个时钟处理4个像素，4个统计并行，原来一个图像列块用一个大RAM实现统计，现在用4个交错的小RAM进行统计，第一个RAM统计第1列，第5列，第9列，第二个RAM统计第2列，第6列，第10列，等等，不多占RAM资源，只是统计逻辑复用了4次，其他逻辑资源没有复用，所占资源不多。
本说明书实施例具有以下优点：
(1)可实现4k超大分辨率视频的监视图像生成，监视图像的处理频率可达到和输入频率相一致。
(2)可针对图像每列进行精细的直方图统计，生成大分辨率，高精度细腻的监视图像，不仅能实现单色监视图像，也可以实现多颜色分量的监视图像的同时计算及同时显示。
(3)生成的监视图像即为根据显示需求整理好的监视图像，不需要额外的拼接或数据重整。
如图5所示，是本说明书一个实施例的监视图像生成装置500的示意图。所述监视图像生成装置500包括：
直方图统计单元501，数据处理单元502和数据输出单元503；
针对图像帧中的各个图像列块，所述直方图统计单元501用于分别各个生成所述图像列块各个列的统计直方图，并将所述统计直方图发送至数据处理单元502；其中，所述图像帧被预先划分为多个图像列块；
所述数据处理单元502用于根据所述图像列块各个列的统计直方图生成所述图像列块对应的子监视图像，并将所述子监视图像发送至数据输出单元503；
所述数据输出单元503用于将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上，以得到所述图像帧的监视图像。
在本说明书实施例中，图像存储空间中的图像帧被预先划分成多个图像列块(tile)，并按照预先划分的图像列块来对图像帧进行逐块读取，其中，每一个图像列块都采用逐行读取的方式进行读取，通过对逐个图像列块的监视图像进行计算来实现整个图像帧的监视图像计算。本说明书实施例可基于FPGA实现，原图像帧和生成的监视图像均可以存储在DDR中。
在上述实施例中，图像帧以图像列块的方式从图像存储空间中按行读取，由于每次可读取若干列，因此，保证了图像读出效率。将整幅图像帧划分成N个图像列块，处理单元中只需开辟一个可存储每个图像列块直方图的存储空间，因此资源消耗只需要整个监视图像存储的1/N，大大降低了存储资源，较小的片内RAM使用即可实现大幅监视图像的生成。因此，采用本说明书实施例的装置可以实现高分辨率图像的监视图像处理，并可实现高分辨率、高帧频的监视图像生成。
在一个实施例中，可以根据预设的数据读写效率确定对所述图像帧进行一次读写时的读写数据量，再根据所述读写数据量确定所述图像帧划分出的图像列块的数量。具体来说，单色监视图像中每个图像列块的图像列数M满足：
M*q＝burst量*burst宽度；
三色监视图像中每个图像列块的图像列数M满足：
3M*q＝burst量*burst宽度。
其中，为保证DDR读写效率，burst宽度一般大于32个字节，在某种情况下还需要保证连续读一个最小burst量的数据恰好为待读出的M个像素数据(对于单色监视图像)或者3M个像素数据(对于三色监视图像)的大小。
在一个实施例中，所述数据处理单元502根据所述像素点的像素值生成所述图像列块对应的子监视图像的步骤包括：分别生成所述图像列块中各个列的统计直方图，并根据所述图像列块中各个列的统计直方图生成所述图像列块对应的子监视图像，其中，所述图像列块中各个列的统计直方图均根据以下方式生成：分别对所述列中各个像素值的像素点进行数量统计，得到所述列中对应像素值的统计值；根据所述列中各个像素值的统计值生成所述列的统计直方图。
子监视图像可以直接根据统计直方图来生成，也可以根据图像的亮度来生成。具体来说，所述数据处理单元502根据所述图像列块中各个列的统计直方图生成所述图像列块对应的子监视图像的步骤包括：对所述图像列块中各个列的统计直方图进行拼接，得到所述图像列块对应的子监视图像；或者分别将各个统计值映射为对应的亮度值，分别根据各个列的亮度值生成对应列的亮度分布图，对所述图像列块各个列的亮度分布图进行拼接，得到所述图像列块对应的子监视图像。
在一个实施例中，可以分别对各个统计值进行映射，映射方法包括线性映射法、非线性映射法以及查表映射法等，映射后得到所述统计值对应的亮度值。以线性映射法举例说明，在一个实施例中，所述数据处理单元502分别对各个统计值进行线性映射的步骤包括：
按照以下方式对所述统计值进行线性映射：
Y＝histo(x)*(2k-1)/T；
式中，histo(x)是像素值为x的像素点的数量的统计值，T是预设的统计值上限，k是亮度值的表示位数，Y是亮度值。
本说明书中将统计值线性映射为亮度值的映射方式也可以采用其他公式，此外，也可以采用线性映射以外的其他映射方式将统计值映射为亮度值，此处不再赘述。
在一个实施例中，数据处理单元502获取统计值时，可以进行相邻列的合并统计。其中，显示需求列数是指这一个图像列块的监视图像实际在显示屏上显示时所占的列像素个数。合并统计是指多列用一个直方图统计，假设显示需求需要监视图像宽度缩小3倍，则3列合并统计。通过这种方式，直接在统计时就合并，直接生成适合显示的监视图像小图，无需在进行监视图像显示时根据需求生成监视图像大图并进行等比例缩小。
在一个实施例中，数据处理单元502获取统计值时，可以执行相邻像素值的合并统计。举例来讲，8位像素统计高度是256，当监视图像要显示的高度是128时，则可以将像素值0和像素值1看作一个像素值统计，……，将像素值254和像素值255看作一个像素值统计，统计直方图的大小就是128了。通过这种方式，直接在统计时就合并，直接生成适合显示的监视图像小图，无需在进行监视图像显示时根据需求生成监视图像大图并进行等比例缩小。
在一个实施例中，数据处理单元502还可以对各个子监视图像进行缩放处理，再将缩放后的子监视图像发送至数据输出单元503。对于任意分辨率的监视图像显示要求也可以采用该方案，可以先以一种固定分辨率生成一个图像列块的监视图像，将该监视图像缩放后再写入监视图像存储空间，多个缩放后的监视图像的拼接即可形成所需分辨率的监视图像。也可以生成一种固定分辨率的监视图像，一帧图像的监视图像计算完毕后再缩放得到所需分辨率的监视图像。例如，1080p，8位的图像都生成1920*256大小的监视图像，后续利用监视图像的缩放和拼接来将监视图像显示成所需的分辨率。对于一个图像帧划分成多个图像列块的情形，则每个图像列块都经过相应的缩放。
在一个实施例中，若所述子监视图像为单色监视图像，分别对所述列中各个像素值的像素点进行数量统计的统计步长为3；若所述子监视图像为三色监视图像，分别对所述列中各个像素值的像素点进行数量统计的统计步长为1。统计步长为3，即统计直方图统计按照加3递增的方法进行统计，一个对应像素值的像素点数量每增加1，该像素值对应的统计值加3。由于单色统计时每个统计直方图统计的是图像高度个像素，三色统计时每个统计直方图统计的是图像高度*3个像素，该意图是让单色统计的每个统计直方图的值最后乘以3，和三色统计的统计直方图一致，可进行同样的亮度映射。
当某一统计地址下的统计值达到该颜色分量定义下的最高上限T时，统计直方图的统计值保持为T不变。其中，统计地址就是直方图统计的统计像素值，例如，假设在统计直方图中，像素值为0的像素点数量的统计值为25，像素值为6的像素点数量的统计值为2，像素值为255的像素点数量的统计值为10，则0，6和255分别为3个统计地址，25，2和10则分别为这三个统计地址下的统计值。本实施例可以限制每个像素值的最大统计值，达到直方图消顶的效果。
在一个实施例中，数据处理单元502还可以对所述子监视图像的像素点按行进行插值处理，再将缩放后的子监视图像发送至数据输出单元503。
数据输出单元503可以将生成的各个子监视图像按行跳址写入所述监视图像存储空间。对图像存储空间进行读取时，在每个burst中的数据连续读取，但在burst队列之间进行跳址，跳址成图像下一行的对应位置。取burst长度为64个像素，单色显示在每个burst后均跳址，三色显示在三个burst后进行跳址。跳址保证从图像存储空间中读出图像数据时依次将每个图像列块块按照从左到右，从上到下按行输出。监视图像写入监视图像存储空间时同样跳址写入，保证写入监视图像存储空间的监视图像即为连续的待显示的监视图像。
从图像存储空间读取图像和将监视图像写入监视图像存储空间均进行跳址处理。图像存储空间存储的图像是逐行写入的整帧图像，读出的图像是按图像列块输出的逐行图像。监视图像存储空间写入的监视图像是一整幅监视图像的一个图像列块区域，全部写完后监视图像存储空间中恰好拼成一幅待显示的逐行存储的监视图像。读写跳址均保证了数据读写效率。
在一个实施例中，所述数据处理单元502的数量为多个；各个数据处理单元502分别用于根据所述图像列块的各个列在其中一个颜色分量上的统计直方图生成所述图像列块在对应颜色分量上的子监视图像。对于单色监视图像生成，可以采用一个数据处理单元来生成统计直方图并获取子监视图像；对于三色监视图像生成，可以采用三个数据处理单元来生成统计直方图并获取子监视图像，每个数据处理单元生成一个颜色分量上的子监视图像。一个实施例的三色监视图像生成装置如图6所示。
在一个实施例中，所述数据处理单元为RAM。对于1个时钟处理多个像素的如4k大分辨率图像，可以将用于一个图像列块存储的监视图像统计RAM分割成交错的若干份，使所有RAM能够在一个时钟内同时进行直方图统计，也可以在一个时钟内输出监视图像的多个像素，保证实时处理。举例来说，假设一个时钟处理4个像素，4个统计并行，原来一个图像列块用一个大RAM实现统计，现在用4个交错的小RAM进行统计，第一个RAM统计第1列，第5列，第9列，第二个RAM统计第2列，第6列，第10列，等等，不多占RAM资源，只是统计逻辑复用了4次，其他逻辑资源没有复用，所占资源不多。
所述监视图像生成装置的其他实施例与上述监视图像生成方法的实施例相同，此处不再赘述。
如图7所示，是本说明书一个实施例的监视图像生成系统的示意图。所述监视图像生成系统700可包括：以上任一实施例所述的监视图像生成装置500；以及用于存储所述图像帧的存储单元701。进一步地，所述存储单元701还可以用于存储生成的监视图像。
在一个实施例中，所述监视图像生成装置500包括第一监视图像生成装置500a和第二监视图像生成装置500b；所述第二监视图像生成装置500b用于在所述第一监视图像生成装置500a输出其中一个图像列块对应的子监视图像时，生成下一个图像列块对应的子监视图像。
本实施例例化两个监视图像生成模块做乒乓操作处理。一个监视图像生成模块完成直方图统计后需要将该图像列块的直方图数据映射输出，此时另一个监视图像生成模块可以在此时进行下一个图像列块的直方图统计，两个模块乒乓交错进行保证监视图像生成模块能够处理连续高帧频的视频源数据。在监视图像帧频要求不高的情况下也可以不做乒乓处理，一个图像列块的图像从图像存储单元读出后等待直方图数据统计及映射输出完毕后再读出新的数据，可以使监视图像生成过程占用的逻辑资源及片内RAM将近减少一倍。
在一个实施例中，所述监视图像生成系统700还包括数据分发单元702；所述数据分发单元702用于从所述存储单元701中读取所述图像帧的图像列块，并将所述图像列块分发至所述第一监视图像生成装置500a或所述第二监视图像生成装置500b。一个实施例的监视图像生成系统如图8所示，图8中的系统包括2个监视模块生成装置和一个分发单元。在实际应用中，监视模块生成装置的数量也可以是2个以上。
在一个实施例中，所述监视图像生成系统700还包括：用于对所述监视图像进行显示的显示单元703。在显示单元703中可以对所述图像帧及其监视图像进行叠加显示。监视图像存储空间中存储的监视图像是单色亮度图，监视图像显示时还需要从监视图像存储空间中读出对应亮度数据并针对每个颜色分量的监视图像表示映射成相应的彩色分量。映射后的监视图像需要和原视频叠加显示。叠加可采用blend算法，一般是把监视图像经过色彩映射后透明化叠加到原始图像上。
在一个实施例中，所述存储单元701为DDR。
在一个实施例中，所述监视图像生成系统700基于FPGA实现。
本说明书实施例具有以下优点：
(1)可实现4k超大分辨率视频的监视图像生成，监视图像的处理频率可达到和输入频率相一致。
(2)可针对图像每列进行精细的直方图统计，生成大分辨率，高精度细腻的监视图像，不仅能实现单色监视图像，也可以实现多颜色分量的监视图像的同时计算及同时显示。
(3)生成的监视图像即为根据显示需求整理好的监视图像，不需要额外的拼接或数据重整。
本说明书实施例还提供一种图像处理设备，包括以上任一实施例所述的监视图像生成系统。
在一个实施例中，所述图像处理设备为图像监视器或者摄影机。
本说明书实施例还提供一种监视图像生成设备，本说明书方法的实施例可以由所述监视图像生成设备来实施。
在一个实施例中，所述监视图像生成设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下方法：
将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上，以得到所述图像帧的监视图像，其中，所述图像帧被预先划分为多个图像列块，各个图像列块均包括所述图像帧的多列像素点，且各个图像列块对应的子监视图像均按照以下方式生成：
按行读取所述图像列块中的像素点；
根据所述像素点的像素值生成所述图像列块对应的子监视图像。
在一个实施例中，所述处理器执行所述程序时还实现以下方法：根据预设的数据读写效率确定对所述图像帧进行一次读写时的读写数据量；根据所述读写数据量确定所述图像帧划分出的图像列块的数量。
在一个实施例中，所述处理器根据所述像素点的像素值生成所述图像列块对应的子监视图像的步骤包括：分别生成所述图像列块中各个列的统计直方图，并根据所述图像列块中各个列的统计直方图生成所述图像列块对应的子监视图像，其中，所述图像列块中各个列的统计直方图均根据以下方式生成：分别对所述列中各个像素值的像素点进行数量统计，得到所述列中对应像素值的统计值；根据所述列中各个像素值的统计值生成所述列的统计直方图。
在一个实施例中，所述处理器根据所述图像列块中各个列的统计直方图生成所述图像列块对应的子监视图像的步骤包括：对所述图像列块中各个列的统计直方图进行拼接，得到所述图像列块对应的子监视图像；或者分别将各个统计值映射为对应的亮度值，分别根据各个列的亮度值生成对应列的亮度分布图，对所述图像列块各个列的亮度分布图进行拼接，得到所述图像列块对应的子监视图像。
在一个实施例中，所述处理器执行所述程序时还实现以下方法：将若干列中相同像素值对应的像素点进行合并统计；和/或对同一列中相邻的若干个像素值对应的像素点进行合并统计。
在一个实施例中，若所述子监视图像为单色监视图像，分别对所述列中各个像素值的像素点进行数量统计的统计步长为3；若所述子监视图像为三色监视图像，分别对所述列中各个像素值的像素点进行数量统计的统计步长为1。
在一个实施例中，所述处理器分别将各个统计值映射为对应的亮度值的步骤包括：分别对各个统计值进行映射，得到所述统计值对应的亮度值。
在一个实施例中，所述处理器分别对各个统计值进行映射的步骤包括：按照以下方式对所述统计值进行线性映射：
Y＝histo(x)*(2k-1)/T。
式中，histo(x)是像素值为x的像素点的数量的统计值，T是预设的统计值上限，k是亮度值的表示位数，Y是亮度值。
在一个实施例中，在将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上之前，所述处理器执行所述程序时还实现以下方法：对所述子监视图像的像素点按行进行插值处理。
在一个实施例中，各个子监视图像按行跳址写入所述监视图像存储空间。
在一个实施例中，所述处理器执行所述程序时还实现以下方法：对所述图像帧及其监视图像进行叠加显示。
在一个实施例中，在将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上之前，所述处理器执行所述程序时还实现以下方法：分别对各个子监视图像进行缩放处理。
所述处理器执行的方法的其他实施例与前述监视图像生成方法的实施例相同，此处不再赘述。
本说明书实施例的监视图像生成设备例如可以是服务器或终端设备。方法实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在文件处理的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图9所示，为实施本说明书方法的监视图像生成设备的一种硬件结构图，除了图9所示的处理器901、内存902、网络接口903、以及非易失性存储器904之外，实施例中用于实施本说明书方法的监视图像生成设备，通常根据该监视图像生成设备的实际功能，还可以包括其他硬件，对此不再赘述。
以上实施例中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。
本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员在考虑说明书及实践这里公开的说明书后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (35)

1.一种监视图像生成方法，其特征在于，所述方法包括：
将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上，以得到所述图像帧的监视图像，其中，所述图像帧被预先划分为多个图像列块，各个图像列块均包括所述图像帧的多列像素点，且各个图像列块对应的子监视图像均按照以下方式生成：
按行读取所述图像列块中的像素点；
根据所述像素点的像素值生成所述图像列块对应的子监视图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据预设的数据读写效率确定对所述图像帧进行一次读写时的读写数据量；
根据所述读写数据量确定所述图像帧划分出的图像列块的数量。
3.根据权利要求1所述的方法，其特征在于，根据所述像素点的像素值生成所述图像列块对应的子监视图像的步骤包括：
分别生成所述图像列块中各个列的统计直方图，并根据所述图像列块中各个列的统计直方图生成所述图像列块对应的子监视图像，其中，所述图像列块中各个列的统计直方图均根据以下方式生成：
分别对所述列中各个像素值的像素点进行数量统计，得到所述列中对应像素值的统计值；
根据所述列中各个像素值的统计值生成所述列的统计直方图。
4.根据权利要求3所述的方法，其特征在于，根据所述图像列块中各个列的统计直方图生成所述图像列块对应的子监视图像的步骤包括：
对所述图像列块中各个列的统计直方图进行拼接，得到所述图像列块对应的子监视图像；或者
分别将各个统计值映射为对应的亮度值，分别根据各个列的亮度值生成对应列的亮度分布图，对所述图像列块各个列的亮度分布图进行拼接，得到所述图像列块对应的子监视图像。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
将若干列中相同像素值对应的像素点进行合并统计；和/或
对同一列中相邻的若干个像素值对应的像素点进行合并统计。
6.根据权利要求3所述的方法，其特征在于，若所述子监视图像为单色监视图像，分别对所述列中各个像素值的像素点进行数量统计的统计步长为3；若所述子监视图像为三色监视图像，分别对所述列中各个像素值的像素点进行数量统计的统计步长为1。
7.根据权利要求4所述的方法，其特征在于，分别将各个统计值映射为对应的亮度值的步骤包括：
分别对各个统计值进行映射，得到所述统计值对应的亮度值。
8.根据权利要求7所述的方法，其特征在于，分别对各个统计值进行映射的步骤包括：
按照以下方式对所述统计值进行线性映射：
Y＝histo(x)*(2k-1)/T；
式中，histo(x)是像素值为x的像素点的数量的统计值，T是预设的统计值上限，k是亮度值的表示位数，Y是亮度值。
9.根据权利要求1所述的方法，其特征在于，在将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上之前，所述方法还包括：
对所述子监视图像的像素点按行进行插值处理。
10.根据权利要求1所述的方法，其特征在于，各个子监视图像按行跳址写入所述监视图像存储空间。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述图像帧及其监视图像进行叠加显示。
12.根据权利要求1所述的方法，其特征在于，在将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上之前，所述方法还包括：
分别对各个子监视图像进行缩放处理。
13.一种监视图像生成设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下方法：
将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上，以得到所述图像帧的监视图像，其中，所述图像帧被预先划分为多个图像列块，各个图像列块均包括所述图像帧的多列像素点，且各个图像列块对应的子监视图像均按照以下方式生成：
按行读取所述图像列块中的像素点；
根据所述像素点的像素值生成所述图像列块对应的子监视图像。
14.根据权利要求13所述的监视图像生成设备，其特征在于，所述处理器执行所述程序时还实现以下方法：
根据预设的数据读写效率确定对所述图像帧进行一次读写时的读写数据量；
根据所述读写数据量确定所述图像帧划分出的图像列块的数量。
15.根据权利要求13所述的监视图像生成设备，其特征在于，所述处理器根据所述像素点的像素值生成所述图像列块对应的子监视图像的步骤包括：
分别生成所述图像列块中各个列的统计直方图，并根据所述图像列块中各个列的统计直方图生成所述图像列块对应的子监视图像，其中，所述图像列块中各个列的统计直方图均根据以下方式生成：
分别对所述列中各个像素值的像素点进行数量统计，得到所述列中对应像素值的统计值；
根据所述列中各个像素值的统计值生成所述列的统计直方图。
16.根据权利要求15所述的监视图像生成设备，其特征在于，所述处理器根据所述图像列块中各个列的统计直方图生成所述图像列块对应的子监视图像的步骤包括：
对所述图像列块中各个列的统计直方图进行拼接，得到所述图像列块对应的子监视图像；或者
分别将各个统计值映射为对应的亮度值，分别根据各个列的亮度值生成对应列的亮度分布图，对所述图像列块各个列的亮度分布图进行拼接，得到所述图像列块对应的子监视图像。
17.根据权利要求15所述的监视图像生成设备，其特征在于，所述处理器执行所述程序时还实现以下方法：
将若干列中相同像素值对应的像素点进行合并统计；和/或
对同一列中相邻的若干个像素值对应的像素点进行合并统计。
18.根据权利要求15所述的监视图像生成设备，其特征在于，若所述子监视图像为单色监视图像，分别对所述列中各个像素值的像素点进行数量统计的统计步长为3；若所述子监视图像为三色监视图像，分别对所述列中各个像素值的像素点进行数量统计的统计步长为1。
19.根据权利要求15所述的监视图像生成设备，其特征在于，所述处理器分别将各个统计值映射为对应的亮度值的步骤包括：
分别对各个统计值进行映射，得到所述统计值对应的亮度值。
20.根据权利要求19所述的监视图像生成设备，其特征在于，所述处理器分别对各个统计值进行映射的步骤包括：
按照以下方式对所述统计值进行线性映射：
Y＝histo(x)*(2k-1)/T；
式中，histo(x)是像素值为x的像素点的数量的统计值，T是预设的统计值上限，k是亮度值的表示位数，Y是亮度值。
21.根据权利要求13所述的监视图像生成设备，其特征在于，在将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上之前，所述处理器执行所述程序时还实现以下方法：
对所述子监视图像的像素点按行进行插值处理。
22.根据权利要求13所述的监视图像生成设备，其特征在于，各个子监视图像按行跳址写入所述监视图像存储空间。
23.根据权利要求13所述的监视图像生成设备，其特征在于，所述处理器执行所述程序时还实现以下方法：
对所述图像帧及其监视图像进行叠加显示。
24.根据权利要求13所述的监视图像生成设备，其特征在于，在将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上之前，所述处理器执行所述程序时还实现以下方法：
分别对各个子监视图像进行缩放处理。
25.一种监视图像生成装置，，其特征在于，还包括：
直方图统计单元，数据处理单元和数据输出单元；
针对图像帧中的各个图像列块，所述直方图统计单元用于分别各个生成所述图像列块各个列的统计直方图，并将所述统计直方图发送至数据处理单元；其中，所述图像帧被预先划分为多个图像列块；
所述数据处理单元用于根据所述图像列块各个列的统计直方图生成所述图像列块对应的子监视图像，并将所述子监视图像发送至数据输出单元；
所述数据输出单元用于将图像帧中各个图像列块对应的子监视图像写入监视图像存储空间的对应列块上，以得到所述图像帧的监视图像。
26.根据权利要求25所述的监视图像生成装置，其特征在于，所述数据处理单元的数量为多个；
各个数据处理单元分别用于根据所述图像列块的各个列在其中一个颜色分量上的统计直方图生成所述图像列块在对应颜色分量上的子监视图像。
27.根据权利要求26所述的监视图像生成装置，其特征在于，所述数据处理单元为RAM。
28.一种监视图像生成系统，其特征在于，包括：
权利要求25至27任意一项所述的监视图像生成装置；以及
用于存储所述图像帧的存储单元。
29.根据权利要求28所述的监视图像生成系统，其特征在于，所述监视图像生成装置包括第一监视图像生成装置和第二监视图像生成装置；
所述第二监视图像生成装置用于在所述第一监视图像生成装置输出其中一个图像列块对应的子监视图像时，生成下一个图像列块对应的子监视图像。
30.根据权利要求29所述的监视图像生成系统，其特征在于，还包括：
数据分发单元；
所述数据分发单元用于从所述存储单元中读取所述图像帧的图像列块，并将所述图像列块分发至所述第一监视图像生成装置或所述第二监视图像生成装置。
31.根据权利要求30所述的监视图像生成系统，其特征在于，还包括：
用于对所述监视图像进行显示的显示单元。
32.根据权利要求28所述的监视图像生成系统，其特征在于，所述存储单元为DDR。
33.根据权利要求28所述的监视图像生成系统，其特征在于，所述监视图像生成系统基于FPGA实现。
34.一种图像处理设备，其特征在于，包括权利要求28至33任意一项所述的监视图像生成系统。
35.根据权利要求34所述的图像处理设备，其特征在于，所述图像处理设备为图像监视器或者摄影机。
CN201980031015.5A 2019-08-29 2019-08-29 监视图像生成方法、装置、设备和系统、图像处理设备 Pending CN112119631A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/103433 WO2021035643A1 (zh) 2019-08-29 2019-08-29 监视图像生成方法、装置、设备和系统、图像处理设备

Publications (1)

Publication Number Publication Date
CN112119631A true CN112119631A (zh) 2020-12-22

Family

ID=73799466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980031015.5A Pending CN112119631A (zh) 2019-08-29 2019-08-29 监视图像生成方法、装置、设备和系统、图像处理设备

Country Status (2)

Country Link
CN (1) CN112119631A (zh)
WO (1) WO2021035643A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862659A (zh) * 2022-04-14 2022-08-05 维沃移动通信有限公司 图像直方图生成方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564356A (zh) * 2022-02-25 2022-05-31 地平线(上海)人工智能技术有限公司 图像数据处理模块的保护装置和方法、电子设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201491193U (zh) * 2009-06-08 2010-05-26 厦门华侨电子股份有限公司 一种能显示直方图型曝光表以动态监视图像质量的监视器
US20140240517A1 (en) * 2013-02-22 2014-08-28 Phabrix Limited Monitoring Video Waveforms
CN104735297A (zh) * 2013-12-20 2015-06-24 南京视威电子科技股份有限公司 一种广播级监视器及监视图像生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6518744B1 (en) * 2000-03-23 2003-02-11 Tektronix, Inc. General purpose oscilloscope having digital television signal display capability
GB0022071D0 (en) * 2000-09-08 2000-10-25 Pandora Int Ltd Image processing
CN101207835B (zh) * 2006-12-22 2010-12-01 康佳集团股份有限公司 一种具有监测视频信号电平的监视器
US8878860B2 (en) * 2006-12-28 2014-11-04 Intel Corporation Accessing memory using multi-tiling
CN101742351B (zh) * 2008-11-11 2012-03-28 厦门华侨电子股份有限公司 一种利用监视器屏幕显示直方图型曝光表的形式进行动态监视图像质量的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201491193U (zh) * 2009-06-08 2010-05-26 厦门华侨电子股份有限公司 一种能显示直方图型曝光表以动态监视图像质量的监视器
US20140240517A1 (en) * 2013-02-22 2014-08-28 Phabrix Limited Monitoring Video Waveforms
CN104735297A (zh) * 2013-12-20 2015-06-24 南京视威电子科技股份有限公司 一种广播级监视器及监视图像生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862659A (zh) * 2022-04-14 2022-08-05 维沃移动通信有限公司 图像直方图生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021035643A1 (zh) 2021-03-04

Similar Documents

Publication Publication Date Title
TWI520598B (zh) 影像處理裝置與影像處理方法
JP4919978B2 (ja) 歪補正装置
CN101388950B (zh) 用于数字图像的内容适应式对比增进方法及装置
JP4971442B2 (ja) ピクセルデータ変換のための画像処理装置及び方法
CN102291531A (zh) 图像处理装置、图像处理方法和程序
CN112119631A (zh) 监视图像生成方法、装置、设备和系统、图像处理设备
US11616895B2 (en) Method and apparatus for converting image data, and storage medium
CN101778226A (zh) 一种高清图像防锯齿方法、装置及数字电视接收终端
US20070008562A1 (en) Image processing apparatus, image processing method and program
US20130322783A1 (en) Image composing apparatus of around view monitor system for changing view mode easily and method thereof
JP4904354B2 (ja) ビデオテストパターンのための効率的なテスト生成装置
KR101106080B1 (ko) 데이터 저장 제어 장치, 데이터 저장 제어 방법 및 데이터 저장 제어 프로그램이 기록된 기록 매체
KR20010005934A (ko) 계층적 코딩에 사용하기 위한 저장 장치 및 기록 및 판독 방법
JP2007110419A (ja) 画像変倍方法
CN105513004A (zh) 一种图像畸变校正系统及其存储方法和寻址方法
JP5087845B2 (ja) 画像ディスプレイ回路および画像表示処理方法
US11494869B2 (en) Image processor having a compressing engine performing operations on each row of M*N data block
US11889131B2 (en) Video processing device, video processing method, monitor apparatus, computer device, and medium
CN111831212B (zh) 一种数据写入、读取方法、装置及设备
US7697817B2 (en) Image processing apparatus and method, and recorded medium
US6903744B2 (en) Graphics processing system
CN118629335A (zh) 显示面板补偿方法、装置、显示设备及存储介质
JPH03136480A (ja) 静止画用映像演出装置
CN107146269B (zh) 一种图像填充方法及系统
US20030156115A1 (en) Graphics processing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201222