CN103426159A - 多维直方图统计电路和图像处理系统 - Google Patents

多维直方图统计电路和图像处理系统 Download PDF

Info

Publication number
CN103426159A
CN103426159A CN2012101622506A CN201210162250A CN103426159A CN 103426159 A CN103426159 A CN 103426159A CN 2012101622506 A CN2012101622506 A CN 2012101622506A CN 201210162250 A CN201210162250 A CN 201210162250A CN 103426159 A CN103426159 A CN 103426159A
Authority
CN
China
Prior art keywords
histogram
dimension
data
circuit
serial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101622506A
Other languages
English (en)
Other versions
CN103426159B (zh
Inventor
黄晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuang Newell (Guangzhou) Technology Co., Ltd.
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201210162250.6A priority Critical patent/CN103426159B/zh
Publication of CN103426159A publication Critical patent/CN103426159A/zh
Application granted granted Critical
Publication of CN103426159B publication Critical patent/CN103426159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多维直方图统计电路及具有该电路的图像处理系统,该电路包括:降维子电路和一维直方图统计子电路。通过设置的降维子电路将接收到的对应多维直方图多维向量样本集的多个数字序列进行合并,得到一个联合数字序列,并基于联合数字序列中的一维直方图的数据与需要统计的多维直方图数据具有一一映射的关系确定多维直方图的数据,实现对多维直方图的统计。本发明通过上述方式进行多维直方图的统计,无需消耗计算机资源,实现了降低计算机功耗的目的;同时,也能够避免现有技术统计过程中频繁访问存储器的时间开销,在降低计算机功耗的基础上,实现了提高统计多维直方图的实时性目的。

Description

多维直方图统计电路和图像处理系统
技术领域
本发明涉及图像处理技术领域,更具体的说,是涉及一种多维直方图统计电路和具有该多维直方图统计电路的图像处理系统。
背景技术
在图像处理领域中进行图像匹配计算的过程中,通常采用基于颜色的2维和3维颜色直方图的图像比较算法,以及一种用于比较两组多维特征的样本集的核距离算法。
其中,在多维直方图统计的过程中采用被动式自动对焦技术。该被动式自动对焦技术通常先检测一个可以描述图像清晰程度的值,即锐度,然后再利用搜索算法调节镜头中镜片的位置到更清晰的位置,在新的位置再检测当前描述图像清晰程度的锐度,以此调节镜片,直到获取描述图像最清晰的锐度为止。
在提取锐度的过程中所采用的锐度函数,为基于相邻帧图像的联合直方图的锐度函数,该锐度函数由S.Yousefi,M.Rahman在2011年的论文“A NewAuto-Focus Sharpness Function for Digital and Smart-Phone Cameras”中定义了一种基于相邻帧图像的联合直方图的锐度函数中提出。根据上述定义,联合直方图的偏对角线元素和SoD(Sum ofthe Off-Diagonal,偏对角线元素和)可以作为锐度函数值,使用该SoD锐度作为图像清晰度的尺度,然后实时搜索算法控制镜头状态获得最清晰的图像,实现自动对焦过程,最后再使用计算机依据定义的256*256字节的整型数组,由计算机CPU(Central Processing Unit,中央处理器)依次读取(或者根据颜色数据计算)每个像素坐标在领域平均图像的灰度值(8bits)和当前帧的灰度值(8bits),将获取的两个灰度值作为数组的索引,对对应的数组元素执行加一操作,对每个像素执行该操作后,完成对联合直方图的统计。
上述过程都是基于计算机的纯软件实现的,可具体体现为:将向量空间划分为若干子空间,并在内存中定义一一映射的频数变量,CPU依次从存储器读取每一个向量样本数据,再判断该向量样本所属子空间,在此基础上将对应的频数变量加一。当对每一个向量样本都执行了上述操作之后,利用获取到的频数变量构成该向量样本集合对应的多维直方图。
采用上述方式进行联合直方图统计,即统计多维直方图的运算虽然简单,但是由于图像数据很大,计算次数较多,会占用大量CPU的资源,对于计算机而言不仅耗时而且实时性也较差。为了避免上述问题,并实现基于直方图的图像增强、自动曝光、自动增益等算法。当前有采用数字逻辑电路,即采用硬件的方式实现单帧图像的直方图统计电路。但是这种直方图统计电路的方案目前仅仅局限于一维直方图的统计,不能获得样本向量中变量之间的关联信息,并适用于多维直方图的统计。
发明内容
有鉴于此,本发明实施例的目的在于提供一种多维直方图统计电路及具有该多维直方图统计电路的图像处理系统,以克服现有技术中基于计算机进行多维直方图的统计时,占用大量CPU资源,造成统计过程耗时且实时性较差的问题。
为实现上述目的,本发明实施例提供如下技术方案:
一种多维直方图统计电路,包括:
降维子电路,用于接收对应多维直方图多维向量样本集的多个数字序列,并获取当前合并多个数字序列后的联合数字序列;
一维直方图统计子电路,用于接收并统计当前所述联合数字序列对应的一维直方图,并依据预设的一维直方图与多维直方图的数据映射关系,确定多维直方图的数据;
外部接口子电路,用于读取所述多维直方图的数据。
一种图像处理系统,包括:上述记载的多维直方图统计电路,以及处理器;
所述处理器读取所述多维直方图统计电路中统计的多维直方图数据进行相应的图像处理。
经由上述的技术方案可知,与现有技术相比,本发明实施例公开了一种多维直方图统计电路及具有该多维直方图统计电路的图像处理系统。通过设置的降维子电路将接收到的对应多维直方图多维向量样本集的多个数字序列进行合并,得到一个联合数字序列,其中,该联合数字序列中的一维直方图的数据与需要统计的多维直方图数据具有一一映射的关系;基于该映射关系通过一维直方图统计子电路统计对应联合数字序列的一维直方图数据,并基于统计结果确定多维直方图的数据,实现对多维直方图的统计。本发明实施例通过上述方式进行多维直方图的统计,无需消耗计算机资源,实现了降低计算机功耗的目的;同时,也能够避免现有技术统计过程中频繁访问存储器的时间开销,在降低计算机功耗的基础上,实现了提高统计多维直方图的实时性目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例一公开的一种多维直方图统计电路结构示意图;
图2为本发明实施例一公开的一种降维子电路的结构示意图;
图3为本发明实施例二公开的一种多维直方图统计电路及具有该电路的被动式自动对焦系统的结构示意图;
图4为本发明实施例三公开的一种多维直方图统计电路及具有该电路的图像分割系统的结构示意图;
图5为本发明实施例三中公开的领域提取子电路的结构示意图;
图6为本发明实施例四公开的一种多维直方图统计电路。
具体实施方式
为了引用和清楚起见,下文中使用的技术名词的说明、简写或缩写总结如下:
CPU:Central Processing Unit,中央处理器;
RAM:random access memory,随机存储器;
RS搜索算法:Rule-based search,规则搜索算法;
FPGA:Field-Programmable Gate Array,现场可编程门阵列;
FIFO:先入先出;
SoD:Sum ofthe Off-Diagonal,偏对角线元素和;
HSV:颜色空间,H为色彩,S为纯度,V为明度;
EMD:陆地搬移者距离。
直方图:用于统计样本数据出现的频数;其中,一维直方图用于描述一维样本数据出现的频数,多维直方图则能够描述一个向量样本集合的数值分布特征。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由背景技术可知,在利用现有技术统计图像对应的直方图时:其一,采用硬件方式实现单帧图像的直方图统计时,局限于一维直方图的统计,不能获得样本向量中变量之间的关联信息,不适用多维直方图的统计;其二,使用计算机实现对多维直方图的统计时,由于图像数据大,相对计算的次数较多,且在计算的过程中会占用大量的CPU资源,对于计算机而言不仅耗时,而且会影响统计多维直方图的实时性。
因此,本发明实施例公开了一种新的多维直方图的统计系统和具有该多维直方图统计系统的图像处理系统,以满足在多维直方图统计的过程中无需消耗计算机资源,并避免频繁访问存储器的时间开销,在降低计算机功耗的基础上,提高统计多维直方图的实时性。具体过程通过以下实施例进行详细说明。
实施例一
请参见附图1,为本发明该实施例一公开的一种多维直方图统计电路结构示意图,主要包括:降维子电路11、一维直方图统计子电路12和外部接口电路(图中未标识)。
降维子电路11主要用于接收对应多维直方图多维向量样本集的多个数字序列,并获取当前合并多个数字序列后的联合数字序列。
一维直方图统计子电路12则接收并统计当前所述联合数字序列对应的一维直方图,并依据预设的一维直方图与多维直方图的数据映射关系,确定多维直方图的数据。
外部接口电路则读取所述多维直方图的数据进行输出。
在基于上述多维直方图统计电路进行多维直方图的统计过程中,降维子电路11接收的是数字序列。该数字序列实际上表征的是所需统计的多维直方图的多维向量样本集本身,当该多维向量样本集本身不是以数字序列的形式存在时,要先将需要统计的多维向量样本本集转化为对应的多个数字序列。
另外,在降维子电路11接收数字序列的过程中,当输入的多个数字序列通过并行数字接口输入时,降维子电路11实际上为一个并行转化电路。在电路速度较低的情况下,该并行转化电路由多路信号线(该信号线的个数与降维子电路11要输出联合直方图的位宽相同)组成,这些信号线可以是电的导体,也可以是电导体与半导体互连资源的组合。该组合形式与FPGA内部的互连资源相似,该互连资源可能由金属导线和半导体的开关矩阵组成。在电路速度较高的情况下,为了更好地排除竞争冒险问题,或者各一维数字序列本身并不同步,则可以使用寄存器组对降维子电路11的并行数字输入输出信号进行同步。
当输入多个数字序列是串行的数字信号时,则先将该串行的数字信号转换为并行的数字信号进行输入。也就是说实际上降维子电路11是通过并行的数字接口接收多个数字序列的。
在经过降维子电路11合并多个数字序列之后,将得到的一个联合数字序列以并行的数字信号的方式输出给一维直方图统计子电路12,由该一维直方图统计子电路12统计当前接收到的联合数字序列对应的一维直方图。其中,该联合数字序列中的一维直方图的数据与所需要统计的多维直方图的数据存在一一映射的关系。由一维直方图统计子电路12基于该映射关系通过联合数字序列的一维直方图数据,确定多维直方图的数据。最后,由该一维直方图统计子电路12提供一个读取接口与外部接口子电路连接,使外部接口子电路读取统计的多维直方图的数据。
基于上述公开的多维直方图统计电路,以下给出一具体示例再次进行说明。
示例一
当输入为N个位宽为Mi的一维数字序列时,如图1所示,包括数字序列1S1[M1-1..0]、数字序列2S2[M2-1..0]至数字序列N SN[MN-1..0]。
该降维子电路11接收并行对应N维向量样本集的N个位宽为Mi的一维数字序列Si[Mi-1..0],获取合并所述N个数字序列后位宽为M的联合数字序列S[M-1..0]作为当前的联合数字序列。
其中,M、Mi为数字序列的位宽为大于1的自然数;i的取值范围为1~N,N为大于1的自然数,数字序列中的“..”用于表示并行数字信号的比特位,举例进行说明,数字序列S1[M1-1..0]表示数字信号S1的第M1-1比特到第0比特,该数字序列一共有M1比特,其所表达的并行数字信号是数字信号S1的全部或部分。需要说明的是,下述相同或相似的数字序列与上述表述类似,可利用Signal[m..n]表示数字信号Signal的第m比特到第n比特进行推论,获取其他序列所表达的含义。
针对上述该降维子电路11接收任意一维数字序列Si,并行输入的N数字信号Si[Mi-1..0]与联合数字序列S[M-1..0]中的
Figure BDA00001675352900061
信号相连。
其中,
Figure BDA00001675352900062
Mi表示第i维数字序列的位宽,为大于1的自然数。
针对电路速度较低时,上述并行输入的N个数字序列,此时降维子电路11为一个由M路信号线组成的并行转化电路。在实际中对该M路信号线进行布线可采用不同的方式,利用PCB布线时可采用蛇形走线的方式:在FPGA内部连接并行信号的时候,可以在布局布线前进行时序约束。
针对电路速度较高时,为了更好地排除竞争冒险问题,或者各一维数字序列本身并不同步,该降维子电路11可以采用寄存器组对并行输入的数字信号进行同步。如图2所示,该降维子电路11中主要包括:
Z-ki个ki级串联,Mi级并联的寄存器组,用于接收并列输入的多个数字序列;以及一个M级并联的Z-1寄存器组,用于合并所述Z-ki个寄存器组输出的数字序列,并生成一个位宽为M的联合数字序列。
其中,k和M表示位宽为大于1的自然数;i的取值范围为1~N,N为大于1的自然数。针对不同的i,ki取不同值,可以用于同步尚未同步的N个一维数字序列;对于已经同步良好的N个一维数字序列,则只需要令ki全部取相同的值即可,如使ki=1。
对于M级并联的Z-1寄存器组,该寄存器组可以改善联合数字序列的时序同步性,减小或者消除竞争冒险。
基于该示例一,一维直方图统计子电路12接收并统计当前联合数字序列S[M-1...0]对应的一维直方图,并依据预设的一维直方图与多维直方图的数据映射关系,确定N维直方图的数据。
该预设的一维直方图与多维直方图的数据映射关系为:
∀ j ∈ [ 1 , N ] , i j ∈ [ 0 , 2 M j - 1 ]
histo _ multi [ i N ] [ i N - 1 ] · · · [ i 1 ] = histo _ mono [ Σ p = 2 N i p · 2 ( Σ q = 1 p - 1 M q ) + i 1 ]
其中, histo _ multi [ 2 M N ] [ 2 M N - 1 ] · · · [ 2 M 1 ] 表示多维直方图矩阵,histo_mono[2M]表示一维直方图矩阵。
在本发明实施例中所述的映射关系并不仅限于上述公开的该映射关系。
针对该一维直方图统计子电路12,其具体结构中包括具有两个访问接口的RAM和加法器。
该双口RAM的一个访问接口连接降维子电路11,用于接收当前所述联合数字序列,另一个访问接口连接外部接口子电路用于读取和\或查询N维直方图的数据。
加法器则依据预设的一维直方图与多维直方图的数据映射关系,在确定一维直方图后,对对应的多维直方图数据加一,实现对多维直方图数据的统计。
针对上述双口RAM可以选用专用的双口RAM器件,也可以使用外部存储器进行替代。该外部存储器可以采用SDRAM和SRAM,搭配FPGA内部逻辑电路来实现。
需要说明的是,针对本发明该实施例公开的多维直方图统计电路,通过其外部接口电路与计算机或处理器链接,可构成一图像处理系统。
具体的,由计算机或处理器读取该实施例中公开的多维直方图统计电路中统计的多维直方图数据,进行相应的图像处理。
通过上述本发明实施一公开的多维直方图统计电路,基于降维子电路和一维直方图统计子电路进行的合并、统计,无需消耗计算机资源,便可以得到对多维直方图的统计。且,通过在降维子电路中对并行输入输出的信号进行同步,使得整个多维直方图统计电路在统计多维直方图时的实时性更好。而处理器或计算机只需要直接读取统计的多维直方图数据进行后续相关的操作即可。
实施例二
基于上述本发明实施例一所公开的多维直方图统计电路,当统计相邻两幅图像的联合直方图时,如图3所示,该多维直方图统计电路主要包括:帧FIFO存储器13,降维子电路11、一维直方图统计子电路12和外部接口子电路(图中未示出)。
帧FIFO存储器13用于缓存上一帧周期采集的图像像素灰度数字序列,并作为延迟一个周期的延迟数字序列S1[k-1..0]输出。
降维子电路11用于接收当前的图像像素灰度数字序列S2[k-1..0]和所述延迟数字序列S1[k-1..0]进行合并,得到序列S[2k-1..0]作为当前的联合数字序列输出。
一维直方图统计电路12接收并统计当前所述联合数字序列S[2k-1..0]对应的一维直方图,并依据预设的一维直方图与多维直方图的数据映射关系,确定二维直方图的数据为相邻图像的联合直方图的数据。
外部接口电路则读取所述相邻图像的联合直方图的数据,即读取二维联合直方图数据以备后续使用。
其中,k表征位宽,为大于1的自然数。
针对上述示出的帧FIFO存储器1 3,其主要用于保存历史图像灰度值数字序列,并在当前周期内输出上一周期保存的历史图像灰度值数字序列,即延迟的图像灰度值数字序列S1[k-1..0]。
在当前的图像灰度值数字序列S2[k-1..0]和延迟的图像灰度值数字序列S1[k-1..0]被输出到降维子电路11中。该降维子电路11将S1[k-1..0]和S2[k-1..0]两个数字序列降维为一个联合数字序列S[2k-1..0],并输出到一维直方图统计子电路12中。
一维直方图统计子电路12获取到联合数字序列S[2k-1..0],并统计序列S[2k-1..0]的一维直方图。在本发明该实施例中,公开的一维直方图与多维直方图中的映射关系为:
Figure BDA00001675352900091
i2∈[0,2k-1];
histo2[i2][i1]=histo1[i2*2k+i1]
其中,S[2k-1..0]的一维直方图histo1[22k]与{S2[k-1..0],S1[k-1..0]}的联合直方图histo2[2k][2k]中的每一个数据都是一一映射的。
在本发明实施例中所述的映射关系并不仅限于上述公开的该映射关系。
需要说明的是,针对本发明该实施例公开的多维直方图统计电路,如图3所示,增加一摄像设备14获取图像源,并通过其外部接口电路与计算机15(处理器)链接,可构成一图像处理系统。该图像处理系统可具体进行图像的自动对焦。
具体的,由摄像设备14获取图像灰度值数字序列。在多维直方图统计电路确定二位联合直方图数据之后,由计算机15向该多维直方图统计电路输出地址信号访问二维联合直方图中的任何数据,即访问相邻图像的联合直方图的数据。
计算机15在获取了二维联合直方图数据之后,就可以根据这些数据计算联合直方图的SoD,然后将SoD值作为图像的锐度函数执行相关的搜索算法,得到控制摄像设备14的控制参数,并依据该控制参数动态控制摄像设备14的镜头马达尽可能使图像的锐度值最大,使SoD值达到最大的时候,实现图像对焦,使摄像设备14获得较为清晰的图像。
其中,所述搜索算法包括:RS搜索算法、2分搜索算法、全局搜索算法或DDEPM搜索算法。
在本发明该实施例中,在统计相邻两幅图像的联合直方图的过程中,进一步增加一帧FIFO存储器,更进一步的提高了统计的效率,且该统计过程无需消耗计算机资源。
进一步的,将上述公开的多维直方图统计电路应用于基于联合直方图SoD锐度函数的被动式自动对焦系统中,与现有技术中的计算机进行被动式自动对焦的方法相比,能明显改善实时性,且减少计算机的负担。
实施例三
基于上述本发明实施例一所公开的多维直方图统计电路,当统计相邻两幅图像的联合直方图时,如图4所示,该多维直方图统计电路主要包括:图像源16,领域提取电路17、邻域平均电路18、降维子电路11、一维直方图统计子电路12和外部接口子电路(图中未示出)。
图像源16用于获取当前的图像像素灰度数字序列S0[k..0],其中,k为位宽,在图5中给出的k=7,为S0[7..0]。
邻域提取子电路17接收当前的图像像素灰度数字序列S0[k..0]进行缓存,生成延迟的图像像素灰度数字序列S1[k..0](图5中对应为S1[7..0]),及提取确定像素的相邻像素的像素值(包含确定像素自身的像素值)。
邻域平均子电路18用于接收所述确定像素的相邻像素的像素值进行平均,获取所述确定像素的邻域平均值对应的高斯模糊图像灰度数字序列S2[k..0](图5中对应为S2[7..0])。
该降维子电路11接收所述延迟的图像像素灰度数字序列S1[k..0]和所述高斯模糊图像灰度数字序列S2[k..0]进行合并,得到当前的联合数字序列S[k..0](图5中对应为S[7..0],其中S[7..0]=S1[7..0],S[15..8]=S2[7..0])。
该一维直方图统计子电路12接收并统计当前所述联合数字序列S[k..0]对应的一维直方图(S1[k..0]、S2[k..0]),并依据预设的一维直方图与多维直方图的数据映射关系,确定二维直方图的数据为相邻图像的联合直方图的数据。最终通过外部接口电路输出所述相邻图像的联合直方图的数据。
在进行上述多维直方图统计的过程中:
领域提取子电路17的领域提取的尺寸可以根据需要选择,如图5示出的一个3×3尺寸的邻域提取子电路17,也可以选择更大尺寸,如5×5,7×7等的领域提取。具体的执行过程与图5示出的类似。此外,领域提取子电路17也可以输出只被延迟而未被修改的视频流数据。
邻域平均子电路18用于只需要使用简单的乘法和加法逻辑资源即可实现计算该像素邻域内像素的平均值。
在本发明该实施例中,降维子电路11从邻域提取子电路17正中央的存储单元中读取数据获得S1[k..0],从邻域平均子电路18中获取S2[k..0],通过该种方式可以保证S1[k..0]和S2[k..0]同一采样周期输出到降维子电路11的数据,对应相同的图像坐标。
至此,降维子电路11可获得对应原始图像和邻域平均图像的两个图像坐标同步的数字序列S1[k..0]和S2[k..0]。
一维直方图统计子电路12获取到联合数字序列S[k..0],并统计序列S[k..0]的一维直方图。在本发明该实施例中,公开的一维直方图与多维直方图中的映射关系为:
i2∈[0,2k-1];
histo6[i2][i1]=histo5[i2*2k+i1].
其中,S[k..0]的一维直方图histo5[22k]与{S2[k..0],S1[k..0]}的二维直方图histo6[2k][2k]中的每一个数据都是一一映射。
在本发明实施例中所述的映射关系并不仅限于上述公开的该映射关系。
需要说明的是,针对本发明该实施例公开的多维直方图统计电路,如图4所示,通过其外部接口电路与计算机15(处理器)链接,可构成一图像处理系统。该图像处理系统可具体进行图像分割处理。
具体的,该计算机15向该多维直方图统计电路输出地址信号访问二维联合直方图中的任何数据,即访问相邻图像的联合直方图的数据。
在计算机15获取了二维直方图数据之后,根据该二维直方图数据计算出一个分割阈值,该分割阈值通常为最佳分割阈值,然后根据最佳分割阈值对图像实施分割。最后由计算机15输出分割结果。
在本发明该实施例中,在统计相邻两幅图像的联合直方图的过程中,通过进一步增加的图像源16,领域提取电路17和邻域平均电路18,能够更进一步的提高了统计的效率,且该统计过程计算机只需负责后续的阈值计算和分割计算,无需消耗计算机资源,从根本上降低了计算机的功耗。
进一步的,将上述公开的多维直方图统计电路应用于基于二维灰度直方图的图像分割系统中,与现有技术中的计算机进行图像分割的方法相比,能明显改善实时性,且减少计算机的负担。
实施例四
基于上述本发明实施例一所公开的多维直方图统计电路,当统计N维颜色直方图时,如图6所示,该多维直方图统计电路主要包括:彩色比较图像源19、降维子电路11、一维直方图统计子电路12和外部接口子电路(图中未示出)。
彩色比较图像源19用于获取彩色比较图像在HSV空间下的N个向量样本集对应的N个HSV数字序列。
降维子电路11通过N个颜色通道与该彩色比较图像源19相连,用于将接收到的N个HSV数字序列进行合并,获取当前的联合数字序列。
该一维直方图统计子电路12接收并统计当前所述联合数字序列对应的一维直方图,并依据预设的一维直方图与多维直方图的数据映射关系,确定N维颜色直方图的数据。
外部接口电路则读取所述N维颜色直方图的数据,以备后续使用。
其中,N为大于1的自然数。
在进行上述颜色直方图统计的过程中,由彩色比较图像源19获取到的HSV空间下的N个向量样本集对应的N个HSV数字序列,其中N的取值为3。获取到的HSV数字序列以三个一维数字序列H[k3-1..0],S[k2-1..0],V[k1-1..0]的形式输出至降维子电路11的输入端。
其中,数字序列中的“..”表示并行数字信号的比特位,举例进行说明,H[k3-1..0]表示数字序列H的第k3-1比特到第0比特,该数字序列一共有k3比特,其所表达的并行数字信号是数字序列H的全部或部分。需要说明的是,S[k2-1..0]和V[k1-1..0]与上述表述类似,可进行推论获取两者所表达的含义。
该降维子电路11将获取到的三个一位数字序列进行合并,将为一维的联合数字序列具体进行降维的方式如下所示:
HSV [ ( Σ i = 1 3 ki ) - 1 . . ( Σ i = 1 2 ki ) ] = H [ ( kh - 1 ) . . 0 ] HSV [ ( Σ i = 1 2 ki ) - 1 . . ( Σ i = 1 1 ki ) ] = H [ ( ks - 1 ) . . 0 ] HSV [ ( k 1 - 1 ) . . 0 ] = H [ ( k 1 - 1 ) . . 0 ]
该一维直方图统计子电路12接收该联合数字序列并统计该HSV联合数字序列的一维直方图。在本发明该实施例中,公开的一维直方图与多维直方图中的映射关系为:
i2∈[0,2k-1]
histo4[i3][i2][i1]=histo3[i3*2k2+k1+i2*2k1+i1]
其中,联合数字序列
Figure BDA00001675352900134
的一维直方图histo3[2k1+k2+k3]的数据与{H[(k3-1)..0],S[(k2-1)..0],V[(k1-1)..0]}的三维直方图histo4[2k3][2k2][2k1]的数据是一一映射的关系。
在本发明实施例中所述的映射关系并不仅限于上述公开的该映射关系。
需要说明的是,针对本发明该实施例公开的多维直方图统计电路,如图6所示,通过其外部接口电路与计算机15(处理器)链接,可构成一图像处理系统。该图像处理系统可具体进行图像比较处理。
具体的,该计算机15向该多维直方图统计电路输出地址信号访问HSV三维颜色直方图中的任何数据,即读取所述多维直方图统计系统输出的N维颜色直方图的数据,或者说访问联合数字序列HSV的数据。
在计算机15获取了比较图像的HSV三维颜色直方图数据之后,计算比较图像的HSV三维颜色直方图和目标图像(标准图像)的HSV三维颜色直方图之间的距离(直方图距离),并依据获取到的距离度量所述N维颜色直方图与目标图像之间的大小差异度。
即,在这个比较的过程中,计算机15将计算的距离值作为图像差异性度量(相似性度量)用于衡量比较图像和标准图像之间的差异程度(或相似程度),并输出。
其中,进行对比的距离包括:欧式距离、交方距离、EMD和/或核距离。进行对比的过程中可以根据实际需要选择。
通过上述本发明实施公开的多维直方图统计电路,使用了三维直方图统计电路统计HSV颜色空间下的颜色直方图。在进行统计的过程中,同样基于降维子电路和一维直方图统计子电路对接收到的HSV三个一维直方图进行的合并、统计,无需消耗计算机资源,便可以得到对颜色直方图的统计。
进一步的,将上述公开的多维直方图统计电路应用于基于颜色直方图的EMD距离等图像比较系统中,与现有技术中的计算机进行图像比较的方法相比,能明显改善实时性,且减少计算机的负担。
需要说明的是,本发明上述实施例公开了的多维直方图统计电路对应的图像处理系统,可以相互之间进行参照。
综上所述:
本发明上述实施例公开了的多维直方图统计电路以及其对应的图像处理系统,通过设置的降维子电路将接收到的对应多维直方图多维向量样本集的多个数字序列进行合并,得到一个联合数字序列,并基于联合数字序列中的一维直方图的数据与需要统计的多维直方图数据具有一一映射的关系,通过一维直方图统计子电路统计对应联合数字序列的一维直方图数据,并基于统计结果确定多维直方图的数据,实现对多维直方图的统计。上述过程在满足多维直方图统计不同维度的样本值之间的关联信息的同时,无需消耗计算机资源,并避免频繁访问存储器的时间开销,在降低计算机功耗的基础上,提高统计多维直方图的实时性。
通过上述本发明各个实施例公开的多维直方图统计电路以及其对应的图像处理系统,还可预见的是,采用上述方式可以进一步改进相关机器视觉系统的实时性。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种多维直方图统计电路,其特征在于,包括:
降维子电路,用于接收对应多维直方图多维向量样本集的多个数字序列,并获取当前合并多个数字序列后的联合数字序列;
一维直方图统计子电路,用于接收并统计当前所述联合数字序列对应的一维直方图,并依据预设的一维直方图与多维直方图的数据映射关系,确定多维直方图的数据;
外部接口子电路,用于读取所述多维直方图的数据。
2.根据权利要求1所述的电路,其特征在于,当输入为N个位宽为Mi的一维数字序列时:
所述降维子电路,用于接收并行对应N维向量样本集的N个位宽为Mi的一维数字序列Si[Mi-1...0],获取合并所述N个数字序列后位宽为M的联合数字序列S[M-1...0]作为当前的联合数字序列;
所述一维直方图统计子电路,用于接收并统计当前所述联合数字序列对应的一维直方图,并依据预设的一维直方图与多维直方图的数据映射关系,确定N维直方图的数据;
外部接口子电路,用于读取所述N维直方图的数据;
其中,M、Mi和N为大于1的自然数,i的取值范围为1~N;一维数字序列Si[Mi-1..0]表示数字信号Si的第Mi-1比特到第0比特;联合数字序列S[M-1...0]表示数字信号S的第M-1比特到第0比特;上述序列中的“..”用于表示数字信号的比特位。
3.根据权利要求1所述的电路,其特征在于,当统计相邻两幅图像的联合直方图时,还包括:
帧先入先出存储器,用于缓存上一帧周期采集的图像像素灰度数字序列,并作为延迟一个周期的延迟数字序列S1[k-1..0]输出;
所述降维子电路,用于接收当前的图像像素灰度数字序列S2[k-1..0]和所述延迟数字序列S1[k-1..0]进行合并,得到序列S[2k-1..0]作为当前的联合数字序列;
所述一维直方图统计子电路,用于接收并统计当前所述联合数字序列对应的一维直方图,并依据预设的一维直方图与多维直方图的数据映射关系,确定二维直方图的数据为相邻图像的联合直方图的数据;
所述外部接口子电路,用于读取所述相邻图像的联合直方图的数据;
其中,k表征位宽,为大于1的自然数;
延迟数字序列S1[k-1..0]表示数字信号S1的第k-1比特到第0比特;图像像素灰度数字序列S2[k-1..0]表示数字信号S2的第k-1比特到第0比特;序列S[2k-1..0]表示数字信号S的第2k-1比特到第0比特,其中,上述序列中的“..”用于表示数字信号的比特位。
4.根据权利要求1所述的电路,其特征在于,当统计相邻两幅图像的联合直方图时,还包括:
图像源,用于获取当前的图像像素灰度数字序列;
邻域提取子电路,用于接收当前的图像像素灰度数字序列进行缓存,生成延迟的图像像素灰度数字序列,及提取确定像素的相邻像素的像素值;
邻域平均子电路,用于接收所述确定像素的相邻像素的像素值进行平均,获取所述确定像素的邻域平均值对应的高斯模糊图像灰度数字序列;
所述降维子电路,用于接收所述延迟的图像像素灰度数字序列和所述高斯模糊图像灰度数字序列进行合并,得到当前的联合数字序列;
所述一维直方图统计子电路,用于接收并统计当前所述联合数字序列对应的一维直方图,并依据预设的一维直方图与多维直方图的数据映射关系,确定二维直方图的数据为相邻图像的联合直方图的数据;
所述外部接口子电路,用于读取所述相邻图像的联合直方图的数据。
5.根据权利要求1所述的电路,其特征在于,当统计N维颜色直方图时,还包括:
彩色比较图像源单元,用于获取彩色比较图像在色彩H纯度S明度V空间下的N个向量样本集对应的N个HSV数字序列;
所述降维子电路与所述彩色比较图像源单元通过N个颜色通道相连,用于将接收到的N个HSV数字序列进行合并,获取当前的联合数字序列;
所述一维直方图统计子电路,用于接收并统计当前所述联合数字序列对应的一维直方图,并依据预设的一维直方图与多维直方图的数据映射关系,确定N维颜色直方图的数据;
所述外部接口子电路,用于读取所述N维颜色直方图的数据;
其中,N为大于1的自然数。
6.根据权利要求1~5中任意一项所述的电路,其特征在于,所述一维直方图统计子电路包括:
具有两个访问接口的随机存储器,一个访问接口连接所述降维电路用于接收当前所述联合数字序列,另一个访问接口连接外部接口电路用于查询多维直方图;
加法器,用于依据预设的一维直方图与多维直方图的数据映射关系,在确定一维直方图后,对对应的多维直方图数据加一。
7.根据权利要求1~5中任意一项所述的电路,其特征在于,在电路速度较高的情况下,所述降维子电路包括:
Z-ki个ki级串联,Mi级并联的寄存器组,用于接收并列输入的多个数字序列;
一个M级并联的Z-1寄存器组,用于合并所述Z-ki个寄存器组输出的数字序列,并生成一个位宽为M的联合数字序列;
其中,k和M表示位宽为大于1的自然数;i的取值范围为1~N,N为大于1的自然数。
8.一种图像处理系统,其特征在于,包括:权利要求1~7中所述的任意一种多维直方图统计电路,以及处理器;
所述处理器读取所述多维直方图统计电路中统计的多维直方图数据进行相应的图像处理。
9.根据权利要求8所述的系统,其特征在于,当进行图像比较处理时:
所述处理器读取所述多维直方图统计电路输出的N维颜色直方图的数据,并对比所述N维颜色直方图与预存的目标图像的颜色直方图之间的距离,依据所述距离度量所述N维颜色直方图与目标图像之间的大小差异;
其中,进行对比的距离包括:欧式距离、交方距离、陆地搬移者距离和/或核距离。
10.根据权利要求8所述的系统,其特征在于,当进行图像分割处理时:
所述处理器读取并依据所述多维直方图统计电路输出的二维直方图的数据计算分割阈值,并利用所述分割阈值对图像进行分割。
11.根据权利要求8所述的系统,其特征在于,当进行图像的自动对焦处理时,还包括:摄像设备;
所述处理器读取所述多维直方图统计电路输出的相邻图像的联合直方图的数据,计算所述联合直方图的偏对角线累加值,将所述偏对角线累加值作为锐度函数执行搜索算法,得到控制所述摄像设备的控制参数,并使所述摄像设备依据所述控制参数进行对焦;
其中,所述搜索算法包括:RS规则搜索算法、2分搜索算法或全局搜索算法。
CN201210162250.6A 2012-05-23 2012-05-23 多维直方图统计电路和图像处理系统 Active CN103426159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210162250.6A CN103426159B (zh) 2012-05-23 2012-05-23 多维直方图统计电路和图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210162250.6A CN103426159B (zh) 2012-05-23 2012-05-23 多维直方图统计电路和图像处理系统

Publications (2)

Publication Number Publication Date
CN103426159A true CN103426159A (zh) 2013-12-04
CN103426159B CN103426159B (zh) 2016-03-02

Family

ID=49650853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210162250.6A Active CN103426159B (zh) 2012-05-23 2012-05-23 多维直方图统计电路和图像处理系统

Country Status (1)

Country Link
CN (1) CN103426159B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780415A (zh) * 2016-12-30 2017-05-31 华为技术有限公司 一种直方图统计电路及多媒体处理系统
CN107911605A (zh) * 2017-11-27 2018-04-13 中国航空工业集团公司洛阳电光设备研究所 流水线方式零延时提取图像锐度信息的逻辑电路及提取方法
CN108198245A (zh) * 2018-01-31 2018-06-22 哈尔滨学院 基于双灰度因素的三维阈值立体图形形成方法
CN117876365A (zh) * 2024-03-11 2024-04-12 惠州威尔高电子有限公司 一种高频印刷电路板的显影质量检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004172203A (ja) * 2002-11-18 2004-06-17 Hitachi High-Tech Instruments Co Ltd 電子部品装着装置
CN1689318A (zh) * 2002-10-23 2005-10-26 皇家飞利浦电子股份有限公司 锐度增强
EP1862941A2 (en) * 2006-05-22 2007-12-05 Axis AB Method and apparatus for identifying properties of an object detected by a video surveillance camera
CN102254521A (zh) * 2007-04-24 2011-11-23 瑞萨电子株式会社 显示装置、显示装置驱动电路以及图像显示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1689318A (zh) * 2002-10-23 2005-10-26 皇家飞利浦电子股份有限公司 锐度增强
JP2004172203A (ja) * 2002-11-18 2004-06-17 Hitachi High-Tech Instruments Co Ltd 電子部品装着装置
EP1862941A2 (en) * 2006-05-22 2007-12-05 Axis AB Method and apparatus for identifying properties of an object detected by a video surveillance camera
CN102254521A (zh) * 2007-04-24 2011-11-23 瑞萨电子株式会社 显示装置、显示装置驱动电路以及图像显示方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780415A (zh) * 2016-12-30 2017-05-31 华为技术有限公司 一种直方图统计电路及多媒体处理系统
US10929965B2 (en) 2016-12-30 2021-02-23 Huawei Technologies Co., Ltd. Histogram statistics circuit and multimedia processing system
CN107911605A (zh) * 2017-11-27 2018-04-13 中国航空工业集团公司洛阳电光设备研究所 流水线方式零延时提取图像锐度信息的逻辑电路及提取方法
CN107911605B (zh) * 2017-11-27 2020-01-14 中国航空工业集团公司洛阳电光设备研究所 流水线方式零延时提取图像锐度信息的逻辑电路及提取方法
CN108198245A (zh) * 2018-01-31 2018-06-22 哈尔滨学院 基于双灰度因素的三维阈值立体图形形成方法
CN108198245B (zh) * 2018-01-31 2021-02-12 哈尔滨学院 基于双灰度因素的三维阈值立体图形形成方法
CN117876365A (zh) * 2024-03-11 2024-04-12 惠州威尔高电子有限公司 一种高频印刷电路板的显影质量检测方法

Also Published As

Publication number Publication date
CN103426159B (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
CN111709420B (zh) 文本检测方法、电子设备及计算机可读介质
Ju et al. Depth-aware salient object detection using anisotropic center-surround difference
CN111652218A (zh) 文本检测方法、电子设备及计算机可读介质
CN103218618B (zh) 一种基于遥感数字图像的公路路线自动提取方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN111402170B (zh) 图像增强方法、装置、终端及计算机可读存储介质
CN110022463A (zh) 动态场景下实现视频感兴趣区域智能编码方法及系统
CN116645696B (zh) 一种用于多模态行人检测的轮廓信息引导特征检测方法
US20240029272A1 (en) Matting network training method and matting method
CN103426159A (zh) 多维直方图统计电路和图像处理系统
CN104851089A (zh) 一种基于三维光场的静态场景前景分割方法和装置
EP3073443A1 (en) 3D Saliency map
CN102495887B (zh) 一种基于关键区域色彩矩阵的视频镜头分割方法及其应用方法
Ding et al. Real-time stereo vision system using adaptive weight cost aggregation approach
CN109242776B (zh) 一种基于视觉系统的双车道线检测方法
Zhao et al. Accurate and efficient vehicle detection framework based on SSD algorithm
JP6611255B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2022237368A1 (zh) 点云模型处理方法、装置及可读存储介质
Gong et al. A method for wheat head detection based on yolov4
Gu et al. Multi-scaled license plate detection based on the label-moveable maximal MSER clique
CN113139544A (zh) 一种基于多尺度特征动态融合的显著性目标检测方法
CN112632601B (zh) 面向地铁车厢场景的人群计数方法
Kumar et al. An efficient algorithm for text localization and extraction in complex video text images
CN115035299A (zh) 一种基于深度学习的改进型城市街景图像分割方法
Garg et al. Low complexity techniques for robust real-time traffic incident detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20170511

Address after: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401

Patentee after: Guangdong Gaohang Intellectual Property Operation Co., Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: Huawei Technologies Co., Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20170614

Address after: 510000 Guangdong city of Guangzhou province Tianhe District gold Yinglu No. 1 room 1902 room 1903

Patentee after: Guangzhou strong enterprise management consulting Co. Ltd.

Address before: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401

Patentee before: Guangdong Gaohang Intellectual Property Operation Co., Ltd.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 510000 Guangdong city of Guangzhou province Tianhe District gold Yinglu No. 1 room 1902 room 1903

Patentee after: Sichuang Newell (Guangzhou) Technology Co., Ltd.

Address before: 510000 Guangdong city of Guangzhou province Tianhe District gold Yinglu No. 1 room 1902 room 1903

Patentee before: Guangzhou strong enterprise management consulting Co. Ltd.