CN110858867B - 影像处理装置及其方法 - Google Patents

影像处理装置及其方法 Download PDF

Info

Publication number
CN110858867B
CN110858867B CN201810890257.7A CN201810890257A CN110858867B CN 110858867 B CN110858867 B CN 110858867B CN 201810890257 A CN201810890257 A CN 201810890257A CN 110858867 B CN110858867 B CN 110858867B
Authority
CN
China
Prior art keywords
pixels
boundary
frame
dynamic parameter
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810890257.7A
Other languages
English (en)
Other versions
CN110858867A (zh
Inventor
林铭达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realtek Semiconductor Corp
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Priority to CN201810890257.7A priority Critical patent/CN110858867B/zh
Publication of CN110858867A publication Critical patent/CN110858867A/zh
Application granted granted Critical
Publication of CN110858867B publication Critical patent/CN110858867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

一种影像处理方法包含接收当前输入影像框与先前输出影像框、比对该当前输入影像框与先前输出影像框坐标相对应的多个第一像素与多个第二像素,并获得对应的多个差异值;依据该些差异值及一动态参数表,获得多个动态参数值、依据该些动态参数值及一边界运算子,获得多个边界保留值、以及依据该些第一像素、该些第二像素、及该些边界保留值,获得多个当前输出像素。影像处理装置执行上述影像处理方法,藉此提升辨识邻接移动区域与非移动区域的边界的准确度与去除该边界的残影。

Description

影像处理装置及其方法
技术领域
本案描述一种关于去除杂讯的影像处理装置及其方法。
背景技术
位于影像框(Frame)中的杂讯(Noise)会影响影像框中的细节或资讯。举例来说,当行车纪录器撷取的车牌影像框具有杂讯时,中央处理器不易找出车牌在影像框中的位置以及不易辨识该车牌的号码。目前去除杂讯的方法是有空间杂讯去除法(Spatial NoiseReduction)、时序杂讯去除法(Temporal Noise Reduction)与三维杂讯去除法(3D NoiseReduction)。
空间杂讯法是以空间滤波器,如平均滤波器、中间值滤波器、高斯滤波器、双边滤波器、西格玛滤波器等,将影像框中的杂讯平滑化(Smoothing)。但是,空间杂讯法会导致影像框中的边界及资讯模糊化(Blurring)。
时序杂讯去除法是以时间递归滤波器比对当前影像框与先前影像框中的多个像素,并依据比对的结果,将当前影像框的像素区分为移动区域(Motion Region)与非移动区域(Non-Motion Region)。在移动区域中,时间递归滤波器停止运作以避免移动区域模糊化(Blurring)。在非移动区域中,时间递归滤波器依时间轴比对当前影像框与先前影像框,藉此去除位于非移动区域的杂讯。
三维杂讯去除法是组合空间杂讯法与时序杂讯去除法。
发明内容
然而,时序杂讯去除法却存在一技术问题,即无法准确地判断在当前影像框中邻接移动区域与非移动区域的边界。时序杂讯去除法是以一遮罩或一取样窗比对当前影像框与先前影像框之间的像素差,藉此判断邻接移动区域与非移动区域的边界。如果该像素差大于一预设值时,则判断当前影像框中的一部分是移动区域。如果该像素差等于零时,则判断当前影像框中的一部分是非移动区域。但是,当该像素差介于该预设值与零之间的间距时,则无法辨识当前影像框中的一部分是移动区域还是非移动区域,导致邻接移动区域与非移动区域的边界具有残影(artifact)。
鉴于上述问题,依据一实施例,一种影像处理方法包含:接收当前输入影像框与先前输出影像框,当前输入影像框包含多个第一像素,先前输出影像框包含多个第二像素;比对坐标相对应的该些第一像素与该些第二像素,并获得对应的多个差异值;依据该些差异值及一动态参数表,获得多个动态参数值;依据该些动态参数值及一边界运算子,获得多个边界保留值;以及依据该些第一像素、该些第二像素、及该些边界保留值,获得多个当前输出像素。因此,本案可增加邻接移动区域与非移动区域的边界的亮度值(Luma)或色度值(Chroma),藉此提升辨识邻接移动区域与非移动区域的边界的准确度,以及去除该边界的残影。
依据一实施例,该动态参数表包括多个差异数值及多个与该些差异数值对应的动态参数值;该获得该些动态参数值的步骤是为依据该些差异值查找对应的该些差异数值,获得对应的该些动态参数值。
依据一实施例,该边界运算子包含一横向运算子与一纵向运算子,该获得该边界保留框的步骤是为依据该些被查找的动态参数值、该横向运算子与该纵向运算子,产生该些边界保留值。
依据一实施例,依据一实施例,在该获得该当前输出像素的步骤中,依据下述公式(1)运算该些第一像素、该些第二像素、及该些边界保留值,获得该些当前输出像素:
Oi(x,y)=(1-K(x,y))×Oi-1(x,y)+K(x,y)×Ii(x,y)…………………………(1);
其中
Oi(x,y)是坐标(x,y)的当前输出像素;
Oi-1(x,y)是坐标(x,y)的第二像素;
K(x,y)是坐标(x,y)的边界保留值;以及
Ii(x,y)是坐标(x,y)的第一像素。
依据一实施例,一种影像处理装置包含:摄像模组、储存模组、及处理模组。摄像模组撷取当前输入影像框,该当前输入影像框包含多个第一像素。储存模组储存先前输出影像框,该先前输出影像框包含多个第二像素。处理模组比对坐标系相对应的该些第一像素与该些第二像素,并获得对应的多个差异值;依据该些差异值及一动态参数表,获得多个动态参数值;依据该些动态参数值与一边界运算子,获得多个边界保留值;以及依据该些第一像素、该些第二像素、及该些边界保留值,获得多个当前输出像素。因此,本实施例可增加邻接移动区域与非移动区域的边界的亮度值或色度值,藉此提升辨识邻接移动区域与非移动区域的边界的准确度,以及去除该边界的残影。
依据一实施例,影像处理装置还包含一滤波电路,用以去除该当前输入影像框的杂讯,并产生一当前去杂讯影像框;该处理模组在该比对之前,接收该当前去杂讯影像框与该先前输出影像框,该当前去杂讯影像框包含该些第一像素。因此,本实施例可增加邻接移动区域与非移动区域的边界的亮度值或色度值,藉此提升辨识邻接移动区域与非移动区域的边界的准确度,以及去除该边界的残影。
附图说明
图1为本案影像处理装置一实施例的电路方块示意图。
图2为本案影像处理方法一实施例的流程示意图。
图3A至图3C为本案一实施例的当前输入影像框、先前输出影像框及对应的差异框示意图。
图4为图3C中M视窗的差异值示意图。
图5为本案一实施例的动态参数值与差异数值的关系示意图。
图6A至图6B为依据图4在M视窗中的差异值及所获得对应的动态参数值的动态参数框的示意图。
图7A至图7B为图6B中遮罩在动态参数框MF中的示意图。
图8为图6B中遮罩超出动态参数框MF边界的示意图。
图9A至图9C为图6B在M视窗中动态参数值所获得对应该M视窗的水平梯度值、垂直梯度值及总合梯度值。
图10A至10B为依据图9C该M视窗的总合梯度值所获得对应该M视窗的边界保留框及正规化边界保留框的示意图。
图11为本案影像处理装置另一实施例的结构示意图。
图12为本案影像处理方法另一实施例的流程示意图。
10、10’ 影像处理装置
11 摄像模组
12 储存模组
13 处理模组
14 显示模组
20 滤波电路
Ii 当前输入影像框
Figure BDA0001756756250000041
去杂讯的当前输入影像框(当前去杂讯影像框)
Oi 当前输出影像框
Oi-1 先前输出影像框
A 移动区域
W 遮罩
M 取样视窗
WD 差异框
MF 动态参数框
Gx 水平梯度值
Gy 垂直梯度值
G 总合梯度值
MC 边界保留框
Si 边界保留和
MC’ 正规化边界保留框
K 正规化边界保留值
步骤S11~S15、S111
具体实施方式
为了清楚表现各元件,以下述及的「第一」及「第二」等术语,其是用以区别所指的元件,而非用以排序或限定所指元件的差异性,且亦非用以限制本发明的范围。
参阅图1,图1绘示本案影像处理装置一实施例的电路方块示意图,影像处理装置包含摄像模组11、储存模组12、处理模组13及显示模组14。
影像处理装置10可以是手持装置,亦可为非手持装置。手持装置可例如智慧型手机(smart phone)、导航机(PND)、电子书(e-book)、笔记型电脑(notebook)、或平版电脑(Tablet or Pad)等。非手持装置可例如智慧型家电、数位看板、或多媒体机台(MMK)等。
摄像模组11接收影像光学讯号并转换为影像框(image frames),每个影像框均包括多个像素,该些像素例如但不限于二维阵列排列的像素。依时间顺序,每个影像框可称做先前输入影像框及当前输入影像框Ii(容后详述)。摄像模组11可以是行车纪录器、照相机、摄影机、感光耦合元件(CCD,Charged Coupled Device)等。
处理模组13电性连接摄像模组11、显示模组14及储存模组12,用以执行一特定的电脑程式产品,而能执行本案一实施例提供的影像处理方法。处理模组13可以是中央处理器、微处理机、特定应用积体电路(ASIC)等可执行程式并控制周边装置或能与周边装置通讯的运算装置。周边装置可以是摄像机、行车纪录器、显示器、键盘、滑鼠、随身硬碟、行动Wi-Fi等。处理模组13是处理摄像模组11产生的先前输入影像框Oi-1及当前输入影像框Ii,并产生输出影像框Oi。该些输出影像框Oi,依时间顺序命名,称做先前输出影像框Oi-1及当前输出影像框Oi(容后详述)。储存模组12电性连接摄像模组11及显示模组14,在一些实施例中,储存模组12用以储存前述先前输入影像框、当前输入影像框Ii、先前输出影像框Oi-1、及当前输出影像框Oi。储存模组12可为非挥发式记忆体或硬碟等储存元件。本案所述的电性连接是指元件与元件之间的连接方式,可以是有线连接(或导线连接)或无线连接(或通讯连接)。有线连接是指以导线连接元件,致使元件与元件之间可经由导线相互传送或接收电讯号。无线连接是指以网络连接元件,致使元件与元件之间可经由网络相互传送或接收电讯号。
显示模组14电性连接处理模组13与储存模组12,用以依据处理模组13的控制而显示当前输出影像框Oi。显示模组14可以是显示器,如LCD与OLED显示面板、触控面板、可挠式面板。
参阅图2,图2绘示影像处理方法一实施例的流程示意图。影像处理方法包含步骤S11至步骤S15。前述步骤S11至S15可由一电脑程式产品实现。此电脑程式产品可为一可读取记录媒体,并且可被影像处理装置10执行,其中可读取记录媒体储存复数程式代码构成的程式,但不以此为限。在一些实施例中,此程式可经由有线或无线的方式传输至影像处理装置10,再被影像处理装置10执行。
参阅图1及图2,步骤S11是接收当前输入影像框Ii与先前输出影像框Oi-1,当前输入影像框Ii包含多个第一像素,先前输出影像框Oi-1包含多个第二像素。依据一些实施例,请合并参阅图2、图3A至图3C,图3A至图3C为本案一实施例的当前输入影像框Ii、先前输出影像框Oi-1及对应的差异框WD示意图。处理模组13可以自储存模组12接收先前输出影像框Oi-1以及自摄像模组11接收当前输入影像框Ii。在一些实施例中,在摄像模组11撷取当前输入影像框Ii后,储存模组12储存当前输入影像框Ii,处理模组13可以自储存模组12接收当前输入影像框Ii与先前输出影像框Oi-1。
当前输入影像框Ii与先前输出影像框Oi-1的尺寸相同,并在坐标上相对应,当前输入影像框Ii与先前输出影像框Oi-1分别具有一移动区域A(如黑色圆形影像)与一非移动区域(如白色背景影像),从图中可以看见,移动区域A分别位于先前输出影像框Oi-1的左侧,以及位于当前输入影像框Ii的右侧。以直角坐标系为例,当前输入影像框Ii包含多个第一像素,且每一第一像素对应于直角坐标系上的一坐标,如(0,0)、(63,0)、(0,63)等。先前输入影像框Oi-1包含多个第二像素,且每一第二像素对应于直角坐标系上的一坐标。更进一步来说,位于一坐标上的一第二像素对应于位于相同坐标的一第一像素。
复参图3A至图3C,当前输入影像框Ii与先前输出影像框Oi相互叠合。相互叠合是指当前输入影像框Ii的尺寸与先前输出影像框Oi-1的尺寸相同,而且当前输入影像框Ii与先前输出影像框Oi-1以左上角为坐标(0,0)原点,并依该原点相互叠合。
步骤S12:比对坐标相对应的该些第一像素与该些第二像素,并获得对应的多个差异值。坐标相对应的该些第一像素与该些第二像素指的是位于相同坐标的第一像素与第二像素。依据一些实施例,请合并参阅图3A至图3C、图4,差异框WD与当前输入影像框Ii及先前输出影像框Oi-1的尺寸相同,并在坐标上相对应,且处理模组13计算坐标相对应的第一像素与第二像素的差异值,并将此差异值做为差异框WD中每一相对应坐标的像素值。
复参图3C,差异值是为「坐标相对应的第一像素值减去第二像素值」的绝对值。举例来说,先前输出影像框Oi-1与当前输入影像框Ii交集的区域(即叶片状区域)。假设在先前输出影像框Oi-1及当前输入影像框Ii的移动区域A的像素值为255,当位于先前输出影像框Oi-1的移动区域A与位于当前输入影像框Ii的移动区域A部分交集时,位于该交集区域的当前输入影像框Ii及先前输出影像框Oi-1的像素值相减而获得差异值0。在差异框WD中的其余差异值以此类推,藉此获得在差异框WD中各像素当前像素值与先前像素值的差异值。
合并参阅图3C及图4,图4为图3C中M视窗的差异值示意图。取样视窗M(以下称之为「M视窗」)是图3C中差异框WD右上角的一个小区域视窗。M视窗涵盖在差异框WD中移动区域A的部分边界,在图4中M视窗每一个格子内的数字即该格子对应的差异值,该M视窗包括5x5像素,每个像素各别具有一差异值。此实施例中,若每像素以8位为例,差异值可以是介于0至255之间。当差异值为0时,表示对应该差异值的第一像素与第二像素的值相同,即第一像素与第二像素很可能同为移动区域A或同为非移动区域。当差异值为255时,表示该差异值对应的第一像素的像素值变化很大。以图4为例,其为图3C差异框WD中在移动区域A右上角M视窗中各像素对应的差异值,图中可以看出,在M视窗右上角坐标(59,8)的差异值为0,表示此坐标的第一、二像素值相同,而M视窗左下角坐标(55,12)的差异值为255,表示此坐标的第一、二像素值差异很大,而两者之间,即为移动区域的边界部分,此区域愈宽,影像通常愈不清晰。
需特别说明的是,图4中将差异框WD的像素值(亦即差异值)以灰阶表示,详言之,即将差异框WD的像素值为0者表示为白色,将差异框WD的像素值为255者表示为黑色,像素值越大,灰阶程度越深,这样表示只是为了方便区别数值的大小,与实施例的范围无关。
步骤S13是依据该些差异值及一动态参数表,获得多个动态参数值。请合并参阅图5、图6A至图6B,图5为动态参数值与差异数值的关系示意图,横轴为差异数值,纵轴为动态参数值,在此实施例中,动态参数表中的曲线为阶梯曲线,而且在阶梯曲线上的每一点对应一差异数值以及一动态参数值。处理模组13依据差异框WD内每一像素的差异值,从动态参数表中查找出对应的差异数值及该差异数值对应的动态参数值,并将差异框WD转换成尺寸相同的动态参数框MF(图6右侧的M视窗对应的动态参数值),其中动态参数框MF包含多个被查找的动态参数值,该些被查找的动态参数值对应于差异框WD内每一差异值。举例来说,图6A为差异框WD中对应M视窗的差异值,而图6B为M视窗中各像素转换成的动态参数值。在对应该M视窗的当前输入影像框Ii中,坐标(55,8)的差异值为10,经查找图5的动态参数表后,对应该M视窗的动态参数框MF中,坐标(55,8)的动态参数值为0.25。同样的,对应该M视窗的当前输入影像框Ii中,坐标(55,12)的差异值为255,对应该M视窗的动态参数框MF中,坐标(55,12)的动态参数值为1。其余在相同坐标上的差异值与动态参数值以此类推,不再赘述。
在一些实施例中,在动态参数表中分布的曲线除了可以为阶梯曲线之外,亦可以为抛物线、斜线、折线、直线或其他任意形状的曲线。
步骤S14是依据该些动态参数值及一边界运算子,获得多个边界保留值。以正规化边界保留值为例,边界运算子是以索贝尔运算子(Sobel Operator)边界运算子包含横向运算子Mx与纵向运算子My,说明如下:
在一些实施例中,横向运算子
Figure BDA0001756756250000081
纵向运算子
Figure BDA0001756756250000082
Figure BDA0001756756250000091
以索贝尔运算子为例:假设动态参数框MF的尺寸与差异框、先前输出影像框Oi-1及当前输入影像框Ii的尺寸相同。图6B动态参数框MF中的该些像素分别与横向运算子Mx、纵向运算子My折积计算,用以获得每一像素在该坐标的水平梯度值Gx与垂直梯度值Gy,说明如下:
水平梯度值
Figure BDA0001756756250000092
垂直梯度值
Figure BDA0001756756250000093
为了说明水平梯度值Gx、垂直梯度值Gy、总合梯度值G的获得方法,请参考图7A至图9C,图7A至图7B为图6B中遮罩W在动态参数框MF中的示意图,图8为图6B中遮罩W超出动态参数框MF边界外侧一像素的动态参数值的示意图,依上述水平梯度值Gx及垂直梯度值Gy的运算方式,运算后获得图9A至图9C所示的图6B在M视窗中动态参数值所获得对应该M视窗的水平梯度值Gx、垂直梯度值Gy及总合梯度值G。
参阅图7A及图7B,设定一与边界运算子Mx,My的尺寸相同的遮罩W,如遮罩W的尺寸为3×3,意即遮罩W中每一格子内的数字对应于动态参数框MF中的动态参数值。接着,该遮罩W位于动态参数框MF,其中该遮罩W中心格子的数值对应欲获得水平梯度值Gx或垂直梯度值Gy的动态参数值,即位于遮罩W中心格子的动态参数值为目标像素,位于与中心格相邻的其余格子为邻接像素。例如:图7A中,遮罩W中心格子位于坐标(57,10)的0.38,经由与边界运算子折积Mx,My后,可获得位于相同坐标的水平梯度值Gx或垂直梯度值Gy;图7B中,遮罩W中心格子位于坐标(55,8)的0.25,可获得对应该坐标的水平梯度值Gx或垂直梯度值Gy。其余坐标的水平梯度值Gx或垂直梯度值Gy以此类推,不再赘述。
依据一些实施例,参阅图8,图8是图3C坐标范围在(59,25)到(63,59)之间的动态参数框,当计算坐标(63,27)像素的水平梯度值Gx及/或垂直梯度值Gy时,遮罩W中心位置位于坐标(63,27),遮罩W右纵行将落于图3C的动态参数框MF外,意即超出动态参数框MF的边界,该遮罩W右纵列将对应一个或多个空格子,该些空格子可以有下列几种实施方式:设定该些空格子为0、不计算该些空格子、镜射(mirror)遮罩W中邻接该些空格子的动态参数值至该些空格子(在此例中,是将位于遮罩W中邻接右纵行的该些空格子所对应的动态参数值(0,0,0)复制至右纵行的该些空格子中)、线性内插等。
之后,参阅图9A至图9C,将该遮罩W对应的动态参数值分别与横向运算子Mx及纵向梯度值My折积,以获得动态参数框MF中每一目标像素的水平梯度值Gx及垂直梯度值Gy。接着,将水平梯度值Gx与垂直梯度值Gy合并计算以获得动态参数框MF中对应于每一目标像素的总合梯度值G,即总合梯度值
Figure BDA0001756756250000101
也就是说,在对应该M视窗的动态参数框MF中,每一坐标的动态参数值(或称为目标像素)各自具有总合梯度值G,如图9C所示。例如,图9C中,坐标(55,8)的总合梯度值G是1.09、坐标(55,12)的总合梯度值G是0.17、坐标(59,8)的总合梯度值G是0。其余坐标的总合梯度值G以此类推,不再赘述。
为了说明将每一像素的总合梯度值G加上其动态参数值,并将所得到的值正规化,以获得多个介于0至1之间的正规化边界保留值K,其对应M视窗的边界保留值,请参阅图10A及图10B,图10A及图10B为依据图9C总合梯度值G所获得对应该M视窗的边界保留框MC及正规化边界保留框MC’的示意图。
前述正规化是将每一像素位置的总合梯度值G与动态参数值的和(以下简称边界保留和Si)进行正规化,使其介于0至1之间。此正规化有几种不同实施方式,在一些实施例中,动态参数框MF各像素所对应的边界保留和的最大值(Smax)及最小值(Smin)的范围对1至0范围做正规化。在一些实施例中,动态参数框MF各像素所对应的边界保留和的最大值(Smax)至0的范围对1至0范围做正规化,意即,某像素的正规化边界保留值K等于该像数的边界保留和Si除以该最大值(K=Si/Smax)。
请再参阅图10A,在对应该M视窗的动态参数框MF中,将每一像素的动态参数值(或称为目标像素)与对应的总合梯度值G相加,以获得多个边界保留和Si。边界保留框MC包含该些边界保留和Si,且该边界保留框MC的尺寸与动态参数框MF、差异框WD、先前输出影像框Oi-1及当前输入影像框Ii的尺寸相同。举例来说,在图10A中,坐标(55,8)、(55,12)及(59,8)的边界保留和Si是1.34、1.17、及0。其余坐标的边界保留和Si以此类推,不再赘述。
合并参阅图10A及图10B,假设图10A中边界保留和Si的最大值(Smax)是坐标(56,11)的3.17,且边界保留和Si的最小值(Smin)为坐标(59,8)的0。接着,图10A边界保留框MC中每一边界保留和Si分别除以坐标(56,11)的3.17,以获得图10B正规化边界保留框MC’中每一个位于相同坐标的正规化边界保留K。
请再参阅图10B,其是为图10A的边界保留框MC正规化,可获得正规化边界保留框MC’。图10A坐标(55,8)的边界保留和Si是1.34;对应图10B相同坐标的正规化边界保留值K是0.42;图10A坐标(55,12)的边界保留和Si是1.17,对应图10B相同坐标的正规化边界保留值K是0.37;图10A坐标(59,8)的边界保留和Si是0,对应图10B相同坐标的正规化边界保留值K是0。其余坐标上的正规化边界保留值K以此类推,不再赘述。
正规化边界保留值K是将每一坐标上的边界保留和Si正规化,用以增强移动区域A的边界的辨识度。也就是说,当以动态参数框MF辨识移动区域A的边界时,该边界不容易被辨识,致使该边界具有残影(或该边界不清楚)。然而,在正规化边界保留框MC’中每一坐标上的正规化边界保留值K包含位于相同坐标上的总合梯度值G,致使移动区域A的边界残影情形大幅降低(或该边界更容易清楚地被辨识)。比较图10B与图6B,移动区域A的边界对应的正规化边界保留值均大于或等于对应的动态参数值,故可以增强移动区域A的边界的辨识度。
复参图10B,在正规化边界保留框MC’的每一纵行、每一横列或者每一对角线中,某一坐标的正规化保留值K越接近最大值,越容易被辨识为移动区域A的边界,且与该坐标相邻的其余坐标的正规化保留值K越接近最小值,越容易被辨识成非为移动区域A的边界。举例来说,就图10B上的边界保留值K来看,大于0.5的边界保留值大致呈左上角(55,8)至右下角(59,12)的对角线排列,而右上角(59,8)及左下角(55,12)则距离边界较远。如此即可得知,本案方法能更佳地判断出边界所在。
在一些实施例中,边界运算子也可以是普利维特运算子(Prewitt Operator)、罗伯兹交叉运算子(Roberts Cross Operator)。
步骤S15是依据多个第一像素、多个第二像素、及多个边界保留值,获得多个当前输出像素。以正规化边界保留值K为例,当前输入影像框Ii搭配先前输出影像框Oi-1与正规化边界保留值K,处理模组13可获得当前输出影像框Oi。该当前输出影像框Oi包含多个当前输出像素,且每一个当前输出像素位于坐标系上的坐标(x,y)。该当前输出影像框Oi的尺寸与边界保留框MC、动态参数框MF、差异框WD、先前输出影像框Oi-1、当前输入影像框Ii的尺寸相同。举例来说,处理模组13计算当前输出影像框Oi的公式为:
Oi(x,y)=(1-K(x,y))×Oi-1(x,y)+K(x,y)×Ii(x,y)…………………………(1);
其中
Oi(x,y)是坐标(x,y)的当前输出像素;
Oi-1(x,y)是坐标(x,y)的第二像素;
K(x,y)是坐标(x,y)的边界保留值;以及
Ii(x,y)是坐标(x,y)的第一像素。
从上面的演算法可以得知,当坐标(x,y)的正规化边界保留值K(x,y)越接近1时,当前输入影像框Ii的第一像素的像素值即被保留得更多,意即对应移动物体轮廓(移动区域A的边界)时,会保留较多的当前输入影像框Ii的像素值。反之,坐标(x,y)的正规化边界保留值K(x,y)越接近0时,即表示当前输入影像框Ii与先前输出影像框Oi-1像素值接近,则会保留多一点先前输出影像框Oi-1的像素值。
其次,请搭配图1说明前述影像处理装置10实现该影像处理方法的实施例。在一些实施例中,摄像模组11撷取当前输入影像框Ii之后,储存模组12储存当前输入影像框Ii。在影像处理一开始,意即摄像模组11撷取第一张当前输入影像框Ii时,由于并无先前的影像框,因此,处理模组13即将该当前输入影像框Ii做为当前输出影像框Oi,并直接控制显示模组14显示该当前输出影像框Oi。储存模组12亦储存该当前输出影像框Oi。
在下一个时间点,前述的输入影像框Ii及输出影像框Oi即变为先前输入影像框Ii-1及先前输出影像框Oi-1,摄像模组11撷取第二张输入影像框,即称为当前输入影像框Ii。该先前输出影像框Oi-1及当前输入影像框Ii均储存于储存模组12中。
处理模组13即依据前述影像处理方法依据先前输出影像框Oi-1、当前输入影像框Ii,产生当前输出影像框Oi,将该当前输出影像框Oi储存于该储存模组12并控制该显示模组14显示该当前输出影像框Oi。
在一些实施例中,当储存模组12没有储存先前输出影像框Oi-1时,处理模组13可以自摄像模组11接收当前输入影像框Ii,而且在不执行步骤S11至步骤S15之下,输出当前输入影像框Ii。储存模组12储存当前输入影像框Ii。
在一些实施例中,摄像模组11包含记忆单元(未图示),该记忆单元储存当前输入影像框Ii。处理模组13可以自记忆单元接收当前输入影像框Ii以及自储存模组12接收先前输出影像框Oi-1。记忆单元可以是前述储存模组12,不再赘述。
在一些实施例中,储存模组12以支持摄像模组11的通讯方式耦接摄像模组11,即以有线通讯或无线通信方式传送摄像内容至处理模组13。有线通讯方式可例如为乙太网络、通用序列汇流排(USB)、高画质多媒体介面(HDMI)、行动高画质连结(MHL)等,无线通信方式可例如为无线网络、行动通讯技术等。
参阅图11,依据一些实施例,影像处理装置10’包含摄像模组11、储存模组12、处理模组13、一滤波电路20及显示模组,滤波电路20电性连接摄像模组11与处理模组13。
滤波电路20可以是低通滤波器、空间滤波器等,用以执行一算法-空间杂讯去除法,将当前输入影像框Ii的杂讯平滑化之后,输出一去杂讯的当前影像框
Figure BDA0001756756250000131
(以下称之为「当前去杂讯影像框
Figure BDA0001756756250000132
」)。
参阅图12,为本案另一实施例的影像处理方法,影像处理方法包括步骤S111,S12,S13,S14,S15。处理模组13执行步骤S111时,是接收当前去杂讯影像框
Figure BDA0001756756250000133
与先前输入影像框Oi-1,其中当前去杂讯影像框
Figure BDA0001756756250000134
包含多个第一像素,先前输入影像框Oi-1包含多个第二像素,如步骤S111所示。接着,执行上述影像处理方法中的步骤S12至步骤S15。
在步骤S15中,处理模组13是依据第一像素、第二像素、及正规化边界保留值K运算下述公式(2),产生当前输出影像框Oi。
Figure BDA0001756756250000141
其中
Figure BDA0001756756250000142
是坐标(x,y)的第一像素(当前去杂讯影像框
Figure BDA0001756756250000143
)。其余符号以见于第一实施例描述的当前输出影像框Oi的公式,不再赘述。
综上所述,本案多个实施例经由执行影像处理方法后,可增加邻接移动区域与非移动区域的边界的亮度值(Luma)或色度值(Chroma),藉此提升辨识邻接移动区域A与非移动区域的边界的准确度,以及去除该边界的残影。

Claims (10)

1.一种影像处理方法,包含:
接收一当前输入影像框与一先前输出影像框,该当前输入影像框包含多个第一像素,该先前输出影像框包含多个第二像素;
比对与坐标系相对应的该些第一像素与该些第二像素,并获得对应的多个差异值;
依据该些差异值及一动态参数表,获得多个动态参数值;
依据该些动态参数值及一边界运算子,获得多个边界保留值;以及
依据该些第一像素、该些第二像素、及该些边界保留值,获得多个当前输出像素。
2.根据权利要求1所述的影像处理方法,其中该动态参数表包括多个差异数值及多个与该些差异数值对应的动态参数值;该获得该些动态参数值的步骤是为依据该些差异值查找对应的该些差异数值,获得对应的该些动态参数值。
3.根据权利要求2所述的影像处理方法,其中该边界运算子包含一横向运算子与一纵向运算子,该获得该边界保留框的步骤是为依据该些被查找的动态参数值、该横向运算子与该纵向运算子,产生该些边界保留值。
4.根据权利要求3所述的影像处理方法,其中在该获得该当前输出像素的步骤中,依据下述公式(1)运算,获得该些当前输出像素:
Oi(x,y)=(1-K(x,y))×Oi-1(x,y)+K(x,y)×Ii(x,y)………………………… (1);
其中
Oi(x,y)是坐标(x,y)的当前输出像素;
Oi-1(x,y)是坐标(x,y)的第二像素;
K(x,y)是坐标(x,y)的边界保留值;以及
Ii(x,y)是坐标(x,y)的第一像素,
其中,将像素位置的总合梯度值与动态参数值的和进行正规化,以获得介于0至1之间的该边界保留值。
5.一种影像处理装置,包含:
一储存模组,储存一先前输出影像框,该先前输出影像框包含多个第二像素;
一摄像模组,撷取一当前输入影像框,该当前输入影像框包含多个第一像素;以及
一处理模组,比对与坐标系相对应的该些第一像素与该些第二像素,并获得对应于该些第一像素与该些第二像素的多个差异值;依据该些差异值及一动态参数表,获得多个动态参数值;依据该些动态参数值与一边界运算子,获得多个边界保留值;以及依据该些第一像素、该些第二像素、及该些边界保留值,获得多个当前输出像素。
6.根据权利要求5所述的影像处理装置,其中该处理模组包含依据下述公式(1)运算该些第一像素、该些第二像素、及该些边界保留值,产生该些当前输出像素:
Oi(x,y)=(1-K(x,y))×Oi-1(x,y)+K(x,y)×Ii(x,y)………………………… (1);
其中
Oi(x,y)是坐标(x,y)的当前输出像素;
Oi-1(x,y)是坐标(x,y)的第二像素;
K(x,y)是坐标(x,y)的边界保留值;以及
Ii(x,y)是坐标(x,y)的第一像素,
其中,将像素位置的总合梯度值与动态参数值的和进行正规化,以获得介于0至1之间的该边界保留值。
7.根据权利要求5所述的影像处理装置,其中:
该动态参数表包括多个差异数值及多个与该些差异数值对应的动态参数值;以及
该处理模组依据该些差异值查找对应的该些差异数值,获得对应的该些动态参数值。
8.根据权利要求7所述的影像处理装置,其中:
该边界运算子包含一横向运算子与一纵向运算子;以及
该处理模组依据该些被查找的动态参数值、该横向运算子与该纵向运算子,产生该些边界保留值。
9.根据权利要求5所述的影像处理装置,还包含一滤波电路,用以去除该当前输入影像框的杂讯,并产生一当前去杂讯影像框;该处理模组在该比对之前,接收该当前去杂讯影像框与该先前输出影像框,该当前去杂讯影像框包含该些第一像素。
10.根据权利要求9所述的影像处理装置,其中该处理模组包含依据下述公式(2)运算该些第一像素、该些第二像素、及该些边界保留值,产生该些当前输出像素:
Figure FDA0003315368910000031
其中
Oi(x,y)是坐标(x,y)的当前输出像素;
Oi-1(x,y)是坐标(x,y)的第二像素;
K(x,y)是坐标(x,y)的边界保留值;以及
Figure FDA0003315368910000032
是坐标(x,y)的第一像素,
其中,将像素位置的总合梯度值与动态参数值的和进行正规化,以获得介于0至1之间的该边界保留值。
CN201810890257.7A 2018-08-07 2018-08-07 影像处理装置及其方法 Active CN110858867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810890257.7A CN110858867B (zh) 2018-08-07 2018-08-07 影像处理装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810890257.7A CN110858867B (zh) 2018-08-07 2018-08-07 影像处理装置及其方法

Publications (2)

Publication Number Publication Date
CN110858867A CN110858867A (zh) 2020-03-03
CN110858867B true CN110858867B (zh) 2021-12-10

Family

ID=69635877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810890257.7A Active CN110858867B (zh) 2018-08-07 2018-08-07 影像处理装置及其方法

Country Status (1)

Country Link
CN (1) CN110858867B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074373A (ja) * 2008-09-17 2010-04-02 Sanyo Electric Co Ltd 撮像装置
JP2010141663A (ja) * 2008-12-12 2010-06-24 Victor Co Of Japan Ltd 撮像装置
CN101808190A (zh) * 2009-02-12 2010-08-18 瑞昱半导体股份有限公司 图像处理装置及图像处理方法
CN102281386A (zh) * 2010-06-08 2011-12-14 中兴通讯股份有限公司 一种对视频图像进行自适应去噪的方法及装置
CN103369209A (zh) * 2013-07-31 2013-10-23 上海通途半导体科技有限公司 视频降噪装置及方法
CN103632352A (zh) * 2013-11-01 2014-03-12 华为技术有限公司 一种噪声图像的时域降噪方法和相关装置
TW201429227A (zh) * 2013-01-08 2014-07-16 Novatek Microelectronics Corp 雜訊估測裝置及其方法
CN104202604A (zh) * 2014-08-14 2014-12-10 腾讯科技(深圳)有限公司 视频增强的方法和装置
CN104767913A (zh) * 2015-04-16 2015-07-08 中国科学院自动化研究所 一种对比度自适应的视频去噪系统
CN104995658A (zh) * 2013-02-18 2015-10-21 日本电气株式会社 图像处理方法,图像处理设备和图像处理程序
CN105913396A (zh) * 2016-04-11 2016-08-31 湖南源信光电科技有限公司 一种噪声估计的图像边缘保持混合去噪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620261B2 (en) * 2004-11-23 2009-11-17 Stmicroelectronics Asia Pacific Pte. Ltd. Edge adaptive filtering system for reducing artifacts and method
US20060139494A1 (en) * 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. Method of temporal noise reduction in video sequences
US9215355B2 (en) * 2011-09-30 2015-12-15 Apple Inc. Scene adaptive temporal filtering

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074373A (ja) * 2008-09-17 2010-04-02 Sanyo Electric Co Ltd 撮像装置
JP2010141663A (ja) * 2008-12-12 2010-06-24 Victor Co Of Japan Ltd 撮像装置
CN101808190A (zh) * 2009-02-12 2010-08-18 瑞昱半导体股份有限公司 图像处理装置及图像处理方法
CN102281386A (zh) * 2010-06-08 2011-12-14 中兴通讯股份有限公司 一种对视频图像进行自适应去噪的方法及装置
TW201429227A (zh) * 2013-01-08 2014-07-16 Novatek Microelectronics Corp 雜訊估測裝置及其方法
CN104995658A (zh) * 2013-02-18 2015-10-21 日本电气株式会社 图像处理方法,图像处理设备和图像处理程序
CN103369209A (zh) * 2013-07-31 2013-10-23 上海通途半导体科技有限公司 视频降噪装置及方法
CN103632352A (zh) * 2013-11-01 2014-03-12 华为技术有限公司 一种噪声图像的时域降噪方法和相关装置
CN104202604A (zh) * 2014-08-14 2014-12-10 腾讯科技(深圳)有限公司 视频增强的方法和装置
CN104767913A (zh) * 2015-04-16 2015-07-08 中国科学院自动化研究所 一种对比度自适应的视频去噪系统
CN105913396A (zh) * 2016-04-11 2016-08-31 湖南源信光电科技有限公司 一种噪声估计的图像边缘保持混合去噪方法

Also Published As

Publication number Publication date
CN110858867A (zh) 2020-03-03

Similar Documents

Publication Publication Date Title
US9995578B2 (en) Image depth perception device
US8019120B2 (en) Image processing apparatus, image processing method, image processing program, recording medium recording the image processing program, and moving object detection system
US20190197735A1 (en) Method and apparatus for image processing, and robot using the same
JP6501092B2 (ja) オブジェクトセグメンテーションのための前景マスク補正のための画像処理装置及び方法
JP6230751B1 (ja) 物体検出装置および物体検出方法
EP3709266A1 (en) Human-tracking methods, apparatuses, systems, and storage media
US11062464B2 (en) Image processing apparatus, method, and storage medium to derive optical flow
CN110287891B (zh) 基于人体关键点的手势控制方法、装置及电子设备
US20200126193A1 (en) Method and device for video processing, electronic device, and storage medium
CN109214996B (zh) 一种图像处理方法及装置
US9424632B2 (en) System and method for generating high dynamic range images
CN111080665B (zh) 图像边框识别方法、装置、设备和计算机存储介质
CN111563517B (zh) 图像处理方法、装置、电子设备及存储介质
CN114820594A (zh) 基于图像检测板材封边缺陷的方法、相关设备及存储介质
CN114627561B (zh) 动态手势识别方法、装置、可读存储介质及电子设备
TWI674557B (zh) 影像處理裝置及其方法
CN113888438A (zh) 图像处理方法、装置及存储介质
CN110858867B (zh) 影像处理装置及其方法
CN111368785A (zh) 一种摄像头遮挡判断方法、装置、设备及存储介质
CN109600598B (zh) 影像处理方法、影像处理装置及电脑可读取记录媒体
CN111507252A (zh) 人体跌倒检测装置、方法、电子终端及存储介质
JP2005339535A (ja) 相違度の計算
CN109995985B (zh) 基于机器人的全景图像拍摄方法、装置及机器人
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN110516680B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant