CN103841312B

CN103841312B - 物体侦测装置及方法

Info

Publication number: CN103841312B
Application number: CN201210490627.0A
Authority: CN
Inventors: 曾易聪
Original assignee: Institute for Information Industry
Current assignee: Institute for Information Industry
Priority date: 2012-11-27
Filing date: 2012-11-27
Publication date: 2017-03-01
Anticipated expiration: 2032-11-27
Also published as: CN103841312A

Abstract

本发明涉及一种物体侦测方法，应用于物体侦测装置中，包括：撷取包括多个像素的影像；产生多个影像区块，分别对应像素其中之一；对影像区块中的一特定影像区块以N个滤波参数进行滤波以产生N个滤波结果，并依序将特定影像区块的模糊度增加；计算特定影像区块的N个均方根误差值，其中第M个均方根误差值依据第M个及第M‑1个滤波结果计算产生；根据N个均方根误差值计算近似线斜率值做为特定影像区块的模糊值；重复上述步骤产生所有像素对应的影像区块的模糊值；将影像区块对应的模糊值与门坎值比较以侦测出清晰物体的对应像素，进而侦测聚焦物体。

Description

物体侦测装置及方法

技术领域

本发明涉及一种数字影像侦测技术，特别是涉及一种物体侦测装置及方法。

背景技术

由于一般摄影装置未具有侦测空间深度的功能，因此无法从拍摄的结果中获得空间深度的数据，必须加装特殊的深度侦测装置，或是透过数字影像处理方法来估测空间深度。接着，利用空间深度信息或是类似的替代信息，侦测在特定距离上的物体。

当物体落在摄影装置的聚焦位置上时，物体将会清楚呈现在撷取的影像中。若物体偏离聚焦位置时，则会出现模糊的形体。由此可知，拍摄物体的模糊程度与摄影装置聚焦参数具有十分密切的关联性，同时拍摄物体的模糊程度与空间深度距离也具有关联性。在数字影像处理技术中，边界是一个参考指标，其可以用来计算边界模糊程度，进而侦测物体。在现有技术中，曾经由判断边界的宽度来决定边界的模糊度，或是计算边界内外像素的差异值来判别像素的模糊度。然而，这些技术对于光源强度的变化十分敏感，亦会造成计算的模糊值的变动，进而造成无法稳定地、准确地侦测物体。

因此，设计一种新的物体侦测装置及方法，使用具备抵抗光源变化能力的像素的模糊值计算方法，进而侦测清晰物体，是业界亟待解决的问题。

发明内容

本发明的一个方面是提供一种物体侦测方法，应用于物体侦测装置中，包括：撷取包括多个像素(pixel)的影像；产生多个影像区块，其中各影像区块分别对应像素其中之一；对影像区块中的一特定影像区块以N个滤波参数进行滤波以产生N个滤波结果，滤波参数依序将特定影像区块的模糊度增加；计算特定影像区块的N个均方根误差(root meansquare error；RMSE)值，其中第M个均方根误差值是依据第M个及第M-1个滤波结果计算产生；根据N个均方根误差值计算近似线斜率值，以作为特定影像区块的模糊值；重复上述步骤以产生所有像素对应的影像区块的模糊值；以及将影像区块对应的模糊值与门槛值比较以侦测出清晰物体的至少一对应像素，进一步侦测出聚焦(in-focus)物体。

依据本发明一个实施例，其中近似线斜率值是利用N个均方根误差值进行最小平方近似法(least squares approximations)计算产生。

依据本发明另一实施例，其中门槛值为适应性(adaptive)门槛值，以先前的门槛值以及特定影像区块中包括的像素的平均模糊值计算产生。

依据本发明又一实施例，物体侦测方法包括判断影像是否为动态影像，当影像为动态影像时，包括下列步骤：对动态影像与参考动态影像进行比较，以侦测出移动物体；以及根据清晰物体和移动物体侦测出聚焦物体。其中参考动态影像为先前动态影像。

依据本发明再一实施例，物体侦测方法包括撷取参考深度表，以影像区块对应的模糊值以及参考深度表产生影像的影像深度图。

依据本发明还具有的一个实施例，物体侦测方法包括对聚焦物体进行数字影像处理，其中数字影像处理包括形态学处理和中间值滤波处理。

本发明的另一方面是提供一种物体侦测装置，包括：影像撷取模块、影像转换模块以及聚焦物体侦测模块。影像撷取模块撷取包括多个像素的影像，以产生多个影像区块，其中各影像区块分别对应像素其中之一。影像转换模块包括：N个滤波单元、N个均方根误差计算单元以及斜率值计算单元。滤波单元具有对应滤波单元其中之一的N个滤波参数，用以对影像区块中的一特定影像区块进行滤波以产生N个滤波结果，其中滤波参数依序将特定影像区块的模糊度增加。均方根误差计算单元计算对应特定影像区块的N个均方根误差值，其中第M个均方根误差值是依据第M个及第M-1个该些滤波结果计算产生。斜率值计算单元根据N个均方根误差值计算近似线斜率值，以作为特定影像区块的模糊值。聚焦物体侦测模块在所有影像区块对应的模糊值产生后，将影像区块对应的模糊值与门槛值比较以侦测出清晰物体的至少一对应像素，进一步侦测出聚焦物体。

依据本发明一个实施例，其中斜率值计算单元利用N个均方根误差值进行最小平方近似法计算产生近似线斜率值。

依据本发明另一实施例，其中门槛值为适应性门槛值，以先前门槛值以及特定影像区块中包括的像素的平均模糊值计算产生。

依据本发明又一实施例，物体侦测装置包括移动物体侦测模块，用以在当影像为动态影像时，对动态影像与参考动态影像进行比较，以侦测出移动物体，聚焦物体侦测模块根据清晰物体以及移动物体判断出聚焦物体。其中参考动态影像为先前动态影像。

依据本发明再一实施例，物体侦测装置包括深度图建构模块，用以撷取参考深度表，根据影像区块对应的模糊值以及参考深度表产生影像的影像深度图。

依据本发明还具有的一个实施例，物体侦测装置包括数字影像处理模块，对聚焦物体进行数字影像处理，其中数字影像处理包括形态学处理和中间值滤波处理。

应用本发明的优点在于通过模糊值的计算，建立空间深度的参考数据，以由模糊值的大小侦测特定距离上的物体，并与参考深度表结合可以产生影像的深度图，而轻易地达成上述目的。

附图说明

为了使本发明的上述和其它目的、特征、优点与实施例能更明显易懂，提供附图，在附图中：

图1为本发明一实施例中，一种物体侦测装置的框图；

图2为本发明一实施例中，影像的示意图；

图3为本发明一实施例中，影像转换模块的框图；

图4为本发明一实施例中，均方根误差计算单元对应的滤波单元数量以及所计算的均方根误差值分布的示意图；

图5为本发明另一实施例中，一种动态影像的物体侦测装置的框图；

图6为本发明一个实施例中，表示亮度的伽玛参数与依本发明的方式计算出的模糊值的变化率的关系图；

图7为本发明一实施例中，物体的距离与模糊值的关系图；以及

图8为本发明一实施例中，物体侦测方法的流程图。

具体实施方式

参照图1。图1为本发明一个实施例，一种物体侦测装置1的框图。物体侦测装置1包括：影像撷取模块100、影像转换模块102、聚焦物体侦测模块104、影像处理模块106以及深度图建构模块108。

影像撷取模块100撷取含有多个像素的影像101。于本实施例中，影像101为静态影像。影像撷取模块100根据此影像101产生多个影像区块103，其中影像区块103分别对应像素其中之一。影像转换模块102根据这些影像区块103，经过滤波及计算后，产生对应各个像素的影像区块103的模糊值105。

聚焦物体侦测模块104根据影像101中各个像素的模糊值105与门槛值比较。于不同实施例中，此门槛值可为固定的或是适应性的。于本实施例中，模糊值105越小代表此像素较为清晰，模糊值105越大则代表此像素较为模糊。因此，在经过各个像素的模糊值105与门槛值的比较后，聚焦物体侦测模块104将可侦测出影像101中的清晰物体。于本实施例中，影像101是为静态影像，因此所侦测出的清晰物体即为聚焦物体107。影像处理模块106可进一步对聚焦物体107进行处理，以产生最终的聚焦物体结果109。

以下将对于整个物体侦测的过程进行更详细的说明。首先，参照图2。图2为本发明一个实施例中，影像撷取模块100所撷取的影像101的示意图。

影像撷取模块100所撷取的影像101由多个像素20所组成。于一个实施例中，前述多个影像区块103其中任一是以影像101的其中一个像素，如图2绘示的像素21为中心，与其周围的像素23所形成W×H的图窗(window)25。于本实施例中，影像区块103分别是一个3×3的图窗25。因此，如影像的大小为A×B，在将此大小的图窗沿着每个像素20移动，将可产生A×B个影像区块。

参照图3。图3为本发明一个实施例中，影像转换模块102的框图。影像转换模块102包括：N个滤波单元30、N个均方根误差(RMSE)计算单元32以及斜率值计算单元34。

N个滤波单元30具有N个相对应的滤波参数Φ₁、Φ₂、…、Φ_N。N个滤波单元30分别接收影像区块103中的一特定影像区块作为输入(如图2所绘示的图窗25)。N个滤波单元30进一步对此特定影像区块进行滤波，以产生N个滤波结果I₁、I₂、…、I_N。其中于本实施例中，滤波参数Φ₁、Φ₂、…、Φ_N依序将特定影像区块的模糊度增加。换句话说，滤波结果I₁的结果将比原特定影像区块模糊，滤波结果I₂的结果将比滤波结果I₁的结果模糊，以此类推。因此，滤波结果I_N的结果将产生最模糊的影像区块。

于一实施例中，第M个滤波结果I_M是依据下列式子产生：

I_M＝I₀*Φ_M，且M＝{1,2,...,N}

其中，I₀为原始的影像区块，Φ_M为第M个滤波参数，I_M为两者的回旋积分(convolution)结果。于一个实施例中，滤波参数可由下面两式决定：

且x,y＝{1,2,...,L}，

其中，L为此滤波参数的高度与宽度。

其中，σ_M为第M个滤波参数的标准变异量。

需注意的是，于其它实施例中，滤波参数也可能以其它方式产生，以达到将特定影像区块的模糊度逐渐增加的结果。

N个均方根误差计算单元32将根据滤波结果计算出对应特定影像区块的N个均方根误差值δ₁、δ₂、…、δ_N。于本实施例中，第M个均方根误差值是依据第M个及第M-1个滤波结果计算产生。举例来说，均方根误差值δ₂是依据第2个滤波结果I₂及第1个滤波结果I₁计算产生。而均方根误差值δ₁是依据第1个滤波结果I₁及原始的特定影像区块计算产生。

于一个实施例中，第M个均方根误差值δ_M是依据下列式子产生：

其中，H及W为此特定影像区块的高度与宽度。斜率值计算单元34进一步根据均方根误差值δ₁、δ₂、…、δ_N计算近似线斜率值，以作为特定影像区块的中心像素的模糊值。

参照图4。图4为本发明一个实施例中，均方根误差计算单元32对应的滤波单元数量以及所计算的均方根误差值δ₁、δ₂、…、δ_N分布的示意图。

各均方根误差值δ₁、δ₂、…、δ_N间的线段400可以一个近似线401逼近。而此近似线401的斜率值于一个实施例中，依据下列式子产生：

因此，所有影像区块103重复上述步骤后，可以获得所有对应的中心像素的模糊值。

在影像转换模块102计算产生影像101中各个像素的模糊值105后，图1中的聚焦物体侦测模块104将根据模糊值105与门槛值比较。于一个实施例中，比较的过程以下列式子进行比较与判断：

如果s(x,y)＜T₂，Θ(x,y)＝1,

否则Θ(x,y)＝0

意即，当模糊值105小于门槛值T₂时，将被标识为清晰像素，而当模糊值105大于T₂时，则被视为模糊像素而不予标识。需注意的是，上述门槛值T₂可为固定值或为适应性门槛值。当门槛值T₂为适应性门槛值时，可依据下列式子产生：

其中，为先前影像区块所使用的门槛值，为目前整个影像区块的各像素的模糊值的平均，而α则为权重值。

对静态影像101来说，经过上述的比较过程，聚焦物体侦测模块104将可标识出影像101中所有的清晰像素并将之分割出来成为清晰物体，也称为聚焦物体107。依据不同门槛值的设定，可侦测出对应不同特定距离(深度)上的聚焦物体107。

在侦测出影像101的聚焦物体107后，影像处理模块106可进一步对聚焦物体107进行处理。于一个实施例中，影像处理模块106可对聚焦物体107进行形态学处理、中间值滤波处理或是其它类型的处理，以产生聚焦物体结果109。

于图1中绘示的深度图建构模块108用以撷取参考深度表111，根据影像区块103对应的模糊值105以及参考深度表111产生影像101的影像深度图113。此影像深度图113表示影像101的深度信息，可用以表示影像101中的物体相对于摄影镜头的远近关系。

参照图5。图5为本发明另一实施例中，一种动态影像的物体侦测装置5的框图。物体侦测装置5与图1的物体侦测装置1大同小异，包括：影像撷取模块100、影像转换模块102、聚焦物体侦测模块104、影像处理模块106以及深度图建构模块108。然而，于本实施例中，物体侦测装置5更包括移动物体侦测模块500。

于本实施例中，影像撷取模块100所撷取的影像101为动态影像。移动物体侦测模块500将接收此影像101以及一个参考动态影像501，将影像101与参考动态影像501进行比较。于一个实施例中，参考动态影像501即为先前的动态影像。

移动物体侦测模块500将先对影像101与参考动态影像501计算各个像素的差值平方和。于一个实施例中，此差值平方和依据下列式子产生：

其中，I_R为参考动态影像501，而I_M为影像101。

产生差值平方和后，移动物体侦测模块500进一步依照下式进行比较与判断：

如果Ω(x,y)＝1,

否则Ω(x,y)＝0

因此，当上述的差值平方和大于门槛值T₁时，即表示此影像区块103所对应的中心像素与前一时刻的参考动态影像差距大，而被标识为移动像素。在对整个影像101进行上述处理后，将可侦测出影像101中的移动物体503。

因此，在影像转换模块102进行于先前实施例所述的模糊值105计算后，聚焦物体侦测模块104除根据模糊值105与门槛值比较产生清晰物体的像素的函数Θ(x,y)外，将进一步依据移动物体503的函数Ω(x,y)计算以产生聚焦物体107的函数：

R(x,y)＝Ω(x,y)·Θ(x,y)

在侦测出聚焦物体107后，影像处理模块106可进行后续的影像处理。因此，本实施例中的物体侦测装置5可以对动态影像进行聚焦物体的侦测处理。

应用本发明物体侦测装置的优点在于通过模糊值的计算，建立空间深度的参考数据，通过模糊值的大小侦测特定距离上的物体，并可以与参考深度表结合产生影像的深度图。其中，像素的模糊值计算结果将不受光源变化而影响。当相机连续拍摄多张照片，过程中若是光源突然变亮或突然变暗的时候，以其它现有技术所侦测到的物体形状会有剧烈的变化，门槛值需要不断的调整变动，十分费时且侦测结果不精准。然而本发明依据多个差值的变化程度进行分析，因此可以抵抗光源剧烈变化的情形，即使门槛值不改变亦可以侦测物体。

参照图6。图6为本发明一个实施例中，表示亮度的伽玛参数与依本发明的方式计算出的模糊值的变化率的关系图。由图6可以得知，在伽玛参数自0.5至2.5的变动区间中(亦即不同光源变化的情形下)，变化率值皆小于0.8，对光源变化有高度稳定性。

参照图7。图7为本发明一个实施例中，物体的距离与模糊值的关系图。于本实施例中，以圆形点绘制而成的线段为对焦距离为175毫米时的情形，而以方形点绘制而成的线为对焦距离为250毫米时的情形。

由图7可知，在不同深度时将有不同的对应模糊值，最小的模糊值表示为相机的对焦距离。当物体在对焦距离上时，其像素模糊值将为最小，然后随着距离拉远像素模糊值逐渐变大。因此，通过本发明的方法，可以有效地建立像素模糊值与空间深度的关系。

参照图8。图8为本发明一个实施例中，物体侦测方法800的流程图。物体侦测方法800可应用于如图1绘示的物体侦测装置1或图5绘示的动态影像的物体侦测装置5。此物体侦测方法800可作为一计算机程序，并储存于计算机可读取记录介质中，而使计算机读取此记录介质后执行实时物体侦测。计算机可读取记录介质可为只读存储器、闪存、软盘、硬盘、光盘、随身碟、磁带、可由网络存取的数据库或本领域技术人员可轻易思及具有相同功能的计算机可读取记录介质。物体侦测方法800包括下列步骤(应了解到，在本实施方式中所提及的步骤，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行)。

于步骤801，由影像撷取模块100撷取含有多个像素的影像，并产生对应像素其中之一的多个影像区块103。

于步骤802，影像转换模块102对影像区块103中的一特定影像区块分别以N个滤波参数进行滤波以产生N个滤波结果，其中滤波参数依序将特定影像区块的模糊度增加。

于步骤803，影像转换模块102计算对应特定影像区块的N个均方根误差值，其中第M个均方根误差值是依据第M个及第M-1个滤波结果计算产生。

于步骤804，影像转换模块102根据N个均方根误差值计算近似线斜率值，以作为特定影像区块的模糊值105。

于步骤805，判断是否所有影像区块均完成计算。当尚未完成计算时，流程将回至步骤802继续进行计算。

当完成计算所有像素对应的影像区块的模糊值时，聚焦物体侦测模块104于步骤806分别将影像区块103对应的模糊值105与门槛值比较以侦测出清晰物体的对应像素，进一步侦测出聚焦物体107。

虽然本发明已以实施方式揭露如上，然而其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，可作各种修改与改变，因此本发明的保护范围以权利要求书所界定为准。

Claims

1.一种物体侦测方法，应用于物体侦测装置中，包括：

撷取包括多个像素的影像；

产生多个影像区块，其中该些影像区块分别对应该些像素其中之一；

对该些影像区块中的一特定影像区块分别以N个滤波参数进行滤波以产生N个滤波结果，其中该些滤波参数系依序将该些特定影像区块的模糊度增加；

计算对应该特定影像区块的N个均方根误差值，其中第M个该些均方根误差值是依据第M个及第M-1个该些滤波结果计算产生；

根据该N个均方根误差值计算近似线斜率值，以作为该特定影像区块的模糊值，其中该近似线斜率值是利用该N个均方根误差值进行最小平方近似法计算产生；

重复上述步骤以产生所有该些像素对应的该些影像区块的该模糊值；以及

分别将该些影像区块对应的该模糊值与门槛值比较以侦测出清晰物体的至少一对应像素，进一步侦测出聚焦物体。

2.根据权利要求1所述的物体侦测方法，其中该门槛值为适应性门槛值，以先前门槛值以及该特定影像区块中包括的该些像素的平均模糊值计算产生。

3.根据权利要求1所述的物体侦测方法，还包括判断该影像是否为动态影像，当该影像为该动态影像时，还包括下列步骤：

对该动态影像与参考动态影像进行比较，以侦测出移动物体；以及

根据该清晰物体以及该移动物体侦测出该聚焦物体。

4.根据权利要求3所述的物体侦测方法，其中该参考动态影像为一先前动态影像。

5.根据权利要求1所述的物体侦测方法，还包括撷取参考深度表，以根据该些影像区块对应的该模糊值以及该参考深度表产生该影像的影像深度图。

6.根据权利要求1所述的物体侦测方法，还包括对该聚焦物体进行数字影像处理，其中该数字影像处理包括形态学处理和包括中间值滤波处理。

7.一种物体侦测装置，包括：

影像撷取模块，撷取包括多个像素的影像，以产生多个影像区块，其中该些影像区块分别对应该些像素其中之一；

影像转换模块，包括：

N个滤波单元，具有分别对应该些滤波单元其中之一的N个滤波参数，用以对该些影像区块中的一特定影像区块进行滤波以产生N个滤波结果，其中该些滤波参数系依序将该些特定影像区块的模糊度增加；

N个均方根误差计算单元，用以计算对应该特定影像区块的N个均方根误差值，其中第M个该些均方根误差值是依据第M个及第M-1个该些滤波结果计算产生；以及

斜率值计算单元，用以根据该N个均方根误差值计算近似线斜率值，以作为该特定影像区块的模糊值，其中该斜率值计算单元利用该N个均方根误差值进行最小平方近似法计算产生该近似线斜率值；以及

聚焦物体侦测模块，用以于所有该些像素对应的该些影像区块的该模糊值产生后，使该模糊值与门槛值比较以侦测出清晰物体的至少一对应像素，进一步侦测出聚焦物体。

8.根据权利要求7所述的物体侦测装置，其中该门槛值为适应性门槛值，以一先前门槛值以及该特定影像区块中包括的该些像素的平均模糊值计算产生。

9.根据权利要求7所述的物体侦测装置，还包括移动物体侦测模块，用以在当该影像为动态影像时，对该动态影像与参考动态影像进行比较，以侦测出移动物体，该聚焦物体侦测模块根据该清晰物体以及该移动物体判断出该聚焦物体。

10.根据权利要求9所述的物体侦测装置，其中该参考动态影像为先前动态影像。

11.根据权利要求7所述的物体侦测装置，还包括深度图建构模块，用以撷取参考深度表，以根据该些影像区块对应的该模糊值以及该参考深度表产生该影像的影像深度图。

12.根据权利要求7所述的物体侦测装置，还包括数字影像处理模块，用以对该聚焦物体进行数字影像处理，其中该数字影像处理包括形态学处理和包括中间值滤波处理。