CN104813341B - 图像处理系统以及图像处理方法 - Google Patents

Abstract

本发明揭示一种图像处理系统以及图像处理方法。根据本发明的一个实施例的图像处理系统包含：交替地输出第一图像以及第二图像的显示器；捕捉所述两个图像的相机；以及检测由所述相机捕捉的第一图像以及第二图像的差分图像中的区域中的标记的图像处理装置，在所述区域中像素值不是0，其中图像包含第一图像，第一图像包含标记，所述标记特定使用差分相机的3/4。所述图像处理系统用于迅速且安全地识别所输出标记到显示器上。

Description

图像处理系统以及图像处理方法

技术领域

本发明涉及一种从先前帧与当前帧之间的差分图像的非零像素区域中快速检测标记(mark)的技术，其中先前帧含有标记且当前帧不含标记，尤其涉及一种图像处理系统以及图像处理方法。

背景技术

标记识别、指向(pointing)、鼠标、扩增实境(augmented reality)、相机、差分图像、图像处理

发明内容

技术问题

最近，已经开发了通过相机进行捕捉以及从所捕捉图像识别监视器中的鼠标光标图标的指向技术。本发明的目的是提供可以在复杂背景图像之中检测鼠标光标图标的快速且稳定的系统。

本发明的另一目的是解决所述系统在相机未捕捉监视器中的鼠标光标图标而是捕捉非监视器的周围环境中的物体时可能将物体误认为鼠标光标图标的问题。

技术解决方案

本发明是使用相机的图像处理系统，所述系统可以通过交替且依序地输出两种图像到监视器屏幕上、依序捕捉所述两个图像以及比较所捕捉的两个图像来迅速检测标记。

有益效果

通过本发明使用差分相机的图像处理系统迅速且稳定地检测到的标记可以用于指向或扩增实境，并且还可以用于机器人来识别其环境。

本发明使用差分相机的图像处理系统计算差分图像、搜索其像素值以便查找存在标记的高概率区域，并且从所述区域检测标记。如果相机不再捕捉计算机显示器而是捕捉显示器周围的附近物体，那么差分图像不含存在标记的高概率区域，并且图像处理系统停止搜索标记。因此，可以减少CPU的负担以及功率消耗。如果不使用本发明的图像处理系统，那么CPU的负担、功率消耗是高的，并且识别标记的速度变慢，这是因为标记假定为始终存在于所捕捉图像中并且图像处理系统始终尝试从所捕捉图像检测标记。

附图说明

图1是实施例1的组成。

图2是标记图像以及普通图像。

具体实施方式

实施例1

最近，已经开发了通过相机进行捕捉以及从所捕捉图像识别监视器中的鼠标光标图标的指向技术。举例来说，存在标题为“使用相机以及输出标记的指向装置(Pointingdevice using camera and outputting mark)”的韩国专利10-0936816号的技术。所述技术由本发明的发明人发明。上文的指向技术包含从奇数帧识别标记的图像处理系统的实施例，其中监视器在奇数帧中显示标记图像并且在偶数帧中显示普通图像。如图1所示，如果标记是位于监视器的中心区域处的鼠标光标图标ICC并且所述标记周围有足够清晰的边际，那么容易检测标记。然而，如果鼠标光标图标ICE正在接触图1的监视器屏幕DS的边界，并且存在纹理PT类似于鼠标光标图标的纹理的物体，那么图像处理系统可能难以区分鼠标光标图标与监视器外的物体。尤其如果存在颜色或形状类似于鼠标光标的颜色或形状的附近物体，则可能检测不到标记。另外，即使标记位于显示器的中心处，如果相机的镜头是广角镜头或如果相机与显示器之间的距离长，那么所捕捉图像可能含有监视器周围的物体，并且图像处理系统可能花费时间来区分鼠标光标与附近物体。

本发明的目的是解决以上问题并且提供快速且稳定的图像处理系统。

为了解决以上问题，使用差分相机的本发明交替且依序地显示标记图像以及普通图像，依序捕捉以上两种图像，计算所捕捉的两个图像的差分图像(difference image)，通过判定差分图像的零像素值区域不是显示区域并且通过排除零像素值区域来迅速且稳定地从差分图像的非零像素值区域中检测标记。差分图像(difference image)的像素值是输入图像的对应的两个像素值的差。举例来说，坐标是(x,y)的差分图像的像素值是坐标是(x,y)的两个输入图像的像素值的差。如果输入图像是含噪声的，那么建议对两个输入图像应用预处理，比如高斯滤波器。建议每秒60次或更多次交替地显示标记图像和普通图像，并且足够快以至于人眼无法感测到显示器的闪烁。此类显示通过使用显示频率为120Hz的快门眼镜式三维显示器是可能的。

如果相机保持不动，则差分图像中显示器DS外的像素值为零值，并且差分图像中显示器内的像素值为非零。

举例来说，在图1中，即使鼠标光标图标ICE接近显示器外的物体的纹理PT，通过搜索差分图像的非零像素值区域也可以容易地从周围纹理分离且检测标记，这是因为差分图像中周围的纹理PT的像素值为零，而鼠标光标图标标记ICE的区域的像素值为非零。

差分图像中的非零像素值区域对应于显示区域。建议降低普通图像OI的区域的亮度，其中所述区域对应于标记图像中的标记MK，使得如图2所示可以容易地检测到标记区域。在此情况下，对应的区域意味着在两个图像叠加时对应的区域是叠加的。举例来说，如果普通图像的标记区域MK的亮度降低，如图2所示，并且将差阶(difference order)定义为从标记图像MI减去普通图像OI，那么标记区域的差值为正，并且标记周围区域的差值为零或负值，这是因为标记图像MI中标记周围的像素值为0或极小值(暗像素)，并且普通图像OI中对应区域的像素值为零或正值(亮像素)。因此，差分图像中的正像素区域具有含有标记的高概率。通过搜索标记图像中的此类高概率区域可以容易地检测到标记。在本发明中，将一阶差分图像定义为普通图像OI与标记图像MI之间的差。

如果相机保持不动，则一阶差分图像中标记区域的像素值为正，并且其余区域的像素值为负或零。然而，如果相机在移动，则差分图像中标记的边界以及显示器周围物体PT的像素值可以是正值。在此情况下，通过从一阶差分图像中的正像素值的区域移除物体的边界PT区域可以检测到标记区域。在本发明中，此类从一阶差分图像移除物体的边界区域被定义为二阶差分。因为来自普通图像OI的边界区域也可能含有在显示器内的物体WI的边界，建议根据标记图像MI而非普通图像来计算边界区域。

这些概括如下：

(步骤1)捕捉显示的标记图像MI。

(步骤2)捕捉经修改普通图像OI，其中修改意味着普通图像中对应的标记区域MK的亮度降低。

(步骤3)从在以上步骤1和2中两个所捕捉图像之间的(一阶)差分图像(差分意味着从标记图像中减去普通图像)中检测正像素值区域。

(步骤4)从步骤1中所捕捉的标记图像检测物体的边界的区域。

(步骤5)从通过从步骤3的正像素值区域移除步骤4的(二阶差分)边界区域而获得的区域中检测标记。

建议在步骤5中移除包含边界区域的略微较大的区域。相机的运动的速度越快，移除较大区域越好。

在步骤4中，可以使用坎尼边缘检测器(canny edge detector)来检测物体的边界。然而，此类检测器的问题在于所检测边界根据给定输入参数以及阈值而改变，并且所检测边界的厚度与相机的运动速度无关。在本发明中，建议使用以下借助差值的边界检测器而非坎尼边缘检测器。

接下来的表格示出捕捉的顺序：

[表1]

时间	所捕捉图像
		t-2	标记图像0
t-1	普通图像1
		t	标记图像2
t+1	普通图像3

如果当前时间为t，那么建议使用差分图像作为边界图像，其中差分图像是在时间(t-2)处的标记图像0与时间(t)处的标记图像2之间计算所得(在本发明中，此类差分图像定义为按差值的边界图像)。腐蚀算子(erosion operator)可以应用到边界图像以便增加边界区域的厚度。

通过使用以上方法，所检测边界的厚度与相机的运动速度成正比。这意味着二阶差分图像在步骤5中更清楚，这是因为一阶差分图像中的正像素的区域的厚度以及按差值的边界图像的厚度几乎相同。如果在步骤4中通过坎尼边缘检测器检测到边界并且所检测边界在步骤5中使用，由坎尼边缘检测器所检测边界的厚度终是恒定的而且与相机运动的改变无关，但是在一阶差分图像中的边界的厚度与相机的运动有关(相机运动很快则边界变得更厚)，在二阶差分图像中的边界有可能少被移除。

通过以上方法检测到的标记或鼠标光标图标可以用于指向。换句话说，可产生指向信号，使得鼠标光标图标移动到相机的观察方向。

如果用户停止指向并且将相机放在桌上，那么相机可以捕捉不是显示器的物体。在这种情况下，如果在监视器周围存在类似于鼠标光标图标的纹理，那么如韩国专利10-0936816的常规技术的图像处理系统可能混淆所述纹理与鼠标光标图标。然而，通过使用本发明的差分图像算法，图像处理系统可以识别因为一阶差分图像的所有像素值为零所以不存在标记，并且可以停止接下来的进一步图像处理，如计算二阶差分。即，程序可以容易且快速地识别标记的不存在，停止用于标记检测的进一步处理(即，用于计算二阶差分图像的步骤)，以及减少CPU的负担并减少功率消耗。

如果相机与显示器之间的距离长，那么所捕捉图像中的鼠标光标小，并且图像处理系统可能难以识别小的鼠标光标图标。然而，本发明的图像处理系统可以检测小的鼠标光标图标，这是因为即使鼠标光标图标的形状太小而不能被识别，检测二阶差分图像的正像素形式也是足够的。也就是说，本发明的图像处理系统可以在比常规系统远的距离下稳定地检测标记。

当今，电视家庭购物节目显示QR码。通过使用QR码作为标记，可以高速度依序且交替地显示标记图像以及经修改普通图像，并且可以通过本发明的图像处理系统检测QR码，其中修改意味着对应于普通图像中的标记的区域的亮度降低。标记也可以显示于显示器矩形的4个顶点处，并且可被检测到，以及通过计算相机与标记之间的距离以及方向而可用于扩增实境。

为了发明的实施型态

实施例2

本实施例为实施例1的修改。实施例1涉及图像处理系统，所述系统计算差分图像并且检测标记，其中差分图像是在两个依序捕捉的图像之间计算所得，其中第一图像是黑色空白图像(空白图像是所有像素值相同的图像)以及标记图像的合成图像，并且第二图像是经修改普通图像，其中修改意味着对应于标记的区域的亮度降低。

相比而言，本实施例：

依序显示第一图像以及第二图像，其中第一图像是标记(例如，白色标记)的第一颜色(例如，红色)分量图像以及普通图像的第一颜色的互补颜色分量图像的合成，并且

第二图像是标记的第一颜色的互补颜色分量图像以及普通图像的第一颜色分量图像的合成。

对于给定的全色图像，第一颜色(例如，红色)分量图像意味着除第一颜色分量(红色)以外的所有颜色分量值(红色、蓝色、绿色)被修改为零的图像。如果此类颜色合成的第一和第二图像同时显示，那么用户的眼睛感测其为全色图像。如实施例1通过依序捕捉以上颜色合成图像并且从所捕捉图像选择第一颜色分量图像，标记区域是亮的而显示器的其背景区域是暗的。这对应于图2中的标记图像MI。通过捕捉第二图像并且从所捕捉图像选择第一颜色分量图像，标记区域是暗的而显示器的其背景区域是亮的。这对应于图2中的普通图像OI。通过从以上两个图像计算一阶差分图像(换句话说，第一图像的所捕捉图像的第一颜色分量图像MI与第二图像的所捕捉图像的第一颜色分量图像OI之间的差)，接着差分图像的标记区域的像素值为正，并且另一区域的像素值为负或零。如果相机在移动，那么显示器外的物体的边界可产生正差值。在此情况下，如实施例1所示，可以通过从一阶差分图像移除边界区域而获得像素值为正的标记区域，其中边界区域是通过二阶差分而获得。因此，通过从最终差分图像搜索正像素值的区域可以容易地检测到标记，其中最终差分图像是通过一阶以及二阶差分过程而获得。

实施例3

本实施例为实施例1的修改。实施例1涉及图像处理系统，所述系统计算差分图像并且检测标记，其中差分图像是在两个依序捕捉的图像之间计算所得，其中第一图像是黑色空白图像(空白图像是所有像素值相同的图像)以及标记图像的合成图像，并且第二图像是经修改普通图像，其中修改意味着对应于标记的区域的亮度降低。相比而言，本实施例依序显示黑色空白图像以及普通图像而不是显示经修改普通图像，其中修改意味着对应于标记的区域的亮度降低。(显示的次序可以改变。也就是说，可以在显示普通图像之后显示暗的空白图像。)换句话说，本实施例涉及图像处理系统，所述系统交替且迅速地显示三种图像(标记图像、空白图像以及普通图像)，并且通过计算在所捕捉标记图像与所捕捉空白图像之间的差分图像来检测标记。通过使用本实施例的方法，不必修改普通图像以降低标记区域的亮度。因此，解决了其中问题是标记阻挡普通图像的问题。即，用户可以观看半透明标记并且可以观看在所述标记后方的普通图像，这是因为未经修改的(即，原始的)普通图像以及标记图像交替且迅速地显示，其中修改意味着标记区域的亮度降低。但是实施例1的方法的问题在于用户无法观看在标记后方的原始图像，这是因为普通图像的标记区域的亮度降低了。

实施例4

本实施例为实施例1的修改。实施例1涉及图像处理系统，所述系统计算差分图像并且检测标记，其中差分图像是在两个依序捕捉的图像之间计算所得，其中第一图像是黑色空白图像(空白图像是所有像素值相同的图像)以及标记图像的合成图像，并且第二图像是经修改普通图像，其中修改意味着对应于标记的区域的亮度降低。相比而言，本实施例涉及标记对用户不可见的图像处理系统。举例来说，在电视家庭购物节目过程中显示小QR码。用户不便于接近电视屏幕以便用智能电话相机捕捉小的QR码以用于QR码识别应用，这是因为小的QR码显示在显示器的边角处使得QR码不阻挡普通图像。方便的是标记对人眼不可见但是可以被相机捕捉并且足够大以覆盖全部显示区域。

本实施例涉及图像处理系统，所述系统依序显示三种图像，并且通过搜索在所捕捉的第一图像与所捕捉的第二图像之间的差分图像的非零像素值区域来检测标记，其中第一图像是标记以及黑色空白图像的合成图像，第二图像是第一图像的互补颜色图像，并且第三图像是普通图像。在移动相机的情况下，建议通过进一步使用如实施例1所描述的二阶差分图像来检测标记，这是因为通过使用仅仅一阶差分图像可能无法检测到标记。

如果迅速并且交替地显示标记图像以及黑色空白图像的合成图像(第一图像)以及其颜色互补图像(第二图像)，那么人眼感测其为灰色空白图像并且标记不可见，但是高速相机可以单独地捕捉第一以及第二图像，并且QR码可以从两个所捕捉图像的差分图像中容易地检测到。颜色互补图像意味着图像的像素值以及其颜色互补图像的像素值的相加产生白色或灰色像素值。举例来说，如果白色像素定义为具有红色＝255、绿色＝255、蓝色＝255的颜色，并且普通图像的给定输入像素值为红色＝125、绿色＝100、蓝色＝150，那么输出颜色互补像素值为红色＝255-125、绿色＝255-100、蓝色＝255-150。如果QR码为具有黑色背景的红色，那么其颜色互补图像为白色背景中的青色标记。

实施例5

本实施例为实施例4的修改。本实施例涉及图像处理系统，所述系统依序显示四种图像并且从所捕捉的第一图像与所捕捉的第四图像之间的差分图像中检测标记，其中第一图像是标记图像以及黑色空白图像的合成图像，第二图像是第一图像的颜色互补图像，第三图像是普通图像，并且第四图像是黑色空白图像。通过使用本实施例的方法，可以比实施例4更容易地检测到标记。

换句话说，在移动相机的情况下，实施例4的一阶差分图像是含噪声的，而本实施例的一阶差分图像具有清晰标记。

实施例6

以上实施例的标记可以用闪烁的光源替换。举例来说，通过快速且重复地接通和断开交通标志，用快门与闪烁频率同步的相机捕捉交通标志，通过实施例1的差分方法可以检测到交通标志。举例来说，如果闪烁的频率是60Hz，那么人眼感测到光接通。所接通光源的所捕捉图像对应于实施例1的标记图像，并且所断开光源的所捕捉图像对应于普通图像。通过从标记图像减去普通图像，可以获得差分图像，其中差分图像的标记区域是亮的。如果相机在移动，那么光源周围的附近物体的边界区域也具有亮像素值。在此情况下，通过用如实施例1所描述的二阶差分移除边界区域，仅光源的区域变为具有亮像素值。此类闪烁光源可以由具有相机以及图像处理装置的机器人或汽车识别。

在以上实施例中，可以依序显示用于快门眼镜式三维显示器的立体图像(用于左眼的图像以及用于右眼的图像)而不是显示一种普通图像。以此方式，可以依序显示各种图像而不是显示普通图像。最近，已经发行可以交替地显示不同频道的图像的多用户电视，其中每一用户可以通过佩戴快门眼镜来观看不同频道。可以交替地显示此类多个不同频道的图像而不是本实施例的普通图像。

Claims (11)

1.一种图像处理系统，包括：

显示器，用于交替地显示第一图像以及显示第二图像，其中所述第一图像含有标记；

相机，用于捕捉所述第一图像以及捕捉所述第二图像；以及

图像处理装置，用于从所捕捉的所述第一图像与所捕捉的所述第二图像计算差分图像，检测所述差分图像的非零像素区域，从两个所捕捉图像的差来检测所述非零像素区域中的物体的边界区域，从所述非零像素区域移除所述物体的所述边界区域，以及通过搜索所述差分图像的已移除所述边界区域的非零像素区域来检测所述标记，其中用来检测所述物体的所述边界区域的所述两个所捕捉图像为以下其中之一：所述第一图像的先前帧以及所述第一图像的当前帧，或所述第二图像的先前帧以及所述第二图像的当前帧。

2.根据权利要求1所述的图像处理系统，其特征在于所述第一图像是标记图像并且所述第二图像是普通图像。

3.根据权利要求2所述的图像处理系统，其特征在于所述普通图像经修改使得对应于所述标记的区域的像素的亮度降低。

4.根据权利要求1所述的图像处理系统，其特征在于所述第一图像是第一经修改普通图像以及第一经修改标记图像的合成图像，其中所述第一经修改普通图像是普通图像的第一颜色的互补颜色分量图像，并且所述第一经修改标记图像是标记图像的第一颜色分量图像，并且

所述第二图像是第二经修改普通图像以及第二经修改标记图像的合成图像，其中所述第二经修改普通图像是所述普通图像的第一颜色分量图像，并且所述第二经修改标记图像是所述标记图像的第一颜色的互补颜色分量图像，并且

所述图像处理装置通过搜索所述所捕捉的两个图像的所述第一颜色分量图像的差分图像的非零像素区域来检测所述标记。

5.根据权利要求1所述的图像处理系统，

其特征在于所述显示器进一步显示第三图像，

所述第一图像是标记图像，

所述第二图像是空白图像，并且

所述第三图像是普通图像。

6.根据权利要求1所述的图像处理系统，

其特征在于所述显示器进一步显示第三图像，

所述第一图像是标记图像，

所述第二图像是所述标记图像的互补颜色图像，并且

所述第三图像是普通图像。

7.根据权利要求1所述的图像处理系统，

其特征在于所述显示器进一步显示第三图像以及第四图像，

所述第一图像是标记图像，

所述第二图像是空白图像，

所述第三图像是普通图像，并且

所述第四图像是所述标记图像的互补颜色图像。

8.根据权利要求1所述的图像处理系统，

其特征在于所述第一图像是光源接通时所捕捉的图像；

所述第二图像是所述光源断开时所捕捉的图像。

9.根据权利要求1所述的图像处理系统，

其特征在于所述标记是鼠标光标图标，并且所述图像处理装置通过搜索所述差分图像的所述非零像素区域并检测所述鼠标光标图标来产生指向信号。

10.根据权利要求1所述的图像处理系统，

其特征在于所述标记是用于扩增实境的标记、或字符或用以表示信息的标记，并且所述图像处理装置通过搜索所述差分图像的所述非零像素区域、检测所述标记并计算在所述相机与所述标记之间的三维相对位置以及方向来产生扩增实境图像。

11.一种图像处理方法，包括：

步骤1：捕捉包含标记的第一图像；

步骤2：捕捉第二图像；

步骤3：从步骤1以及步骤2的所捕捉的所述第一图像与所捕捉的所述第二图像计算差分图像；

步骤4：从步骤3的所述差分图像中检测非零像素区域；

步骤5：从两个所捕捉图像的差来检测步骤4的所述非零像素区域中的物体的边界区域；并且

步骤6：通过从步骤4的所述非零像素区域中移除步骤5的所述物体的所述边界区域并搜索所述差分图像的已移除所述边界区域的非零像素区域来检测所述标记，其中用来检测所述物体的所述边界区域的所述两个所捕捉图像为以下其中之一：所述第一图像的先前帧以及所述第一图像的当前帧，或所述第二图像的先前帧以及所述第二图像的当前帧。