CN100517367C - 用于提取不可视信息的系统和方法 - Google Patents

Abstract

本发明提供了一种用于从物品提取不可视信息的方法，在所述物品中可视信息与以隐形墨水所形成的不可视信息的至少一部分重叠。该方法包括以下步骤：利用用于使所述隐形墨水发光的光照射所述物品；接收来自于所述物品的反射光；从所接收的反射光提取图像信息；将所述图像信息分离成多条颜色通道信息；获取选自于所述多条颜色通道信息的至少两条颜色通道信息的像素值之间的相关函数；减少所述多条颜色通道信息中所选择的一条的可视信息成分，从而对所述颜色通道信息进行内插；以及从已内插的一条颜色通道信息提取不可视信息。

Description

用于提取不可视信息的系统和方法

技术领域

本发明一般涉及提取不可视信息，更具体地，涉及用于提取不可视信息的系统、方法和程序，即使可视信息与不可视信息重叠。

背景技术

用于结合诸如纸的模拟介质(信息)和数字内容(信息)的方法包括以下方法：首先，以快速响应(QR)码(二维条形码)等对诸如URL的信息进行编码；其次，以隐形墨水等将QR码以不可视状态印刷在纸上；再次，在使得隐形墨水发光的光(紫外线等)的照射下通过数字照相机或照相电话来使其成像从而提取编码信息(日本未审查专利申请公报2003-296659)。

与以可视墨水印刷QR码等的方法相比，已知的方法具备有好的显现并且节省空间的优点。与通过数字水印来嵌入信息的方法相比，该方法还具备嵌入了压倒性数量的信息、具有高抵抗力以及完全不降低图像质量的优点。

然而，该方法具有这样的问题，即当双重印刷(print double)不可视码和可视印迹的时候，不能够提取正确的不可视信息。换句话说，尽管QR码利用Reed-Solomon码而具备了纠正最大30％的突发错误的功能，然而不可视码和可视印迹的重叠印刷可能引起超出纠错能力的错误。

为了解决该问题，存在一种印刷方法以便尽可能地防止这样的重叠(日本专利申请2005-044666)。然而，就空间等而言，重叠印刷有时是不可避免的。

专利文献1：日本未审查专利申请公报2003-296659

专利文献2：日本专利申请2005-044666

发明内容

本发明要解决的问题：

本发明的目的是提取不可视信息，即使可视信息与不可视信息重叠。

用于解决问题的装置：

本发明提供了一种用于从物品提取不可视信息的方法，在所述物品中可视信息与以隐形墨水所形成的不可视信息的至少一部分重叠。所述方法包括：接收和存储图像信息，所述图像信息通过利用使所述隐形墨水发光的光来曝光该物品而获取；将存储的图像信息分离成多条颜色通道(color-channel)信息；获取所述多条颜色通道信息条之间关于所述图像信息的像素值的相关函数；利用所述相关函数来减少所述多条颜色通道信息中所选择的一条颜色通道信息的可视信息成分，从而对所选择的一条颜色通道信息进行内插；以及用于从已内插的一条颜色通道信息提取不可视信息。

本发明提供了一种用于从物品提取不可视信息的系统，在所述物品中可视信息与以隐形墨水所形成的不可视信息的至少一部分重叠。所述系统包括：输入装置，所述输入装置用于输入通过将所述物品曝露于使所述隐形墨水发光的光而获取的图像信息；存储所述图像信息的存储器；用于处理所述图像信息的装置；用于显示所提取的不可视信息的显示器；用于将存储的图像信息分离成多条颜色通道信息的装置；用于获取所述多条颜色通道信息之间关于所述图像信息的像素值的相关函数的装置；用于减少可视信息成分的装置，所述装置利用所述相关函数来减少从所述多条颜色通道信息中所选择的一条颜色通道信息的可视信息成分，从而对所选择的一条颜色通道信息进行内插；以及用于从已内插的一条颜色通道信息提取不可视信息的装置。

本发明提供了一种用于从物品提取不可视信息的方法，在所述物品中可视信息与以隐形墨水所形成的不可视信息的至少一部分重叠。所述方法包括以下步骤：利用用于使所述隐形墨水发光的光来照射所述物品；接收来自于所述物品的反射光；从所接收的反射光提取图像信息；将所述图像信息分离成多条颜色通道信息；获取选自于所述多条颜色通道信息的至少两条颜色通道信息的像素值之间的相关函数；减少从所述多条颜色通道信息中所选择的一条颜色通道信息的可视信息成分，从而对所选择的一条颜色通道信息进行内插；以及从已内插的一条颜色通道信息提取不可视信息。

优点：

通过从这样的图像信息来提取不可视信息，即该图像信息是通过减少用于内插的不可视信息成分而获取的，本发明实现了一直是不可能的、对重叠于可视信息的不可视信息的提取。

附图说明

图1是用于本发明的程序和方法的系统的框图；

图2是示出了本发明的处理装置的结构(功能)的框图。

图3是示出了QR码的例子的示意图。

图4是通过功能示出了QR码的示意图。

图5是示出了通过利用紫外线LED使得以青色不可视(隐形)墨水印刷在报纸上的QR码发光而获取的图像的示意图。

图6是针对根据本发明的实施例的程序的执行(方法)的流程图。

图7是示出了分离成RGB三种颜色的图5中的图像的示意图。

图8是图5的B-通道的图像。

图9(a)绘出了由正方形所围绕的图5(a)的图像部分的像素(R，B)的值。

图9(b)绘出了隐形墨水部分及其它部分的像素(R，B)的值。

图10(a)是在图像中从图5(a)的图样减少了原始成分的图像(再现的图像)。

图10(b)是从图5(a)的图样输出的QR码再现的图像。

图11是示出了本发明的第一实施例的结构的示意图。

图12是示出了将本发明的系统安装在移动式电话中的例子的示意图。

数字标记

10：系统

20：实验装置

30：移动式电话

102：用于输入图像信息的输入装置

104：存储器

106：处理装置

108：显示器

121：用于将图像信息分离成颜色通道信息的分离装置

122：用于指定包括不可视信息的区域的装置

123：用于获取颜色通道信息之间的相关函数的相关函数计算装置

124：用于从用于内插的颜色通道信息来减少可视信息成分的内插装置

125：用于从颜色通道信息提取不可视信息的提取装置

130：位置检测图形

132：校准图形

134：QR码部分

136：原图

140：隐形墨水部分

142：除了隐形墨水部分以外的部分

144：报纸

145：QR码

146：隐形青色墨水

147：打印机

148：UV LED

149：数字照相机

150：PC

160：UV LED

162：ROM

具体实施方式

下面将参照以不可视墨水所形成的QR码(二维条形码)来描述本发明的实施例。本说明书中的隐形墨水概括地包括不可视墨水。因此，原则上可以使用任何的不可视墨水。本发明可以应用于除了QR码以外的任何码(信息)，只要它以隐形墨水形成。尽管下面的实施例直接在显示器上显示所提取的信息，其它的例子也是可能的；例如，可以不直接显示所提取的信息而是使用所提取的信息访问另一系统并且显示其内容(例如，可以提取因特网的URL地址并且在地址中显示内容)，或者可以记录或传送所提取的信息。

图1是用于本发明的程序和方法的系统的框图，换句话说，是用于提取不可视信息的系统的框图。该系统包括诸如个人计算机(PC)的计算机和诸如移动式电话的便携式终端(设备)。系统10包括用于输入图像信息的输入装置102；用于存储图像信息的存储器104；用于处理图像信息的处理装置106；以及用于显示所提取的不可视信息的显示器108。系统10可以进一步包括光源109(图1中以虚线框标记)，其发出使隐形墨水发光的光。输入装置102可以包括接收来自于物品的反射光的光接收器(照相机等)。

存储器104存储了程序。该程序使得处理装置106起到如下作用：用于将图像信息分离成多条颜色通道信息的分离装置121；用于指定含有颜色通道信息中的不可视信息的区域的区域指定装置122；用于获取颜色通道信息之间的相关函数的相关函数计算装置123；内插装置124，该内插装置124用于减少来自于颜色通道信息的或根据用于内插的多条颜色信息计算的新通道的可视信息成分；以及用于从已内插的颜色通道信息提取不可视信息的提取装置125。相关函数计算装置123具有发现颜色通道信息相对于一条选择的颜色通道信息的像素值中的变化，并且根据变化计算相关函数的功能。

根据实施例，不可视信息是QR码。物品是印刷品。以隐形墨水印刷不可视信息。可视信息包括印刷在QR码之上的可视信息。印刷品包括印刷在诸如报纸和杂志的纸上的印刷品以及印刷在除了纸以外的介质(胶片、塑料和墙壁)上的印刷品。隐形墨水包括含有这样的材料的墨水，即该材料不仅通过紫外光而且通过红外光或微弱的X射线来发出光。

在此将更详细地描述本发明的实施例。

图3是示出了QR码的例子的示意图；以及图4是通过功能示出了QR码的示意图。当从QR码提取信息的时候，首先发现图3和图4(a)中三个角处的正方形位置检测图形(detection pattern)130。按照如图4(b)中所示的次序，位置检测图形130的黑色部分和白色部分的长(宽)之比为1∶1∶3∶1∶1。然后，利用校准图形132(左下方处位置检测图形130的缩小的图形，或者交替的黑色和白色的单元(图形的最小单位)的图形)纠正码的失真。数字化单元的颜色(黑色和白色)以提取信息。QR码具有纠错功能，并且利用Reed-Solomon码可以纠正达30％的突发错误。

已知的用于从QR码提取信息的方法假定所有的单元是一种颜色(主要是黑色或白色)。因此，已知的方法不用于从具有包含两种或更多颜色或不同浓淡度的单元的QR码提取信息。例如，在日本未审查专利申请公报2003-296659的方法的情况下，增加了单元的尺寸从而防止单元中两种或更多颜色的混合。因此，不能通过该方法提取来自于如本发明中由小的单元所形成的QR码的信息。

图5是示出了通过利用紫外线发光二极管(LED)使得以青色不可视(隐形)墨水印制在报纸上的QR码发光而获得的图像的示意图。当QR码部分134和原图136相互像这样重叠的时候，原图的成分造成干扰，妨碍了正确的位置检测图形的检测。即使检测到正确的图形，码信息中的单元也会受到原图的影响，以致于也许不能进行完整的纠错。图5(b)是图5(a)的部分(由小圆围绕的)放大图。即使双重印刷了不可视码和原图(图5中，报纸上的字符)，本发明的装置也可以消除原图的影响从而从以不可视墨水正确印刷的码提取正确的信息。

图6是针对根据本发明的实施例的程序的执行(方法)的流程图。根据本发明，利用紫外线LED等的光使得以隐形墨水印刷的图像发光；并且将其拍摄的数字图像用作输入；以及将再现QR码的单元的比特信息(1或0、黑色或白色)的QR码的图像用作输出。将参照图5(a)的图像和图3的QR码描述流程图的步骤。

(A)获得图像

利用来自于具有365mm的波长的紫外线LED的光照射报纸上以青色墨水印刷的QR码(见图3和图5)，并且利用640×480像素的数字照相机使其成像以获得图像信息。

(B)分离成通道

将输入图像分离成RGB、YCbCr或HSL颜色通道。分离成颜色通道表明输出(重建)图像，例如，以红色(R)、绿色(G)和蓝色(B)(以单色)。从多个通道计算的新的通道，例如，“(B-通道-R-通道+255)/2等”也可以适用于本发明。图7是示出了分离成RGB的图5(a)中的图像的示意图。图7(a)示出了以红色通道表示的图像，图7(b)示出了以绿色通道表示的图像，以及图7(c)示出了以蓝色通道表示的图像。在下文中将借助于例子来描述RGB通道分离。

(C)提取码区域(正方形部分)

然后从分离成通道的图像提取包括QR码的区域(正方形)138。在该例子中，蓝色(B)-通道成分含有QR码成分最多，这是由于墨水(青色)和LED(紫外光)结合的缘故。换句话说，图7(c)最清楚地示出了QR码的正方形138(具有高对比度)。因此，首先通过公式(1)使用B的图像来进行下面的转换以重写图像：

$b^m(x,y)=\underset{\left|\mathrm{\&Delta;x}\right|,\left|\mathrm{\&Delta;y}\right|<E}{\mathrm{MAX}}b(x+\mathrm{\&Delta;x},y+\mathrm{\&Delta;y})---\left(1\right)$

其中b(x，y)是像素(x，y)的B成分的值(从1到255的整数)，并且E是搜索的范围。在该例中，E＝10。图8(a)是在运算公式(1)以后B-通道中的图像。尽管这里使用了最大值，然而也可以使用平均值或者最小值。用于从图像提取正方形部分的方法的例子是提取给出了下式的最小值的正方形的方法：

$\frac{\mathrm{\&delta;}{A}_B(x,y,d)}{\mathrm{\&delta;d}}\&times;d---\left(2\right)$

其中A_B(x，y，d)是正方形的B成分的像素的平均值，该正方形每条边(2d+1)、以(x，y)为重心，并且d等于或大于预先确定的正的最小值d_min。图8(b)是示出了由公式(2)所指定的并且用线围住的正方形138的示意图。

(D)计算通道之间的相关性以及加宽(broadening)

然后，(C)中所获取的区域(正方形)138中通道之间的像素值的相关性和加宽。图9(a)绘出了由图8(b)的正方形所围绕的图5(a)的图像部分的像素(R，B)的值。图9(b)绘出了隐形墨水部分140及其其它的部分142。要注意的是，图9(b)是在假定已知QR码的基础上绘出的，所以只可以绘制图9(a)的示意图。如所示出的，在图5(a)的图像的情况下，R和B具有相当大的线性相关性，其中，隐形墨水部分和其它部分尽管有重叠的部分但却相互分离。然而，不可以简单地通过从B的像素值减去R的像素值来再现B的值小的部分。因此，在该系统中，首先获取下面的两个相关函数，利用该相关函数在步骤(D)中改进隐形墨水部分的再现。

1.R和B之间的相关性表示为相关函数f(R)。

2.计算B的值相对于R的值的加宽从而找到R的函数g(R)。

其中f(R)是B的值相对于R的值通过最小二乘逼近到线性表示的近似值，并且g(R)是B的值相对于R的值的分散(dispersion)通过最小二乘逼近到线性表示的近似值。例如，仅使用f(R)可以简单地将B的值转换为b_i′＝(b_i-a₀r_i-c₀)α+128(α是适当的系数)。然而，该值将集中在值128附近，这是因为在R的值小的部分B的值的分散也小。因此，如以下将描述的将B的值归一化与分散度成反比：

特别地，如下计算f(R)和g(R)：

f(R)＝a₀R+c₀             (3)

其中

a₀＝(nZ₀-XY₀)/(nV-X²)，X＝∑r_i，Y₀＝∑b_i，Z₀＝∑r_ib_i，V＝∑r_i ²，r_i

其中r_i和b_i分别表示像素i的红色像素值r(x，y)和蓝色像素值b(x，y)(0＜＝r_i，b_i＜＝255)，n是像素的数目。

g(R)＝a₁R+c₁    (4)

其中

a₁＝(nZ₁-XY₁)/(nV-X²)，c₁＝(VY₁-Z₁X)/(nV-X²)，

Y₁＝∑y_i，Z₁＝∑y_i，Z₁＝∑r_iy_i，y_i＝|b_i-a₀r_i-c₀|

当保持c₀＜0或c₁＜0的时候，如果公式(3)中c₀＝a₀，并且公式(4)中c₁＝a₁，则通过最小二乘逼近再次计算a₀和a₁。尽管这里使用了最小二乘逼近，然而还可以使用除了最小二乘逼近以外的任何其它的函数或方法，只要它们表示了R和B之间的相关性以及加宽。

(E)生成已减少原始成分的(Original-Component-Reduced)图像

使用计算的相关函数f(R)和g(R)来内插B的值以产生隐形墨水部分的图像并且减少原图的影响。特别地，首先，通过下式将值b_i转换为b′_i

b′_i＝(b_i-f(r_i))/g(r_i)                   (5)

其次，将值b′_i归一化为b″_i以便通过下式分散在0到255之间

b″_i＝255(b′_i-min)/(max-min)            (6)

其中min和max分别是b′_i的最小值和最大值。

图10(a)是通过上述方法从图5(a)的图样产生的已减少原始成分(已增强码部分)的图像。

(F)提取位置检测图形和用于校准的校准图形

再次，从已减少原始成分的图像提取位置检测图形和校准图形并且将其校准从而将QR码的形状纠正为正方形。由于该方法与公知的提取QR码的方法相同，因此这里省略其详细的描述。

(G)提取比特信息

然后，从校准后的QR码的颜色来确定每个单元的比特信息。对于QR码来说，一条边的单元的数目p为p＝4m+21(m＝0，1...)。因此，可以将m写为

m＝round(7(S-3L)/4L)                     (7)

其中S是正方形的一条边的长度(像素的数目)并且L是位置检测码的一条边的平均长度。平均亮度可以通过码的位置来随着对光的曝露程度而改变。因此，通过确定单元的平均亮度是否大于这样的正方形的平均亮度的方法可以获取有关单元的比特(颜色)的信息，即该正方形每条边D(75/p＜＝D＜＝S)、以单元的中心为重心。通过该方法再现QR码并且将其输出。此时，对于已知信息的单元(图4(a)的位置检测图形、校准图形以及定时图形)来说，未提取其信息而是提取了现有的信息(见图4)。

(H)纠正错误并且解码信息

此后，输出QR码接受Reed_Solomon纠错并且解码其信息。图10(b)是由该系统从图5(a)的图样输出的QR码再现的图像。

在PC上对本发明的系统进行程序设计并且利用图11中所示出的装置20通过实验对其进行测试。实验的细节如下：

1.原物：从报纸144选择标题页或TV页。

2.QR码：将图3的嵌入信息A编码成41×41(类型6)(具有达30％的纠错)的QR码145并且利用打印机147以隐形青色墨水146将其打印。

3.摄影：将由三300K像素(640×480)的数字照相机在来自365mm的波长的UV LED 148的光下所拍摄的图像以及由200M像素(1600×1200)的数字照相机所拍摄的图像获取到个人计算机(PC)150。

4.提取：通过本发明的方法再现QR码的图像并且争取利用商业提取程序(PsQEdit.exe)来提取。

为了测试(D)计算通道之间的相关性以及加宽、(E)生成已减少原始成分的图像以及(G)在比特提取处屏幕分离(screen splitting)的效果，还通过以下2、3和4的方法来尝试提取，从而验证本系统的优点。

1.在步骤(g)中D＝0.22S的条件下，通过本发明的方法提取信息。

2.在步骤(g)中D＝0.22S的条件下，代替步骤(d)和(e)，而从B-成分减去R-成分并且从图像提取信息，在该图像中将值从0到255归一化。

3.在步骤(g)中，在D＝S的条件下提取信息。

4.在方法(2)中，在D＝S的条件下提取信息。

将30个300K像素的图像和19个200M像素的图像用于实验。通过本发明的方法可以从所有的图像提取正确的嵌入信息(QR码信息)。表1示出了实验的结果。该表包括本发明的部分结果，尽管其中一些结果是通过方法(2)和(3)检测的。通过未包括任何一种方法(步骤)(D)、(E)和(G)的方法(4)不能够提取正确的图像。该结果表明本发明的方法是有优势的。方法(3)的结果表明，将在提取比特信息处分离区域对于具有少量像素的图像(仅针对这次所用的图像)特别有效。

表〔1〕

	从中可以提取正确信息的图像数(640×480，总共30个像素)	从中可以提取正确信息的图像数(1600×1200，总共19个像素)
			本系统	30(100％)	19(100％)
B-R方法	9(30％)	4(21％)
			D＝S方法	5(17％)	16(84％)
B-R+D＝S方法	0(0％)	0(0％)

第二实施例

图12示出了在移动式电话30中安装本发明的系统的方法。仅通过添加紫外线LED 160，并且在ROM 162中存储本发明的程序便可以将本发明应用于公知的照相电话。在这种情况下，紫外线LED 160取代普通的LED发光并且将其紫外光辐射到形成于报纸等上的不可视QR码上。通过紫外光使得QR码发光。由照相机接收该光并且将其作为图像信息获取到RAM。依照存储在ROM 162中的程序，通过本发明的上述方法来处理捕获的图像信息。因而提取嵌入在QR码中的信息。

除了移动式电话，本发明还可以应用于配备了最新的无线局域网(LAN)通信设施的视频游戏机等。例如，将具有照相功能的游戏盒式磁盘与通过曝露于紫外光而发出紫外光的墨水或通过曝露于红外光而发出或吸收红外光的墨水结合，可以提供具有新的用户接口的游戏，其使得不可视信息仅在显示器上可见。这也提供了一种用于提供与书或卡相结合的新的游戏的方法，其嵌入了用于在印刷品上的游戏中使用的珍宝和项目。

Claims (12)

1.用于从物品提取不可视信息的方法，在所述物品中可视信息与以隐形墨水所形成的不可视信息的至少一部分重叠，所述方法包括以下步骤：

接收并且存储图像信息，所述图像信息通过利用使所述隐形墨水发光的光来曝光所述物品而获取；

将所述存储的图像信息分离成多条颜色通道信息；

获取所述多条颜色通道信息之间关于所述图像信息的像素值的相关函数；

利用所述相关函数来减少从所述多条颜色通道信息中所选择的一条颜色通道信息的可视信息成分，从而对所选择的一条颜色通道信息进行内插；以及

从已内插的一条颜色通道信息提取不可视信息。

2.根据权利要求1的方法，其中所述不可视信息是从快速响应码、一维条形码中选择的一种。

3.根据权利要求2的方法，其中所述物品是印刷品；以隐形墨水印刷所述不可视信息；并且所述可视信息包括印刷于所述快速响应码之上的可视信息。

4.根据权利要求1的方法，其进一步包括：在分离成多条颜色通道信息的图像信息中，指定包括所选择的一条颜色通道信息的不可视信息的区域。

5.根据权利要求1的方法，其中用于获取所述相关函数的步骤包括：找到其它的多条颜色通道信息相对于所选择的一条颜色通道信息的像素值中的变化，并且从所述变化确定所述相关函数。

6.根据权利要求1的方法，其中用于获取所述相关函数的步骤包括：使用从所述多条颜色通道信息计算的新的颜色通道信息作为用于获取所述相关函数的颜色通道信息。

7.一种用于从物品提取不可视信息的系统，在所述物品中可视信息与以隐形墨水所形成的不可视信息的至少一部分重叠，所述系统包括：

输入装置，所述输入装置用于输入通过将所述物品曝露于使所述隐形墨水发光的光而获取的图像信息；

存储所述图像信息的存储器；

用于处理所述图像信息的装置；

用于将存储的图像信息分离成多条颜色通道信息的装置；

用于获取所述多条颜色通道信息之间关于所述图像信息的像素值的相关函数的装置；

用于减少可视信息成分的装置，所述用于减少可视信息成分的装置利用所述相关函数来减少从所述多条颜色通道信息中所选择的一条颜色通道信息的可视信息成分，从而对所选择的一条颜色通道信息进行内插；

用于从已内插的一条颜色通道信息提取不可视信息的装置；以及

用于显示已提取的不可视信息的显示器。

8.根据权利要求7的系统，其进一步包括发出用于使所述隐形墨水发光的光的光源，其中所述输入装置包括用于接收来自于所述物品的反射光的光接收器。

9.根据权利要求7或8的系统，其中所述系统是移动式电话。

10.一种用于从物品提取不可视信息的方法，在所述物品中可视信息与以隐形墨水所形成的不可视信息的至少一部分重叠，所述方法包括以下步骤：

利用用于使所述隐形墨水发光的光照射所述物品；

接收来自于所述物品的反射光；

从所接收的反射光提取图像信息；

将所述图像信息分离成多条颜色通道信息；

获取选自于所述多条颜色通道信息的至少两条颜色通道信息的像素值之间的相关函数；

减少从所述多条颜色通道信息中所选择的一条颜色通道信息的可视信息成分，从而对所选择的一条颜色通道信息进行内插；以及

从已内插的一条颜色通道信息提取不可视信息。

11.根据权利要求10的方法，其进一步包括在分离成多条颜色通道信息的图像信息中指定区域的步骤，所述区域包括所选择的一条颜色通道信息的不可视信息。

12.根据权利要求10的方法，其中在获取相关函数的步骤中，找到其它的多条颜色通道信息相对于所选择的一条颜色通道信息的像素值中的变化，并且然后从所述变化确定所述相关函数。

Images