CN109151244B - 移动信息处理装置、其控制方法和存储介质 - Google Patents

Abstract

本发明提供信息处理装置、其控制方法和存储介质，以使得能够通过使用移动终端的内置照相机容易地从打印物中提取附加信息。该信息处理装置通过使用内置照相机拍摄嵌入有附加信息的打印物，来读取附加信息，所述信息处理装置包括：控制单元，其被构造成，获取第一拍摄图像和第二拍摄图像，第一拍摄图像通过在第一摄像条件下拍摄打印物而获得，第二拍摄图像通过在不同于第一摄像条件的第二摄像条件下拍摄打印物而获得；以及提取单元，其被构造成，通过分析第一拍摄图像和第二拍摄图像，来提取附加信息。

Description

移动信息处理装置、其控制方法和存储介质

技术领域

本发明涉及对嵌入在打印物中的信息的读取技术。

背景技术

已知如下信息隐藏技术：通过对数字信息(该数字信息表示作者、是否许可使用数字信息等)进行复合(multiplex)而将该数字信息添加至通过打印照片、绘画等而获得的打印物，从而难以通过视觉识别。可以通过利用诸如扫描器和移动终端的内置照相机等的摄像设备拍摄目标打印物并分析拍摄图像，来取出添加至打印物的数字信息(下文称为“附加信息”)。然后，作为适当地取出附加信息的技术，例如日本特开2005-026797 号公报公开了，在生成水印嵌入图像时附加表示图像的基准的标记(校正标识)的技术。在该方法的情况下，通过在取出附加信息时使用校正标识来校正图像从而评估基准点或基准线从预定状态失真的程度，来实现电子水印对诸如投影变换等的复杂几何变换的耐受性。

为了正确地从打印物取出通过信息隐藏技术嵌入的附加信息，通常重要的是，通过对打印物在正确位置进行摄像，来获得具有尽可能少的模糊或失真的高质量图像。然而，在通过诸如智能手机等的移动终端的内置照相机进行摄像的情况下，本身难以在稳定条件下进行摄像。例如，离打印物的距离太远或发生旋转或梯形失真。在这方面，上述使用校正标识的方法的前提是，除了几何失真之外正确地进行摄像。然而，在使用移动终端的内置照相机的手持型摄像中，发生照相机抖动或者阴影或光线易于投射在打印物上。另外，即使在不存在除了失真之外的问题的状态下进行摄像的情况下，如果移动终端(内置照相机)相对于打印物的倾斜增大，则例如也会出现如下情况：嵌入信息的区域的仅一部分对焦。在这种情况下，即使通过进行几何变换也不能获得令人满意的图像，并且不能正确地提取附加信息。另外，在附加信息量增大的情况下，嵌入附加信息的区域的基本单位变大，并且对能够准确提取附加信息的图像的摄像变得更加困难。如上所述，在通过使用移动终端的照相机功能从打印物读取附加信息的情况下，存在如下可能性：获得适合于提取附加信息的拍摄图像更加复杂。

因此，本发明的目的是，使得能够通过使用移动终端的内置照相机容易地从打印物提取附加信息。

发明内容

根据本发明的信息处理装置是如下信息处理装置，其通过使用内置照相机拍摄嵌入有附加信息的打印物，来读取附加信息，所述信息处理装置包括：控制单元，其被构造成获取第一拍摄图像和第二拍摄图像，第一拍摄图像通过在第一摄像条件下拍摄打印物而获得，第二拍摄图像通过在不同于第一摄像条件的第二摄像条件下拍摄打印物而获得；以及提取单元，其被构造成通过分析第一拍摄图像和第二拍摄图像，来提取附加信息。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1A和图1B是示出了构成图像处理系统的图像形成装置和移动终端的主要功能的框图；

图2A和图2B是示出了图像形成装置和移动终端的硬件构造的框图；

图3是示出了嵌入处理单元的内部构造的图；

图4是示出了将附加信息嵌入图像信息中的处理流程的流程图；

图5是嵌入区域的说明图；

图6A至图6D是量化条件的说明图；

图7是示出了提取处理单元的内部构造的框图；

图8A和图8B是示出了空间滤波器的系数的图；

图9是示出了二维频率区域的图；

图10A和图10B是示出了单位块的示例的图；

图11A和图11B是示出了由单位块表示的附加信息被反复嵌入的方式的图。

图12A和12B是示出了从多个单位块中读取与一组相对应的附加信息的方式的图；

图13是示出了在移动终端倾斜的状态下针对打印物进行手持型摄像的方式的图；

图14是示出了在手持型摄像时通过移动终端的镜头观察打印物的方式的图；

图15是示出了在从打印物提取附加信息时的摄像控制的流程的流程图；并且

图16是示出了在从打印物提取附加信息时的摄像控制的流程的流程图。

具体实施方式

下面将参照附图根据优选实施例详细说明本发明。在以下实施例中示出的构造仅是示例性的，本发明不限于示意性示出的构造。

[第一实施例]

图1A和图1B是示出了构成根据本实施例的图像处理系统的图像形成装置100和移动终端110中的主要功能的框图。图1A示出的图像形成装置100例如是诸如MFP(多功能外围设备)的具有打印功能的打印装置。图1B示出的移动终端110例如是诸如智能手机和平板PC的具有照相机功能的移动信息处理装置。在本实施例中，图像形成装置100输出通过复合而嵌入附加信息的打印物。附加信息例如是关于打印图像的诸如声音、运动图像、静止图像和字符的信息，或者关于图像的诸如版权、摄像的日期和时间、摄像地址和摄像者的管理信息。附加信息可以作为图像信息的部分被包括，该图像信息作为图像文件而构成。然后，通过由移动终端110的内置照相机(摄像传感器)111拍摄打印物并分析获得的拍摄图像，取出附加信息。存在附加信息被称为“复合信息”或“嵌入信息”的情况。

图像形成装置100包括嵌入处理单元101和打印单元(打印机引擎) 102，嵌入处理单元101被构造成通过在图像信息中复合附加信息来进行嵌入处理，打印单元102被构造成通过使用嵌入附加信息的图像信息来进行打印处理。打印单元102例如是诸如喷墨打印机和激光打印机的打印机，其通过使用伪灰度处理(pseudo gradation processing)在诸如纸张的打印介质上实现灰度呈现。嵌入处理单元101作为生成要被递送至打印单元102的图像信息的打印机驱动器或者作为应用软件而实现。另外，嵌入处理单元101也可以在其作为硬件或软件被并入复印机、传真机、打印机主体等的情况下被实现。存在将嵌入附加信息的处理称为“复合处理”的情况。

移动终端110除了上述摄像传感器111之外，还具有提取处理单元 112和附加信息检查单元113，提取处理单元112被构造成进行从打印物提取附加信息的处理，附加信息检查单元113被构造成对提取的附加信息进行误差检测。提取处理单元112和附加信息检查单元113可以通过软件或硬件实现。存在将取出嵌入的附加信息的处理称为“读取处理”或“分离处理”的情况。

在本实施例中，作为示例说明了嵌入处理单元101和打印单元102 被包括在图像形成装置100中的构造，但是上述单元可以构造成单独的装置。例如，构造可以是诸如PC的信息处理装置具有嵌入处理单元101 的功能，并且独立于信息处理装置的打印装置具有打印单元102的功能。

[图像形成装置的基本构造]

在难以通过视觉识别附加信息的状态下，嵌入处理单元101将附加信息嵌入(复合)在图像信息中。打印单元102基于由嵌入处理单元101 创建的嵌入附加信息的图像信息，来进行打印处理。

图2A是示出了图像形成装置100的硬件构造的示例的图。CPU 200 是集中控制图像形成装置100的处理器。ROM 201和HDD 203存储图像形成装置100的基本程序和控制程序、各种应用、数据等。CPU 200通过将ROM 201中存储的程序读取到RAM 202上并执行程序，来实现诸如上述嵌入处理单元101的各种功能。RAM 202还用作CPU 200的工作存储器。

网络接口204具有例如根据诸如有线网络和无线网络的网络方面的构造。另外，还可以通过多种通信范围不同的无线网络(例如通信距离为几厘米的近场通信(NFC))与移动终端110通信。

显示器205向用户显示各个设置画面、预览画面等。操作单元206例如具有键盘、触摸面板等并能够接收来自用户的操作指令。设备I/F 207 连接打印单元102(打印机引擎)和系统总线209。在图1A中，示出了打印单元102，但是根据图像形成装置100具有的功能，诸如扫描器和 FAX的处理单元连接至设备I/F 207。图像处理单元208根据对从外部获取的图像数据的使用来进行图像处理。例如，图像处理单元208根据打印单元102的打印方法进行诸如色空间转换、二值化处理以及图像的放大、缩小和旋转等的处理。

[移动终端的基本构造]

在用户通过使用安装在移动终端110中的图像读取应用对打印物进行摄像的情况下，在提取处理单元112中从拍摄图像提取附加信息，并且在附加信息检查单元113中进行误差检测。

图2B是示出了移动终端110的硬件构造的示例的图。移动终端110 包括通用信息处理装置的构造。CPU 210是集中控制移动终端110的处理器。CPU 210通过将存储在ROM211中的程序读取到RAM 212上并执行程序，来实现包括上述提取处理单元112和附加信息检查单元113的各种功能。ROM 211存储移动终端110的基本程序和控制程序、各种应用、数据等。RAM 212还用作CPU 210的工作存储器。将在下文描述的图15和图16的流程图通过CPU210读取对应于各个步骤的程序并执行程序而实现。在已经通过附加信息检查单元检查了的附加信息例如是图像信息或字符信息的情况下，其内容被输出至显示器215，并且在附加信息是诸如URL的链接信息的情况下，启动浏览器并在随后将链接目的地显示在显示器215上。作为附加信息检查单元113中的误差的典型原因，提到较差图像质量的问题，诸如由于通过移动终端的手持型摄像造成的照相机抖动和离焦(out of focus)。摄像传感器111通过使用AF(自动聚焦(Auto Focus))、AE(自动曝光(Auto Exposure))和AWB(自动白平衡(Auto White Balance))，来进行对静止图像的摄像。在拍摄的静止图像具有问题并且在提取的附加信息中检测到误差的情况下，反复进行通过改变条件而再次进行摄像的操作，直到检查合格。通过这样做，即使在摄像时姿势不稳定，仍可以提取附加信息。还可以从通过在运动图像模式下进行摄像而获得的运动图像中切出静止图像。另外，还可以使用户在手动改变至少一个摄像条件(诸如焦点位置、曝光、快门速度和白平衡)的同时进行摄像，而不使用上述的AF、AE、和AWB。另外，还可以通过其他方法改变摄像条件。例如，还可以由用户手动改变至少一个条件，可以固定至少一个条件，并可以通过图像读取应用自动确定至少一个条件。

网络I/F 213具有例如根据诸如有线网络和无线网络的网络的方面的构造。另外，也可以通过通信范围不同的多种无线网络(例如通信距离为几厘米的近场通信(NFC))与图像形成装置100通信。显示器215向用户显示各个设置画面、预览画面等。操作单元214例如具有硬键等并能够接收来自用户的操作指令。另外，操作单元214和显示器215可以合并为一个单元，例如所谓的触摸面板。距离传感器216是测量至诸如打印物的被摄体的距离的传感器。通过系统总线217连接图2B所示的各个块从而能够彼此相互通信。

[附加信息的嵌入处理]

首先，将说明附加信息如何被嵌入图像信息。图3是示出了嵌入处理单元101的内部构造的图。嵌入处理单元101包括误差扩散单元301、块生成单元302、和量化条件控制单元303。

误差扩散单元301针对输入图像信息使用误差扩散方法进行量化处理。由此生成如下图像信息，该图像信息通过灰度级数小于输入灰度级数的像素值来表示关于面积的灰度特性。在下文中，将以二进制量化的情况作为示例给出说明。块生成单元302进行处理以将输入图像信息分成预定的单位区域(块生成)。单位区域例如是96×96像素的矩形区域并在下文中被称为“单位块”。单位块的形状不限于矩形并且可以接受不同于矩形的形状。量化条件控制单元303基于与图像信息分开(或与图像信息一起)输入的附加信息，来针对由块生成单元302获得的各个单位块设置量化条件。

接下来，将参照图4的流程图说明将附加信息嵌入图像信息中的处理的流程。图4示出的处理的序列通过图像形成装置100的CPU 200将存储在ROM 201中的程序读取到RAM202上并执行程序而实现。

在步骤S401，在RAM 202中确保的变量i被初始化。在此，变量i 是对竖直方向的地址进行计数的变量。在步骤S402，在RAM 202中确保的变量j被初始化。在此，变量j是对水平方向的地址进行计数的变量。在上述步骤之后，在步骤S403，确定对应于作为当前的处理地址的坐标 (i，j)的像素(关注像素)是否属于嵌入处理目标区域(嵌入区域)。

在此，参照图5，将说明嵌入区域。图5示出了由宽度(WIDTH)代表水平像素数并由高度(HEIGHT)代表竖直像素数的一个图像500。通过将图像500的左上方的点作为原点，对水平像素数是N并且竖直像素数是M的块进行块生成。在此，以原点作为基准点进行块生成，但是与原点分离的点也可以用作基准点。为了尽可能在该图像500中嵌入信息， N×M像素的复合块从基准点依次布置。也就是说，在可以沿水平方向布置的块的数量被取为W并且可以沿竖直方向布置的块的数量被取为H的情况下，W和H通过下面的表达式(1)和表达式(2)表示。

W＝INT(WIDTH/N) 表达式(1)

H＝INT(HEIGHT/M) 表达式(2)

在此，INT()表示()内的值的整数部分。

作为上述表达式(1)和(2)的除法运算的余数的像素数，对应于在布置多个N×M像素的单位块时的端部，并且该端部位于嵌入区域之外。说明将返回至图4的流程图。

然后，在确定关注像素不在嵌入区域内部(在嵌入区域外部)的情况下，处理进行至步骤S404并且设置量化条件C。另一方面，在确定关注像素在嵌入区域内部的情况下，处理进行至步骤S405并读取要被复合的附加信息。在此，为了便于说明，附加信息通过诸如代码(code)[]的阵列表示。例如，在附加信息应该是对应于48位(bit)的信息的情况下，在阵列代码[]中，在代码[0]至代码[47]的各个中存储一位。然后，通过在 RAM 202中确保的变量位中代入下述表达式(3)表达的阵列代码[]内的信息，来读取附加信息。

位＝代码[INT(i/M)×W+INT(j/N)] 表达式(3)

在接下来的步骤S406中，确定代入的变量位是否为“1”。如上所述，阵列代码[]内的信息被各自存储一位，因此，变量位的值还表示“0”和“1”中的一者。在此，在确定为“0”的情况下，在步骤S407设置量化条件A。另一方面，在确定为“1”的情况下，在步骤S408设置量化条件B。

在此，将说明量化条件A、B和C。在误差扩散法中的量化条件包括各种因数，在此处为量化阈值。在关注像素位于嵌入区域外部的情况下，使用在步骤S404设置的量化条件C，因此量化阈值可以是任何条件。如上所述，在量化水平是一个像素是八位的灰度呈现中的两个值的情况下，作为最大值的“255”和作为最小值的“0”是量化代表值，并且在许多情况下，将作为中间值的128设置为量化阈值。本实施例中的量化条件C 也被设置为取量化阈值为固定值“128”的条件。在步骤S407设置的量化条件A和在步骤S408设置的量化条件B被用于关注像素在嵌入区域内部并且单位块被构成的情况，因此，需要通过不同的量化条件来使图像质量有所区别。然而，需要将图像质量中的区别表示为不容易通过视觉识别但是能够从纸面容易地识别。图6A和图6B是量化条件A和B的说明图。图6A是示出了量化条件A的量化阈值的变化周期的图。在图6A 中，假设一个单元对应一个像素，白色单元是固定阈值并且黑色单元是波动阈值。也就是说，在图6A的示例中，形成八个水平像素和四个竖直像素的矩阵，并且仅针对黑色单元，将大幅偏移值设置为阈值。图6B是是示出了量化条件B的量化阈值的变化周期的图。在图6B的示例中，与图 6A不同，形成四个水平像素和八个竖直像素的矩阵，并且类似地，仅针对黑色单元，将大幅偏移值设置为阈值。然后，在一个像素是8位色调水平值的情况下，例如设置“128”作为固定阈值，并且设置“10”作为大幅偏移值。在量化阈值变小的情况下，关注像素的量化值容易变为“1”。也就是说，在图6A和图6B中的黑色单元的布置中，量化值“1”变得更可能并排布置。换句话说，在图6A示出的黑色单元的布置中出现点的N ×M像素的单位块、和在图6B示出的黑色单元的布置中出现点的N×M 像素的单位块，混合地存在。在抖动扩散法中的量化阈值的一些变化不会对图像质量造成严重影响。在有序的抖动方法中，根据要使用的抖动图案，灰度呈现的图像质量被严重影响。然而，在规则地给出量化阈值的改变的误差扩散方法中，确定图像质量的灰度呈现是误差扩散方法，因此，即使在点的布置些许改变或者出现纹理改变的情况下，灰度呈现的图像质量几乎不受影响。即使在量化阈值改变的情况下，造成信号值与量化值之间的不同的误差扩散至周边像素，因此，以宏观方式保存输入信号值。也就是说，关于在误差扩散方法中的点的布置和纹理的出现，可以说冗余非常大。也可以通过如下方式进行附加信息的嵌入，即，将图6C和图6D分别作为量化条件A和B，在图6C中，组合了图6A中的图案的8×8像素的图案作为最小单元，在图6D中，组合了图6B中的图案的8×8像素的图案作为最小单元。说明返回至图4中的流程。

在步骤S409，基于如上所述设置的量化条件，进行通过误差扩散方法的量化处理。然后，在步骤S410，更新(递增)变量j，并且在步骤 S411，确定变量j在更新后是否小于水平像素WIDTH的数值。在确定变量j小于WIDTH的情况下，处理返回至步骤S403，并且将位于右侧的像素确定为关注像素并且重复处理。另一方面，在确定变量j不小于 WIDTH的情况下(在针对对应于WIDTH的像素数完成了在水平方向上的处理的情况下)，处理进行至步骤S412并且更新(递增)变量i。然后，在步骤S413，确定变量i在更新后是否小于竖直像素HEIGHT的数值。在确定变量i小于HEIGHT的情况下，处理返回至步骤S402，并且将位于下方的像素确定为关注像素并且重复处理。另一方面，在确定变量 i不小于HEIGHT的情况下(在针对对应于HEIGHT的像素数完成了在竖直方向上的处理的情况下)，处理终止。

上述是附加信息的嵌入处理的内容。在该方式中，根据为各个单位块设置的量化条件进行附加信息的嵌入处理。如上所述，在本实施例中，通过在误差扩散方法的量化阈值上叠加表示符号的预定周期性(periodicity)，来实现复合。然而，还可以通过其他叠加方法实现复合。例如，可以通过直接将周期性叠加在RGB值(亮度信息)上的方法实现复合。或者，也可以通过将RGB值分成诸如亮度色差信息的其他颜色空间信息(例如 CIE L*a*b、YcrCb信号)来叠加周期性的方法实现复合。或者，也可以通过将RGB值分成墨的颜色(例如CMYK信号)来叠加周期性的方法实现复合。

[附加信息的提取处理]

接下来，将说明附加信息的提取。在本实施例中，通过使用由移动终端110拍摄的多个图像提取附加信息。图7是示出了提取处理单元112的内部构造的框图。在假设从通过上述嵌入处理单元101嵌入附加信息的打印物提取附加信息的条件下给出说明。理所当然地，在嵌入处理单元 101中的嵌入时每单位块的附加信息的量，与在提取处理单元112中的提取时每单位块的提取信息的量相等。

通过移动终端110拍摄打印物而获得的图像信息首先被输入至块生成单元701。在此，优选地是，移动终端110的摄像传感器111的分辨率 (摄像分辨率)高于或等于在创建打印物时的打印分辨率。为了准确地读取打印物上的散点信息，需要根据采样定理，使摄像传感器111侧具有高于或等于打印装置侧的分辨率的两倍的分辨率。然而，利用更高或相等的分辨率，能够确定散点。

块生成单元701将图像分成由若干水平像素P和若干竖直像素Q构成的单位块。该单位块的尺寸小于或等于在嵌入时的单位块的尺寸。也就是说，在嵌入时的单位块与提取时的单位块之间，保持P≤N且Q≤M的关系。在下文中，在假设在嵌入时与在提取时单位块的尺寸相同(P＝N且 Q＝M)的情况下给出说明。

作为空间滤波器，存在特征彼此不同的第一空间滤波器702和第二空间滤波器703。滤波单元704进行数字滤波以利用周边像素计算乘积和总和。第一空间滤波器702和第二空间滤波器703的系数根据量化条件的波动阈值的周期设置。在此，假设通过使用图6A和图6B示出的两种周期性来设置量化条件，并且嵌入附加信息。在这种情况下在提取处理单元112中使用的第一空间滤波器702和第二空间滤波器703的系数例如分别是如图8A和图8B示出的系数。在图8A和图8B示出的5×5像素的空间滤波器中，位于其中心处的像素是关注像素而其他24个像素是周边像素。在图8A和图8B中，没有值的空白部分表示滤波系数为0的像素。通过图8A和图8B所示的各个滤波系数显而易见的是，各个空间滤波器是边缘增强滤波器。然后，在复合时要增强的边缘的方向性和波动阈值的方向性分别在图8A和图6A的组合中以及在图8B和图6B的组合中彼此一致。也就是说，创建空间滤波器，使得图8A与图6A一致，并且图8B与图6B一致。

作为稀疏(thinning)单元，存在对应于第一空间滤波器702的第一稀疏单元705和对应于第二空间滤波器703的第二稀疏单元706。然后，在各个稀疏单元中，通过将在单位块内的滤波后的信号(下文中为“转换值”)分别分成周期性的正则性(regularity)和相位的正则性，来进行稀疏处理。也就是说，在第一稀疏单元705和第二稀疏单元706之间，稀疏的周期性彼此不同，并且在各个单元中，通过改变相位来进行多个稀疏处理。

对于各个相位，转换值相加单元707将由第一和第二稀疏单元705 和706稀疏的像素的转换值相加。转换值的稀疏处理和相加处理对应于由空间滤波器增强的预定频率向量的提取功率。

方差计算单元708计算在各个周期性中针对各个相位相加的多个相加值的方差。确定单元709基于在各个周期性中计算的方差确定嵌入符号。图9是示出了二位频率区域的图。水平轴代表水平方向的频率，竖直轴代表竖直方向的频率。作为中心的原点代表直流分量，离原点越远的区域为频率越高区域。在图9中，中心为水平轴和竖直轴的交点的圆900代表通过误差扩散的截止频率。误差扩散方法中的滤波特性表示低频率区域被截止的高通滤波器的特性，并且要被截止的频率根据目标图像的浓度而改变。在本实施例中，量化之后发生的频率特性根据设置的量化阈值改变，并且在图6A中的量化阈值的示例中，大功率谱发生在图9中的直线901表示的频率向量上。另外，在图6B中的量化阈值的示例中，大功率谱发生在由图9中的直线902表示的频率向量上。在提取附加信息时，通过检测该大功率谱发生的频率向量，进行对嵌入符号的确定。在本实施例中，假设各个频率向量单独增强并被提取。根据以上内容可以说，之前所述的图8A和图8B所示的空间滤波器是具有特定频率向量的方向性的高通滤波器。也就是说，利用图8A中的空间滤波器，能够增强图9中的直线901上的频率向量，并且利用图8B中的空间滤波器，能够增强图9 中的直线902上的频率向量。例如，假设通过设置图6A示出的量化阈值，在图9的直线901的频率向量上发生了大功率谱。此时，利用图8A 中的空间滤波器，放大功率谱的变化量，但是利用图8B中的空间滤波器，变化量几乎不被放大。也就是说，在多个空间滤波器并行地进行滤波的情况下，放大仅发生在频率向量一致的空间中，而在除此之外的空间滤波器中几乎不存在放大。因此，能够容易地确定在哪个频率向量上发生了大功率谱。

通过附加信息检查单元113对通过提取处理单元112提取的附加信息进行准确性检查，并且在存在误差的情况下，将读取确定为错误。作为检查方法，可以使用公知技术，诸如CRC(循环冗余检查(Cyclic Redundancy Check))，但这样的技术并非本发明的特征，因此省略对其详细说明。

[本发明的问题的确认]

在此，确认本发明的问题。图10A是示出了在上述图6C和图6D所示的量化条件下嵌入附加信息的情况下的单位块的图。粗线矩形1000代表一个单位块，并且通过读取单位块1000内的所有信息，能够提取嵌入的附加信息。单位块1000由通过白色区域1001表示的锚部和通过点区域1002表示的数据部构成。锚部1001是具有预定尺寸(例如32×32像素)的区域，其用于在读取附加信息时指定单位块1000的原点。然后，对于锚部1001，不添加信息(信息为空白)，或者嵌入表示该区域为锚的任意信息。数据部1002通过图6C或图6D所示的8×8像素的图案1003 覆盖。在此，假设单位块1000的尺寸是96×96像素并且数据部1002通过128个图案1003覆盖。在这种情况下，一个图案1003能够代表1位信息，并且因此在整个单位块1000中存在128位信息的量。在本实施例中，128位被进一步分成八组，每个组具有总共16位(“DATA 12位”和“CRC 4位”)，如图10B所示。在这种情况下，数据的实际容量是 12位×8组＝96位。

图11A是示出了由图10A所示的单位块1000代表的附加信息被反复嵌入打印物的方式的图。也就是说，附加信息在打印物上的图像信息上被复合并且以块为单位被反复嵌入。为了读取嵌入在打印物中的附加信息，仅需要能够读取反复嵌入的多个单位块中的一个单位块，而不需要读取所有单位块。例如，如图12A所示，存在如下情况：在由移动终端110进行摄像时投射阴影。在这种情况下，不能通过单独一个单位块覆盖所有上述八个组，因此，存在仅能读取若干组的情况。即使在这种情况下，通过一组其他单位块来补偿由于投射阴影而不能读取的部分的信息，也能够读取对应于一个单位块的附加信息。也就是说，如图12B所示，通过整合与对角线向右下方延伸的区域1201、对角线向左下方延伸的区域 1202和具有对角线网格的区域1203相对应的三个数据部分(各个部分通过不同单位块读取)，获得对应于一个单位块的所有数据部分。由此，即使在没有清晰地拍摄整个单位块的情况下，也能够读取对应于单位块的附加信息。然而，可能存在能够互补的单位块不存在于通过一次摄像而获得的拍摄图像中的情况。例如，如图11B所示，在两个相邻的单位块构成对应于一个附加信息的集合的情况下，所有能够互补的单位块不存在于通过一次摄像而获得的拍摄图像中的可能性增大。这样，在构成一个集合的单位块的数量是三个或更多个的情况下，随着数量增加，更难以完全提取附加信息。

如上所述，在通过使用移动终端110的手持型摄像获得图像的情况下，会发生如下情况：即使对从多个单位块部分读取的数据部分进行连结 (link)，仍不能准确地取出附加信息。考虑到这种情况，在本发明中，针对附加信息的提取使用摄像条件不同的多个拍摄图像。在下文中，将给出详细说明。

[适合于附加信息的提取的拍摄图像的获取]

图13示出了在移动终端110相对于图11A和图11B示出的打印物倾斜的状态下进行手持型摄像的方式。另外，图14示出了在摄像时通过移动终端110的镜头1300的打印物的视图。从图14中可以看出，打印物的形状变成位于前方的边为长边的梯形，并且知道发生了失真。然后，打印物上的各个位置α、β和γ(图13)与移动终端110的镜头1300之间的距离有较大不同。在此，假设在使位置α对焦进行摄像的情况下获得在图14中的双点划线1402表示的范围内没有模糊的图像。在由此获得的拍摄图像中拍摄到较大阴影的情况下，附加信息的提取将失败。因此，在附加信息的提取失败的情况下，通过改变摄像条件进行摄像。例如，通过使打印物上的位置β对焦来拍摄在单点划线1401表示的范围内没有模糊的图像，通过使位置γ对焦来拍摄在虚线1403表示的范围内没有模糊的图像，等等。

图15是示出了用于获取适合于附加信息提取的拍摄图像的摄像控制的流程的流程图。在本实施例中，提出通过安装在移动终端110中的图像读取应用(程序)自动执行处理序列，但是也可以手动进行部分处理，诸如摄像条件的改变。在下文中，将根据图15的流程图给出详细说明。

在步骤S1501，响应于用户经由移动终端110的操作单元214的摄像指令，获取打印物的拍摄图像。此时摄像条件是任意的并且可以通过使用上述AF、AE、AWB等进行摄像。获取的拍摄图像的数据在根据需要进行几何变换(诸如仿射变换)后被存储在在RAM 212中确保的区域中。

在接下来的步骤S1502，通过将获取的拍摄图像作为目标搜索上述锚。在本实施例中，锚的部分通过读取值为“0”的图案覆盖，并且在“0”沿水平方向持续32个像素的情况下，该行被确定为“锚行”。然后，在“锚行”沿竖直方向持续32个像素的情况下，该区域被确定为锚。通过针对整个拍摄图像进行该处理，获得表示多少个锚存在于拍摄图像中和各个锚在拍摄图像内存在于何处的信息(锚信息)。获得的锚信息被存储在 RAM 212中。

在步骤S1503，基于在步骤S1502发现的锚，指定存在于拍摄图像内的单位块的数量及其位置。具体地，通过参照上述锚信息计算单位块的坐标，获得表示存在于拍摄图像内的单位块的总数和各个单位块在拍摄图像内存在的位置的信息(单位块信息)。获得的单位块信息被存储在RAM 212中。

在步骤S1504，从拍摄图像中存在的单位块中确定关注单位块。在接下来的步骤S1505，通过将关注单位块作为目标，进行上述附加信息的提取。然后，在步骤S1506，确定嵌入的附加信息的提取是否成功。例如，在上述图11A的情况下，在提取了对应于一个单位块的所有附加信息的条件下，确定提取成功。另外，在图11B的情况下，在提取了与两个相邻单位块的一个集合相对应的所有附加信息的条件下，确定提取成功。作为多个单位块作为一个集合被处理的情况，例如，可能存在第一块被布置在第一打印物上并且第二块被布置在第二打印物上的情况。在这种情况下，用户在拍摄第一打印物后拍摄第二打印物。在此，通过将块的数量为两个并且打印物的数量为两个的情况作为示例给出说明，但是情况不限于此。在附加信息的提取成功的情况下，该处理终止。另一方面，在附加信息的提取失败的情况下，处理进行到步骤S1507。

在步骤S1507，确定是否针对存在于拍摄图像内的所有单位块进行了附加信息的提取处理。在存在未处理的单位块的情况下，处理返回至步骤S1504，并且确定下一个关注单位块并且继续处理。另一方面，在针对所有单位块完成了附加信息的提取处理的情况下，处理进行至步骤S1508。

在步骤S1508，针对下一个摄像改变摄像条件。例如，如上所述，自动改变焦点位置。要改变的摄像条件不限于焦点位置，并且例如还可以同时改变变焦倍率，使得摄像目标被拍摄得更大。另外，还可以改变曝光、白平衡、内置照相机的图像质量模式(例如高清模式和低清模式)、快门速度等。同时，例如与摄像目标打印物的格式、摄像环境等相关联地预先确定哪个项目作为目标改变的方式(改变量等)即可。另外，也可以对各个项目给出优先级并且按照从最高优先级的项目改变。在改变摄像条件后，处理返回至步骤S1501并且进行根据新设置的摄像条件的摄像并且针对作为目标的再获取的拍摄图像继续处理。另外，作为改变摄像条件的方法，还可以在图像读取应用在步骤S1507确定为否的情况下改变摄像条件，或者可以使用其他方法。例如，用户在其手中持有移动终端并通过使位置α对焦来进行摄像。在此，假设不能从通过使位置α对焦的摄像而获得的图像中获取图12B中的区域1202的数据部分。结果，通过图像读取应用显示的表示附加信息的提取处理的进度的进度条在途中停止。然后，存在用户识别出进度条在途中停止并且改变移动终端110与打印物之间的距离的情况。然后，响应于移动终端110与打印物之间的距离的改变而改变摄像条件，并且因此，能够利用摄像条件的改变作为步骤 S1508的处理。也就是说，可以在图像读取应用不向内置照相机通知摄像条件改变的情况下，改变摄像条件。

以上是用于获取适合于附加信息的提取的拍摄图像的摄像控制的内容。因此，例如，在上述图13和图14的示例的情况下，在通过在第一摄像中使位置α对焦进行摄像并且附加信息的提取失败的情况下，通过使位置β或γ对焦来自动进行图像再拍摄。因此，能够有效地获得适合于附加信息的提取的拍摄图像。作为附加信息的提出处理，可以仅从通过图像再拍摄获取的图像中提取附加信息，或者可以组合从通过多次摄像获得的多个图像中的各个图像提取的附加信息。在此，通过示例说明两种提取处理。例如，假设通过使位置α对焦进行摄像，并因此提取图12A和图 12B中的区域1201和1203的数据部分，但是区域1202的数据部分的提取失败。在这种情况下，在步骤S1506确定附加信息的提取失败。然后，能够通过使位置β对焦进行图像再拍摄而获取位置β处的块。在此，可以仅从再拍摄图像中提取附加信息。另外，与上述类似，例如，假设通过使位置α对焦进行摄像，并且因此提取图12A和图12B中的区域1201和 1203的数据部分，但是区域1202的数据部分的提取失败。在这种情况下，在步骤S1506确定附加信息的提取失败。然后，可以通过使位置β对焦进行图像再拍摄来获取位置β处的块。此时，已经获取了块内的区域 1201和1203的数据部分，因此CPU 210试图获取通过图像再拍摄获得的块的区域1202的数据部分。在此，在获取通过图像再拍摄获得的块的区域1202的数据部分的情况下，可以通过将通过第一摄像获取的区域 1201和1203的数据部分与通过图像再拍摄获得的区域1202的数据部分相组合，来获取附加信息。在这种情况下，试图仅从在图像再拍摄时缺少的部分的区域获取数据部分，因此能够提高处理的效率。

另外，还可以改变除了焦点位置之外的摄像条件，例如同时改变变焦倍率。在本实施例中，每当附加信息的提取失败时，通过改变摄像条件进行图像再拍摄，但是不限于此。例如，也可以在改变摄像条件的同时进行连续摄像或运动图像的摄像，并且针对作为目标的通过连续摄像的多个静止图像或者构成运动图像的多个帧图像，依次进行上述图15的流程。

通过上述处理获得的附加信息与正在拍摄的打印物并行显示。例如，对应于附加信息的消息通过被叠加在正被拍摄的打印物上而显示。另外，在获得的附加信息是URL的情况下，显示对应于URL的网页或运动图像。在该情况下，存在如下可能：对应于URL的应用被新启动并且仅显示对应于URL的页面。

＜变型例＞

以上说明了如下示例：在不能成功提取附加信息的情况下，通过使用借助于改变焦点位置等进行摄像而获得的其他拍摄图像，来进行附加信息的提取。接下来，作为变型例，说明如下方面：从焦点位置等不同的多个拍摄图像生成组合图像，并且从组合图像进行附加信息的提取。

图16是示出了根据本变型例的用于获取适合于附加信息的提取的拍摄图像的摄像控制的流程的流程图。在下文中，将随着图16中的流程给出说明，但是省去或简化与上文所述的图15的流程的内容公共的内容，并且在下文中主要说明不同点。

在步骤S1601，通过响应于用户经由移动终端110的UI的摄像指令的摄像，获取覆盖整个打印物的多个拍摄图像。此时，如上所述，例如诸如焦点位置的摄像条件适当地变化并且随后进行摄像。多个获取的拍摄图像的数据被存储在RAM 212内确保的区域中。

在步骤S1602，通过使用多个获取的拍摄图像生成对应于整个打印物的组合图像。具体地，通过针对被拍摄以覆盖打印物的多个拍摄图像中的各个，例如进行几何变换(诸如仿射变换)，来将多个拍摄图像修改为没有失真的拍摄图像，并将变换后的图像连结在一起，来生成对应于整个打印物的组合图像。

接下来的步骤S1603至步骤S1609分别对应于图15的流程的步骤 S1502至步骤S1508。也就是说，首先，通过将生成的组合图像作为目标进行上述锚搜索(步骤S1603)，并且基于发现的锚，指定组合图像内的单位块的数量及其位置(步骤S1604)。然后，针对各个单位块进行附加信息的提取处理(步骤S1605和S1606)，并且在不能从组合图像中提取附加信息的情况下，在新的摄像条件下再次进行摄像(步骤S1607至 S1609，步骤S1601)。然后，通过将基于再拍摄图像而生成的新的组合图像(步骤S1602)作为目标继续处理。

以上是根据本变型例的用于获取适合于提取附加信息的拍摄图像的摄像控制的内容。该变型例在附加信息量大的情况下(例如在与对应于一个附加信息的一个集合相对应的单位块的数量大或者用作基础的单位块本身具有大尺寸的情况下)是有效的。另外，在除非嵌入在多个打印物中的各个附加信息被读取否则无意义的附加信息的情况下，也可以获取对应于多个打印物中的各个的拍摄图像(或组合图像)并通过组合拍摄图像来生成图像。

如上所述，根据本发明，在通过使用移动终端的内置照相机进行用于提取嵌入在打印物中的附加信息的摄像的情况下，使用摄像条件改变的多个拍摄图像。因此，即使在不稳定的手持型摄像的情况下，也能够获得能够读取附加信息的拍摄图像并且能够容易地提取附加信息。

除了关于提取嵌入在打印物中的附加信息的功能，上述图像读取应用也可以包括生成附加信息的功能、生成嵌入有附加信息的打印数据的功能等。也就是说，图像读取应用可以包括上述嵌入处理单元101的功能。通过将诸如此类的图像读取应用安装在移动终端中，用户能够使图像形成装置打印嵌入有附加信息的打印物，并从打印物的摄像结果中提取附加信息。

其他实施例

另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘 (BD)^TM)、闪存设备以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

通过本发明，能够通过使用移动终端的内置照相机容易地从打印物中提取附加信息。

尽管参照示例性实施例描述了本申请，要理解的是本发明并不限于公开的示例性实施例。权利要求的范围被赋予最宽的解释从而包含所有这些变型以及等同的结构和功能。

Claims (18)

1.一种移动信息处理装置，其通过使用移动信息处理装置的内置照相机拍摄嵌入有附加信息的打印物，来读取附加信息，其中，所述附加信息通过信息隐藏技术嵌入所述打印物，所述移动信息处理装置包括：

控制单元，其被构造成，获取通过在第一摄像条件下拍摄打印物而获得的第一拍摄图像；

提取单元，其被构造成，从第一拍摄图像的预定块中提取附加信息；

第一确定单元，其被构造成，确定从预定块中提取附加信息是否成功；以及

第二确定单元，其被构造成，在第一确定单元确定从第一拍摄图像的预定块中未成功提取附加信息的情况下，确定在第一拍摄图像中是否存在其他未处理块，

其中，在第二确定单元确定第一拍摄图像中不存在其他未处理块的情况下，控制单元获取通过在不同于第一摄像条件的第二摄像条件下拍摄打印物而获得的第二拍摄图像，和

其中，在第二确定单元确定第一拍摄图像中存在其他未处理块的情况下，提取单元从第一拍摄图像中的其他块中提取附加信息，并且

在第二确定单元确定第一拍摄图像中不存在其他未处理块的情况下，提取单元从第二拍摄图像中提取附加信息。

2.根据权利要求1所述的移动信息处理装置，其中

在所述提取单元中从第一拍摄图像中成功提取了附加信息的情况下，所述控制单元不获取第二拍摄图像，并且

在所述提取单元中从第一拍摄图像中未成功提取附加信息的情况下，所述控制单元通过将第一摄像条件改变成第二摄像条件，来获取第二拍摄图像，并且所述提取单元通过分析第一拍摄图像和第二拍摄图像，来提取附加信息。

3.根据权利要求1所述的移动信息处理装置，其中

所述提取单元通过组合从第一拍摄图像获取的附加信息和从第二拍摄图像获取的附加信息，来提取预定附加信息。

4.根据权利要求1所述的移动信息处理装置，其中

所述控制单元通过在改变摄像条件的同时进行连续摄像或对运动图像的摄像，来获取打印物的拍摄图像，并且

所述提取单元通过分析由连续摄像而获得的多个静止图像或构成运动图像的多个帧图像，来提取附加信息。

5.根据权利要求4所述的移动信息处理装置，其中

在所述提取单元中未成功提取附加信息的情况下，所述控制单元通过再次进行连续摄像或对运动图像的摄像，来再获取打印物的拍摄图像，并且

所述提取单元通过分析多个再获取的静止图像或多个再获取的帧图像，来提取附加信息。

6.根据权利要求1所述的移动信息处理装置，其中

所述控制单元从与至少两种摄像条件相对应的拍摄图像来生成组合图像，并且

所述提取单元通过分析组合图像来提取附加信息。

7.根据权利要求6所述的移动信息处理装置，其中

在所述提取单元中未成功提取附加信息的情况下，所述控制单元通过再获取与所述至少两种摄像条件相对应的拍摄图像，来生成组合图像，并且

所述提取单元通过分析基于再获取的拍摄图像而生成的组合图像，来提取附加信息。

8.根据权利要求1所述的移动信息处理装置，其中

通过对附加信息进行复合，来以块为单位将附加信息反复嵌入在打印物的图像信息中，并且

所述提取单元通过以所述块为单位进行分析，从拍摄图像中提取附加信息。

9.根据权利要求1所述的移动信息处理装置，其中

摄像条件是焦点位置、变焦倍率、曝光、白平衡、内置照相机的图像质量模式和快门速度中的至少一者。

10.一种移动信息处理装置的控制方法，所述移动信息处理装置通过使用移动信息处理装置的内置照相机拍摄嵌入有附加信息的打印物，来读取附加信息，其中，所述附加信息通过信息隐藏技术嵌入所述打印物，所述控制方法包括以下步骤：

控制步骤，获取通过在第一摄像条件下拍摄打印物而获得的第一拍摄图像；

提取步骤，从第一拍摄图像的预定块中提取附加信息；

第一确定步骤，确定从预定块中提取附加信息是否成功；以及

第二确定步骤，在第一确定步骤确定从第一拍摄图像的预定块中未成功提取附加信息的情况下，确定在第一拍摄图像中是否存在其他未处理块，

其中，在第二确定步骤确定第一拍摄图像中不存在其他未处理块的情况下，控制步骤获取通过在不同于第一摄像条件的第二摄像条件下拍摄打印物而获得的第二拍摄图像，和

其中，在第二确定步骤确定第一拍摄图像中存在其他未处理块的情况下，提取步骤从第一拍摄图像中的其他块中提取附加信息，并且

在第二确定步骤确定第一拍摄图像中不存在其他未处理块的情况下，提取步骤从第二拍摄图像中提取附加信息。

11.根据权利要求10所述的控制方法，其中

在从第一拍摄图像中成功提取了附加信息的情况下，不获取第二拍摄图像，并且

在从第一拍摄图像中未成功提取附加信息的情况下，通过将第一摄像条件改变成第二摄像条件，来获取第二拍摄图像，并且通过分析第一拍摄图像和第二拍摄图像，来提取附加信息。

12.根据权利要求10所述的控制方法，其中

通过组合从第一拍摄图像获取的附加信息和从第二拍摄图像获取的附加信息，来提取预定附加信息。

13.根据权利要求10所述的控制方法，其中

通过在改变摄像条件的同时进行连续摄像或对运动图像的摄像，来获取打印物的拍摄图像，并且

在所述提取步骤中，通过分析由连续摄像而获得的多个静止图像或构成运动图像的多个帧图像，来提取附加信息。

14.根据权利要求13所述的控制方法，其中

在未成功提取附加信息的情况下，通过再次进行连续摄像或对运动图像的摄像，来再获取打印物的拍摄图像，并且

在所述提取步骤中，通过分析多个再获取的静止图像或多个再获取的帧图像，来提取附加信息。

15.根据权利要求10所述的控制方法，其中

从与至少两种摄像条件相对应的拍摄图像来生成组合图像，并且

在所述提取步骤中，通过分析组合图像来提取附加信息。

16.根据权利要求15所述的控制方法，其中

在未成功提取附加信息的情况下，通过改变摄像条件并且再获取与所述至少两种摄像条件相对应的拍摄图像，来生成组合图像，并且

通过分析基于再获取的拍摄图像而生成的组合图像，来提取附加信息。

17.根据权利要求10所述的控制方法，其中

摄像条件是焦点位置、变焦倍率、曝光、白平衡、内置照相机的图像质量模式和快门速度中的至少一者。

18.一种非暂时性计算机可读存储介质，其存储使计算机进行移动信息处理装置的控制方法的程序，所述移动信息处理装置通过使用移动信息处理装置的内置照相机拍摄嵌入有附加信息的打印物，来读取附加信息，其中，所述附加信息通过信息隐藏技术嵌入所述打印物，所述控制方法包括以下步骤：

控制步骤，获取通过在第一摄像条件下拍摄打印物而获得的第一拍摄图像；

提取步骤，从第一拍摄图像的预定块中提取附加信息；

第一确定步骤，确定从预定块中提取附加信息是否成功；以及

第二确定步骤，在第一确定步骤确定从第一拍摄图像的预定块中未成功提取附加信息的情况下，确定在第一拍摄图像中是否存在其他未处理块，

其中，在第二确定步骤确定第一拍摄图像中不存在其他未处理块的情况下，控制步骤获取通过在不同于第一摄像条件的第二摄像条件下拍摄打印物而获得的第二拍摄图像，和

其中，在第二确定步骤确定第一拍摄图像中存在其他未处理块的情况下，提取步骤从第一拍摄图像中的其他块中提取附加信息，并且

在第二确定步骤确定第一拍摄图像中不存在其他未处理块的情况下，提取步骤从第二拍摄图像中提取附加信息。

Images