CN103577972A - 信息处理装置以及信息处理方法 - Google Patents

Abstract

本发明提供信息处理装置以及信息处理方法，该信息处理装置具有：拍摄单元，其拍摄记录介质并生成拍摄图像；识别单元，其从由上述拍摄单元生成的拍摄图像识别出手写标记；以及执行单元，其执行与由上述识别单元识别出的手写标记对应地预先决定的处理。

Description

信息处理装置以及信息处理方法

技术领域

本发明涉及信息处理装置以及信息处理方法。

背景技术

近年，在会议和演讲中，一边使PC（Personal Computer：个人计算机）和平板型终端显示资料一边进行说明的机会增多。与会者一边阅览显示的资料一边针对说的重点和注意到的重点等在笔记本上做笔记。

由于存在是看着资料的哪一页做的哪个笔记在后来不清楚对应关系的可能性，所以提出了一种会议资料检索支援装置，其根据会议中所显示的资料的幻灯片的切换，提取该幻灯片的显示开始时刻的笔记本的拍摄图像、与显示切换时刻的笔记本的拍摄图像的差分，生成包括该差分的区域图像数据和显示切换时刻的拍摄图像的差分信息，将幻灯片ID和差分信息关联起来进行登记（参照日本特开2010-176603号公报）。

另外，伴随纸文书的电子化进程，笔记不仅通过笔记本来保存，还增添了以对笔记进行拍摄而得到的图像数据进行保存的情况。但是，仅将记录于笔记本的笔记的内容直接作为图像数据保存的话，在以后再看时不易理解，难以找到在什么地方写了什么。

另外，在做了笔记的时候，在想要将该笔记的内容在组内共享的情况下，必须在对笔记进行拍摄后，进行将拍摄图像上载到共享存储装置等的复杂操作。或者可能忘记进行该处理。

发明内容

本发明的课题是有效地应用记录在记录介质中的内容。

本发明的信息处理装置具有：拍摄单元，其拍摄记录介质从而并拍摄图像；识别单元，其从由上述拍摄单元生成的拍摄图像识别出手写标记；以及执行单元，其执行与由上述识别单元识别出的手写标记对应地预先决定的处理。

本发明的信息处理方法具有以下步骤：拍摄步骤，拍摄记录介质并生成拍摄图像；识别步骤，从由上述拍摄步骤生成的拍摄图像识别出手写标记；以及执行步骤，执行与由上述识别步骤识别出的手写标记对应地预先决定的处理。根据本发明，能够有效地应用记录在记录介质中的内容。附图说明

图1是第1实施方式的信息处理装置的外观立体图。

图2是关闭第1盖体（第1壳体）以及第2盖体（第2壳体）中途的图。

图3是表示信息处理装置的功能性结构的方框图。

图4是表示分类用标记对应表的数据结构例的图。

图5是表示指令标记对应表的数据结构例的图。

图6是表示拍摄图像数据库的数据结构例的图。

图7是表示分类列表的数据结构例的图。

图8是表示标记识别处理的流程图。

图9是表示拍摄记录有手写文字以及手写标记的记录介质而得到的拍摄图像的示例。

图10是表示按标签执行的检索处理的流程图。

图11是表示检索画面的示例图。

图12是表示列表显示处理的流程图。

图13是表示想法列表画面、决定事项列表画面、要做的事情列表画面的示例图。

图14是表示自动投稿处理的流程图。

图15是表示剪辑（clipping）处理的流程图。

图16是表示拍摄记录有“剪辑”标记的记录介质而得到的拍摄图像的示例图。

图17A是表示将第2实施方式的信息处理装置收纳在主体盖体的状态的图。

图17B是表示信息处理装置倚靠在主体盖体的状态的侧视图。

图17C是表示信息处理装置倚靠在主体盖体的状态的立体图。

图18是表示在信息处理装置前面放置记录介质的状态的图。

图19是表示利用第3实施方式的信息处理装置执行的基于指令的邮件发送的流程的图。

图20A以及图20B是表示将表示邮件发送指令的标记附加到手写笔记中的示例图。图20A是将标记“带□的V”记录到手写笔记中的示例。图20B是将手写笔记记录到印有二维条形码的记录介质中的示例。

图21是示出了表示用邮件程序预先登记的邮件发送指令的标记与发送目的地地址的对应关系的图。

图22A以及图22B是表示调度器（scheduler）的显示画面的图。图22A是日历显示的图。图22B是显示一个个日程（事件）的图。

图23是表示在调度器中记录在作为第2存储单元的存储部中的数据结构的图。

图24是用于对针对表示邮件发送指令的标记的区域指定进行说明的图。具体实施方式

[第一实施方式]

首先，参照图1～图16，对本发明的信息处理装置的第1实施方式进行说明。另外，本发明不是限定于图示例的发明。

图1是第1实施方式的信息处理装置1的外观立体图。信息处理装置1是平板型终端装置，由主体部10和活页封面（binder）30构成。

主体部10设置有用于画面显示以及触摸输入的触摸显示部14、和作为拍摄单元的拍摄部15等。

活页封面30构成为：将铰链部30c作为旋转轴能够开闭地连接作为第1壳体的第1盖体（cover）30a和作为第2壳体的第2盖体30b。

在第1盖体30a配置有记录介质40，在第2盖体30b设置有主体部10。主体部10和记录介质40利用卡子、钩等能够装卸地安装在活页封面30。

另外，在本实施方式中，所谓记录介质表示记录有应该拍摄的信息的介质，表示记录有信息的被摄体。另外，记录介质也包括能够电子地显示信息的电子纸。

第1盖体30a以及第2盖体30b构成为平板长方形形状，并利用铰链部30c构成为能够开闭，以便开闭书和笔记本。图1图示了第1盖体30a和第2盖体30b构成的角度是180°的状态（打开的状态）。用户在该状态下进行触摸显示部14所显示的画面的参照以及触摸输入，将文字和图表等记入到记录介质40。

铰链部30c设置有检测第1盖体30a和第2盖体30b构成的角度的开闭角度传感器20。开闭角度传感器20由以下部分构成：旋转编码器，其用于检测铰链部30c的轴的旋转；以及磁传感器，其使用霍尔元件等来检测开闭状态。

记录介质40是用户做笔记时使用的笔记本或报告用纸、印有资料的用纸、书籍等。其中，记录介质40只要是记录有应该拍摄的信息的介质即可，材料不限定于纸。记录介质40也可以是一张片状的纸，也可以装订为册子状。

图2是关闭构成活页封面30的第1盖体30a以及第2盖体30b的中途的图。拍摄部15设置于主体部10的与第1盖体30a对置的位置，当第1盖体30a和第2盖体30b的构成角度为预定角度（例如，70°等）时，利用拍摄部15来拍摄记录介质40。预定角度被预先设定为拍摄最适合的角度，根据该角度设定了焦点、曝光等拍摄条件。当用户关闭第1盖体30a以及第2盖体30b时（第1盖体30a和第2盖体30b构成角度为0°时），由于在关闭的途中经过预定角度，所以用户能够无意识地进行拍摄。

图3是表示信息处理装置1的功能性结构的方框图。

信息处理装置1具有：作为识别单元、执行单元、检测单元、拍摄控制单元、管理单元、切出单元、存储控制单元、显示控制单元、读出单元、指令执行单元、发送控制单元的CPU（Central Processing Unit：中央处理单元）11、电源部12、操作部13、触摸显示部14、拍摄部15、无线通信部16、RAM（RandomAccess Memory：随机存取存储器）17、ROM（Read Only Memory：只读存储器）18、存储部19、开闭角度传感器20、以及计时部21。

CPU11根据从操作部13和触摸显示部14输入的操作信号或利用无线通信部16接收的指示信号，对信息处理装置1的各部处理动作进行统一地控制。具体来说，CPU11读出存储在ROM18的各种处理程序并在RAM17展开，通过与该程序的协作进行各种处理。

电源部12对构成信息处理装置1的各部供给电力。

操作部13具有使电源接通/断开的电源键等操作键，将与各操作键对应的操作信号输出到CPU11。

触摸显示部14构成为在作为显示单元的显示面板14a层叠有触摸面板14b。显示面板14a由LCD（Liquid Crystal Display：液晶显示器）等构成，并按照来自CPU11的显示控制信号来进行画面显示。触摸面板14b检测基于用户手指等的触摸操作的位置，并将与该位置对应的操作信号输出到CPU11。触摸面板14b受理用户的操作指示。

拍摄部15具有：光学透镜、拍摄元件、以及各种传感器等，是拍摄被摄体的数码照相机。拍摄部15拍摄记录介质40从而生成拍摄图像。

无线通信部16经无线LAN（Local Area Network：局域网）路由器与因特网连接，是进行数据通信的无线通信模块。

RAM17是易失性存储器。RAM17中临时性地存储由CPU11执行的各种程序和这些各种程序涉及的数据等。

ROM18是存储各种程序以及各种数据的读出专用的半导体存储器。ROM18中存储有标记识别处理程序181等。

存储部19由HDD（Hard Disk Drive：硬盘驱动器）或非易失性存储器等构成，能够读出以及写入信息地进行信息存储。具体来说，存储部19存储有：分类用标记对应表191、指令标记对应表192、拍摄图像数据库193、分类列表194a、194b、194c、…等。

图4表示分类用标记对应表191的数据结构例，图5表示指令标记对应表192的数据结构例。

在分类用标记对应表191中按每一个为分类用而预先准备的多个种类的手写标记（以下，称为标记。），将与标记对应的图像模式（样板（template））、以及分类项目对应起来进行存储。

在指令标记对应表192中按每一个作为指令标记而预先准备的多个种类的标记，将与标记对应的图像模式（样板）以及标记表示的指令对应起来进行存储。

标记优选为能够区别于其他标记和文字、且容易识别的形状。

图6表示拍摄图像数据库193的数据结构例。在拍摄图像数据库193中将通过拍摄而生成的拍摄图像的图像数据、附加在拍摄图像的标签、以及制作日期对应起来进行存储。拍摄图像的图像数据以JPEG、TIFF等形式生成。

图7表示分类列表194a、194b、194c、…的数据结构例。

在分类列表194a中将从记录有“想法”标记（参照图4）的拍摄图像切出的区域的图像数据、表示切出了该区域的原始图像的信息（文件名、存储地址等）、以及从拍摄图像切出的区域的坐标数据对应起来进行存储。

在分类列表194b中将从记录有“决定事项”标记（参照图4）的拍摄图像切出的区域的图像数据、表示切出了该区域的原始图像的信息、以及从拍摄图像切出的区域的坐标数据对应起来进行存储。

在分类列表194c中将从记录有“要做的事”标记（参照图4）的拍摄图像切出的区域的图像数据、表示切出了该区域的原始图像的信息、以及从拍摄图像切出的区域的坐标数据对应起来进行存储。

即，分类列表194a、194b、194c、…准备了分类用标记的种类的数量。

另外，在存储部19中与“自动投稿”标记（参照图5）对应起来地预先存储有表示在自动投稿处理（参照图14）中成为拍摄图像的发送目的地的共享存储装置的信息。另外，在存储部19中与“剪辑”标记（参照图5）对应起来地预先存储有表示在剪辑处理（参照图15）中成为切出区域的发送目的地的共享存储装置的信息。共享存储装置是与通信网络连接、在与信息处理装置1之间能够进行数据通信的数据保管装置，针对登记的成员允许阅览保管的数据。利用路径、邮件地址等指定发送目的地（共享存储装置）。也可以根据指令设定有多个发送目的地。

开闭角度传感器20检测第1盖体30a和第2盖体30b构成的角度，将检测出的角度输出到CPU11。

计时部21具有计时电路（RTC：Real Time Clock），利用该计时电路来对当前日期和时间进行计时并输出到CPU11。

CPU11根据从开闭角度传感器20输出的角度，对第1盖体30a和第2盖体30b关闭到预定状态进行检测。

CPU11在检测出第1盖体30a和第2盖体30b关闭到预定状态的时刻（timing），使拍摄部15进行拍摄。

CPU11针对利用拍摄部15而生成的拍摄图像的整个区域检索是否记录有预定标记。具体来说，CPU11针对拍摄图像的图像数据进行光学式标记识别处理（OMR：Optical Mark Recognition），检测记录在记录介质40的标记。

首先，CPU11针对拍摄图像进行二值化处理和噪声去除处理。

然后，CPU11从存储在存储部19的分类用标记对应表191、指令标记对应表192读出与各标记相对应的样板，在拍摄图像上依次进行扫描，查找在拍摄图像内是否存在与样板一致的区域。

带有一定幅度地进行与样板的比较。也可以针对样板实施放大和缩小和旋转。

CPU11执行与利用拍摄图像的整个区域中的检索而识别出的标记相应的预定处理。

当识别出的标记是分类用标记时，CPU11从拍摄图像切出与识别出的标记对应的区域，按标记的种类对切出的区域进行分类并存储到存储部19的分类列表194a、194b、194c、…。

另外，CPU11按标记的种类对切出的区域进行列表化并显示到显示面板14a。

当识别出的标记是指令标记时，CPU11从存储于存储部19的指令标记对应表192读出与识别出的标记对应的指令，并针对拍摄图像来执行该读出的指令。

当识别出的指令标记是“自动投稿”标记时，CPU11控制无线通信部16，将拍摄图像发送到预定的共享存储装置。

当识别出的指令标记是“剪辑”标记时，CPU11从拍摄图像切出由记录在记录介质40的线围绕的区域，并控制无线通信部16，从而将所切出的区域发送到预定的共享存储装置。

CPU11对拍摄图像附加表示从该拍摄图像识别出的标记的种类的标签，并按标签来管理拍摄图像。

接下来，对信息处理装置1的动作进行说明。

图8是表示在信息处理装置1中实施的标记识别处理的流程图。

该处理通过基于CPU11和存储在ROM18的标记识别处理程序181的协作的软件处理来现实。

首先，CPU11判断是否是预定时刻（步骤S1）。

在第1实施方式中，CPU11根据由开闭角度传感器20输出的第1盖体30a和第2盖体30b构成的角度，判断开闭角度是否是预定角度（例如，70°等）以下。即，CPU11判断构成活页封面30的第1盖体30a和第2盖体30b是否关闭到预定状态。不是预定时刻时（步骤S1：否），返回到步骤S1。

在步骤S1中，当是预定时刻时（步骤S1：是），即，当第1盖体30a和第2盖体30b关闭到预定状态时，CPU11控制拍摄部15，进行记录在记录介质40的手写笔记的拍摄，从而获得由拍摄部15生成的拍摄图像（步骤S2）。

例如，CPU11从拍摄图像提取记录介质40的区域，针对提取出的区域进行修正梯形失真的处理。

另外，CPU11将拍摄图像的图像数据存储到存储部19的拍摄图像数据库193，并且从计时部21获得当前日期时间，将所获得的当前日期时间作为制作日期时间，并与拍摄图像的图像数据对应起来存储到拍摄图像数据库193中。

接下来，CPU11解析拍摄图像的图像数据，针对拍摄图像的整个区域检索是否记录有预定标记（步骤S3）。

具体来说，CPU11参照存储在存储部19的分类用标记对应表191、指令标记对应表192来从拍摄图像识别标记。

接下来，CPU11判断是否存在没有进行处理的标记（步骤S4）。

当存在没有进行处理的标记时（步骤S4：是），CPU11对拍摄图像附加表示从该拍摄图像识别出的标记的种类的标签（步骤S5）。

具体来说，CPU11将与记录在该拍摄图像的标记对应的标签（想法、决定事项、要做的事情、自动投稿、剪辑等）与拍摄图像的图像数据对应起来存储到拍摄图像数据库193。

接下来，CPU11判断在拍摄图像中识别出的标记是否是指令标记（步骤S6）。

当识别出的标记不是指令标记时（步骤S6：否），即，当识别出的标记是分类用标记时，CPU11从拍摄图像切出与标记对应的区域（步骤S7）。

与标记对应的区域可以是由标记附近的线围绕的区域，也可以是由标记附近的空行夹出的范围的区域。

接下来，CPU11对标记的按种类分的列表追加切出的区域（步骤S8）。

具体来说，CPU11将切出区域的图像数据存储到与标记对应的分类列表194a、194b、194c、…（例如，当为“想法”标记时，存储到分类列表194a），并且将表示切出区域的原始图像（一页量的拍摄图像）的信息以及切出区域的坐标数据与切出区域的图像数据对应起来存储到分类列表194a、194b、194c、…。

在步骤S6中，当识别出的标记是指令标记时（步骤S6：是），CPU11参照存储在存储部19的指令标记对应表192，读出与标记对应的指令（步骤S9），针对拍摄图像执行所读出的指令（步骤S10）。

步骤S8或步骤S10之后，返回到步骤S4，重复处理。

在步骤S4中，当针对记录在拍摄图像的所有标记结束了处理时（步骤S4：否），标记识别处理结束。

图9表示对记录有手写文字以及标记的记录介质40进行拍摄从而得到的拍摄图像41的示例。

拍摄图像41中的标记M1是为了将由线围绕的区域A1分类到“想法”而被记录的标记。

拍摄图像41中的标记M2是为了将由线围绕的区域A2分类到“想法”而被记录的标记。拍摄图像41中的标记M3是为了将由线围绕的区域A3分类到“决定事项”而被记录的标记。

在图9所示的示例的情况下，将拍摄图像41（一页量）的图像数据、称为“想法”以及“决定事项”的标签、以及拍摄图像41的制作日期时间对应起来存储到拍摄图像数据库193。

另外，在与“想法”对应的分类列表194a的“切出区域”存储区域A1的图像数据，并且与区域A1的图像数据对应地，在“原始图像”中存储表示拍摄图像41的信息，在“区域坐标数据”中存储从拍摄图像41切出的区域A1的坐标数据。

同样地，在与“想法”对应的分类列表194a的“切出区域”存储区域A2的图像数据，并且与区域A2的图像数据对应地，在“原始图像”中存储表示拍摄图像41的信息，在“区域坐标数据”中存储从拍摄图像41切出的区域A2的坐标数据。

另外，在与“决定事项”对应的分类列表194b的“切出区域”存储区域A3的图像数据，并且与区域A3的图像数据对应地，在“原始图像”中存储有表示拍摄图像41的信息，在“区域坐标数据”中存储从拍摄图像41切出的区域A3的坐标数据。

接下来，参照图10，对在信息处理装置1中执行的按标签执行的检索处理进行说明。

按标签执行的检索处理是按在标记识别处理的步骤S5中附加的标签来管理拍摄图像的处理的一个示例。

首先，通过用户对触摸面板14b的操作，选择成为检索对象的日期、标签（步骤S11）。

接下来，CPU11根据存储在存储部19的拍摄图像数据库193的制作日期时间以及标签，提取符合于选择出的日期时间、标签的拍摄图像的图像数据（步骤S12）。

接下来，CPU11根据提取出的拍摄图像的图像数据，将与检索条件一致的拍摄图像显示到显示面板14a（步骤S13）。

图11表示显示在显示面板14a的检索画面141的示例。

例如，在检索画面141的日期指定栏141a中选择了日期（3月14日）、在标签指定栏141b中选择了标签（自动投稿）的状态下，按下检索按钮B1时，从拍摄图像数据库193提取出制作日期时间是“3月14日”、标签是“自动投稿”的拍摄图像，分别在检索结果显示栏141c、141d、141e显示提取出的拍摄图像。在检索结果显示栏141c、141d、141e中显示拍摄图像的上部区域等图像的一部分。

接下来，CPU11通过用户对触摸面板14b的操作，判断是否选择了成为显示对象的拍摄图像（步骤S14）。

当选择了成为显示对象的拍摄图像时（步骤S14；是），CPU11将选择出的拍摄图像显示到显示面板14a（步骤S15）。

例如，在图11所示的检索画面141中，当选择了作为检索结果而显示在检索结果显示栏141c、141d、141e的拍摄图像（的一部分）中的某一个拍摄图像时，显示所选择的拍摄图像的一页的量。

在步骤S14中，当没有选择出成为显示对象的拍摄图像时（步骤S14：否），按标签执行的检索处理直接结束。

接下来，参照图12，对在信息处理装置1中执行的列表显示处理进行说明。

列表显示处理是根据存储在存储部19的分类列表194a、194b、194c、…，按标记的种类使从拍摄图像切出的区域列表化的处理。

首先，CPU11按分类用标记（想法、决定事项、要做的事情）获得对应的分类列表194a、194b、194c、…所包括的切出区域的图像数据（步骤S21）。

例如，对于“想法”标记，获得分类列表194a所包括的切出区域的图像数据。CPU11将所获得的切出区域的图像数据存储到RAM17。

接下来，CPU11按分类用标记根据获得的切出区域的图像数据，将切出区域的列表显示到显示面板14a（步骤S22）。

图13表示显示在显示面板14a的想法列表画面142、决定事项列表画面143、要做的事情列表画面144的示例。

在想法列表画面142的列表显示栏142a、142b中分别显示从图9所示的拍摄图像41切出的区域A1、A2。

在图13的示例中，显示了除去了图9中区域A1、A2所包含的标记M1、M2的区域，但是也可以显示包含标记M1、M2的切出区域。另外，也可以保存预先除去了标记M1、M2的区域。

接下来，CPU11通过用户对触摸面板14b的操作，判断是否选择了成为显示对象的切出区域（步骤S23）。

当选择了成为显示对象的切出区域时（步骤S23：是），CPU11将包含选择出的切出区域的拍摄图像显示到显示面板14a（步骤S24）。

具体来说，CPU11通过参照在分类列表194a、194b、194c、…中与选择出的切出区域对应起来的原始图像，确定包含切出区域的拍摄图像。

然后CPU11从存储在存储部19的拍摄图像数据库193读出确定出的拍摄图像的图像数据，根据该拍摄图像的图像数据使显示面板14a显示拍摄图像。

例如，在图13所示的想法列表画面142中，当选择了显示在列表显示栏142a、142b…的切出区域中的某一个切出区域时，显示包含所选择的切出区域的拍摄图像的一页的量。

在步骤S23中，当没有选择成为显示对象的切出区域时（步骤S23：否），列表显示处理直接结束。

接下来，参照图14，对在信息处理装置1中执行的自动投稿处理进行说明。自动投稿处理是当识别出的标记是表示“自动投稿”的指令标记时的、相当于标记识别处理的步骤S10的处理。

首先，CPU11从存储部19读出与“自动投稿”标记对应的发送目的地（步骤S31）。

接下来，CPU11根据读出的发送目的地，控制无线通信部16，将由拍摄部15生成的拍摄图像发送到预定的共享存储装置（步骤S32）。

通过以上，自动投稿处理结束。

共享存储装置保存从信息处理装置1发送的拍摄图像并进行管理。

拍摄图像被保存到共享存储装置后，其他登记的成员也能够阅览自动投稿的拍摄图像。

接下来，参照图15，对在信息处理装置1中执行的剪辑处理进行说明。剪辑处理是当识别出的标记是表示“剪辑”的指令标记时的、相当于标记识别处理的步骤S10的处理。

首先，CPU11根据识别出的“剪辑”标记，决定原稿的方向（步骤S41）。

具体来说，CPU11判断为：图5的指令标记对应表192所示的“剪辑”标记的上侧与原稿的上侧相对应。

接下来，CPU11从拍摄图像切出与标记对应的区域，具体来说，从拍摄图像切出由标记附近的线围绕的区域（步骤S42）。

接下来，CPU11从存储部19读出与“剪辑”标记对应的发送目的地（步骤S43）。

接下来，CPU11根据读出的发送目的地，控制无线通信部16，将在步骤S42中切出的区域发送到预定的共享存储装置（步骤S44）。

通过以上，剪辑处理结束。

图16表示拍摄记录介质40得到的拍摄图像42的示例，上述记录介质40记录有表示“剪辑”的指令标记。

拍摄图像42中的标记M4是为了剪辑由线围绕的区域A4而被记录的标记。

向预定的共享存储装置发送从拍摄图像42切出的区域A4的图像数据。

在共享存储装置中保存从信息处理装置1发送的切出区域并进行管理。

切出区域被保存到共享存储装置后，其他登记成员也能够阅览切出区域。

另外，作为记录有“剪辑”标记的记录介质40，不限于手写笔记，也可以是预先印刷的资料等。

如以上说明那样，由于根据第1实施方式的信息处理装置1执行与从拍摄图像识别出的标记对应的预定处理，所以能够有效地应用记录在记录介质40的内容。

另外，由于针对拍摄图像的整个区域检测是否记录有预定标记，所以用户能够将标记记录到记录介质40的任意区域。

另外，对拍摄图像附加表示从该拍摄图像识别出的标记的种类的标签，由此能够按标签检索拍摄图像等，拍摄图像的管理变得容易。

另外，当识别出的标记是分类用标记时，由于切出与从拍摄图像识别出的标记对应的区域，按标记的种类来对切出的区域进行分类并存储到存储部19的分类列表194a、194b、194c、…，所以能够自动对记录在记录介质40的内容进行分类。由此，按标记的种类对切出区域进行提取和检索变得容易。

另外，由于按标记种类来使切出区域列表化地显示在显示面板14a，所以容易确认按标记种类记录在记录介质40的内容。

另外，当识别出的标记是指令标记时，由于执行与标记对应的指令，所以不需要用户直接指示，就能够容易地进行与指令对应的处理。

例如，由于根据“自动投稿”标记，将拍摄图像发送到预定的共享存储装置，所以不会增加由用户指示投稿处理、或指定发送目的地等的麻烦。

另外，由于根据“剪辑”标记，切出由线围绕的区域，并将切出的区域发送到预定共享存储装置，所以不会增加由用户指示剪辑处理、或指定发送目的地等的麻烦。

另外，由于在检测到第1盖体30a和第2盖体30b关闭到预定状态的时刻进行拍摄，所以能够容易地进行拍摄。

另外，第1盖体30a和第2盖体30b的开闭角度的检测方法不限于上述方法。

例如，也可以对第1盖体30a的预定位置附加指标，根据由拍摄部15取入的图像内的指标位置来对第1盖体30a和第2盖体30b关闭到预定状态进行检测。

另外，也可以在第2盖体30b内设置加速度传感器，利用加速度传感器来检测重力的方向，从而对第1盖体30a和第2盖体30b的开闭角度进行检测。

[第2实施方式]

接下来，对应用本发明的第2实施方式进行说明。

图17A是表示第2实施方式的信息处理装置1A收纳在主体盖体50的状态的图，图17B以及图17C是表示信息处理装置1A倚靠在主体盖体50的状态的图。

在信息处理装置1A中，针对与第1实施方式所示的信息处理装置1同样的结构标注同一符号，省略说明。

图18是表示信息处理装置1A倚靠在主体盖体50、记录介质40放置在信息处理装置1A的前面的状态的图。

在第2实施方式中，记录介质40构成为由多页构成的册子状，在翻开记录介质40的书页的时刻，利用拍摄部15来拍摄记录介质40。

预先设定成：以信息处理装置1A的下端与记录介质40的上端一致的方式来放置记录介质40时，拍摄部15的视场角以及焦点与记录介质40一致。

在信息处理装置1A与第1实施方式所示的信息处理装置1的比较中，存在这样的不同点：不需要开闭角度传感器20以及活页封面30，但是由于其他结构是与信息处理装置1同样的，所以引用图3并省略说明。以下，对第2实施方式特征性的结构以及处理进行说明。

CPU11取入利用拍摄部15连续地拍摄的动态图像数据，通过解析该动态图像数据，对拍摄的记录介质40的翻页动作进行检测。

从拍摄部15输出的图像数据不断变化的期间被推测为记录介质40的各书页或用户的手指等处于移动中。CPU11继续取入由拍摄部15拍摄到的动态图像数据，当图像静止时，判断为进行了翻页动作。

CPU11在检测到记录介质40的翻页动作的时刻，使拍摄部15进行拍摄。

在信息处理装置1A中执行的标记识别处理与第1实施方式只是进行拍摄的时刻不同，除此以外的处理由于与图8所示的标记识别处理相同，所以引用图8来进行说明。

在第2实施方式中，CPU11在步骤S1中根据从拍摄部15连续地取入的动态图像数据，来判断是否检测到手写笔记（记录介质40）的翻页动作。

当检测到手写笔记的翻页动作时（步骤S1：是），CPU11控制拍摄部15，进行记录在记录介质40的手写笔记的拍摄，从而获得由拍摄部15生成的笔记画面（静止图像，步骤S2）。

步骤S3以后的处理由于是与第1实施方式同样的，所以省略说明。

另外，按标签执行的检索处理（参照图10）、列表显示处理（参照图12）、自动投稿处理（参照图14）、剪辑处理（参照图15）由于也与第1实施方式相同，所以省略说明。

如上述说明那样，根据第2实施方式的信息处理装置1A，在与第1实施方式同样的效果的基础上，由于在检测到记录介质40的翻页动作的时刻进行拍摄，所以能够容易地进行拍摄。

另外，翻页动作的检测方法不限于上述方法。例如，也可以事先在记录介质40的各书页的预定位置附加用于确定书页的书页确定用标记，当从取入的图像内的预定位置检测到书页确定用标记时，判断为进行了翻页动作。

另外，上述各实施方式的叙述是本发明涉及的信息处理装置的示例，但不是限定于此。在不脱离本发明的宗旨的范围内可以适当地变更关于构成装置的各部分的细节结构以及细节动作。

例如，记录在记录介质40的标记不限于上述的示例。分类用标记可以与对应的分类项目一起追加到分类用标记对应表191。另外，指令标记可以与对应的指令一起追加到指令标记对应表192。

另外，在自动投稿处理（参照图14）和剪辑处理（参照图15）中，从存储部19读出与标记对应的发送目的地，自动地将拍摄图像和切出区域发送到预先设定的发送目的地，但是也可以在发送前显示用于设定发送目的地的设定画面，由用户来选择发送目的地。

在以上的说明中，作为存储用于执行各处理的程序的计算机能够读取的介质公开了使用ROM的示例，但是不限定于该示例。作为其他计算机能够读取的介质，能够应用闪速存储器等非易失性存储器、CD-ROM等可移动型记录介质。另外，也可以应用载波（搬送波）作为经通信线路提供程序的数据的介质。

[第3实施方式]

接下来，对应用本发明的第3实施方式进行说明。

在第3实施方式中，图3所示的存储部19存储有：日程安排程序（schedulerprogram）、OCR（Optical Character Recognition：光学文字识别）程序、图像管理程序、以及邮件程序。

日程安排程序是用于管理时间和日程的程序，是能够输入、编辑、显示日程、该日程的开始和结束时刻以及出席者等的程序。

这里，将包括作为日程的事件内容、进行事件的日期时间、以及事件的出席者等的信息称为事件信息。

这里，CPU11、日程安排程序、以及存储部19作为调度器（scheduler）（管理单元）发挥功能。

OCR程序是这样的程序：利用图像处理将输入图像识别处理为2值化了的图像数据，通过与预先存储的样式的对照来确定文字、符号，并输出文字符号数据。

这里，CPU11、OCR程序作为图像识别单元发挥功能，上述图像识别单元识别基于由拍摄部15拍摄的图像数据的图像的范围内存在的识别信息。

图像管理程序是这样的程序：用于显示和管理由拍摄部15拍摄的笔记图像的图像数据等。

这里，CPU11、图像管理程序作为生成发送用图像数据的图像编辑单元发挥功能。

邮件程序是用于通过电子邮件发送由拍摄部15拍摄的笔记图像的程序。

这里，CPU11、邮件程序作为邮件发送单元发挥功能。

图19是表示由应用了第3实施方式的信息处理装置1执行的基于指令的邮件发送的流程图。

以下，参照图20对信息处理装置1的基于指令的邮件发送进行说明。通过CPU11与存储在存储部19的各种程序的协作来执行这些处理。

作为开始该基于指令的邮件发送的前提，例如，在启动了信息处理装置1的状态下，将手写笔记记录到图1所示的记录介质40，记录结束后进行关闭信息处理装置1的活页封面30的动作。在基于指令的邮件发送中，作为最适合拍摄的角度，作为开闭角度设定了70度。

具体来说，在由开闭角度传感器20检测到70度作为第1盖体30a和第2盖体30b的角度（最适合拍摄的角度）时，CPU11获得由拍摄部15生成的笔记图像。另外，与最适合拍摄的角度（例如，70度）对应地设定焦点、曝光等拍摄条件。

开始基于指令的邮件发送的处理时，在步骤S51中，当由开闭角度传感器20检测到大致70度而作为第1盖体30a和第2盖体30b的角度（最适合拍摄的角度）时，CPU11使拍摄部15拍摄手写笔记。

即，在步骤S51中，CPU11与关闭信息处理装置的动作联动地控制拍摄部15从而对记录介质40的手写笔记进行拍摄，将由拍摄部15生成的笔记图像存储到RAM17。

在步骤S52中，CPU11控制OCR程序，在拍摄的笔记图像的范围内检索是否记录有表示邮件发送指令的标记。这里，表示邮件发送指令的标记作为识别信息发挥功能。

图20A以及图20B是表示通过手写将表示邮件发送指令的标记记录到手写笔记中的示例图。

图20A是将标记“带□的V”记录到记录介质431的手写笔记的示例。

图20B是将手写笔记记录到印有二维条形码的记录介质432的示例。

图20A的示例表示通过手写将邮件地址记录到标记附近的示例。也可以通过邮件程序预先将发送目的地地址登记到标记。

也可以对标记分配1个发送目的地地址，也可以针对1个标记分配多个发送目的地地址。

另外，二维条形码可以是预先印刷在笔记用纸上的状态。手写笔记记录在印有二维条形码的纸的空白部分。

图21是示出了表示用邮件程序预先登记的邮件发送指令的标记与发送目的地地址的对应关系的图。如图21所示，也可以准备多个表示邮件发送指令的标记，用户从其中使用所希望的标记。

例如，准备3个表示邮件发送指令的标记

第1个标记是“带□的V1”，分配A先生的地址作为发送目的地地址。

第2个标记是“带□的V2”，分配B先生的地址作为发送目的地地址。

第3个标记是“带□的V3”，分配C先生的地址作为发送目的地地址。

另一方面，这些标记也可以构成为：在初始状态下没有分配发送目的地，通过进行设定操作来分配发送目的地。

返回到图19，在步骤S53中，CPU11判断是否发现了记录有表示邮件发送指令的标记，当判断为发现了时向“是”分支而转移到步骤S54。如果没有判断为发现向“否”分支而结束基于指令的邮件发送处理。

在步骤S54中，CPU11确认在表示邮件发送指令的标记附近是否存在有效的邮件地址。

当发现了有效的地址时，向“是”分支从而转移到步骤S57。当没能发现地址时向“否”分支而转移到步骤S55。

在步骤S55中，CPU11确认是否预先登记了如图21所示那样的发送目的地地址。即，确认是否预先将发送目的地地址分配给了表示邮件发送指令的标记。当判断为已登记时，向“是”分支而转移到步骤S57。

若没有判断为登记则向“否”分支而转移到步骤S56。

在步骤S56中，CPU11获得关联事件的出席者的地址。具体来说，首先，CPU11从计时部21获得当前日期时间。所谓当前日期时间是CPU11执行步骤S56时的日期时间，实质上是拍摄手写笔记、获得笔记图像时的日期时间。

接下来，CPU11控制调度器，对是否存在与拍摄手写笔记时的当前日期时间关联的事件进行检索。

图22A以及图22B是表示基于CPU11和日程安排程序的调度器显示画面的图。图22A是表示日历显示412的图。图22A的画面显示有拍摄图标51、登记图标52。

用户使用登记图标52能够从图22A以及图22B所示的调度器显示画面登记一个个事件。

图23是表示在作为管理单元的调度器中存储在作为第2存储单元的存储部19的数据结构的图。针对每个事件登记ID、事件名称、日期时间（开始日期时间、结束日期时间）、出席者、以及邮件地址。

如图23所示，也可以采用在一个个事件信息中包含出席者等的邮件发送目的地地址那样的数据结构。另外，在调度器中，也可以将邮件发送目的地地址例如作为别的地址簿登记到第2存储单元中，并与事件信息的出席者对应起来。

所谓关联事件为包含于登记有该当前日期时间的事件的登记时间（在事件召开时刻与结束预定时刻指定）的情况下的事件。

但是，考虑到例如会议等事件的召开时间比事件的预定时间延后，或者提早开始等事情发生，当前时间或记录在笔记图像的日期时间相对于事件的登记时间允许或多或少的延迟和提前。例如，当存在以比当前日期时间或记录在笔记图像的日期时间稍稍提前的登记时间进行登记的事件，将该事件判断为关联的事件。

返回到图19，当存在关联事件时，CPU11将该笔记图像的图像数据与事件信息对应起来存储到作为第1存储单元的存储部19。

然后，获得登记在该事件的出席者的地址。

在步骤S57中，CPU11判断是否存在针对表示邮件发送指令的标记的区域指定。若判断为存在针对表示邮件发送指令的标记的区域指定，则向“是”分支而转移到步骤S58。若判断为没有针对邮件发送指令的标记的区域指定，则向“否”分支而转移到步骤S59。

在步骤S58中，CPU11控制图像管理程序，制作只切出了指定区域而得到的图像。

另外，在步骤S57、S58中，当检测到针对多个邮件发送指令的标记的多个区域指定时，CPU11控制图像管理程序，制作切出了多个指定区域而得到的图像。

图24是用于对针对表示邮件发送指令的标记的区域指定进行说明的图。

在图24中，CPU11将笔记图像整体433中的由线围绕的封闭区域识别为针对表示邮件发送指令的标记的区域指定。

线的种类例如是实线。在区域指定中为了防止识别错误有必要加强某种程度的制约。即，不与手写的文字和符号等重复。另外，实质上是封闭的线。

在步骤S59中，CPU11将笔记图像整体（整页）设定为发送画面。

在步骤S60中CPU11添加由步骤S58或步骤S59指定的图像，并邮件发送到预定发送目的地地址。这里，发送目的地是通过步骤S53或步骤S55或者步骤S56指定的发送目的地地址。

[变形例]

接下来，利用图18，对第3实施方式的变形例的信息处理装置1A进行说明。

图18是表示变形例的信息处理装置1A倚靠在活页封面50的状态的图，是表示记录介质40放置在信息处理装置1A的前面的状态的图。

在变形例中，记录介质40构成为由多个书页构成的册子状，在翻动记录介质40的书页的时刻利用拍摄部15来拍摄记录介质40的手写笔记。

预先设定成：以信息处理装置1A的上下端与记录介质40的上端一致的方式来放置记录介质40时，拍摄部15的视场角以及焦点与记录介质40一致。

在信息处理装置1A与信息处理装置1的比较中，存在这样的不同点：不需要开闭角度传感器20，但是由于其他结构是与信息处理装置1同样的，所以省略说明。以下，对变形例特征性的结构以及动作进行说明。

在变形例的信息处理装置1A中，CPU11使拍摄部15拍摄记录介质40的多个书页，从而完成拍摄。然后与表示记录在记录介质40的最初的书页的邮件发送指令的标记对应地邮件发送到预定发送目的地。

这里，预定标记也可以记录在多个书页的中途或最后的书页。

接下来，对手写笔记的拍摄进行说明。首先，当通过用户对触摸面板14b的操作，而发出开始拍摄模式的意思的指示时，CPU11利用拍摄部15连续地取入动态图像数据，解析动态图像数据，由此检测拍摄的记录介质40的翻页动作。从拍摄部15输出的图像数据不断变化的期间被推测为记录介质40的各书页或用户的手指等处于移动中。

CPU11继续取入由拍摄部15拍摄到的动态图像数据，当图像静止时，判断为进行了翻页动作。CPU11在检测到记录介质40的翻页动作的时刻，使拍摄部15进行拍摄。

CPU11控制拍摄部15，进行记录在记录介质40的手写笔记的拍摄，将由拍摄部15生成的笔记图像（静止图像）存储到RAM17。

接下来，CPU11通过用户对触摸面板14b的操作来判断是否存在结束拍摄模式的意思的指示。

CPU11当没有结束拍摄模式的意思的指示时，继续所拍摄的记录介质40的翻页动作的检测处理。当检测到翻页动作时，CPU11进行记录在记录介质40的手写笔记的拍摄以及向RAM17存储笔记图像的图像数据。

另一方面，存在结束拍摄模式的意思的指示时，结束记录介质的拍摄处理。

变形例中的发送目的地地址的获得方法是与实施方式的情况相同的。

另外，例如还可以是：表示邮件发送指令的标记是二维条形码，记录介质40由在各个书页印有二维条形码的多个书页构成，例如，以该书页为第1页、该书页为第2页、该书页为第3页，该书页为最后一页，因此将该最后一页与第1～3页合起来发送的方式，与图21同样地登记了页码和发送目的地的指示，在拍摄完成时，将多个书页发送到预定的发送目的地。

如上所述，根据第3实施方式的信息处理装置1，具有：拍摄部15，其用于拍摄记录介质40从而获得手写笔记的图像数据；识别单元，其用于识别在基于由拍摄部15拍摄的图像数据的图像的范围内存在的识别信息（表示邮件发送指令的标记）；以及邮件发送单元，其用于将包含所拍摄的图像数据的邮件发送到与由识别单元识别出的识别信息的指示内容相对应的发送目的地。因此，能够容易地将记录介质的拍摄的图像数据发送到预定发送目的地。

另外，还具有：作为配置有记录介质40的第1壳体的第1盖体30a；通过铰链部30c能够开闭地与第1盖体30a连接，且作为设置有主体部10的第2壳体的第2盖体30b；以及检测第1盖体30a和第2盖体30b关闭到预定状态的开闭角度传感器20，拍摄部15设置于主体部10的与第1盖体30a对置的位置，在由开闭角度传感器20检测到第1盖体30a和第2盖体30b关闭到预定状态的时刻获得上述图像数据。

由此，能够在关闭信息处理装置1的活页封面30的时刻拍摄手写笔记，自动进行邮件发送。

Claims (16)

1.一种信息处理装置，其特征在于，具有：

拍摄单元，其拍摄记录介质并生成拍摄图像；

识别单元，其从由上述拍摄单元生成的拍摄图像识别出手写标记；以及

执行单元，其执行与由上述识别单元识别出的手写标记对应地预先决定的处理。

2.根据权利要求1所述的信息处理装置，其特征在于，

该信息处理装置具有：

第1壳体，其配置有上述记录介质；

第2壳体，其通过铰链部与第1壳体能够开闭地连接，且设置有主体部；以及

检测单元，其检测上述第1壳体与上述第2壳体关闭到预先决定的状态，

上述拍摄单元设置于上述主体部的与第1壳体对置的位置，

上述信息处理装置具有：拍摄控制单元，在由上述检测单元检测到上述第1壳体与上述第2壳体关闭到上述预先决定的状态的时刻，该拍摄控制单元使上述拍摄单元进行拍摄。

3.根据权利要求1所述的信息处理装置，其特征在于，

上述记录介质构成为由多个书页构成的册子状，

上述信息处理装置具有：

检测单元，其检测上述记录介质的翻页动作；以及

拍摄控制单元，在由上述检测单元检测到上述记录介质的翻页动作的时刻，该拍摄控制单元使上述拍摄单元进行拍摄。

4.根据权利要求1所述的信息处理装置，其特征在于，

上述信息处理装置具有：管理单元，其对上述拍摄图像附加表示上述识别出的手写标记的种类的标签，并按标签管理上述拍摄图像。

5.根据权利要求1所述的信息处理装置，其特征在于，

上述执行单元具有：

切出单元，其用于从上述拍摄图像切出与上述识别出的手写标记对应的区域；以及

存储控制单元，其按手写标记的种类来对上述切出的区域进行分类并使其存储到存储单元。

6.根据权利要求5所述的信息处理装置，其特征在于，

上述信息处理装置具有：显示控制单元，其按上述手写标记的种类使存储在上述存储单元的上述切出的区域列表化并使其显示到显示单元。

7.根据权利要求1所述的信息处理装置，其特征在于，

上述信息处理装置具有：存储单元，其按手写标记的种类将该手写标记表示的指令对应起来进行存储，

上述执行单元具有：

读出单元，其从上述存储单元读出与上述识别出的手写标记对应起来的指令；以及

指令执行单元，其对上述拍摄图像执行该读出的指令。

8.根据权利要求7所述的信息处理装置，其特征在于，

上述指令执行单元具有：发送控制单元，其用于将上述拍摄图像发送到预定的共享存储装置。

9.根据权利要求7所述的信息处理装置，其特征在于，

上述指令执行单元具有：

切出单元，其用于从上述拍摄图像切出记录在上述记录介质的由线封闭的区域；以及

发送控制单元，其用于将上述切出的区域发送到预先决定的共享存储装置。

10.一种信息处理方法，其特征在于，具有以下步骤：

拍摄步骤，拍摄记录介质并生成拍摄图像；

识别步骤，从由上述拍摄步骤生成的拍摄图像识别出手写标记；以及

执行步骤，执行与由上述识别步骤识别出的手写标记对应地预先决定的处理。

11.根据权利要求1所述的信息处理装置，其特征在于，

上述识别单元识别出存在于由上述拍摄单元生成的拍摄图像的范围内的识别信息，

上述执行单元将包含上述生成的拍摄图像的邮件发送到与由上述识别单元识别出的识别信息的指示内容对应的发送目的地。

12.根据权利要求11所述的信息处理装置，其特征在于，

上述识别单元从识别出上述识别信息的上述拍摄图像提取发送目的地信息，

上述执行单元将上述邮件发送到基于上述提取出的发送目的地信息的发送目的地。

13.根据权利要求11所述的信息处理装置，其特征在于，

上述执行单元将上述邮件发送到与上述识别出的识别信息预先对应起来的发送目的地。

14.根据权利要求11所述的信息处理装置，其特征在于，

上述信息处理装置还具有：管理单元，其登记包含与事件关联的日期时间的事件信息并进行日程管理；第1存储单元，其将上述图像数据与事件信息关联起来进行存储；以及第2存储单元，其将事件信息与邮件发送目的地地址对应起来进行存储，

上述执行单元将上述邮件发送到与事件信息对应起来的邮件发送目的地，该事件信息与发送的图像数据相关联。

15.根据权利要求11所述的信息处理装置，其特征在于，

上述识别单元还具有：图像编辑单元，其从识别出上述识别信息的上述拍摄图像识别出由线段封闭的区域，并生成切出由上述线段封闭的区域而得的发送用拍摄图像，

上述执行单元将包含由上述图像编辑单元生成的发送用拍摄图像的邮件发送到发送目的地。

16.根据权利要求15所述的信息处理装置，其特征在于，

上述识别单元在识别出多个上述识别信息时识别出与每个上述识别信息对应的由线段封闭的区域，

上述图像编辑单元与上述多个识别信息对应地切出由上述线段封闭的每个区域，来生成发送用图像数据。

Images