CN103581549A - 信息处理装置以及信息处理方法 - Google Patents

Abstract

本发明提供一种信息处理装置以及信息处理方法，所述信息处理装置具有：显示单元，其显示第1图像；拍摄单元，其拍摄记录介质并生成第2图像；拍摄控制单元，其在预定的时刻使所述拍摄单元进行拍摄；以及存储控制单元，其将由所述拍摄单元生成的第2图像与在所述预定的时刻显示于所述显示单元的第1图像关联起来存储到存储单元。

Description

信息处理装置以及信息处理方法

技术领域

本发明涉及信息处理装置以及信息处理方法。

背景技术

近年，在会议和演讲中，一边使PC（Personal Computer：个人计算机）和平板型终端显示资料一边进行说明的机会增多。与会者一边阅览显示的资料一边针对说的重点和注意到的重点等在笔记本上做笔记。有时资料是作为电子文件发布的，但是后来有可能不清楚资料的各页与手写的笔记的对应关系。

因此，在设置有对与会者的笔记进行拍摄的照相机的会议室中，提出了一种会议资料检索支援装置，其根据会议中所显示的资料的幻灯片的切换，提取该幻灯片的显示开始时刻的笔记本的拍摄图像、与显示切换时刻的笔记本的拍摄图像的差分，生成包括该差分的区域图像数据和显示切换时刻的拍摄图像的差分信息，将幻灯片ID和差分信息关联起来进行登记（参照日本特开2010-176603号公报）。由此，能够找出将笔记写入笔记本中时显示的会议资料。

但是，在上述现有技术中，需要包括用于会议的推进等的计算机装置、显示会议资料的显示板、以及对笔记本进行拍摄的照相机等大型的系统。另外，在检索写入笔记时所显示的会议资料的时候，也需要通过照相机对笔记本进行拍摄，将拍摄图像与差分信息所包含的区域图像数据进行对照，因而用于确定会议资料的处理很是复杂。

发明内容

本发明的课题是能够容易地参照记录在记录介质中的内容和显示于显示单元的内容的对应关系。

本发明的信息处理装置具有：显示单元，其显示第1图像；拍摄单元，其拍摄记录介质并生成第2图像；拍摄控制单元，其在预定的时刻使所述拍摄单元进行拍摄；以及存储控制单元，其将由所述拍摄单元生成的第2图像与在所述预定的时刻显示于所述显示单元的第1图像关联起来存储到存储单元。

本发明的信息处理方法具有：显示步骤，将第1图像显示于显示单元；拍摄步骤，拍摄记录介质并生成第2图像；拍摄控制步骤，在预定的时刻使所述拍摄步骤进行拍摄；以及存储控制步骤，将由所述拍摄步骤生成的第2图像与在所述预定的时刻显示于所述显示单元的第1图像关联起来存储到存储单元。

根据本发明，能够容易地参照记录在记录介质中的内容和显示于显示单元的内容的对应关系。

附图说明

图1是第1实施方式的信息处理装置的外观立体图。

图2是关闭第1盖体（第1壳体）以及第2盖体（第2壳体）中途的图。

图3是表示信息处理装置的功能性结构的方框图。

图4是表示第1拍摄处理的流程图。

图5是用于说明资料图像与笔记图像相关联的状态的图。

图6是表示显示处理的流程图。

图7A是笔记图像显示画面的示例。

图7B是资料图像显示画面的示例。

图8A是表示将第2实施方式的信息处理装置收纳在主体盖体的状态的图。

图8B是表示信息处理装置倚靠在主体盖体的状态的侧视图。

图8C是表示信息处理装置倚靠在主体盖体的状态的立体图。

图9是表示在信息处理装置前面放置记录介质的状态的图。

图10是表示第2拍摄处理的流程图。

图11是表示第3拍摄处理的流程图。

图12A以及图12B是表示调度器的显示画面的图。

图12A是日历显示的图。图12B是显示一个个日程的图。

图13是表示在调度器中存储在存储部中的数据结构的图。

图14是表示由图像管理程序管理的笔记图像的数据结构的图。

图15是表示由信息处理装置执行的链接处理的流程的图。

图16是表示手写笔记的一例的图。

图17A和图17B是表示基于图像管理程序的手写笔记显示画面的图。

图17A是表示一览显示的图，图17B是表示显示一页手写笔记的图。

具体实施方式

首先，参照图1～图7，对本发明的信息处理装置的第1实施方式进行说明。另外，本发明并不限定于图示例。

图1是第1实施方式的信息处理装置1的外观立体图。

信息处理装置1是平板型终端装置，由主体部10和活页封面（binder）30构成。

主体部10设置有用于画面显示以及触摸输入的触摸显示部14、和作为拍摄单元的拍摄部15等。

活页封面30构成为：将铰链部30c作为旋转轴能够开闭地连接作为第1壳体的第1盖体30a和作为第2壳体的第2盖体30b。

在第1盖体30a配置有记录介质40，在第2盖体30b设置有主体部10。主体部10和记录介质40利用卡子、钩等能够装卸地安装于活页封面30。

另外，在本实施方式中，所谓记录介质表示记录有应该拍摄的信息的介质，表示记录有信息的被摄体。另外，记录介质也包括能够电子地显示信息的电子纸。

第1盖体30a以及第2盖体30b构成为平板长方形形状，并利用铰链部30c构成为能够开闭，如开闭书或笔记本那样。

图1图示了第1盖体30a和第2盖体30b构成的角度是180°的状态（打开的状态）。

用户在该状态下进行触摸显示部14所显示的画面的参照以及触摸输入，将文字和图表等记入到记录介质40。

铰链部30c设置有检测第1盖体30a和第2盖体30b构成的角度的开闭角度传感器20。

开闭角度传感器20由以下部分构成：旋转编码器，其用于检测铰链部30c的轴的旋转；以及磁传感器，其使用霍尔元件等来检测开闭状态。

记录介质40是用户做笔记时使用的笔记本或报告用纸、印有资料的用纸、书籍等。其中，记录介质40只要是记录有应该拍摄的信息的介质即可，材料不限定于纸。记录介质40可以是一张片状的纸，也可以装订为册子状。

图2是关闭构成活页封面30的第1盖体30a以及第2盖体30b的中途的图。

拍摄部15设置于主体部10的与第1盖体30a对置的位置，当第1盖体30a和第2盖体30b的构成角度为预定角度（例如，70°等）时，利用拍摄部15来拍摄记录介质40。

预定角度被预先设定为最适合拍摄的角度，根据该角度设定了焦点、曝光等拍摄条件。

当用户关闭第1盖体30a以及第2盖体30b时（第1盖体30a和第2盖体30b构成角度为0°时），由于在关闭的途中经过预定角度，所以用户能够无意识地进行拍摄。

图3是表示信息处理装置1的功能性结构的方框图。

信息处理装置1具有：作为拍摄控制单元、存储控制单元、关闭检测单元、显示控制单元的CPU（Central Processing Unit：中央处理单元）11、电源部12、操作部13、触摸显示部14、拍摄部15、无线通信部16、RAM（Random AccessMemory：随机存取存储器）17、ROM（Read Only Memory：只读存储器）18、存储部19、开闭角度传感器20。

CPU11根据从操作部13和触摸显示部14输入的操作信号或利用无线通信部16接收的指示信号，对信息处理装置1的各部处理动作进行统一控制。

具体来说，CPU11读出存储在ROM18的各种处理程序并在RAM17展开，通过与该程序的协作进行各种处理。

电源部12对构成信息处理装置1的各部供给电力。

操作部13具有使电源接通/断开的电源键等操作键，并将与各操作键对应的操作信号输出到CPU11。

触摸显示部14构成为在作为显示单元的显示面板14a层叠有触摸面板14b。显示面板14a由LCD（Liquid Crystal Display：液晶显示器）等构成，并按照来自CPU11的显示控制信号来进行画面显示。

显示面板14a显示作为第1图像的资料图像。

触摸面板14b检测基于用户手指等的触摸操作的位置，并将与该位置对应的操作信号输出到CPU11。触摸面板14b是受理用户的操作指示的操作单元。

拍摄部15具有：光学透镜、拍摄元件、以及各种传感器等，是拍摄被摄体的数码照相机。

拍摄部15拍摄记录介质40并生成作为第2图像的笔记图像。

无线通信部16经无线LAN（Local Area Network：局域网）路由器与因特网连接，是进行数据通信的无线通信模块。

RAM17是易失性存储器。RAM17中临时性地存储由CPU11执行的各种程序和这些各种程序涉及的数据等。

ROM18是存储各种程序以及各种数据的读出专用的半导体存储器。ROM18中存储有拍摄处理程序181和显示处理程序182等。

存储部19由HDD（Hard Disk Drive：硬盘驱动器）或非易失性存储器等构成，能够读出以及写入信息地进行信息存储。

具体来说，存储部19存储有资料的电子数据等。

资料的电子数据除了由以幻灯片形式显示文字或图表的由展示软件制作的数据之外，也可以是PDF（Portable Document Format，注册商标）等数据，对于数据形式没有限定。

开闭角度传感器20检测第1盖体30a和第2盖体30b构成的角度，将检测出的角度输出到CPU11。

CPU11根据从开闭角度传感器20输出的角度，对第1盖体30a和第2盖体30b关闭到预定状态进行检测。

CPU11在检测出第1盖体30a和第2盖体30b关闭到预定状态的时刻（timing），使拍摄部15进行拍摄。拍摄图像（笔记图像）的图像数据以JPEG、TIFF等数据形式生成。

CPU11将利用拍摄部15而生成的笔记图像和检测到第1盖体30a和第2盖体30b关闭到预定状态的时刻显示于显示面板14a的资料图像关联起来存储到存储部19。对显示于显示面板14a的资料图像进行图像捕捉而得到的图像数据以JPEG、GIF、PNG等数据形式生成。

在存储于存储部19的资料图像显示于显示面板14a的状态下从触摸面板14b输入了用于切换显示的操作指示的情况下，CPU11从存储部19读出与显示于显示面板14a的资料图像关联起来的笔记图像，并将该读出的笔记图像显示于显示面板14a。

在存储于存储部19的笔记图像显示于显示面板14a的状态下从触摸面板14b输入了用于切换显示的操作指示的情况下，CPU11从存储部19读出与显示于显示面板14a的笔记图像关联起来的资料图像，并将该读出的资料图像显示于显示面板14a。

接下来，对信息处理装置1的动作进行说明。

图4是表示在信息处理装置1中执行的第1拍摄处理的流程图。

该处理通过基于CPU11和存储在ROM18的拍摄处理程序181的协作的软件处理来实现。

首先，CPU11根据由开闭角度传感器20输出的第1盖体30a和第2盖体30b构成的角度，判断开闭角度是否是预定角度（例如，70°等）以下（步骤S1）。即，CPU11判断构成活页封面30的第1盖体30a和第2盖体30b是否关闭到预定状态。

当开闭角度在预定角度以下时（步骤S1：是），即，当第1盖体30a和第2盖体30b关闭到预定状态时，CPU11控制拍摄部15，进行记录在记录介质40的手写笔记的拍摄，从而获得由拍摄部15生成的拍摄图像（步骤S2）。

例如，CPU11从由拍摄部15输出的拍摄图像提取记录介质40的区域，针对提取出的区域进行修正梯形失真的处理等。CPU11将笔记图像的图像数据存储到RAM17。

接下来，捕捉显示于触摸显示部14的显示面板14a的资料图像，并保存资料图像（抓屏）（步骤S3）。CPU11将资料图像的图像数据保存到RAM17。

然后，CPU11将在步骤S2中取得的笔记图像和在步骤S3中保存的资料图像关联起来存储到存储部19（步骤S4）。

接着，CPU11通过用户对触摸面板14b的操作，来判断是否存在结束拍摄模式的意思的指示（步骤S5）。

当在步骤S1中开闭角度大于预定角度时（步骤S1：否），或者当在步骤S5中没有结束拍摄模式的意思的指示时（步骤S5：否），返回到步骤S1，并重复处理。

当在步骤S5中有结束拍摄模式的指示时（步骤S5：是），第1拍摄处理结束。

通过第1拍摄处理，如图5所示，资料图像与笔记图像被关联起来。

资料图像与笔记图像不仅可以是一对一关联，也可以是一个资料图像关联多个笔记图像，或者也可以是一个笔记图像关联多个资料图像。

另外，在步骤S3中，在显示于显示面板14a的资料图像与上次捕捉到的资料图像相同的情况下，可以省略步骤S3的处理。

接下来，参照图6对在信息处理装置1中执行的显示处理进行说明。

该处理通过基于CPU11与存储于ROM18中的显示处理程序182的协作的软件处理来实现。

首先，CPU11通过用户对触摸面板14b的操作来判断是否选择了存储于存储部19的笔记图像中的成为显示对象的笔记图像（步骤S11）。

当选择了成为显示对象的笔记图像时（步骤S11：是），CPU11将选择的笔记图像从存储部19读出，并将读出的笔记图像显示到显示面板14a（步骤S12）。

接下来，CPU11判断与显示于显示面板14a的笔记图像相关联的资料图像是否存储在存储部19中（步骤S13）。

当与显示中的笔记图像相关联的资料图像存储于存储部19中时（步骤S13：是），CPU11通过用户对触摸面板14b的操作，来判断是否指示了与显示中的笔记图像相关联的资料图像的显示（步骤S14）。

即，CPU11判断是否输入了用于切换显示的操作指示。

图7A表示显示于显示面板14a的笔记图像显示画面141的示例。

在笔记图像显示画面141显示了笔记图像。在存在与该笔记图像相关联的资料图像的情况下，在笔记图像显示画面141显示切换按钮B1。用户通过触摸该切换按钮B1能够指示与显示中的笔记图像相关联的资料图像的显示。

当在步骤S14中指示了与显示中的笔记图像相关联的资料图像的显示时（步骤S14：是），CPU11从存储部19读出与显示中的笔记图像相关联的资料图像，并将所读出的资料图像显示于显示面板14a（步骤S15）。

接着，CPU11判断与显示于显示面板14a的资料图像相关联的笔记图像是否存储于存储部19（步骤S16）。

当与显示中的资料图像相关联的笔记图像存储于存储部19时（步骤S16：是），CPU11通过用户对触摸面板14b的操作来判断是否指示了与显示中的资料图像相关联的笔记图像的显示（步骤S17）。即，CPU11判断是否输入了用于切换显示的操作指示。

图7B表示显示于显示面板14a的资料图像显示画面142的示例。

在资料图像显示画面142显示了资料图像。当存在与该资料图像相关联的笔记图像时，在资料图像显示画面142显示切换按钮B2。用户通过触摸该切换按钮B2能够指示与显示中的资料图像相关联的笔记图像的显示。

在步骤S17中，当指示了与显示中的资料图像相关联的笔记图像的显示的时候（步骤S17：是），CPU11从存储部19读出与显示中的资料图像相关联的笔记图像，并将读出的笔记图像显示于显示面板14a（步骤S18），并转移到步骤S13。

当在步骤S11中没有选择成为显示对象的笔记图像的时候（步骤S11：否），CPU11通过用户对触摸面板14b的操作来判断是否选择了存储于存储部19的资料图像中的成为显示对象的资料图像（步骤S19）。

在选择了成为显示对象的资料图像的情况下（步骤S19：是），CPU11从存储部19读出所选择的资料图像，并将读出的资料图像显示于显示面板14a（步骤S20），并转移到步骤S16。

当在步骤S19中没有选择成为显示对象的资料图像的时候（步骤S19：否），则返回到步骤S11。

当在步骤S13中在存储部19没有存储于显示中的笔记图像相关联的资料图像时（步骤S13：否），或者在步骤S14中没有指示与显示中的笔记图像相关联的资料图像的显示时（步骤S14：否），或者在步骤S16中在存储部19没有存储与显示中的资料图像相关联的笔记图像时（步骤S16：否），或者在步骤S17中没有指示与显示中的资料图像相关联的笔记图像的显示时（步骤S17：否），结束显示处理。

如以上所说明的那样，根据第1实施方式的信息处理装置1，使拍摄部15在检测到第1盖体30a和第2盖体30b关闭到预定状态的时刻进行拍摄，将由拍摄部15生成的笔记图像与检测到第1盖体30a和第2盖体30b关闭到预定状态时显示于显示面板14a的资料图像关联起来存储到存储部19，因此，能够容易地参照记录于记录介质40的内容（笔记图像）和显示于显示面板14a的内容（资料图像）的对应关系。

另外，由于在检测到第1盖体30a和第2盖体30b关闭到预定状态的时刻进行拍摄，因此能够容易地进行拍摄。

另外，在资料图像显示于显示面板14a的状态下，能够简单地切换到与该资料图像相关联的笔记图像的显示。另外，在笔记图像显示于显示面板14a的状态下，能够简单地切换到与该笔记图像相关联的资料图像的显示。

另外，也可以是，预先对手写笔记进行拍摄或者扫描而生成了笔记图像的电子数据，并且在笔记图像显示于显示面板14a的状态下进行资料（记录介质40）的拍摄，将通过拍摄而得到的资料图像（第2图像）与拍摄时显示于显示面板14a的笔记图像（第1图像）关联起来进行存储。

而且，第1盖体30a和第2盖体30b的开闭角度的检测方法不限定于上述方法。例如，也可以对第1盖体30a的预定位置附加指标，根据由拍摄部15取入的图像内的指标位置来对第1盖体30a和第2盖体30b关闭到预定状态进行检测。

另外，也可以在第2盖体30b内设置加速度传感器，利用加速度传感器来检测重力的方向，从而对第1盖体30a和第2盖体30b的开闭角度进行检测。

[第2实施方式]

接下来，对应用本发明的第2实施方式进行说明。

图8A是表示第2实施方式的信息处理装置1A收纳在主体盖体50的状态的图，图8B以及图8C是表示信息处理装置1A倚靠在主体盖体50的状态的图。

在信息处理装置1A中，针对与第1实施方式所示的信息处理装置1同样的结构标注同一符号，并省略说明。

图9是表示信息处理装置1A倚靠在主体盖体50、记录介质40放置在信息处理装置1A的前面的状态的图。

在第2实施方式中，记录介质40构成为由多个书页构成的册子状，在翻动记录介质40的书页的时刻，利用拍摄部15来拍摄记录介质40。预先设定成：当以信息处理装置1A的下端与记录介质40的上端一致的方式来放置记录介质40时，拍摄部15的视场角以及焦距与记录介质40一致。

在信息处理装置1A与第1实施方式所示的信息处理装置1的比较中，存在这样的不同点，即，不需要开闭角度传感器20以及活页封面30，但是由于其他结构是与信息处理装置1同样的，所以引用图3并省略说明。

以下，对第2实施方式特征性的结构以及处理进行说明。

CPU11取入利用拍摄部15连续地拍摄的动态图像数据，通过解析该动态图像数据，对拍摄的记录介质40的翻页动作进行检测。

从拍摄部15输出的图像数据不断变化的期间被推测为记录介质40的各书页或用户的手指等处于移动中。

CPU11继续取入由拍摄部15拍摄到的动态图像数据，当图像静止时，判断为进行了翻页动作。

CPU11在检测到记录介质40的翻页动作的时刻，使拍摄部15进行拍摄。

CPU11将由拍摄部15生成的笔记图像与检测到记录介质40的翻页动作时显示于显示面板14a的资料图像关联起来存储到存储部19。

接下来，对信息处理装置1A的动作进行说明。

图10是表示在信息处理1A中执行的第2拍摄处理的流程图。

该处理通过基于CPU11与存储于ROM18的拍摄处理程序181的协作的软件处理而实现。

该处理想定了以下情况：用户在会议等结束之后，将资料显示于显示面板14a进行确认，同时汇总由记录于记录介质40的多个书页构成的手写笔记进行拍摄。

首先，当通过用户对触摸面板14b的操作而发出了开始拍摄模式的意思的指示时，CPU11控制拍摄部15，进行记录于记录介质40的手写笔记的拍摄，并取得由拍摄部15生成的笔记图像（静止图像）（步骤S21）。CPU11将笔记图像的图像数据存储到RAM17。

接着，CPU11捕捉显示于显示面板14a的资料图像，并保存资料图像（步骤S22）。CPU11将资料图像的图像数据保存到RAM17。

接着，CPU11将在步骤S21中取得的笔记图像与在步骤S22中保存的资料图像关联起来存储到存储部19（步骤S23）。

然后，CPU11通过用户对触摸面板14b的操作来判断是否进行了显示于显示面板14a的资料图像的切换指示（步骤S24）。

在检测到了资料图像的切换指示的情况下（步骤S24：是），CPU11根据存储于存储部19的资料的电子数据，将资料图像切换到下一书页并显示于显示面板14a（步骤S25）。

在步骤S24中，在未检测到资料图像的切换指示时（步骤S24：否），CPU11根据从拍摄部15连续地取入的动态图像数据，判断是否检测到了手写笔记（记录介质40）的翻页动作（步骤S26）。

在检测到了手写笔记的翻页动作的情况下（步骤S26：是），CPU11控制拍摄部15进行记录于记录介质40的手写笔记的拍摄，并取得由拍摄部15生成的笔记图像（静止图像）（步骤S27）。CPU11将笔记图像的图像数据存储到RAM17。

接着，CPU11捕捉显示于显示面板14a的资料图像，并保存资料图像（步骤S28）。CPU11将资料图像的图像数据存储到RAM17。

接着，CPU11将在步骤S27中取得的笔记图像与在步骤S28中保存的资料图像关联起来存储到存储部19（步骤S29）。

接着，CPU11通过用户对触摸面板14b的操作判断是否有结束拍摄模式的意思的指示（步骤S30）。

当在步骤S26中没有检测到手写笔记的翻译动作时（步骤S26：否），或者在步骤S30中没有结束拍摄模式的意思的指示时（步骤S30：否），或者在步骤S25之后，返回到步骤S24，重复进行处理。

当在步骤S30中有结束拍摄模式的意思的指示时（步骤S30：是），结束第2拍摄处理。

另外，在步骤S28中，在显示于显示面板14a的资料图像与上一次捕捉到的资料图像相同时，也可以省略步骤S28的处理。

对于显示通过第2拍摄处理而相互关联起来的资料图像或笔记图像时的显示处理，与在第1实施方式中说明过的显示处理相同。

如以上所说明，根据第2实施方式的信息处理装置1A，在检测到了记录介质40的翻页动作的时刻使拍摄部15进行拍摄，并将由拍摄部15生成的笔记图像与检测到记录介质40的翻页动作时显示于显示面板14a的资料图像关联起来存储到存储部19，因此，能够容易地参照记录于记录介质40的内容（笔记图像）与显示于显示面板14a的内容（资料图像）。

由于在检测到了记录介质40的翻页动作的时刻进行拍摄，因此能够容易地进行拍摄。

另外，也可以是，预先拍摄或者扫描手写笔记而生成笔记图像的电子数据，在笔记图像显示于显示面板14a的状态下，根据资料的翻页动作而对由多个书页构成的册子状的资料（记录介质40）进行拍摄，并将通过拍摄而得到的资料图像与拍摄时显示于显示面板14a的笔记图像关联起来进行存储。

另外，翻页动作的检测方法不限定于上述方法。例如，也可以事先在记录介质40的各书页的预定位置附加用于确定书页的标记，当从取入的图像内的预定位置检测到标记时，判断为进行了翻页动作。

[第3实施方式]

接下来，对应用本发明的第3实施方式进行说明。

在第3实施方式中的信息处理装置1B，与第1实施方式所示的信息处理装置1相比，不同点在于不需要开闭角度传感器20以及活页封面30，但是其他结构与信息处理装置1相同，因此，引用图3并省略说明。

以下对第3实施方式的特征性结构和处理进行说明。

CPU11基于用户对触摸面板14b的操作而检测显示于显示面板14a的资料图像的切换显示（由多个书页构成的资料图像的向下一页的切换指示）。

CPU11在检测到了显示于显示面板14a的资料图像的切换指示的时刻使拍摄部15进行拍摄。

CPU11将由拍摄部15生成的笔记图像与检测到资料图像的切换指示时显示于显示面板14a的资料图像关联起来存储到存储部19。

接下来，对信息处理装置1B的动作进行说明。

图11是表示在信息处理装置1B中执行的第3拍摄处理的流程图。

该处理通过基于CPU11和存储于ROM18的拍摄处理程序181的协作的软件处理来实现。

首先，CPU11根据用户对触摸面板14b的操作来判断是否进行了对显示于显示面板14a的资料图像的切换指示（步骤S31）。

在检测到了资料图像的切换指示的时候（步骤S31：是），CPU11控制拍摄部15进行记录于记录介质40的手写笔记的拍摄，并取得由拍摄部15生成的笔记图像（步骤S32）。CPU11将笔记图像的图像数据存储到RAM17。

接着，CPU11捕捉显示于显示面板14a的资料图像，并保存资料图像（步骤S33）。CPU11将资料图像的图像数据保存到RAM17。

然后，CPU11将在步骤S32中取得的笔记图像与在步骤S33中保存的资料图像关联起来存储到存储部19（步骤S34）。

接着，CPU11根据存储在存储部19中的资料的电子数据，将资料图像切换到下一书页并显示于显示面板14a（步骤S35）。

由于是在步骤S35中的切换资料图像之前，在步骤S33中取得与笔记图像关联的资料图像，因此，能够将笔记图像与写笔记时显示的资料图像关联起来。

然后，CPU11通过用户对触摸面板14b的操作来判断是否有结束拍摄模式的意思的指示（步骤S36）。

当在步骤S31中没有检测到资料图像的切换指示时（步骤S31：否），或者在步骤S36中没有结束拍摄模式的意思的指示时（步骤S36：否），返回步骤S31，并重复处理。

当在步骤S36中有结束拍摄模式的意思的指示时（步骤S36：是），结束第3拍摄处理。

显示通过第3拍摄处理而相互关联起来的资料图像或笔记图像时的显示处理与在第1实施方式中说明过的显示处理相同。

如以上所说明，根据第3实施方式的信息处理装置1B，在检测到了显示于显示面板14a的资料图像的切换指示的时刻使拍摄部15进行拍摄，将由拍摄部15生成的笔记图像与检测到了资料图像的切换指示时显示于显示面板14a的资料图像关联起来存储到存储部19，因此，能够容易地参照记录于记录介质40的内容（笔记图像）与显示于显示面板14a的内容（资料图像）的对应关系。

另外，由于在检测到了显示于显示面板14a的资料图像的切换指示的时刻进行拍摄，因此，能够容易地进行拍摄。

另外，在第3实施方式中，对基于用户对触摸面板14b的操作，来切换显示于显示面板14a的资料图像的情况进行了说明，而在将经无线通信部16从外部装置取得的资料图像被动地显示于显示面板14a的情况下，在显示于显示面板14a的内容变化时判断为切换了资料图像即可。

该情况下，由于显示面板14a的显示内容与用户的意志无关地进行切换，因此，在资料图像被切换的时刻拍摄到的笔记图像与捕捉显示面板14a而得到的资料图像之间产生偏差。因此，预先取得第1个资料图像，将第1个资料图像与切换到第2个资料图像的时刻拍摄到的笔记图像关联起来即可。

并且，将在切换到第2个资料图像的时刻捕捉显示面板14a而得到的第2个资料图像与在切换到第3个资料图像的时刻拍摄到的笔记图像依次关联起来即可。

另外，上述实施方式中的记述是本发明的信息处理装置的示例，并不限定于此。在不脱离本发明的宗旨的范围内可以适当地变更关于构成装置的各部分的细节结构以及细节动作。

例如，在上述各实施方式中，对相互管理起来的资料图像与笔记图像进行切换来显示到显示面板14a，但是也可以将相互关联起来的资料图像与笔记图像同时并列显示于显示面板14a的同一画面。

另外，为了将相互关联起来的资料图像与笔记图像印刷在同一书页，可以经无线通信部16将印刷数据输出到打印机。

另外，显示于显示面板14a的资料图像不限于预先存储于存储部19，也可以是经无线通信部16从Web服务器取得的Web显示画面等从外部装置取得的图像。

在以上的说明中，公开了作为存储用于执行各处理的程序的计算机能够读取的介质而使用了ROM的示例，但是不限定于该示例。

作为其他的计算机能够读取的介质，可以使用闪速存储器等非易失性存储器、CD-ROM等可移动型记录介质。另外，作为经通信线路提供程序数据的介质，可以使用载波。

[第4实施方式]

接下来，对使用了本发明的第4实施方式进行说明。

在第4实施方式中，在图3所示的ROM18中，存储了调度程序、OCR（Optical Character Recognition：光学文字识别）程序、图像管理程序、以及标签附加程序。

调度程序是用于管理时间和日程的程序。是能够输入、编辑、显示日程、该日程的开始和结束时刻以及出席者等的程序。

这里，将包括作为日程的事件、与事件关联的日期时间、以及/或者出席者等的信息称为事件信息。

这里，CPU11、调度程序、以及ROM18作为调度器（管理单元）发挥功能。

图12A以及图12B是表示基于调度器的调度器显示画面的图。

图12A是表示日历显示画面411的图，图12B是表示一个个事件（日程）显示画面412的图。

在图12A的画面显示有拍摄图标51、登记图标52。用户能够从图12A以及图12B所示的事件（日程）显示画面将一个个事件登记到存储部19。

图13是表示在作为管理单元的调度器中存储在存储部4的数据结构的图。

针对每个事件登记了ID、事件名称、日期时间（开始日期时间、结束日期时间）、出席者等。

OCR程序是这样的程序：利用图像处理将输入图像识别处理为2值化了的图像数据，通过与预先存储的样式的对照来确定文字、符号，并输出文字符号数据。

这里，CPU11和OCR程序作为从图像数据识别日期时间的识别单元发挥功能。

图像管理程序是这样的程序：用于显示和管理由拍摄部15拍摄的笔记图像的图像数据。

图14是表示由图像管理程序管理的笔记图像的数据结构的图。

针对每个笔记图像，在存储部19登记了ID、图像名、关联日期时间等。

标签附加程序是用于对通过拍摄部15拍摄到的笔记图像的图像数据附加标签的程序。

接下来，对本实施方式的信息处理装置100的动作进行说明。

图2是表示信息处理装置1中的活页封面30的开闭状态的图。

图2是表示信息处理装置1的第1盖体30a和第2盖体30b打开的状态的图。

用户例如能够在将活页封面30以180度打开的状态下使用信息处理装置1或者将图标等写入记录介质40。另外，在不使用信息处理装置1和记录介质40的时候，能够将第1盖体30a和第2盖体30b关闭而完全关闭活页封面30（开闭角度为0度）。

图15是表示由信息处理装置1执行的手写笔记与事件的链接处理的流程的图。

下面，参照图15对信息处理装置1的手写笔记与事件的链接处理进行说明。这些处理通过CPU11与存储于ROM18中的各种程序的协作而执行。

作为开始该手写笔记与事件的链接处理的前提，例如，在启动了信息处理装置1的状态下将手写笔记记录到记录介质40，记录结束后进行关闭信息处理装置1的活页封面30的动作。

在手写笔记与事件的链接处理中，作为最适合拍摄的角度，设定了70度的开闭角度。

具体来说，在由开闭角度传感器20检测到70度作为第1盖体30a和第2盖体30b的角度（最适合拍摄的角度）时，CPU11获得由拍摄部15生成的笔记图像。另外，与最适合拍摄的角度（例如，70度）对应地设定焦点、曝光等拍摄条件。

在步骤S41中，判断是否由调度器启动了照相机。具体来说，判断是否在启动了调度器的状态下，选择了在图12A所示的日历显示画面411显示的拍摄图标51，而使得拍摄部15成为了拍摄模式。如果选择了在日历显示画面411显示的拍摄图标51而使得拍摄部15成为了拍摄模式，则分支到“是”而转移到步骤S42。如果没有，则分支到“否”而转移到步骤S43。

在步骤S42中，当用户从事件的一览（日历显示画面411）手动选了相应的事件，则CPU11将所选择的该事件的ID存储到RAM17。这里，ID是用于识别登记在调度器中的事件的ID。

在步骤S43中，CPU11检测到用户关闭活页封面30的动作，控制拍摄部15来对记录于记录介质40的手写笔记进行拍摄，并将由拍摄部15生成的笔记图像保存到RAM17。

在步骤S44中，CPU11判断日程的ID是否存储于RAM17上。

所谓日程的ID存储于RAM17上是指在步骤S42中由用户指定的日程的ID存储在RAM17上的情况，在该情况下，分支到“是”而转移到步骤S51。如果日程的ID没有存储在RAM17上，则分支到“否”而转移到步骤S45。

在步骤S45中，CPU11判断在所拍摄的笔记图像151中是否记录了日期时间。

图16是表示拍摄的笔记图像151的图。

具体来说，CPU11针对图16所示的拍摄的笔记图像151的图像数据执行OCR程序，检测预定的标记。作为预定的标记，例如规定有图16所示的四边包围的“”标记，四边包围的“#”等。

这样的标记以不易与其他标记混同为宜。并且，如果识别出在预定的标记的旁边或者附近记录有日期时间，则CPU11通过OCR程序来识别该日期时间。在图16的示例中，识别出在四边包围的“”标记的右侧记录的“2012.4.20”这一日期时间。

这样，CPU11判断在笔记图像中是否记录有日期时间，如果判断为在笔记图像中记录有日期时间，则分支到“是”而转移到步骤S47。如果判断为在笔记图像中没有记录日期时间，则分支到“否”而转移到步骤S46。

返回图15，在步骤S46中，CPU11从未图示的计时部取得当前日期时间。所谓当前日期时间是CPU11执行步骤S46时的日期时间，实质上是拍摄手写笔记并取得笔记图像时的日期时间。

这里，将记录于笔记图像的日期时间或者拍摄手写笔记并取得笔记图像时的日期时间（当前日期时间）成为关联日期时间。另外，CPU11作为取得单元发挥作用。

在步骤S47中，CPU11通过读取而取得记录于笔记图像的日期时间。

具体来说，如图16所示，CPU11通过读取而取得记录在四边包围的“”标记的有一侧的“2012.4.20”这一日期时间。

在步骤S48中，CPU11判断是否存在与取得的当前日期时间或者记录于笔记图像的日期时间关联的事件。

具体来说，CPU11参照图13所示的调度器中的数据结构来检测与该日期时间相关联的日程。

所谓关联的事件为包含于登记了所取得的当前日期时间或者记录于笔记图像的日期时间的事件的登记时间（在事件召开时刻与结束预定时刻指定）的情况下的该事件。

但是，考虑到例如会议的时间比日程的预定时间延后，或者提早开始等事情发生，当前日期时间或记录在笔记图像的日期时间相对于日程的登记时间允许或多或少的延迟和提前。

例如，当存在以比当前日期时间或记录在笔记图像的日期时间稍稍提前的登记时间进行登记的日程，则将该日程判断为关联的日程。

并且，如果判断为存在与所取得的当前日期时间或者记录于笔记图像的日期时间相关联的日程，则分支到“是”而转移到步骤S49。如果判断为不存在关联的日程，则分支到“否”而转移到步骤S50。

在步骤S49中，CPU11将在步骤S48中检索到的关联日程的ID存储到RAM17。

在步骤S50中，CPU11将事件的一览（日历显示画面411）显示于显示面板14a。当用户指定了事件时，CPU11选择该事件并将其ID存储到RAM17。

在步骤S51中，CPU11将在步骤S48中检索到的或者在步骤S50中由用户选择的事件与笔记图像链接起来。

具体来说，CPU11在图14所示的笔记图像的数据结构中将存储在RAM17中的事件的ID作为索引存储起来。然后结束。

接下来，对CPU11与基于图像管理程序的笔记图像的显示动作进行说明。

图17A以及图17B是表示基于图像管理程序的笔记图像的显示画面的图。

图17A是表示笔记图像一览显示画面431的图，图17B是表示笔记图像一页显示画面432的图。

在图17A中，在笔记图像一览显示画面431的左边显示日期时间（日期），在中央显示标签，带有所选择的标签的笔记图像显示在笔记图像一览显示画面431的右侧。

在图17A中显示了三件笔记图像。

图17A的表示一览显示的图中的中央部的标签是通过标签附加程序对拍摄部18拍摄到的笔记图像附加标签而得到的。

附加标签是通过根据日期时间信息而一致的日程的标题等自动地附加标签。另外，通过新标签附加图标53由用户通过手动附加标签。当指定标签和日期时，在右侧显示相应的笔记图像。

当选择图17A所示的三件笔记图像中的下边的笔记时，转移到图17B所示的笔记图像一页显示。

接下来，对相互读出通过手写笔记与日程的链接处理而关联起来的笔记图像和事件时的动作进行说明。

通过使登记在调度器的事件的ID与笔记图像的ID关联起来，能够指定日程来读出笔记图像，或者指定而读出此时的日程，能够相互调用信息。

以下进行具体说明。

如图12B所示，登记在调度器中的事件显示画面412显示于触摸显示部14的显示面板14a。

通过由调度器检测到上述的索引，而在事件显示画面412显示表示存在与该事件关联的笔记图像的意思的笔记图像图标412i。

当在该状态下作为用户对触摸面板14b的操作指示而触摸了笔记图像图标412i时，CPU11判断为存在该操作指示的输入，CPU11经图像管理程序从存储部19读出与显示于显示面板14a的日程信息（事件信息）关联起来的笔记图像（图像数据），并将基于该读出的笔记图像（图像数据）的图像如图17B所示地显示于显示面板14a。

这里，CPU11作为控制该显示的显示控制单元发挥作用。

另一方面，如图17B所示，基于存储于存储部19的图像数据的笔记图像被显示于触摸显示部14的显示面板14a。当在该状态下作为用户对触摸面板14b的用于切换显示的操作指示而触摸了日程转移按钮54时，CPU11判断为输入了该操作指示，CPU11经日程管理程序读出与显示于触摸显示部14的显示面板14a的笔记图像的图像数据相关联的事件信息，并将读出的事件信息作为事件显示412显示到触摸显示部14的显示面板5a。

这里，CPU11作为控制该显示的显示控制单元发挥作用。

这样，用户通过调度器回溯过去的日程，能够检索什么时候进行了该磋商、上个月的固定例会是什么，并读出当时的笔记图像。

[变形例]

下面，参照图9对第4实施方式的变形例的信息处理装置1A进行说明。另外，在下面的说明中，对于与第4实施方式的信息处理装置1相同的结构标注相同标号，并省略详细的说明。

图9是表示变形例的信息处理装置1A倚靠在活页封面50的状态的图。是表示记录介质40放置在信息处理装置1A前的状态的图。在变形例中，记录介质15构成为由多个书页构成的册子状，在翻动记录介质15的书页的时刻利用拍摄部8来拍摄记录介质15的手写笔记。预先设定成：以信息处理装置1A的上下端与记录介质15的上端一致的方式来放置记录介质15时，拍摄部8的视场角以及焦距与记录介质15一致。

在信息处理装置1A与第4实施方式的信息处理装置1的比较中，存在这样的不同点：不需要开闭角度传感器20，但是由于其他结构是与信息处理装置1同样的，所以引用图3并省略说明。以下，对变形例特征性的结构以及动作进行说明。

在变形例的信息处理装置1A中，CPU11在拍摄记录介质40的多个书页并完成拍摄时作为取得时从未图示的计时部取得当时的当前日期时间。

或者，通过OCR程序来识别取得记录于记录介质40的最开始的书页的预定标记和日期时间信息。

另外，也可以代替拍摄完成时而以进行最开始的拍摄时为取得时。

另外预定的标记也可以记录在多个书页中的中途或者记录于最后的书页。

首先，当通过用户对触摸面板14b的操作而进行了开始拍摄模式的意思的指示时，CPU11通过拍摄部15连续地取入动态图像数据，并解析该动态图像数据，由此检测拍摄的记录介质40的翻页动作。

从拍摄部15输出的图像数据不断变化的期间被推测为记录介质40的各书页或用户的手指等处于移动中。CPU11继续取入由拍摄部15拍摄到的动态图像数据，当图像静止时，判断为进行了翻页动作。

CPU11在检测到记录介质40的翻页动作的时刻，使拍摄部15进行拍摄。

CPU11控制拍摄部15，进行记录在记录介质40的手写笔记的拍摄，将由拍摄部15生成的笔记图像（静止图像）存储到RAM17。

接下来，通过用户对触摸面板14b的操作来判断是否存在结束拍摄模式的意思的指示。

CPU11当没有结束拍摄模式的意思的指示时，继续所拍摄的记录介质40的翻页动作的检测处理。当检测到翻页动作时，CPU11进行记录在记录介质40的手写笔记的拍摄以及向RAM17存储笔记图像的图像数据。

另一方面，存在结束拍摄模式的意思的指示时，结束记录介质的拍摄处理。

变形例中的将多张笔记图像与日程信息（事件信息）关联起来存储到存储单元的方法是与实施方式的情况中的手写笔记和日程的链接处理相同的。

如以上所述，根据本实施方式的信息处理装置1，具有：拍摄部15，其用于拍摄记录介质40从而获得图像数据（笔记图像）；作为管理单元的调度器，其对包含与事件关联的日期时间的事件信息进行登记并进行日程管理；作为取得单元的CPU11，其取得用于将图像数据与调度器内的事件信息关联起来的关联日期时间；以及作为存储控制单元的CPU11，其将图像数据和包含与由作为取得单元的CPU11取得的关联日期时间对应的日期时间的事件信息关联起来存储到存储部19。

由此，能够在拍摄了手写笔记时将该笔记图像与调度器中的关联的事件（日程）链接起来。

另外，信息处理装置1还具有：作为配置有记录介质40的第1壳体的第1盖体30a；通过铰链部30c能够开闭地与第1盖体30a连接，且作为设置有主体部10的第2壳体的第2盖体30b；以及检测第1盖体30a和第2盖体30b关闭到预定状态的开闭角度传感器20，拍摄部15设置于主体部10的与第1盖体30a对置的位置，在由开闭角度传感器20检测到第1盖体30a和第2盖体30b关闭到预定状态的时刻获得图像数据。

由此，用户无需进行用于将手写笔记登记到调度器的操作，通过关闭活页封面30的操作，能够自动地将手写笔记的笔记图像与关联的日程链接起来。

另外，信息处理装置1具有对日期时间进行计时的计时部，作为取得单元的CPU11从计时部取得获取图像数据的日期时间来作为关联日期时间。

由此，能够使用拍摄了手写笔记时的当前日期时间，通过该当前日期时间与调度器中的日程的登记日程时间的一致，将该手写笔记与所述日程链接起来。

另外，信息处理装置1具有从图像数据（笔记图像）识别出日期时间的识别单元，取得单元取得由识别单元识别出的日期时间作为所述关联日期时间。

由此，能够通过记录于手写笔记的日期时间与调度器中的日常的登记日期时间的一致，而将该笔记图像与该日程链接起来。

此外，信息处理装置1具有：显示面板14a；受理用户的操作指示的触摸面板14b；以及作为显示控制单元的CPU11，当在登记于调度器中的事件信息显示于显示面板14a的状态下从触摸面板14b输入了用于切换显示的操作指示时，该CPU11从存储部9读出与显示于显示面板14a的事件信息相关联的图像数据，并将基于所读出的图像数据的图像显示于显示面板14a，当在基于存储在存储部19中的图像数据的图像显示于显示面板14a的状态下从触摸面板14b输入了用于切换显示的操作指示时，该CPU11从调度器读出与显示于显示面板14a的图像的图像数据相关联的事件信息，并将该读出的事件信息显示于显示面板14a。

由此，能够从通过调度器所显示的事件直接检索对应的笔记图像并进行显示，能够从显示的笔记图像直接显示对应的事件信息。

另外，本发明并不限定于上述实施方式，可以进行各种变更。

例如，如果手写笔记有多个块，在每个块例如记录有四边包围的“”标记和日期时间，则可以按每个块来识别日期时间，分别与日期时间一致的日程进行链接。

另外，还可以在手动对手写笔记进行拍摄后通过手写来选择相应的日程并手动使两者链接。

Claims (11)

1.一种信息处理装置，其特征在于，具有：

显示单元，其显示第1图像；

拍摄单元，其拍摄记录介质并生成第2图像；

拍摄控制单元，其使所述拍摄单元在预定的时刻进行拍摄；以及

存储控制单元，其将通过所述拍摄单元生成的第2图像与在所述预定的时刻显示于所述显示单元的第1图像关联起来存储到存储单元。

2.根据权利要求1所述的信息处理装置，其特征在于，

该信息处理装置具有：第1壳体，其配置有所述记录介质；第2壳体，其与所述第1壳体能够开闭地连接，且设置有装置主体；以及关闭检测单元，其检测所述第1壳体与所述第2壳体关闭到预定的状态，

所述拍摄单元设置于所述装置主体的与所述第1壳体对置的位置，

所述预定的时刻是通过所述关闭检测单元检测到所述第1壳体和所述第2壳体关闭到所述预定的状态的时刻。

3.根据权利要求1所述的信息处理装置，其特征在于，

所述记录介质构成为由多个书页构成的册子状，

所述信息处理装置具有：翻页检测单元，其检测所述记录介质的翻页动作，

所述预定的时刻是通过所述翻页检测单元检测到所述纪录介质的翻页动作的时刻。

4.根据权利要求1所述的信息处理装置，其特征在于，

上述信息处理装置具有：切换检测单元，其检测对显示于所述显示单元的第1图像的切换指示，

所述预定的时刻是通过所述切换检测单元检测到对显示于所述显示单元的第1图像的切换指示的时刻。

5.根据权利要求1所述的信息处理装置，其特征在于，

所述信息处理装置具有：

操作单元，其受理用户的操作指示；以及

显示控制单元，当在存储于所述存储单元的第1图像显示于所述显示单元的状态下从所述操作单元输入了用于切换显示的操作指示时，该显示控制单元从所述存储单元读出与显示于所述显示单元的第1图像相关联的第2图像，并将该读出的第2图像显示于所述显示单元，当在存储于所述存储单元的第2图像显示于所述显示单元的状态下从所述操作单元输入了用于切换显示的操作指示时，该显示控制单元从所述存储单元读出与显示于所述显示单元的第2图像相关联的第1图像，并将该读出的第1图像显示于所述显示单元。

6.一种信息处理方法，其特征在于，具有以下步骤：

显示步骤，将第1图像现实于显示单元；

拍摄步骤，拍摄记录介质并生成第2图像；

拍摄控制步骤，使所述拍摄步骤在预定的时刻进行拍摄；以及

存储控制步骤，将通过所述拍摄步骤生成的第2图像与在所述预定的时刻显示于所述显示单元的第1图像关联起来存储到存储单元。

7.根据权利要求1所述的信息处理装置，其特征在于，

所述显示单元显示包含与事件相关联的日期时间的事件信息作为所述第1图像，

所述信息处理装置具有：

管理单元，其登记所述事件信息并进行日程管理；

取得单元，其取得用于将由所述拍摄单元生成的所述第2图像与所述管理单元的事件信息关联起来的关联日期时间；以及

存储控制单元，其将所述第2图像和包含与所述取得单元所取得的关联日期时间对应的日期时间的事件信息关联起来存储到存储单元。

8.根据权利要求7所述的信息处理装置，其特征在于，

该信息处理装置具有：第1壳体，其配置有所述记录介质；第2壳体，其与所述第1壳体能够开闭地连接，且设置有主体部；以及关闭检测单元，其检测所述第1壳体与所述第2壳体关闭到预定的状态，

所述拍摄单元设置于所述主体部的与所述第1壳体对置的位置，并在通过所述关闭检测单元检测到所述第1壳体与所述第2壳体关闭到了所述预定的状态的时刻，生成所述第2图像。

9.根据权利要求7所述的信息处理装置，其特征在于，

所述信息处理装置具有：计时单元，其对日期时间进行计时，

所述取得单元从所述计时单元取得生成了所述第2图像的日期时间作为所述关联日期时间。

10.根据权利要求7所述的信息处理装置，其特征在于，

所述信息处理装置具有：识别单元，其从所述第2图像识别出日期时间，

所述取得单元取得所述识别单元所识别出的日期时间作为所述关联日期时间。

11.根据权利要求7所述的信息处理装置，其特征在于，

所述信息处理装置具有：

操作单元，其受理用户的操作指示；以及

显示控制单元，当在登记于所述管理单元的事件信息显示于所述显示单元的状态下从所述操作单元输入了用于切换显示的操作指示时，所述显示控制单元从所述存储单元读出与显示于所述显示单元的事件信息相关联的所述第2图像，并将读出的所述第2图像显示于所述显示单元，当在存储于所述存储单元的所述第2图像显示于所述显示单元的状态下从所述操作单元输入了用于切换显示的操作指示时，所述显示控制单元从所述存储单元读出与显示于所述显示单元的所述第2图像相关联的事件信息，并将读出的事件信息显示于所述显示单元。

Images