CN107728915A

CN107728915A - 输入输出装置

Info

Publication number: CN107728915A
Application number: CN201710826486.8A
Authority: CN
Inventors: 柴田哲也
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2013-01-31
Filing date: 2014-01-28
Publication date: 2018-02-23
Also published as: CN103971390A; CN103971390B; US20140212042A1; JP2014149634A; JP5757966B2; US9176607B2

Abstract

本发明提供一种能够保持显示部所显示的任意图像与手写图像之间的对应关系的输入输出装置。当在基于存储部(4)所存储的任意普通数据的图像显示在显示部(13)的状态下使用手写输入装置(2)输入手写图像时，输入输出装置将手写图像追加并显示在图像上，创建包括指定成为图像基础的普通数据的数据指定信息的手写数据。当结束显示与手写图像重叠的图像时，输入输出装置结束显示手写图像，另外当显示手写图像时，显示基于手写数据中包含的数据指定信息所指定的数据的图像。由此，能够保存被显示的图像与手写图像的对应关系，从而能够容易地再现。

Description

输入输出装置

本申请是申请号为201410042106.8、申请日为2014年01月28日、申请人为夏普株式会社、发明名称为“输入输出装置”的发明专利申请的分案申请。

技术领域

本发明涉及能够与显示部所显示的任意图像相重叠地手写输入文字或图形的输入输出装置。

背景技术

个人计算机(PC)等信息处理装置不仅能够使用键盘输入数据，还能使用鼠标或输入板等指示设备来手写输入。例如，当利用图形软件创建绘图时，使用指示设备来手写输入文字或图形。另外，在日本特开2006－164148号公报中记载有为了编辑订单等帐表而创建将由手写输入的文字或图形构成的手写图像和帐表的图像组合后的数据的技术。另外，还存在信息处理装置并不仅限于创建绘画的情况，还具备在显示部显示任意图像的状态下进行文字或图形的手写输入的功能的技术。例如，使用与显示部成为一体的触摸面板，与显示部所显示的图像重叠地进行手写图像的输入和显示。

在日本特开2006-164148号公报所记载的技术那样的、能够创建将被显示的图像和手写图像组合后的数据的技术中，存在需要用特定的软件处理特定的数据，不能对任意图像输入手写图像的问题。另外，在与显示部中所显示的任意图像重叠地进行手写输入的现有技术中，成为图像基础的数据与手写图像是无关的数据。因此，存在当变更显示于显示部的图像时，变成保持手写图像被显示不变，从而被显示的图像和手写图像之间的对应关系变得不恰当的问题。

发明内容

本发明是鉴于上述情况而完成的，其目的在于，提供一种能够保持显示部中所显示的任意图像与手写图像的对应关系的输入输出装置。

本发明所涉及的输入输出装置是具备存储部、显示部以及输入手写图像的手写输入部的输入输出装置，具备：第1显示控制部，当在基于上述存储部所存储的数据的图像显示在上述显示部的状态下，由上述手写输入部输入手写图像时，上述第1显示控制部将上述手写图像追加至基于上述数据的图像并显示在上述显示部上；手写数据创建部，上述手写数据创建部创建包含指定上述数据的数据指定信息且表示由上述手写输入部输入的手写图像的手写数据，并将上述手写数据存储至上述存储部；第1结束部，当结束了显示基于上述数据的图像时，上述第1结束部结束显示上述手写图像；读出部，当读出了上述存储部所存储的手写数据时，上述读出部读出已读出的手写数据中包含的数据指定信息所指定的数据；以及第2显示控制部，上述第2显示控制部将基于该读出部读出的数据的图像以及基于上述手写数据的手写图像显示在上述显示部上。

本发明所涉及的输入输出装置还具备：合成部，上述合成部创建表示将基于上述存储部所存储的数据的图像以及手写图像合成后的图像的合成数据；和第3显示控制部，上述第3显示控制部将基于合成数据的图像显示在上述显示部上。

本发明所涉及的输入输出装置当在基于上述存储部所存储的数据的图像包括多个图像且上述多个图像内的一个图像显示在上述显示部上的状态下，由上述手写输入部输入手写图像时，上述手写数据创建部创建包括将上述手写图像与上述一个图像相关联的关联信息的手写数据，本发明所涉及的输入输出装置还具备：第4显示控制部，上述第4显示控制部将基于表示多个图像的数据的一个图像以及由手写数据中所包含的关联信息与上述一个图像相关联的手写图像显示在上述显示部上；和第2结束部，当结束显示上述一个图像且已将上述多个图像内的其他图像显示在上述显示部上时，上述第2结束部结束显示上述手写图像。

本发明所涉及的输入输出装置还具备第5显示控制部，当结束显示上述一个图像且已将上述其他图像显示在上述显示部上时，上述第5显示控制部将由上述关联信息而与上述其他图像相关联的手写图像追加至上述其他图像并加以显示。

在本发明所涉及的输入输出装置中，上述手写数据包括表示上述手写图像中所包含的一个或多个对象的对象数据和表示各对象的位置的信息。

在本发明所涉及的输入输出装置中，上述手写数据包括表示上述手写图像中所包含的一个或多个对象的对象数据，上述关联信息包括将各对象与上述多个图像内的一个图像相关联的信息和表示各对象的位置的信息。

本发明所涉及的输入输出装置，当基于上述存储部所存储的数据的图像是动态图像，且在将动态图像显示在上述显示部上的期间，由上述手写输入部输入手写图像时，上述手写数据创建部创建包括将上述手写图像与上述动态图像的中途部分相关联的动态图像关联信息的手写数据，并且本发明所涉及的输入输出装置还具备第6显示控制部，当将动态图像显示在上述显示部上的期间，由手写数据所包含的动态图像关联信息与手写图像相关联的部分被显示时，上述第6显示控制部将上述手写图像追加至上述动态图像并显示在上述显示部上。

本发明所涉及的输入输出装置还具备静止部，当在将动态图像显示在上述显示部上的期间，由上述手写输入部输入手写图像时，上述静止部使动态图像静止，上述手写数据创建部将上述手写图像与静止的动态图像的被显示在上述显示部上的部分相关联。

本发明所涉及的输入输出装置还具备第3结束部，在一边将上述动态图像显示在上述显示部一边将上述手写图像追加至上述动态图像并在上述显示部上显示规定时间之后，上述第3结束部结束显示上述手写图像。

在本发明所涉及的输入输出装置中，上述动态图像关联信息包括开始在动态图像中与上述手写图像相关联的部分的开始时间。

在本发明中，输入输出装置实现能够一边保持任意图像和被输入的手写图像之间的对应关系一边保存手写图像，并且能够容易地再现任意图像与手写图像重叠后的图像等优良效果。

附图说明

图1是表示输入输出装置的内部的功能结构的框图。

图2是表示输入输出装置进行的手写输入的处理的步骤的流程图。

图3是表示输入输出装置进行的手写输入的处理的步骤的流程图。

图4是表示输入输出装置进行的手写输入的处理的步骤的流程图。

图5是表示基于普通数据的图像的例子的示意图。

图6是表示手写图像的例子的示意图。

图7是表示页面变更后的图像的例子的示意图。

图8是表示追加至页面变更后的图像的手写图像的例子的示意图。

图9是表示手写数据的文件格式的例子的概念图。

图10A是表示动态图像的例子的示意图。

图10B是表示动态图像的例子的示意图。

图10C是表示动态图像的例子的示意图。

图10D是表示动态图像的例子的示意图。

图10E是表示动态图像的例子的示意图。

图11是表示与动态图像相关联的手写数据的文件格式的例子的概念图。

图12是表示输入输出装置进行的手写图像显示的处理的步骤的流程图。

具体实施方式

以下基于表示本发明的实施方式的附图对本发明进行具体说明。

图1是表示输入输出装置的内部的功能结构的框图。输入输出装置由具备液晶显示器等显示部13和硬盘等存储部4的信息处理装置而构成。输入输出装置具备输入板等手写输入装置2，将基于存储部4所存储的数据的图像显示在显示部13上，并且进行使用了手写输入装置2的手写输入。输入输出装置具备控制输入输出装置各部分的动作的控制部11、接受来自使用者的操作的键盘等操作部12以及与手写输入装置2连接的接口部14。对于手写输入装置2而言，由使用者使用笔或者手指手写输入由文字或图形等对象构成的手写图像，将表示手写输入的内容的数据向接口部14输入。

另外，输入输出装置具备：手写输入处理部15，其进行根据从手写输入装置2向接口部14输入的数据来识别手写输入的内容的处理；和手写显示处理部16，其使由手写输入的对象构成的手写图像显示在显示部13上。接口部14和手写输入处理部15与手写输入部相对应。另外，输入输出装置具备创建手写图像的位置等手写图像的属性的手写属性创建部17和存储表示手写图像的属性的信息的手写属性存储部18。另外，输入输出装置具备创建表示手写图像的手写数据的手写数据创建部19。

另外，输入输出装置具备使基于存储部4中存储的数据的图像显示在显示部13上的显示处理部31、判断图像类型的类型判断部32和存储表示成为图像基础的数据的属性的信息的数据属性存储部33。另外，输入输出装置具备在将动态图像显示在显示部13上的状态下进行停止播放等控制动态图像的处理的动态图像控制部34和在动态图像播放中计侧动态图像中各部分的播放时间的时间计侧部35。另外，输入输出装置具备创建将不是基于手写数据而是基于普通数据的图像和手写图像合成后的合成图像的合成部36。存储部4存储手写数据、表示合成图像的合成数据以及其他的普通数据。普通数据例如是文字处理器的文件或电子表格的文件。

控制部11包含进行运算的处理器和存储运算所必需的程序、各种数据以及伴随运算的临时信息的存储器而构成。手写属性存储部18及数据属性存储部33由存储器构成。手写输入处理部15、手写显示处理部16、手写属性创建部17、手写数据创建部19、显示处理部31、类型判断部32、动态图像控制部34、时间计侧部35及合成部36由包含处理器和存储器的处理电路构成。其中，这些中的一部分也可以使用软件来构成。

图2、图3及图4是表示输入输出装置进行的手写输入的处理的步骤的流程图。控制部11通过开始执行特定程序等方法来开始手写输入的处理(S101)。然后，控制部11判断基于存储在存储部4中的普通数据的图像是否显示在显示部13上(S102)。当没有显示图像时(S102：否)，通过由操作部12接受来自使用者的操作等方法，控制部11确定普通数据，显示处理部31从存储部4读出被确定的普通数据，并使基于读出的普通数据的图像显示在显示部13上(S103)。文档或图等图像被显示在显示部13上。图5是表示基于普通数据的图像的例子的示意图。在图5中示有显示电子表格的图像的例子。

当在步骤S102显示图像时(S102：是)，或者在步骤S103显示了图像之后，数据属性存储部33存储表示成为显示的图像的基础的数据的属性的信息(S104)。数据的属性例如是数据的文件名、文件的路径以及文件的类型。另外，当数据是文字处理器或电子表格等能够显示多页的图像的数据时，作为数据的属性还包括总页数。然后，类型判断部32判断图像是否为动态图像(S105)。例如，类型判断部32基于数据属性存储部33存储的信息来进行判断。

当图像是静止图像时(S105：否)，控制部11等待使用手写输入装置2的手写输入(S106)。使用者一边观察显示部13所显示的图像一边操作手写输入装置2，与所显示的图像重叠地进行文字或图形的手写输入。手写输入装置2将表示被手写输入的内容的数据向接口部14输入。当存在手写输入时(S106：是)，手写输入处理部15基于从手写输入装置2输入的数据，创建并存储表示被手写输入的文字或图形等对象的对象数据(S107)。手写显示处理部16使基于对象数据的手写图像追加至基于普通数据的图像并显示在显示部13上(S108)。

图6是表示手写图像的例子的示意图。在图6中示有使用者一边观察图5所示的图像一边进行手写输入，并使手写图像追加至图5所示的图像并加以显示的例子。手写图像包括一个或多个对象。在图6中示有包括带箭头的文字“UP”和带箭头的文字“26％”的手写图像。手写图像可以整体为一个对象。另外，带箭头的“UP”和带箭头的“26％”也可以各为一个对象。例如，当在由带箭头的“UP”构成的手写图像被显示的状态下，存在带箭头的“26％”的手写输入时，包括两个对象的手写图像被显示。另外，也可以是箭头和“U”和“P”各为独立的对象。

当在步骤S108结束之后，或者在步骤S106没有手写输入时(S106：否)，控制部11判断是否进行基于普通数据的图像的页面变更(S109)。例如，当使用者对操作部12进行操作而输入了页面变更的指示时，控制部11判断为进行页面变更。另外，当在基于普通数据的图像中只有1页图像时，控制部11判断为不进行页面变更。当进行页面变更时(S109：是)，手写属性创建部17创建表示显示中的手写图像的属性的手写属性信息，手写属性存储部18存储手写属性信息(S110)。手写图像的属性包括手写图像所包含的对象的名字、手写图像被追加显示时的图像的页码以及对象的位置等。根据图像的页码被包含于手写图像的属性中，手写图像与页码所表示的图像相关联。其中，在不显示手写图像的状态下，实质上不执行步骤S110的处理。然后，显示处理部31将显示部13所显示的图像变更为其他页面的图像(S111)，手写显示处理部16变更显示部13所显示的手写图像(S112)。在步骤S112结束之后，控制部11将处理返回至步骤S106。

在步骤S112中，消去追加至变更前的页面的图像并加以显示的手写图像。另外，当手写图像没有与变更后的页面的图像相关联时，不显示手写图像。当手写图像与变更后的页面的图像相关联时，显示相关联的图像。图7是表示页面变更后的图像的例子的示意图。与变更前的图像不同的图像被显示，与变更前的图像一起显示的手写图像被消去。当在向步骤S106返回处理之后，在步骤S109进行了页面变更以使得返回至原来的页面时，在步骤S111显示原来的页面的图像，在步骤S112追加并显示与原来的页面的图像相关联的手写图像。在步骤S112中，手写显示处理部16参照手写属性存储部18所存储的手写属性信息，判断是否存在与变更后的图像相关联的手写图像，基于存储在手写输入处理部15中的对象数据，使相关联的手写图像显示在显示部13上。另外，在向步骤S106返回处理之后，也能够针对页面变更后的图像进行手写输入。图8是表示向页面变更后的图像追加的手写图像的例子的示意图。示有手写图像被追加至图7所示的图像并被显示的例子。像这样，在基于普通数据多页图像被显示的情况下，能够针对每一页面的图像输入不同的手写图像。

当在步骤S109未进行页面变更时(S109：否)，控制部11判断是否进行手写图像的保存(S113)。例如，当使用者对操作部12进行操作而输入了保存的指示时，控制部11判断为进行保存，当没有输入保存的指示时，控制部11判断为不进行保存。另外，例如也可以当进行手写输入之后经过一定时间时，控制部11判断为进行保存。另外，例如也可以当进行成为显示中的图像的基础的普通数据的更新时，控制部11判断为进行保存手写图像。当进行保存手写图像时(S113：是)，手写属性创建部17创建手写属性信息，手写属性存储部18存储手写属性信息(S114)。

当在步骤S114结束之后，或者在步骤S113不进行保存手写图像时(S113：否)，控制部11判断是否结束手写输入的处理(S115)。例如，当使用者对操作部12进行操作而输入了结束的指示时，控制部11判断为结束手写输入的处理。另外，例如当基于普通数据的图像的显示结束时，控制部11判断为结束手写输入的处理。当未结束手写输入的处理时(S115：否)，控制部11将处理返回至步骤S106。当结束手写输入的处理时(S115：是)，控制部11判断是否合成基于普通数据的图像和手写图像(S116)。例如，当使用者对操作部12进行操作而输入了合成的指示时，控制部11判断为进行合成。另外，例如预先设定是否进行合成，并预先将表示设定内容的数据存储在存储部4中，控制部11通过参照存储部4所存储的数据来进行判断。

当不进行合成时(S116：否)，手写数据创建部19创建包括表示数据属性存储部33所存储的数据的属性的信息以及手写属性存储部18所存储的手写属性信息、且表示一个或多个手写图像的手写数据，并使该手写数据存储至存储部4(S117)。在步骤S117结束之后，控制部11结束手写输入的处理。

图9是表示手写数据的文件格式的例子的概念图。手写数据包括表示对象的对象数据以及头部。头部中包括当进行手写输入时成为显示部13所显示的图像的基础的普通数据的数据属性和手写属性。数据属性中包括普通数据的文件名、普通数据的保存目的地路径、文件类型以及总页数等。头部所包含的数据属性是从存储部4所存储的数据中指定成为应与手写图像一起显示的图像的基础的普通数据的数据指定信息。

另外，手写属性中包括手写数据的文件名、手写数据的保存目的地路径以及手写图像的总页数。另外，手写属性中包括与构成手写图像的一个或多个对象相关的对象信息。对象信息中针对各对象包括对象被手写输入时的图像的页码以及表示图像中的对象的位置的坐标。通过针对各对象记录页码，手写图像与基于普通数据的多个图像内的一个图像相关联。即，对象信息对应于本发明中的关联信息。当手写属性中包括与多页相关联的对象所涉及的对象信息，手写数据中包括多个对象所涉及的对象数据时，手写数据表示多个手写图像。

当在步骤S116控制部11判断为进行合成时(S116：是)，手写数据创建部19创建表示将基于普通数据的图像和手写图像合成后的合成图像的合成数据，并使该合成数据存储至存储部4(S118)。在步骤S118结束之后，控制部11结束手写输入的处理。

当在步骤S105图像是动态图像时(S105：是)，控制部11等待使用手写输入装置2的手写输入(S119)。当没有手写输入时(S119：否)，控制部11判断是否结束手写输入的处理(S120)。当未结束手写输入的处理时(S120：否)，控制部11将处理返回至步骤S119。

当在步骤S119存在手写输入时(S119：是)，动态图像控制部34使在显示部13上显示的动态图像停止(S121)。在使动态图像停止后的状态下，在时间序列上构成动态图像的一部分的静止图像被显示在显示部13上。然后，手写输入处理部15基于从手写输入装置2输入的数据，创建并存储表示被手写输入的对象的对象数据(S122)。时间计侧部35计侧并存储表示从动态图像的最初至停止的部分为止的动态图像的时长的停止时间(S123)。手写显示处理部16在使动态图像停止后的状态下向显示部13显示的图像追加手写图像并显示在显示部13上(S124)。

在步骤S124结束之后，控制部11判断是否恢复播放停止的动态图像(S125)。例如，控制部11当使用者对操作部12进行操作而输入了恢复的指示时，判断为恢复播放动态图像，当没有输入恢复的指示时，判断为不恢复播放动态图像。另外，例如控制部11也可以当动态图像停止之后经过一定时间时判断为恢复播放动态图像。当恢复播放动态图像时(S125：是)，手写属性创建部17创建表示显示中的手写图像的属性的手写属性信息，手写属性存储部18存储手写属性信息(S126)。手写图像的属性中包括对象的名字、手写图像被追加时的动态图像部分的停止时间以及对象的位置等。根据将停止时间包括至手写图像的属性中，使手写图像与停止时间所表示的动态图像的部分相关联。然后动态图像控制部34恢复播放在显示部13上显示的动态图像(S127)，手写显示处理部16在将手写图像显示在显示部13上规定时间之后，消去手写图像(S128)。在步骤S128结束之后，控制部11将处理返回至步骤S119。

图10A、10B、10C、10D及10E是表示动态图像的例子的示意图。所示为每一个图表示动态图像的时间序列上的一部分，且按图10A、10B、10C、10D、10E的顺序播放动态图像的例子。各图中的数字表示从动态图像的最初至该场景为止的时长和动态图像整体的时长的数字。例如，图10A中的数字表示动态图像整体的时长为10分钟、图10A所示的图像是从动态图像的最初经过1分2秒后的时刻的场景。图10B表示进行手写输入的状态。动态图像停止，向图像追加手写图像并加以显示。图10C和10D表示恢复播放动态图像后的图像。手写图像被显示在相同位置，动态图像根据时间经过而变化。在图示的例子中，从动态图像中的3分21秒时刻开始至3分23秒时刻为止手写图像被显示。图10E表示手写图像被消去后的图像。手写图像被消去，动态图像继续被显示。能够在向步骤S119返回处理之后，进一步进行手写输入。该情况下，手写图像与动态图像的时间序列上的多个部分相关联。

当在步骤S125不恢复播放动态图像时(S125：否)，控制部11判断是否进行保存手写图像(S129)。当进行保存手写图像时(S129：是)，手写属性创建部17创建手写属性信息，手写属性存储部18存储手写属性信息(S130)。当在步骤S130结束之后，或者在步骤S129不进行保存手写图像时(S129：否)，控制部11判断是否结束手写输入的处理(S131)。当未结束手写输入的处理时(S131：否)，控制部11将处理返回至步骤S125。当结束手写输入的处理(S120：是)，或者在步骤S120结束手写输入的处理时(S131：是)，手写数据创建部19创建包括表示数据属性存储部33所存储的数据的属性的信息以及手写属性存储部18所存储的手写属性信息、且表示一个或多个手写图像的手写数据，并使该手写数据存储至存储部4(S132)。在步骤S132结束之后，控制部11结束手写输入的处理。

图11是表示与动态图像相关联的手写数据的文件格式的例子的概念图。头部中包括成为动态图像基础的普通数据的数据属性。数据属性中包括普通数据的文件名、普通数据的保存目的地路径、文件类型以及动态图像的总时长。数据属性是从存储部4所存储的数据中指定成为应与手写图像一起被显示的动态图像的基础的普通数据的数据指定信息。另外，手写属性中包括手写数据的文件名、手写数据的保存目的地路径以及手写图像的总页数。对象信息中针对各对象包括表示从动态图像的最初至开始对象的显示的部分为止的动态图像的时长的开始时间、表示从动态图像的最初至结束对象的显示的部分为止的动态图像的时长的结束时间以及坐标。开始时间与停止时间为相同的值。结束时间是将预先确定的规定时间与开始时间相加而得到的值。在图10A～10E所示的例子中，开始时间是3分21秒，结束时间是3分23秒。其中，结束时间也可以由使用者指定。根据针对各对象来记录开始时间和结束时间，手写图像与基于普通数据的动态图像的时间序列上的一部分相关联。因此，在动态图像的情况下，对象信息对应于动态图像关联信息。

图12是表示输入输出装置进行的手写图像显示的处理步骤的流程图。控制部11读出存储部4所存储的手写数据(S21)。例如，使用者对操作部12进行操作而输入指定手写数据的指示，控制部11从存储部4读出被指定的手写数据。控制部11参照手写数据的头部所记录的数据属性，从存储部4读出由数据属性指定的普通数据(S22)。显示处理部31使基于读出的数据的图像显示在显示部13上，手写显示处理部16使基于手写数据的手写图像显示在显示部13上(S23)。

在步骤S23中，输入输出装置如图6或图8所示那样，显示将手写图像追加至基于普通数据的图像后的图像。手写显示处理部16参照手写数据的头部，显示与显示中的图像相关联的手写图像。更具体而言，手写显示处理部16进行将某个对象追加至该对象的对象信息中记录的页码的图像，并在对象信息中记录的坐标所表示的位置进行显示的处理。当变更基于普通数据的图像的页面时，与变更后的页面相对应显示的手写图像也发生变更。当基于普通数据的图像是动态图像时，手写显示处理部16使与各部分相关联的手写图像追加至动态图像的各部分并显示在显示部13上。更具体而言，手写显示处理部16进行参照手写数据的头部，将某个对象追加至动态图像的时间序列上的部分内、由该对象的对象信息中记录的开始时间和结束时间指定的部分，并在对象信息中记录的坐标所表示的位置进行显示的处理。动态图像控制部34既可以在显示手写图像时使动态图像停止，也可以不停止。在步骤S23结束之后，控制部11结束手写图像显示的处理。另外，输入输出装置也可以读出存储部4所存储的合成数据，将基于读出的合成数据的合成图像显示在显示部13上。

如以上详细叙述的那样，在本实施方式中，在显示基于任意数据的图像的状态下输入手写图像时，输入输出装置将手写图像追加至图像并进行显示，创建包括指定数据的数据指定信息的手写数据。使用者能够使用手写输入装置2，与基于任意数据的图像相重叠地输入由任意文字或图形构成的手写图像，另外还能够保存手写图像。输入输出装置当结束显示重叠有手写图像的图像时结束显示手写图像，另外当显示手写图像时，显示基于手写数据中包含的数据指定信息所指定的数据的图像。因此，当变更在显示部显示的图像时，手写图像被消去，从而不会发生被显示的图像与手写图像的对应关系变得不恰当。另外，因为表示成为与手写图像重叠的图像的基础的数据的信息被包含在手写数据中，所以能够保存被显示的图像与手写图像的对应关系，从而能够容易地再现。另外，因为手写数据与成为与手写图像重叠的图像的基础的数据分开单独被创建，所以不需要变更成为图像基础的数据。像这样，当在已显示任意图像的状态下输入手写图像时，输入输出装置能够保持任意图像与手写图像的对应关系。

另外，输入输出装置还能够创建表示将任意图像与手写图像合成后的合成图像的合成数据。通过使用合成数据，能够容易地再现手写图像与任意图像重叠后的图像。另外，当基于普通数据的图像是由电子表格等多页构成的图像时，输入输出装置能够将手写图像与个别页面的图像相关联。当将显示的图像从一个页面的图像变更至另一页面的图像时，追加至图像并显示的手写图像也发生变更。像这样，当基于一个数据而能够显示多个图像时，也能够保持各个图像与手写图像的对应关系。另外，当基于普通数据的图像是动态图像、且在动态图像显示中输入手写图像时，输入输出装置能够将手写图像与动态图像的时间序列上的这时的部分相关联。当在动态图像显示中与手写图像相关联的部分被显示时，输入输出装置将手写图像追加至图像并显示，当显示其他部分时不显示手写图像。像这样，能够保持动态图像中包含的各部分与手写图像的对应关系。另外，在动态图像的显示中输入手写图像时，输入输出装置使动态图像停止。由此，使用者能够容易地输入手写图像。

其中，在本实施方式中，示有作为表示动态图像的时间序列上的部分的信息而使用了从动态图像的最初开始的时长的方式，但输入输出装置也可以是作为表示动态图像的时间序列上的部分的信息而使用表示从动态图像的最初开始为第几帧的帧数的方式。另外，手写输入装置2也可以是使用触摸面板或鼠标等输入板以外的指示设备的方式。另外，显示部13也可以是投影仪。另外，输入输出装置也可以是手写输入装置2和显示部13形成为一体的方式。例如，也可以是显示部13是平面状的显示器，而手写输入装置2是检测置于显示图像的显示部13的画面上的笔或使用者的手指的位置的装置。

能够相互组合本发明的各实施例所记载的技术特征来形成新的技术方案。

Claims

1.一种输入输出装置，该输入输出装置具备存储部、显示部以及输入手写图像的手写输入部，其中，具备：

第1显示控制部，当在基于所述存储部所存储的数据的图像显示在所述显示部的状态下，由所述手写输入部输入手写图像时，所述第1显示控制部将所述手写图像追加至基于所述数据的图像并显示在所述显示部上；

手写数据创建部，所述手写数据创建部创建包含指定所述数据的数据指定信息且表示由所述手写输入部输入的手写图像的手写数据，并将所述手写数据存储至所述存储部；

第1结束部，当结束了显示基于所述数据的图像时，所述第1结束部结束显示所述手写图像；

读出部，当读出了所述存储部所存储的手写数据时，所述读出部读出已读出的手写数据中包含的数据指定信息所指定的数据；以及

第2显示控制部，所述第2显示控制部将基于所述读出部读出的数据的图像以及基于所述手写数据的手写图像显示在所述显示部上。