CN102193771A - 会议系统、信息处理装置以及显示方法 - Google Patents

Abstract

本发明的会议系统，包含显示装置和可与该显示装置进行通信的信息处理装置，信息处理装置具有：源内容获取部，获取源内容；显示控制部，使显示装置显示获取到的源内容；子内容提取部，提取在获取到的源内容中包含的多个子内容；处理对象决定部，从提取出的多个子内容中决定一个对象子内容；输入内容接受部，接受从外部输入的输入内容；以及内容改变部，生成改变内容，该改变内容在源内容中、以配置了对象子内容的位置为基准决定的位置上追加了用于配置输入内容的插入区域，显示控制部使显示装置显示在改变内容的附加的插入区域配置了输入内容的图像。

Description

会议系统、信息处理装置以及显示方法

技术领域

本发明涉及会议系统、信息处理装置、显示方法以及记录了显示程序的、计算机可读取的记录媒体，特别涉及能够对所显示的图像容易地追加笔记(memo)等信息的会议系统、信息处理装置、以及在该信息处理装置中所执行的显示方法。

背景技术

在会议等中，将预先准备好的资料的图像放映在屏幕上，使用该图像进行说明的技术已在进行。近年来，在发表者使用的个人计算机(PC)上预先存储说明用的资料，并在该PC上连接作为显示装置的投影仪(projector)等，使投影仪显示计算机输出的资料的图像的情况较多。另外，也可能是，会议的参加者使自己使用的PC接收从发表者使用的PC发送的显示数据，通过使其显示，而显示与投影仪所显示的图像相同的图像。进而，公知发表者或者参加者能够输入手写的字符等笔记，并与显示的图像关联，存储笔记的技术。

在特开2003-9107号公报中，记载了一种电子会议用终端，其对会议的发布资料文件附加出席者写入的笔记信息，该电子会议用终端的特征在于，具有：文档信息存储部件，随着所述会议的进行，存储所述发布资料文件中显示的信息；输入部件，接受所述出席者的所述笔记信息等的输入；笔记信息存储部件，存储所述笔记信息；显示信息存储部件，存储将所述文档信息存储部件的存储内容以及所述笔记信息存储部件的存储内容叠加了的画面；显示部件，显示所述显示信息存储部件的存储内容；以及文件写入部件，从将所述文档信息存储部件的存储内容以及所述笔记信息存储部件的存储内容叠加了的显示信息，生成带有笔记的发布资料文件。

但是，由于在以往的电子会议用终端中，显示以及存储将显示的信息和笔记信息叠加了的画面，因此笔记信息会与显示的信息重叠，存在无法判别信息的问题。特别地，在没有准备为了对显示的信息写入笔记而集中的空间的情况下，成为问题。

另外，在特开2007-280235号公报中，记载了一种电子会议装置，其特征在于，具有：切取画面信息管理部件，使存储装置存储形成在发表者侧显示部件显示的画面图形(image)的一部分的切取画面对象(object)有关的信息；画面图形生成处理部件，通过从所述切取画面信息管理部件获取在参加者侧显示部件中显示的画面图形中包含的切取画面对象中指定的切换画面对象有关的信息，参照该获取的信息，将该切取画面对象取入到在所述参加者侧显示部件中重新显示的图像数据中，从而生成画面图形；以及编辑画面信息存储部件，将通过所述画面图形生成处理部件生成的画面图形有关的信息、和被取入到该画面图像的切取画面对象有关的信息相关联存储。

但是，在以往的电子会议装置中，存在为了切取所显示的图像图形，显示新的图像，会变更原来的图像图形的问题。

发明内容

本发明为了解决上述的问题而完成，本发明的目的之一是提供会议系统，能够不对源内容的内容加以变更，而将输入内容配置成不与源内容重叠。

本发明的其它目的在于提供信息处理装置，能够不对源内容的内容加以变更，而将输入内容配置成不与源内容重叠。

为了达成上述目的，根据本发明的某一方面，会议系统包含显示装置和可与该显示装置进行通信的信息处理装置，信息处理装置具有：源内容获取部，获取源内容；显示控制部，使显示装置显示获取到的源内容；子内容提取部，提取在获取到的源内容中包含的多个子内容；处理对象决定部，从提取出的多个子内容中决定一个对象子内容；输入内容接受部，接受从外部输入的输入内容；以及内容改变部，生成改变内容，该改变内容在以源内容中、在配置了对象子内容的位置为基准决定的位置上追加了用于配置输入内容的插入区域，显示控制部使显示装置显示在改变内容的附加的插入区域配置了输入内容的图像。

根据该方面，提取在源内容中包含的多个子内容，从多个子内容中决定一个对象子内容，生成改变内容，在显示装置显示在改变内容的附加的插入区域配置了输入内容的图像，其中该改变内容在以源内容中、在配置了对象子内容的位置为基准决定的位置上追加了用于配置输入内容的插入区域。因此，能够提供会议系统，能够不对源内容的内容加以变更，而将输入内容配置成不与源内容重叠。

优选地，内容改变部包含配置变更部，该配置变更部变更在源内容中包含的多个子内容的至少一个的配置。

优选地，配置变更部变更包含在源内容中的、且在显示装置显示的多个子内容的配置。

根据该方面，由于显示的多个子内容的配置被变更，因此显示内容不变更。因此，能够配置输入内容而不变更源内容的显示内容。

优选地，配置变更部件缩小在显示装置中显示的多个子内容之间的间隔。

优选地，内容改变部包含缩小部，该缩小部缩小在源内容中包含的多个子内容的至少一个。

优选地，缩小部缩小在显示装置中显示的多个子内容。

根据该方面，由于显示的多个子内容被缩小，因此显示内容不变更。因此，能够配置输入内容而不变更源内容的显示内容。

优选地，内容改变部包含除外部，该除外部将包含在源内容中的、且在显示装置显示的多个子内容中的至少一个从显示对象中除外。

优选地，输入内容接受部包含接受手写图像的手写图像接受部。

根据该方面，能够对源内容配置手写图像。

优选地，显示控制部显示源内容的图像，处理对象决定部将位于由输入内容接受部接受的手写图像与由显示控制部显示的源内容的图像重叠的部分的子内容决定为对象子内容。

优选地，信息处理装置还具有内容存储部，该内容存储部将源内容、改变内容以及输入内容相关联存储，内容存储部还将输入内容与该输入内容配置在改变内容中的插入位置以及对象子内容配置在源内容中的位置相关联存储。

根据该方面，源内容、改变内容以及输入内容相关联存储，输入内容与配置在改变内容中的插入位置以及对象子内容配置在源内容中的位置相关联存储，因此，从源内容、改变内容以及输入内容，能够再现在改变内容中配置了输入内容的图像。

优选地，处理对象决定部包括：语音接受部，从外部接受语音；以及对接受到的语音进行识别的语音识别部，将在多个子内容中、包含从识别出的语音中选择出的字符串的子内容决定为对象子内容。

根据本发明的其它方面，信息处理装置，可与显示装置进行通信，具有：源内容获取部，获取源内容；显示控制部，使显示装置显示获取到的源内容；子内容提取部，提取在获取到的源内容中包含的多个子内容；处理对象决定部，从提取出的多个子内容中决定成为处理对象的对象子内容；输入内容接受部，接受从外部输入的输入内容；以及内容改变部，生成改变内容，该改变内容在以源内容中、在配置了对象子内容的位置为基准决定的位置上追加了用于配置输入内容的插入区域，显示控制部使显示装置显示在改变内容的附加的插入区域配置了输入内容的图像。

根据该方面，能够提供信息处理装置，能够不对源内容的内容加以变更，而将输入内容配置成不与源内容重叠。

根据本发明的进一步的其它方面，显示方法是由可与显示装置进行通信的信息处理装置执行的显示方法，包括：获取源内容的步骤；使显示装置显示获取到的源内容的步骤；提取在获取到的源内容中包含的多个子内容的步骤；从提取出的多个子内容中决定成为处理对象的对象子内容的步骤；接受从外部输入的输入内容的步骤；生成改变内容的步骤，该改变内容在源内容中、以配置了对象子内容的位置为基准决定的位置追加了用于配置输入内容的插入区域；以及使显示装置显示在改变内容的附加的插入区域配置了输入内容的图像的步骤。

根据该方面，能够提供显示方法，能够不对源内容的内容加以变更，而将输入内容配置成不与源内容重叠。

本发明的上述和其它目的、特征、方案和优点，从结合附图的以下详细说明中将更加清楚。

附图说明

图1是表示本发明的实施方式之一中的会议系统的一例的图。

图2是表示MFP的硬件结构的一例的方框图。

图3是表示MFP具有的CPU的功能的概要的方框图。

图4是表示显示数据和显示部分的关系的一例的第1图。

图5是表示改变内容的一例的第1图。

图6是表示显示数据和显示部分之间的关系的一例的第2图。

图7是表示改变内容的一例的第2图。

图8是表示改变内容的一例的第3图。

图9是表示改变内容的一例的第4图。

图10是表示显示处理的流程的一例的流程图。

图11是表示改变内容生成处理的流程的一例的流程图。

图12是表示第2实施方式中的MFP具有的CPU的功能的概要的方框图。

图13是表示显示数据以及摄像图像的一例的图。

图14是表示改变内容的一例的第5图。

图15是表示显示处理的一例的第2流程图。

图16是表示显示数据和显示部分之间的关系的一例的第3图。

图17是表示改变内容的一例的第6图。

图18是表示显示数据以及手写图像的一例的图。

图19是表示改变内容的一例的第7图。

具体实施方式

以下参照附图说明本发明的实施方式。在以下的说明中，对同一部件附加同一标号。它们的名称以及功能也相同。因此，不重复对它们的详细的说明。

图1是表示本发明能够的实施方式之一的会议系统的一例的图。参照图1，会议系统1包括：MFP(Multifunction Peripheral；多功能周边设备)100、PC200、200A～200D、带有照相机功能的投影仪210、白板221。MFP100、PC200、200A～200D以及带有照相机功能的投影仪210连接到局域网(以下称为“LAN”)2。

MFP100是信息处理装置的一例，具有扫描仪功能、打印机功能、复印功能、传真功能等多个功能。MFP100可经由LAN2与带有照相机功能的投影仪210以及PC200、200A～200D通信。另外，虽然表示以LAN2将MFP100、PC200、200A～200D、带有照相机功能的投影仪210连接的例子，但是只要是能够通信，则既可以用串行通信电缆连接，也可以用并行通信电缆连接。另外，通信方式不限于有线，也可以是无线。

在本实施方式的会议系统1中，会议的发表者将作为发表用的资料的源内容存储在MFP100中。源内容只要是能够在计算机显示的数据即可，例如是图像、字符、图表或者将它们组合后的数据。这里，以将源内容作为包含图像的1页数据的情况为例进行说明。

MFP100控制带有照相机功能的投影仪210，能够作为通过使带有照相机功能的投影仪210将源内容的至少一部分的图像投影，使白板221显示图像的显示控制装置起作用。具体而言，MFP100将源内容的至少一部分作为显示部分，并将显示部分的图像作为显示图像，发送到带有照相机功能的投影仪210，使带有照相机功能的投影仪210显示图像。显示图像与带有照相机功能的投影仪能够显示的图像的尺寸相同。因此，在源内容的整体大于显示图像的尺寸的情况下，源内容的一部分被设定为显示部分，在源内容的整体为显示图像尺寸以下的情况下，源内容的全部被设定为显示部分。

另外，也可以通过预先从MFP100对带有照相机功能的投影仪210发送源内容，从MFP100远程操作带有照相机功能的投影仪210，使带有照相机功能的投影仪显示显示图像。在这种情况下，也是源内容的至少一部分被设定为显示部分，显示源内容的显示部分的显示图像。从MFP100发送到带有照相机功能的投影仪210的显示图像只要由带有照相机功能的投影仪210可接收以及解释，则其格式不被限定。

带有照相机功能的投影仪210具有液晶显示装置、透镜(lens)以及光源，将从MFP100接收的显示图像投影在白板221的描画面。液晶显示装置显示显示图像，从光源发出的光透过液晶显示装置，经由透镜照射在白板221。如果从带有照相机功能的投影仪210照射的光照射到白板221的描画面，则放大了在液晶显示装置显示的显示图像的显示图像被放映在描画面。这里，将白板221的描画面作为带有照相机功能的投影仪210投影显示图像的投影面。

另外，带有照相机功能的投影仪210具有照相机211，输出由照相机211拍摄得到的摄像图像。MFP100控制带有照相机功能的投影仪210，使其拍摄在白板221的描画面上显示的图像，获取从带有照相机功能的投影仪210输出的摄像图像。例如，在会议的发表者或者参加者以手写方式对白板的描画面描画字符等，从而对显示的显示图像追记的情况下，带有照相机功能的投影仪210输出的摄像图像成为在显示图像中包含手写的描画的图像。

PC200、200A～200D是一般的计算机，其硬件结构以及功能众所周知，因此这里不重复说明。这里，MFP100将使带有照相机功能的投影仪210显示的显示图像相同的显示图像发送到PC200、200A～200D。因此，在PC200、200A～200D各自的显示器中，显示与白板221所显示的显示图像相同的显示图像。因此，PC200、200A～200D的用户能够一边观察在白板221或者PC200、200A～200D的显示器的其中一个显示器上显示的显示图像，一边能够确认会议的进行。

进而，在PC200、200A～200D的各自上连接触摸面板201、201A、201B、201C、201D。PC200、200A～200D的用户使用触摸笔203，能够对触摸面板201、201A、201B、201C、201D输入手写的字符。PC200、200A～200D分别将包含输入到触摸面板201、201A、201B、201C、201D的手写的字符的手写图像发送到MFP100。

MFP100若被从PC200、200A～200D的其中一个输入手写图像时，通过在此前输出到带有照相机功能的投影仪210的显示图像上合成手写图像，从而生成合成图像，并将合成图像输出到带有照相机功能的投影仪210，使其显示。因此，使用PC200、200A～200D的其中一个的参加者手写的手写图像被显示在白板221上。

另外，也可以是，白板221的描画面由触摸面板构成，用LAN2将MFP100和白板221连接。此时，白板221在描画面被笔等指示时，获取用笔指示的描画面中的坐标作为位置信息，并将位置信息发送到MFP100。因此，在用户用笔在白板221的描画面上描绘字符或者图像时，包含构成在描画面上描绘的字符或者图像的线中所包含的所有的坐标的位置信息被发送到MFP100，因此，在MFP100中，能够从位置信息构成用户在白板221上描绘的字符或者图形的手写图像。MFP100与上述的PC200、200A～200D的其中一个输入的手写图像同样地，处理在白板221上描绘的手写图像。

图2是表示MFP的硬件结构的一例的方框图。参照图2，MFP100包括：主电路110；原稿读取部123，用于读取原稿；自动原稿运送装置121，用于将原稿运送到原稿读取部123；图像形成部125，用于将原稿读取部123读取原稿而输出的静止图像形成在用纸上等；供纸部127，用于对图像形成部125提供用纸；作为用户接口的操作面板129；以及对声音进行拾音的麦克风131。

主电路110包括：CPU111、通信接口(I/F)部112、ROM(Read Only Memory；只读存储器)113、RAM(Random Access Memory；随机存取存储器)114、EEPROM(Electrically Erasable and Programmable ROM；电可擦除可编程ROM)115、作为大容量存储装置的硬盘驱动(HDD)116、传真部117、网络I/F118、以及搭载闪速存储器119A的卡接口(I/F)119。CPU111与自动原稿运送装置121、原稿读取部123、图像形成部125、供纸部127以及操作面板129连接，控制MFP100的整体。

ROM113存储CPU111执行的程序、以及用于执行该程序所需要的数据。RAM114作为CPU111执行程序时的作业区域使用。

操作面板129设置在MFP100的上面，包括显示部129A和操作部129B。显示部129A为液晶显示装置、有机ELD(Electroluminescence Display；电致发光显示器)等显示装置，显示与对用户的指示菜单或获取的显示数据有关的信息等。操作部129B具有多个键，接受与键对应的基于用户的操作的各种指示、字符、数字等数据的输入。操作部129B还包含在显示部129A上设置的触摸面板。

通信I/F部112是用于用串行通信电缆将MFP100与其它装置连接的接口。另外，连接方式可以是有线，也可以是无线。

传真部117连接到公共交换电话网(PSTN)，对PSTN发送传真数据、或者从PSTN接收传真数据。传真部117将接收到的传真数据存储在HDD116、或者输出到图像形成部125。图像形成部125将由传真部117接收到的传真数据印刷到用纸上。另外，传真部117将存储在HDD116的数据变换为传真数据，发送到与PSTN连接的传真装置。

网络I/F118是用于将MFP100连接到LAN2的接口。CPU111经由网络I/F118，能够与连接到LAN2的PC200、200A～200D以及带有照相机功能的投影仪210进行通信。另外，CPU111在LAN2连接到因特网的情况下，能够与连接到因特网的计算机通信。连接到因特网的计算机包含发送接收电子邮件的电子邮件服务器。网络I/F118不限于LAN2，也可以连接到因特网、广域网(WAN)、公共交换电话网等。

麦克风131对声音进行拾音，并将拾音得到的声音输出到CPU111。这里，MFP100设置在会议室，麦克风131对会议室的声音进行拾音。另外，也可以用有线或者无线将麦克风131连接到MFP100，在会议室的发表者或者参加者对麦克风131输入语音。此时，不需要将MFP100设置在会议室。

卡I/F119搭载闪速存储器119A。CPU111能够经由卡I/F119访问闪速存储器119A，并且能够将闪速存储器119A中存储的程序载入到RAM114来执行。另外，CPU111执行的程序不限于在闪速存储器119A中存储的程序，也可以是在其它存储媒体中存储的程序，在HDD116中存储的程序，以及通过经由通信I/F部112连接到LAN2的其它计算机写入到HDD116的程序。

另外，作为存储程序的存储媒体，不限于闪速存储器119A，也可以是光盘(MO(Magnetic Optical Disc；磁光盘)/MD(Mini Disc；迷你光盘)/DVD(Digital Versatile Disc；数字通用光盘))、IC卡、光卡、掩膜(mask)ROM、EPROM(Erasable Programmable ROM；可擦除可编程ROM)、EEPROM(Electrically Erasable and Programmable ROM；电可擦除可编程ROM)等半导体存储器。

这里所称的程序，不仅包含CPU111能够直接执行的程序，还包含源程序、被压缩处理的程序、被加密的程序等。

图3是表示MPF具有的CPU的功能的概要的方框图。图3所示的功能，通过MFP100具有的CPU111执行在ROM113或者闪速存储器119A中存储的显示程序来实现。参照图3，通过CPU111实现的功能具有：源内容获取部151，获取源内容；投影控制部153，控制带有照相机功能的投影仪；子内容提取部155，提取在源内容中包含的子内容；处理对象决定部161，从多个子内容中决定成为处理对象的对象子内容；输入内容接受部157，接受从外部输入的输入内容；插入指示接受部167，接受通过用户输入的插入指示；内容改变部169，生成改变内容；以及合成部177。

源内容获取部151获取源内容。这里，作为源内容的一例，以在HDD116中作为发表用数据预先存储的显示数据为例进行说明。具体而言，发表者将作为发表资料生成的显示数据预先存储在HDD116，如果发表者操作操作部129B，输入指示显示数据的操作，则源内容获取部151通过从HDD116读出被指示的显示数据，获取显示数据。源内容获取部151将获取的显示数据输出到投影控制部153、子内容提取部155、内容改变部169以及合成部177。

投影控制部153将从源内容获取部151输入的显示数据的至少一部分的显示部分的图像作为显示图像，输出到带有照相机功能的投影仪210，使带有照相机功能的投影仪210显示显示图像。这里，显示数据由1页图像构成，因此，将显示数据中、通过发表者输入到操作部129B的操作确定的显示部分的图像作为显示图像输出到带有照相机功能的投影仪210。显示数据的图像的尺寸存在大于带有照相机功能的投影仪210可投影的图像的尺寸的情况，此时，将显示数据的一部分作为显示部分输出到带有照相机功能的投影仪210，使其投影。此时，如果发表者对操作部129B输入滚动操作，则投影控制部153变更显示数据的显示部分。

投影控制部153在从后述的合成部177输入合成图像的情况下，将合成图像的至少一部分的显示部分的图像作为显示图像，输出到带有照相机功能的投影仪210，使带有照相机功能的投影仪210显示显示图像。投影控制部153在合成图像的尺寸大于带有照相机功能的投影仪210的可投影的图像的尺寸的情况下，与上述的显示数据的情况一样，根据发表者的滚动操作，变更合成图像的显示部分。

子内容提取部155提取从源内容获取部151输入的显示数据中包含的子内容。所谓子内容，是在源内容、这里在显示数据中包含的一组的字符串的块、图形、图像等。换而言之，子内容是在源内容中用空白的区域包围的区域，相邻的2个子内容之间存在空白的区域。例如，在将源内容的图像分割成上下左右的多个块中，对每个块判别属性，将邻接的相同属性的块包含在相同子内容中，从而提取子内容。所谓属性是字符表示的字符属性、图表等的线条表示的图形属性、照片表示的照片属性等。在从源内容提取多个子内容的情况下，既可以是相同属性的子内容有多个，也可以是全部为不同属性。子内容提取部155将提取出的子内容、和表示该子内容在源内容中的位置的位置信息的组输出到处理对象决定部161。

子内容提取部155在提取多个子内容的情况下，将多个子内容分别与位置信息形成组，输出到处理对象决定部161。这里由于将源内容作为包含1页图像的显示数据，因此表示子内容在源内容中的位置的位置信息，以显示数据中的子内容表示的区域的重心的坐标来表示。另外，在作为源内容的显示数据由多页的页数据构成的情况下，位置信息以页编号、和该页编号的页数据中的子内容的区域的重心的坐标表示。

输入内容接受单元157包含手写图像接受部159。若通信I/F部112从PC200、200A～200D的其中一个接收到手写图像，则手写图像接受部159接受接收到的手写图像。手写图像接受部159将接受的手写图像输出到合成部177。另外，输入内容接受部157接受的输入内容不限于手写图像，既可以是字符串，也可以是图像。另外，这里表示输入内容为从PC200、200A～200D的其中一个发送的手写图像的例子，但是输入内容既可以是MFP100的原稿读取部123读取原稿而获取的图像，也可以是在HDD116中存储的数据。

处理对象决定部161在从子内容提取部155输入多个子内容的情况下，从多个子内容中决定成为处理对象的一个对象子内容。处理对象决定部161包括语音接受部163以及语音识别部165。处理对象决定部161在语音自动跟踪功能被设定为开启(ON)的情况下，将语音接受部163以及语音识别部165转为激活。通过用户对MFP100预先设定，语音自动跟踪功能被设定为开启或者关闭(OFF)的其中一个。

语音接受部163接受通过麦克风131拾音且麦克风131输出的声音。语音接受部163将接受的声音输出到语音识别部165。语音识别部165对输入的声音进行语音识别，并输出字符串。处理对象决定部161比较从多个子内容中各自包含的字符串、和语音识别部165输出的字符串，将包含与语音识别部165输出的字符串相同字符串的子内容决定为对象子内容。

发表者通常按照投影到白板221上的显示图像发言，参加者观看显示图像发言。因此，包含发表者或者参加者发言的单词的子内容为当前会议的参加者讨论的部分的可能性高。因此，在语音自动跟踪功能被设定为开启的情况下，随着会议的进行，对象子内容发生变动。处理对象决定部161在每次变更对象内容时，将变更后的对象子内容的位置信息输出到内容改变部169。如上述那样，子内容的位置信息为用于确定源内容中的位置的信息，用源内容的坐标值表示。

在语音自动跟踪功能被设定为关闭的情况下，处理对象决定部161将与投影控制部153输出到带有照相机功能的投影仪210的显示图像相同的显示图像显示在显示部129A，若用户将显示图像中的任意的位置输入到操作部129B，则将所输入的位置作为指示位置接受，将在显示图像中配置在指示位置的子内容决定为对象子内容。并且，处理对象决定部161将决定了的对象子内容的位置信息输出到内容改变部169。

另外，也可以是，通过PC200、200A～200D的用户远程操作MFP100，PC200、200A～200D的用户输入指示位置。此时，若通信I/F部112从PC200、200A～200D中的其中一个接收到指示位置，则处理对象决定部161接受指示位置。

内容改变部169从源内容获取部151输入显示数据，从处理对象决定部161输入对象子内容的位置信息，从插入指示接受部167输入插入指示。若用户按下对操作部129B预先决定的键，则插入指示接受部167接受插入指示。插入指示接受部167若接受插入指示，则将插入指示输出到内容改变部169。另外，也可以通过PC200、200A～200D的用户远程操作MFP100，PC200、200A～200D的用户输入插入指示。此时，若通信I/F部112从PC200、200A～200D的其中一个接收到插入指示，则插入指示接受部167接受插入指示。另外，也可以是在语音识别部165输出预先决定的字符串、例如“そぅにゅぅしじ”(“插入指示”)的情况下，插入指示接受部167接受插入指示。

若输入插入指示，则内容改变部169生成改变内容，该改变内容在以在显示数据中配置对象子内容的位置为基准决定的位置上追加了用于配置输入内容的插入区域。具体而言，内容改变部169按照在输入插入指示的紧前面从处理对象决定部161输入的位置信息，从在显示数据中包含的子内容中确定对象子内容。并且，在对象子内容的周边确定配置位置。

配置位置通过在显示图像中的对象子内容的位置决定。例如，如果对象子内容位于显示图像中的一半的上侧，则将对象子内容的正下方决定为配置位置，如果对象子内容位于显示图像中的一半的下侧，则将对象子内容的正上方决定为配置位置。另外，配置位置如果是对象子内容的周边，则也可以是对象子内容的上下左右其中一个。

另外，这里，表示在对象子内容的上下方向决定配置位置的例子，但是决定配置位置的方向也可以通过在作为源内容的显示数据的显示部分中包含的多个子内容排列的方向来决定。在显示数据的显示部分中包含的多个子内容沿左右方向排列的情况下，将配置位置决定为对象子内容的左右其中一个即可。

这里，以将对象子内容的下方确定为配置位置的情况为例进行说明。内容改变部169将所生成的改变内容和作为插入区域的重心位置的插入位置输出到合成部177。通过将配置位置决定为对象子内容的附近，能够明确后述的插入区域中包含的图像和对象子内容之间的关系。

内容改变部169包括：配置变更部171、缩小部173、除外部175。内容改变部169，如果在作为源内容的显示数据中成为显示的对象的显示部分中，空白部分的高度的合计为阈值T1以上，则将配置变更部171转为激活，如果空白部分的高度的合计小于阈值T1且为阈值T2以上，则将缩小部173转为激活，如果空白部分的高度的合计小于阈值T2，则将除外部175转为激活。其中，阈值T1大于阈值T2。

配置变更部171通过变更显示数据的显示部分中包含的多个子内容的配置，生成改变内容。具体而言，将在显示数据的显示部分中包含的多个子内容中、配置在配置位置的上侧的子内容向上方移动，将配置在配置位置的下侧的子内容向下方移动，从而在对象子内容的下方确保空白的插入区域。对于显示数据的显示部分中包含的多个子内容，从距离配置位置远的子内容起按顺序在显示部分内变更配置。由于移动显示部分内的子内容的配置，因此在移动子内容的配置的前后，显示部分内包含的子内容的数目没有变动。换而言之，显示的多个子内容在生成改变内容的前后不变化。因此，即使显示改变内容，也是显示相同的内容。

将在显示数据的显示部分中包含的多个子内容中、配置在最上侧的子内容配置在显示部分的最上面，将在显示数据的显示部分中包含的多个子内容中、配置在最下侧的子内容配置在显示部分的最下面。预先决定变更了配置之后的相邻的2个子内容之间的距离，从配置在最上部以及最下部的子内容起按顺序配置剩余的子内容，使得2个子内容之间的距离成为预先决定的距离。换而言之，通过缩小显示数据的显示部分中包含的多个子内容之间的间隔，在显示部分内变更多个子内容的配置。

配置变更部171通过变更作为源内容的显示数据的显示部分中包含的多个子内容的配置，生成改变内容，从而在改变内容中，在配置位置确保空白区域。配置变更部171将在改变内容中确保的空白的区域设定为插入区域。配置变更部171将插入区域的重心的坐标设定为插入位置，并将改变内容和插入位置输出到合成部177。

缩小部173通过缩小作为源内容的显示数据的显示部分中包含的多个子内容，从而生成改变内容。具体而言，缩小显示数据的显示部分中包含的多个子内容，将缩小后的多个子内容中、配置在配置位置的上侧的缩小后的子内容向上方移动，将配置在配置位置的下侧的缩小后的子内容向下方移动，从而在对象子内容的下方确保空白的插入区域。缩小部173在缩小在显示数据的显示部分中包含的多个子内容方面，与上述配置变更部171不同，但是，在显示部分中变更缩小后的子内容的配置方面，与上述配置变更部171相同。缩小部173将插入区域的重心的坐标设定为插入位置，并将改变内容和插入位置输出到合成部177。

由于在缩小作为源内容的显示数据的显示部分中包含的多个子内容之后移动配置，因此，在移动子内容的配置的前后，在显示部分内包含的子内容的数目上没有变动。换而言之，所显示的多个子内容在生成改变内容的前后不变化。因此，即使显示改变内容，虽然尺寸变小，但是也显示相同的内容。

除外部175生成改变内容，该改变内容将作为源内容的显示数据的显示部分中包含的多个子内容中的至少一个从显示部分除外。具体而言，除外部175将显示数据中、显示部分中所包含的多个子内容中离配置位置最远的子内容配置在显示部分之外，将在剩余的子内容中、配置在配置位置的上侧的子内容向上方移动，将配置在配置位置的下侧的子内容向下方移动，从而在对象子内容的下方确保空白的插入区域。

除外部175在从显示数据的显示部分中包含的多个子内容中、将至少一个配置在显示部分之外的方面，与上述配置变更部171不同，但是在显示部分中，变更剩余的子内容的配置方面与上述配置变更部171相同。除外部175在改变内容中，将在配置位置确保的空白的区域设定为插入区域，将改变内容中的插入区域的重心的坐标设定为插入位置，并将生成的改变内容和插入位置输出到合成部177。另外，从显示数据的显示部分中包含的多个子内容中，将至少一个配置在显示部分之外，与配置变更部171同样地将剩余的子内容变更配置，但是也可以与缩小部173同样地将显示部分内剩余的子内容缩小之后变更配置。

将作为源内容的显示数据的显示部分中包含的多个子内容中的至少一个配置在显示部分之外，之后在显示部分内移动剩余的子内容的配置，因此，能够至少将在显示部分之外配置的子内容在移动前在显示部分中所占的区域置换为插入区域。

除外部175在显示部分之外配置子内容的情况下，在显示数据的尺寸固定的情况下，将在显示数据中新的页的页数据追加到作为处理对象的页数据的前面或者后面，将在显示数据中包含的多个子内容中的至少一个配置在新的页的页数据中。在配置在显示部分之外的子内容被配置在显示部分的上侧的情况下，将新的页的页数据追加在显示数据之前，将配置在显示数据的最上部的子内容配置在新的页的页数据中。在配置在显示部分之外的子内容配置在显示部分的下侧情况下，将新的页的页数据追加在显示数据之后，将配置在显示数据的最下部的子内容配置在新的页的页数据中。另外，也可以将配置在显示部分之外的子内容配置为新的页的页数据。

合成部177从源内容获取部151输入源内容，从内容改变部169输入改变内容和插入位置，从输入内容接受部157输入输入内容。改变内容是对显示数据的显示部分追加了插入区域后的内容，输入内容是手写图像。合成部177生成对以改变内容的插入位置确定的插入区域合成了手写图像的合成图像，并将合成图像的至少一部分设定为显示部分，将显示部分的显示图像输出到投影控制部153。另外，合成部177将源内容、改变内容、插入位置和输入内容相关联存储在HDD116中。由于源内容、改变内容、插入位置和输入内容相关联存储，因此之后能够根据它们再现合成图像。

在投影控制部153中，若输入新的显示图像，则取代此前显示的显示图像而显示新的显示图像。由此，在白板221上显示手写图像不与子内容重叠的图像。

图4是表示显示数据和显示部分之间的关系的一例的第1图。参照图4，作为源内容的显示数据301包含7个子内容311～317。5个子内容311～314、317表示字符，子内容315表示图表，子内容316表示照片。

显示部分321包含在显示数据301中包含的7个子内容311～317中的子内容311～314。显示数据301的显示部分321作为显示图像通过带有照相机功能的投影仪210投影，被白板221显示。在图4中，语音自动跟踪功能被设定为开启，以被语音识别的字符串包含在以箭头323所示的行中的情况为例来表示。以箭头323表示的行包含在子内容314中，因此，子内容314被决定为对象子内容。这里，由于在对象子内容314的下方没有空白的区域，因此，对象子内容314的上侧被决定为配置位置。

图5是表示改变内容的一例的第1图。图5所示的改变内容是改变了图4所示的显示数据的一例。参照图5，改变内容301A与图4所示的显示数据301同样，包含7个子内容311～317。显示部分321包含在改变内容301A中包含的7个子内容311～317中的子内容311～314。在显示部分321中，子内容311配置在最上部，在其下，子内容312、313以规定的间隔配置，子内容314配置在最下部，在子内容314的上部配置插入区域331。

若改变内容301A的显示部分321作为显示图像投影到白板221，则由于改变内容301A的显示部分321包含插入区域331，因此用户能够以手写方式在投影到白板221的显示图像的插入区域331进行描画。另外，在白板221描画的图像为对象子内容314的附近，因此，用户能够以手写方式追加与对象子内容314相关的信息。

另外，改变内容301A的显示部分321与图4所示的显示数据301的显示部分321同样，包含子内容311～314，因此，能够显示插入区域331，而在显示插入区域331的前后不改变显示的内容。另外，用户能够容易地理解显示插入区域331的位置为对象子内容314的附近的事实。

图6是表示显示数据和显示部分之间的关系的一例的第2图。参照图6，作为源内容的显示数据301包含7个子内容311～317。5个子内容311～314、317表示字符，子内容315表示图表，子内容316表示照片。

显示数据301的显示部分321包含在显示数据301中包含的7个子内容311～317中的5个子内容313～317。显示数据301的显示部分321作为显示图像被带有照相机功能的投影仪210投影，显示在白板221上。在图6中，语音自动跟踪功能被设定为开启，以被语音识别的字符串包含在以箭头323表示的行中的情况为例来表示。以箭头323表示的行包含在子内容314中，因此子内容314被决定为对象子内容。这里，对象子内容314的下方被决定为配置位置。

图7是表示改变内容的一例的第2图。图7所示的改变内容是改变了图6所示的作为源内容的显示数据的一例。参照图7，改变内容301B包含在图6中表示的显示数据301中包含的子内容311、312、分别缩小了在显示数据301中包含的子内容313～317的子内容313A～317A。

改变内容301B的显示部分321包含在改变内容301B中包含的7个子内容311、312、313A～317A中的子内容313A～317A。在改变内容301B的显示部分321中，子内容313A配置在最上部，在其下，子内容314A以规定的间隔配置，子内容317A配置在最下部，在其上，子内容315A以及子内容316A以规定的间隔配置，在子内容314A的下部配置插入区域331A。

若改变内容301B的显示部分321作为显示图像投影到白板221上，则由于改变内容301B的显示部分321包含插入区域331A，因此用户能够以手写方式在投影到白板221的显示图像的插入区域331A进行描画。另外，在白板221描画的图像为对象子内容314A的附近，因此，用户能够以手写方式追加与对象子内容314相关的信息。

另外，改变内容301B的显示部分321由于包含分别缩小了在图6所示的显示数据301的显示部分321中包含的子内容313～317得到的子内容313A～317A，因此能够显示插入区域331A，而在显示插入区域331A的前后虽然显示的形状缩小但不改变内容。另外，用户能够容易地理解显示插入区域331A的位置是缩小后的对象子内容314A的附近。

图8是表示改变内容的一例的第3图。在将与空白部分的高度进行比较的阈值T2设为大于生成图5所示的改变内容301A的情况的值的情况下，生成图8所示的改变内容301C、301D。图8所示的改变内容301C、301D是将图4所示的作为源内容的显示数据301的显示部分321中包含的子内容311配置在显示部分321之外的情况下所生成的一例。

首先，参照图4，若在作为源内容的显示数据301中，决定对象子内容314，则在显示数据301的显示部分321中所包含的子内容311～314中，对象子内容314的上侧被决定为配置位置。并且，将离配置位置最远的子内容311配置在显示部分321之外。此时，参照图8，新的页的页数据作为改变内容301D生成，在该改变内容301D中配置从显示部分321除外的子内容311。另外，将在图4中，在显示数据301的显示部分321中包含的剩余的子内容312、313、314中、配置在配置位置的上侧的子内容312、313向上方移动，将配置在配置位置的下侧的子内容314向下方移动，从而如图8所示，生成在对象子内容314的上方配置了空白的插入区域331B的改变内容301C。

若改变内容301C的显示部分321作为显示图像被投影到白板221上，则由于改变内容301C的显示部分321包含插入区域331B，因此用户能够以手写方式在投影到白板221的显示图像的插入区域331进行描画。另外，在白板221上描画的图像为对象子内容314的附近，因此，用户能够以手写方式追加与对象子内容314相关的信息。

另外，改变内容301C的显示部分321由于包含图4所示的显示数据301的显示部分321中包含的4个子内容311～314中的3个子内容312～314，因此能够尽可能减少在显示插入区域331B的前后显示的内容的变化，来显示插入区域331B。另外，用户能够容易地理解显示插入区域331B的位置为对象子内容314的附近的事实。

图9是表示改变内容的一例的第4图。在将与空白部分的高度进行比较的阈值T2设为大于生成图7所示的改变内容301B的情况的值的情况下，生成图9所示的改变内容301E、301F。图9所示的改变内容301E、301F是将图6所示的作为源内容的显示数据301的显示部分321中包含的子内容317配置在显示部分321之外的情况下生成的一例。

首先，参照图6，若在作为源内容的显示数据301中，对象子内容314被决定，则在显示数据301的显示部分321中包含的子内容313～317中的对象子内容314的下方被决定为配置位置。并且，将离配置位置最远的子内容317配置在显示部分321之外。此时，参照图9，新的页的页数据作为改变内容301F生成，在该改变内容301F中配置从显示部分321除外的子内容317。另外，在图6中，将在显示数据301的显示部分321中包含的剩余的子内容313～316中、配置在配置位置的上侧的子内容313、314向上方移动，将配置在配置位置的下侧的子内容315、316向下方移动，从而如图9所示，生成在对象子内容314的下方配置了空白的插入区域331C的改变内容301E。

若改变内容301E的显示部分321作为显示图像被投影到白板221上，则由于改变内容301E的显示部分321包含插入区域331C，因此用户能够以手写方式在投影到白板221的显示图像的插入区域331C进行描画。另外，在白板221上描画的图像为对象子内容314的附近，因此，用户能够以手写方式追加与对象子内容314相关的信息。

另外，改变内容301E的显示部分321由于包含图6所示的显示数据301的显示部分321中包含的5个子内容313～317中的4个子内容313～316，因此能够尽可能减少在显示插入区域331C的前后显示的内容的变化，来显示插入区域331C。另外，用户能够容易地理解显示插入区域331C的位置为对象子内容314的附近的事实。

图10是表示显示处理的流程的一例的流程图。显示处理是，通过MFP100具有的CPU111执行在ROM113或者闪速存储器119A中存储的显示程序，由CPU111执行的处理。参照图10，CPU111获取源内容(步骤S01)。具体而言，通过读出在HDD116中预先存储的显示数据，从而将显示数据作为源内容获取。另外，既可以从PC200、200A～200D的其中一个接收显示数据，也可以在LAN2连接到因特网的情况下，从连接到因特网的计算机接收数据。能够将接收到的数据作为源内容。

在下一步骤S02中，从在步骤S01中获取的源内容提取子内容。从显示数据中，提取在显示数据中包含的一组的字符串的块、图形、图像等作为子内容。例如，在将显示数据的图像分割为上下左右得到的多个快中，通过对每个块判别属性，并将邻接的相同属性的块包含在相同的子内容中，从而提取子内容。

在步骤S03中，将源内容的显示部分设定为显示图像。显示数据的显示部分被设定为显示图像。显示图像是带有照相机功能的投影仪210可显示的尺寸。因此，在显示数据大于带有照相机功能的投影仪210可显示的尺寸的情况下，显示数据的一部分的显示部分被设定为显示图像。在下一步骤S04中，将显示图像输出到带有照相机功能的投影仪210。由此，显示图像被投影到白板上，在白板221上显示显示图像。

在步骤S05中，判断是否接受了插入指示。如果接受了插入指示，则将处理推进到步骤S06，否则，将处理推进到步骤S28。若用户对操作部129B进行指示插入的操作，则接受插入指示。在步骤S06中，判断语音自动跟踪功能是否被设定为开启。所谓语音自动跟踪功能是，以对拾音得到的语音进行语音识别而得到的字符串跟踪源内容，决定源内容中的位置的功能。语音自动跟踪功能通过用户预先对MFP100设定，从而设定为开启或者关闭的其中一个。若语音自动跟踪功能被设定为开启，则将处理推进到步骤S07，否则，将处理推进到步骤S11。

在步骤S07中，获取通过麦克风131拾音得到的声音。并且，对获取的声音进行语音识别(步骤S08)。进而，基于进行语音识别得到的字符串，从在步骤S02中从源内容提取出的多个子内容中，决定对象子内容(步骤S09)。具体而言，比较在多个子内容的每一个中包含的字符串和进行语音识别得到的字符串，将包含与进行语音识别得到的字符串相同的字符串的子内容决定为对象子内容。

在下一步骤S10中，将决定的对象子内容的附近决定为配置位置。这里，将对象子内容的下侧或者上侧决定为配置位置，将处理推进到步骤S13。

另一方面，在步骤S11中，直到接受指示位置为止为待机状态，若接受指示位置，则将处理推进到步骤S12。在显示部129A中显示在步骤S03中设定的显示图像，若用户将显示图像中的任意的位置输入到操作部129B，则将输入的位置作为指示位置接受。并且，将接受到的指示位置决定为配置位置(步骤S12)，将处理推进到步骤S13。

在步骤S13中，执行改变内容生成处理，并将处理推进到步骤S14。关于改变内容生成处理的细节后面叙述，其是生成在源内容的配置位置配置了插入区域的改变内容的处理。因此，若执行改变内容生成处理，则生成包含插入区域的改变内容。这里，将在改变内容中配置的插入区域的重心的坐标称为插入位置。

在下一步骤S14中，将改变内容的显示部分设定为显示图像。由于改变内容是对显示数据追加了插入区域的图像，因此，将在显示数据的显示部分追加了插入区域的图像设定为显示图像。在下一步骤S15中，将显示图像输出到带有照相机功能的投影仪210，使显示图像投影到白板(步骤S15)。显示图像包含插入区域的图像，由于插入区域是空白的图像，因此在白板221上确保空白的区域，作为发表者或参加者的用户能够以手写方式描画。

在步骤S16中，直到获取输入内容为止为待机状态，若获取输入内容，则将处理推进到步骤S17。具体而言，控制带有照相机功能的投影仪210，使其拍摄在白板221的描画面上显示的图像，获取从带有照相机功能的投影仪210输出的摄像图像。并且，将摄像图像和在步骤S04中设定的显示图像不同的部分作为输入内容获取。

另外，在通信I/F部112从PC200、200A～200D的其中一个接收手写图像的情况下，也可以将接收到的手写图像作为输入内容。另外，输入内容既可以是原稿读取部123读取原稿输出的图像，也可以是在HDD116中存储的数据。此时，若输入使原稿读取部123读取原稿的操作，则将原稿读取部123读取原稿后输出的图像作为输入内容获取。另外，若输入指定在HDD116中存储的数据的操作，则通过从HDD116中读出指定的数据，将读出的数据作为输入内容获取。

在下一步骤S17中，对获取的输入内容进行字符识别。并且，将通过进行字符识别得到的文本数据与在步骤S13中生成的改变内容以及决定的插入位置相关联，存储在HDD116中(步骤S18)。

在下一步骤S19中，通过将在步骤S16中获取的输入内容合成到在步骤S13中生成的改变内容的插入位置，生成合成图像。由于改变内容是在显示数据中追加了插入区域的内容，因此，在插入区域合成手写图像。并且，将合成图像的显示部分设定为显示图像并输出(步骤S20)。

在下一步骤S21中，判断是否接受了滚动指示。如果接受了滚动指示，则将处理推进到步骤S22，否则，将处理推进到步骤S27。在步骤S27中，判断是否接受了结束指示，如果接受了结束指示，则结束处理，否则将处理返回到步骤S05。

在步骤S22中，根据滚动操作切换显示图像，进行滚动显示，并将处理推进到步骤S23。如果滚动操作是显示显示图像的上侧的图像的指示，则将合成图像中设定为显示图像的显示部分的上侧的部分作为用于新地设定为显示图像的显示部分，如果滚动操作是显示显示图像的下侧的图像的指示，则将合成图像中设定为显示图像的显示部分的下侧的部分作为用于新地设定为显示图像的显示部分。合成图像的显示部分的显示图像被带有照相机功能的投影仪210投影，显示在白板221上。

在步骤S23中获取摄像图像。从带有照相机功能的投影仪210获取带有照相机功能的投影仪210的照相机211拍摄的图像。并且，比较显示图像和摄像图像(步骤S24)。如果在显示图像和摄像图像之间有相异部分(在步骤S25中为“是”)，则将处理推进到步骤S26，否则(步骤S25中为“否”)，跳过步骤S26，将处理推进到步骤S27。

在步骤S26中，对用户发出警告，将处理推进到步骤S27。警告是在白板221上仍旧描绘了手写字符的通知，例如，使带有照相机功能的投影仪210显示“请擦除白板的描画”的消息。另外，也可以发生警告声。

另一方面，在处理进入到步骤S28的情况下，是从用户接受插入指示之前的阶段。此时，在步骤S28中，判断是否接受了滚动指示。如果接受了滚动指示，则将处理推进到步骤S29，否则，跳过步骤S29，将处理推进到步骤S27。在步骤S29中，进行滚动显示，并将处理推进到步骤S27。滚动显示根据滚动操作切换显示图像，是切换后的显示图像的显示。如果滚动操作是显示显示图像的上侧的图像的指示，则将显示数据的显示部分的上侧的部分新地设定为显示部分，如果滚动操作是显示显示图像的下侧的图像的指示，则将显示数据的显示部分的下侧的部分新地设定为显示部分。在步骤S27中，判断是否接受了结束指示，如果接受了结束指示，则结束处理，否则，将处理返回到步骤S05。

图11是表示改变内容生成处理的流程的一例的流程图。改变内容生成处理是在图10的步骤S13中执行的处理。参照图11，CPU111计算源内容的空白部分(步骤S31)。这里，由于多个子内容沿上下方向(垂直方向)依次排列，因此，计算在作为源内容的显示数据的显示部分中包含的空白部分的上下方向的长度。在空白部分为多个的情况下，计算多个空白部分的上下方向的长度的合计。

并且，判断空白部分的高度的合计是否为阈值T1以上(步骤S32)。如果空白部分的高度的合计为阈值T1以上，则将处理推进到步骤S33，否则，将处理推进到步骤S34。在步骤S33中，通过以源内容的配置位置为中心，在显示部分内上下移动多个子内容，从而生成改变内容，将处理推进到步骤S44。

在步骤S34中，判断空白部分的高度的合计是否为阈值T2以上。如果空白部分的高度的合计为阈值T2以上，则将处理推进到步骤S35，否则，将处理推进到步骤S37。在步骤S35中，缩小在源内容的显示部分中包含的多个子内容。并且，通过以配置位置为中心，在显示部分内上下移动缩小后的多个子内容，从而生成改变内容(步骤S36)，将处理推进到步骤S44。

在步骤S37中，判断配置位置是否为显示图像的上部。如果是显示图像的上下方向的中心的上面，则判断为上部。如果配置位置为显示图像的上部，则将处理推进到步骤S38，否则将处理推进到步骤S41。在步骤S38中，新生成下页的页数据，并追加到源内容中。新生成的下页的页数据为空白页。在下一步骤S39中，将在配置位置的下侧且配置在最远处的子内容配置在新生成的下页的页数据中。在下一步骤S40中，使配置在配置位置的下侧的子内容向下侧移动，将处理推进到步骤S44。使配置在配置位置的下侧的子内容移动，直到在显示部分中包含的子内容中最下侧的子内容配置在显示部分之外为止。由此，在配置位置的下侧确保插入区域。

在步骤S41中，与步骤S38同样，新生成前页的页数据，追加到源内容中。新生成的前页的页数据为空白页。在下一步骤S42中，将在配置位置的上侧且配置在最远处的子内容配置在新生成的前页的页数据中。在下一步骤S43中，使配置在配置位置的上侧的子内容向上侧移动，将处理推进到步骤S44。使配置在配置位置的上侧子内容移动，直到在显示部分中包含的子内容中最上侧的子内容配置在显示部分之外为止。由此，在配置位置的上侧确保插入区域。

在步骤S44中，将在步骤S33、步骤S36、步骤S40或者步骤S43中生成的改变内容和插入位置与源内容相关联存储在HDD116中，将处理返回到显示处理。插入位置是改变内容中包含的插入区域的重心的坐标。

<第2实施方式>

在第1实施方式的会议系统1中，通过语音自动跟踪功能或者通过用户对MFP100输入指示位置，来决定对象子内容。在第2实施方式的会议系统1中，基于会议的发表者或者参加者用笔等在白板221上描画的图像来决定对象子内容。此时，不使用在第1实施方式中的会议系统1中使用的语音自动跟踪功能，并且不需要接受用户的指示位置的输入。

第2实施方式中的会议系统的整体概要与图1所示的相同，MFP100的硬件结构与图2所示的相同。

图12是表示第2实施方式的MFP具有的CPU的功能的概要的方框图。图12所示的功能通过MFP100具有的CPU111执行在ROM113或者闪速存储器119A中存储的显示程序来实现。参照图12，与图3所示的方框图不同点在于，处理对象决定部161被变更为处理对象决定部161A、以及追加了摄像图像获取部181。其它功能与图3所示的相同，这里不重复说明。

摄像图像获取部181经由通信I/F部112控制带有照相机功能的投影仪210，获取通过照相机211拍摄的摄像图像。并且，将获取的摄像图像输出到处理对象决定部161A。

处理对象决定部161A从摄像图像获取部181输入摄像图像，从投影控制部153输入显示图像，从子内容提取部155输入子内容。处理对象决定部161A在从子内容提取部155输入多个子内容的情况下，从多个子内容中决定一个对象子内容。具体而言，比较显示图像和摄像图像，提取包含在摄像图像中但是未包含在显示图像中的差分图像。

并且，处理对象决定部161A将差分图像的色调与显示图像的对应于差分图像的部分的色调相比较，如果两色调之差为规定的阈值TC以内，则决定对象子内容，在两色调之差超过规定的阈值TC的情况下，不决定对象子内容。处理对象决定部161A，在差分图像的颜色与显示图像的对应的部分的颜色为相同的色调的情况下，从多个子内容中、将与差分图像相同的位置、或者配置在其附近的子内容决定为对象子内容，并将对象子内容输出到内容改变部169。

显示图像和差分图像的色调为规定的阈值TC以内的情况，相当于发表者或者参加者在白板221上进行描画的笔的色调为与显示图像相同或者类似的色调的情况。此时，视为发表者或者参加者用笔在白板221上描画了笔记。由于处理对象决定部161A将对象子内容的位置信息输出到内容改变部169，因此，在内容改变部169中，生成确保了插入区域的改变内容，以使发表者或者参加者追加的描画不与显示图像重叠。

另一方面，显示图像和差分图像的色调大于规定的阈值TC的情况，相当于发表者或者参加者在白板221上进行描画的笔的色调为与显示图像不同的色调的情况。此时，视为发表者或者参加者用笔在白板221上描画了用于补充显示图像的信息。处理对象决定部161A由于不将对象子内容的位置信息输出到内容改变部169，因此显示图像原样被显示，维持描画与显示图像相重叠的状态。

因此，通过发表者或者参加者选择在白板221上进行描画的笔的颜色，能够决定是否使其生成改变内容。

图13是表示显示数据以及摄像图像的一例的图。参照图13，作为源内容的显示数据301以及显示部分321与图6所示的显示数据301以及显示部分321相同。在显示部分321内，包含摄像图像351、352。摄像图像351包含字符串“down”，字符串“down”为与子内容315的色调相同的色调。摄像图像352包含字符串“保留”，字符串“保留”为与子内容314的色调不同的色调。另外，摄像图像351、352用虚线表示，但是实际上不存在虚线。此时，子内容314被决定为对象子内容。这里，以将子内容314的下方作为配置位置的情况为例进行说明。

图14是表示改变内容的一例的第5图。图14所示的改变内容是改变了图13所示的作为源内容的显示数据301的一例。参照图14，改变内容301E、301F与图9所示的改变内容301E、301F相同，新的页的页数据作为改变内容301F生成，在该改变内容301F中配置从显示部分311除外的子内容317。另外，将在图13中，显示数据301的显示部分321中包含的剩余的子内容313～316中、配置在对象子内容315的上方决定的配置位置的上侧的子内容313、314向上方移动，将配置在配置位置的下侧的子内容315、316向下方移动，从而如图14所示，生成在对象子内容315的上方配置了空白的插入区域331C的改变内容301E。

改变内容301E的显示部分321包含在改变内容301E中包含的6个子内容311～316中的子内容313～316。在改变内容301E的显示部分321中，子内容313配置在最上部，在其下，子内容314以规定间隔被配置，子内容315以及子内容316以规定的间隔配置在最下部，在子内容315的上部配置插入区域331C。

即使在显示数据301变更为改变内容301E、301F之后，若改变内容301E的显示部分321作为显示图像被投影到白板221上，则摄像图像351、352在显示部分321中的位置也不变动。因此，摄像图像352仍旧与子内容314重叠，但是由于摄像图像352为与子内容314不同的色调，因此用户能够判别两者。另一方面，由于摄像图像351被配置在改变内容301E的插入区域331C，因此，即使摄像图像351的字符串“down”为与子内容315相同的色调，用户也能判别两者。

图15是表示显示处理的一例的第2流程图。显示处理是，通过第2实施方式中的MFP100具有的CPU111执行在ROM113或者闪速存储器119A中存储的显示程序，从而通过CPU111执行的处理。参照图15，与图10不同点在于，取代步骤S06～步骤S19，执行步骤S51～步骤S68。由于步骤S01～步骤S05以及步骤S20～步骤S29的处理与图10所示的处理相同，所以这里不重复说明。

CPU111若在步骤S05中接受插入指示，则在步骤S51中，使带有照相机功能的投影仪210拍摄白板221，从带有照相机功能的投影仪210获取照相机211拍摄得到的摄像图像。

并且，比较在步骤S04或者步骤S29中输出到带有照相机功能的投影仪210的显示图像、和在步骤S51中获取的摄像图像(步骤S52)。在下一步骤S53中，判断在显示图像和摄像图像中是否存在相异的区域。如果存在在显示图像和摄像图像之间相异的相异区域，则将处理推进到步骤S54，否则，将处理返回到步骤S05。

在步骤S54中，将配置在显示图像和摄像图像之间相异的相异区域或者其附近的子内容决定为对象子内容。并且，根据摄像图像和显示图像生成差分图像(步骤S55)。并且，比较差分图像和显示图像，比较在显示图像中与差分图像相同的位置的色调、和差分图像的色调(步骤S56)。判断色调之差是否为规定值TC以下。如果色调之差为规定值TC以下(在步骤S57中为“是”)，则将处理推进到步骤S58，否则(在步骤S57中为“否”)，将处理推进到步骤S66。

在步骤S58中，执行图11所示的改变内容生成处理，将处理推进到步骤S59。在步骤S59中，将改变内容的显示部分设定为显示图像。在下一步骤S60中，将显示图像输出到带有照相机功能的投影仪210，使显示图像投影到白板221上。显示图像包含插入区域的图像，由于插入区域是空白的图像，因此作为发表者或者参加者的用户能够看到在白板221上描画出的部分和显示图像不重叠的图像。

在步骤S61中获取摄像图像。从带有照相机功能的投影仪210中获取带有照相机功能的投影仪210的照相机211拍摄的图像。并且，根据显示图像和摄像图像生成差分图像(步骤S62)。差分图像是在摄像图像中存在、但在显示图像中不存在的图像，包含以手写方式在白板221上追加的描画。在下一步骤S63中，对差分图像进行字符识别(步骤S63)。由此，差分图像中的字符作为文本数据而得到。

并且，将通过进行字符识别得到的文本数据与在步骤S58中生成的改变内容以及决定的插入位置相关联，存储在HDD116中(步骤S64)。在下一步骤S65中，生成将显示图像和差分图像合成的合成图像，将处理推进到步骤S20。在显示图像中，在步骤S59中设定改变内容的显示部分，由于差分图像包含发表者或者参加者以手写方式在白板221上追加的图像，因此合成图像为对改变内容合成了手写的图像的图像。改变内容在与手写的图像重叠的部分包含插入区域，因此生成手写的图像不与其它子内容重叠的合成图像。在下一步骤S20中，合成图像被设定为新的显示图像，输出到带有照相机功能的投影仪210，并且合成图像被显示在白板221上。

另一方面，在步骤S66中，与步骤S63同样，对差分图像进行字符识别。在下一步骤S67中，将进行字符识别得到的文本数据与在步骤S54中决定为对象子内容的子内容相关联，存储在HDD116中。并且，生成将显示图像与差分图像合成的合成图像，将处理推进到步骤S20。在下一步骤S20中，合成图像被设定为新的显示图像，输出到带有照相机功能的投影仪210，合成图像被显示在白板221上。在处理从步骤S68推进的情况下，所显示的合成图像的显示部分是对显示数据合成了手写的图像后的图像。由于对象子内容和手写的图像的色调不同，因此，即使重叠，发表者或者参加者也能够区别对象子内容以及手写的图像，能够判别出各自。

<改变内容的变形例>

接着，说明改变内容的变形例。图16是表示显示数据和显示部分之间的关系的一例的第3图。参照图16，作为源内容的显示数据351包含6个子内容361～366。4个子内容361～364表示字符，子内容365表示图表，子内容366表示照片。

显示部分321与显示数据351的尺寸相同，显示数据351的全部包含在显示部分321中。在图16中，以语音自动跟踪功能设定为开启，被语音识别的字符串包含在以箭头323表示的行中的情况为例来表示。以箭头323表示的行包含在子内容364中，因此子内容364被决定为对象子内容。这里，由于在对象子内容364的下方没有空白的区域，因此，对象子内容的上侧被决定为配置位置。

图17是表示改变内容的一例的第6图。图17所示的改变内容是改变了图16表示的显示数据的一例。参照图17，改变内容351A与图16所示的显示数据351同样包含6个子内容361～366，但是2个子内容363、364的位置不同。子内容363被配置在子内容361、362的右侧，子内容364被配置在原来配置子内容363的位置。另外，改变内容351A在配置子内容364的位置包含插入区域331D，并包含表示子内容363被移动了的箭头371、和表示子内容364被移动了的箭头372。

若改变内容351A作为显示图像被投影到白板221上，则由于改变内容351A包含插入区域331D，因此用户能够以手写的方式在投影到白板221的显示图像的插入区域331D上进行描画。另外，由于在白板221上描画出的图像为对象子内容364的附近，因此用户能够以手写方式追加与对象子内容364相关的信息。

另外，改变内容351A与图16所示的显示数据351同样包含子内容361～366，因此，能够显示插入区域331D而不改变在显示插入区域331D的前后显示的内容。另外，用户能够容易地理解显示插入区域331D的位置为对象子内容364的附近的事实。

进而，由于改变内容351A包含箭头371、372，因此能够容易地掌握显示数据351和改变内容351A之间的差异。

图18是表示显示数据以及手写图像的一例的图。参照图18，作为源内容的显示数据351以及显示部分321与图16所示的显示数据351以及显示部分321相同。在显示部分321内，包含手写图像381。手写图像381与摄像图像相同。手写图像381包含对子内容363进行掩盖(masking)的图像，为与子内容363的色调相同的色调。这里，将手写图像381以与子内容363重叠的线条表示。另外，虽然用虚线包围了手写图像381，但是实际上不存在虚线。

在图18中，以语音自动跟踪功能被设定为开启，被语音识别的字符串包含在以箭头323所示的行中的情况为例来表示。以箭头323表示的行包含在子内容364中，因此子内容364被决定为对象子内容。这里，对象子内容364的上侧被决定为配置位置。

图19是表示改变内容的一例的第7图。图19所示的改变内容是改变了图18所示的显示数据的一例。首先，参照图18，将显示数据351中包含的子内容361～366中、通过手写图像381被掩盖的对象子内容363配置在显示部分321之外。此时，参照图19，新的页的页数据作为改变内容351C生成，在该改变内容351C中配置了从显示部分321除外的子内容363。另外，在图18中，生成在配置了子内容363的位置配置了插入区域331E的改变内容351B。

如以上说明那样，本实施方式的会议系统1在MFP100中，从作为源内容的显示数据中提取多个子内容，从多个子内容中决定一个对象子内容，生成在显示数据中、以对象子内容的附近的配置位置为基准决定的位置上，追加了用于配置作为输入内容的手写图像的插入区域的改变内容，使带有照相机功能的投影仪210显示在附加到改变内容的插入区域中配置了手写图像的合成图像。因此，能够不对显示数据的显示部分的内容加以变更地配置手写图像，使其不与在显示数据中包含的子内容重叠。

另外，内容改变部169包含配置变更部171，变更显示数据的显示部分中包含的多个子内容的配置。因此，由于显示的多个子内容的配置被变更，所以在变更配置的前后，显示内容不变更。因此，能够配置手写图像而不变更显示数据的显示内容。

另外，内容改变部169包含缩小部173，缩小在显示数据的显示部分中包含的多个子内容，变更缩小后的多个子内容的配置。因此，显示的多个子内容被缩小，配置被变更，因此在缩小以及变更配置的前后，显示内容不变更。因此，能够配置手写图像，而不变更显示数据的显示内容。

另外，内容改变部169包含除外部175，将在显示数据的显示部分中包含的多个子内容中的至少一个配置在显示部分之外，变更剩余的子内容的配置。因此，由于尽量留下被显示的多个子内容，配置被变更，因此能够尽可能在变更配置的前后，不变更显示内容。因此，能够尽量减少显示数据的显示内容的变更，配置手写图像。

另外，在第2实施方式中的MFP100，将显示数据中包含的多个子内容中、在显示图像中位于与手写图像重叠的部分的子内容决定为对象子内容。因此，能够容易看到与手写图像重叠的子内容。

进而，MFP100将作为源内容的显示数据、改变内容以及作为输入内容的手写图像相关联存储，进而将手写图像与在改变内容中配置的插入位置以及在源内容中配置对象子内容的位置相关联存储。因此，能够从显示数据、改变内容以及手写图像再现合成图像。

另外，在上述的实施方式中，作为会议系统1以及信息处理装置的一例说明了MFP100，但是当然不用说，可以将发明理解为使MFP100执行图10以及图11、或者图15记载的处理的显示方法、或者使控制MFP100的CPU111执行该显示方法的显示程序。

尽管已经详细地论述和说明了本发明，但应该理解同样的方式用于说明和例示而不限于采用的方式，本发明的精神和范围仅受限于权利要求。

Claims (13)

1.一种会议系统，包含显示装置和可与该显示装置进行通信的信息处理装置，

所述信息处理装置具有：

源内容获取部，获取源内容；

显示控制部，使所述显示装置显示所述获取到的源内容；

子内容提取部，提取在所述获取到的源内容中包含的多个子内容；

处理对象决定部，从所述提取出的多个子内容中决定一个对象子内容；

输入内容接受部，接受从外部输入的输入内容；以及

内容改变部，生成改变内容，该改变内容在所述源内容中、以配置了所述对象子内容的位置为基准决定的位置上追加了用于配置所述输入内容的插入区域，

所述显示控制部使所述显示装置显示在所述改变内容的所述附加的插入区域配置了所述输入内容的图像。

2.如权利要求1所述的会议系统，

所述内容改变部包含配置变更部，该配置变更部变更在所述源内容中包含的多个子内容的至少一个的配置。

3.如权利要求2所述的会议系统，

所述配置变更部变更包含在所述源内容中的、且在所述显示装置显示的多个子内容的配置。

4.如权利要求3所述的会议系统，

所述配置变更部缩小在所述显示装置中显示的多个子内容之间的间隔。

5.如权利要求1所述的会议系统，

所述内容改变部包含缩小部，该缩小部缩小在所述源内容中包含的多个子内容的至少一个。

6.如权利要求5所述的会议系统，

所述缩小部缩小在所述显示装置中显示的多个子内容。

7.如权利要求1所述的会议系统，

所述内容改变部包含除外部，该除外部将包含在所述源内容的、且在所述显示装置显示的多个子内容中的至少一个从显示对象中除外。

8.如权利要求1所述的会议系统，

所述输入内容接受部包含接受手写图像的手写图像接受部。

9.如权利要求8所述的会议系统，

所述显示控制部显示所述源内容的图像，

所述处理对象决定部将位于由所述输入内容接受部接受的手写图像与由所述显示控制部显示的所述源内容的图像重叠的部分的子内容决定为对象子内容。

10.如权利要求1所述的会议系统，

所述信息处理装置还具有内容存储部，该内容存储部将所述源内容、所述改变内容以及所述输入内容相关联存储，

所述内容存储部还将所述输入内容与在所述改变内容中配置该输入内容的插入位置以及在所述源内容中配置所述对象子内容的位置相关联存储。

11.如权利要求1所述的会议系统，

所述处理对象决定部包括：

语音接受部，从外部接受语音；以及

对所述接受到的语音进行识别的语音识别部，

所述处理对象决定部将在所述多个子内容中、包含根据所述识别出的语音选择出的字符串的子内容决定为对象子内容。

12.一种信息处理装置，可与显示装置进行通信，具有：

源内容获取部，获取源内容；

显示控制部，使所述显示装置显示所述获取到的源内容；

子内容提取部，提取在所述获取到的源内容中包含的多个子内容；

处理对象决定部，从所述提取出的多个子内容中决定成为处理对象的对象子内容；

输入内容接受部，接受从外部输入的输入内容；以及

内容改变部，生成改变内容，该改变内容在所述源内容中、以配置了所述对象子内容的位置为基准决定的位置上追加了用于配置所述输入内容的插入区域，

所述显示控制部使所述显示装置显示在所述改变内容的所述附加的插入区域配置了所述输入内容的图像。

13.一种显示方法，由可与显示装置进行通信的信息处理装置执行，包括：

获取源内容的步骤；

使所述显示装置显示所述获取到的源内容的步骤；

提取在所述获取到的源内容中包含的多个子内容的步骤；

从所述提取出的多个子内容中决定成为处理对象的对象子内容的步骤；

接受从外部输入的输入内容的步骤；

生成改变内容的步骤，该改变内容在所述源内容中、以配置了所述对象子内容的位置为基准决定的位置上追加了用于配置所述输入内容的插入区域；以及

使所述显示装置显示在所述改变内容的所述附加的插入区域配置了所述输入内容的图像的步骤。

Images