CN103384896A - 数字漫画编辑装置及其方法 - Google Patents

Abstract

提供了一种数字漫画编辑装置，该数字漫画编辑装置除了基于图像文件利用显示装置显示图像之外，还基于包括在信息文件中的至少两条信息在上述图像上叠加指示包括在至少两条信息中的每个区域信息的图像；添加用于将对应于由指示装置指示的位置的多条区域信息关联起来的关联信息；删除与对应于由指示装置指示的位置的多条区域信息的关联；以及基于已添加的或删除的关联信息来更新信息文件。

Description

数字漫画编辑装置及其方法

技术领域

本发明涉及一种数字漫画编辑器和一种方法，特别地涉及一种数字化漫画内容的领域。

背景技术

近年来，具有经由通信网络浏览网站的功能的便携式通信终端已经变得普遍。作为将被从便携式通信终端浏览的内容，已知通过例如利用扫描仪扫描杂志等中公布的漫画（卡通）来数字化的数字漫画。

针对数字漫画，提出了用于在漫画的数字化期间生成数据以便被适当地显示在便携式通信终端的显示单元上的各种技术。

例如，专利文献1公开了一种图像编辑装置，该装置包括：原始图像组存储装置，用于存储在系统中逐帧放映的具有故事情节的原始图像组，该系统将具有逐帧放映的故事情节的图像组诸如卡通从服务器传输到便携式通信终端；帧排列设定装置，用于设定存储在存储装置中的图像组的每帧的排列；照相排版设定装置，用于设定由帧排列设定装置设定的图像组的每帧的照相排版；帧排列信息存储装置，用于存储由帧排列设定装置设定的帧排列信息集；以及照相排版信息存储装置，用于存储由照相排版设定装置设定的照相排版信息集。

根据专利文献1，除了关于帧排列的信息被存储之外，作为其故事情节将被逐帧放映的图像组的处理，每帧的照相排版信息被并行存储。另外，在对用户提供用于浏览的图像的情况下，对应于每帧的照相排版信息使得能够实现例如清晰显示，以其它语言显示，或由浏览用户编辑，这增加浏览图像组的乐趣。例如，关于对话部分太小以至于看不见的问题，照相排版信息等使得对话部分能够被可靠地浏览。

{引用列表}

{专利文献}

{PTL1}

日本专利申请特开No.2010-129068

发明内容

技术问题

然而，专利文献1未公开在获得每帧的照相排版信息的情况下如何处理存在于多个帧之间的照相排版。因此，当关联不适当时，不清楚如何纠正照相排版与每帧之间的关联。

此外，漫画的构成要素不仅包括被布置在每帧内的照相排版信息（文字），而且还包括充当感兴趣区域的角色、指示角色的对话的对话泡泡等。专利文献1具有无法有效地使用这些条信息的问题。

鉴于上述情况，已经提出了本发明，并且本发明的目的是提供一种数字漫画编辑器和一种当数字化漫画内容时能够容易地编辑通过将帧信息、对话泡泡、文字、感兴趣区域等关联起来而获得的关联结果的方法。

问题的解决方案

为了实现上述目的，根据本发明的一方面的数字漫画编辑器包括：数据获取装置，该数据获取装置获取数字漫画的主数据，该数字漫画的主数据包括：对应于该漫画的每个页面的图像文件，该图像文件具有整个页面的高分辨率图像；以及对应于该漫画的每个页面或所有页面的信息文件，在该信息文件中已经描述了如下信息中的两条或更多条信息：帧信息，包括该页面内的每帧的帧区域信息；对话泡泡信息，包括对话泡泡区域信息，该对话泡泡区域信息指示包括该漫画的一行角色的对话泡泡的图像内的区域；文字区域信息，其指示该漫画的文字区域；以及，感兴趣区域信息，其指示该漫画的感兴趣区域，以及关联信息，其用于将该两条或更多条信息关联起来；显示控制装置，该显示控制装置使显示装置：基于在由该数据获取装置获取的主数据中的图像文件来在显示装置上显示图像、基于包括在该主数据中的信息文件中的两条或更多条信息在所述图像上叠加地显示指示包括在该两条或更多条信息中的每条区域信息的图像，以及基于该关联信息在所述图像上叠加地显示指示该两条或更多条信息彼此关联的图像；指示装置，该指示装置指示在该显示装置上显示的图像上的位置；关联信息添加装置，该关联信息添加装置添加关联信息，用于将对应于由该指示装置指示的位置的多条区域信息关联起来；关联信息删除装置，该关联信息删除装置删除对应于由该指示装置指示的位置的该多条区域信息的关联；以及编辑装置，该编辑装置基于由该关联信息添加装置添加的关联信息和由该关联信息删除装置删除的关联信息来更新包括在该信息文件中的关联信息。

根据本发明的该方面，添加用于将对应于由该指示装置指示的位置的多条区域信息关联起来的关联信息；删除对应于由该指示装置指示的位置的多条区域信息的关联；以及基于添加的或删除的关联信息来更新被包括在该信息文件中的关联信息。因此，当数字化漫画内容时，可以容易地编辑通过将帧信息、对话泡泡、文字、感兴趣区域等关联起来而获得的关联结果。

显示控制装置优选地在图像上叠加地显示通过使用相同的颜色或线型描绘与基于所述关联信息而相互关联的两条或更多条信息相对应的每个区域的外边缘而获得的图像。这使得用户适当地识别相关联的区域。

此外，显示控制装置在图像上叠加地显示通过描绘连接与基于所述关联信息而相互关联的两条或更多条信息相对应的区域的引导线而获得的图像。即使当以此方式显示图像时，相关联的区域也能够由用户适当地识别。

感兴趣区域信息是包括在漫画内的角色的区域信息。关联信息优选地是用于将包括角色的感兴趣区域信息、指示包括一行角色的对话泡泡区域的对话泡泡区域信息、或指示在对话泡泡区域内的文字区域的文字区域信息关联起来的信息。这些条信息的关联使得能够生成适当的主数据。

关联信息可以是用于将帧信息、对话泡泡信息、文字区域信息、和感兴趣区域信息关联起来的信息。这些条信息的关联使得能够生成适当的主数据。

每帧的帧区域信息优选地是表示包围每帧的多边形帧边界上的各顶点的坐标数据、表示帧边界的矢量数据、或表示每帧的帧区域的掩模数据（mask data）。这使得可以获得适当的帧区域信息。

对话泡泡区域信息优选地是表示对应于对话泡泡的形状的多个点的坐标数据、表示对话泡泡的形状的矢量数据、或表示对话泡泡的区域的掩模数据。这使得可以获得适当的对话泡泡区域信息。

文字区域信息优选地是表示文字区域的多边形外边缘上的各顶点的坐标数据、表示文字区域外边缘的矢量数据、或表示文字区域的掩模数据。这使得可以获得适当的文字区域信息。

感兴趣区域信息优选地是表示感兴趣区域的多边形外边缘上的各顶点的坐标数据、表示感兴趣区域的外边缘的矢量数据、或表示该区域的掩模数据。这使得可以获得适当的感兴趣帧区域信息。

数字漫画编辑器优选地包括：图像获取装置，该图像获取装置获取具有整个页面的高分辨率图像的图像文件；区域提取装置，该区域提取装置分析由所述图像获取装置获取的整个页面的图像并且自动地从所述页面内的每帧的帧区域、对话泡泡区域、文字区域和感兴趣区域当中提取两个或更多个区域；信息文件创建装置，该信息文件创建装置创建该信息文件，在该信息文件中已经描述了指示由该区域提取装置提取的两个或更多个区域的信息和该两个或更多个区域的关联信息；以及主数据创建装置，该主数据创建装置创建包括由该图像获取装置获取的漫画的每个页面的图像文件和由该信息文件创建装置创建的对应于漫画的每个页面或所有页面的信息文件的数字漫画的主数据。数据获取装置优选地获取由主数据创建装置创建的主数据。以此方式自动地生成信息文件，从而在短时间内能够实现漫画的数字化。

为了实现上述目的，根据本发明的一方面的数字漫画编辑方法包括：数据获取步骤，该数据获取步骤获取数字漫画的主数据，该数字漫画的主数据包括对应于该漫画的每个页面的图像文件，该图像文件具有整个页面的高分辨率图像；以及对应于该漫画的每个页面或所有页面的信息文件，在该信息文件中已经描述了如下信息中的两条或更多条信息：帧信息，包括该页面内的每帧的帧区域信息；对话泡泡信息，该对话泡泡信息包括对话泡泡区域信息，该对话泡泡区域信息指示包括所述漫画的一行角色的对话泡泡的图像内的区域；文字区域信息，其指示该漫画的文字区域；以及，感兴趣区域信息，其指示该漫画的感兴趣区域，以及关联信息，其用于将该两条或更多条信息关联起来；显示控制步骤，该显示控制步骤使显示装置：基于在由该数据获取步骤获取的主数据中的图像文件来在显示装置上显示图像、基于被包括在该主数据中的信息文件中的两条或更多条信息来在该图像上叠加地显示指示包括在该两条或更多条信息中的每条区域信息的图像，以及基于该关联信息来在该图像上叠加地显示指示该两条或更多条信息彼此关联的图像；指示步骤，指示在该显示装置上显示的图像上的位置；添加关联信息用于将对应于由该指示步骤指示的位置的多条区域信息关联起来的关联信息添加步骤；删除对应于由该指示步骤指示的位置的该多条区域信息的关联的关联信息删除步骤；以及基于由该关联信息添加步骤添加的关联信息和由该关联信息删除步骤删除的关联信息来更新被包括在该信息文件中的关联信息的编辑步骤。

为了实现上述目的，存储根据本发明的一方面的数字漫画编辑程序的非临时计算机可读介质使计算机实现：数据获取功能，用以获取数字漫画的主数据，该数字漫画的主数据包括：对应于该漫画的每个页面的图像文件，该图像文件具有该整个页面的高分辨率图像；以及对应于该漫画的每个页面或所有页面的信息文件，在该信息文件中已经描述了如下信息中的两条或更多条信息：帧信息，包括该页面内的每帧的帧区域信息；对话泡泡信息，该对话泡泡信息包括对话泡泡区域信息，该对话泡泡区域信息指示包括所述漫画的一行角色的对话泡泡的图像内的区域；文字区域信息，所述文字区域信息指示所述漫画的文字区域；以及，感兴趣区域信息，其指示该漫画的感兴趣区域，以及关联信息，其用于将该两条或更多条信息关联起来；显示控制功能，用以使显示装置：基于在由该数据获取功能获取的主数据中的图像文件来在显示装置上显示图像、基于被包括在该主数据中的信息文件中的该两条或更多条信息在图像上叠加地显示指示包括在该两条或更多条信息中的每条区域信息的图像，以及基于该关联信息来在该图像上叠加地显示指示该两条或更多条信息彼此关联的图像；用以指示在该显示装置上显示的图像上的位置的指示功能；用以添加关联信息以便将对应于由该指示功能指示的位置的多条区域信息关联起来的关联信息添加功能；用以删除对应于由该指示功能指示的位置的该多条区域信息的关联的关联信息删除功能；以及用以基于由该关联信息添加功能添加的关联信息和由该关联信息删除功能删除的关联信息来更新被包括在该信息文件中的关联信息的编辑功能。

发明的有利效果

根据本发明，当数字化漫画内容时，可以容易地编辑通过将帧信息、对话泡泡、文字、感兴趣区域等关联起来获得的关联结果。

附图说明

图1示出根据本发明的内容传送系统的构成。

图2是主数据创建的流程图。

图3示出内容图像的示例。

图4示出监视器显示器的示例。

图5示出从内容图像自动地检测到的帧的结果。

图6示出图5中所示的帧检测结果的修改结果。

图7示出从内容图像自动地检测到的帧的结果。

图8示出图7中所示的帧检测结果的修改结果。

图9示出帧边界线的修改。

图10示出从内容图像自动地提取的对话泡泡的结果。

图11示出图10中所示的对话泡泡提取结果的修改。

图12示出从内容图像自动地提取的对话泡泡的结果。

图13示出图12中所示的对话泡泡提取结果的修改。

图14示出从内容图像自动地提取的对话泡泡的结果。

图15示出对话泡泡的提取。

图16示出该对话泡泡的提取。

图17示出该对话泡泡的提取。

图18示出该对话泡泡的提取。

图19示出该对话泡泡的提取。

图20示出从内容图像自动地提取的文字的结果。

图21示出图20中所示的文字提取结果的修改。

图22示出从内容图像自动地提取的感兴趣区域的结果。

图23示出图20中所示的感兴趣提取结果的区域的修改。

图24示出对话泡泡和感兴趣区域的关联。

图25示出对话泡泡和感兴趣区域的关联。

图26是信息文件的结构的帧格式。

图27是当编辑主数据时监视器屏幕的示例。

图28是当编辑主数据时监视器屏幕的示例。

图29是当编辑主数据时监视器屏幕的示例。

图30是预览屏幕的示例。

图31是示出创作部10的内部构成的框图。

图32是示出显示在监视器上的图像的图示。

图33是示出显示在监视器上的图像的图示。

图34是示出显示在监视器上的图像的图示。

图35是示出显示在监视器上的图像的图示。

图36是示出显示在监视器上的图像的图示。

图37是示出显示在监视器上的图像的图示。

具体实施方式

下面将参照附图描述根据本发明的数字漫画编辑器、方法和程序的实施例。

[内容传送系统的构成]

图1示出了根据本发明的实施例的内容传送系统的构成。该系统包括服务器1和数字图书观看器2，该服务器1由计算机（信息处理器）构成，该数字图书观看器2由智能手机或平板计算机构成。注意，非指定的数量的数字图书观看器2可以访问服务器1。

服务器1包括创作部10、数据库（Db）11、操作部12、输入/输出部13、扫描仪14、和监视器15等。

创作部10包括诸如CPU的信息处理器和存储数字漫画编辑程序等的存储器，以根据数字漫画编辑程序执行各种信息处理。DB11由诸如硬盘和存储器等的存储介质构成。操作部12包括诸如键盘、鼠标、触控板等的操作装置。监视器15是由诸如LCD的显示设备构成的显示装置。

创作部10分析内容图像以创建诸如页面信息、帧信息、对话泡泡的坐标、ROI信息等的数条附随信息，并且为数字图书创建主数据，其中，这些数据片相互关联。另外，创作部10根据主数据创建对于每个数字图书观看器2优化的数据。稍后将给出创作部10的详细描述。

DB11积聚用于以预定的文件格式存储与页码及其附随信息相关联的内容图像的内容文件。内容图像是使用扫描仪14等被数字化的数据的原始内容。原始内容包括以页面为基础设定的漫画、报纸、杂志的文章、办公文档（陈述文档等）、教科书、参考书。另外，每个内容图像的集合与其自身的页码相关联。

内容图像及其附随信息例如以EPUB格式被存储。内容图像可以包括它们的附随信息。附随信息可以包括内容的作者、标题、总页数、卷数、剧集数、出版权的持有者（出版者）等。

内容图像包括轮廓图像和详细图像（高分辨率数据），并且各图像基于页面、帧或锚定点被准备。

附属于内容图像的附随信息包括从操作部12输入的信息、由创作部10作出的分析的结果的信息、或通过输入/输出部13输入的信息。

数字图书观看器2包括数据库（DB）21、显示部24、内容显示控制部25、语音再现部26、操作部27、扬声器28、和输入/输出部29等。

显示部24是包括诸如LCD的显示设备的显示装置。操作部27是包括触控面板等的操作检测装置。操作部27优选地层压在显示部24上，并且能够检测显示部24上的各种操作诸如单击、双击、猛击、长按等。

语音再现部26是将存储在内容文件中的声音相关的信息（与读取声音相关的信息和/或与伴随声音相关的信息）转换成声音以从扬声器28输出声音的电路。

输入/输出部29是输入从服务器1的输入/输出部13输出的内容文件的装置。通常，输入/输出部13和输入/输出部29是通信装置，但它可以是计算机可读存储介质的写入/读取装置。

DB21存储与DB11相同的信息。也就是，当数字图书观看器2对服务器1发出传输数字图书的请求时，服务器1将内容文件从DB11经由输入/输出部29输出到DB21，并且内容文件被存储在DB21中。然而，在DB11中的信息和在DB21中的信息可以不是完全彼此相同的。DB11是存储各种内容图像（例如，不同作者的漫画的各卷的内容图像）的库，以便满足来自各种用户的请求。DB21至少存储与数字图书观看器2的用户期望浏览的内容相关的内容文件。

内容显示控制部25控制在显示部24上的内容的显示。

[内容传送系统的操作]

（A）主数据的创建处理

图2是示出其中创作部10创建主数据的处理流程的流程图。

首先，获取内容图像并且将其存储在DB11中（步骤S1）。服务器1经由存储介质或网络获取对应于漫画的相应页面的整个页面的图像（例如，3000×5000像素或1500×2000像素的高分辨率图像）；或通过扫描仪14读取漫画来获取图像。创作部10获取由服务器1以上述方式获取的内容图像。当已经将内容图像存储在DB11中时，创作部10可以获取存储在DB11中的内容图像。

在步骤S1中，创作部10使监视器15将在步骤S1中获取的内容图像显示在作为用于登记各种信息的屏幕的登记屏幕上。当用户根据登记屏幕上的指令通过操作部12输入各种信息时，创作部10在将内容图像关联起来的同时获取并登记DB11中的信息（步骤S2）。创作部10创建信息文件并且将各种信息存储在信息文件中。创作部10在内容图像与信息文件之间建立相互连接以创建主数据。主数据被存储在DB11中。

各种信息（页面信息）包括与内容相关的数条信息（内容唯一标题ID、标题名称、作者、出版商（出版权的持有者）、出版年代、语言等）、与页面相关的信息、页面名称、和页面ID的信息。与页面相关的信息是指指示内容图像是否为单页面或两页面、右开/左开、以及原始内容的大小的信息。

当在步骤S1中获取图3中所示的图像内容时，创作部10将图4中所示的登记屏幕显示在监视器15上。在登记屏幕上，内容图像G被显示在右手处；并且获取的内容图像的列表L被显示在左手处。“索引”是被自动地提供给获取的内容图像的文件ID。在列表L中，获取的内容图像的多条信息被以文件ID的顺序显示。在登记之前，除“索引”之外，“0”被显示在列中。

当用户通过操作部12在“文件名”、“讲话”、“语言”、“翻译”的任一列上进行输入操作时，创作部10显示在列表L中的输入字符信息并且将其存储在DB11中。“文件名”是指文件名称；“讲话”指示声音信息的存在；“语言”指示被包括内容图像中的字符信息的语言；“翻译”指示存在到被包括在内容图像中的字符信息的多种语言的翻译。“koma”指示帧数量，在此点处，“0”被显示（稍后自动地输入）。

创作部10自动地分析内容图像（步骤S3）。当用户检查（选择）“自动Koma”和/或“自动对话气球”的勾选框并且通过操作部12按图4所示的登记屏幕中的确认（OK）按钮A时，自动分析被执行。在该实施例中，在假设“自动Koma”和“自动对话气球”被选择的情况下作出描述。

当“自动Koma”被选择时，创作部10基于包括在内容图像中的关于线的信息自动地检测帧。关于包括在内容图像中的线的信息通过例如识别如下部分而获取，在该部分中，在内容图像中具有更强的对比度的区域作为一条线线性地出现。

当“自动对话气球”被选择时，创作部10从内容图像提取文字并且将包围文字的周边的封闭区域确定为对话泡泡区域；因此，包括在内容图像中的对话泡泡被提取。包括在创作部10中的光学字符阅读器（OCR）提取文字。基于文字的方向来对由OCR读取的文字进行排序。例如，当文字垂直地滚动时，从行的顶端到底端并且从行的右侧朝行的左侧来排序文字。

可以基于机器学习来执行帧检测和对话泡泡提取。例如，可以基于学习样本漫画，根据经验来设定帧和对话泡泡的外边缘的检测准确性、矩形以外的帧区域和对话泡泡的充分性的确定阈值。

信息文件存储关于帧的帧信息、关于对话泡泡的对话泡泡信息、和关于文字的文字信息。

帧信息包括帧区域信息。帧区域信息是指示包括被包括在页面中的帧的数量、指示包围帧的多边形帧边界上的各顶点的坐标数据和每帧的形状的帧区域的信息。帧区域信息可以是指示帧边界线的矢量数据或指示帧区域的掩模数据。帧信息进一步包括与每帧的帧顺序（再现顺序）相关的帧顺序信息等。基于右开/左开页面上的信息、关于表示语言的内容的信息、从帧区域信息检测到的帧分配等，从帧顺序的一些过渡模式来选择帧顺序的适当的模式，该帧顺序诸如例如，从页面的右上到左下、或从左上到右下、以及移位方向（水平方向或垂直方向）等。从而，根据选择的过渡模式自动地确定帧顺序。

对话泡泡信息包括对话泡泡区域信息。对话泡泡区域信息是指示在页面单元（或帧单元）内对话泡泡所存在的区域的信息，包括指示在线上的对应于对话泡泡形状的多个点的位置信息（例如，坐标数据）、对话泡泡的形状（例如，矢量数据）、对话泡泡的起始点位置和方向（对话泡泡的顶点）、和对话泡泡的大小。对话泡泡区域信息可以是指示对话泡泡的全区域（范围）的位图信息（掩模数据）。对话泡泡区域信息可以由对话泡泡的特定位置（例如，中心位置）和对话泡泡的大小来表示。对话泡泡信息进一步包括：被包括在对话泡泡中的文字上的信息、对话泡泡的线的属性（虚线、实线等）、对话泡泡的说话者的ID信息、和对话泡泡所属的帧。

文字信息包括文字区域信息和关于文字的内容的信息。文字区域信息包括指示线上的文字区域的多边形外边缘的各顶点的位置信息（例如，坐标数据）。注意，文字区域信息可以是指示文字区域的外边缘的矢量数据或指示文字区域（范围）的位图信息（掩模数据）。

关于文字的内容的信息包括由OCR指定的文字（句子）字符属性信息、行数、行间隔、字符间距、显示切换方法、语言、垂直书写/水平书写、阅读方向的区别等。字符属性信息包括字符大小（点数等）和字符分类（字体、高亮字符等）。文字信息包括对话泡泡中的说话者的对话。文字信息还包括翻译句子和对应于布置在对话泡泡中的原始对话的各种语言（2种或更多种以上语言的翻译句子是可用的）的语言。

创作部10将其中文字和对话泡泡彼此关联的信息和其中对话泡泡或文字和帧相互关联的信息作为关联信息存储在信息文件中。由于文字在对话泡泡的提取期间被提取，所以文字与文字被从其提取的对话泡泡相关联。通过将包括在对话泡泡信息内的坐标与包括在帧信息内的坐标相比较，确定其中包括对话泡泡的帧。因此，对话泡泡与其中包括对话泡泡的帧相关联。当在文字周围发现未封闭区域时，这是仅当字符被包括在帧内时的情况。因此，文字与其中包括文字的帧相关联。

创作部10通过将帧信息、对话泡泡信息和文字信息储存在信息文件中来更新主数据。当手动地进行步骤的所有处理时，需要庞大的工作量。通过自动地执行如上所述的处理，主数据被有效地创建。

创作部10将原始内容图像和在步骤S3中被自动地分析的内容图像的帧的检测结果彼此相邻地显示在监视器15上，通过操作部12接收帧检测结果的纠正输入，并且基于该结果执行帧设定（步骤S4）。

详细地描述步骤S4中的处理。图5示出图3所示的内容图像的自动分析的帧检测结果（文件ID：1，文件名：yakisoba_003）。实际上，图3所示的内容图像和图5所示的帧检测结果被彼此相邻地显示在监视器15上。然而，可以仅显示图5所示的帧检测结果。创作部10基于信息文件显示帧检测结果。帧检测结果用粗点线显示，且每帧的边界线（在下文中，被称为帧边界线）与反差图像重叠；并且指示帧的阅读顺序的帧顺序被显示在每帧的中心处。通过这样，用户能够检查当前帧区域信息（帧分配）和帧顺序。

当预定的帧由用户选择时，创作部10将帧的帧边界的颜色改变成不同于其它帧边界线的颜色的颜色（例如，选择的帧是红线；未被选择的帧是蓝线），并且开始接收选择的帧的纠正输入。通过这样，用户能够检查将被编辑的帧。

（1）增加帧

在帧被选择的状态下，当帧中的某一位置被选择时，创作部10添加与选择的位置相邻的帧边界线，并且与此同时，更新帧顺序。在步骤S3，虽然线被提取并且被识别，但是如果线不能被识别为帧边界线，则导致不正确的识别。当在帧中的某一位置被选择时，创作部10提取与选择指令被输入的位置相邻的线，通过将该线识别为帧边界线而添加新的帧边界线，该选择指令被输入的位置被识别为线但未被识别为帧边界线。

在图5所示的帧检测结果中，在内容图像的中心处的帧顺序2中，虽然实际上存在两个帧，但是它们被识别为单帧。因此，当用户通过操作部12选择与在帧的中心处的线A相邻的点时，创作部10将在内容图像的中心处的帧划分成如图6所示的帧顺序2的帧和帧顺序3的帧。

伴随帧的增加，创作部10修改帧顺序。在这种情况下，图5中的帧的帧顺序3被改变为4，并且图5中的帧顺序4被改变为5。

（2）删除帧

在图7所示的示例中，作为伪识别的结果，树B的树干是划分帧的线，虽然内容图像的上部被划分为两个部分，但实际上，内容图像的上部的帧是单帧。图7所示的图像被显示在监视器15上，在具有帧顺序1的帧或具有帧顺序2的帧被选择的状态下，当用户通过操作部12选择在具有帧顺序1的帧与具有帧顺序2的帧之间的帧边界线时，创作部10删除图7中的在具有帧顺序1的帧与具有帧顺序2的帧之间的帧边界线，并且将内容图像的上部的帧修改为如图8所示的具有帧顺序1的单帧。

伴随帧的删除，创作部10修改帧顺序。在这种情况下，图7中的帧顺序3改变为2；并且帧顺序4改变为3；并且帧顺序6改变为4。

当添加或删除帧边界线时，添加的帧边界线和将被删除的帧边界线可以被显示以与其它帧边界线区分。通过这样，用户能够识别哪条帧边界线被添加以及哪条帧边界线被删除。

（3）帧边界线的修改

当选择的帧被双击时，创作部10接收顶点和坐标的数量的纠正输入。通过这样，能够修改帧的形状和大小。

当选择的帧被双击时，帧边界线的修改屏幕如图9所示被显示。用具有三个或以上顶点的多边形形状来表示帧，并且用连接三个或以上顶点的线来表示帧边界线。在图9中，由于帧具有正方形形状，所以正方形形状顶点和边缘的大致中心处的总共八个顶点被显示。

当用户通过操作部12在帧边界线上在期望的位置处进行双击来输入指令时，顶点被添加到该位置。另外，当用户通过操作部12在期望的顶点上双击来输入指令时，顶点被删除。

当用户通过操作部12拖动期望的顶点时，顶点被移动，如图9所示，帧边界线的形状被修改。通过重复该操作，能够改变帧边界线的形状和大小。

（4）帧顺序的修改

当用户通过操作部12在指示帧顺序的数字上双击时，创作部10接收帧顺序的修改，并且利用通过操作部12的数字输入来修改帧顺序。通过这样，当自动地分析的帧顺序不正确时，帧顺序被修改。

当帧设定完成时，创作部10相应地修改信息文件的帧信息。当在帧设定之后做出显示登记屏幕的指令时，创作部10将在列表L的“koma”的列中的帧的输入数显示在监视器15上。当图6所示的结果被设定时，如图4所示，在具有1的文件ID的“koma”中，5被输入。

当完成帧设定时（在步骤S4中），创作部10将原始内容图像和在步骤S3中被自动地分析的内容图像的对话泡泡的提取结果彼此相邻地显示在监视器15上，通过操作部12接收对话泡泡的提取结果的纠正输入，并且基于结果设定对话泡泡（步骤S5）。

详细地描述步骤S5中的处理。图10是通过自动分析获得的图3所示的内容图像中的对话泡泡的提取结果（文件ID：1，文件名：yakisoba_003）。实际上，图3所示的内容图像和图9所示的对话泡状部提取结果被彼此相邻地显示在监视器15上。然而，可以仅显示图9所示的对话泡泡提取结果。创作部10基于信息文件显示对话泡泡提取结果。创作部10将提取的对话泡泡的覆盖图像显示在监视器15上，使得能够从其它区域区分提取的对话泡泡。在图9中，作为指示对话泡泡区域的图像，其中提取的对话泡泡由阴影覆盖的图像被示出。其中对话泡泡的外边缘被粗体地画出的图像可能被显示为指示对话泡泡区域的图像。

（1）对话泡泡的添加

在图10中所示的提取结果中，由于在左下角处对话泡泡X的边界线的一部分被打断，所以未自动地检测到它。用户通过操作部12连接其中边界线被打断的部分以形成封闭区域。之后，当用户通过操作部12选择封闭区域并且指示识别时，创作部10自动地识别选择的封闭区域作为对话泡泡。结果，如图11所示，阴影也被显示在对话泡泡X上，并且被设定为与其它对话泡泡相同的对话泡泡。

（2）删除对话泡泡

由于气球Y是封闭区域，在图12所示的提取结果中，虽然气球Y不是对话泡泡，但是它被提取为对话泡泡。这由于将气球Y中的字符作为文字的伪识别而引起的。当用户通过操作部12选择气球Y时，创作部10从对话泡泡删除自动地选择的封闭区域（在这种情况下，气球Y的内部）。结果，从气球Y删除阴影，如图13所示。

（3）当未清楚地检测到对话泡泡时修改对话泡泡区域

在图14中所示的提取结果中，在右上部处的对话泡泡Z的一部分未被提取。当如图15中以链线所指示的，对话泡泡中的字符太靠近边界线或与边界线接触时；或当如图15中以两点链线所指示的在对话泡泡中的字符相互太靠近或相互相接触时，造成这种现象。

图16是图14中所示的对话泡泡Z的提取结果的放大图；图17示出字符被删除的图16中所示的提取结果。如图17中所示，在对话泡泡Z中，边界线的一部分与字符（图17-a）相接触；字符的一部分跑到对话泡泡之外（图17-b）。因此，当用户通过操作部12选择对话泡泡中的封闭区域b时，创作部10将封闭区域b自动地确定为如图18所示的对话泡泡（参考图17）。另外，如图18所示，当用户通过操作部12添加对话泡泡的边界线c时，创作部10将由边界线c生成的封闭区域（参考图18）自动地确定为如图19所示的对话泡泡。结果，未被清楚地检测到的对话泡泡被正确地提取，如图19所示。

当如上所述完成对话泡泡的提取结果的纠正输入时，创作部10相应地修改在信息文件中的对话泡泡信息。

在完成对话泡泡设定（步骤S5中）之后，创作部10将原始内容图像和在步骤S3中被自动地分析的内容图像的文字识别结果彼此相邻地显示在监视器15上，并且接收通过操作部12完成的文字的识别结果的纠正输入，并且基于结果执行文字设定（步骤S6）。

详细地描述步骤S6中的处理。图20示出通过图3所示的内容图像（文件ID：1，文件名：yakisoba_003）的自动分析获得的识别结果。实际上，图3所示的内容图像和图20所示的识别结果被彼此相邻地显示在监视器15上。然而，可以仅显示图20所示的文字识别结果。创作部10基于信息文件显示提取结果。创作部10显示其中在监视器15上的粗线中的文字区域从而该文字区域和其它区域的外边缘能够被识别的图像。在图20中，其中文字区域的外边缘被以粗线画出的图像被示出为指示文字区域的图像。然而，指示其中文字区域被半透明地覆盖的文字区域的图像可以被显示。通过半透明地覆盖，用户能够识别文字。

（1）添加文字

在图20中，手写字符的文字“什么？”未被识别。当用户通过操作部12包围“什么？”以指示识别“什么？”时，创作部10将包围“什么？”的封闭区域识别为文字区域。结果，“什么？”也被设定为如图21中所示的文字区域，并且因此，文字区域信息被获取。

在文字区域被设定之后，字符数据由创作部10的光学字符读取器指定。当未指定字符数据时，创作部10提示用户输入，并且用户通过操作部12输入字符。通过这样，关于文字的内容的信息被获取。

当如上所述已经完成文字提取结果的纠正输入时，创作部10修改在信息文件中的文字信息。

（2）删除文字

当文字区域被错误地识别时，用户通过操作部12在不正确的文字区域上选择期望的位置并且给出指令以执行识别。然后，创作部10自动地删除从信息文件选择的文字区域。创作部10还从信息文件删除关于所删除的文字区域的文字内容的信息。

当文字设定（步骤S6）被完成时，创作部10从原始内容图像自动地提取感兴趣区域（在下文中，被称为ROI）（步骤S7）。ROI是指总是被显示在数字图书观看器2上的项目，它是内容图像的原始漫画中的角色的脸部（或相当于脸部的区域）。角色不仅包括人而且还包括动物、非生命物质，诸如电话、PC、电子设备和机器人。

创作部10包括已知图像分析技术，例如，通过使用脸部检测技术自动地检测角色的脸部的脸部检测装置，并且该脸部检测装置从内容图像检测角色的脸部。创作部10将包围检测到的脸部的多边形形状区域设定为感兴趣区域。基于图像上的特征信息量，通过使用已知图像分析技术，可以自动地检测到诸如动物、建筑物、车辆和其它物体的内容要素的位置、大小、类型。

创作部10将感兴趣区域信息存储在信息文件中，该感兴趣区域信息是关于感兴趣区域（ROI）的信息。感兴趣区域信息可以是指示ROI的多边形外边缘上的各顶点的坐标数据、指示ROI的形状或ROI的外边缘的矢量数据、或指示ROI的掩模数据。感兴趣区域信息进一步包括关于包括在ROI中的角色的信息（例如，自动地给定的角色ID）。另外，感兴趣区域信息可以包括优先级顺序、显示的重要程度、角色的ID信息（名称等）、角色的属性（性别、年龄等）等。

当已经完成ROI的自动提取（步骤S7）时，创作部10通过使用提取的ROI的信息来更新存储在信息文件中的关联信息。也就是，ROI信息进一步与用于将对话泡泡与文字关联起来的关联信息相关联，并且ROI信息进一步与用于将对话泡泡与文字关联起来的关联信息相关联。注意，关联信息可以将帧信息、对话泡泡信息、文字区域信息、和感兴趣区域信息当中的两条或更多条信息关联起来。ROI信息不是必然相关联的。

接着，创作部10接收ROI提取结果的修正输入并且基于结果执行ROI设定（步骤S8）。

详细地描述步骤S8中的处理。图22示出通过图3所示的内容图像的自动分析得出的ROI提取结果（文件ID：1，文件名：yakisoba_003）。实际上，图3所示的内容图像和图22所示的识别结果被彼此相邻地显示在监视器15上。然而，可以仅显示图22所示的ROI提取结果。创作部10基于信息文件显示ROI提取结果。创作部10将具有粗体地画出的ROI的外边缘的图像显示在监视器15上，以促进ROI和其它区域的识别。在图22中，其中ROI的外边缘被粗体地画出的图像被示出为表示ROI的图像。半透明地覆盖的ROI可以被显示为表示ROI区域的图像。通过半透明地覆盖，用户能够识别角色。

（1）添加ROI

在图22中，角色包括男人M和女人F，将他的头转向一侧的男人M的面向左的脸部C未被识别。当用户通过操作部12选择在将他的头转向一侧的男人M的面向左的脸部C上的期望的位置并且给出指令以执行识别时，创作部10将包括指示的位置的封闭区域识别为ROI。另外，创作部10相应地修改信息文件中的感兴趣区域信息。结果，在男人M的面向左的脸部C上显示了表示ROI的图像，如图23所示。

（2）删除ROI

当ROI被错误地提取时，用户通过操作部12选择在不正确的ROI上的期望的点并且给出指令以识别。创作部10自动地删除从信息文件选择的感兴趣区域信息。通过这样，从监视器15删除表示不正确的ROI的图像。

当执行ROI设定时，根据设定来更新被存储在信息文件中的关联信息。

当完成ROI设定（步骤S8）时，创作部10执行配对设定（关联设定）（步骤S9）。

在关联设定中，表示人的ROI例如与被认为是人的对话的对话泡泡相关联。当存在多个ROI时，在判断存在与离对话泡泡最近的ROI的关联之后执行关联，并且在判断存在与在对话泡泡的方向上存在的ROI的关联之后执行关联。然而，在某些情况下这些判断是不正确的。即使当ROI不能被适当地提取时或当多个ROI的对话在一个对话泡泡中被混合时，存在在关联设定中犯错误的可能性。

图24是示出如下示例的图示：在该示例中，虚线圈被叠加地显示在监视器15上的图像上，每个虚线圈分别表示基于存储在信息文件中的关联信息彼此关联的对话泡泡和ROI。

在图24中，对话泡泡i-xii作为对话泡泡被包括；女人F（F1-F3）和男人M（M1-M4）作为ROI被包括。虽然女人F1-F3全是同一人（女人F），但是为了描述，采用女人F1-F3的表达。同样地，虽然男人M1-M4全是同一人（男人M），但是为了描述，采用男人M1-M4的表达。

在图24所示的情况下，对话泡泡i和女人F1被设定为配对1；对话泡泡ii和男人M1被设定为配对2；对话泡泡iii和男人M2被设定为配对3；对话泡泡iv和男人M3被设定为配对4；对话泡泡v和女人F2被设定为配对5；对话泡泡vi和女人F2被设定为配对6；对话泡泡vii和男人M3被设定为配对7；对话泡泡viii和男人M3被设定为配对8；对话泡泡ix和男人M3被设定为配对9；对话泡泡x和男人M4被设定为配对10；对话泡泡xi和女人F3被设定为配对11；并且对话泡泡xii和女人F3被设定为配对12，并且虚线圈被叠加并且被显示成包围各配对。

当用户通过操作部12选择其中预定的配对利用虚线被包围的图像时，创作部10接收配对的修改。

在图24中所示的示例中，在创作部10中设定的关联中，对话泡泡xi与最靠近对话泡泡xi的女人F3相关联。然而，实际上，代替女人F3，对话泡泡xi应与男人M4相关联。因此，存在对配对11进行纠正的需要。

当用户通过操作部12双击配对11时，配对11准备好被编辑。当对话泡泡xi和男人M4被选择时，创作部10将对话泡泡xi和男人M4重置为配对11，并且修改信息文件。

创作部10基于修改的信息文件将关联结果可识别的状态下的内容图像显示在监视器15上。结果，能够在监视器15上检查配对11的修改结果，如图25中所示。

可以为关联信息分配数字。创作部10可以根据位于在右上的对话泡泡的关联分配指定数字，或可以基于输入通过操作部12分配指定数字。数字可以表示对话泡泡的显示顺序。

最终，创作部10将包括在步骤S4-S9中更新的信息文件和内容图像的主数据存储在DB11中（步骤S10）。

注意，也可以利用手动地执行所有的关联的模式。在这种情况下，在基于信息文件在步骤S5和S7中设定的对话泡泡和ROI能够被选择的状态下，创作部10将内容图像显示在监视器15上。当用户通过操作部12逐一选择预定的对话泡泡和ROI时，创作部10识别它们并且将它们设定为配对。由于女人F1在对话泡泡i中讲话，当通过操作部12选择对话泡泡i和女人F1时，创作部10将对话泡泡i和女人F1自动地识别为配对并且将对话泡泡i和女人F1设定为配对1。同样地，当通过操作部12选择对话泡泡ii和男人M1时，创作部10将对话泡泡ii和男人M1自动地识别为配对并且将对话泡泡ii和男人M1设定为配对2。在完成每个对话泡泡的关联之后，创作部10将关联结果存储在信息文件中。

例如，能够使用XML文件格式的文件作为信息文件。图26示出信息文件的结构。在该实施例中，由于各漫画具有信息文件，所以信息文件包括多个页面信息。相应的页面具有页面信息；帧信息与页面信息相关联；并且对话泡泡信息、文字信息、感兴趣区域信息、和关联信息与帧信息相关联。

如上所述，作为关联信息，存在记录信息，该记录信息指示如下信息当中的两条或更多条信息由创作部10作为多条相关联的信息相互关联：包括在页面内的每帧的帧区域信息的帧信息、包括指示在对话泡泡的图像内的区域的对话泡泡区域信息的对话泡泡信息、指示漫画的文字的区域的文字区域信息、和指示漫画的感兴趣区域的感兴趣区域信息（ROI）。

注意，可以为每个漫画而不是为每个页面生成信息文件。

包括漫画的图像文件及其信息文件的主数据的创建使得可以根据数字图书观看器编辑内容，自动地翻译文字，执行翻译编辑和共享，以及执行适合于数字图书观看器等的显示处理，这促进数字图书的传送。

在该实施例中，创作部10获取内容图像并且创建存储帧信息、对话泡泡信息、文字信息等的主数据。然而，创作部10可以获取具有存储各种信息的信息文件的主数据（相当于在图2所示的步骤S2中创建的主数据），然后在步骤S3-S10中执行处理并且可以将最终主数据存储在DB中。另外，创作部10可以获取具有信息文件的主数据（相当于图2中所示的步骤S3中创建的主数据）并且在执行在步骤S4-S10中的处理之后可以将最终主数据存储在DB中，在该信息文件中，帧、对话泡泡和文字被自动地提取，并且帧信息、对话泡泡信息和文字信息被存储。

（B）主数据编辑处理

图27示出用于执行数字图书观看器的编辑的显示屏幕。创作部10将内容图像显示在监视器15上。创作部10基于信息文件以粗线显示每帧的帧边界线。大致地，表示帧的阅读顺序的帧顺序被显示在每帧的中心。帧顺序的显示并不限于上述，而是帧顺序可以在帧的角落处被显示。

创作部10从DB11等获取数字图书观看器2的屏幕大小，并且基于关于数字图书观看器2的屏幕大小的信息和信息文件的信息显示叠加在内容图像上的表示数字图书观看器2的屏幕大小的边界F。当用户通过操作部12输入使帧F垂直地/水平地移位的指令时，响应于来自操作部12的指令，创作部10使帧F垂直地/水平地移位。

创作部10基于关于数字图书观看器2的屏幕大小的信息和信息文件的信息来确定最短显示时间；也就是，显示整个帧所需的滚动次数，并且显示叠加在内容图像上的信息（标记）。在该实施例中，由于标记被大致地显示在每帧中心，所以在图27中，帧顺序被叠加地显示在标记上。

在图27中，滚动次数用矩形标记来表示。当滚动次数是一次时，在图27中，像帧3和帧4那样，帧顺序被显示具有各边缘长度a的正方形形状的标记。当滚动次数是两次或更多次时，在边缘长度中整数倍a的矩形标记被显示。当在垂直方向上的滚动是n次；并且在水平方向上的滚动是m次时，显示垂直和水平长度上的na×ma的矩形标记。在图27中具有帧顺序1、2、6和7的帧中，由于水平滚动是两次并且垂直滚动是一次，所以在水平方向的2a和在垂直方向上的a的矩形标记被显示。通过显示如上所述的标记，在不干预每帧上的帧F的情况下，看一眼标记能够容易地理解滚动的次数和方向。

用户在监视在监视器15上显示的图像的同时使帧边界线如上述那样移位。当用户通过操作部12在帧边界线上进行双击等时，创作部10显示如图28所示的帧边界上的顶点以允许在帧边界线上进行编辑。当用户像步骤S4那样通过操作部12拖动期望的顶点时（图9），顶点被移位并且帧边界线的形状被修改。通过重复该操作，能够改变帧边界线的形状（例如，从五角形改变为矩形）和大小。另外，可以添加或删除顶点。由于增加或删除顶点的操作与步骤S4相同，所以在此处省略其描述。

当帧的大小略大于数字图书观看器2的屏幕大小时，创作部10基于关于数字图书观看器2的屏幕大小的信息和信息文件的信息以不同于其它帧边界线的颜色显示略大于数字图书观看器2的屏幕大小的帧的帧边界线。当帧的垂直和水平大小略大于数字图书观看器2的屏幕大小时的情况是可构想的，例如，假设数字图书观看器2的屏幕大小的约10%作为阈值，帧的边缘的长度比数字图书观看器2的屏幕大小于大约10%的情况。在图27中，以不同于其它帧边界线的颜色的颜色指示具有帧顺序5的帧的帧边界线。

在略大于数字图书观看器2的屏幕大小的帧中，滚动次数能够被减小至一次，并且通过将在帧内不是很重要的部分布置成不可见的，犹如该部分在帧中未被包括一样，能够增加可见性。如图29中所示，略大于帧F的具有帧顺序5的帧的帧边界线的位置和形状被改变，使得滚动次数变为一次。在图29中，具有帧顺序5的帧被布置成较小，使得左端部因一次的滚动次数而被从帧排除。

在改变如上所述的滚动次数之后，创作部10检测滚动次数并且更新信息文件。另外，创作部10将标记的大小改变为a×a，并且将具有帧顺序5的帧的帧边界线的颜色改变成与其它帧相同的颜色。

可以删除或添加帧边界线。由于增加/删除帧边界线的方法与步骤S4中的方法相同，所以省略其描述。例如，在预定的帧被选择的状态下，当用户通过操作部12选择帧的预定的帧边界线时，选择的帧被删除。例如，当帧的大小是小的并且帧F包括两个帧时，通过使用单帧来实现有效的显示是可能的。

创作部10能够将预览屏幕显示在监视器15上。图30示出预览屏幕的示例。创作部10将内容图像显示在监视器15上，同时将表示数字图书观看器2的屏幕大小的边界F叠加显示在内容图像上。创作部10半透明地覆盖在帧F的外部上以预览仅在帧F的内部可见的屏幕。不仅半透明地覆盖在帧F的外部上，而且帧F的外部可以用灰色来覆盖。

当用户通过操作部12给出指令时，创作部10使帧F滚动以显示下一个预览屏幕。当任何帧剩下而未被预览时，创作部10使帧F移位以示出被预览的每个帧以半透明地显示帧F的外部，使得每个帧能够被预览。在图30中所示的示例中，使帧F向左移位“t”的距离。

当在被预览的每个帧上完成预览时，创作部10使帧F移位，使得具有下一个帧顺序的帧的右端与帧F的右端对准，并且半透明地显示帧F的外部。

通过这样，用户能够检查在数字图书观看器2上的图像的状态。因此，能够更加适当地编辑主数据。

主数据的编辑处理并不限于创作部10创建主数据的情况。由外部数字漫画生成设备创建的主数据可以被存储在服务器1的DB11中并且可以编辑该主数据。

关联的纠正处理的细节

图31是示出创作部10的内部结构的框图，并且主要示出与关联信息相关的功能块。如图中所示，创作部10包括主数据获取部10a、关联信息图像生成部10b、关联信息图像叠加部10c、关联信息删除部10d、关联信息添加部10e以及关联信息更新部10f等。

主数据获取部10a用作主数据获取装置，其从DB11获取通过将内容图像与信息文件相连接而获得的主数据，并且将获取的数据存储在RAM（未示出）中。

关联信息图像生成部10b用作图像生成装置，该图像生成装置读出包括在被存储在RAM中的主数据内的信息文件中的关联信息并且生成指示相互关联的区域的图像。关联信息图像叠加部10c用作显示控制装置，该显示控制装置将存储在RAM内的主数据内的图像文件的页面图像与由关联信息图像生成部10b生成的图像叠加，并且根据用户对操作部12的操作将该两种图像显示在监视器15上。

关联信息删除部10d用作关联信息删除装置，该关联信息删除装置根据用户对操作部12的操作删除存储在RAM中的主数据内的信息文件的关联信息。同样地，关联信息添加部10e用作关联信息添加装置，该关联信息添加装置根据用户对操作部12的操作添加存储在RAM中的主数据内的信息文件的关联信息。

关联信息更新部10f用作编辑装置，该编辑装置基于在RAM内的信息文件更新DB11内的主数据，在RAM中，关联信息由关联信息删除部10d或关联信息添加部10e删除或添加。

图32是示出基于存储在信息文件中的关联信息执行的关联信息显示并且示出不同于图24的模式的模式的图示。如图所示，通过描绘对话泡泡区域、文字区域、和ROI区域中的各区域的外边缘而获得的图像被可叠加地显示在监视器15上的图像上，该各区域与每帧相关联以便对应于选择的帧。

图32的示例示出帧100由操作部12选择的情况。主数据获取部10a从DB11获取主数据并且将数据存储在RAM中。此外，主数据获取部从存储在RAM中的主数据的信息文件获取选择的帧100的关联信息。本文假设对话泡泡111和112、文字区域121、122a、和122b、以及ROI131和132与帧100相关联。此外，对话泡泡111、文字区域121、和ROI131作为一组（组a）相互关联，并且对话泡泡112、文字区域122a和122b、以及ROI132作为一组（组b）相互关联。

关联信息图像生成部10b生成通过描绘与帧100相关联的对话泡泡111和112、文字区域121、122a、以及122b和ROI131和132的每个的外边缘而获得的图像。这时，在组a和组b中，设定不同的关联，以不同的线型生成图像。在图31的示例中，通过在组a中用虚线描绘外边缘来生成图像，并且通过在组b中用长和短划线描绘外边缘来生成图像。

关联信息图像叠加部10c将生成的图像以及存储在RAM中的主数据内的图像数据以叠加的方式显示在监视器15上。以叠加的方式显示使得用户能够识别与选择的帧相关联的对话泡泡区域、文字区域、和ROI。当在选择的帧中设定多个不同的关联时，这样的显示就区分各个关联而言使得用户能够识别关联如何被设定。

注意，代替改变描绘外边缘的线的线型，可以改变颜色。例如，可以降低的对比度来显示不同于显示的图像（页面）的选择的帧100的部分以阐明该部分未被选择。此外，多个帧可以被配置以便被选中，并且可以为所有的帧同时显示关联信息。

关联信息可以像图33中所示的那样被显示。具体地，通过描绘连接对话泡泡区域、文字区域、和ROI区域的每个的线而获得的图像可以被叠加在图像上，该各区域与选定的帧相关联以便对应于选择的帧。

在图33的示例中，当帧100由操作部12选择时，根据与帧100相关联的对话泡泡111和112以及ROI131和132来描绘线141和142。彼此关联的对话泡泡111和ROI131由线141连接，并且彼此关联的对话泡泡112和ROI132由线142连接。

虽然本文省略了文字区域，但是当与帧100相关联地包括文字区域时，将由线连接的图像可以以类似的方式被生成、被叠加和被显示。可以改变线141与142之间的线型和颜色。

甚至在如图33所示的显示中，用户能够识别与选择的帧相关联的对话泡泡区域、文字区域、和ROI。当在选择的帧中设定多个不同的关联时，这样的显示就区分各个关联而言使得用户能够识别关联如何被设定。

接着，将描述关联的纠正处理的细节。本文假设在主数据的信息文件中，对话泡泡160a、160b和160c与帧150相关联，并且对话泡泡162与帧152相关联。

当帧150由操作部12选择时，关联信息图像生成部10b基于由主数据获取部10a从DB11获取的主数据生成通过描绘帧150和对话泡泡160a、160b、和160c的各区域的外边缘而获得的图像。关联信息图像叠加部10c将该图像与页面图像叠加并且将图像显示在监视器15上。图34示出在监视器15上显示的图像。

在创作部10的自动关联设定中，对话泡泡160a与帧150相关联。在自动关联设定中，例如，像在对话泡泡160a中那样，通过比较占据每帧的最大区域的对话泡泡面积和ROI的面积来确定存在于多个帧中的每一个中的对话泡泡和ROI。本文假设对话泡泡160a与帧150相关联，因为存在于帧150中的面积大于存在于帧152中的面积。然而，实际上，对话泡泡160a应与帧152相关联。在此处，给出如下示例的描述：其中，对话泡泡160a被纠正（更新）以便与帧152相关联。

首先，在图34所示的图像被显示在监视器15上的状态下，用户通过操作部12选择关联信息纠正图标（未示出），并且选择对话泡泡160a。根据该操作，关联信息图像生成部10b生成图像，其中未描绘对话泡泡160a的区域的外边缘，并且描绘了帧150以及对话泡泡160b和160c的各区域的外边缘。关联信息图像叠加部10c将该图像叠加在页面的图像上并且将该图像显示在监视器15上。图35示出此时在监视器15上显示的图像。

当在该状态下完成纠正之后，关联信息删除部10d将对话泡泡160a从存储在RAM中的主数据的信息文件内的帧150的关联信息中删除。关联信息更新部10f基于存储在RAM中的主数据更新DB11的主数据。因此，帧150和对话泡泡160彼此不相关联。

接着，当帧152由操作部12选择时，关联信息图像生成部10b根据该操作生成通过描绘帧152和与帧152相关联的对话泡泡162的区域的外边缘而获得的图像。关联信息图像叠加部10c将该图像叠加在页面的图像上并且将该图像显示在监视器15上。图36示出此时在监视器15上显示的图像。

在这种状态下，再次选择关联信息纠正图标（未示出），并且选择对话泡泡160a。根据该操作，关联信息图像生成部10b生成通过描绘与帧152相关联的对话泡泡162和选择的对话泡泡160a的各区域的外边缘而获得的图像。关联信息图像叠加部10c将该图像叠加在页面的图像上并且将该图像显示在监视器15上。

结果，如图37所示，通过描绘帧152以及对话泡泡162和160a的各区域的外边缘而获得的图像被叠加并且被显示。

当在该状态下完成纠正时，关联信息添加部10e将对话泡泡160a添加到在存储在RAM中的主数据的信息文件内的帧152的关联信息。关联信息更新部10f基于存储在RAM中的主数据更新DB11的主数据。因此，帧152和对话泡泡160彼此相关联。

如上所述的结构使得用户能够手动地更新关联信息。

注意，在将对话泡泡或文字最近添加到帧的关联信息的情况下，当在帧中存在多个ROI时，哪个ROI与添加的对话泡泡或文字相关联可能是不清楚的。在这种情况下，用户可以选择将被相关联的ROI。

根据该实施例，数字漫画的内容的主数据由数字图书的传送服务器创建和编辑。然而，关于创建主数据的装置，可以是不同于传送内容的服务器的数字漫画编辑器。数字漫画编辑器可以利用通用个人计算机来配置，其中，根据本发明的数字漫画编辑程序经由存储它的非临时计算机可读存储介质来安装。

响应于来自各种移动终端的传送请求，通过服务器（传送服务器）来传送如上述那样创建和编辑的主数据。在这种情况下，传送服务器获取关于移动终端的型号的信息。主数据可以在已经被处理成适合于由该型号（屏幕大小等）浏览的数据之后被传送；主数据可以在未被处理的情况下被传送。当主数据在未被处理的情况下被传送时，在主数据能够被浏览之前，主数据必须被转换成适合于在移动终端侧处使用观看器软件的移动终端的数据。然而，主数据包括如上所述的信息文件。观看器软件使用在信息文件中描述的信息来在移动终端上显示内容。

此外，本发明的技术范围并不限于上述实施例的范围。在不脱离本发明的主旨的情况下，各实施例中的部件能够适当地在实施例之间被组合。

附图标记

1：服务器，2：数字图书观看器，10：创作部，10a：主数据获取部，10b：关联信息图像生成部，10c：关联信息图像叠加部，10d：关联信息删除部，10e：关联信息添加部，10f：关联信息更新部，11：数据库（DB），12：操作部，15：监视器

Claims (12)

1.一种数字漫画编辑器，包括：

数据获取装置，所述数据获取装置获取数字漫画的主数据，所述数字漫画的主数据包括：对应于所述漫画的每个页面的图像文件，所述图像文件具有整个页面的高分辨率图像；以及对应于所述漫画的每个页面或所有页面的信息文件，在所述信息文件中已经描述了如下信息中的两条或更多条信息：帧信息，所述帧信息包括在所述页面内的每帧的帧区域信息；对话泡泡信息，所述对话泡泡信息包括对话泡泡区域信息，所述对话泡泡区域信息指示包括所述漫画的一行角色的对话泡泡的图像内的区域；文字区域信息，所述文字区域信息指示所述漫画的文字区域；以及，感兴趣区域信息，所述感兴趣区域信息指示所述漫画的感兴趣区域，以及关联信息，所述关联信息用于将所述两条或更多条信息关联起来；

显示控制装置，所述显示控制装置使显示装置：基于由所述数据获取装置获取的所述主数据中的所述图像文件来在所述显示装置上显示图像、基于所述两条或更多条信息来在所述图像上叠加地显示指示包括在所述两条或更多条信息中的每条区域信息的图像，以及基于所述关联信息在所述图像上叠加地显示指示所述两条或更多条信息彼此关联的图像；

指示装置，所述指示装置指示在所述显示装置上显示的图像上的位置；

关联信息添加装置，所述关联信息添加装置添加关联信息，用于将对应于由所述指示装置指示的位置的多条区域信息关联起来；

关联信息删除装置，所述关联信息删除装置删除对应于由所述指示装置指示的位置的所述多条区域信息的关联；以及

编辑装置，所述编辑装置基于由所述关联信息添加装置添加的关联信息和由所述关联信息删除装置删除的关联信息来更新包括在所述信息文件中的关联信息。

2.根据权利要求1所述的数字漫画编辑器，其中，所述显示控制装置在所述图像上叠加地显示通过使用相同的颜色或线型描绘与基于所述关联信息而相互关联的两条或更多条信息相对应的每个区域的外边缘而获得的图像。

3.根据权利要求1所述的数字漫画编辑器，其中，所述显示控制装置在图像上叠加地显示通过描绘连接与基于所述关联信息而相互关联的两条或更多条信息相对应的区域的引导线而获得的图像。

4.根据权利要求1至3中的任一项所述的数字漫画编辑器，其中，

所述感兴趣区域信息是包括所述漫画内的角色的区域信息，并且

所述关联信息是用于将包括所述角色的感兴趣区域信息、指示包括一行角色的对话泡泡区域的对话泡泡区域信息、或指示在所述对话泡泡区域内的文字区域的文字区域信息关联起来的信息。

5.根据权利要求1至4中的任一项所述的数字漫画编辑器，其中，所述关联信息是用于将所述帧信息、所述对话泡泡信息、文字区域信息、和感兴趣区域信息关联起来的信息。

6.根据权利要求1至5中的任一项所述的数字漫画编辑器，其中，每帧的所述帧区域信息是表示包围每帧的多边形帧边界上的各顶点的坐标数据、表示所述帧边界的矢量数据、或表示每帧的帧区域的掩模数据。

7.根据权利要求1至6中的任一项所述的数字漫画编辑器，其中，所述对话泡泡区域信息是表示对应于所述对话泡泡的形状的多个点的坐标数据、表示所述对话泡泡的形状的矢量数据、或表示所述对话泡泡的区域的掩模数据。

8.根据权利要求1至7中的任一项所述的数字漫画编辑器，其中，所述文字区域信息是表示所述文字区域的多边形外边缘上的各顶点的坐标数据、表示所述文字区域的外边缘的矢量数据、或表示所述文字区域的掩模数据。

9.根据权利要求1至8中的任一项所述的数字漫画编辑器，其中，所述感兴趣区域信息是表示所述感兴趣区域的多边形外边缘上的各顶点的坐标数据、表示所述感兴趣区域的外边缘的矢量数据、或表示所述区域的掩模数据。

10.根据权利要求1至9中的任一项所述的数字漫画编辑器，进一步包括：

图像获取装置，所述图像获取装置获取具有所述整个页面的高分辨率图像的图像文件；

区域提取装置，所述区域提取装置分析由所述图像获取装置获取的整个页面的图像并且自动地从所述页面内的每帧的帧区域、对话泡泡区域、文字区域和感兴趣区域当中提取两个或更多个区域；

信息文件创建装置，所述信息文件创建装置创建所述信息文件，在所述信息文件中已经描述了指示由所述帧区域提取装置提取的所述两个或更多个区域的信息和所述两个或更多个区域的关联信息；以及

主数据创建装置，所述主数据创建装置创建所述数字漫画的主数据，所述数字漫画的主数据包括由所述图像获取装置获取的所述漫画的每个页面的图像文件和由所述信息文件创建装置创建的对应于所述漫画的每个页面或所有页面的所述信息文件,

其中，所述数据获取装置获取由所述主数据创建装置创建的所述主数据。

11.一种数字漫画编辑方法，包括：

数据获取步骤，所述数据获取步骤获取数字漫画的主数据，该数字漫画的主数据包括：对应于所述漫画的每个页面的图像文件，所述图像文件具有整个页面的高分辨率图像；以及对应于所述漫画的每个页面或所有页面的信息文件，在所述信息文件中已经描述了如下信息中的两条或更多条信息：帧信息，所述帧信息包括所述页面内的每帧的帧区域信息；对话泡泡信息，所述对话泡泡信息包括对话泡泡区域信息，所述对话泡泡区域信息指示包括所述漫画的一行角色的对话泡泡的图像内的区域；文字区域信息，所述文字区域信息指示所述漫画的文字区域；以及，感兴趣区域信息，所述感兴趣区域信息指示所述漫画的感兴趣区域，以及关联信息，所述关联信息用于将所述两条或更多条信息关联起来；

显示控制步骤，所述显示控制步骤使显示装置：基于由所述数据获取步骤获取的所述主数据中的所述图像文件来在所述显示装置上显示图像、基于所述两条或更多条信息在所述图像上叠加地显示指示包括在所述两条或更多条信息中的每条区域信息的图像，以及基于所述关联信息在所述图像上叠加地显示指示所述两条或更多条信息彼此关联的图像；

指示步骤，所述指示步骤指示在所述显示装置上显示的图像上的位置；

关联信息添加步骤，所述关联信息添加步骤添加关联信息，用于将对应于由所述指示步骤指示的位置的多条区域信息关联起来；

关联信息删除步骤，所述关联信息删除步骤删除对应于由所述指示步骤指示的位置的所述多条区域信息的关联；以及

编辑步骤，所述编辑步骤基于由所述关联信息添加步骤添加的关联信息和由所述关联信息删除步骤删除的关联信息来更新包括在所述信息文件中的关联信息。

12.一种数字漫画编辑程序，使计算机实现：

数据获取功能，所述数据获取功能获取数字漫画的主数据，该数字漫画的主数据包括：对应于所述漫画的每个页面的图像文件，所述图像文件具有整个页面的高分辨率图像；以及对应于所述漫画的每个页面或所有页面的信息文件，在所述信息文件中已经描述了如下信息中的两条或更多条信息：帧信息，所述帧信息包括所述页面内的每帧的帧区域信息；对话泡泡信息，所述对话泡泡信息包括对话泡泡区域信息，所述对话泡泡区域信息指示包括所述漫画的一行角色的对话泡泡的图像内的区域；文字区域信息，所述文字区域信息指示所述漫画的文字区域；以及，感兴趣区域信息，所述感兴趣区域信息指示所述漫画的感兴趣区域，以及关联信息，所述关联信息用于将所述两条或更多条信息关联起来；

显示控制功能，所述显示控制功能使显示装置：基于由所述数据获取功能获取的所述主数据中的所述图像文件来在所述显示装置上显示图像、基于所述两条或更多条信息在所述图像上叠加地显示指示包括在所述两条或更多条信息中的每条区域信息的图像，以及基于所述关联信息在所述图像上叠加地显示指示所述两条或更多条信息彼此关联的图像；

指示功能，所述指示功能指示在所述显示装置上显示的图像上的位置；

关联信息添加功能，所述关联信息添加功能添加关联信息，该关联信息用于将对应于由所述指示功能指示的位置的多条区域信息关联起来；

关联信息删除功能，所述关联信息删除功能删除对应于由所述指示功能指示的位置的所述多条区域信息的关联；以及

编辑功能，所述编辑功能基于由所述关联信息添加功能添加的关联信息和由所述关联信息删除功能删除的关联信息来更新包括在所述信息文件中的关联信息。

Images