JP2013089198A - 電子コミック編集装置、方法及びプログラム - Google Patents
電子コミック編集装置、方法及びプログラム Download PDFInfo
- Publication number
- JP2013089198A JP2013089198A JP2011232155A JP2011232155A JP2013089198A JP 2013089198 A JP2013089198 A JP 2013089198A JP 2011232155 A JP2011232155 A JP 2011232155A JP 2011232155 A JP2011232155 A JP 2011232155A JP 2013089198 A JP2013089198 A JP 2013089198A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- frame
- balloon
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/174—Form filling; Merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】マンガコンテンツを電子化する場合に、コマ情報、吹き出しやテキスト、関心領域などが関連付けられた関連付けの結果を簡単に編集する。
【解決手段】画像ファイルに基づいて画像を表示手段に表示させるとともに、情報ファイルに含まれる2以上の情報に基づいて2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加し、指示手段により指示された位置に対応する複数の領域情報の関連付けを削除し、追加又は削除された関連付け情報に基づいて情報ファイルを更新する電子コミック編集装置によって上記課題を解決する。
【選択図】図31
【解決手段】画像ファイルに基づいて画像を表示手段に表示させるとともに、情報ファイルに含まれる2以上の情報に基づいて2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加し、指示手段により指示された位置に対応する複数の領域情報の関連付けを削除し、追加又は削除された関連付け情報に基づいて情報ファイルを更新する電子コミック編集装置によって上記課題を解決する。
【選択図】図31
Description
本発明は電子コミック編集装置、方法及びプログラムに係り、特にマンガコンテンツを電子化する技術に関する。
近年、通信ネットワークを介してウェブ上のサイトを閲覧する機能を備えた携帯通信端末が普及している。また、携帯通信端末において閲覧されるコンテンツとして、雑誌等に掲載されたコミック(マンガ)をスキャナによって取り込むなどして電子化した電子コミックが知られている。
電子コミックについては、その電子化の際に、携帯通信端末の表示部において適切に表示できるようにデータを生成する様々な技術が提案されている。
例えば特許文献1には、マンガ等のコマ単位でストーリー展開する画像群を、サーバから携帯通信端末に送信するシステムにおいて、コマ単位でストーリー展開する原稿画像群を格納する原稿画像群格納手段と、格納手段に格納された画像群の各コマの配列を設定するコマ配列設定手段と、コマ配列設定手段により設定された画像群の各コマの写植を設定する写植設定手段と、コマ配列設定手段により設定されたコマ配列情報を記憶するコマ配列情報記憶手段と、写植設定手段により設定された写植情報を記憶する写植情報記憶手段とを有する画像編集装置が開示されている。
特許文献1によれば、コマ単位でストーリー展開する画像群に対する処理としてコマ配列に関する情報に加えて、各コマの写植情報も並行して格納されることになり、ユーザに閲覧用の画像を提供する場合も、各コマに対応した写植情報により、鮮明な表示や、他の言語での表示あるいは閲覧ユーザによる編集なども可能となり、画像群を閲覧する楽しみを増加させることができる。例えば、セリフ部分が小さすぎてよく見えないというような問題に対し、写植情報などによりセリフ部分も確実に閲覧できるようになる。
しかしながら、特許文献1には、各コマの写植情報を取得する際に、複数のコマにまたがって存在する写植をどのように処理するのかについては開示されていない。したがって、その写植とコマの関連付けが不適切な場合において、関連付けをどのように修正するのかは不明である。
さらに、マンガの構成要素には、コマ内に配置された写植情報(テキスト)の他にも、関心領域であるキャラクタやキャラクタの台詞を示す吹き出し等があり、特許文献1では、これらの情報を有効に用いることができないという問題点があった。
本発明はこのような事情に鑑みてなされたもので、マンガコンテンツを電子化する場合に、コマ情報、吹き出しやテキスト、関心領域などが関連付けられた関連付けの結果を簡単に編集することができる電子コミック編集装置、方法及びプログラムを提供することを目的とする。
前記目的を達成するために本発明の一の態様に係る電子コミック編集装置は、コミックの1ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの1ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの2以上の情報と、前記2以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得手段と、前記データ取得手段により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記2以上の情報に基づいて前記2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記2以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御手段と、前記表示手段に表示された画像上の位置を指示する指示手段と、前記指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加手段と、前記指示手段により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除手段と、前記関連付け情報追加手段により追加された関連付け情報及び前記関連付け情報削除手段により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集手段とを備えた。
本態様によれば、指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加し、指示手段により指示された位置に対応する複数の領域情報の関連付けを削除し、追加又は削除された関連付け情報に基づいて情報ファイルに含まれる関連付け情報を更新するようにしたので、マンガコンテンツを電子化する場合に、コマ情報、吹き出しやテキスト、関心領域などが関連付けられた関連付けの結果を簡単に編集することができる。
前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている2以上の情報に対応する領域の外周縁を、同じ色又は線種により描画した画像を前記画像上に重畳して表示させることが好ましい。これにより、ユーザが関連付けられている領域を適切に認識することができる。
また、前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている2以上の情報に対応する領域を、それぞれ接続する引き出し線を描画した画像を前記画像上に重畳して表示させてもよい。このように表示させても、ユーザに関連付けられている領域を適切に認識させることができる。
前記関心領域情報は、前記コミック内のキャラクタを含む領域情報であり、前記関連付け情報は、前記キャラクタを含む関心領域情報と、該キャラクタの台詞が入る吹き出し領域を示す吹き出し領域情報、又は前記吹き出し領域内のテキストの領域を示すテキスト領域情報とを関連付ける情報であることが好ましい。このような情報を関連付けることにより、適切なマスタデータを生成することができる。
前記関連付け情報は、前記コマ情報と前記吹き出し情報、テキスト領域情報、及び関心領域情報とを関連付ける情報であってもよい。このような情報を関連付けることにより、適切なマスタデータを生成することができる。
前記コマのコマ領域情報は、各コマを囲む多角形のコマ境界の各頂点を示す座標データ、コマ境界を示すベクトルデータ、又は各コマのコマ領域を示すマスクデータであることが好ましい。これにより、適切なコマ領域情報を得ることができる。
前記吹き出し領域情報は、前記吹き出しの形状に対応する複数点を示す座標データ、前記吹き出しの形状を示すベクトルデータ、又は前記吹き出しの領域を示すマスクデータであることが好ましい。これにより、適切な吹き出し領域情報を得ることができる。
前記テキスト領域情報は、前記テキスト領域の多角形の外周縁の各頂点を示す座標データ、前記テキスト領域の外周縁を示すベクトルデータ、又は前記テキスト領域を示すマスクデータであることが好ましい。これにより、適切なテキスト領域情報を得ることができる。
前記関心領域情報は、前記関心領域の多角形の外周縁の各頂点を示す座標データ、前記関心領域の外周縁を示すベクトルデータ、又は前記領域を示すマスクデータであることが好ましい。これにより、適切なコマ関心領域情報を得ることができる。
前記ページ全体の高解像度の画像を有する画像ファイルを取得する画像取得手段と、前記画像取得手段により取得したページ全体の画像を解析し、該ページ内の各コマのコマ領域、吹き出し領域、テキスト領域、及び関心領域のうちの2以上の領域を自動的に抽出する領域抽出手段と、前記領域抽出手段により抽出した2以上の領域を示す情報と、該2以上の領域の関連情報とが記述された情報ファイルを作成する情報ファイル作成手段と、前記画像取得手段により取得した前記コミックのページ毎の画像ファイルと、前記情報ファイル作成手段により作成された前記コミックのページ毎又は全ページに対応する情報ファイルとから構成される前記電子コミックのマスタデータを作成するマスタデータ作成手段とを備え、前記データ取得手段は、前記マスタデータ作成手段により作成されたマスタデータを取得することが好ましい。このように、自動的に情報ファイルを生成することで、短時間でのコミックの電子化が可能となる。
前記目的を達成するために本発明の一の態様に係る電子コミック編集方法は、コミックの1ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの1ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの2以上の情報と、前記2以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得工程と、前記データ取得工程により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記2以上の情報に基づいて前記2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記2以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御工程と、前記表示手段に表示された画像上の位置を指示する指示工程と、前記指示工程により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加工程と、前記指示工程により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除工程と、前記関連付け情報追加工程により追加された関連付け情報及び前記関連付け情報削除工程により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集工程とを含む。
前記目的を達成するために本発明の一の態様に係るコンピュータにより実現させる電子コミック編集プログラムは、コミックの1ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの1ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの2以上の情報と、前記2以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得機能と、前記データ取得機能により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させると共に、前記マスタデータ内の情報ファイルに含まれる前記2以上の情報に基づいて前記2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記2以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御機能と、前記表示手段に表示された画像上の位置を指示する指示機能と、前記指示工程により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加機能と、前記指示工程により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除機能と、前記関連付け情報追加機能により追加された関連付け情報及び前記関連付け情報削除機能により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集機能とを含む。
本発明によれば、マンガコンテンツを電子化する場合に、コマ情報、吹き出しやテキスト、関心領域などが関連付けられた関連付けの結果を簡単に編集することができる。
以下、添付図面に従って本発明に係る電子コミック編集装置、方法及びプログラムの実施の形態について説明する。
[コンテンツ配信システムの構成]
図1は、本実施形態に係るコンテンツ配信システムの一態様を示す構成図である。このシステムは、コンピュータ(情報処理装置)で構成されるサーバ1と、スマートフォンやタブレット型コンピュータで構成される電子書籍ビューワとを含んで構成される。なお、サーバ1にアクセスする電子書籍ビューワ2は不特定多数であってもよいものとする。
図1は、本実施形態に係るコンテンツ配信システムの一態様を示す構成図である。このシステムは、コンピュータ(情報処理装置)で構成されるサーバ1と、スマートフォンやタブレット型コンピュータで構成される電子書籍ビューワとを含んで構成される。なお、サーバ1にアクセスする電子書籍ビューワ2は不特定多数であってもよいものとする。
サーバ1は、オーサリング部10、データベース(DB)11、操作部12、入出力部13、スキャナ14、モニタ15等を備えている。
オーサリング部10は、CPUなどの情報処理装置及び電子コミック編集プログラム等が格納されている記憶部により構成され、電子コミック編集プログラムに従って各種の情報処理を行う。DB11は、ハードディスクやメモリなどの記憶媒体で構成される。操作部12は、キーボード、マウス、タッチパッドなどの操作手段である。モニタ15は、LCDなどの表示装置で構成される表示手段である。
オーサリング部10は、コンテンツ画像を解析してページ情報、コマ情報、吹き出し座標、ROI情報等の付帯情報を作成し、これらを紐付けた電子書籍用のマスタデータを生成する。また、オーサリング部10は、電子書籍ビューワ2毎に最適化されたデータをマスタデータから生成する。オーサリング部10の詳細については後に詳述する。
DB11は、ページ番号に対応づけられたコンテンツ画像とその付帯情報を所定のファイル形式で格納するコンテンツファイルを蓄積する。コンテンツ画像は、スキャナ14などでオリジナルコンテンツを電子データ化したものである。オリジナルコンテンツは、マンガ、新聞、週刊誌の記事、オフィス文書(プレゼンテーション文書など)、教科書、参考書など、ページ単位で組まれている。また、コンテンツ画像はページ番号と対応づけられている。
コンテンツ画像とその付帯情報は、例えばEPUB形式で保存される。コンテンツ画像には付帯情報が記憶されていてもよい。この付帯情報は、コンテンツの作者、タイトル、総ページ数、巻の番号、エピソードの番号、版権者(出版社)などが含まれうる。
コンテンツ画像は、概略画像、詳細画像(高解像度データ)を含み、それぞれ、ページ、コマあるいはアンカーポイントごとに用意される。
コンテンツ画像に付帯する付帯情報は、操作部12から入力された情報、オーサリング部10の解析結果の情報、あるいは、入出力部13を経由して入力された情報を含む。
また、電子書籍ビューワ2は、データベース(DB)21、表示部24、コンテンツ表示制御部25、音声再生部26、操作部27、スピーカ28、入出力部29等を備えている。
表示部24は、LCDなどの表示装置で構成される表示手段である。操作部27は、タッチパネルなどで構成される操作検知手段である。好ましくは、操作部27は、表示部24に積層されており、表示部24に対するシングルタップ、ダブルタップ、スワイプ、長押しなどの各種操作を検知できる。
音声再生部26は、コンテンツファイルに格納された音声に関する情報(読み上げ音声に関する情報及び/又は付随音声に関する情報)を音声化してスピーカ28から出力する回路である。
入出力部29は、サーバ1の入出力部13から出力されたコンテンツファイルを入力する手段である。典型的には、入出力部13及び入出力部29は、通信手段であるが、コンピュータ読み取り可能な記憶媒体に対する書き込み・読み出し手段であってもよい。
DB21は、DB11と同等の情報を格納する。すなわち、電子書籍ビューワ2が、サーバ1に電子書籍の送信を要求すると、サーバ1は、入出力部29を介してDB11のコンテンツファイルをDB21にエクスポートし、DB21に格納される。ただし、DB11の情報とDB21の情報は完全に同じである必要はない。DB11は、様々なユーザからの要求に応えるため、様々な種類のコンテンツ画像、例えば、異なる作者のマンガの各巻のコンテンツ画像を格納するライブラリである。DB21には、電子書籍ビューワ2のユーザが閲覧したいコンテンツに関係するコンテンツファイルのみが格納されていれば足りる。
コンテンツ表示制御部25は、表示部24に対するコンテンツの表示制御を行う。
[コンテンツ配信システムの動作]
(A)マスタデータ生成処理
図2は、オーサリング部10がマスタデータを生成する処理の流れを示すフローチャートである。
(A)マスタデータ生成処理
図2は、オーサリング部10がマスタデータを生成する処理の流れを示すフローチャートである。
最初に、コンテンツ画像を取得し、DB11に記憶する(ステップS1)。サーバ1は、マンガの各ページに対応するページ全体の画像(高解像度の画像、例えば3000×5000画素又は1500×2000画素)を、記憶メディアやネットワークを介して取得し、あるいはマンガをスキャナ14で読み取ることにより取得し、オーサリング部10はこれらの方法によりサーバ1に取得されたコンテンツ画像を取得する。オーサリング部10は、既にDB11にコンテンツ画像が記憶されている場合には、DB11に記憶されたコンテンツ画像を取得してもよい。
オーサリング部10は、ステップS1で取得したコンテンツ画像に対して各種情報を登録する画面である登録画面をモニタ15に表示させる。そして、ユーザが登録画面の指示に従って、操作部12を介して各種情報を入力すると、オーサリング部10はそれを取得し、コンテンツ画像に関連付けてDB11に登録する(ステップS2)。オーサリング部10は情報ファイルを作成し、各種情報を情報ファイルに記憶する。オーサリング部10は、コンテンツ画像と情報ファイルとを紐付けてマスタデータを作成する。マスタデータは、DB11に記憶される。
各種情報(ページ情報)とは、コンテンツに関する情報(コンテンツ固有のタイトルID、タイトル名、著者、出版社(版権者)、出版年、言語等)、ページに関する情報、ページ名、ページIDの情報を含む。なお、ページに関する情報とは、コンテンツ画像が1ページか見開き2ページかを示す情報、右開き/左開き、オリジナルコンテンツの大きさ等を含む情報である。
ステップS1で図3に示すコンテンツ画像を取得した場合には、オーサリング部10は、図4に示す登録画面をモニタ15に表示する。登録画面は、右側にコンテンツ画像Gが表示され、左側に取得されたコンテンツ画像の一覧Lが表示される。「Index」はファイルIDであり、コンテンツ画像が取得されると自動的に付与される。一覧Lには、取得されたコンテンツ画像の情報がファイルID順に並べて表示される。登録前は、「Index」以外の欄は「0」が表示されている。
ユーザが操作部12を介して「filename」、「speaking」、「Language」、「Translation」の欄を入力すると、オーサリング部10は、入力された文字情報を一覧Lに表示させると共に、DB11に記憶させる。なお、「filename」はファイル名であり、「speaking」は音声情報の有無であり、「Language」はコンテンツ画像に含まれる文字情報の言語であり、「Translation」はコンテンツ画像に含まれる文字情報の多言語への翻訳の有無である。なお、「koma」はコマ数であるが、現段階では「0」が表示されている(後で自動入力される)。
オーサリング部10は、コンテンツ画像を自動解析する(ステップS3)。自動解析は、図4に示す登録画面において、ユーザが操作部12を介して「Auto Koma」及び/又は「Auto Speech Balloon」のチェックボックスにチェックを入れ(選択)、OKボタンAを押すことによって行われる。本実施の形態では、「Auto Koma」及び「Auto Speech Balloon」が選択されたとして説明する。
「Auto Koma」が選択された場合には、オーサリング部10は、コンテンツ画像に含まれる線の情報に基づいて自動的にコマの検出を行う。コンテンツ画像に含まれる線の情報は、例えばコンテンツ画像のコントラストが強い領域が直線的に現れている部分を線と認識することにより取得することができる。
「Auto Speech Balloon」が選択された場合には、オーサリング部10は、コンテンツ画像からテキストを抽出し、テキストの周囲を囲む閉じた領域を吹き出し領域とすることにより、コンテンツ画像に含まれる吹き出しを抽出する。テキストの抽出は、オーサリング部10に含まれる光学式文字読取装置(OCR)により行われる。なお、OCRにより読み出されたテキストは、文字の向きに応じてソートされる。例えば、セリフが縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。
なお、コマの検出や吹き出しの抽出は、マシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の領域のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定するようにすればよい。
情報ファイルには、コマに関する情報であるコマ情報が記憶され、吹き出しに関する情報である吹き出し情報が記憶され、テキストに関する情報であるテキスト情報が記憶される。
コマ情報はコマ領域情報を含む。コマ領域情報は、コマ領域を示す情報であり、ページに含まれるコマ数、各コマを囲む多角形のコマ境界の各頂点を示す座標データ、各コマの形状が含まれる。コマ領域情報は、コマ境界を示すベクトルデータであっても良いし、コマ領域を示すマスクデータであっても良い。また、コマ情報には、各コマのコマ順序(再生順)に関するコマ順序情報などがさらに含まれる。コマ順序は、例えば、右開き/左開きのページに関する情報、使用言語を示すコンテンツに関する情報、コマ領域情報から検知されるコマ割り等に基づいてページの右上から左下、左上から右下、移動方向(左右方向又は上下方向)等のいくつかのコマ順序の遷移パターンのうちから適切なパターンを選択し、その選択した遷移パターンにしたがって自動的に決定される。
吹き出し情報は吹き出し領域情報を含む。吹き出し領域情報は、ページ単位(又はコマ単位)の内での吹き出しの存在領域を示す情報であり、描線上の吹き出しの形状に対応する複数点を示す位置情報(例えば座標データ)、吹き出しの形状(例えばベクトルデータ)、吹き出しの起点(吹き出しの頂点)の位置と向き、吹き出しのサイズが含まれる。なお吹き出し領域情報は、吹き出しの全領域(範囲)を示すビットマップ情報(マスクデータ)でもよい。また、吹き出しの特定位置(例えば中心位置)と吹き出しのサイズによって吹き出し領域情報を表してもよい。吹き出し情報には、吹き出しに含まれるテキストの情報、吹き出しの描線の属性(破線、実線など)、吹き出しの話者の識別情報、吹き出しの属するコマなどがさらに含まれる。
テキスト情報は、テキスト領域情報とテキストの内容に関する情報とを含む。テキスト領域情報は、描線上のテキスト領域の多角形の外周縁の各頂点を示す位置情報(例えば座標データ)が含まれる。なおテキスト領域情報は、テキスト領域の外周縁を示すベクトルデータでもよいし、テキスト領域(範囲)を示すビットマップ情報(マスクデータ)でもよい。
また、テキストの内容に関する情報は、OCRにより特定されたテキスト(文章)文字属性情報、行数、行間隔、文字間隔、表示切り替え方法、使用言語、縦書き/横書き、読み方向の区別などを含む。文字属性情報には、文字サイズ(ポイント数など)、文字種別(フォント、強調文字など)がある。テキスト情報には、吹き出し内の話者の台詞が含まれる。また、吹き出し内に配置された原文の台詞に対応する各種言語の翻訳文とその使用言語(2以上の言語の翻訳文でもよい)も、このテキスト情報に含まれうる。
また、オーサリング部10は、関連付け情報として、テキストと吹き出しとを関連付けた情報や吹き出し又はテキストとコマとを関連付けた情報を情報ファイルに記憶する。吹き出しの抽出時にテキストを抽出するので、テキストはそのテキストが抽出された吹き出しと関連付けられる。また、吹き出し情報に含まれる座標とコマ情報に含まれる座標とを比較することで、吹き出しがどのコマに含まれるかが判断できるため、吹き出しはその吹き出しが含まれるコマと関連付けられる。なお、テキストの周りに閉じた領域が発見できなかった場合には、コマに文字のみが含まれる場合であるため、テキストはそのテキストが含まれるコマと紐付けられる。
オーサリング部10は、コマ情報、吹き出し情報、テキスト情報を情報ファイルに記憶することで、マスタデータを更新する。本ステップの処理を全て手作業で行う場合には膨大な作業量が必要になるが、このように自動的に処理を行うことにより効率的にマスタデータを作成することができる。
オーサリング部10は、元のコンテンツ画像とステップS3で自動解析されたコンテンツ画像のコマの検出の結果とを並べてモニタ15に表示し、操作部12を介してコマ検出結果の補正入力を受け付け、その結果に基づいてコマ設定を行う(ステップS4)。
ステップS4の処理について詳細に説明する。図5は、図3に示すコンテンツ画像(ファイルID:1、ファイル名:ヤキソバ_003)の自動解析によるコマ検出結果である。実際は図3に示すコンテンツ画像と図5に示すコマ検出結果とが並べてモニタ15に表示されが、図5に示すコマ検出結果のみが表示されてもよい。オーサリング部10は、情報ファイルに基づいてコマ検出結果を表示する。コマ検出結果は、各コマの境界(以下、コマ境界という)がコントラスト画像に重ねて太破線で表示され、各コマの中央にはコマの読み順を示すコマ順序が表示される。これにより、ユーザは現在のコマ領域情報(コマ割り)及びコマ順序を確認することができる。
ユーザによって所定のコマが選択されると、オーサリング部10は、そのコマのコマ境の色を他のコマ境界の色と異なる色に変更し(例えば、選択されているコマは赤線、選択されていないコマは青線)、選択されたコマに対する補正入力の受け付けを開始する。これにより、編集対象のコマをユーザが確認することができる。
(1)コマの増加
コマが選択された状態で、コマ内のある位置が選択されると、オーサリング部10は、選択された位置の近傍にコマ境界を増やし、それに伴いコマ順序を更新する。ステップS3において線が抽出、認識されているが、それがコマ境界とされていないために発生する不具合である。コマ内のある位置が選択されると、オーサリング部10は、選択指示が入力された位置近傍の線であって、線として認識されているがコマ境界とされていない線を抽出し、これをコマ境界とすることにより、コマ境界が追加される。
コマが選択された状態で、コマ内のある位置が選択されると、オーサリング部10は、選択された位置の近傍にコマ境界を増やし、それに伴いコマ順序を更新する。ステップS3において線が抽出、認識されているが、それがコマ境界とされていないために発生する不具合である。コマ内のある位置が選択されると、オーサリング部10は、選択指示が入力された位置近傍の線であって、線として認識されているがコマ境界とされていない線を抽出し、これをコマ境界とすることにより、コマ境界が追加される。
図5に示すコマ検出結果では、コンテンツ画像中央部のコマ順序2のコマが、実際は2コマであるにもかかわらず1コマとして認識されている。したがって、ユーザが操作部12を介してコマ中央近傍の線Aの近傍を選択すると、オーサリング部10は、図6に示すように、コンテンツ画像中央部のコマをコマ順序2のコマと、コマ順序3のコマとに分割する。
コマの増加に伴い、オーサリング部10は、コマ順序を修正する。この場合には、図5におけるコマ順序3のコマのコマ順序を4に変更し、図5におけるコマ順序4のコマのコマ順序を5に変更する。
(2)コマの削除
図7に示す例では、木Bの幹をコマ分割の線であると誤認識された結果、コンテンツ画像上部のコマが2つに分割されているが、実際にはコンテンツ画像上部は1コマである。図7に示す画像がモニタ15に表示されている場合に、コマ順序1のコマ又はコマ順序2のコマが選択された状態で、ユーザが操作部12を介してコマ順序1のコマとコマ順序2のコマとの間のコマ境界を選択すると、オーサリング部10は、図7におけるコマ順序1のコマとコマ順序2のコマとの間のコマ境界を消し、図8に示すようにコンテンツ画像上部のコマをコマ順序1の1つのコマにする。
図7に示す例では、木Bの幹をコマ分割の線であると誤認識された結果、コンテンツ画像上部のコマが2つに分割されているが、実際にはコンテンツ画像上部は1コマである。図7に示す画像がモニタ15に表示されている場合に、コマ順序1のコマ又はコマ順序2のコマが選択された状態で、ユーザが操作部12を介してコマ順序1のコマとコマ順序2のコマとの間のコマ境界を選択すると、オーサリング部10は、図7におけるコマ順序1のコマとコマ順序2のコマとの間のコマ境界を消し、図8に示すようにコンテンツ画像上部のコマをコマ順序1の1つのコマにする。
コマの削除に伴い、オーサリング部10は、コマ順序を修正する。この場合には、図7におけるコマ順序3のコマのコマ順序を2に変更し、図7におけるコマ順序4のコマのコマ順序を3に変更し、図7におけるコマ順序6のコマのコマ順序を4に変更する。
なお、コマ境界の増加、削除において、増加するコマ境界及び削除するコマ境界を他のコマ境界と識別可能に表示させてもよい。これにより、どのコマ境界が増加されるか及びどのコマ境界が削除されるかをユーザが把握することができる。
(3)コマ境界の修正
選択されたコマがダブルクリックされると、オーサリング部10は、頂点の数や座標の補正入力の受け付けを行う。これにより、コマの形状や大きさを補正することができる。
選択されたコマがダブルクリックされると、オーサリング部10は、頂点の数や座標の補正入力の受け付けを行う。これにより、コマの形状や大きさを補正することができる。
選択されたコマがダブルクリックされると、図9に示すように、コマ境界の修正画面が表示される。コマは3個以上の頂点を有する多角形で表現され、コマ境界は3個以上の頂点と頂点を結ぶ線とで表現される。図9においてはコマが正方形であるため、正方形の各頂点と辺の略中央の合計8個の頂点が表示される。
ユーザが操作部12を介してコマ境界の所望の位置をダブルクリック等して指示を入力すると、その位置に頂点が追加される。また、ユーザが操作部12を介して所望の頂点をダブルクリック等して指示を入力すると、その頂点が削除される。
ユーザが操作部12を介して所望の頂点をドラッグすると、図9に示すように頂点が移動され、コマ境界の形状が修正される。この動作を繰り返すことにより、コマ境界の形状や大きさを変更することができる。
(4)コマ順序の修正
オーサリング部10は、操作部12を介してコマ順序を示す番号上がダブルクリックされると、そのコマ順序の修正を受け付けるようにし、その後に操作部12により入力された番号をコマ順序として修正する。これにより、自動解析されたコマ順序が誤っている場合にコマ順序を修正することができる。
オーサリング部10は、操作部12を介してコマ順序を示す番号上がダブルクリックされると、そのコマ順序の修正を受け付けるようにし、その後に操作部12により入力された番号をコマ順序として修正する。これにより、自動解析されたコマ順序が誤っている場合にコマ順序を修正することができる。
このようにしてコマ設定が行われたら、オーサリング部10は、それに合わせて情報ファイルのコマ情報を修正する。また、オーサリング部10は、コマ設定後に登録画面の表示が指示されると、一覧Lの「koma」にコマ数が入力されたものをモニタ15に表示する。図6に示す結果が設定された場合には、図4に示すようにファイルIDが1の「koma」に5が入力される。
以上によりコマ設定が行われた(ステップS4)ら、オーサリング部10は、元のコンテンツ画像とステップS3で自動解析されたコンテンツ画像の吹き出しの抽出結果とを並べてモニタ15に表示し、操作部12を介して吹き出しの抽出結果の補正入力を受け付け、その結果に基づいて吹き出し設定を行う(ステップS5)。
ステップS5の処理について詳細に説明する。図10は、図3に示すコンテンツ画像(ファイルID:1、ファイル名:ヤキソバ_003)の自動解析による吹き出しの抽出結果である。実際は図3に示すコンテンツ画像と図9に示す吹き出し抽出結果とが並べてモニタ15に表示されが、図9に示す吹き出し抽出結果のみが表示されてもよい。オーサリング部10は、情報ファイルに基づいて吹き出し抽出結果を表示する。オーサリング部10は、抽出された吹き出しを塗りつぶした画像をモニタ15に表示することで、抽出された吹き出しとその他の領域とを認識可能とする。図9においては、吹き出し領域を示す画像としてハッチングにより抽出された吹き出しを塗りつぶした画像を示しているが、吹き出し領域を示す画像として吹き出しの外周縁を太く描画する等した画像を表示するようにしてもよい。
(1)吹き出しの追加
図10に示す抽出結果では、左下の吹き出しXの境界線の一部が途切れているため、自動的に検出されていない。まず、ユーザが操作部12を介して境界線の途切れている部分を連結して閉領域とする。その後、ユーザが操作部12を介して閉領域を選択して認識を指示すると、オーサリング部10が自動的に選択された閉領域を吹き出しと認識する。その結果、図11に示すように、吹き出しXについてもハッチングが表示され、他の吹き出しと同様に吹き出しとして設定される。
図10に示す抽出結果では、左下の吹き出しXの境界線の一部が途切れているため、自動的に検出されていない。まず、ユーザが操作部12を介して境界線の途切れている部分を連結して閉領域とする。その後、ユーザが操作部12を介して閉領域を選択して認識を指示すると、オーサリング部10が自動的に選択された閉領域を吹き出しと認識する。その結果、図11に示すように、吹き出しXについてもハッチングが表示され、他の吹き出しと同様に吹き出しとして設定される。
(2)吹き出しの削除
風船Yは閉領域であるため、図12に示す抽出結果では、風船Yが吹き出しではないにもかかわらず吹き出しとして抽出されている。これは、風船Y内の文字をテキストとご認識することにより発生する。ユーザが操作部12を介して風船Yを選択すると、オーサリング部10が自動的に選択された閉領域(この場合は、風船Yの内側)を吹き出しから削除する。その結果、図13に示すように、風船Yからハッチングが消去される。
風船Yは閉領域であるため、図12に示す抽出結果では、風船Yが吹き出しではないにもかかわらず吹き出しとして抽出されている。これは、風船Y内の文字をテキストとご認識することにより発生する。ユーザが操作部12を介して風船Yを選択すると、オーサリング部10が自動的に選択された閉領域(この場合は、風船Yの内側)を吹き出しから削除する。その結果、図13に示すように、風船Yからハッチングが消去される。
(3)吹き出し領域が綺麗に検出されていない場合の補正
図14に示す抽出結果では、吹き出しZの右上の一部が抽出されていない。これは、図15の1点鎖線で示すように吹き出し内の文字が境界線に近かったり接していたりする場合や、図15の2点鎖線で示すように吹き出し内の文字同士が近かったり接していたりする場合に発生する。
図14に示す抽出結果では、吹き出しZの右上の一部が抽出されていない。これは、図15の1点鎖線で示すように吹き出し内の文字が境界線に近かったり接していたりする場合や、図15の2点鎖線で示すように吹き出し内の文字同士が近かったり接していたりする場合に発生する。
図16は、図14の吹き出しZの抽出結果の拡大図であり、図17は、図16の中から文字を削除した図である。図17に示すように、吹き出しZは、境界線の一部が文字と連結されており(図17a)、また文字の一部が吹き出し外になってしまっている(図17b)。したがって、ユーザが操作部12を介して吹き出し内の閉じた領域bを選択すると、図18に示すようにオーサリング部10が自動的に閉じた領域b(図17参照)を吹き出しとする。また、図18に示すようにユーザが操作部12を介して吹き出しの境界線cを追加すると、図19に示すようにオーサリング部10が自動的に境界線c(図18参照)により生成された閉じた領域を吹き出しとする。この結果、図19に示すように、綺麗に検出されていなかった吹き出しが正確に抽出される。
このようにして吹き出しの抽出結果の補正入力が行われたら、オーサリング部10は、それに合わせて情報ファイルの吹き出し情報を修正する。
以上により吹き出し設定が行われた(ステップS5)ら、オーサリング部10は、元のコンテンツ画像とステップS3で自動解析されたコンテンツ画像のテキスト認識結果とを並べてモニタ15に表示し、操作部12を介してテキストの認識結果の補正入力を受け付け、その結果に基づいてテキスト設定を行う(ステップS6)。
ステップS6の処理について詳細に説明する。図20は、図3に示すコンテンツ画像(ファイルID:1、ファイル名:ヤキソバ_003)の自動解析によるテキスト認識結果である。実際は図3に示すコンテンツ画像と図20に示す認識結果とが並べてモニタ15に表示されが、図20に示すテキスト認識結果のみが表示されてもよい。オーサリング部10は、情報ファイルに基づいてテキストの抽出結果を表示する。オーサリング部10は、テキスト領域の外周縁を太く描画する画像をモニタ15に表示することで、テキスト領域とその他の領域とを認識可能とする。図20においては、テキスト領域を示す画像としてテキスト領域の外周縁を太く描画した画像を示しているが、テキスト領域を示す画像としてテキスト領域を半透明に塗りつぶした画像等を表示するようにしてもよい。半透明に塗りつぶすことでユーザがテキストを認識できるようにする。
(1)テキストの追加
図20においては、手書き文字からなるテキスト「え?」が認識されていない。ユーザが操作部12を介して「え?」を囲んで認識を指示すると、オーサリング部10が「え?」を囲む閉領域をテキスト領域と認識する。その結果、図21に示すように、「え?」についてもテキスト領域として設定され、テキスト領域情報が取得される。
図20においては、手書き文字からなるテキスト「え?」が認識されていない。ユーザが操作部12を介して「え?」を囲んで認識を指示すると、オーサリング部10が「え?」を囲む閉領域をテキスト領域と認識する。その結果、図21に示すように、「え?」についてもテキスト領域として設定され、テキスト領域情報が取得される。
テキスト領域が設定されたら、オーサリング部10の光学式文字読取装置により文字データが特定される。文字データが特定できなかった場合には、オーサリング部10はユーザに入力を促し、ユーザが操作部12を介して文字を入力する。これにより、テキストの内容に関する情報が取得される。
このようにしてテキストの抽出結果の補正入力が行われたら、オーサリング部10は、それに合わせて情報ファイルのテキスト情報を修正する。
(2)テキストの削除
間違ってテキスト領域が認識されている場合には、ユーザが操作部12を介して誤ったテキスト領域上の所望の位置を選択して認識を指示すると、オーサリング部10が自動的に情報ファイルから選択されたテキスト領域を削除する。オーサリング部10は、削除されたテキスト領域のテキストの内容に関する情報も情報ファイルから合わせて削除する。
間違ってテキスト領域が認識されている場合には、ユーザが操作部12を介して誤ったテキスト領域上の所望の位置を選択して認識を指示すると、オーサリング部10が自動的に情報ファイルから選択されたテキスト領域を削除する。オーサリング部10は、削除されたテキスト領域のテキストの内容に関する情報も情報ファイルから合わせて削除する。
テキスト設定(ステップS6)が終了したら、オーサリング部10は、元のコンテンツ画像から関心領域(以下、ROIという)を自動抽出する(ステップS7)。ROIは、電子書籍ビューワ2で必ず表示したいものを示し、コンテンツ画像の基となるコミックのキャラクタの顔(又は顔に相当する領域)である。なお、キャラクタは人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物も含まれる。
オーサリング部10は、公知の画像解析技術、例えば顔検出の手法を用いてキャラクタの顔を自動的に検出する顔検出手段を有し、顔検出手段はコンテンツ画像からキャラクタの顔を検出する。オーサリング部10は、検出された顔を囲む多角形領域を関心領域として設定する。また、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、公知の画像解析技術を用いて、それらの画像情報に関する特徴量に基づき自動検出されてもよい。
また、オーサリング部10は、関心領域(ROI)に関する情報である関心領域情報を情報ファイルに記憶する。関心領域情報は、ROIの多角形の外周縁の各頂点を示す座標データ、ROIの形状、ROIの外周縁を示すベクトルデータ、又はROIを示すマスクデータであっても良い。また、関心領域情報には、ROIに含まれるキャラクタに関する情報(例えば、自動的につけられたキャラクタID)がさらに含まれる。また、関心領域情報には、優先順位、表示に当っての重要度、キャラクタの識別情報(名称など)、キャラクタの属性(性別、年齢など)が含まれても良い。
ROIの自動抽出(ステップS7)が終了したら、オーサリング部10は、抽出したROIの情報を用いて、情報ファイルに記憶された関連付け情報を更新する。即ち、吹き出しとテキストとを関連付けた関連付け情報に対して、さらにROI情報を関連付けたり、コマと吹き出しとテキストとを関連付けた関連付け情報に対して、さらにROI情報を関連付ける。なお、関連付け情報は、コマ情報、吹き出し情報、テキスト領域情報、関心領域情報のうち、2以上の情報を関連付けるものであればよく、ROI情報が必須なわけではない。
次に、オーサリング部10は、ROI抽出結果の補正入力を受け付け、この結果に基づいてROI設定を行う(ステップS8)。
ステップS8の処理について詳細に説明する。図22は、図3に示すコンテンツ画像(ファイルID:1、ファイル名:ヤキソバ_003)の自動解析によるROI抽出結果である。実際は図3に示すコンテンツ画像と図22に示す認識結果とが並べてモニタ15に表示されが、図22に示すROI抽出結果のみが表示されてもよい。オーサリング部10は、情報ファイルに基づいてROI抽出結果を表示する。オーサリング部10は、ROIの外周縁を太く描画する画像をモニタ15に表示することで、ROIとその他の領域とを認識可能とする。図22においては、ROIを示す画像としてROIの外周縁を太く描画した画像を示しているが、ROI域を示す画像としてROIを半透明に塗りつぶした画像等を表示するようにしてもよい。半透明に塗りつぶすことでユーザがキャラクタを認識できるようにする。
(1)ROIの追加
図22においては、キャラクタは男性Mと女性Fとを含むが、横を向いている男性Mのうち左向きの顔Cが認識されていない。ユーザが操作部12を介して横を向いている男性Mの左向きの顔C上の所望の位置を選択して認識を指示すると、オーサリング部10が指示された位置を含む閉領域をROIと認識する。また、オーサリング部10は、それに合わせて情報ファイルの関心領域情報を修正する。その結果、図23に示すように、男性Mの左向きの顔CにROIを示す画像が表示される。
図22においては、キャラクタは男性Mと女性Fとを含むが、横を向いている男性Mのうち左向きの顔Cが認識されていない。ユーザが操作部12を介して横を向いている男性Mの左向きの顔C上の所望の位置を選択して認識を指示すると、オーサリング部10が指示された位置を含む閉領域をROIと認識する。また、オーサリング部10は、それに合わせて情報ファイルの関心領域情報を修正する。その結果、図23に示すように、男性Mの左向きの顔CにROIを示す画像が表示される。
(2)ROIの削除
誤ってROIが抽出された場合には、ユーザが操作部12を介して誤ったROI上の所望の位置を選択して認識を指示すると、オーサリング部10が自動的に情報ファイルから選択された関心領域情報を削除する。これにより、誤ったROIを示す画像がモニタ15条から削除される。
誤ってROIが抽出された場合には、ユーザが操作部12を介して誤ったROI上の所望の位置を選択して認識を指示すると、オーサリング部10が自動的に情報ファイルから選択された関心領域情報を削除する。これにより、誤ったROIを示す画像がモニタ15条から削除される。
ROI設定を行うと、それに応じて情報ファイルに記憶された関連付け情報が更新される。
ROI設定(ステップS8)が終了したら、オーサリング部10は、ペアリング設定(関連付け設定)を行う(ステップS9)。
関連付け設定は、例えば人物であるROIと、その人物の台詞と考えられる吹き出しを関連付ける。ROIが複数存在する場合には、吹き出しに最も近いROIに関連があると判断して関連付けを行ったり、吹き出しの向きに存在するROIと関連があると判断して関連付けを行う。しかし、これらの判断が誤っている場合も存在する。また、適切にROIが抽出できない場合や、複数のROIの台詞が1つの吹き出しに混在する場合にも、関連付け設定を誤る可能性がある。
図24は、情報ファイルに記憶された関連付け情報に基づいて、関連付けられている吹き出しとROIとが、それぞれ関連付けられていることを示す破線の円を、画像上に重畳してモニタ15に表示した一例を示す図である。
図24には、吹き出しとして吹き出しi〜xiiが含まれ、ROIとして女性F(F1〜F3)、男性M(M1〜M4)が含まれる。女性F1〜F3は全て同一人物(女性F)であるが、説明の便宜上女性F1〜F3とした。同様に、男性M1〜M4も全て同一人物(男性M)であるが、説明の便宜上女性男性M1〜M4とした。
図24に示す場合においては、吹き出しiと女性F1とがペア1に、吹き出しiiと男性M1とがペア2に、吹き出しiiiと男性M3とがペア3に、吹き出しivと男性M3とがペア4に、吹き出しvと女性F2とがペア5にし、吹き出しviと女性F2とがペア6に、吹き出しviiと男性M3とがペア7に、吹き出しviiiと男性M3とがペア8に、吹き出しixと男性M3とがペア9に、吹き出しxと男性M4とがペア10に、吹き出しxiと女性F3とがペア11に、吹き出しxiiと女性F3とがペア12に設定されており、それぞれのペアを囲むように破線の円が重畳表示されている。
ユーザが操作部12を介して所定のペア同士を破線で囲んだ画像を選択すると、オーサリング部10は、そのペアに関する修正を受け付ける。
図24に示す例では、オーサリング部10における関連付け設定では、吹き出しxiは、吹き出しxiに最も近い女性F3に関連付けられている。しかし、実際には吹き出しxiは女性F3ではなく、男性M4と関連付けすべきである。したがって、ペア11について修正を行う必要がある。
ユーザが操作部12を介してペア11をダブルクリック等するとペア11の編集が可能となり、吹き出しxiと男性M4とが選択されると、オーサリング部10は、吹き出しxiと男性M4とをペア11に再設定し、情報ファイルを修正する。
オーサリング部10は、修正された情報ファイルに基づいて関連付けの結果を認識可能にした状態でコンテンツ画像をモニタ15に表示する。その結果、図25に示すようにペア11が修正された結果がモニタ15上で確認される。
関連付けした情報に番号をつけても良い。オーサリング部10は、右上にある吹き出しの関連付けから順に番号をつけても良いし、操作部12からの入力に基づいて番号をつけても良い。この番号は、吹き出しの表示順序を兼ねてもよい。
最後に、オーサリング部10は、ステップS4〜S9で更新された情報ファイルとコンテンツ画像とにより構成されるマスタデータをDB11に保存する(ステップS10)。
なお、手動で全ての関連付けを態様も可能である。この場合、オーサリング部10は、情報ファイルに基づいてステップS5、S7で設定された吹き出し及びROIを選択可能な状態でコンテンツ画像をモニタ15に表示する。ユーザが操作部12を介して所定の吹き出しとROIとを1つずつ選択すると、オーサリング部10はそれを認識し、これらをペアとして設定する。吹き出しiは女性F1が話しているため、操作部12を介して吹き出しiと女性F1とが選択されると、オーサリング部10は、自動的に吹き出しiと女性F1とをペアと認識し、吹き出しiと女性F1とをペア1に設定する。同様に、操作部12を介して吹き出しiiと男性M1とが選択されると、オーサリング部10は、自動的に吹き出しiiと男性M1とをペアと認識し、吹き出しiiと男性M1とをペア2に設定する。このようにして全ての吹き出しについて関連付けが行われると、オーサリング部10は、関連付けの結果を情報ファイルに記憶させる。
情報ファイルとしては、例えばXMLファイル形式のファイルを用いることができる。図26は、情報ファイルの構造を示す図である。本実施の形態では、コミック毎に情報ファイルを有するため、情報ファイルには複数のページ情報が含まれる。各ページ毎に、まずページ情報があり、ページ情報に関連付けてコマ情報があり、コマ情報に関連付けて吹き出し情報、テキスト情報、関心領域情報、及び関連付け情報がある。
関連付け情報は、上述したように、ページ内の各コマのコマ領域情報を含むコマ情報、吹き出しの画像内の領域を示す吹き出し領域情報を含む吹き出し情報、コミックのテキストの領域を示すテキスト領域情報、及びコミックの関心領域を示す関心領域情報(ROI)のうちの2以上の情報から、関連があるものとしてオーサリング部10によって関連付けされたことを示す情報が記録されている。
なお、情報ファイルは、コミック毎ではなく、各ページ毎に生成するようにしてもよい。
コミックの画像ファイルと、その情報ファイルとにより構成されたマスタデータを生成することで、電子書籍ビューワに合わせた編集、テキストの自動翻訳、翻訳編集及び共有、電子書籍ビューワにおける適切な表示処理などが可能となり、電子書籍の供給が容易となる。
なお、本実施の形態では、オーサリング部10はコンテンツ画像を取得して、コマ情報、吹き出し情報、テキスト情報等が記憶されたマスタデータを生成したが、オーサリング部10は各種情報が記憶された情報ファイルを有するマスタデータ(図2のステップS2で生成されたマスタデータに相当)を取得し、ステップS3〜S10の処理を行って最終的なマスタデータをDBに保存しても良い。また、オーサリング部10はコマ、吹き出し、テキストの自動抽出が行われ、コマ情報、吹き出し情報、テキスト情報が記憶された情報ファイルを有するマスタデータ(図2のステップS3で生成されたマスタデータに相当)を取得し、ステップS4〜S10の処理を行って最終的なマスタデータをDBに保存しても良い。
(B)マスタデータ編集処理
図27は、電子書籍ビューワに合わせた編集を行う表示画面を示す。オーサリング部10は、コンテンツ画像をモニタ15に表示する。オーサリング部10は、情報ファイルに基づいて各コマのコマ境界を太線で表示する。また、各コマの略中央にはコマの読み順を示すコマ順序が表示される。なお、コマ順序の表示はこれに限られず、コマの隅に表示するようにしてもよい。
図27は、電子書籍ビューワに合わせた編集を行う表示画面を示す。オーサリング部10は、コンテンツ画像をモニタ15に表示する。オーサリング部10は、情報ファイルに基づいて各コマのコマ境界を太線で表示する。また、各コマの略中央にはコマの読み順を示すコマ順序が表示される。なお、コマ順序の表示はこれに限られず、コマの隅に表示するようにしてもよい。
また、オーサリング部10は、DB11等から電子書籍ビューワ2の画面サイズを取得し、電子書籍ビューワ2の画面サイズの情報と情報ファイルとの情報に基づいて電子書籍ビューワ2の画面サイズを示す枠Fをコンテンツ画像に重ねて表示する。ユーザが操作部12を介してフレームFを左右上下に移動させる指示を入力すると、オーサリング部10は操作部12の指示に応じてフレームFを左右上下に移動させる。
また、オーサリング部10は、電子書籍ビューワ2の画面サイズの情報と情報ファイルとの情報に基づいて各コマを全て表示するのに必要な最小の表示回数、すなわちスクロール数が何回であるかを求め、その情報(マーカ)をコンテンツ画像に重ねて表示する。本実施の形態ではマーカは各コマの略中央に表示されるため、図27においてはコマ順序はマーカに重ねて表示されている。
図27においては、矩形形状のマーカでスクロール数を表現している。スクロール数が1回の場合には、図27のコマ順序が3、4のコマのように、一辺の長さがaの正方形のマーカが表示される。スクロール数が2回以上の場合には、一辺の長さがaの整数倍となる矩形形状のマーカが表示される。垂直方向のスクロール数がn回、水平方向のスクロール数がm回の場合には、縦横サイズがna×maの矩形形状のマーカが表示される。図27のコマ順序が1、2、6、7においては、横のスクロール数が2回、縦のスクロール数が1回であるため、横が2a、縦がaの長方形のマーカが表示される。このようなマーカを表示することで、各コマにフレームFを重ねることなく、マーカを見るだけでスクロール回数を把握することができる。
ユーザは、このようにしてモニタ15に表示された画像を見ながらコマ境界を移動させる。図28に示すように、ユーザが操作部12を介してコマ境界をダブルクリック等すると、オーサリング部10は、コマ境界に頂点を表示させてコマ境界を編集可能とする。ステップS4(図9)と同様にユーザが操作部12を介して所望の頂点をドラッグすると、頂点が移動され、コマ境界の形状が修正される。この動作を繰り返すことにより、コマ境界の形状(例えば5角形から矩形へ変更)や大きさを変更することができる。また、頂点の追加、削除も可能である。頂点の追加、削除はステップS4と同じであるため、説明を省略する。
また、オーサリング部10は、電子書籍ビューワ2の画面サイズの情報と情報ファイルとの情報に基づいて、コマのサイズが電子書籍ビューワ2の画面サイズよりわずかに大きい場合には、電子書籍ビューワ2の画面サイズよりわずかに大きいコマのコマ境界を他のコマ境界とは異なる色で表示する。コマの縦横のサイズが電子書籍ビューワ2の画面サイズよりわずかに大きい場合とは、例えば、電子書籍ビューワ2の画面サイズの略10%を閾値とし、コマの辺の長さが電子書籍ビューワ2の画面サイズより10%程度大きい場合等が考えられる。図27においては、コマ順序5のコマのコマ境界が他のコマ境界とは異なる色で表現されている。
電子書籍ビューワ2の画面サイズよりわずかに大きいコマの場合には、コマの重要でない部分をコマに含まれないとして見せないようにするだけで、スクロール回数を1回にして、視認性を向上させることができる。図29に示すように、フレームFよりわずかに大きいコマ順序5のコマのコマ境界の位置を変え、スクロール数が1となるようにコマの形状を変える。図29においては、コマ順序5のコマの左端の一部をコマに含まれないようにコマを細くすることでスクロール数を1にしている。
このようにしてスクロール数が変更されたら、オーサリング部10は、これを検出し、情報ファイルを書きかえる。また、オーサリング部10は、マーカの大きさをa×aに変更し、コマ順序5のコマのコマ境界の色を他のコマの色を同じ色に変更する。
コマ境界の削除、追加も可能である。コマ境界の追加、削除はステップS4と同じであるため説明を省略する。例えば所定のコマが選択された状態で、ユーザが操作部12を介してそのコマの所定のコマ境界を選択すると、選択されたコマ削除が削除される。例えばコマの大きさが小さく、フレームFに2個のコマが含まれる場合等には、コマを1つにすることで効率のよい表示が可能となる。
オーサリング部10は、プレビュー画面をモニタ15に表示させることもできる。図30はプレビュー画面の一例である。オーサリング部10は、コンテンツ画像をモニタ15に表示し、電子書籍ビューワ2の画面サイズを示す枠Fをコンテンツ画像に重ねて表示する。そして、オーサリング部10は、フレームFの外側を半透明に塗りつぶし、フレームFの内側のみが視認可能なプレビュー画面とする。フレームFの外側を半透明に塗りつぶす場合に限らず、フレームFの外側をグレー表示にしても良い。
ユーザが操作部12を介して指示すると、オーサリング部10はフレームFをスクロールして次のプレビュー画面を表示する。現在プレビュー中のコマが全てプレビューされていない場合には、オーサリング部10は、現在プレビュー中のコマが全てプレビューされるようにフレームFを移動させて、フレームFの外側を半透明表示する。図30に示す例においては、フレームFをtだけ左側に移動させる。
現在プレビュー中のコマが全てプレビューされている場合には、オーサリング部10は、次のコマ順序のコマの右端とフレームFの右端とを一致させるようにフレームFを移動させて、フレームFの外側を半透明表示する。
これにより、電子書籍ビューワ2での見え方を確認することができる。したがって、より適切なマスタデータ編集をすることができる。
なお、マスタデータ編集処理は、オーサリング部10がマスタデータを生成した場合に限らず、外部の電子コミック生成装置により生成されたマスタデータをサーバ1のDB11に保存して、それを編集するようにしてもよい。
[関連付けの修正処理の詳細]
図31は、オーサリング部10の内部構成を示すブロック図であり、主に関連付け情報に関する機能ブロックを示している。同図に示すように、オーサリング部10は、マスタデータ取得部10a、関連付け情報画像生成部10b、関連付け情報画像重畳部10c、関連付け情報削除部10d、関連付け情報追加部10e、及び関連付け情報更新部10f等から構成されている。
図31は、オーサリング部10の内部構成を示すブロック図であり、主に関連付け情報に関する機能ブロックを示している。同図に示すように、オーサリング部10は、マスタデータ取得部10a、関連付け情報画像生成部10b、関連付け情報画像重畳部10c、関連付け情報削除部10d、関連付け情報追加部10e、及び関連付け情報更新部10f等から構成されている。
マスタデータ取得部10aは、DB11からコンテンツ画像と情報ファイルとが紐付けされたマスタデータを取得するマスタデータ取得手段として機能し、取得したデータをRAM(不図示)に格納する。
関連付け情報画像生成部10bは、RAMに格納されたマスタデータ内の情報ファイルに含まれる関連付け情報を読み出し、それぞれ関連付けられた各領域を示す画像を生成する画像生成手段として機能する。関連付け情報画像重畳部10cは、ユーザによる操作部12の操作に応じて、RAMに格納されたマスタデータ内の画像ファイルのページ画像と、関連付け情報画像生成部10bによって生成された画像とを重畳し、モニタ15に表示させる表示制御手段として機能する。
関連付け情報削除部10dは、ユーザによる操作部12の操作に応じて、RAMに格納されたマスタデータ内の情報ファイルの関連付け情報を削除する関連付け情報削除手段として機能する。同様に、関連付け情報追加部10eは、ユーザによる操作部12の操作に応じて、RAMに格納されたマスタデータ内の情報ファイルの関連付け情報を追加する関連付け情報追加手段として機能する。
関連付け情報更新部10fは、関連付け情報削除部10d又は関連付け情報追加部10eによって関連付け情報が削除、追加されたRAM内の情報ファイルに基づいて、DB11内のマスタデータを更新する編集手段として機能する。
図32は、情報ファイルに記憶された関連付け情報に基づいて行われた関連付け情報表示を示す図であり、図24とは異なる態様を示す図である。同図に示すように、選択されたコマに対応して、そのコマに関連付けられた吹き出し領域とテキスト領域、及びROIの各領域の外周縁を描画した画像が、画像上に重畳されてモニタ15に表示されている。
図32の例では、操作部12によりコマ100が選択された場合を示している。マスタデータ取得部10aは、当該ページのマスタデータをDB11から取得し、RAMに格納する。さらに、選択されたコマ100の関連付け情報を、このRAMに格納されたマスタデータの情報ファイルから取得する。ここでは、吹き出し111、112、テキスト領域121、122a、122b、ROI131、132が、コマ100に関連付けられているものとする。さらに、吹き出し111、テキスト領域121、及びROI131が1つのまとまりとしてそれぞれ関連付けられており(グループaとする)、吹き出し112、テキスト領域122a、122b、及びROI132が他の1つのまとまりとしてそれぞれ関連付けられている(グループbとする)ものとする。
関連付け情報画像生成部10bは、コマ100に関連付けられている吹き出し111、112、テキスト領域121、122a、122b、ROI131、132の外周縁を描画した画像を生成する。このとき、それぞれ異なる関連付けがされているグループaとグループbとでは、異なる線種となるように画像を生成する。図31の例では、グループaについては破線で、グループbについては一点鎖線でそれぞれの外周縁を描画する画像を生成している。
関連付け情報画像重畳部10cは、この生成した画像とRAMに格納されたマスタデータ内の画像データとをモニタ15に重畳して表示させる。このように重畳表示させることで、ユーザは、選択したコマに関連付けられた吹き出し領域、テキスト領域、及びROIを認識することができる。また、選択したコマの中でも、複数の異なる関連付けがされている場合には、それぞれを区別できるように表示することで、ユーザにどのような関連付けがされているのかを認識させることができる。
なお、外周縁を描画する線の線種を変えるのではなく、色を変えてもよい。また、表示されている画像(ページ)の、選択されたコマ100以外の部分については、非選択であることを明確にするためにコントラストを下げて表示する等をしてもよい。さらに、複数のコマを選択可能に構成してもよいし、全てのコマについて同時に関連付け情報表示を行ってもよい。
また、関連付け情報表示は、図33に示すように行ってもよい。即ち、選択されたコマに対応して、そのコマに関連付けられた吹き出し領域とテキスト領域、及びROIの各領域をそれぞれ接続する引き出し線を描画した画像を、画像上に重畳してもよい。
図33の例では、操作部12によりコマ100が選択された場合に、コマ100に関連付けられている吹き出し111、112、ROI131、132から引き出し線141、142が描画される。また、それぞれ関連付けられている吹き出し111とROI131とが引き出し線141、吹き出し112とROI132とが引き出し線142によって接続されている。
ここではテキスト領域を省略しているが、コマ100の関連付けにテキスト領域が含まれている場合には、同様に引き出し線により接続する画像を生成して重畳表示すればよい。また、引き出し線141と142とで、線種や色を変更してもよい。
図33のように表示しても、ユーザは、選択したコマに関連付けられた吹き出し領域、テキスト領域、及びROIを認識することができる。また、選択したコマの中でも、複数の異なる関連付けがされている場合には、それぞれを区別できるように表示することで、ユーザにどのような関連付けがされているのかを認識させることができる。
次に、関連付けの修正処理の詳細について説明する。ここでは、マスタデータの情報ファイルにおいて、コマ150に対して吹き出し160a、160b、160cが関連付けられており、コマ152に吹き出し162が関連付けられているものとする。
操作部12によってコマ150が選択されると、マスタデータ取得部10aがDB11から取得したマスタデータに基づいて、関連付け情報画像生成部10bがコマ150、吹き出し160a、160b、160cの各領域の外周縁を描画した画像を生成する。関連付け情報画像重畳部10cは、この画像とページ画像とを重畳し、モニタ15に表示する。図34は、モニタ15に表示される画像を示している。
オーサリング部10の自動での関連付け設定では、吹き出し160aは、コマ150と関連付けられている。自動での関連付け設定では、吹き出し160aのように複数のコマにまたがって存在する吹き出しやROIについて、例えば、どのコマに最も多く含まれているかを比較して決定する。ここでは、吹き出し160aは、コマ152に存在する面積よりもコマ150に存在する面積が大きいために、コマ150に関連付けられたものとする。しかし、実際にはコマ152に関連付けるべきであり、ここでは、吹き出し160aを、コマ152に関連付けるように修正(更新)する例について説明する。
まずユーザは、モニタ15に図34の画像が表示された状態において、操作部12により関連付け情報の修正アイコン(不図示)を選択し、吹き出し160aを選択する。この操作に応じて、関連付け情報画像生成部10bは、吹き出し160aの領域の外周縁の描画のない、コマ150、吹き出し160b及び160cの各領域の外周縁を描画した画像を生成する。関連付け情報画像重畳部10cは、この画像を当該ページの画像に重畳してモニタ15に表示する。図35は、このときのモニタ15に表示される画像を示している。
この状態で修正を終了すると、関連付け情報削除部10dは、RAMに格納されたマスタデータの情報ファイル内のコマ150の関連付け情報から吹き出し160aを削除する。また、関連付け情報更新部10fは、RAMに格納されたマスタデータに基づいて、DB11のマスタデータを更新する。これにより、コマ150と吹き出し160aとは、関連付けがないものとなる。
次に、操作部12によりコマ152を選択すると、この操作に応じて、関連付け情報画像生成部10bは、コマ152と、コマ152に関連付けられた吹き出し162の領域の外周縁を描画した画像を生成する。関連付け情報画像重畳部10cは、この画像を当該ページの画像に重畳してモニタ15に表示する。図36は、このときにモニタ15に表示される画像を示している。
この状態で、再び関連付け情報の修正アイコン(不図示)を選択し、吹き出し160aを選択する。この操作に応じて、関連付け情報画像生成部10bは、コマ152に関連付けられた吹き出し162と、選択された吹き出し160aの各領域の外周縁を描画した画像を生成し、関連付け情報画像重畳部10cは、この画像を当該ページの画像に重畳してモニタ15に表示する。
これにより、図37に示すように、コマ152、吹き出し162及び吹き出し160aの各領域の外周縁を描画した画像が重畳表示される。
この状態で修正を終了すると、関連付け情報追加部10eは、RAMに格納されたマスタデータの情報ファイル内のコマ152の関連付け情報に吹き出し160aを追加する。また、関連付け情報更新部10fは、RAMに格納されたマスタデータに基づいて、DB11のマスタデータを更新する。これにより、コマ152と吹き出し160aとは、関連付けがされているものとなる。
以上のように構成することで、関連付け情報の更新をユーザが手動で行うことが可能となる。
なお、コマの関連付け情報に新たに吹き出しやテキストを追加する際に、そのコマに複数のROIが存在する場合には、その追加した吹き出しやテキストがどのROIと関連付けられるのか不明となる場合がある。このような場合には、ユーザにどのROIと関連付ければよいのかを選択させればよい。
この実施形態では、電子書籍のコンテンツを配信するサーバにより電子コミックのマスタデータを作成編集するようにしているが、このマスタデータを作成する装置は、コンテンツを配信するサーバとは別の電子コミック編集装置であってもよい。また、この電子コミック編集装置は、本発明に係る電子コミック編集プログラムが記録された記録媒体を介して該電子コミック編集プログラムを、汎用のパーソナルコンピュータにインストールすることにより構成することができる。
また、上記のように作成編集されたマスタデータは、各種の携帯端末からの配信要求に応じてサーバ(配信サーバ)から配信されるが、この場合、配信サーバは、携帯端末の機種情報を取得し、マスタデータをその機種(画面サイズ等)での閲覧に適したデータに加工して配信してもよいし、マスタデータをそのまま配信してもよい。尚、マスタデータをそのまま配信する場合、携帯端末側のビューワソフトでマスタデータをその携帯端末に適したデータに変換して閲覧可能にする必要があるが、マスタデータには前述したように情報ファイルが含まれているため、ビューワソフトは情報ファイルに記述された情報を利用して携帯端末にコンテンツを表示させることができる。
更に、本発明の技術的範囲は、上記実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合せることができる。
1:サーバ、2:電子書籍ビューワ、10:オーサリング部、10a:マスタデータ取得部、10b:関連付け情報画像生成部、10c:関連付け情報画像重畳部、10d:関連付け情報削除部、10e:関連付け情報追加部、10f:関連付け情報更新部、11:データベース(DB)、12:操作部、15:モニタ
Claims (12)
- コミックの1ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの1ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの2以上の情報と、前記2以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得手段と、
前記データ取得手段により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記2以上の情報に基づいて前記2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記2以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御手段と、
前記表示手段に表示された画像上の位置を指示する指示手段と、
前記指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加手段と、
前記指示手段により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除手段と、
前記関連付け情報追加手段により追加された関連付け情報及び前記関連付け情報削除手段により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集手段と、
を備えた電子コミック編集装置。 - 前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている2以上の情報に対応する領域の外周縁を、同じ色又は線種により描画した画像を前記画像上に重畳して表示させる請求項1に記載の電子コミック編集装置。
- 前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている2以上の情報に対応する領域を、それぞれ接続する引き出し線を描画した画像を前記画像上に重畳して表示させる請求項1に記載の電子コミック編集装置。
- 前記関心領域情報は、前記コミック内のキャラクタを含む領域情報であり、
前記関連付け情報は、前記キャラクタを含む関心領域情報と、該キャラクタの台詞が入る吹き出し領域を示す吹き出し領域情報、又は前記吹き出し領域内のテキストの領域を示すテキスト領域情報とを関連付ける情報である請求項1から3のいずれか1項に記載の電子コミック編集装置。 - 前記関連付け情報は、前記コマ情報と前記吹き出し情報、テキスト領域情報、及び関心領域情報とを関連付ける情報である請求項1から4のいずれか1項に記載の電子コミック編集装置。
- 前記コマのコマ領域情報は、各コマを囲む多角形のコマ境界の各頂点を示す座標データ、コマ境界を示すベクトルデータ、又は各コマのコマ領域を示すマスクデータである請求項1から5のいずれか1項に記載の電子コミック編集装置。
- 前記吹き出し領域情報は、前記吹き出しの形状に対応する複数点を示す座標データ、前記吹き出しの形状を示すベクトルデータ、又は前記吹き出しの領域を示すマスクデータである請求項1から6のいずれか1項に記載の電子コミック編集装置。
- 前記テキスト領域情報は、前記テキスト領域の多角形の外周縁の各頂点を示す座標データ、前記テキスト領域の外周縁を示すベクトルデータ、又は前記テキスト領域を示すマスクデータである請求項1から7のいずれか1項に記載の電子コミック編集装置。
- 前記関心領域情報は、前記関心領域の多角形の外周縁の各頂点を示す座標データ、前記関心領域の外周縁を示すベクトルデータ、又は前記領域を示すマスクデータである請求項1から8のいずれか1項に記載の電子コミック編集装置。
- 前記ページ全体の高解像度の画像を有する画像ファイルを取得する画像取得手段と、
前記画像取得手段により取得したページ全体の画像を解析し、該ページ内の各コマのコマ領域、吹き出し領域、テキスト領域、及び関心領域のうちの2以上の領域を自動的に抽出する領域抽出手段と、
前記領域抽出手段により抽出した2以上の領域を示す情報と、該2以上の領域の関連情報とが記述された情報ファイルを作成する情報ファイル作成手段と、
前記画像取得手段により取得した前記コミックのページ毎の画像ファイルと、前記情報ファイル作成手段により作成された前記コミックのページ毎又は全ページに対応する情報ファイルとから構成される前記電子コミックのマスタデータを作成するマスタデータ作成手段と、を備え、
前記データ取得手段は、前記マスタデータ作成手段により作成されたマスタデータを取得する請求項1から9のいずれか1項に記載の電子コミック編集装置。 - コミックの1ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの1ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの2以上の情報と、前記2以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得工程と、
前記データ取得工程により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記2以上の情報に基づいて前記2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記2以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御工程と、
前記表示手段に表示された画像上の位置を指示する指示工程と、
前記指示工程により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加工程と、
前記指示工程により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除工程と、
前記関連付け情報追加工程により追加された関連付け情報及び前記関連付け情報削除工程により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集工程と、
を含む電子コミック編集方法。 - コミックの1ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの1ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの2以上の情報と、前記2以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得機能と、
前記データ取得機能により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記2以上の情報に基づいて前記2以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記2以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御機能と、
前記表示手段に表示された画像上の位置を指示する指示機能と、
前記指示工程により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加機能と、
前記指示工程により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除機能と、
前記関連付け情報追加機能により追加された関連付け情報及び前記関連付け情報削除機能により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集機能と、
をコンピュータにより実現させる電子コミック編集プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011232155A JP2013089198A (ja) | 2011-10-21 | 2011-10-21 | 電子コミック編集装置、方法及びプログラム |
PCT/JP2012/077180 WO2013058397A1 (ja) | 2011-10-21 | 2012-10-22 | 電子コミック編集装置及び方法 |
CN2012800084612A CN103384896A (zh) | 2011-10-21 | 2012-10-22 | 数字漫画编辑装置及其方法 |
US13/960,631 US20130326341A1 (en) | 2011-10-21 | 2013-08-06 | Digital comic editor, method and non-transitorycomputer-readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011232155A JP2013089198A (ja) | 2011-10-21 | 2011-10-21 | 電子コミック編集装置、方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013089198A true JP2013089198A (ja) | 2013-05-13 |
Family
ID=48141040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011232155A Pending JP2013089198A (ja) | 2011-10-21 | 2011-10-21 | 電子コミック編集装置、方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20130326341A1 (ja) |
JP (1) | JP2013089198A (ja) |
CN (1) | CN103384896A (ja) |
WO (1) | WO2013058397A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101676575B1 (ko) * | 2015-07-24 | 2016-11-15 | 주식회사 카카오 | 만화 컨텐츠의 공유 영역 추출 장치 및 그 방법 |
KR20170055906A (ko) | 2015-11-12 | 2017-05-22 | 엔에이치엔엔터테인먼트 주식회사 | 정보처리 장치, 정보처리방법 및 기록매체 |
KR20200077037A (ko) * | 2018-12-20 | 2020-06-30 | 배성현 | 만화책을 복수 개의 컷들로 만드는 방법 및 장치 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9436357B2 (en) * | 2013-03-08 | 2016-09-06 | Nook Digital, Llc | System and method for creating and viewing comic book electronic publications |
US9530183B1 (en) * | 2014-03-06 | 2016-12-27 | Amazon Technologies, Inc. | Elastic navigation for fixed layout content |
US9912994B2 (en) * | 2014-07-03 | 2018-03-06 | Mobiledirect, Inc. | Interactive distributed multimedia system |
JP6259804B2 (ja) * | 2014-11-26 | 2018-01-10 | ネイバー コーポレーションNAVER Corporation | コンテンツ参加翻訳装置、及びそれを利用したコンテンツ参加翻訳方法 |
KR102306538B1 (ko) * | 2015-01-20 | 2021-09-29 | 삼성전자주식회사 | 콘텐트 편집 장치 및 방법 |
KR101780792B1 (ko) * | 2015-03-20 | 2017-10-10 | 네이버 주식회사 | 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램 및 만화 데이터 표시 장치 |
KR101648964B1 (ko) * | 2015-04-02 | 2016-08-30 | 네이버 주식회사 | 자동 여백 생성을 이용하여 컨텐츠를 제공하는 시스템 및 방법 |
JP2017151768A (ja) * | 2016-02-25 | 2017-08-31 | 富士ゼロックス株式会社 | 翻訳プログラム及び情報処理装置 |
CN112639713A (zh) * | 2018-12-29 | 2021-04-09 | 深圳市柔宇科技股份有限公司 | 一种笔记局部选取方法、装置、电子终端和可读存储介质 |
WO2021216068A1 (en) * | 2020-04-23 | 2021-10-28 | Hewlett-Packard Development Company, L.P. | Image editing |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050206751A1 (en) * | 2004-03-19 | 2005-09-22 | East Kodak Company | Digital video system for assembling video sequences |
US7770125B1 (en) * | 2005-02-16 | 2010-08-03 | Adobe Systems Inc. | Methods and apparatus for automatically grouping graphical constructs |
JP2007094679A (ja) * | 2005-09-28 | 2007-04-12 | Fujifilm Corp | 画像分析装置、画像分析プログラム、および画像分析プログラム記憶媒体 |
GB0602710D0 (en) * | 2006-02-10 | 2006-03-22 | Picsel Res Ltd | Processing Comic Art |
JP2007035056A (ja) * | 2006-08-29 | 2007-02-08 | Ebook Initiative Japan Co Ltd | 翻訳情報生成装置、翻訳情報生成方法並びにコンピュータプログラム |
KR100834813B1 (ko) * | 2006-09-26 | 2008-06-05 | 삼성전자주식회사 | 휴대용 단말기의 멀티미디어 컨텐트 관리 장치 및 방법 |
JP2008152700A (ja) * | 2006-12-20 | 2008-07-03 | Toshiba Corp | 電子漫画配信サーバ |
US20090041352A1 (en) * | 2007-08-10 | 2009-02-12 | Naoki Okamoto | Image formation device, image formation method, and computer-readable recording medium recording image formation program |
JP2009098727A (ja) * | 2007-10-12 | 2009-05-07 | Taito Corp | 画像表示装置、画像ビューアプログラム |
JP5237773B2 (ja) * | 2008-12-01 | 2013-07-17 | スパイシーソフト株式会社 | 画像群編集装置及び電子機器 |
US20120196260A1 (en) * | 2011-02-01 | 2012-08-02 | Kao Nhiayi | Electronic Comic (E-Comic) Metadata Processing |
-
2011
- 2011-10-21 JP JP2011232155A patent/JP2013089198A/ja active Pending
-
2012
- 2012-10-22 CN CN2012800084612A patent/CN103384896A/zh active Pending
- 2012-10-22 WO PCT/JP2012/077180 patent/WO2013058397A1/ja active Application Filing
-
2013
- 2013-08-06 US US13/960,631 patent/US20130326341A1/en not_active Abandoned
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101676575B1 (ko) * | 2015-07-24 | 2016-11-15 | 주식회사 카카오 | 만화 컨텐츠의 공유 영역 추출 장치 및 그 방법 |
KR20170055906A (ko) | 2015-11-12 | 2017-05-22 | 엔에이치엔엔터테인먼트 주식회사 | 정보처리 장치, 정보처리방법 및 기록매체 |
US10275125B2 (en) | 2015-11-12 | 2019-04-30 | NHN Comico Corporation | Image data generation apparatus and non-transitory computer-readable recording medium |
KR20200077037A (ko) * | 2018-12-20 | 2020-06-30 | 배성현 | 만화책을 복수 개의 컷들로 만드는 방법 및 장치 |
KR102150437B1 (ko) * | 2018-12-20 | 2020-09-01 | 배성현 | 만화책을 복수 개의 컷들로 만드는 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
CN103384896A (zh) | 2013-11-06 |
US20130326341A1 (en) | 2013-12-05 |
WO2013058397A1 (ja) | 2013-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5439454B2 (ja) | 電子コミック編集装置、方法及びプログラム | |
JP5439455B2 (ja) | 電子コミック編集装置、方法及びプログラム | |
WO2013058397A1 (ja) | 電子コミック編集装置及び方法 | |
JP5439456B2 (ja) | 電子コミック編集装置、方法及びプログラム | |
CN100476859C (zh) | 从像素的文档图像中提取元数据的方法和装置 | |
JP5437340B2 (ja) | ビューワ装置、サーバ装置、表示制御方法、電子コミック編集方法及びプログラム | |
US20120116750A1 (en) | Translation display apparatus | |
US20120017144A1 (en) | Content analysis apparatus and method | |
US20130082985A1 (en) | Content display apparatus, and content display method | |
US11610054B1 (en) | Semantically-guided template generation from image content | |
US20140281948A1 (en) | Information displaying apparatus, information editing method and non-transitory computer-readable storage medium | |
JP7035656B2 (ja) | 情報処理装置及びプログラム | |
US10127704B2 (en) | Information processing device, program, and recording medium | |
JP5451696B2 (ja) | 字幕付加装置、コンテンツデータ、字幕付加方法及びプログラム | |
JP3388451B2 (ja) | 手書き入力装置 | |
JPH10162098A (ja) | 文書電子化装置及び文書電子化方法 | |
JP5528410B2 (ja) | ビューワ装置、サーバ装置、表示制御方法、電子コミック編集方法及びプログラム | |
KR101935926B1 (ko) | 웹툰 편집 서버 및 그 방법 | |
JPH08235344A (ja) | シナリオ編集装置 | |
WO2013051077A1 (ja) | コンテンツ表示装置、コンテンツ表示方法、プログラム、および記録媒体 | |
JPH1186017A (ja) | 情報処理装置及びその方法 | |
JP3637771B2 (ja) | 文書編集出力装置 | |
US20210157969A1 (en) | Information processing system, information processing apparatus, and non-transitory computer readable medium storing program | |
JP2009157470A (ja) | 電子文書処理装置及びプログラム | |
JP2616522B2 (ja) | 文書イメージ情報編集装置 |