JP2014212476A - コミック画像コマ検出装置、方法及びプログラム - Google Patents

Abstract

【課題】コミック画像からコマを自動的に検出する技術において、コマの検出精度を向上させること。【解決手段】画像取得部２０２によって取得されたコミック画像に基づいて、当該コミック画像から、境界線で区画されているコマを検出するコマ検出部２０６と、コミック画像のうち境界線で区画されていないコマ未検出領域、又はコマ検出部２０６で検出されたコマ内の領域を、未検出のコマを検出するための再検出領域であると判定する再検出領域判定部２１２と、コミック画像のうち再検出領域の画像に基づいて、当該再検出領域から、コマ検出部２０６で未検出のコマを検出するコマ再検出を行うコマ再検出部２１４と、コマ検出部２０６及びコマ再検出部２１４によるコマの検出結果を含むデータを出力する出力部２２４を有する。【選択図】図４

Description

本発明は、コミック画像からコマを自動的に検出するコミック画像コマ検出装置、方法及びプログラムに関し、特に、コマの検出精度を向上させることができるコミック画像コマ検出装置、方法及びプログラムに関する。

従来、紙面に描かれているコミック画像（漫画）をスキャナにより紙面から読み取り、そのスキャナにより電子化されたコミック画像を、ネットワークを介して配信するか或いは携帯型の記録媒体（メモリカード）を介して入手可能にし、携帯端末に表示させる技術が知られている。

また、電子化されたコミック画像の画像解析を行い、その画像解析の結果に基づいてコミック画像に各種の付加情報を付加する技術が提案されている。

特許文献１は、コミック画像から吹き出し及び原文を自動的に検出する技術を開示している。吹き出しの枠線が途切れている問題、文字の閉領域を吹き出しとして誤検出する問題、及び、吹き出しから翻訳分がはみ出る問題に対しては、それぞれ、作業者に吹き出し内の点をクリックさせることにより吹き出しを二次的に検出すること、輪郭色の点の度数を示すヒストグラムを求めて原文の範囲を検出して吹き出しの誤検出を防止すること、及び、吹き出しから翻訳文がはみ出ないように文字サイズ縮小又は行間詰めを行うことを開示している。

特許文献２は、コミック画像からコマを自動的に検出する技術として、コマの形状が矩形である場合に、コマ枠の右辺の線分を検出し、その右辺に繋がっている下辺の線分を検出し、その下辺に繋がっている左辺の線分を検出し、その左辺に繋がっている上辺の線分を検出することにより、コマ枠を検出することを開示している。

特許文献３は、コミック画像からコマを自動的に検出する技術として、境界線で囲われた矩形の領域をコマとして検出し、コマの未検出領域について、境界線で囲われた矩形でない閉領域の面積、高さ、幅、位置などを閾値と比較することによりコマを検出することを開示している。

特開２００３−２２２６９号公報 特開２００４−７８９２３号公報 特開２０１２−３８２８６号公報

しかしながら、コミック画像から自動的にコマを検出する技術において、境界線で囲われた閉領域であるか否かを判定するだけでは、コマの検出に失敗する場合がある。

特許文献１は、コマ検出について開示がない。

特許文献２、３は、境界線で区画されたコマを検出する技術を開示しているにすぎず、境界線で囲まれていないコマは検出されない。また、大きなコマに小さなコマが内包されている場合、内側の小さなコマは外側の大きなコマ内の絵柄として扱われてしまい検出に失敗するという問題がある。

本発明は、このような事情に鑑みてなされたもので、コミック画像からコマを自動的に検出する技術において、コマの検出精度を向上させることを目的とする。

上記の目的を達成するために、本発明は、コミックの絵を含むコミック画像を取得する画像取得部と、画像取得部によって取得されたコミック画像に基づいて、コミック画像から、境界線で区画されているコマを検出するコマ検出部と、コミック画像のうち境界線で区画されていないコマ未検出領域、又はコマ検出部で検出されたコマ内の領域を、未検出のコマを検出するための再検出領域であると判定する再検出領域判定部と、コミック画像のうち再検出領域の画像に基づいて、再検出領域から、コマ検出部で未検出のコマを検出するコマ再検出を行うコマ再検出部と、コマ検出部及びコマ再検出部によるコマの検出結果を含むデータを出力する出力部と、を有するコミック画像コマ検出装置を提供する。

本発明によれば、コミック画像の全体から境界線で区画されているコマが検出された後、コマの検出領域を狭くして、境界線で区画されていないコマ、又はコマに内包されたコマが検出されるので、コマの検出精度が向上する。

本発明の一態様では、再検出領域判定部は、コマ検出部で検出されたコマの外縁よりも内側に枠線があるか否かを判定し、検出されたコマの外縁よりも内側に枠線がある場合には、枠線で区画された領域が再検出領域であると判定する。

本発明の一態様では、検出されたコマの外縁よりも内側の枠線で区画された領域が文字画像のみの文字領域である場合には枠線で区画された領域はコマではないと判定し、枠線で区画された領域が文字領域でない場合には、枠線で区画された領域をコマとして検出する。これにより、コマに内包されたコマが検出されるので、コマの検出精度が向上する。

本発明の一態様では、コマ再検出部は、検出されたコマの外縁よりも内側の枠線で区画された領域にコミックの登場人物の画像がある場合には、枠線で区画された領域をコマとして検出する。これにより、コマに内包されたコマを確実に検出することが可能になる。

本発明の一態様では、コマ再検出部は、検出されたコマの外縁よりも内側の枠線で区画された領域に吹き出しの画像がある場合には枠線で区画された領域をコマとして検出する。これにより、コマに内包されたコマが検出されるので、コマの検出精度が向上する。

本発明の一態様では、コマ再検出部は、境界線で区画されていないコマ未検出領域のコマの検出を行い、かつ検出されたコマ内の領域のコマの検出を行う。これにより、コミック画像のうち境界線で区画されていないコマ、及びコマに内包されたコマの両方が検出されるので、コマの検出精度がさらに向上する。

本発明の一態様では、再検出領域判定部は、コミック画像のうち境界線で区画されていないコマ未検出領域の面積が一定面積以上又はコミック画像に対して一定割合以上であるか否かを判定し、コマ未検出領域の面積が一定面積以上又は一定割合以上である場合にコマ未検出領域を再検出領域と判定する。これにより、コミック画像に存在する面積の小さなコマ以外の領域をコマの再検出領域から排除することが可能になり、境界線で区画されていないコマの検出精度を向上しつつ御検出を防止することが可能になる。

本発明の一態様では、再検出領域判定部は、コミック画像のうち境界線で区画されていないコマ未検出領域のページ画像内の位置に基づいて再検出領域を判定する。これにより、コミック画像の外周近傍等に存在するコマ以外の領域をコマの再検出領域から排除することが可能になり、境界線で区画されていないコマの検出精度を向上しつつ御検出を防止することが可能になる。

本発明の一態様では、再検出領域判定部は、コミック画像のうち境界線で区画されていないコマ未検出領域の形状に基づいて再検出領域を判定する。これにより、コミック画像に存在するコマ形状以外の領域をコマ検出領域から排除することが可能になり、境界線で区画されていないコマの検出精度を向上しつつ御検出を防止することが可能になる。

本発明の一態様では、コミック画像のうち境界線で区画されていないコマ未検出領域にコミックの登場人物の画像がある場合には登場人物の画像を含む区画をコマとして検出する。これにより、境界線で区画されていないコマの検出精度をさらに向上することが可能になる。

本発明の一態様では、コマ再検出部は、コミック画像のうち境界線で区画されていないコマ未検出領域に吹き出しの画像がある場合には吹き出しの画像を含む区画をコマとして検出する。これにより、境界線で区画されていないコマの検出精度をさらに向上することが可能になる。

また、本発明は、コミックの絵を含むコミック画像を取得する画像取得ステップと、画像取得ステップによって取得されたコミック画像に基づいて、コミック画像から、境界線で区画されているコマを検出するコマ検出ステップと、コミック画像のうち境界線で区画されていないコマ未検出領域、又はコマ検出ステップで検出されたコマ内の領域を、未検出のコマを検出するための再検出領域であると判定する再検出領域判定ステップと、コミック画像のうち再検出領域の画像に基づいて、再検出領域から、コマ検出ステップで未検出のコマを検出するコマ再検出を行うコマ再検出ステップと、コマ検出ステップ及びコマ再検出ステップによるコマの検出結果を含むデータを出力する出力ステップと、を有するコミック画像コマ検出を含むコミック画像コマ検出方法を提供する。

また、本発明は、画像取得ステップによって取得されたコミック画像に基づいて、コミック画像から、境界線で区画されているコマを検出するコマ検出ステップと、コミック画像のうち境界線で区画されていないコマ未検出領域、又はコマ検出ステップで検出されたコマ内の領域を、未検出のコマを検出するための再検出領域であると判定する再検出領域判定ステップと、コミック画像のうち再検出領域の画像に基づいて、再検出領域から、コマ検出ステップで未検出のコマを検出するコマ再検出を行うコマ再検出ステップと、コマ検出ステップ及びコマ再検出ステップによるコマの検出結果を含むデータを出力する出力ステップと、をコンピュータに実行させるプログラムを提供する。

本発明によれば、コミック画像からコマを自動的に検出する技術において、コマの検出精度を向上させることができる。

電子書籍システムの一例の全体構成図である。 電子書籍制作装置の一例のハードウェア構成図である。 電子書籍制作プログラムと各種情報との関係の説明に用いる説明図である。 電子書籍制作装置の一例の機能ブロック図である。 ビューワ装置の一例のハードウェア構成図である。 電子書籍制作処理の一例の概略の流れを示すフローチャートである。 コミック画像（ページ画像）の一例を示す説明図である。 図７のコミック画像から文字領域を検出することの説明に用いる説明図である。 図７のコミック画像から境界線で区画されているコマを検出することを示す説明図である。 再検出領域判定及びコマ再検出のステップの詳細な流れを示すフローチャートである。 図７のコミック画像から境界線で区画されていないコマを検出することを示す説明図である。 コマに内包されたコマの検出の説明に用いる説明図である。 コマ内に存在するコマ枠に似たテキスト枠の説明に用いる説明図である。 コマ内に存在するコマに似た絵柄の説明に用いる説明図である。

図１は、電子書籍システム（電子書籍データ配信システム）の一例を示す全体構成図である。

スキャナ１は、紙面の書籍原稿を読み取ることで、文字領域と非文字領域とが配置された１ページ単位の画像（以下「コミック画像」又は「ページ画像」という）を生成する。尚、図１には、スキャナ１により紙媒体の書籍原稿を読み取ることで１ページ又は複数ページのコミック画像を取得する例を示したが、このような場合に本発明は限定されない。電子的に生成された書籍原稿（デジタル原稿）をネットワークあるいは記録媒体を介して入力することで１ページ又は複数ページのコミック画像を取得してもよい。

電子書籍制作装置２（コミック画像コマ検出装置）は、１ページ又は複数ページのコミック画像を含む電子書籍データ（単に「電子書籍」ともいう）の生成を行う装置である。電子書籍制作装置２は、例えば、コンピュータ装置によって構成される。

サーバ装置３は、電子書籍制作装置２で生成された電子書籍データを、ビューワ装置４からの配信要求に応じて、ネットワークを介してビューワ装置４に送信する。サーバ装置３は、例えば、コンピュータ装置によって構成される。

ビューワ装置４（４ａ，４ｂ，４ｃ，４ｄ）は、サーバ装置３から送信された電子書籍データを受信して、コミック画像を表示する。ビューワ装置４は、携帯電話、スマートフォン、タブレット端末等の各種の携帯端末、あるいはパーソナルコンピュータ等の各種の端末装置（コンピュータ装置）である。

ビューワ装置４の表示画面サイズは機種ごとに異なる。ビューワ装置４の表示画面サイズが電子書籍データの１ページごとのコミック画像の全体の表示サイズよりも小さい場合には、１ページごとのコミック画像内で、ビューワ装置４の表示画面サイズに対応した表示領域を順次移動させながら表示を行う。このようにコミック画像内で表示画面サイズに対応した表示領域を移動させながら、その表示領域内の部分画像をビューワ装置４の表示画面に順次に表示することを、以下では「トレース表示」又は「順次再生」ということもある。

＜電子書籍制作装置の構成要素＞
図２は、電子書籍制作装置２（コミック画像コマ検出装置）の一例のハードウェア構成図である。図２に示すように、本例の電子書籍制作装置２は、制御デバイス２１、操作デバイス２２、表示デバイス２３、通信デバイス２４、及び記憶デバイス２５を備えたコンピュータ装置によって構成される。制御デバイス２１は、例えばＣＰＵ（Central Processing Unit）によって構成される。本明細書ではＣＰＵを「マイクロ・コンピュータ」ということもある。操作デバイス２２は、例えばキーボード及びマウスによって構成される。表示デバイス２３は、例えば液晶表示デバイスによって構成される、通信デバイス２４は、ネットワークを介してサーバ装置３と通信可能なデバイスである。記憶デバイス２５は、例えばハードディスクなどの大容量のディスクによって構成される。

電子書籍制作装置２の制御デバイス２１は、図３に示すように、電子書籍制作プログラム５０を実行し、ページ画像５１（コミック画像）に対して、検索情報５２、コマ情報５３、吹き出し情報５４、テキスト情報５５、登場人物情報５６、表示制御情報５７、その他情報５８等の付帯情報を関連付けて、国際電子出版フォーラム（ＩＤＰＦ： International Digital Publishing Forum)により公開されたＥＰＵＢ（Electronic PUBlication）フォーマットの電子書籍データ６０を生成する。また、ページ画像５１に対して、符号５２〜５８の付帯情報と共に、あるいは符号５２〜５８の付帯情報に代えて、ＪａｖａＳｃｒｉｐｔ（登録商標）等のプログラム言語で記述された表示制御プログラムを付加してもよい。表示制御プログラムに、符号５２〜５８の付帯情報を含ませてもよい。

検索情報５２は、検索に用いる情報である。例えば、ページ番号（ページ識別情報）と１ページ又は複数ページのタイトルとの対応関係を示す目次情報、ページ番号とページ画像の文字領域内の文字列（検索ワード）との対応関係を示すページ検索情報、コマ番号（コマ識別情報）とコマ内の文字領域の文字列（検索ワード）との対応関係を示すコマ検索情報などである。エピソード番号（エピソード識別情報、例えば第何話であるかを示す）、電子コミックのタイトル、作者、出版社（版権者）などの情報を含んでいてもよい。

コマ情報５３は、ページ画像５１中のコマに関する情報である。例えば、コマのページ画像内での存在領域を示すコマ領域情報、コマの外縁の属性（点線、実線、線無しなど）、コマの形状、コマのサイズ、コマの属するページ画像のページ番号などである。コマ領域情報は、コマの外縁又はコマ全体のページ画像内での位置を示す情報である。例えば、コマの外縁上の複数点の位置情報、あるいはコマの外縁全体のベクトル情報）である。コマ領域情報は、（１）「コマ」を多角形で表現し、多角形全ての頂点のページ画像上の位置情報（座標）で表現したものや、（２）「コマ」をマスク画像（コマ領域を「１」、コマ以外を「０」の二値画像）で表現した情報（ビットマップ情報）を含む。また、コマの代表位置（例えば中心位置）とコマのサイズとによってコマ領域情報を表してもよい。また、上記（１）、（２）とは独立に、コマの中にコマがあるような階層的表現（例えば「そのコマの中にあるコマ（内包コマ）」、「そのコマが属しているコマ」）を可能にする項目（内包コマに関する情報）を加えるようにしてもよい。

吹き出し情報５４は、ページ画像５１中の吹き出しに関する情報である。例えば、吹き出しのページ画像内での存在領域を示す吹き出し領域情報、吹き出しの描線の属性（点線、実線など）、吹き出しの形状、吹き出しの起点（吹き出しの頂点）の位置と向き、吹き出しのサイズ、ページ画像の要素（登場人物など）と吹き出しの起点との相対的位置関係（例えば吹き出しの頂点と吹き出しの頂点が指し示す話者の顔と最小間隔）、吹き出しの話者の識別情報、吹き出しの属するコマなどである。吹き出し領域情報は、例えば、吹き出しの描線（外縁）上の複数点の位置情報、あるいは描線全体のベクトル情報である。マスク画像（吹き出し領域を「１」、吹き出し以外を「０」の二値画像）で表現した情報（ビットマップ情報）でもよい。また、吹き出しの代表位置（例えば中心位置）と吹き出しのサイズとによって吹き出し領域情報を表してもよい。

テキスト情報５５（文字情報）は、ページ画像５１内のテキストに関する情報である。例えば、各コマおよび各吹き出しに対応する、テキスト（文字列）、文字属性情報、行数、行間隔、文字間隔、表示切り替え方法、使用言語、縦書き／横書き、読み方向の区別などである。文字属性情報には、文字サイズ（ポイント数など）、文字種別（フォント、強調文字など）がある。テキスト情報には、吹き出し内の話者（登場人物、登場キャラクタ）の台詞が含まれる。また、吹き出し内に配置された原文の台詞に対応する各種言語の翻訳文とその使用言語（２以上の言語の翻訳文でもよい）も、このテキスト情報に含まれ得る。また、吹き出し外に配置されたテキスト（ナレーション、擬音を示す文字列など）やその翻訳文とそのテキストの属性（文字サイズ、フォント、文字装飾など）と、それらの音声読み上げ属性（ボリューム、スピード、繰り返し回数、開始／停止タイミングなど）、このテキスト情報に含まれうる。

登場人物情報５６（話者情報）は、吹き出しの台詞の話者（「登場人物」又は「登場キャラクタ」ともいう）に関する情報である。例えば、話者のページ画像内での存在領域を示す話者領域情報（顔領域情報など）、話者の識別情報（名称など）、話者の属性（性別、年齢など）である。なお、「話者」（登場人物又は登場キャラクタ）とは、吹き出しの台詞の発生源を意味し、人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物も含む。

表示制御情報５７は、ページ単位（又はコマ単位）のページ画像の表示制御に関する情報である。例えば、トレース表示の表示制御情報が挙げられる。トレース表示は、ページ画像の全体を現在の表示滞在位置から次の表示滞在位置に移動（トレース）させるように表示させる表示態様であって、各表示滞在位置で所定の滞在時間（予め決められた滞在時間、又は手動で次の表示滞在位置へのトレース指示があるまでの時間）だけ移動を停止してページ画像を表示する表示態様である。トレース表示の表示制御情報は、各表示滞在位置のページ画像上の位置情報（座標）、各表示滞在位置の遷移順、滞在時間等を含む。

その他情報５８は、ページ情報（例えば、左開き／右開き、縦書き／横書き）、付随音声に関する情報（例えば、擬音や効果音の内容）、再生エフェクトに関する情報（例えば、端末振動、画面を揺らす、画面フラッシュ、画面切り替えといったエフェクトの種類と開始タイミング）、レイアウト変更可否に関する情報、自動読み上に関する情報（読み上げ音声の内容、開始及び終了タイミング、読み上げスピード、読み上げ音声ボリュームなど）、及び広告データが例として挙げられる。

図４は、電子書籍制作装置２（コミック画像コマ検出装置）の一例の機能ブロック図である。

本例の電子書籍制作装置２は、記憶部２００、画像取得部２０２、テキスト検出部２０４（文字領域検出部）、コマ検出部２０６、吹き出し検出部２０８、登場人物検出部２１０、再検出領域判定部２１２、コマ再検出部２１４、その他情報生成部２１６、電子書籍データ生成部２２２、及び出力部２２４を含んで構成されている。記憶部２００は、例えば図２の記憶デバイス２５によって構成される。画像取得部２０２は、例えば図２の通信デバイス２４によって構成される。テキスト検出部２０４、コマ検出部２０６、吹き出し検出部２０８、登場人物検出部２１０、再検出領域判定部２１２、コマ再検出部２１４、その他情報生成部２１６、電子書籍データ生成部２２２は、例えば図２の制御デバイス２１によって構成される。出力部２２４は、例えば図２の通信デバイス２４によって構成される。

記憶部２００は、図３のページ画像５１、検索情報５２、コマ情報５３、吹き出し情報５４、テキスト情報５５、登場人物情報５６、表示制御情報５７、その他情報５８、電子書籍制作プログラム５０などの各種の情報を記憶する。

画像取得部２０２は、コミックの絵を含むページ単位のページ画像５１（コミック画像）を取得する。このページ画像５１は、後述のように電子書籍データ６０に組み込まれる。例えば図１のスキャナ１により紙媒体から読み取られた１ページ又は複数ページのページ画像５１を取得する。ページ画像５１は、例えば、コミック画像（漫画）が描かれた紙面からスキャナ１により読み取られたコミック画像が挙げられる。最初から電子的に生成されたコミック画像であってもよい。サーバ装置３から１ページ又は複数ページのページ画像５１を取得してもよい。記憶部２００に予め記憶されたページ画像５１を取得してもよい。メモリカード、光ディスクなどの記録媒体から読み込んでもよい。本発明においてページ画像の取得態様は特に限定されない。

テキスト検出部２０４は、画像取得部２０２によって取得されたページ画像５１（コミック画像）から、文字画像を含む文字領域を検出し、その文字領域内の文字画像をテキスト（文字情報）に変換する。

コマ検出部２０６は、画像取得部２０２によって取得されたページ画像５１（コミック画像）に基づいて、そのページ画像５１から、境界線で区画されている領域をコマとして検出する。「境界線で区画されている」領域とは、閉曲線で囲まれている領域には限定されない。例えば、領域の外縁の一部に境界線が存在する場合（例えば、縁の線が途切れている場合や、領域が多角形であって外縁の一辺のみに境界線が存在する場合）であってもよい。コマの境界線検出の具体的方法は公知の方法で行うことができ、例えば、ページ画像５１から高周波成分を検出する技術や、ハフ（Hough）変換により検出してもよい。境界線のノイズの除去や欠損部分の補間を行って、コマの外縁を示す線を検出してもよい。

吹き出し検出部２０８は、画像取得部２０２によって取得されたページ画像５１（コミック画像）に基づいて、そのページ画像５１から、吹き出しの画像（単に「吹き出し」ということもある）を検出する。「吹き出し」は、円形状や楕円形状に限定されない。四角形、星形状、雲形状など、どのような形状であってもよい。吹き出し内には、一般に、台詞と呼ばれるテキストの画像（文字画像）が含まれる。吹き出し内に、文字画像が無く又は文字画像と共に、記号、図形などの非テキストの画像（非文字画像）が入っている場合もある。本例の吹き出し検出部２０８は、閉曲線内に、文字画像あるいは予め決められた非文字画像が入っている場合に、その閉曲線を外縁とする領域を吹き出しの領域であると判定する。外縁の一部に線が存在する場合であってもよい。例えば、吹き出しの特徴（吹き出しの形状、吹き出しに内包され得る非テキストの画像、外縁を示す線の一部が欠落している場合の判定方法など）を記憶部２００に記憶しておき、ページ画像５１内で記憶部２００に記憶された特徴を有する画像を検出した場合、ページ画像５１から吹き出しを検出したと判定する。

登場人物検出部２１０は、画像取得部２０２によって取得されたページ画像５１（コミック画像）に基づいて、そのページ画像５１から、登場人物の画像を検出する。なお、登場人物（登場キャラクタ、話者）は、一般に吹き出しの台詞の発生源であり、人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物も含む。登場人物は、吹き出しの台詞を発生しない者を含んでいてもよい。また、登場人物の画像の全部を検出する場合に限定されず、登場人物の一部の画像のみを検出する場合であってもよい。例えば、登場人物の一部の画像（例えば顔画像）を記憶部２００に記憶させておき、ページ画像５１内で記憶部２００に記憶された登場人物の一部の画像（例えば顔画像）を検出した場合、ページ画像５１から登場人物を検出したと判定する。登場人物の一部の画像の検出方法を記憶部２００に記憶させておき、ページ画像５１内で記憶部２００に記憶された検出方法により登場人物の一部の画像を検出するようにしてもよい。

再検出領域判定部２１２は、ページ画像５１（コミック画像）のうち境界線で区画されていない領域（コマ未検出領域）、及びコマ検出部２０６で検出されたコマ内の領域（コマ検出領域）のうち、いずれか一方の領域を、コマ検出部２０６で未だ検出されていない未検出のコマを検出するための再検出領域であると判定する。コマ未検出領域及びコマ検出領域のうち、まず、一方の領域を再検出領域であると判定して後述のコマ再検出を行い、次に、他方の領域を再検出領域であると判定して後述のコマ再検出を行うことが、好ましい。

本例の再検出領域判定部２１２は、ページ画像５１のうち境界線で区画されていないコマ未検出領域が再検出領域であるか否かを、次の領域判定１〜３の態様のうちいずれか又は組み合わせにより判定する。

領域判定１：コマ未検出領域の面積が一定面積以上（又はページ画像に対して一定割合以上）であるか否かを判定し、コマ未検出領域の面積が一定面積以上（又は一定割合以上）である場合に、そのコマ未検出領域を再検出領域と判定する。例えば、コマ未検出領域の面積を算出し、そのコマ未検出領域の面積Ｗ１が閾値Ｔｈ以上であれば（Ｗ１≧Ｔｈ）、そのコマ未検出領域が再検出領域であると判定する。あるいは、コマ未検出領域の面積を算出し、そのコマ未検出領域の面積Ｗ１とページ画像５１の面積Ｗ２との比（Ｗ１／Ｗ２）を算出して、その比（Ｗ１／Ｗ２）が一定（例えば１／１０）以上であれば、再検出領域と判定する。

領域判定２：コマ未検出領域のページ画像５１内の位置に基づいて再検出領域を判定する。例えば、コマ未検出領域のうち絵又は文字が描かれている領域の外縁をコマ未検出領域の外縁として検出し、そのコマ未検出領域の外縁とページ画像５１の外縁との間の距離が閾値を超えている場合、そのコマ未検出領域を再検出領域とする。つまり、ページ画像５１の外縁から一定距離以内である領域（余白）を、再検出領域から除外する。

領域判定３：コマ未検出領域の形状に基づいて再検出領域を判定する。例えば、コマ未検出領域の形状が、記憶部２００に予め記憶された特定の形状（例えば、四角形、二重鉤括弧形状など）である場合、そのコマ未検出領域を再検出領域と判定する。

本例の再検出領域判定部２１２は、次の領域判定４の態様により、ページ画像５１のうち検出されたコマの領域（コマ検出領域）内で、再検出領域を判定する。

領域判定４：検出されたコマの外縁よりも内側に枠線があるか否かを判定し、検出されたコマの外縁よりも内側に枠線がある場合には、当該枠線で区画された領域（枠内の領域）が再検出領域であると判定する。

コマ再検出部２１４は、ページ画像５１（コミック画像）のうち再検出領域判定部２１２によって判定された再検出領域の画像に基づいて、その再検出領域から、コマ検出部２０６で未検出のコマを検出する。

本例のコマ再検出部２１４は、再検出領域と判定されたコマ未検出領域でのコマ再検出を次の再検出１〜４の態様のうちいずれか又は組み合わせにより行う。

再検出１：再検出領域に登場人物の画像がある場合、その登場人物の画像を含む区画をコマとして検出する。

再検出２：再検出領域に吹き出しの画像がある場合、その吹き出しの画像を含む区画をコマとして検出する。

再検出３：再検出領域に文字の画像（テキスト画像）が含まれ、且つ特定の文字列（例えば、社名、製品名などの特定の広告文字列）を含まない場合、その文字の画像を含む区画をコマとして検出する。

再検出４：再検出領域に非文字の画像（絵の画像）が含まれ、且つ特定の絵（例えばロゴなど）を含まない場合、その非文字の画像を含む区画をコマとして検出する。

本例のコマ再検出部２１４は、再検出領域と判定されたコマ検出領域でのコマ再検出を次の再検出５〜７の態様のうちいずれか又は組み合わせにより行う。

再検出５：コマ検出領域に内包された枠線内の領域（枠線で区画された再検出領域）に登場人物の画像がある場合、その登場人物の画像を含む枠線で区画された再検出領域をコマとして検出する。

再検出６：コマ検出領域に内包された枠線内の領域（枠線で区画された再検出領域）に吹き出しの画像がある場合、その吹き出しの画像を含む枠線で区画された再検出領域をコマとして検出する。

再検出７：コマ検出領域に内包された枠線内の領域（枠線で区画された再検出領域）の画像が特定の除外条件を満たす場合にはコマではないと判定する。また、その特定の除外条件を満たさない場合にはコマとして検出するようにしてもよい。例えば、コマ検出領域に内包された枠線内の領域が文字画像のみの文字領域である場合にはコマではないと判定する。また、例えば、コマ検出領域に内包された枠線内の領域の画像が特定の絵（例えば家の窓）である場合には、コマではないと判定する。

その他情報生成部２１６は、ページ画像５１を解析して得た情報、図２の操作デバイス２２、通信デバイス２４などにより得た情報に基づいて、図３のその他情報５８を生成する。

電子書籍データ生成部２２２は、各種の情報をコミック画像（ページ画像５１）に関連付けて電子書籍データを生成する。本例の電子書籍データ生成部２２２は、図３に示した検索情報５２、コマ情報５３、吹き出し情報５４、テキスト情報５５、登場人物情報５６、表示制御情報５７、その他情報５８等の付帯情報を、ページ画像５１（コミック画像）に付帯させることにより、電子書籍データ６０を生成する。図３に示した情報以外の情報をページ画像５１に付帯させてもよいし、図３に示した情報のうちの一部のみをページ画像５１に付帯させてもよい。ビューワ装置４で実行されるページ画像５１の表示制御プログラム（例えばＪａｖａＳｃｒｉｐｔ（登録商標）などのスクリプト言語で記述されたプログラム）をページ画像５１に付帯させてもよい。

出力部２２４は、電子書籍データ生成部２２２によって生成された電子書籍データ６０を出力する。この出力部２２４によって、コマ検出部２０６及びコマ再検出部２１４によるコマの検出結果を含む電子書籍データ６０が出力される。例えば、出力部２２４は、記憶部２００に電子書籍データ６０を記憶させる。また、出力部２２４は、図１のサーバ装置３に対して電子書籍データ６０を送信する。

＜ビューワ装置＞
図５は、電子書籍制作装置２によって生成された電子書籍データ６０を閲覧するビューワ装置４のハードウェア構成例を示す。本例のビューワ装置４は、制御部４１、操作部４２、表示部４３、通信部４４、及び記憶部４５を備えた携帯端末によって構成される。制御部４１は、例えばＣＰＵ（Central Processing Unit）によって構成される。操作部４２及び表示部４３は、例えばタッチパネルディスプレイによって構成される、通信部４４は、ネットワークを介してサーバ装置３と通信可能なデバイスである。記憶部４５は、例えばメモリによって構成される。

通信部４４は、サーバ装置３に電子書籍データ６０の配信要求を行って、サーバ装置３から電子書籍データ６０を受信する。

制御部４１は、操作部４２に入力されたユーザの指示に従って、記憶部４５に記憶されているビューワプログラムを実行する。

本例の制御部４１は、電子書籍データ６０に表示制御プログラムが組み込まれている場合、電子書籍データ６０に組み込まれている表示制御プログラムに従って、電子書籍データ６０に組み込まれているページ画像５１の表示制御を行ってページ画像５１を表示部４３に表示させる。また、本例の制御部４１は、電子書籍データ６０に表示制御プログラムが組み込まれていない場合、記憶部４５に記憶されている表示制御プログラムに従って、電子書籍データ６０に組み込まれているページ画像５１の表示制御を行ってページ画像５１を表示部４３に表示させる。

＜電子書籍制作処理の一例の概要＞
図６は、コミック画像コマ検出方法を含む電子書籍制作処理の一例の概略の流れを示すフローチャートである。本処理は、図２の制御デバイス２１（マイクロ・コンピュータ）の制御により、記憶デバイス２５（記憶部２００）に記憶されたプログラムに従って、実行される。尚、プログラムは、電気的、磁気的、あるいは周知の他の方法で記録媒体に記録しておき、その記録媒体から読み取るようにすることができる。

まず、画像取得部２０２により、コミックの絵を含むページ画像５１（コミック画像）を取得する（ステップＳ１：画像取得ステップ）。図７は、取得されたページ画像５１の一例を示す。

次に、テキスト検出部２０４により、ページ画像５１に基づいて、ページ画像５１から、文字領域を検出する（ステップＳ２：文字領域検出ステップ）。本例の電子書籍制作処理のステップＳ２では、さらに、吹き出し検出部２０８によってページ画像５１から吹き出しの画像を検出し、登場人物検出部２１０によってページ画像５１から登場人物の画像を検出する。図８は、図７のページ画像５１から検出された文字領域Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、吹き出しの画像Ｂ、及び登場人物の画像Ａを示す。尚、図中、吹き出しの画像及び登場人物の画像をそれぞれひとつずつ示したが、本例では、実際には複数の吹き出しの画像及び複数の登場人物の画像がページ画像５１内に存在しているものとする。

次に、コマ検出部２０６により、ページ画像５１に基づいて、ページ画像５１の全体から、境界線で区画されているコマを検出する（ステップＳ３：コマ検出ステップ）。図９は、コマ検出部２０６により図７のページ画像５１から検出されたコマＦ１、Ｆ３、Ｆ４、Ｆ５を示す。本発明の理解を容易にするため、図９には四辺形のコマであって閉曲線で囲まれたコマを示したが、コマの形状は各種ある。また、コマの外縁が閉曲線で描かれている場合もあれば、コマの外縁の一部のみ描かれている場合もある。本例のコマ検出部２０６は、記憶部２００に記憶されているコマの特徴情報（各種のコマ形状、外縁を示す境界線の一部が欠落している場合のコマ判定方法など）に基づいて、ページ画像５１から、境界線で区画されたコマであって、コマ相互で領域が重ならないコマを検出する。

次に、再検出領域判定部２１２により、コマ検出部２０６で未検出のコマを検出するための再検出領域を判定し、コマ再検出部２１４により、ページ画像５１のうち再検出領域の画像に基づいて再検出領域から未検出のコマを検出する（ステップＳ４：再検出領域判定ステップ及びコマ再検出ステップ）。本ステップの具体例は、後述する。

次に、その他情報生成部２１６により、その他情報５８を生成する（ステップＳ５）。

次に、電子書籍データ生成部２２２によって、ページ画像５１と各種の付帯情報とを関連付けて、電子書籍データ６０を生成する（ステップＳ６：電子書籍データ生成ステップ）。

次に、出力部２２４によって、生成された電子書籍データを出力する（ステップＳ７：出力ステップ）。ここで、コマ検出部２０６及びコマ再検出部２１４によるコマの検出結果を含む電子書籍データ６０が出力される。

＜再検出領域判定及びコマ再検出＞
図１０は、再検出領域判定及びコマ再検出のステップ（図６のＳ４）の詳細な流れを示すフローチャートである。

まず、再検出領域判定部２１２によって、ページ画像５１（コミック画像）のうち境界線で区画されていないコマ未検出領域を、ページ画像５１から抽出する（ステップＳ４１）。

次に、再検出領域判定部２１２によって、コマ未検出領域の面積が一定面積以上であるか否か（又は一定割合以上であるか否か）を判定し（ステップＳ４２）、コマ未検出領域の面積が一定面積以上である場合（又は一定割合以上である場合）には、そのコマ未検出領域が再検出領域であると判定し、コマ再検出部２１４によって、境界線で区画されていないコマ未検出領域（再検出領域）からコマを検出する（ステップＳ４３）。コマ再検出部２１４は、例えば、（１）再検出領域内に吹き出しの画像があるか否か、（２）再検出領域内に登場人物の画像があるか否かを判定する。図１１は、ステップＳ４３で検出されたコマＦ２を示す。コマＦ２の領域内には、吹き出しの画像Ｂ及び登場人物の画像Ａが含まれている。

次に、ページ画像５１に次のコマ未検出領域があるか否かを判定し（ステップＳ４４）、次のコマ未検出領域がある場合にはステップＳ４１に戻る。

次に、再検出領域判定部２１２によって、コマ検出部２０６で検出されたコマの外縁よりも内側に枠線があるか否かを判定する（ステップＳ４５）。

コマの外縁よりも内側に枠線がある場合には、再検出領域判定部２１２によって、その枠線で区画された領域が再検出領域であるとして判定し、コマ再検出部２１４により、その枠線で区画された領域（再検出領域）がコマであるか否かを判定する（ステップＳ４６）。コマ再検出部２１４は、例えば、（１）枠線内に吹き出しの画像があるか否か、（２）枠線内に登場人物の画像があるか否かを判定する。

図１２は、ページ画像５１内から、ステップＳ４３で検出されたコマＦ２１、Ｆ２２、Ｆ２３、Ｓ２４と、ステップＳ４６で検出されたコマＦ２５を示す。コマＦ２５の領域内には、吹き出しの画像Ｂ及び登場人物の画像Ａが含まれる。

図１３及び図１４は、ステップＳ４３でコマではないと判定される場合の一例を示す。図１３に示すようにコマＦ２３の外縁よりも内側の枠線７１で区画された領域が文字画像（「あれは一年前・・・」）のみの文字領域（モノローグの領域など）である場合には、その枠線７１で区画された枠線７１内の領域はコマではないと判定する。また、図１４に示すようにコマＦ２３の外縁よりも内側の枠線７２がコマの枠線ではない（例えば建物の窓の画像）である場合には、その枠線７２で区画された枠線７２内の領域はコマではないと判定する。

次に、ページ画像５１に次の枠線があるか否かを判定し（ステップＳ４７）、次の枠線がある場合にはステップＳ４５に戻り、次の枠線がない場合には図６のステップＳ４の処理を終了する。

なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

２：電子書籍制作装置（コミック画像コマ検出装置）、３：サーバ装置、４：ビューワ装置、２００：記憶部、２０２：画像取得部、２０４：テキスト検出部（文字領域検出部）、２０６：コマ検出部、２０８：吹き出し検出部、２１０：登場人物検出部、２１２：検出領域判定部、２１４：コマ再検出部、２１６：その他情報生成部、２２２：電子書データ生成部、２２４：出力部

Claims (13)

1. コミックの絵を含むコミック画像を取得する画像取得部と、
   前記画像取得部によって取得されたコミック画像に基づいて、当該コミック画像から、境界線で区画されているコマを検出するコマ検出部と、
   前記コミック画像のうち境界線で区画されていないコマ未検出領域、又は前記コマ検出部で検出されたコマ内の領域を、未検出のコマを検出するための再検出領域であると判定する再検出領域判定部と、
   前記コミック画像のうち前記再検出領域の画像に基づいて、当該再検出領域から、前記コマ検出部で未検出のコマを検出するコマ再検出を行うコマ再検出部と、
   前記コマ検出部及び前記コマ再検出部によるコマの検出結果を含むデータを出力する出力部と、
   を有するコミック画像コマ検出装置。
2. 前記再検出領域判定部は、前記コマ検出部で検出されたコマの外縁よりも内側に枠線があるか否かを判定し、前記検出されたコマの外縁よりも内側に枠線がある場合には、当該枠線で区画された領域が前記再検出領域であると判定する請求項１に記載のコミック画像コマ検出装置。
3. 前記コマ再検出部は、前記検出されたコマの外縁よりも内側の前記枠線で区画された領域が文字画像のみの文字領域である場合には当該枠線で区画された領域はコマではないと判定し、前記枠線で区画された領域が前記文字領域でない場合には当該枠線で区画された領域をコマとして検出する請求項２に記載のコミック画像コマ検出装置。
4. 前記コマ再検出部は、前記検出されたコマの外縁よりも内側の前記枠線で区画された領域にコミックの登場人物の画像がある場合には、当該枠線で区画された領域をコマとして検出する請求項２又は３に記載のコミック画像コマ検出装置。
5. 前記コマ再検出部は、前記検出されたコマの外縁よりも内側の前記枠線で区画された領域に吹き出しの画像がある場合には、当該枠線で区画された領域をコマとして検出する請求項２ないし４のうちいずれか１項に記載のコミック画像コマ検出装置。
6. 前記コマ再検出部は、前記境界線で区画されていないコマ未検出領域のコマの検出を行い、かつ前記検出されたコマ内の領域のコマの検出を行う請求項１ないし５のうちいずれか１項に記載のコミック画像コマ検出装置。
7. 前記再検出領域判定部は、前記コミック画像のうち境界線で区画されていない前記コマ未検出領域の面積が一定面積以上又は前記コミック画像に対して一定割合以上であるか否かを判定し、前記コマ未検出領域の面積が一定面積以上又は前記一定割合以上である場合に当該コマ未検出領域を前記再検出領域と判定する請求項１ないし６のうちいずれか１項に記載のコミック画像コマ検出装置。
8. 前記再検出領域判定部は、前記コミック画像のうち境界線で区画されていない前記コマ未検出領域のページ画像内の位置に基づいて前記再検出領域を判定する請求項１ないし７のうちいずれか１項に記載のコミック画像コマ検出装置。
9. 前記再検出領域判定部は、前記コミック画像のうち境界線で区画されていない前記コマ未検出領域の形状に基づいて前記再検出領域を判定する請求項１ないし８のうちいずれか１項に記載のコミック画像コマ検出装置。
10. 前記コマ再検出部は、前記コミック画像のうち境界線で区画されていない前記コマ未検出領域にコミックの登場人物の画像がある場合には、当該登場人物の画像を含む区画をコマとして検出する請求項１ないし９のうちいずれか１項に記載のコミック画像コマ検出装置。
11. 前記コマ再検出部は、前記コミック画像のうち境界線で区画されていない前記コマ未検出領域に吹き出しの画像がある場合には、当該吹き出しの画像を含む区画をコマとして検出する請求項１ないし１０のうちいずれか１項に記載のコミック画像コマ検出装置。
12. コミックの絵を含むコミック画像を取得する画像取得ステップと、
    前記画像取得ステップによって取得されたコミック画像に基づいて、当該コミック画像から、境界線で区画されているコマを検出するコマ検出ステップと、
    前記コミック画像のうち境界線で区画されていないコマ未検出領域、又は前記コマ検出ステップで検出されたコマ内の領域を、未検出のコマを検出するための再検出領域であると判定する再検出領域判定ステップと、
    前記コミック画像のうち前記再検出領域の画像に基づいて、当該再検出領域から、前記コマ検出ステップで未検出のコマを検出するコマ再検出を行うコマ再検出ステップと、
    前記コマ検出ステップ及び前記コマ再検出ステップによるコマの検出結果を含むデータを出力する出力ステップと、
    を有するコミック画像コマ検出を含むコミック画像コマ検出方法。
13. コミックの絵を含むコミック画像を取得する画像取得ステップと、
    前記画像取得ステップによって取得されたコミック画像に基づいて、当該コミック画像から、境界線で区画されているコマを検出するコマ検出ステップと、
    前記コミック画像のうち境界線で区画されていないコマ未検出領域、又は前記コマ検出ステップで検出されたコマ内の領域を、未検出のコマを検出するための再検出領域であると判定する再検出領域判定ステップと、
    前記コミック画像のうち前記再検出領域の画像に基づいて、当該再検出領域から、前記コマ検出ステップで未検出のコマを検出するコマ再検出を行うコマ再検出ステップと、
    前記コマ検出ステップ及び前記コマ再検出ステップによるコマの検出結果を含むデータを出力する出力ステップと、
    をコンピュータに実行させるプログラム。

Images