JP2012038286A - コンテンツ解析装置、方法およびプログラム - Google Patents

Abstract

【課題】電子図書の表示箇所と表示順を自動で決定する技術を提供する。
【解決手段】配信システムは、コンテンツの解析結果に応じて得られた視線の停止位置と視線の移動順の情報であるアンカーポイント情報と、アンカーポイントごとのコンテンツの停止時間を示す機種に応じたシナリオと、機種に応じた再生コンテンツとを端末に送信し、これらを受信した端末は、その機種に応じた再生コンテンツを、シナリオに従って再生することができる。
【選択図】図１

Description

本発明は、マンガ、新聞、雑誌、書類、教科書、参考書などの紙ベースのコンテンツを電子化した各種のコンテンツを表示する装置、方法およびプログラムに関する。

特許文献１によると、マンガの各コマの再生順序は、コマの配列としてマンガの作者が想定する順序に基づいて定められる。例えば、コマごとに識別番号を有していて、この再生順序はその識別番号の配列のデータとして定められる。再生する表示装置のサイズで読み取りやすいように、マンガ紙面上での一つの大きなコマに、複数の表示位置を定めて、それぞれを改めてコマと定めても良い、とする。

特許文献２によると、設定されたコマ表示順序に従って、Flash漫画コンテンツのファイルが作成される。このFlashコンテンツファイルの作成は、事業者の指示に従い、パソコンが所定のFlash作成アプリケーションを実行することで行われ、一頁毎に当該頁の画像データ及びコマ表示順序指令（コマ表示シーケンス）を含むFlashコンテンツファイルが作成される。

特許文献３によると、新聞、雑誌等の情報提示媒体に掲載された複数の記事が、記事をスキャンしたデータを格納することによって情報提示媒体に掲載された形態を維持しつつ記事情報として保管される。そして、これらの保管された複数の記事情報から、情報端末から通信回線を介して受け取った指定情報に基づいて記事情報を特定し、この特定した記事情報に基づいて出力情報を生成し、生成した出力情報を記録媒体に出力するために、該出力情報を送信するので、雑誌等情報提示媒体に掲載されたままの形態で、ユーザが意図した情報を入手することができる。

その他、本願に関係する従来技術として、特許文献４および５がある。

特開２００７−２２６２５５号公報 特開２００７−１６４５５０号公報 特開２００２−４１４０１号公報 特開２００１−２５０２４号公報 特開平１１−２７２３９９号公報

特許文献１や２のように、予めコマごとの配列をユーザの手作業により決定し、それをデータ入力することは非常に煩雑である。また、従来技術には、電子化されたコンテンツを、当該データに従って様々な仕様および形態の端末へ順次配信し、コンテンツを様々な仕様および形態の端末で再生させる手段について言及がない。

本発明は、電子図書の表示箇所と表示順を自動または半自動で決定する技術を提供する。

本発明は、オリジナルコンテンツを入力する入力部と、入力部に入力されたオリジナルコンテンツの内容を解析し、コンテンツに関する情報であるコンテンツ解析情報を取得するコンテンツ解析部と、入力部に入力されたオリジナルコンテンツに対応する所定の解析ルールに従い、入力部に入力されたオリジナルコンテンツに対して読者の視線の停止する位置であるアンカーポイントとアンカーポイントの遷移順を解析し、解析されたアンカーポイントとアンカーポイントの遷移順を示すアンカーポイント情報を生成するアンカーポイント情報生成部と、を備えるコンテンツ解析装置を提供する。

入力部は、オリジナルコンテンツの画像および付帯情報を入力し、コンテンツ解析部は、オリジナルコンテンツの画像および付帯情報に基づいてコンテンツ解析情報を取得する。

情報埋込部がアンカーポイント情報を埋め込んだ配信コンテンツを端末の機種ごとに記憶するコンテンツデータベースと、端末の機種および／またはコンテンツ解析情報に応じて、アンカーポイント情報生成部の生成したアンカーポイントの各々における配信コンテンツの停止時間を決定し、決定されたアンカーポイントごとの停止時間を示すシナリオを生成するシナリオ生成部と、を備える。

シナリオ生成部は、端末の画面サイズその他の仕様に応じて、アンカーポイント情報生成部の生成したアンカーポイントの各々における配信コンテンツの表示倍率を決定し、決定されたアンカーポイントごとの表示倍率を示すシナリオを生成する。

入力部から入力されたオリジナルコンテンツを、アンカーポイント情報および端末の機種に応じた画像である配信コンテンツに変換する変換部と、アンカーポイント情報生成部の生成したアンカーポイント情報を、変換部の変換した配信コンテンツに埋め込む情報埋込部と、を備える。

アクセスしてきた端末の機種に対応したシナリオと配信コンテンツをデータベースから抽出して端末に配信する配信部と、配信部からシナリオおよび配信コンテンツを受信し、シナリオに従って配信コンテンツを再生する端末と、を備える。

好ましくは、アンカーポイント情報生成部は、入力部に入力されたオリジナルコンテンツに対応する所定の解析ルールに従い、入力部に入力されたオリジナルコンテンツの各要素に対する順序を決定し、各要素の順序と各要素のサイズに基づいてアンカーポイント情報を生成する。

コンテンツ解析部は、解析の対象となるコンテンツの種類の選択を受け付け、選択されたコンテンツの種類に応じたコンテンツの要素を解析する。

コンテンツ解析部は、解析の対象となるコンテンツの種類としてマンガの選択を受け付けた場合、エッジ解析およびコマ境界線候補抽出によりマンガのコマを判定する。

コンテンツ解析部は、コマ判定の結果を所定の表示装置に表示する。

アンカーポイント情報生成部は、入力部に入力されたマンガに対応する所定の解析ルールに従い、判定されたマンガのコマの各々に対する順序を決定し、各コマの順序と各コマのサイズに基づいてアンカーポイント情報を生成する。

アンカーポイント情報生成部は、判定されたマンガのコマが、端末の画面サイズに収まらない場合、コマをサイズに収まるサイズに分割し、分割後のコマを含む各コマについて、マンガに対応する所定の解析ルールに従い、コマの各々に対する順序を決定し、各コマの順序と各コマのサイズに基づいてアンカーポイント情報を生成する。

アンカーポイント情報生成部は、端末の画面の形状に適合するようコマを分割する。

アンカーポイント情報生成部は、判定されたマンガの複数のコマが、端末の画面サイズに同時に収まる場合、複数のコマを統合し、統合後のコマを含む各コマについて、マンガに対応する所定の解析ルールに従い、コマの各々に対する順序を決定し、各コマの順序と各コマのサイズに基づいてアンカーポイント情報を生成する。

本発明は、コンピュータが、オリジナルコンテンツを入力するステップと、入力されたオリジナルコンテンツの内容を解析し、コンテンツに関する情報であるコンテンツ解析情報を取得するステップと、入力されたオリジナルコンテンツに対応する所定の解析ルールに従い、入力されたオリジナルコンテンツに対して読者の視線の停止する位置であるアンカーポイントとアンカーポイントの遷移順を解析し、解析されたアンカーポイントとアンカーポイントの遷移順を示すアンカーポイント情報を生成するステップと、を含むコンテンツ解析方法を提供する。

このコンテンツ解析方法をコンピュータに実行させるためのコンテンツ解析プログラムも本発明に含まれる。

この発明によると、コンテンツの解析結果に応じて得られた視線の停止位置と視線の移動順の情報であるアンカーポイント情報が生成される。アンカーポイント情報と再生コンテンツを受信した端末は、再生コンテンツを、解析された遷移順に従って再生することができる。

コンテンツ配信システムの概略構成図 アンカーポイントの一例を示す図 シナリオ生成処理のフローチャート エッジ検出の一例を示す図 コマ順序決定の一例を示す図 マンガの特殊なコマ配置の一例を示す図 配信処理のフローチャート オリジナルコンテンツ、アンカーポイント情報および詳細画像の一例を示す図 アルゴリズムで記述された、マンガに対するアンカーポイント生成ルールの一例を示す図 マンガに対するコマ順序およびアンカーポイントの一例を示す図

図１は本発明の好ましい実施形態に係るコンテンツ配信システムの構成を示す。このシステムはコンテンツサーバ１と配信サーバ２を含む。コンテンツサーバ１と配信サーバ２は、演算装置（ＣＰＵ）、記憶装置、入出力回路などを備えたコンピュータ（情報処理装置）で構成される。コンテンツサーバ１と配信サーバ２は１つのコンピュータであってもよい。

コンテンツサーバ１は、コンテンツ入力部１１、コンテンツ解析部１２、アンカーポイント情報生成部１３、コンテンツ画像変換部１４、アンカー情報埋込部１５、シナリオ生成部１６、オリジナルコンテンツＤＢ２１、ルールＤＢ２２、機種情報ＤＢ２３、加工済みコンテンツＤＢ２４、再生シナリオＤＢ２５を含む。

コンテンツ入力部１１は、マンガ、新聞、週刊誌の記事、オフィス文書（プレゼンテーション文書など）、教科書、参考書など、ページ単位で組まれたオリジナルコンテンツを入力する。入力の形態は任意であり、ＵＳＢやインターネットなどのネットワーク経由、メモリカードやＣＤＲＯＭなどのコンピュータ読み取り可能な媒体経由で入力されうる。入力されたオリジナルコンテンツはオリジナルコンテンツＤＢ２１に蓄積される。オリジナルコンテンツＤＢ２１に蓄積されたコンテンツはスキャナーなどで電子データ化されたものである。オリジナルコンテンツの保存形式は任意であり、ＰＤＦファイルや画像ファイルなどの形式で保存される。オリジナルコンテンツには付帯情報が記録されていてもよい。この付帯情報は、コンテンツの作者、タイトル、総ページ数、巻の番号、エピソードの番号などが含まれうる。

コンテンツ解析部１２は、オリジナルコンテンツＤＢ２１に蓄積されたコンテンツおよびその付帯情報を解析し、コンテンツ解析情報を出力する。コンテンツ解析情報は、コンテンツの種類（マンガ、新聞、週刊誌の記事、オフィス文書、教科書、参考書など）、コンテンツの作者、コンテンツのタイトル、コンテンツが複数の巻やエピソードからなるシリーズものであればそのエピソード番号、コンテンツのページ数、ページごとのコンテンツの要素（コマ、描画、描画内の登場キャラクタの種類、吹き出し、テキスト、表、図など）のレイアウト、キャラクタの特徴（キャラクタ名、キャラクタの視線方向、キャラクタのサイズ、位置など）、テキストの内容、テキストの位置、テキストの量（文字数）、ページ／セクション／章などの区切りを含む。コンテンツの要素の位置、サイズ、種類は顔その他の物体の特徴量に基づき自動検出されてもよい。コンテンツの要素の自動検出はマシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマの外縁の検出確度、矩形以外の領域のコマとしての妥当性の判断閾値などを経験的に設定する。

ルールＤＢ２２は、アンカーポイント生成ルールを蓄積する。例えば、ルールＤＢ２２は、コンテンツの種類に応じたアンカーポイント生成ルールを蓄積する。アンカーポイント生成ルールは、コンテンツの要素を読む順序の規則性を示している。

具体的には、図２（ａ）に例示するように、コンテンツの種類が横組のオフィス文書の場合、コンテンツ解析情報に含まれるテキストの位置が最も上のものから最も下のものにかけて各コマの代表点（コマの中心や重心など）を順次走査する規則をアンカーポイント生成ルールＡとして蓄積する。

あるいは、図２（ｂ）に例示するように、コンテンツの種類がマンガの場合、コンテンツ解析情報に含まれるコマ（または吹き出し）の位置が最も右上のものから最も左下のものにかけて各コマの代表点（コマの中心や重心など）を順次水平方向に走査する規則をアンカーポイント生成ルールＢとして蓄積する。

あるいは、図２（ｃ）に例示するように、コンテンツの種類が縦組の新聞の場合、コンテンツ解析情報に含まれる位置が最も右上のものから最も左下のものにかけて各コマの代表点を順次垂直方向に走査する規則をアンカーポイント生成ルールＣとして蓄積する。

あるいは、図示は省略するが、ルールＤＢ２２は、コンテンツの作者に応じたアンカーポイント生成ルールを蓄積することもできる。

あるいは、ルールＤＢ２２には、コンテンツの作者や種類に応じた規定のルールだけでなく、ルール生成部３０の人工知能により学習されたコンテンツの作者や種類に応じたルールが蓄積されてもよい。

ルール生成部３０のルール学習は、例えば次のように行う。まず、複数の基本パターンについてそれぞれ正解ルールを予め用意しておく。ルール生成部３０は、複数の基本パターンについてそれぞれ特徴量（コマ境界線の太さや長さなど）を抽出する。そしてルール生成部３０は、抽出された特徴量から、コンテンツ作成者の想定しているコマの読み進み順を推定する。ルール生成部３０は、基本パターンごとに推定した読み進み順と正解ルールとを比較して、コマの読み進み順を推定するパラメータを最適化する。最適化されたパラメータはルールＤＢ２２に記憶される。

アンカーポイント情報生成部１３は、コンテンツ解析部１２の出力したコンテンツ解析情報とルールＤＢ２２に蓄積されたアンカーポイント生成ルールに基づき、アンカーポイント情報を生成する。アンカーポイントは、１ページごとのコンテンツの要素の視線の止まる位置（アイストップ）である。アンカーポイント情報生成部１３は、ルールＤＢ２２に蓄積されたコンテンツの種類ごとのアンカーポイント生成ルールの中から、入力されたコンテンツの種類に対応するアンカーポイントルールを抽出し、抽出されたアンカーポイント生成ルールとコンテンツ解析情報に従ってアンカーポイント情報を生成する。

アンカーポイント情報は、アンカーポイントの位置座標、各アンカーポイントの移動順ないし移動方向を示す情報を含む。アンカーポイント情報は、その他の各種オプション情報を含んでもよい。

コンテンツ画像変換部１４は、オリジナルコンテンツＤＢ２１に蓄積されたオリジナルコンテンツを、再生端末で再生可能な形式の画像に変換する。この変換後の画像を再生コンテンツと呼ぶ。再生端末で再生可能な形式とは、ＪＰＥＧなどである。またコンテンツ画像変換部１４は、配信サーバ２にアクセスしてきた再生端末３の機種情報から、対応する画面サイズ情報を機種情報ＤＢ２３から特定し、当該特定された画面情報に適合するよう再生コンテンツの解像度をリサイズし、再生コンテンツとする。この場合、コンテンツ画像変換部１４は、コンテンツサーバ１でなく再生端末３に備えられていてもよい。

あるいは、またコンテンツ画像変換部１４は、機種情報ＤＢ２３に蓄積された各機種ごとの画面サイズ情報に応じて再生コンテンツの解像度をリサイズし、各機種ごとの再生コンテンツを作成する。

再生コンテンツは、概観画像と詳細画像を含む。概観画像は、１ページのコンテンツ全体を概略的に表した低精細画像である。詳細画像とは、アンカーポイント周辺のコンテンツ要素を詳細に示した、各アイストップに対応する１または複数の高精細画像である。例えば詳細画像は、コンテンツ解析結果に応じて定まった各アンカーポイントを代表点とするマンガの各１コマ分の高精細画像である。

アンカー情報埋込部１５は、コンテンツ画像変換部１４の変換した機種ごとの再生コンテンツに、アンカーポイント情報生成部１３の生成したアンカーポイント情報を埋め込む。埋め込み方式は任意である。例えば、ＸＭＬ形式のメタデータを再生コンテンツに関連づける。アンカーポイント情報の埋め込まれた再生コンテンツは機種情報ごとに加工済みコンテンツＤＢ２４に蓄積される。

シナリオ生成部１６は、加工済みコンテンツＤＢ２４の再生コンテンツに対応する再生シナリオを、コンテンツ解析情報／機種情報／再生状態情報に基づいて生成する。生成されたシナリオは再生シナリオＤＢ２５に蓄積される。シナリオの保存形式は任意であり、例えばアンカー情報と同じくＸＭＬで記述される。再生シナリオはコンテンツ全体に対応するものでもよいしコンテンツの各ページごとに対応するものでもよいが、コンテンツの各ページごとに対応する再生シナリオは、各ページの概観画像の送信の都度一緒に配信する必要がある。

再生シナリオは、詳細画像の拡大率、前のアンカーポイントに対応する詳細画像から次のアンカーポイントに対応する詳細画像への表示切り替えの速度および表示切り替え方法（スクロール、フェードアウト／フェードインなど）、各アンカーポイントでの視線の停止時間すなわち各アンカーポイントに対応する詳細画像の表示時間の長さである滞在時間、コンテンツ内の概観画像および詳細画像の位置づけ（ページ、セクション）、見出し情報などを含む。

例えば、各アンカーポイントに対応する詳細画像のテキスト量に適合するような滞在時間を再生シナリオに設定する。各アンカーポイント周辺での詳細画像のテキスト量が大きければそれだけ一画面内の情報量が多くなるので、その分再生シナリオでは滞在時間を長く設定する。

あるいは、各アンカーポイントでの詳細画像の拡大率を配信サーバ２にアクセスしてきた再生端末３か、機種情報ＤＢ２３に蓄積された機種ごとの画面サイズに適合するような機種ごとの滞在時間を再生シナリオに設定する。

あるいは、アンカーポイント間の表示切り替えの速度を再生シナリオに設定する。この速度は、再生状態情報として取得した、配信サーバ２にアクセスしてきた再生端末３のユーザに対応する過去の閲覧のスピードから決定してもよいし、同一の再生コンテンツを再生した複数の再生端末３から再生状態情報として取得した過去の閲覧のスピードを所定の算術式（平均など）に適用することで決定してもよい。

表示切り替え方法は所定のデフォルトの切り替え方法としてもよいし、コンテンツ解析情報に基づいて設定されてもよい。例えば、あるコマａのコンテンツ内のキャラクタの視線方向の移動先がアンカーポイントの移動方向の先であるコマｂと一致するならば、コマａからコマｂへの表示切り替え方法をスクロールに設定する。

コンテンツ内の概観画像および詳細画像の位置づけ（ページ、セクション）、見出し情報などは、オリジナルコンテンツの付帯情報に対応する。

配信サーバ２は、インターネットなどのネットワークを介して接続した再生端末３の機種情報に対応する再生シナリオと再生コンテンツをそれぞれ再生シナリオＤＢ２５および加工済みコンテンツＤＢ２４から抽出し、抽出した再生シナリオと画像を再生端末３に送信する。再生シナリオと再生コンテンツは一括で送ってもよいし再生単位（ページなど）ごとに送ってもよい。

再生端末３は携帯電話、スマートフォン、タブレットコンピュータなどの携帯型情報端末で構成され、画像を再生可能な情報処理装置、表示手段、通信手段を備えている。再生端末３は、配信サーバ２から受信した再生シナリオに基づいて画像を再生する。配信サーバ２にアクセスする再生端末３およびそのユーザは不特定多数である。

図３（ａ）はコンテンツサーバ１の実行するシナリオ生成処理のフローチャートを示す。この処理をコンテンツサーバ１に実行させるプログラムはコンテンツサーバ１のコンピュータ読み取り可能な記憶媒体（ＲＡＭ、ＲＯＭ、ＣＤＲＯＭなど）に記憶されている。

Ｓ１では、コンテンツ入力部１１は、オリジナルコンテンツを入力する。

Ｓ２では、コンテンツ解析部１２は、オリジナルコンテンツを解析する。

Ｓ３では、アンカーポイント情報生成部１３は、アンカーポイント情報を生成する。

Ｓ４では、コンテンツ画像変換部１４は、オリジナルコンテンツを機種情報ごとの再生コンテンツに変換する。

Ｓ５では、アンカー情報埋込部１５は、再生コンテンツにアンカーポイント情報を埋め込む。アンカーポイント情報の埋め込まれた再生コンテンツは機種情報ごとに加工済みコンテンツＤＢ２４に蓄積される。

Ｓ６では、シナリオ生成部１６は、機種情報ごとの再生シナリオを生成する。

Ｓ７では、配信サーバ２は、再生端末３の機種情報に対応する再生シナリオと再生コンテンツを再生端末３に送信する。

図３（ｂ）は、Ｓ２のコンテンツ解析（コンテンツの要素の自動検出）の流れを示す。このコンテンツ解析は、エッジ検出（Ｓ２１）、コマ境界線候補抽出（Ｓ２２）、コマ判定（Ｓ２３）の３つのステップから構成される。

例えば、コンテンツが少年マンガであることがマウスやキーボードなどのユーザインタフェースを経由して選択されると、少年マンガに対応するコンテンツ解析が開始する。

エッジ検出（Ｓ２１）では、コンテンツ解析部１２は、コマの外縁の枠を検出する処理として機能する。エッジ検出自体の具体的方法は従来と同様に行うことができ、例えば、コンテンツをスキャンして得られた画像から高周波成分を検出することで行われる。

コマの外縁が、白線（白い境界線）を伴わない１本線や、飾り線の場合もあるので、高周波成分検出のみで枠が検出できない場合は、Hough変換を適用して、コマの辺を構成する線分を推定する。

あるいは、エッジ検出の結果、本来はコマの枠でない線や、スキャン時に発生したノイズがコマの枠として検出される場合がある。そこで、コンテンツ解析部１２は、エッジのノイズの除去や欠損部分の補間を行い、この結果残ったエッジをコマの枠として検出する。

コマ境界線候補抽出（Ｓ２２）は、Ｓ２１で検出された枠をコマ境界線候補として、ディスプレイなどでユーザに提示し、ユーザに確認を促す。

コマ判定（Ｓ２３）では、境界線候補の組み合わせからコマを確定する。例えば、コンテンツ解析部１２は、境界線候補で囲われた閉領域が矩形であり、かつ一定範囲の幅・高さを有していれば、その閉領域はコマであると判定する。コマ判定の結果はディスプレイなどでユーザに提示され、ユーザに確認を促す。

また、コマが矩形以外の場合に対応するため、コンテンツ解析部１２は、矩形のコマの確定後、残った未確定領域について、コマであるか否かの妥当性を検証する。例えば、図４（ａ）のように、矩形Ｍ１〜Ｍ３はコマと確定し、矩形でないＱは未確定領域とする。未確定領域Ｑの面積、高さ、幅、位置などが、所定の閾値を満たしていれば、当該未確定領域はコマと判定される。

また、図４（ｂ）のように、コマ外縁が吹き出しなどで隠れたり欠損している場合、分断された境界線を仮想的に延長し、この延長線を検出されたコマの外縁と統合する。この後、統合された外縁で囲まれた領域についてコマであるかの妥当性を検証する。

また、図４（ｃ）のように、ページの端までコマが広がっており、コマの外縁が線分として描かれていない場合は、ページの端に仮想的なコマの境界線を設置し、この境界線を検出されたコマの外縁と統合する。この後、統合された外縁で囲まれた領域についてコマであるかの妥当性を検証する。

図３（ｃ）は、Ｓ３のアンカーポイント情報生成の流れを示す。このアンカーポイント情報生成は、コマ順序判定（Ｓ３１）、同一コマ内視線移動決定（Ｓ３２）の２つのステップから構成される。

コマ順序判定（Ｓ３１）では、アンカーポイント情報生成部１３は、選択された種類のコンテンツに対応するアンカーポイント生成ルールに沿って、コマの読み順（コマ順序）を判定する。例えば、少年マンガの場合は、図２（ｂ）のアンカーポイント生成ルールＢに沿って、コマ順序が判定される。

同一コマ内視線移動決定（Ｓ３２）では、アンカーポイント情報生成部１３は、コマ順序の定まった各コマごとの視線移動（アンカーポイント）を決定する。

アンカーポイントは、コマごとに決定されるが、コマのサイズが再生端末３の表示手段の画面サイズよりも大きいあるいは小さい場合は、画面サイズに適合するようコマのサイズを調整した上でアンカーポイントを決定する。

例えば、１つのコマが再生端末３の一画面に収まり切らないとする。この場合、アンカーポイント情報生成部１３は、当該コマを一画面に収まり切る単位に分割する。次に、アンカーポイント情報生成部１３は、選択された種類のコンテンツに対応するアンカーポイント生成ルールに沿って、その分割された各単位に、改めてコマ順序を付与する。

例えば、図５（ａ）のように、３つのコマＭ１〜Ｍ４のコマ順序が判定されたとする。コマＭ１およびＭ２は再生端末３の一画面に収まり切るが、コマＭ３は再生端末３の一画面に収まり切らないとする。アンカーポイント情報生成部１３は、コマＭ３を一画面に収まり切る単位に分割する。この結果、分割コマＭ３−１およびＭ３−２が生成される。アンカーポイント情報生成部１３は、コマ順序判定に使用されたアンカーポイント生成ルールＢに従い、分割コマＭ３−１およびＭ３−２のコマ順序を決定する。図８（ａ）では分割コマＭ３−１が分割コマＭ３−２よりも右側に位置するため、分割コマＭ３−１はコマＭ２の次の順序３、分割コマＭ３−２には分割コマＭ３−１の次の順序の４が付与される。コマＭ３以降のコマ順序は、分割コマに対する順序の付与に応じて繰り下がるよう更新される。例えば、コマＭ３の分割前のコマＭ４のコマ順序は４であったが、分割コマＭ３−１の次の順序の４が付与されるため、コマＭ４のコマ順序は５に更新される。

図５（ｂ）に例示するように、コマの分割数は２個以上でもよい。コマが複雑な形状の場合は、表示画面の形状、典型的には矩形に適合する形状になるようコマを分割し、コマ順序を決める。

逆に、コマ順序が決定された複数のコマが、同時に再生端末３の一画面に収まり切るとする。この場合、アンカーポイント情報生成部１３は、当該複数のコマを一画面に収まり切る単位に統合する。次に、アンカーポイント情報生成部１３は、選択された種類のコンテンツに対応するアンカーポイント生成ルールに沿って、その統合された各単位に、改めてコマ順序を付与する。

例えば、図５（ｃ）のように、３つのコマＭ４〜Ｍ７のコマ順序が判定されたとする。コマＭ６およびＭ７は、再生端末３の一画面の表示範囲Ｒに同時に収まり切るとする。アンカーポイント情報生成部１３は、コマＭ６およびＭ７を一単位Ｍ６’に統合する。アンカーポイント情報生成部１３は、アンカーポイント生成ルールＢに従い、単位Ｍ６’に、コマＭ４の次のコマ順序６を付与する。

ここでいう再生端末３の一画面は、再生端末３の種類によって変わるため、コマの分割単位や統合単位も再生端末３の種類に応じて変わる。つまり、コマの分割単位や統合単位は再生端末３の種類に依存する。

なお、同じマンガでもサブジャンル（少年マンガや少女マンガなど）が異なると、コマの配置やコマの描き方が全く異なる傾向にあるため、ユーザが選択したコンテンツの種類に対応するコンテンツ解析を行うことが好ましい。

例えば、図６に例示するように、少女マンガでは、異なるコマの領域同士が重複していたり（図６（ａ））、コマの境界が明確に描かれていない（図６（ｂ））など、少年マンガと異なる特徴があるため、少女マンガのコンテンツ解析のアルゴリズムは少年マンガのそれと異なる内容にすることが好ましい。

コンテンツの種類がマンガ以外の場合、例えば雑誌については、コマの代わりに記事本文、図、写真、タイトルなどのコンテンツ要素を判定し、それらのコンテンツ要素の順序を、アンカーポイント生成ルールに従って決定する。

各ステップの実行結果は、逐一ディスプレイに表示され、ユーザにその妥当性を確認させる。ここで、ユーザインターフェースから、各ステップの実行結果の修正を入力することもできる。例えば、コマ順序が妥当でなければ、ユーザインターフェースから、コマ順序を修正できる。

図７は再生端末３と配信サーバ２との間で実行される配信処理のフローチャートを示す。Ｓ１１〜Ｓ２２は再生端末３が実行し、Ｓ３１〜Ｓ３４は配信サーバ２が実行する。この処理を配信サーバ２あるいは再生端末３にそれぞれ実行させるプログラムは、配信サーバ２あるいは再生端末３にそれぞれ備えられたコンピュータ読み取り可能な記憶媒体（ＲＡＭ、ＲＯＭ、ＣＤＲＯＭなど）に記憶されている。

再生端末３側の処理は以下のとおりである。なお配信サーバ２に接続する再生端末３は不特定多数存在しうる。

Ｓ１１では、再生端末３は、ユーザからの配信要求操作に応じて配信サーバ２にアクセスし総計ｐページの再生コンテンツの配信要求を行う。配信要求には再生端末３の機種の識別情報が含まれている。ｐはコンテンツに対応する総ページ数でありコンテンツ解析部１２によって取得されている。

Ｓ１２では、再生端末３は、Ｘ＝１，２，・・，ｐの順にＸに値をセットし、その都度Ｓ１２〜Ｓ２２のループを繰り返す。

Ｓ１３では、再生端末３は、配信サーバ２から総計ｐページの再生コンテンツのＸページの概観画像とｐページの１番目のアンカーポイントに対応する詳細画像と再生シナリオを受信し、ＲＡＭ、メモリカードなどの記憶媒体に記憶する。

Ｓ１４では、再生端末３は、配信サーバ２から送信された、再生端末３の機種情報に対応する所望のＸページ（例えばＸ＝１）の概観画像とＸページ目の再生シナリオとＸページ目の１番目のアンカーポイントに対応する詳細画像とを受信する。

Ｓ１４では、再生端末３は、配信サーバ２から受信した再生端末３の機種情報に対応するＸ番目のページの概観画像を画面に表示する。図８（ａ）はＸ番目のページに対応する再生コンテンツとそれに埋め込まれたアンカーポイント情報の一例、図８（ｂ）はＸ番目のページに対応する概観画像の一例を示す。なお実際には、再生コンテンツに埋め込まれたアンカーポイント情報は不可視な情報である。

Ｓ１５では、再生端末３は、Ｙ＝１，２，・・，ｑの順にＸに値をセットしＳ１５〜Ｓ２０のループを繰り返す。ｑは現在の表示ページＸに対応する総コマの数でありコンテンツ解析部１２によって取得されている。

Ｓ１６では、再生端末３は、ＸページのＹ番目（例えばＹ＝１）のアンカーポイントに画面表示を移動するイベントであるアンカーポイント移動イベントが発生したか否かを判断する。Ｙｅｓの場合はＳ１７に進む。例えば、再生シナリオ中に規定される、現在表示されているアンカーポイントでの滞在時間が経過した場合、アンカーポイント移動イベントが発生したと判断される。当該滞在時間の経過以前であっても、ユーザ操作により次のアンカーポイントへの移動が指示された場合、アンカーポイント移動イベントが発生したと判断される。

Ｓ１７では、再生端末３は、配信サーバ２にアクセスし、再生端末３の機種情報に対応するＸページのＹ＋１番目以降のアンカーポイントに対応する全部または一部の詳細画像の配信要求を行う。Ｙ＋１番目以降のアンカーポイントに対応する詳細画像はアンカーポイント情報および再生シナリオから特定される。

Ｓ１８では、再生端末３は、再生端末３の機種情報に対応するＸページのＹ番目のアンカーポイントに対応する詳細画像を画面に表示する。図８（ｃ）は一例として１番目のアンカーポイントに対応する詳細画像が画面に表示されている。表示される詳細画像の拡大率と滞在時間は再生シナリオに従うが、ユーザ操作により拡大率を任意に変更することもできる。

Ｓ１９では、再生端末３は、再生端末３の機種情報に対応するＸページのＹ＋１番目以降のアンカーポイントに対応する全部または一部の詳細画像を配信サーバ２から受信し、記憶媒体に記憶する。再生端末３がどれだけの量の詳細画像を受信するかは後述する。

Ｓ２０では、再生端末３は、Ｙを１だけインクリメントする。

Ｓ２１では、再生端末３は、Ｘ＋１ページへの表示切り替えの指示がユーザから入力されたか否かを判断する。Ｙｅｓの場合はＳ２２に進み、Ｎｏの場合はＳ１６に戻る。

Ｓ２２では、再生端末３は、Ｘを１だけインクリメントする。そしてＳ１２に戻る。

配信サーバ２側の処理は以下のとおりである。

Ｓ３１では、配信サーバ２は、再生端末３から総計ｐページの再生コンテンツの配信要求を受信したか否かを判断する。Ｙｅｓの場合はＳ３２に進む。

Ｓ３２では、配信サーバ２は、再生端末３の機種情報に対応する総計ｐページの再生コンテンツのＸページの概観画像とｐページの１番目のアンカーポイントに対応する詳細画像と再生シナリオをそれぞれ加工済みコンテンツＤＢ２４および再生シナリオＤＢ２５か
ら取得し、配信要求を送ってきた再生端末３に送信する。

Ｓ３３では、配信サーバ２は、再生端末３の機種情報に対応するＸページのＹ＋１番目のアンカーポイントに対応する詳細画像の配信要求を受信したか否かを判断する。Ｙｅｓの場合はＳ３４に進む。

Ｓ３４では、配信サーバ２は、再生端末３の機種情報に対応するＸページのＹ＋１番目以降のアンカーポイントに対応する詳細画像を加工済みコンテンツＤＢ２４から取得し、再生端末３に送信する。Ｙ＋１番目以降のアンカーポイントに対応する詳細画像のうちＹ＋１番目だけを送信するかあるいはＹ＋１番目およびＹ＋２番目以降の一部または全部を送信するかは、ＸページのＹ番目の詳細画像の容量（サイズ）や、ＸページのＹ番目のアンカーポイントに対応する詳細画像内のテキストの量ないしは滞在時間に応じて決定する。

例えば、配信サーバ２は、ＸページのＹ番目の詳細画像の容量（サイズ）が大きければ、再生端末３の記憶媒体の残容量が少ないとみなし、Ｙ＋１番目以降のアンカーポイントに対応する詳細画像のみを送信する。逆に、配信サーバ２は、ＸページのＹ番目の詳細画像の容量（サイズ）が小さければ、再生端末３の記憶媒体の残容量が多いとみなし、Ｙ＋１番目以降の２つ以上のアンカーポイントに対応する詳細画像を送信する。

あるいは、配信サーバ２は、ＸページのＹ番目のアンカーポイントに対応するテキストの量ないしは滞在時間が大きければ、Ｙ＋１番目のアンカーポイントに移動するまでに時間的余裕があるため、Ｙ＋１番目以降の２つ以上のアンカーポイントに対応する詳細画像を送信する。逆に、配信サーバ２は、ＸページのＹ番目のテキストの量ないしは滞在時間容量（サイズ）が小さければ、Ｙ＋１番目のアンカーポイントに移動するまでに時間的余裕がないため、Ｙ＋１番目のアンカーポイントに対応する詳細画像のみを送信する。

ここで、このＳ３１〜Ｓ３４の動作は、再生端末３からの配信要求がある限りにおいて、上記コンテンツに対応する再生シナリオと全てのページに対応する全ての概略画像および全ての詳細画像が送信されるまで繰り返される。

このように、配信サーバ２から再生端末３に対し、再生端末３の機種情報に対応するコンテンツがアンカーポイントの遷移に応じて送信される。この際、次以降のアンカーポイントに対応するコンテンツの先行配信は、現在のアンカーポイントに対応するコンテンツの容量や対応するテキストの量ないし滞在時間に応じて行われるため、再生端末３に応じた適切な配信管理が可能となる。

ルールＤＢ２２の蓄積するアンカーポイント生成ルールは、アルゴリズムでもよい。図９はアルゴリズムで記述された、マンガに対応するアンカーポイント生成ルール（コマ順序判定）の一例を示す。

Ｓ４１では、アンカーポイント情報生成部１３は、コンテンツ解析部１２からのコンテンツ解析情報に示された特定のページの全コマの位置情報に基づいて、特定のページの一番右上のコマの順序を、１番と決定する。そして、１番目のコマを、基準コマに設定する。１番目のコマはコマの右上点がページの右上点に最も近い。

特定のページとは、マンガを構成する全ページの中のいずれか１つのページである。よって、このアルゴリズムをページごとに繰り返せば、全ページの全コマの順序が決定される。

Ｓ４２では、アンカーポイント情報生成部１３は、コンテンツ解析情報を参照し、順序の未決定のコマのうち、基準コマの左隣で最もページの上に存在するコマａと、基準コマの下隣で最もページの右に存在するコマｂを特定する。

コマａは、コマの上端が最も上にあるコマのうち、基準コマの左隣で最も右端にあるコマである。コマの上端が最も上のコマは次のように決まる。アンカーポイント情報生成部１３は、あるコマの上端座標よりも上の座標に他のコマの上端座標がない場合、そのコマがページ上端に存在するコマと特定する。ただし、ポイント情報生成部１３は、あるコマの上端よりも上に上端があるコマが他にある場合、それらのコマをページの端までの実測距離順にソートし、それらのコマ群の上端からページ上端までの実測距離の変動幅が±ｅ以内であれば、それらのコマ群は全て共通してページ上端に存在するコマに特定する。例えばｅの値は５〜２０ドットの間であり、経験的に定められる。さらにポイント情報生成部１３は、この上端が最も上のコマから、基準コマの左隣で最も右端に存在するコマａを特定する。

コマｂは、基準コマの下端より下にその上端があるコマの中で、最も上にあるコマであり、かつ、最も右側にあるコマである。上記と同様、基準コマの下端からの距離が所定の範囲内のコマは全て基準コマの下端に存在するコマと判断してもよい。例えば、あるコマの上端よりも上に上端があるコマが他にある場合、それらのコマの上端から基準コマの下端までの実測距離順にソートし、それらのコマの距離の変動幅が±ｅ以内であれば、それらのコマは全て基準コマの下端に存在するコマとみなす。さらにポイント情報生成部１３は、この基準コマの下端のコマから、基準コマの左隣で最も右端に存在するコマｂを特定する。

Ｓ４３では、アンカーポイント情報生成部１３は、コマｂが特定のページに存在するか否かを判断する。存在しないと判断された場合はＳ４４，存在すると判断された場合はＳ４５に進む。

Ｓ４４では、アンカーポイント情報生成部１３は、コマａの順序を、基準コマの順序＋１と決定する。

Ｓ４５では、アンカーポイント情報生成部１３は、コマａとコマｂが同一であるか否かを判断する。同一であると判断された場合はＳ４６、同一でないと判断された場合はＳ４７に進む。

Ｓ４６では、アンカーポイント情報生成部１３は、アンカーポイント情報生成部１３は、コマａの順序を、基準コマの順序＋１と決定する。

Ｓ４７では、アンカーポイント情報生成部１３は、コマａの下端＜コマｂの上端＋αであるか否かを判断する。Ｙｅｓの場合はＳ４８、Ｎｏの場合はＳ４９に進む。αは、基準コマから左隣のコマａに遷移するか下隣のコマｂに遷移するかを判別するための閾値である。αが大きくなれば、基準コマからコマａに遷移する順序となる可能性が高くなり、αが小さくなれば、基準コマからコマｂに遷移する順序となる可能性が高くなる。例えば、αは０．２〜０．６の間で経験的に決められる。

Ｓ４８では、アンカーポイント情報生成部１３は、コマａの順序を、基準コマの順序＋１と決定する。

Ｓ４９では、アンカーポイント情報生成部１３は、コマｂの順序を、基準コマの順序＋１と決定する。

Ｓ５０では、アンカーポイント情報生成部１３は、全てのコマについて順序を決定したか否かを判断する。Ｎｏの場合はＳ４２に戻り、Ｙｅｓの場合は本処理を終了する。

アンカーポイント情報生成部１３は、各コマの順序に従って各コマのアンカーポイント情報を生成する。例えば、アンカーポイント情報生成部１３は、コマの幅が所定の値、例えばページ幅の７０％より小さければ、各コマの中心をアンカーポイントの位置座標とし、各コマの順序をアンカーポイントの移動順とする。アンカーポイント情報生成部１３は、コマの幅が所定の値より大きければ、各コマの右側部分領域、中間部分領域、左側部分領域をアンカーポイントの位置座標とし、当該コマの順序に、右側部分領域、中間部分領域、左側部分領域の順に枝番を付与し、これらを当該コマ内のアンカーポイントの移動順とする。

図１０（ａ）はコンテンツ入力部１１が入力したマンガの一例を示す。図１０（ｂ）はコンテンツ解析部１２が解析したマンガのコマの位置座標Ｐの一例を示す。図１０（ｃ）はアンカーポイント情報生成部１３が上記アルゴリズムに従って決定したマンガのコマの順序の一例を示す。図１０（ｄ）はアンカーポイント情報生成部１３が決定したアンカーポイント情報の一例を示す。

１：コンテンツサーバ、２：配信サーバ、３：再生端末

Claims (16)

1. オリジナルコンテンツを入力する入力部と、
   前記入力部に入力されたオリジナルコンテンツの内容を解析し、コンテンツに関する情報であるコンテンツ解析情報を取得するコンテンツ解析部と、
   前記入力部に入力されたオリジナルコンテンツに対応する所定の解析ルールに従い、前記入力部に入力されたオリジナルコンテンツに対して読者の視線の停止する位置であるアンカーポイントと前記アンカーポイントの遷移順を解析し、解析されたアンカーポイントと前記アンカーポイントの遷移順を示すアンカーポイント情報を生成するアンカーポイント情報生成部と、
   を備えるコンテンツ解析装置。
2. 前記入力部は、オリジナルコンテンツの画像および付帯情報を入力し、
   前記コンテンツ解析部は、前記オリジナルコンテンツの画像および付帯情報に基づいてコンテンツ解析情報を取得する請求項１に記載のコンテンツ解析装置。
3. 前記情報埋込部がアンカーポイント情報を埋め込んだ配信コンテンツを前記端末の機種ごとに記憶するコンテンツデータベースと、
   前記端末の機種および／または前記コンテンツ解析情報に応じて、前記アンカーポイント情報生成部の生成したアンカーポイントの各々における配信コンテンツの停止時間を決定し、決定されたアンカーポイントごとの停止時間を示すシナリオを生成するシナリオ生成部と、
   を備える請求項１または２に記載のコンテンツ解析装置。
4. 前記シナリオ生成部は、前記端末の画面サイズその他の仕様に応じて、前記アンカーポイント情報生成部の生成したアンカーポイントの各々における配信コンテンツの表示倍率を決定し、決定されたアンカーポイントごとの表示倍率を示すシナリオを生成する請求項１〜３のいずれかに記載のコンテンツ解析装置。
5. 前記入力部から入力されたオリジナルコンテンツを、前記アンカーポイント情報および端末の機種に応じた画像である配信コンテンツに変換する変換部と、
   前記アンカーポイント情報生成部の生成したアンカーポイント情報を、前記変換部の変換した配信コンテンツに埋め込む情報埋込部と、
   を備える請求項１〜４のいずれかに記載のコンテンツ解析装置。
6. アクセスしてきた端末の機種に対応したシナリオと配信コンテンツを前記データベースから抽出して前記端末に配信する配信部と、
   前記配信部からシナリオおよび配信コンテンツを受信し、前記シナリオに従って前記配信コンテンツを再生する端末と、
   を備える請求項１〜５のいずれかに記載のコンテンツ解析装置。
7. 前記アンカーポイント情報生成部は、前記入力部に入力されたオリジナルコンテンツに対応する所定の解析ルールに従い、前記入力部に入力されたオリジナルコンテンツの各要素に対する順序を決定し、前記各要素の順序と前記各要素のサイズに基づいて前記アンカーポイント情報を生成する請求項１〜６のいずれかに記載のコンテンツ解析装置。
8. 前記コンテンツ解析部は、解析の対象となるコンテンツの種類の選択を受け付け、選択されたコンテンツの種類に応じたコンテンツの要素を解析する請求項７に記載のコンテンツ解析装置。
9. 前記コンテンツ解析部は、解析の対象となるコンテンツの種類としてマンガの選択を受け付けた場合、エッジ解析およびコマ境界線候補抽出によりマンガのコマを判定する請求項８に記載のコンテンツ解析装置。
10. 前記コンテンツ解析部は、コマ判定の結果を所定の表示装置に表示する請求項９に記載のコンテンツ解析装置。
11. 前記アンカーポイント情報生成部は、前記入力部に入力されたマンガに対応する所定の解析ルールに従い、前記判定されたマンガのコマの各々に対する順序を決定し、前記各コマの順序と前記各コマのサイズに基づいて前記アンカーポイント情報を生成する請求項１０に記載のコンテンツ解析装置。
12. 前記アンカーポイント情報生成部は、前記判定されたマンガのコマが、端末の画面サイズに収まらない場合、前記コマを前記サイズに収まるサイズに分割し、分割後のコマを含む各コマについて、前記マンガに対応する所定の解析ルールに従い、前記コマの各々に対する順序を決定し、前記各コマの順序と前記各コマのサイズに基づいて前記アンカーポイント情報を生成する請求項１１に記載のコンテンツ解析装置。
13. 前記アンカーポイント情報生成部は、前記端末の画面の形状に適合するようコマを分割する請求項１２に記載のコンテンツ解析装置。
14. 前記アンカーポイント情報生成部は、前記判定されたマンガの複数のコマが、端末の画面サイズに同時に収まる場合、前記複数のコマを統合し、統合後のコマを含む各コマについて、前記マンガに対応する所定の解析ルールに従い、前記コマの各々に対する順序を決定し、前記各コマの順序と前記各コマのサイズに基づいて前記アンカーポイント情報を生成する請求項１１〜１３のいずれかに記載のコンテンツ解析装置。
15. コンピュータが、
    オリジナルコンテンツを入力するステップと、
    前記入力されたオリジナルコンテンツの内容を解析し、コンテンツに関する情報であるコンテンツ解析情報を取得するステップと、
    前記入力されたオリジナルコンテンツに対応する所定の解析ルールに従い、前記入力されたオリジナルコンテンツに対して読者の視線の停止する位置であるアンカーポイントと前記アンカーポイントの遷移順を解析し、解析されたアンカーポイントと前記アンカーポイントの遷移順を示すアンカーポイント情報を生成するステップと、
    を含むコンテンツ解析方法。
16. 請求項１５に記載のコンテンツ解析方法をコンピュータに実行させるためのコンテンツ解析プログラム。

Images