JP2019003237A - 提示方法、提示装置及び提示プログラム - Google Patents

Abstract

【課題】指定された範囲の文章内容に適した画像を提示する方法、装置およびプログラムを提供する。【解決手段】本提示方法は、１又は複数の画像を含む第１の文章のデータから、第１の文章の構造と１又は複数の画像の位置とに基づき、画像毎に対応付けられる複数の第１文章範囲を抽出し、第２の文章のデータから、第２の文章の構造に基づき、複数の第２文章範囲を抽出し、複数の第１文章範囲の各々と、複数の第２文章範囲の各々との類似度を算出し、算出された当該類似度に基づき、１又は複数の画像のうち複数の第２文章範囲のいずれかに関連付けられる第１の画像を提示する処理を含む。【選択図】図１４

Description

本発明は、文書作成の支援技術に関する。

文書に挿絵を挿入することにより、文書の作成者は文書の内容をよりわかりやすく或いは正確に読み手に対して伝えることができる。但し、文書の作成者が自ら挿絵を作成するには、技量が必要である上に手間がかかる。

文書に画像を挿入することに関して、或る文献は以下のような技術を開示する。具体的には、画像データを含む文書から、該画像データと、該画像データの近くに出現した語句、文、語句あるいは文の並びと、該語句、文、語句あるいは文の並びが存在する文書中における位置あるいは構成とが抽出される。そして、文書入力部から入力された文書の入力箇所あるいは構成と類似する構成あるいは箇所に存在する語句、文、語句あるいは文の並びの近くに出現する画像データが提示される。

但し、上記技術は、入力された文書の構成と、画像データを含む文書の構成とが類似していることを前提とした技術であり、両者が類似していない場合には適切な画像が提示されないことがある。

特開２００３−３０８３１４号公報

本発明の目的は、１つの側面では、指定された範囲の文章内容に適した画像を提示するための技術を提供することである。

一態様に係る提示方法は、１又は複数の画像を含む第１の文章のデータから、第１の文章の構造と１又は複数の画像の位置とに基づき、画像毎に対応付けられる複数の第１文章範囲を抽出し、第２の文章のデータから、第２の文章の構造に基づき、複数の第２文章範囲を抽出し、複数の第１文章範囲の各々と、複数の第２文章範囲の各々との類似度を算出し、算出された当該類似度に基づき、１又は複数の画像のうち複数の第２文章範囲のいずれかに関連付けられる第１の画像を提示する処理を含む。

１つの側面では、指定された範囲の文章内容に適した画像を提示できるようになる。

図１は、情報処理装置の機能ブロック図である。 図２は、文書の階層について説明するための図である。 図３は、文書の一例を示す図である。 図４は、文書のデータの一例を示す図である。 図５は、文書のデータの取得時に実行する処理の処理フローを示す図である。 図６は、文書構造の一例を示す図である。 図７Ａは、第１階層データ格納部に格納されるデータの一例を示す図である。 図７Ｂは、第１階層データ格納部に格納されるデータの一例を示す図である。 図７Ｃは、第１階層データ格納部に格納されるデータの一例を示す図である。 図７Ｄは、第１階層データ格納部に格納されるデータの一例を示す図である。 図８は、説明文章範囲の一例を示す図である。 図９は、文書構造の一例を示す図である。 図１０は、説明文章範囲の一例を示す図である。 図１１は、文書構造の一例を示す図である。 図１２は、説明文章範囲の一例を示す図である。 図１３は、第１特徴データ格納部に格納されるデータの一例を示す図である。 図１４は、文章範囲がユーザにより指定された場合に実行する処理の処理フローを示す図である。 図１５は、対象文書の文書構造の一例を示す図である。 図１６は、第２範囲データ格納部に格納されるデータの一例を示す図である。 図１７は、第２特徴データ格納部に格納されるデータの一例を示す図である。 図１８は、類似度格納部に格納されるデータの一例を示す図である。 図１９は、本実施の形態の効果について説明するための図である。 図２０は、本実施の形態の効果について説明するための図である。 図２１は、コンピュータの機能ブロック図である。

［実施の形態１］
図１は、本実施の形態の情報処理装置１の機能ブロック図である。例えばパーソナルコンピュータ或いはサーバ等である情報処理装置１は、第１抽出部１０１と、第２抽出部１０２と、比較部１０３と、出力部１０４と、第１文書データ格納部１１１と、第１構造データ格納部１１２と、第１範囲データ格納部１１３と、第１特徴データ格納部１１４と、類似度格納部１１５と、第２文書データ格納部１２１と、第２構造データ格納部１２２と、第２範囲データ格納部１２３と、第２特徴データ格納部１２４と、提示データ格納部１２５とを有する。第１抽出部１０１、第２抽出部１０２、比較部１０３及び出力部１０４は、例えば、図２１におけるメモリ２５０１にロードされたプログラムが図２１におけるＣＰＵ（Central Processing Unit）２５０３により実行されることで実現される。第１文書データ格納部１１１、第１構造データ格納部１１２、第１範囲データ格納部１１３、第１特徴データ格納部１１４、類似度格納部１１５、第２文書データ格納部１２１、第２構造データ格納部１２２、第２範囲データ格納部１２３、第２特徴データ格納部１２４及び提示データ格納部１２５は、例えば、図２１におけるメモリ２５０１又は図２１におけるＨＤＤ２５０５により実現される。

第１抽出部１０１は、第１文書データ格納部１１１に格納されている文書（本実施の形態においては、画像を含む文書）のデータに基づき文書構造を特定する処理を実行し、処理結果を第１構造データ格納部１１２に格納する。また、第１抽出部１０１は、第１構造データ格納部１１２に格納されているデータに基づき説明文章範囲を抽出する処理を実行し、処理結果を第１範囲データ格納部１１３に格納する。また、第１抽出部１０１は、第１範囲データ格納部１１３に格納されているデータに基づき特徴情報を生成する処理を実行し、処理結果を第１特徴データ格納部１１４に格納する。

第２抽出部１０２は、第２文書データ格納部１２１に格納されている文書或いは文章（本実施の形態においては、ユーザにより指定された文書或いは文章）のデータに基づき文書構造を特定する処理を実行し、処理結果を第２構造データ格納部１２２に格納する。また、第２抽出部１０２は、第２構造データ格納部１２２に格納されているデータに基づき対象文章範囲を抽出する処理を実行し、処理結果を第２範囲データ格納部１２３に格納する。また、第２抽出部１０２は、第２範囲データ格納部１２３に格納されているデータに基づき特徴情報を生成する処理を実行し、処理結果を第２特徴データ格納部１２４に格納する。

比較部１０３は、第１特徴データ格納部１１４に格納されているデータ及び第２特徴データ格納部１２４に格納されているデータに基づき類似度を算出する処理を実行し、処理結果を類似度格納部１１５に格納する。

出力部１０４は、類似度格納部１１５に格納されているデータに基づき画像が挿入される対象範囲および挿入される画像を特定する処理を実行し、処理結果を提示データ格納部１２５に格納する。出力部１０４は、提示データ格納部１２５に格納されているデータに基づき生成した出力データを出力する処理（例えば表示装置に表示させる処理）を実行する。

一般的に文書は、図２に示すようないくつかの構造要素によって階層化される。図２に示した例においては、構造要素として文書、章、節および段落が示されている。段落は最下位の構造要素であり、節は段落より上位の構造要素であり、章は節より上位の構造要素であり、文書は最上位の構造要素である。本実施の形態においては、図２に示したような構造要素に従って文書構造が特定される。なお、本実施の形態では「文章」とはいくつかの文が連なったものであり文書の少なくとも一部に相当する部分のことを意味する。したがって「文章」が文書そのもののことを指す場合がある。

図３は、文書の一例を示す図である。図３に示した文書には、３つの章が含まれており、各章には１又は複数の段落が含まれる。段落３には画像Ａが配置されている。

図３に示したような文書のデータは、例えばＸＨＴＭＬ（Extensible HyperText Markup Language）のようなマークアップ言語で記述されたデータである。図４は、ＸＴＨＭＬで記述された文書のデータの一例を示す図である。タグ（例えばｄｉｖタグ、ｐタグ、ｈ１乃至ｈ６タグ、ｓｅｃｔｉｏｎタグ等）に注目することで、機械的に文書構造を特定することができる。

次に、図５乃至図１３を用いて、文書のデータを取得した時に実行される処理について説明する。

まず、第１抽出部１０１は、インターネット上で公開されているウェブデータ等に含まれる文書のデータを取得（例えば、他のコンピュータ等から受信）し（図５：ステップＳ１）、取得した文書のデータを第１文書データ格納部１１１に格納する。

第１抽出部１０１は、ステップＳ１において第１文書データ格納部１１１に格納された文書のデータを読み出す。そして、第１抽出部１０１は、読み出された文書のデータを用いて文書構造と画像の出現位置とを特定し（ステップＳ３）、文書構造及び画像の出現位置を表すデータを第１構造データ格納部１１２に格納する。

図６は、文書構造の一例を示す図である。図６の例では、文書構造はツリー構造で表されており、文書に３つの章が含まれている。章１は段落１を含み、章２は段落２乃至４を含み、章３は段落５及び６を含む。また、画像Ａは段落３内に配置されている。

図７Ａ乃至７Ｄは、第１構造データ格納部１１２に格納されるデータの一例を示す図である。図７Ａは、文書についての構造体の一例を示す図である。図７Ｂは、章についての構造体の一例を示す図である。図７Ｃは、段落についての構造体の一例を示す図である。図７Ｄは、画像についての構造体の一例を示す図である。このように、文書構造の各ノードに相当する構造体には、そのノード自体に関する情報および別のノードへのリンクの情報が含まれる。

第１抽出部１０１は、ステップＳ５において第１構造データ格納部１１２に格納されたデータに基づき、画像を説明する文章の範囲である説明文章範囲を抽出する（ステップＳ５）。第１抽出部１０１は、抽出した説明文章範囲を示すデータを第１範囲データ格納部１１３に格納する。

例えば図６に示したような文書構造及び画像の出現位置である場合には、まず画像Ａが配置されている段落３が説明文章範囲として抽出される。また、段落３の直前の段落である段落２と段落３とを含む説明文章範囲も抽出される。同様に、段落３と段落３の直後の段落である段落４とを含む説明文章範囲も抽出される。このような考え方に基づいて徐々に範囲を拡大することで複数の説明文章範囲が抽出される。図８は、抽出される説明文章範囲の一例を示す図であり、図８の例では候補１乃至７として７つの説明文章範囲が示されている。

また、例えば図９に示すような文書構造及び画像の出現位置である場合には、まず画像Ａが配置されている段落２と画像Ｂが配置されている段落４とが説明文章範囲として抽出される。段落３については、画像Ａに対する説明文章範囲である可能性と画像Ｂに対する説明文章範囲である可能性との両方がある。段落４は画像Ｂの説明を含むと考えられるため、画像Ａの説明文章範囲には含められない。同様に、段落２は画像Ａの説明を含むと考えられるため、画像Ｂの説明文章範囲には含められない。結果として、図１０に示すような説明文章範囲が抽出される。図１０の例では、画像Ａ及び画像Ｂのそれぞれについて、２つの候補が抽出されている。

また、例えば図１１に示すような文書構造及び画像の出現位置である場合には、まず画像Ａが配置されている段落２と画像Ｂが配置されている段落５とが説明文章範囲として抽出される。段落２の上位の構造要素は章２であり、段落５の上位の構造要素は章３であり、２つの章は異なる内容を有する可能性がある。従って、図１２に示すような説明文章範囲が抽出される。図１２の例では、画像Ａに対する説明範囲候補として段落２、段落２及び３、段落２、段落３及び４（つまり章２）が抽出され、また画像Ｂに対する説明文章範囲として段落５、段落５及び６（つまり章３）が抽出されている。

第１抽出部１０１は、ステップＳ５において抽出された各説明文章範囲について特徴情報を生成する（ステップＳ７）。

本実施の形態における特徴情報とは特徴ベクトルであり、特徴ベクトルは、例えば、説明文章範囲に出現する単語名を属性とし、説明文章範囲内における単語の出現分布及び文書全体における単語の出現分布から算出される数値を成分値とするベクトルとして与えられる。

例えば単語の出現頻度を利用する場合、注目する説明文章範囲内での単語の出現頻度を正規化した値（すなわち、各出現頻度を総出現単語数で割った値）が成分値とされる。

また、単語のＴＦ−ＩＤＦ（Term Frequency-Inverse Document Frequency）値を利用する場合、全説明文章範囲でのＴＦ−ＩＤＦ値に基づき、注目する説明文章範囲における単語のＴＦ−ＩＤＦ値が計算され、成分値とされる。ここで、各説明文章範囲は文書として取り扱われる。

また、単語の分散表現を利用する場合、注目する説明文章範囲に対する分散表現が注目する説明文章範囲についての特徴ベクトルの成分値とされる。ここで、各説明文章範囲は、例えば、文章分析のニューラルネットワークであるｄｏｃ２ｖｅｃでの文書として取り扱われる。

ここで、図３に示した文書の画像Ａの説明文章範囲のうち段落２及び３から構成される説明文章範囲を例として、特徴ベクトルの生成について説明する。段落２は「当店では、オフィスで使用するパソコンから、ソフト開発に使えるサーバまで、様々な要望にお応えする計算機を販売しています。」という文章ａを含み、段落３は「本日のおすすめは、Ｆ社製のサーバです。」という文章ｂを含むとする。

単語の出現頻度を利用する場合、図３に示した文書の全単語数が仮に１０００個であるとすれば、特徴ベクトル＜０．００１／当店，０．００１／オフィス，０．００１／パソコン，０．００１／ソフト開発，０．００２／サーバ，０．００１／要望，０．００１／計算機，０．００１／本日，０．００１／おすすめ，０．００１／Ｆ社製＞が生成される。例えばこの特徴ベクトルにおいて３つめの成分である「０．００１／パソコン」は、「パソコン」という単語が段落２及び３において出現する数を総出現単語数で割った値が０．００１であることを表す。

第１抽出部１０１は、画像のデータに対応付けて、ステップＳ７において生成された特徴情報を第１特徴データ格納部１１４に格納する（ステップＳ９）。そして処理は終了する。

図１３は、第１特徴データ格納部１１４に格納されるデータの一例を示す図である。図１３の例では、画像Ａの説明文章範囲の各候補について、説明文章範囲に含まれる文章を基にして生成された特徴ベクトルが格納されている。なお、図１３の例では画像のデータが格納されるが、第１文書データ格納部１１１に格納されている文書のデータに含まれる画像へのポインタ等が格納されてもよい。

以上のような処理を実行すれば、説明文章範囲の各々について特徴ベクトルが生成され、後述する対象文章範囲について生成される特徴ベクトルとの比較に利用できるようになる。

次に、図１４乃至図２０を用いて、文章範囲がユーザにより指定された場合に実行する処理について説明する。ここでは、ユーザは該文章範囲の適切な位置に画像を挿入することを望んでおり、文章範囲として１つの文書が指定されたとする。指定された文書のことを、以下では対象文書と呼ぶ。

まず、第２抽出部１０２は、対象文書のデータの入力を受け付け（図１４：ステップＳ１１）、対象文書のデータを第２文書データ格納部１２１に格納する。

第２抽出部１０２は、ステップＳ１１において第２文書データ格納部１２１に格納された対象文書のデータを読み出す。そして、第２抽出部１０２は、読み出された対象文書のデータを用いて文書構造を特定し（ステップＳ１３）、文書構造を表すデータを第２構造データ格納部１２２に格納する。

図１５は、対象文書の文書構造の一例を示す図である。図１５の例では、対象文書に２つの章が含まれている。章１は段落１を含み、章２は段落２及び３を含む。文書構造を表すデータとして第２構造データ格納部１２２に格納されるデータの形式は、図７Ａ乃至７Ｄに示した形式と同様である。

第２抽出部１０２は、ステップＳ１３において第２構造データ格納部１２２に格納されたデータに基づき、１又は複数の段落をそれぞれ含む複数の対象文章範囲を抽出する（ステップＳ１５）。第２抽出部１０２は、抽出した対象文章範囲を示すデータを第２範囲データ格納部１２３に格納する。対象文章範囲は、画像が挿入される文章の範囲である。

例えば図１５に示した文書構造を有する対象文書に対してステップＳ１５の処理が実行されると、図１６に示すようなデータが第２範囲データ格納部１２３に格納される。図１６の例では、段落１からなる対象文章範囲（すなわち章１）と、段落２及び３からなる対象文章範囲（すなわち章２）と、段落１及び２からなる対象文章範囲と、段落１、２及び３からなる対象文章範囲（すなわち対象文書）とが抽出される。

第２抽出部１０２は、ステップＳ１５において抽出された各対象文章範囲について特徴情報を生成する（ステップＳ１７）。そして、第２抽出部１０２は、画像のデータに対応付けて、ステップＳ１７において生成された特徴情報を第２特徴データ格納部１２４に格納する。各特徴ベクトルは、上で説明したような方法によって生成される。

図１７は、第２特徴データ格納部１２４に格納されるデータの一例を示す図である。図１７の例では、対象文章範囲に含まれる文章を基にして生成された特徴ベクトルが格納されている。

そして、比較部１０３は、各説明文章範囲の特徴情報と各対象文章範囲の特徴情報との間の類似度（例えばコサイン類似度）を算出する（ステップＳ１９）。比較部１０３は、算出した類似度を類似度格納部１１５に格納する。

図１８は、類似度格納部１１５に格納されるデータの一例を示す図である。図１８の例では、対象文章範囲の識別情報と、説明文章範囲の識別情報と、類似度とが格納される。

出力部１０４は、類似度格納部１１５に格納されている類似度が最大である説明文章範囲に対応付けられた画像を第１特徴データ格納部１１４から特定し、特定された画像のデータを提示データ格納部１２５に格納する。また、出力部１０４は、類似度格納部１１５に格納されている類似度が最大である対象文章範囲を特定し、特定された対象文章範囲を提示データ格納部１２５に格納する。そして、出力部１０４は、提示データ格納部１２５に格納した画像のデータと対象文章範囲とを出力する（ステップＳ２１）。そして処理は終了する。出力とは、例えば、情報処理装置１の表示装置による表示である。

なお、ステップＳ２１においては、類似度が所定値以上又は所定順位以上である画像のデータ及び対象文章範囲とを出力してもよい。

以上のような処理を実行すれば、ユーザは、対象文書のどの位置にどのような画像が挿入されるかを把握することができるようになる。

具体例を用いて、本実施の形態の効果について説明する。例えば図１９に示すように、サーバに関する文章が記述された対象文書のデータの特定の位置に対して、既存の文書群に含まれる文書１及び文書２の画像のうち適切な画像を挿入することを考える。文書１にはウォーターサーバの画像Ａが含まれており、文書２にはコンピュータであるサーバの画像Ｂが含まれている。単純に、特定の位置の近傍の範囲１９１を対象文章範囲とし且つ画像Ａの近傍の範囲１９２及び画像Ｂの近傍の範囲１９３を説明文章範囲とした場合には、「オフィス」及び「サーバ」の両方を含む範囲１９２が範囲１９１との類似度が高いと判定される可能性がある。その場合、対象文書には適さない画像Ａが挿入されてしまうことになる。

一方、本実施の形態においては、図２０に示すように、対象文書については複数の対象文章範囲が生成され、既存の文書についても複数の説明文章範囲が生成され、全組み合わせについて類似度が計算される。すなわち、対象文章範囲としては範囲２０１が抽出され、説明文章範囲として範囲２０２及び２０３が抽出されるようになる。これにより、最も高い類似度であると推定される範囲２０１と範囲２０３との間の類似度が算出されるようになり、この場合、コンピュータであるサーバの画像Ｂが対象文書に挿入されるようになる。

このように、本実施の形態においては、対象文章範囲および説明文章範囲が画像近傍の範囲に制限されるわけではない。文書がもともと有する章、節或いは段落といった構造要素は内容毎に区切られるため、単に文書全体をテキスト検索する画像検索技術に比べ、画像の説明となる文章範囲を適切に設定できるので、効率的に画像を推薦することができる。ユーザにとっては、文書構造や画像の内容を表す文章範囲を気にすることなく画像の推薦を受けられるようになる。また、ユーザは、推薦された画像がどの範囲に挿入されるべきかを知ることができるようになる。

また、文書構造を特定することで、文章範囲を段落等の構造要素で扱うことが可能になり、単語や文といった単位の範囲で類似性を評価する処理に比べると計算量を少なくすることができるようになる。

［実施の形態２］
第１の実施の形態においては、文書の構造に基づき文書から複数の説明文章範囲を抽出するが、文書を複数の文章に区分けし、区分けにより得られた複数の文章を、文書に含まれる画像の位置に基づいて組み合わせることで複数の説明文章範囲を生成してもよい。また、対象文書を複数の文章に区分けし、区分けにより得られた複数の文章を組み合わせることで複数の対象文章範囲を生成してもよい。

このような処理を実行すれば、文書の構造を利用せずとも画像を提示することができるようになる。

以上本発明の一実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上で説明した情報処理装置１の機能ブロック構成は実際のプログラムモジュール構成に一致しない場合もある。

また、上で説明した各テーブルの構成は一例であって、上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ処理の順番を入れ替えることも可能である。さらに、並列に実行させるようにしても良い。

また、上に示した例では第１文書データ格納部１１１に格納されている文書の数が１であるが、文書の数が２以上であっても同様の処理を実行することができる。

また、上に示した例では段落の上位の構造要素が章であるが、段落の上位の構造要素が節であるような文書のデータに対しても適用可能である。

また、本実施の形態の方法の適用は画像に限られるわけではなく、文書に挿入されている音声やリンクといったオブジェクトの推薦にも適用することができる。

なお、上で述べた情報処理装置１は、コンピュータ装置であって、図２１に示すように、メモリ２５０１とＣＰＵ２５０３とＨＤＤ２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

以上述べた本発明の実施の形態をまとめると、以下のようになる。

本実施の形態の第１の態様に係る提示方法は、（Ａ）１又は複数の画像を含む第１の文章のデータから、第１の文章の構造と１又は複数の画像の位置とに基づき、画像毎に対応付けられる複数の第１文章範囲を抽出し、（Ｂ）第２の文章のデータから、第２の文章の構造に基づき、複数の第２文章範囲を抽出し、（Ｃ）複数の第１文章範囲の各々と、複数の第２文章範囲の各々との類似度を算出し、算出された当該類似度に基づき、１又は複数の画像のうち複数の第２文章範囲のいずれかに関連付けられる第１の画像を提示する処理を含む。

指定された範囲に含まれる文章の内容に適した画像と画像が挿入される文章範囲とを提示できるようになる。

また、本提示方法は、（Ｄ）複数の第２文章範囲のうち第１の画像が関連付けられる第２文章範囲を提示する処理をさらに含んでもよい。

提示された第１の画像がどの文章範囲に適しているかをユーザが把握できるようになる。

また、複数の第１文章範囲の各々は、１又は複数の画像のうちいずれかの画像が配置された構造要素、又は、当該構造要素を含み且つ連続する複数の構造要素を含んでもよい。

画像が配置された構造要素（例えば段落）は画像の説明を含むため、上記のようにすれば画像との関係が深い第１文章範囲を抽出できるようになる。

また、第１の文章のデータに含まれる画像の数が複数である場合、複数の画像のうち或る画像について抽出される第１文章範囲に含まれる構造要素と、或る画像以外の画像について抽出される第１文章範囲に含まれる構造要素とが異なってもよい。

画像が配置された構造要素はその画像についての説明を主に含み、その他の画像についての説明を含むことは一般的ではないので、上記のようにすれば適切に第１文章範囲を抽出できるようになる。

また、第１の文章のデータに含まれる画像の数が複数であり、且つ、複数の画像のうち第２の画像が配置された構造要素の上位の構造要素と複数の画像のうち第３の画像が配置された構造要素の上位の構造要素とが異なる場合、第２の画像については第２の画像が配置された構造要素の上位の構造から第１文章範囲が抽出され、第３の画像については第３の画像が属する構造要素の上位の構造要素から第１文章範囲が抽出されてもよい。

上位の構造要素それぞれに画像が存在する場合、上位の構造要素をまたいで単一の画像の説明が行われることは一般的ではないので、上記のようにすれば適切に第１文章範囲を抽出できるようになる。なお、上位の構造要素とは、例えば章または節である。

また、複数の第２文章範囲の各々は、１つの構造要素又は連続する複数の構造要素を含んでもよい。

適切な第２文章範囲を抽出できるようになる。

また、第１の画像と第１の画像が挿入される第２文章範囲とを特定する処理において、算出された類似度が最大である第２文章範囲を特定してもよい。

また、類似度を算出する処理において、（ｃ１）複数の第１文章範囲の各々および複数の第２文章範囲の各々について特徴情報を生成し、複数の第１文章範囲の各々の特徴情報と複数の第２文章範囲の各々の特徴情報とに基づき類似度を算出してもよい。

本実施の形態の第２の態様に係る提示装置は、（Ｅ）１又は複数の画像を含む第１の文章のデータから、第１の文章の構造と１又は複数の画像の位置とに基づき、画像毎に対応付けられる複数の第１文章範囲を抽出する第１抽出部（実施の形態における第１抽出部１０１は上記第１抽出部の一例である）と、（Ｆ）第２の文章のデータから、第２の文章の構造に基づき、複数の第２文章範囲を抽出する第２抽出部（実施の形態における第２抽出部１０２は上記第２抽出部の一例である）と、（Ｇ）複数の第１文章範囲の各々と、複数の第２文章範囲の各々との類似度を算出する算出部（実施の形態における比較部１０３は上記算出部の一例である）と、（Ｈ）算出された当該類似度に基づき、１又は複数の画像のうち複数の第２文章範囲のいずれかに関連付けられる第１の画像を提示する提示部（実施の形態における出力部１０４は上記提示部の一例である）とを有する。

本実施の形態の第３の態様に係る提示方法は、（Ｉ）第２の文章のデータから、第２の文章の構造に基づき、複数の第２文章範囲を抽出し、（Ｊ）複数の第２文章範囲の各々の第２特徴量を算出し、（Ｋ）１又は複数の画像を含む第１の文章のデータから抽出される第１の文章の構造と１又は複数の画像の位置とに基づいた、画像毎に対応付けられる複数の第１文章範囲の各々の第１特徴量が格納される記憶部を参照し、（Ｌ）第１特徴量と第２特徴量との比較に基づき、１又は複数の画像のうち複数の第２の文章範囲のいずれかに関連付けられる画像を提示する処理を含む。

本実施の形態の第４の態様に係る提示方法は、（Ｍ）第２の文章のデータから、第２の文章を複数に区分けし、区分けされた文章が組み合わされた複数の第２文章範囲を抽出し、（Ｎ）複数の第２文章範囲の各々の第２特徴量を算出し、（Ｏ）１又は複数の画像を含む第１の文章のデータから抽出される第１の文章が複数に区分けされ、区分けにより得られた複数の文章が、１又は複数の画像の位置に基づいて組み合わされた複数の第１文章範囲の各々の第１特徴量が格納される記憶部を参照し、（Ｐ）第１特徴量と第２特徴量との比較に基づき、１又は複数の画像のうち複数の第２の文章範囲のいずれかに関連付けられる画像を提示する処理を含む。

なお、上記方法による処理をプロセッサに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）
コンピュータに、
１又は複数の画像を含む第１の文章のデータから、前記第１の文章の構造と前記１又は複数の画像の位置とに基づき、画像毎に対応付けられる複数の第１文章範囲を抽出し、
第２の文章のデータから、前記第２の文章の構造に基づき、複数の第２文章範囲を抽出し、
前記複数の第１文章範囲の各々と、前記複数の第２文章範囲の各々との類似度を算出し、算出された当該類似度に基づき、前記１又は複数の画像のうち前記複数の第２文章範囲のいずれかに関連付けられる第１の画像を提示する、
処理を実行させる提示プログラム。

（付記２）
前記コンピュータに、
前記複数の第２文章範囲のうち前記第１の画像が関連付けられる第２文章範囲を提示する、
処理をさらに実行させる付記１記載の提示プログラム。

（付記３）
前記複数の第１文章範囲の各々は、前記１又は複数の画像のうちいずれかの画像が配置された構造要素、又は、当該構造要素を含み且つ連続する複数の構造要素を含む、
付記１又は２記載の提示プログラム。

（付記４）
前記第１の文章のデータに含まれる画像の数が複数である場合、複数の画像のうち或る画像について抽出される前記第１文章範囲に含まれる構造要素と、前記或る画像以外の画像について抽出される前記第１文章範囲に含まれる構造要素とが異なる、
付記１又は２記載の提示プログラム。

（付記５）
前記第１の文章のデータに含まれる画像の数が複数であり、且つ、複数の画像のうち第２の画像が配置された構造要素の上位の構造要素と前記複数の画像のうち第３の画像が配置された構造要素の上位の構造要素とが異なる場合、前記第２の画像については前記第２の画像が配置された構造要素の上位の構造から前記第１文章範囲が抽出され、前記第３の画像については前記第３の画像が属する構造要素の上位の構造要素から前記第１文章範囲が抽出される、
付記１又は２記載の提示プログラム。

（付記６）
前記複数の第２文章範囲の各々は、１つの構造要素又は連続する複数の構造要素を含む、（図１６）
付記１乃至５のいずれか１つ記載の提示プログラム。

（付記７）
前記第１の画像と前記第１の画像が挿入される第２文章範囲とを特定する処理において、
算出された前記類似度が最大である第２文章範囲を特定する、
付記１乃至６のいずれか１つ記載の提示プログラム。

（付記８）
前記類似度を算出する処理において、
前記複数の第１文章範囲の各々および前記複数の第２文章範囲の各々について特徴情報を生成し、前記複数の第１文章範囲の各々の特徴情報と前記複数の第２文章範囲の各々の特徴情報とに基づき類似度を算出する、
付記１乃至７のいずれか１つ記載の提示プログラム。

（付記９）
コンピュータが、
１又は複数の画像を含む第１の文章のデータから、前記第１の文章の構造と前記１又は複数の画像の位置とに基づき、画像毎に対応付けられる複数の第１文章範囲を抽出し、
第２の文章のデータから、前記第２の文章の構造に基づき、複数の第２文章範囲を抽出し、
前記複数の第１文章範囲の各々と、前記複数の第２文章範囲の各々との類似度を算出し、算出された当該類似度に基づき、前記１又は複数の画像のうち前記複数の第２文章範囲のいずれかに関連付けられる第１の画像を提示する、
処理を実行する提示方法。

（付記１０）
１又は複数の画像を含む第１の文章のデータから、前記第１の文章の構造と前記１又は複数の画像の位置とに基づき、画像毎に対応付けられる複数の第１文章範囲を抽出する第１抽出部と、
第２の文章のデータから、前記第２の文章の構造に基づき、複数の第２文章範囲を抽出する第２抽出部と、
前記複数の第１文章範囲の各々と、前記複数の第２文章範囲の各々との類似度を算出する算出部と、
算出された当該類似度に基づき、前記１又は複数の画像のうち前記複数の第２文章範囲のいずれかに関連付けられる第１の画像を提示する提示部と、
を有する提示装置。

（付記１１）
コンピュータに、
第２の文章のデータから、前記第２の文章の構造に基づき、複数の第２文章範囲を抽出し、
前記複数の第２文章範囲の各々の第２特徴量を算出し、
１又は複数の画像を含む第１の文章のデータから抽出される前記第１の文章の構造と前記１又は複数の画像の位置とに基づいた、画像毎に対応付けられる複数の第１文章範囲の各々の第１特徴量が格納される記憶部を参照し、
前記第１特徴量と前記第２特徴量との比較に基づき、前記１又は複数の画像のうち前記複数の第２の文章範囲のいずれかに関連付けられる画像を提示する、
処理を実行させる提示プログラム。

（付記１２）
コンピュータに、
第２の文章のデータから、前記第２の文章を複数に区分けし、区分けにより得られた複数の文章が組み合わされた複数の第２文章範囲を抽出し、
前記複数の第２文章範囲の各々の第２特徴量を算出し、
１又は複数の画像を含む第１の文章のデータから抽出される前記第１の文章が複数に区分けされ、区分けにより得られた複数の文章が、前記１又は複数の画像の位置に基づいて組み合わされた複数の第１文章範囲の各々の第１特徴量が格納される記憶部を参照し、
前記第１特徴量と前記第２特徴量との比較に基づき、前記１又は複数の画像のうち前記複数の第２の文章範囲のいずれかに関連付けられる画像を提示する、
処理を実行させる提示プログラム。

１ 情報処理装置 １０１ 第１抽出部
１０２ 第２抽出部 １０３ 比較部
１０４ 出力部 １１１ 第１文書データ格納部
１１２ 第１構造データ格納部 １１３ 第１範囲データ格納部
１１４ 第１特徴データ格納部 １１５ 類似度格納部
１２１ 第２文書データ格納部 １２２ 第２構造データ格納部
１２３ 第２範囲データ格納部 １２４ 第２特徴データ格納部
１２５ 提示データ格納部

Claims (10)

1. コンピュータに、
   １又は複数の画像を含む第１の文章のデータから、前記第１の文章の構造と前記１又は複数の画像の位置とに基づき、画像毎に対応付けられる複数の第１文章範囲を抽出し、
   第２の文章のデータから、前記第２の文章の構造に基づき、複数の第２文章範囲を抽出し、
   前記複数の第１文章範囲の各々と、前記複数の第２文章範囲の各々との類似度を算出し、算出された当該類似度に基づき、前記１又は複数の画像のうち前記複数の第２文章範囲のいずれかに関連付けられる第１の画像を提示する、
   処理を実行させる提示プログラム。
2. 前記コンピュータに、
   前記複数の第２文章範囲のうち前記第１の画像が関連付けられる第２文章範囲を提示する、
   処理をさらに実行させる請求項１記載の提示プログラム。
3. 前記複数の第１文章範囲の各々は、前記１又は複数の画像のうちいずれかの画像が配置された構造要素、又は、当該構造要素を含み且つ連続する複数の構造要素を含む、
   請求項１又は２記載の提示プログラム。
4. 前記第１の文章のデータに含まれる画像の数が複数である場合、複数の画像のうち或る画像について抽出される前記第１文章範囲に含まれる構造要素と、前記或る画像以外の画像について抽出される前記第１文章範囲に含まれる構造要素とが異なる、
   請求項１又は２記載の提示プログラム。
5. 前記第１の文章のデータに含まれる画像の数が複数であり、且つ、複数の画像のうち第２の画像が配置された構造要素の上位の構造要素と前記複数の画像のうち第３の画像が配置された構造要素の上位の構造要素とが異なる場合、前記第２の画像については前記第２の画像が配置された構造要素の上位の構造から前記第１文章範囲が抽出され、前記第３の画像については前記第３の画像が属する構造要素の上位の構造要素から前記第１文章範囲が抽出される、
   請求項１又は２記載の提示プログラム。
6. 前記複数の第２文章範囲の各々は、１つの構造要素又は連続する複数の構造要素を含む、
   請求項１乃至５のいずれか１つ記載の提示プログラム。
7. コンピュータが、
   １又は複数の画像を含む第１の文章のデータから、前記第１の文章の構造と前記１又は複数の画像の位置とに基づき、画像毎に対応付けられる複数の第１文章範囲を抽出し、
   第２の文章のデータから、前記第２の文章の構造に基づき、複数の第２文章範囲を抽出し、
   前記複数の第１文章範囲の各々と、前記複数の第２文章範囲の各々との類似度を算出し、算出された当該類似度に基づき、前記１又は複数の画像のうち前記複数の第２文章範囲のいずれかに関連付けられる第１の画像を提示する、
   処理を実行する提示方法。
8. １又は複数の画像を含む第１の文章のデータから、前記第１の文章の構造と前記１又は複数の画像の位置とに基づき、画像毎に対応付けられる複数の第１文章範囲を抽出する第１抽出部と、
   第２の文章のデータから、前記第２の文章の構造に基づき、複数の第２文章範囲を抽出する第２抽出部と、
   前記複数の第１文章範囲の各々と、前記複数の第２文章範囲の各々との類似度を算出する算出部と、
   算出された当該類似度に基づき、前記１又は複数の画像のうち前記複数の第２文章範囲のいずれかに関連付けられる第１の画像を提示する提示部と、
   を有する提示装置。
9. コンピュータに、
   第２の文章のデータから、前記第２の文章の構造に基づき、複数の第２文章範囲を抽出し、
   前記複数の第２文章範囲の各々の第２特徴量を算出し、
   １又は複数の画像を含む第１の文章のデータから抽出される前記第１の文章の構造と前記１又は複数の画像の位置とに基づいた、画像毎に対応付けられる複数の第１文章範囲の各々の第１特徴量が格納される記憶部を参照し、
   前記第１特徴量と前記第２特徴量との比較に基づき、前記１又は複数の画像のうち前記複数の第２の文章範囲のいずれかに関連付けられる画像を提示する、
   処理を実行させる提示プログラム。
10. コンピュータに、
    第２の文章のデータから、前記第２の文章を複数に区分けし、区分けにより得られた複数の文章が組み合わされた複数の第２文章範囲を抽出し、
    前記複数の第２文章範囲の各々の第２特徴量を算出し、
    １又は複数の画像を含む第１の文章のデータから抽出される前記第１の文章が複数に区分けされ、区分けにより得られた複数の文章が、前記１又は複数の画像の位置に基づいて組み合わされた複数の第１文章範囲の各々の第１特徴量が格納される記憶部を参照し、
    前記第１特徴量と前記第２特徴量との比較に基づき、前記１又は複数の画像のうち前記複数の第２の文章範囲のいずれかに関連付けられる画像を提示する、
    処理を実行させる提示プログラム。

Images