JP2019133603A - 情報処理装置及び情報処理プログラム - Google Patents

Abstract

【課題】対象データの全てを確認する場合に比して、利用者が対象データの概要を早く把握できるようにする。【解決手段】解析部２２は、電子文書、動画像データ、あるいは音声データなどである対象データ１４から抽出した文字列に対して自然言語処理を施すことによって、対象データ１４の意味を取得する。意味図生成部２６は、解析部２２によって得られた対象データ１４の意味に基づいて、対象データ１４の少なくとも一部分、例えば、対象データ１４のうち重要だと判断された重要部分の意味を表現した意味図を生成する。表示制御部３０は、意味図生成部２６が生成した意味図を表示部１８に表示する。【選択図】図１

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

従来、ワードクラウドと呼ばれる技術が提案されている（特許文献１）。ワードクラウドとは、例えば、ウェブページなどのドキュメントにおいて出現する各単語が並列に（同時に）表示されたものであり、出現回数が多い単語ほど大きく表示されるものである。

特開２０１４−１０６９６８号公報

ところで、ドキュメント、動画像、あるいは音声データを含む対象データの概要を、当該対象データの全てを確認するよりも早く把握したいという要望がある。

本発明の目的は、対象データの全てを確認する場合に比して、利用者が対象データの概要を早く把握できるようにすることにある。

請求項１に係る発明は、対象データから得られた意味に基づいて、前記対象データの少なくとも一部分の意味を表現した図を表示する表示制御部、を備える情報処理装置である。

請求項２に係る発明は、前記対象データの意味は、前記対象データから抽出された文字列に対する自然言語処理により得られる、請求項１に記載の情報処理装置である。

請求項３に係る発明は、前記図は、構成要素として図形、写真、文字の少なくとも１つを含む、請求項２に記載の情報処理装置である。

請求項４に係る発明は、前記図は、前記文字列のうち前記図の生成対象となった部分文字列に含まれない用語を表現する前記構成要素を含む、請求項３に記載の情報処理装置である。

請求項５に係る発明は、前記表示制御部は、前記図に含まれる前記構成要素が表現する用語の前記対象データにおける重要度に基づいて、当該構成要素の表示態様を決定する、請求項３に記載の情報処理装置である。

請求項６に係る発明は、前記表示制御部は、前記対象データにおける意味上の区分毎に前記図を表示する、請求項１から４のいずれか１項に記載の情報処理装置である。

請求項７に係る発明は、前記対象データから得られた意味に基づいて、前記図の解説を出力する解説出力部、をさらに備える請求項２に記載の情報処理装置である。

請求項８に係る発明は、コンピュータを、対象データから得られた意味に基づいて、前記対象データの少なくとも一部分の意味を表現した図を表示する表示制御部、として機能させる情報処理プログラムである。

請求項１、２、３又は８に係る発明によれば、対象データの全てを確認する場合に比して、利用者が対象データの概要を早く把握できる。

請求項４に係る発明によれば、図の生成対象となった部分文字列に含まれる用語を表現する構成要素のみで図を構成した場合に比して、図が表現する意味を分かりやすくすることができる。

請求項５に係る発明によれば、図に含まれる構成要素の表示態様によって、当該構成要素が表現する用語の重要度を表現することができる。

請求項６に係る発明によれば、対象データの全てを確認する場合に比して、利用者は、対象データの区分毎の概要を早く把握できる。

請求項７に係る発明によれば、解説が出力されない場合に比して、利用者は、図が表現する意味を容易に把握できる。

本実施形態に係る情報処理装置の構成概略図である。 意味図の第１の表示例を示す図である。 意味図の第２の表示例を示す図である。 区分毎に表示された意味図の第１の表示例を示す図である。 区分毎に表示された意味図の第２の表示例を示す図である。 区分毎に表示された意味図の第３の表示例を示す図である。 意味図の解説の表示例を示す図である。 エラー通知の表示例を示す図である。 各用語の意味に応じた位置に各用語表現が表示された表示例を示す図である。 用語表現の表示位置の設定画面の例である。 設定された表示位置に各用語表現が表示された表示例を示す図である。 意味が類似する用語に対応する用語表現が近接して表示された表示例を示す第１の図である。 意味が類似する用語に対応する用語表現が近接して表示された表示例を示す第２の図である。 対象データを表現する複数の画像の表示例を示す図である。 レイアウトの設定画面の例を示す図である。 スライド操作によってコマを削除する様子を示す図である。 スライド操作後のレイアウトを示す図である。 ピンチイン操作によってコマを併合する様子を示す図である。 ピンチイン操作後のレイアウトを示す図である。 ピンチアウト操作によってコマを分割する様子を示す図である。 スライド操作によってコマを分割する様子を示す第１の図である。 スライド操作によってコマを分割する様子を示す第２の図である。

＜第１実施形態＞
図１は、第１実施形態に係る情報処理装置１０の構成概略図である。情報処理装置１０の例としては、例えばパーソナルコンピュータ、スマートフォンなどの携帯端末、あるいはサーバなどであるが、情報処理装置１０は、以下の機能を実現可能な限りにおいてどのような装置であってもよい。

記憶部１２は、例えばＲＯＭ、ＲＡＭ、あるいはハードディスクなどを含んで構成される。記憶部１２には、情報処理装置１０の各部を動作させるための情報処理プログラムが記憶される。さらに、図１に示すように、記憶部１２には対象データ１４が記憶される。

対象データ１４は、情報処理装置１０の処理の対象となるデータであり、ウェブページあるいは電子ドキュメントなどの電子文書、動画像データ、あるいは音声データを含むものである。対象データ１４は、不図示の通信部を介して情報処理装置１０以外の装置から取得してもよく、情報処理装置１０が作成したものであってもよい。

入力部１６は、例えばタッチパネル、キーボード、音声入力、あるいはマウスなどを含んで構成される。また、入力部１６としては、音声、カメラやセンサを利用した非接触操作(ジェスチャー)を受け付けるインターフェースを含んで構成されてもよい。入力部１６は、情報処理装置１０に対する利用者（ユーザ）の指示を入力するために用いられる。

表示部１８は、例えば液晶パネルなどを含んで構成される。表示部１８には、種々の画面が表示され、特に、後述する制御部２０の処理結果が表示される。

なお、情報処理装置１０がサーバである場合には、情報処理装置１０には入力部１６及び表示部１８を有していなくてもよい。その場合は、ユーザが利用するユーザ端末であって当該サーバにアクセスしたユーザ端末のタッチパネル、キーボードあるいはマウスなどが入力部１６に相当し、当該ユーザ端末の液晶パネルなどが表示部１８に相当する。

制御部２０は、例えばＣＰＵあるいはマイクロコントローラを含んで構成される。制御部２０は、記憶部１２に記憶された情報処理プログラムに従って、情報処理装置１０の各部を制御する。図１に示されるように、制御部２０は、解析部２２、計数部２４、意味図生成部２６、レイアウト設定部２８、及び表示制御部３０としても機能する。

解析部２２は、対象データ１４を解析することで対象データ１４の意味（内容）を取得する。具体的には、解析部２２は、対象データ１４から抽出した文字列に対して自然言語処理を施すことによって対象データ１４の意味を取得する。

対象データ１４からの文字列の抽出について、対象データ１４が電子文書である場合には、例えば電子文書に対して文字認識処理を施すことによって文字列を抽出することができる。対象データ１４が動画像データあるいは音声データである場合には、動画像データあるいは音声データに含まれる音声をテキストデータに変換することによって文字列を抽出することができる。

自然言語処理とは、形態素解析、構文解析、意味解析、あるいは文脈解析を含む処理である。

形態素解析とは、対象言語の文法や、辞書と呼ばれる単語の品詞などの情報に基づいて、文字列を複数の形態素（言語で意味を持つ最小単位）の列に分割した上で、各形態素の品詞などを判別する処理である。

構文解析とは、複数の形態素間の関係（例えば修飾−被修飾の関係）などの構文論的な関係を判別し、これにより複数の形態素間の位置関係（かかり受けなど）を決定する処理である。構文解析によって複数のパターンの構文木（各形態素をノードとする木構造）が形成される。

意味解析とは、各形態素の意味を考慮し、各形態素の意味に基づいて、複数の形態素間の正しい繋がりを決定する処理である。意味解析によって、複数のパターンの構文木から意味的に正しい構文木が選択される。

文脈解析とは、１又は複数の形態素からなる文に跨って構文解析及び意味解析を行う処理である。例えば、文脈解析によれば、第１文の内容に基づいて、第２文に登場する指示代名詞の内容が把握される。

好適には、解析部２２は、対象データ１４に対して自然言語処理を施すことによって、対象データ１４のうち特に重要な１又は複数の部分を特定する。特に、解析部２２は、対象データ１４内に明示的に現れる文字列のみならず、当該文字列の内容から推定される内容を含む内容を重要部分として特定してもよい。

また、解析部２２は、対象データ１４全体の意味を解析した上で、対象データ１４の全体の要約を表す要約文字列を生成するようにしてもよい。要約とは、対象データ１４が特に表したい意味（内容）であり、対象データ１４の重要部分と重複してもよい。ただし、要約文字列としては、対象データ１４から抽出された文字列の一部分でなくてもよい。

また、解析部２２は、対象データ１４の意味に基づいて、対象データ１４を複数の区分に分けるようにしてもよい。例えば、対象データ１４を目的、課題、解決手段、次回迄の課題という４つの区分に分けるようにしてもよい。

また、解析部２２は、区分毎に重要部分を特定するようにしてもよい。さらに、解析部２２は、区分毎に要約文字列を生成するようにしてもよい。

なお、対象データ１４をどのような区分に分けるかは、ユーザが設定できるようになっているのが好ましい。

計数部２４は、対象データ１４に登場する複数の用語それぞれの登場回数を計数する。ここで、「用語」とは、文構成の最小単位である単語、及び、複数の単語がまとまった語あるいは句を含む概念である。

意味図生成部２６は、解析部２２によって得られた対象データ１４の意味に基づいて、対象データ１４の少なくとも一部分の意味を表現した意味図を生成する。意味図の一例としては、意味図の生成対象となった対象データ１４の一部分に含まれる各用語の関係、例えば、主語（何が）、述語（何をした）、目的語（何を）などの関係が分かるような図である。意味図には、１又は複数の構成要素を含んで構成される。構成要素は、図形、写真、あるいは文字などである。例えば、意味図は、主語を表す構成要素、述語を表す構成要素、目的語を表す構成要素の組み合わせで構成される。意味図の詳細については後述する。

意味図生成部２６は、例えば、対象データ１４のうち重要だと判断された重要部分の意味を表現した意味図を生成する。重要部分の判定は、例えば解析部２２の解析結果あるいは計数部２４による計数結果に基づいて実行する。また、意味図生成部２６は、解析部２２が生成した要約文字列を表現した意味図を生成するようにしてもよい。

また、意味図生成部２６は、対象データ１４の複数の部分の意味を表現した複数の意味図を生成するようにしてもよい。

レイアウト設定部２８は、意味図生成部２６が生成した意味図の（表示）レイアウトを設定する。レイアウトとは、例えば、意味図を表示部１８のどの位置あるいはどの程度の大きさで表示させるかなどを含む概念である、レイアウト設定部２８は、ユーザからの指示に基づいて意味図のレイアウトを設定する。

表示制御部３０は、種々の画面を表示部１８に表示する処理を実行する。特に、表示制御部３０は、意味図生成部２６が生成した意味図を表示部１８に表示する。

以下、第１実施形態における意味図生成部２６及び表示制御部３０の処理の詳細を説明する。

図２は、意味図生成部２６が生成した意味図４０の表示例が示されている。図２には、対象データ１４から抽出された文字列のうち、「コンビニにおいて、１７時に、スマートフォンで電子決済をする」という部分文字列が重要部分であると判定され、当該重要部分を表現した意味図４０が示されている。

上述のように、意味図４０は複数の構成要素４２〜５０から構成される。これら複数の構成要素４２〜５０によって上述の重要部分が表現されている。例えば、構成要素４２は「スマートフォン」を直接表す図形となっている。また、構成要素４４はお金を表す図形であり、構成要素４６はキャッシュレジスタを表す図形であり、構成要素４４と構成要素４６により「電子決済」が表現されている。また、スマートフォンによる電子決済であることをより分かりやすくするために、意味図４０には、構成要素４２（スマートフォン）から構成要素４６（キャッシュレジスタ）へ向かう矢印の図形である構成要素４８が含まれている。

意味図４０には、対象データ１４から抽出された文字列のうち、意味図４０の生成対象となった部分文字列（本例では「コンビニにおいて、１７時に、スマートフォンで電子決済をする」）に含まれない用語を表現する構成要素が含まれていてもよい。図２の例では、当該部分文字列に含まれない用語である「男性」を表現する構成要素５０が意味図４０に含まれている。構成要素５０によって、電子決済を行う主体が男性であることが表現されている。

意味図４０の生成対象となった部分文字列においては、電子決済を行う主体は明示されていないものの、当該部分文字列以外の文字列を含めた自然言語処理において、電子決済を行うのが男性であると判断できる場合がある。そのような場合に、電子決済を行うのが男性であることを分かり易くすべく、意味図生成部２６は、男性を表現する構成要素５０を含む意味図４０を生成する。

また、上述のように、意味図４０に含まれる構成要素としては図形に限らず、写真あるいは文字が含まれていてもよい。例えば、図２の例では、スマートフォンが図形である構成要素４２で表現されているが、対象データ１４において特定機種のスマートフォンが重要である場合など、特定機種のスマートフォンを表現したい場合には、意味図生成部２６は、構成要素４２に代えて、当該特定機種のスマートフォンの写真を意味図４０に含めるようにしてもよい。

また、意味図４０には文字である構成要素が含まれていてもよい。例えば、図３に示された意味図４０’には、意味図４０’の生成対象となった部分文字列に含まれる用語である「コンビニ」の文字である構成要素５２、及び、同じく部分文字列に含まれる用語である「１７時」の文字である構成要素５４が含まれている。ここでも、意味図４０’に、当該部分文字列に含まれない用語を示す文字の構成要素を含めるようにしてもよい。

また、表示制御部３０は、意味図４０に含まれる構成要素が表現する用語の対象データ１４における重要度に基づいて、当該構成要素の表示態様を決定するようにしてもよい。例えば、解析部２２及び計数部２４の処理結果に基づいて、図３に示す意味図４０’において、対象データ１４の意味上、「１７時」よりも「コンビニ」の方が重要であると判定された場合には、「１７時」の文字である構成要素５４よりも「コンビニ」の文字である構成要素５２を大きく表示する。もちろん、構成要素の重要度は大きさ以外の表示態様で表現されるようにしてもよい。例えば、構成要素の色、あるいは、構成要素が文字である場合には、構成要素のフォントなどによって重要度を表現するようにしてもよい。

また、表示制御部３０は、意味図４０に含まれない図形、写真、あるいは文字（以下「非構成要素」と記載する）を意味図４０と共に表示するようにしてもよい。図３の例では、非構成要素６０〜６４が示されている。非構成要素６０〜６４は、例えば、対象データ１４のうち、意味図４０の生成対象となった部分よりも重要度が低い部分を表現するものである。

非構成要素６０〜６４は、意味図４０に含まれる構成要素４２〜５４と区別可能な表示態様で表示される。例えば、意味図４０に含まれる構成要素４２〜５４は互いに近接して配置され、非構成要素６０〜６４は構成要素４２〜５４とは離間した位置に表示される。あるいは、非構成要素６０〜６４よりも大きなサイズで構成要素４２〜５４を表示してもよい。また、構成要素４２〜５４と非構成要素６０〜６４とを異なる色で表示する、あるいは構成要素が文字である場合には、構成要素４２〜５４と非構成要素６０〜６４とを異なるフォント又は太さで表示するようにしてもよい。

上述の通り、意味図生成部２６は、対象データ１４の複数の部分の意味を表現した複数の意味図を生成するようにしてもよい。特に、意味図生成部２６は、対象データ１４における意味上の区分毎に意味図を生成するようにしてもよい。そして、表示制御部３０が各区分に対応する複数の意味図を表示するようにしてもよい。

図４には、複数の区分に対応する複数の意味図の第１の表示例が示されている。図４の例は、解析部２２により対象データ１４が目的、課題、解決手段、及び次回迄の課題の４つの区分に分けられ、意味図生成部２６により、目的に対応する意味図４０ａ、課題に対応する意味図４０ｂ、解決手段に対応する意味図４０ｃ、次回迄の課題に対応する意味図４０ｄが生成され、表示制御部３０により、意味図４０ａ〜４０ｄが表示部１８に表示された場合の例である。

各区分に対応する意味図４０ａ〜４０ｄは、解析部２２により生成された各区分の要約文字列を表現したものであってよい。例えば、図４の意味図４０ａは対象データ１４における目的の要約文字列を表現したものであり、意味図４０ｂは対象データ１４における課題の要約文字列を表現したものであり、意味図４０ｃは対象データ１４における解決手段の要約文字列を表現したものであり、意味図４０ｄは対象データ１４における次回迄の宿題の要約文字列を表現したものである。

あるいは、各区分に対応する意味図４０ａ〜４０ｄは、対象データ１４の複数の区分それぞれの一部分（例えば重要部分）を表現したものであってもよい。

図５には、複数の区分に対応する複数の意味図の第２の表示例が示されている。図５の例は、解析部２２により対象データ１４が起、承、転、及び結の４つの区分に分けられ、意味図生成部２６により、起に対応する意味図４０ｅ、承に対応する意味図４０ｆ、転に対応する意味図４０ｇ、結に対応する意味図４０ｈが生成され、表示制御部３０により、意味図４０ｅ〜４０ｈが表示部１８に表示された場合の例である。

また、図６には、複数の区分に対応する複数の意味図の第３の表示例が示されている。図６の例は、解析部２２により対象データ１４が機器、通信、及び人という３つの概念の観点から３つの区分に分けられ、意味図生成部２６により、機器に対応する意味図４０ｉ、通信に対応する意味図４０ｊ、人に対応する意味図４０ｋが生成され、表示制御部３０により、意味図４０ｉ〜４０ｋが表示部１８に表示された場合の例である。

意味図４０ｉは対象データ１４を機器という観点（すなわち対象データ１４にどのような機器が登場し、それが対象データ１４においてどのような役割を果たすかなど）から対象データ１４を表現した図であり、意味図４０ｊは対象データ１４を通信という観点から対象データ１４を表現した図であり、意味図４０ｋは対象データ１４を人という観点から対象データ１４を表現した図となる。

この場合、各意味図４０ｉ〜ｋに含まれる構成要件が表現する用語の意味に基づいて、当該構成要件の表示態様を決定するようにしてもよい。例えば、人という区分において、「三郎さん」よりも「田中さん」が重要なのであれば、「三郎さん」を示す構成要件よりも「田中さん」を示す構成要件を大きく表示するようにしてもよい。また、同区分内において、２つの用語の関連性に基づいて、当該２つの用語を表現する２つ構成要件を表示する位置関係を決定するようにしてもよい。例えば、通信という区分において、「Ｗｉ−ｆｉ」と「ＬＴＥ」との関連性が高いのであれば、「Ｗｉ−ｆｉ」を示す構成要件と「ＬＴＥ」を示す構成要件とを近接した位置に表示するようにしてもよい。

図４〜図６で示したように、対象データ１４の複数の区分に応じた複数の意味図４０を表示することができる。これにより、同じ対象データ１４であっても様々な方法で表現することができるようになっている。なお、上述のように、対象データ１４をどのような区分で分けるかは、ユーザが指定することができるようになっているのが好適である。

また、複数の区分に応じた複数の意味図４０を表示した場合、異なる意味図４０に同じ用語を表す構成要件が含まれていてもよい。例えば、図５の例において、意味図４０ｅには「利便性」という文字の構成要件が含まれているが、他の意味図４０ｆ〜ｈにも「利便性」という文字の構成要件が含まれていてもよい。

上述のように、複数の意味図４０のレイアウトは、ユーザの指示に応じてレイアウト設定部２８により設定される。

表示部１８に表示された意味図４０がユーザにより選択された場合、表示制御部３０は、選択された意味図４０の解説を表示するようにしてもよい。すなわち、表示制御部３０は解説出力部としても機能する。

例えば、図７に示すように、対象データ１４の複数の区分に対応した複数の意味図４０ａ〜４０ｄが表示された場合に、ユーザによって意味図４０ａが選択されると、表示制御部３０は、解析部２２により得られた対象データ１４の意味に基づく意味図４０ａの解説７０を表示する。解説７０の内容は、なぜ意味図４０ａがそのように表現しているのかの根拠を示すものである。例えば、図７の例では、解説７０により、意味図４０ａには「男性」を表す図形が含まれているのは、対象データ１４の目的区分において、登場人物の名前が男性の名前であったからであることが分かる。あるいは、解説７０により、意味図４０ａに「スマートフォン」、「キャッシュレジスタ」、「お金」を表す図形が含まれているのは、対象データ１４の目的区分において、電子マネーに関する話題や電子マネーでの支払いのメリットに関する話題があったからであることが分かる。解説７０の内容は、解析部２２あるいは意味図生成部２６によって生成されてもよいし、意味図４０ａが表現する要約文字列の全部あるいは一部であってもよい。

図７は、複数の意味図４０が表示された場合に解説７０が表示された例であるが、図２あるいは３のように１つの意味図４０が表示されている場合であっても、ユーザによって意味図４０が選択されたときに解説が表示されるようにしてもよい。

また、意味図４０が要約文字列を表現したものではなく、対象データ１４から抽出された文字列の一部分を表現するものである場合には、解説７０として、当該文字列の一部分がそのまま表示されるようにしてもよい。例えば、図２又は３の例において、意味図４０がユーザにより選択された場合、解説として「コンビニにおいて、１７時に、スマートフォンで電子決済をする」と表示されてもよい。

なお、解説は音声として出力されてもよい。この場合、情報処理装置１０が有するスピーカなどから構成される音声出力部（不図示）が解説出力部として機能する。

対象データ１４の複数の区分のうち、意味図生成部２６が、ある区分についての意味図４０を生成できない場合が考えられる。その要因としては、例えば、解析部２２が当該区分についての要約文字列を生成できなかったこと、意味図生成部２６が当該区分内における重要部分を特定できなかったことなどが挙げられる。

表示制御部３０は、複数の区分のうちのある区分についての意味図４０が生成されなかった場合、その旨をユーザに通知すべく、エラー通知を表示する。図８には、目的、課題、解決手段、次回迄の課題の４つの区分のうち、解決手段に対応する意味図４０ｃが生成されなかった場合に表示されるエラー通知７２の例が示されている。

例えば対象データ１４が会議の議事録である場合、エラー通知７２を表示することで、ユーザは、会議において解決手段に関する議論が十分にできていなかったことを容易に把握することができる。なお、エラー通知７２の内容に、意味図４０を生成できなかった理由を含めるようにしてもよい。例えば、「解決手段の議論がなされていない」あるいは「解決手段が複数ありどれも決め手に欠ける」というような文字列をエラー通知７２として表示するようにしてもよい。

以上説明した通り、第１実施形態によれば、意味図生成部２６によって、対象データ１４の少なくとも一部分を表現する意味図が生成され、表示制御部３０により当該意味図４０が表示部１８に表示される。ユーザは、表示された意味図４０を確認することで、対象データ１４の全てを確認する場合に比して、対象データ１４の概要を早く把握することができる。

＜第２実施形態＞
第２実施形態に係る情報処理装置の構成概略は、第１実施形態に係る情報処理装置（図１の情報処理装置１０）と同様である。したがって、第１実施形態と重複する部分については説明を省略する。

第２実施形態においては、表示制御部３０は、計数部２４が計数した、対象データ１４に登場する複数の用語それぞれの登場回数に応じて、各用語を表現した用語表現を表示部１８に表示する。ここで、用語表現は、文字、図形、又は写真などであってよい。例えば、「スマートフォン」という用語に対する用語表現は、スマートフォンという文字、スマートフォンを表す図形、あるいはスマートフォンの写真などである。

具体的には、表示制御部３０は、対象データ１４における登場回数が多い用語程、当該用語に対応する用語表現を大きく表示する。換言すれば、対象データ１４における登場回数が少ない用語に対応する用語表現は相対的に小さく表示される。また、登場回数が多い用語程、当該用語に対応する用語表現の色を濃く表示してもよい。換言すれば、対象データ１４における登場回数が少ない用語に対応する用語表現の色を相対的に薄く表示してもよい。あるいは、用語表現が文字である場合、登場回数が多い用語程、当該用語に対応する用語表現（文字）を太く表示するようにしてもよい。換言すれば、対象データ１４における登場回数が少ない用語に対応する用語表現を相対的に細く表示するようにしてもよい。

より詳しくは、表示制御部３０は、各用語の意味に応じた位置に各用語を表現した用語表現を表示する。各用語の意味に応じた位置に用語表現を表示するという概念には、２つの態様が含まれる。

第１の態様は、１つの用語の意味に応じた位置に、当該用語の用語表現を表示するということである。例えば、表示制御部３０は、用語が「空」、「鳥」、「頭」、あるいは「屋上」などである場合には、表示部１８の上の方に対応する用語表現を表示する。また、用語が「海」、「地下鉄」、「地面」、あるいは「足」などである場合には、表示部１８の下の方に対応する用語表現を表示する。同様に、表示制御部３０は、「右手」あるいは「右足」などに対応する用語表現は表示部１８の右の方に表示し、「左手」あるいは「左足」などに対応する用語表現は表示部１８の左の方に表示する。図９には、各用語表現８０が、対応する用語の意味に応じた位置に表示された様子が示されている。

また、表示制御部３０は、特定の用語に対応する前記用語表現を、ユーザによって設定された位置に表示するようにしてもよい。本実施形態では、ユーザは、特定の用語について、当該特定の用語に対応する用語表現が表示させる位置を設定することができる。例えば、「機械」という用語に対応する用語表現は、表示部１８の中心に表示する、というように設定することができる。

また、用語の種類毎に、対応する用語表現の表示位置をユーザが設定できるようにしてもよい。例えば、表示制御部３０は、図１０に示すような用語表現の表示位置の設定画面を表示部１８に表示させる。ユーザは、当該設定画面に用語の種類を入力することで、用語の種類に応じた各用語表現の表示位置を設定することができる。

図１０に示す設定画面では、ユーザは、表示部１８の中心、右上、右下、左上、左下のそれぞれの位置にどのような用語に対応する用語表現を表示させるのかを設定することができる。図１０においては、表示部１８の中心に機械系の用語に対応する用語表現が、表示部１８の右上に自然系の用語に対応する用語表現が、表示部１８の右下に動物系の用語に対応する用語表現が、表示部１８の左上に場所系の用語に対応する用語表現が、表示部１８の左下に時間系の用語に対応する用語表現が、それぞれ表示されるように設定されている。

図１１には、図１０に示す設定のように、各用語表現８０が表示された表示例が示されている。なお、対象データ１４において、ユーザが設定した種類の用語が登場しなかった場合、表示制御部３０は、本来ユーザが設定した当該種類の用語に対応する用語表現８０が表示されるべき位置に、当該種類の用語に代えて、他の種類の用語に対応する用語表現８０を表示するようにしてもよい。そのような他の種類の用語としては、例えば対象データ１４における登場回数などに基づいて決定されてよい。図１１の例では、対象データ１４に動物系の用語が登場せずに、料理系の用語が多く登場したため、表示部１８の右下の領域において、動物系の用語に代えて、料理系の用語に対応する用語表現８０が表示されている。

第２の態様は、複数の用語の意味の類似度に応じた位置関係において、当該複数の用語に対応する２つの用語表現を表示するということである。例えば、表示制御部３０は、２つの用語の意味の類似度が高い程、当該２つの用語に対応する２つの用語表現を近くに表示する。換言すれば、表示制御部３０は、２つの用語の意味の類似度が低い程、当該２つの用語に対応する２つの用語表現を離して表示する。ここで、２つの用語間の類似度は、用語の上位／下位関係、部分／全体関係、同義関係、類義関係などによって用語を分類して体系づけたデータベースであるシソーラスに基づいて判定することができる。なお、本明細書における「類似」とは、用語が示す意味が類似しているもの（例えば「ＰＣ」と「機械」）のみならず、用語が示す意味の関連性が高いもの（例えば「虫」と「土」）も含む概念である。もちろん、３つ以上の用語の意味の関係性に応じて、当該３つ以上の用語に対応する３つ以上の用語表現の位置関係を調整して表現するようにしてもよい。

なお、１つの用語が、他の複数の用語に均等に類似する場合、当該１つの用語に対応する用語表現は、他の複数の用語に対応する複数の用語表現の間に表示される。例えば、「虫」という用語が、「土」及び「草」の両方に類似する用語である場合、表示制御部３０は、「虫」に対応する用語表現を、「土」に対応する用語表現と「草」に対応する用語表現との間に表示させる。また、例えば、「虫」という用語が、「土」、「草」、及び「林」のいずれにも類似する用語である場合は、図１２に示すように、表示制御部３０は、「虫」に対応する用語表現の周辺に、「土」に対応する用語表現と、「草」に対応する用語表現と、「林」に対応する用語表現とを表示させる。

図１３は、意味が類似する用語に対応する用語表現８０が近接して表示された表示例を示す図である。図１３に示される通り、例えば、互いに類似度が高い用語である「自然」、「花」、「草」、「木」、及び「水」に対応する各用語表現８０が互いに近接して表示される。これにより、意味が類似する複数の用語に対応する複数の用語表現８０が近接した用語表現グループ８４ａが形成される。

なお、意味が類似する複数の用語のうち、上位下位概念の関係にある用語がある場合、表示制御部３０は、上位概念の用語に対応する用語表現の周囲に、下位概念の用語に対応する用語表現を表示する。例えば、図１３に示された用語表現グループ８４ａにおいては、「自然」が上位概念であり、「花」、「草」、「木」、及び「水」は「自然」の下位概念である。この場合、表示制御部３０は、「自然」に対応する用語表現８０を用語表現グループ８４ａの中心に表示し、「花」、「草」、「木」、及び「水」に対応する各用語表現８０を「自然」に対応する用語表現８０の周辺に表示させる。

図１３においては、用語表現グループ８４ａの他に、互いに類似度が高い用語である「ＰＣ」、「機械」、及び「携帯電話」に対応する各用語表現が互いに近接して表示される。これにより、用語表現グループ８４ｂが形成される。このように、類似度が高い用語に対応する複数の用語表現を近接して表示することによって、複数の用語表現グループ８４ａ、８４ｂが形成される場合がある。

表示制御部３０は、用語表現グループ８４ａに含まれる用語表現８０と、用語表現グループ８４ａに含まれない用語表現８０と識別可能な表示態様で表示するのが好ましい。同じく、表示制御部３０は、用語表現グループ８４ｂに含まれる用語表現８０と、用語表現グループ８４ｂに含まれない用語表現８０と識別可能な表示態様で表示するのが好ましい。

例えば、図１３に示すように、用語表現グループ８４ａに含まれる複数の用語表現８０を囲う枠８６ａ、及び、用語表現グループ８４ｂに含まれる複数の用語表現８０を囲う枠８６ｂを表示してもよい。また、枠８６ａ内の領域、枠８６ｂ内の領域、及びその他の領域をそれぞれ異なる色で着色するようにしてもよい。また、用語表現グループ８４ａに含まれる用語表現の色を統一し、用語表現グループ８４ｂに含まれる用語表現８０の色を統一した上で、用語表現グループ８４ａに含まれる用語表現８０の色と、用語表現グループ８４ｂに含まれる用語表現の色と、その他の用語表現８０の色とを互いに異なる色とするようにしてもよい。

以上説明した通り、第２実施形態によれば、対象データ１４に登場する用語に対応する用語表現が、当該用語の意味に応じた位置に表示される。これにより、用語表現の表示位置を当該用語の意味に応じた位置に表示しない場合に比して、ユーザが対象データ１４の意味をより容易に把握することが可能になる。

＜第３実施形態＞
第３実施形態に係る情報処理装置の構成概略も、第１実施形態に係る情報処理装置（図１の情報処理装置１０）と同様である。したがって、第１実施形態と重複する部分については説明を省略する。

第３実施形態においては、表示制御部３０は、対象データ１４を表現する画像を表示部１８に表示する。第１実施形態においては、意味図生成部２６が生成した意味図４０（図２など参照）を表示部１８に表示していたが、第３実施形態における対象データ１４を表現する画像としては、意味図生成部２６が生成した意味図のみならず、対象データ１４が動画像である場合には、当該動画像から切り出した静止画像であってもよい。あるいは、対象データ１４を表現する画像は、動画像から切り出した静止画像を加工（例えばモノクロ加工あるいはイラスト風スタイルにする加工）を施した画像であってもよい。

図１４に、第３実施形態における対象データ１４を表現する画像の表示例が示されている。図１４に示されるように、表示制御部３０は、漫画のように、対象データ１４を表現する画像９０をそれぞれ含む複数のコマ９２を表示することができる。なお、本実施形態では、１つのコマ９２には１つの画像９０が含まれるものとする。

例えば、対象データ１４が動画像である場合、表示制御部３０は、当該動画像から複数の静止画像を切り出して、当該複数の静止画像が動画像における時系列順に並ぶように、静止画像を画像９０として含む複数のコマ９２を並べて表示する。なお、表示制御部３０は、対象データ１４における重要部分に相当する静止画像を動画像から切り出すようにしてもよい。対象データ１４における重要部分は、上述のように、例えば解析部２２の解析結果あるいは計数部２４による計数結果に基づいて特定することができる。

もちろん、各画像９０は第１実施形態において生成された意味図であってもよい。この場合、例えば、意味図生成部２６は、対象データ１４を表現する複数の意味図を生成し、表示制御部３０は、生成された意味図をそれぞれ含む複数のコマ９２を対象データ１４の意味を表すように並べて表示させる。対象データ１４が動画像であって、図１４の各画像９０が意味図であるとすると、例えば、１コマ目は動画像の０：００〜１：００までの内容を表現する意味図であり、２コマ目は動画像の１：０１〜２：００までの内容を表現する意味図となる。

第３実施形態は、対象データ１４を表現する画像９０の（表示）レイアウトをユーザが設定することができる点に着目した実施形態である。表示制御部３０は、ユーザが設定したレイアウトに応じて、画像９０を表示部１８に表示する。

レイアウト設定部２８は、ユーザの指示に基づいて、画像９０のレイアウトを設定する。情報処理装置１０は、画像９０のレイアウトに関するユーザからの指示を入力部１６によって受け付ける。すなわち、入力部１６は受付部としても機能する。具体的には、レイアウト設定部２８は、画像９０のレイアウトとして、例えば、１画面におけるコマ９２の数（すなわち１画面に含まれる画像９０の数）、画面数、あるいは、各コマ９２の位置、大きさ、配列などを設定する。

ユーザは、いくつかの方法で画像９０のレイアウトを設定することができる。なお、ユーザがレイアウトの変更を指示する場合の入力方法としては、タッチ操作、音声操作、非接触のジェスチャー操作、マウスのポインタ操作、テキストコマンドの入力の何れでもよい。ただし、ユーザの利便性や誤操作を考え、特定の入力手段でしか受け付けないように、ユーザの任意の設定で切り替えられるようにしても良い。例えば、周囲の騒音が大きかったり、周りに人が多い場合、音声入力は受け付けず、タッチ操作のみしか受け付けない等の設定の変更である。

第１の方法としては、表示制御部３０が、ユーザにレイアウトを入力するためのレイアウト設定画面を表示部１８に表示し、ユーザは、入力部１６を用いて、当該レイアウト設定画面へレイアウトを入力することでレイアウトを設定する方法である。

図１５に、レイアウト設定画面の例が示されている。ユーザが情報処理装置１０を操作してレイアウト設定画面を呼び出すと、表示部１８には、まず、図１５（Ａ）に示されるような画面が表示される。図１５（Ａ）に示される画面は、対象データ１４の全体を要約するか否かを設定する画面である。ここで、ユーザが対象データ１４の全体を要約する指示を入力すると、表示部１８には図１５（Ｂ）に示す画面が表示される。

図１５（Ｂ）に示される画面は、対象データ１４の全体を表現する画像９０（すなわちコマ９２）のレイアウトを入力するための画面である。例えば、図１５（Ｂ）に示される画面においては、対象データ１４の全体を表現する画像９０が表示される画面数を入力する欄１００、あるいは、各画面のコマ数を入力する欄１０２が設けられている。ユーザは、欄１００及び１０２に所望の数を入力することで、画像９０のレイアウトを設定することができる。例えば、画面数が１、１画面目のコマ数が４であれば、対象データ１４の全体を表現する４つの意味図が１画面で表示される。また、画面数が２、各画面のコマ数が１であれば、対象データ１４の全体を表現する２つの意味図が１画面に１つずつ表示される。

なお、図１５（Ｂ）の画面においては、画面数及び１画面のコマ数のみが設定可能となっているが、当該画面において各コマの位置、大きさ、配列などが設定できるようになっていてもよい。また、画面数あるいはコマ数などの各設定項目に対する値は、フリーフォームで入力できるようになっていてもよいし、プルダウンメニューなどの選択肢から選択できるようになっていてもよい。

図１５（Ａ）に示される画面において、ユーザが対象データ１４の全体を要約しない指示を入力すると、表示部１８には図１５（Ｃ）に示す画面が表示される。

表示制御部３０は、対象データ１４における意味上の区分毎に画像９０を表示することができる。例えば、表示制御部３０は、目的、課題、解決手段、及び次回迄の宿題といったようなそれぞれの区分を表現した複数のコマ９２を表示することができる。レイアウト設定部２８は、対象データ１４における意味上の区分毎に画像９０のレイアウトを設定することができる。すなわち、各区分の複数のコマ９２のレイアウトがユーザによって設定可能となっている。もちろん、区分としては、目的、課題、解決手段、及び次回迄の宿題に限られず、例えば上述のように起、承、転、及び結、あるいは、機器、通信、及び人などの概念で区別するようにしてもよい。

図１５（Ｃ）に示される画面は、対象データ１４の区分毎の画像９０（すなわちコマ９２）のレイアウトを入力するための画面である。例えば、図１５（Ｃ）に示される画面においては、対象データ１４の各区分（目的、課題、解決手段、及び次回迄の宿題）を表現するための画面数及び各画面のコマ数を入力する欄１０４が設けられている。ユーザは、欄１０４に所望の数を入力することで、各区分の画像９０のレイアウトを設定することができる。

第２の方法としては、画像９０（コマ９２）が表示された表示部１８に対してユーザが操作を行うことによりレイアウトを設定する方法である。より詳しくは、ユーザが表示部１８に対してレイアウト変更指示としての操作を入力すると、当該操作に応じてレイアウト設定部２８が画像９０のレイアウトを変更する。表示部１８に対するユーザの操作とは、例えば、タップ操作、ダブルタップ操作、ロングタップ操作、スライド（フリック）操作、ピンチイン操作、あるいはピンチアウト操作などが含まれる。例えば、レイアウト設定部２８は、ユーザがあるコマ９２に対して操作を行った場合、当該コマ９２を削除してコマ数を減らすレイアウト変更を行うことができる。あるいは、例えば、ユーザが２つのコマ９２の間に対して操作を行った場合、当該２つのコマ９２の間に新たなコマ９２を追加してコマ数を増やすレイアウト変更を行うことができる。第２の方法によれば、第１の方法に比して、ユーザは、より直感的にレイアウト設定を行うことができる。特に、特定の位置のコマ９２を削除したり、特定の位置にコマ９２を追加したりすることがより容易になる。

図１６には、複数のコマ９２（画像９０）が表示された表示部１８に対してユーザがスライド操作を行う様子が示されている。入力部１６がユーザからスライド操作を受け付けた場合、レイアウト設定部２８は、スライド操作の始点に位置するコマ９２ａのみならず、コマ９２ａからスライド操作のスライド方向に位置する他のコマ９２ｂも削除して、コマ数を２つ減らすレイアウト変更を行うようにしてもよい。あるいは、コマ９２ａ及び９２ｂに加え、コマ９２ａからスライド操作のスライド方向とは反対側に位置する他のコマ９２ｃを削除して、コマ数を３つ減らすレイアウト変更を行うようにしてもよい。本実施形態では、スライド操作により、コマ９２ａ、９２ｂ、及び９２ｃを削除してコマ数を３つ減らすレイアウト変更が行われるとする。このようにすることで、ユーザは、１回のスライド操作で、任意の複数のコマ９２を削除するレイアウト変更の指示を入力することができる。なお、開始位置の決定はユーザが指定したコマに対するロングタップを基準に開始するようにしてよい。

なお、ユーザがスライド操作を行っている間、表示制御部３０は、コマ９２ａ、９２ｂ、及び９２ｃをスライド操作に従って徐々に移動させ（図１６の例では徐々に右側に移動させる）、スライド操作が完了したときに、コマ９２ａ、９２ｂ、及び９２ｃが完全に表示部１８から消えるような態様で表示する。

また、ユーザがスライド操作を途中で中止した場合は、レイアウト設定部２８はレイアウト変更を行わず、表示制御部３０は、途中まで移動したコマ９２ａ、９２ｂ、及び９２ｃを元の位置に戻して表示させる。

ユーザからスライド操作を受け付けると、レイアウト設定部２８は、コマ９２ａ、９２ｂ、及び９２ｃを削除した上で、当該画面のレイアウトを残る４つのコマ９２のレイアウトとする。この場合、元々コマ９２ａ、９２ｂ、及び９２ｃが存在していた領域が不自然に空いてしまわないように、レイアウト設定部２８は、残りの４つのコマ９２の位置を適宜調整するようにしてもよい。図１７には、スライド操作によるレイアウト変更後の表示例であって、残りの４つのコマ９２の位置が調整された場合の表示例が示されている。なお、図１７では表示部１８の表示領域に余りがあるが、表示領域を埋めるように1コマあたりの画像サイズを拡大縮小させ、適宜最適なサイズに調整しなおすようにして表示してもよい。

入力部１６がユーザから、複数のコマ９２を重ね合わせる重ね合わせ操作を受け付けた場合、レイアウト設定部２８は、重ね合わせ操作の対象となる複数のコマ９２を１つのコマ９２に併合するレイアウト変更を行う。換言すれば、重ね合わせ操作の対象となる複数のコマ９２が表示されていた領域に、１つのコマ９２を表示するレイアウト変更を行う。

重ね合わせ操作は、例えば、複数のコマ９２をつまむように操作するピンチイン操作である。また、重ね合わせ操作としては、１本の指で１つのコマ９２を他のコマ９２に重ねるようにドラッグする操作、両手の指でそれぞれ複数のコマ９２を動かして重ね合わせる操作、あるいは、音声入力やジェスチャーにより複数のコマ９２を重ね合わせる指示を入力する操作であってもよい。

図１８には、複数のコマ９２が表示された表示部１８に対してユーザがピンチイン操作を行う様子が示されている。入力部１６がユーザからピンチイン操作を受け付けた場合、レイアウト設定部２８は、ピンチイン操作の対象となる複数のコマ９２を１つのコマ９２に併合するレイアウト変更を行う。換言すれば、ピンチイン操作の対象となる複数のコマ９２が表示されていた領域に、１つのコマ９２を表示するレイアウト変更を行う。こうすることで、レイアウト変更の対象となるコマの指定と、レイアウト変更後の表示サイズの指定を同時に行うことができる。もちろん、対象となるコマの指定だけで、表示サイズは別の指示にすることにしてもよい。表示サイズを、対象コマを併合した領域ではないようにする場合、対象のコマの指定が終わったら、表示サイズの設定画面を表示させ表示サイズの受け付けを行うようにしてもよい。なお、ピンチイン操作は、同時に複数の画像（コマ）を対象としてもよい。すなわち、右手で親指、人差し指で対象を特定したとして、親指で２コマ、人差し指で３コマの指定を行ってレイアウト変更を行うなどが該当する。明確に各指でコマの領域の少なくも一部を触れている場合だけではなく、そのコマを指定しているとみなす領域（例えば当該コマ近傍の領域）を予め設定をしているならば、各指がそのコマ自体に触れていなくても当該領域に触れている場合に当該コマを対象としてもよい。こうすることで、ユーザは、指定のし易い操作で対象の特定が行える。

例えば、図１８に示されるように、ピンチイン操作が行われた場合、ピンチイン操作の２つの始点（すなわちピンチイン操作開始時の２つの指の位置）に位置する２つのコマ９２ｅ及びコマ９２ｆを併合して１つのコマ９２とするレイアウト変更を行う。ピンチイン操作の始点に位置する２つのコマ９２ｅ及びコマ９２ｆとの間に他のコマ９２が存在する場合は、ピンチイン操作により、２つのコマ９２ｅ及びコマ９２ｆ、並びに、当該他のコマ９２が併合される。

重ね合わせ操作によれば、ユーザは、任意の複数のコマ９２を併合するレイアウト変更の指示を入力することができる。図１９には、重ね合わせ操作より、２つのコマ９２ｅ及びコマ９２ｆが併合されて１つのコマ９２ｇとされたレイアウト変更後の画面が示されている。図１９のように、併合に伴ってコマのサイズを変更する場合、変更前のレイアウトに存在したコマ間の仕切りの空間をなくして、当該空間をレイアウト変更後の併合したコマの表示領域に使うようにしてよい。なお、今回の併合の例では、横に隣り合う同士で併合をしたが、縦にも斜めでも併合対象にしてよい。また、1度併合したものを繰り返し併合するようにしてもよい。

なお、ユーザが重ね合わせ操作（特に指による重ね合わせ操作）を行っている間、表示制御部３０は、コマ９２ｅ及び９２ｆを重ね合わせ操作に従って互いに近づく方向に移動させ（図１８の例ではコマ９２ｅを右側へ、コマ９２ｆを左側に移動させる）、重ね合わせ操作が完了したときに、コマ９２ｅ及び９２ｆを削除し、新たなコマ９２ｇを表示させる。

また、スライド操作同様、ユーザが重ね合わせ操作を途中で中止した場合は、レイアウト設定部２８はレイアウト変更を行わず、表示制御部３０は、途中まで移動したコマ９２ｅ及び９２ｆを元の位置に戻して表示させる。

また、入力部１６がユーザからコマ９２の拡張操作を受け付けた場合、レイアウト設定部２８は、拡張操作の対象となるコマ９２のサイズを拡大するレイアウト変更を行うようにしてもよい。つまり、拡張操作によれば、ユーザは、任意のコマ９２のサイズを拡大するレイアウト変更の指示を入力することができる。この場合、拡張操作の対象となるコマ９２を拡大すると共に、当該コマ９２の周りに位置するコマ９２のサイズを小さくするようにしてもよい。

拡張操作は、例えば、複数のコマ９２を片手の複数の指を広げるように操作するピンチアウト操作である。また、拡張操作としては、両手の指を反対の方向へスライドさせる操作、あるいは、音声入力やジェスチャーにより対象のコマ９２を拡張する指示を入力する操作であってもよい。

また、入力部１６がユーザからコマ９２の分割操作を受け付けた場合、レイアウト設定部２８は、分割操作の対象となるコマ９２を複数のコマ９２に分割するレイアウト変更を行うようにしてもよい。つまり、分割操作によれば、ユーザは、任意のコマ９２を複数のコマ９２に分割するレイアウト変更の指示を入力することができる。

分割操作としては、種々の操作が考えられる。例えば、分割操作は、図２０に示すように、コマ９２を対象としたピンチアウト操作であってよい。なお、この場合、ピンチアウト操作によってコマ９２のサイズを拡大するか、コマ９２の分割を行うかは、ピンチアウト操作後にいずれを行うかをユーザに確認する画面（音声確認であってもよい）を表示して、ユーザの入力に応じて決定してもよい。あるいは、ピンチアウト操作によってコマ９２のサイズを拡大するか、コマ９２の分割を行うかは、ユーザによって予め設定されていてもよい。

例えば、図２０（ａ）に示すように、ユーザがコマ９２ｂに対してピンチアウト操作すること、図２０（ｂ）に示すように、コマ９２ｂがコマ９２ｈ及びコマ９２ｉに分割される。

ピンチアウト操作の開始位置及びピンチアウト操作の操作方向によって、分割されたコマ９２のレイアウトが決定されてよい。例えば、図２０の例では、ピンチアウト操作の開始位置がコマ９２ｂの略中央であり、ピンチアウト操作方向が左下及び右上であることから、図１２（ｂ）に示すように、コマ９２ｂの分割線が左上から中央を通り右下へ延びる方向となっている。

また、分割操作としては、図２１に示すように、コマ９２に対するスライド操作であってよい。なお、この場合も、スライド操作によってコマ９２を削除するか、コマ９２の分割を行うかは、ユーザに確認して決定してもよいし、予め設定されていてもよい。

例えば、図２１（ａ）に示すように、ユーザがコマ９２ｇに対してスライド操作すると、図２１（ｂ）に示すように、コマ９２ｇがコマ９２ｊ及びコマ９２ｋに分割される。

また、スライド操作の軌跡によって分割されたコマ９２のレイアウトが決定されてもよい。例えば、図２２（ａ）に示すように、コマ９２ｂに対して斜めにスライド操作を行うと、当該スライド操作の軌跡に沿ってコマ９２ｂがコマ９２ｈ及びコマ９２ｉに斜めに分割されてもよい。なお、図２２の例では、１つのコマ９２が分割されていたが、複数のコマ９２を通る軌跡で１回のスライド操作をすることで、１回のスライド操作で複数のコマ９２が分割されるようにしてもよい。

各画像９０が意味図生成部２６により生成された意味図である場合を考える。レイアウト設定部２８が意味図の数を変更するレイアウト変更をした場合、意味図生成部２６は、レイアウト変更前の数の意味図により表現されていた意味が、レイアウト変更後の数の意味図で表現されるように、レイアウト変更後の数の意味図を再生成する。そして、表示制御部３０は、レイアウト変更後の数の再生成された意味図を表示する。

意味図生成部２６は、対象データ１４の全体を基準として、レイアウト変更後に表示される意味図の再生成をするようにしてもよい。例えば、対象データ１４の全体が１２個の意味図で表現され、１画面目に７つの意味図（つまり７コマ）、２画面目に５つの意味図を表示するレイアウトから、１画面目に表示される意味図の数を３つ減らすレイアウト変更がされた場合を考える。この場合は、意味図生成部２６は、対象データ１４の全体の意味を変更後の全体の意味図の数である９つの意味図で表現するように９つの意味図を再生成し、表示制御部３０は、変更後のレイアウト（すなわち１画面目に４つの意味図、２画面目に５つの意味図）にて、再生成された９つの意味図を表示する。

また、意味図生成部２６は、１画面に表示されている複数の意味図を基準として、レイアウト変更後に表示される意味図の再生成をするようにしてもよい。例えば、図１６に示されるように、１画面に７つのコマ９２（すなわち７つの意味図）が表示するレイアウトから、当該画面に表示される意味図の数を３つ減らすレイアウト変更がされた場合を考える。この場合、意味図生成部２６は、レイアウト変更前に当該画面に表示されていた７つの意味図で表現されていた意味を、レイアウト変更後の４つの意味図で表現するように４つの意味図９０ａ〜９０ｄを再生成する。そして、表示制御部３０は、図１７に示される通り、変更後のレイアウトにて、再生成された４つの意味図９０ａ〜９０ｄを表示する。

また、意味図生成部２６は、対象データ１４の意味上の区分を基準として、レイアウト変更後に表示される意味図の再生成をするようにしてもよい。例えば、対象データ１４の区分毎に複数の意味図が生成された場合であって、区分の１つである目的のレイアウトが、１画面の７つの意味図で表示されるレイアウトから、１画面の４つの意味図で表示されるレイアウトに変更された場合を考える。この場合は、意味図生成部２６は、対象データ１４の目的の意味を、レイアウト変更後の４つの意味図で表現するように４つの意味図を再生成する。そして、表示制御部３０は、変更後のレイアウトにて、目的を表現する意味図として再生成された４つの意味図を表示する。

さらに、図１８に示されるように、複数のコマ９２（すなわち複数の意味図）が表示された表示部１８に対してユーザが重ね合わせ操作を行った場合には、意味図生成部２６は、重ね合わせ操作の対象である２つの意味図９０ｅ及び９０ｆで表現されていた意味を、１つの意味図で表現するように、新たな１つの意味図９０ｇを再生成し、表示制御部３０は、図１９に示される通り、変更後のレイアウトにて、再生成された１つの意味図９０ｇを表示するようにしてもよい。例えば、意味図９０ｅが対象データ１４である動画像の０：００〜１：００までの内容を表現する意味図であり、意味図９０ｆが当該動画像の１：０１〜２：００までの内容を表現する意味図である場合、意味図９０ｇは、当該動画像の０：００〜２：００までの内容を表現する意味図となる。

なお、上記においては、いずれも意味図の数を減らすレイアウト変更がされた例を用いて説明したが、もちろん、意味図の数を増やすレイアウト変更がされた場合にも、意味図生成部２６は、レイアウト変更前の数の意味図により表現されていた意味が、レイアウト変更後の数の意味図で表現されるように、レイアウト変更後の数の意味図を再生成するようにしてもよい。

また、レイアウト設定部２８が意味図の数を変更するレイアウト変更をした場合、意味図生成部２６は、レイアウト変更の指示の対象となった意味図の生成対象である対象データ１４の範囲に基づいて、新たな意味図を生成し、表示制御部３０は、レイアウト変更後の数の再生成された意味図を表示するようにしてもよい。

重ね合わせ操作の対象の複数の意味図の生成対象となった対象データ１４の複数の部分が、時系列的に連続していない場合を考える。例えば、図１８の例において、意味図９０ｅが対象データ１４の０：００〜１：００までの内容を表現しており、意味図９０ｆが対象データ１４の５：００〜８：００までの内容を表現しており、意味図９０ｅと意味図９０ｆが重ね合わせ操作の対象となった場合である。

このような場合は、意味図生成部２６は、重ね合わせ操作の対象となった複数の図の生成対象である対象データ１４の複数の部分を表現する新たな１つの意味図を生成し、表示制御部３０は、当該新たな１つの意味図を変更後のレイアウトにて表示させる。例えば、上記例では、意味図９０ｅの生成対象である対象データ１４の０：００〜１：００までの内容と、意味図９０ｆの生成対象である対象データ１４の５：００〜８：００までの内容を表現する１つの意味図９０ｇが生成されて表示される。

また、意味図生成部２６は、重ね合わせ操作の対象となった複数の図の生成対象である対象データ１４の複数の部分、及び、対象データ１４において時系列的に当該複数の部分の間に位置する部分を含む、連続部分を表現する新たな１つの意味図を生成するようにしてもよい。例えば、上記例では、意味図９０ｅの生成対象である対象データ１４の０：００〜１：００までの内容と、意味図９０ｆの生成対象である対象データ１４の５：００〜８：００までの内容を包含する時系列的に連続する部分である、対象データ１４の０：００〜８：００までの内容を表現する１つの意味図９０ｇが生成されて表示されてもよい。

スライド操作などによって意味図の１つが削除された場合を考える。例えば、図１６の例において、コマ９２ｃの意味図が対象データの３：００〜４：００までの内容を表現しており、コマ９２ａの意味図が対象データの８：００〜９：００までの内容を表現しており、コマ９２ｂの意味図が対象データの１４：００〜１５：００までの内容を表現しており、コマ９２ａ、９２ｂ、及び９２ｃが削除の対象となった場合である。

このような場合は、意味図生成部２６は、レイアウト変更後の残りの意味図（図１７の意味図９０ａ〜９０ｄ）の生成対象に、コマ９２ｃの意味図の生成対象である対象データ１４の３：００〜４：００までの内容と、コマ９２ａの意味図の生成対象である対象データ１４の８：００〜９：００までの内容と、コマ９２ｂの意味図の生成対象である対象データ１４の１４：００〜１５：００までの内容とを加えて、意味図９０ａ〜９０ｄを再生成する。また、意味図生成部２６は、レイアウト変更後の残りの意味図９０ａ〜９０ｄの生成対象に、コマ９２ａ〜９２ｃの意味図の生成対象を含む連続部分である対象データ１４の３：００〜１５：００までの内容を加えて、意味図９０ａ〜９０ｄを再生成するようにしてもよい。

分割操作により意味図が複数の意味図に分割された場合を考える。この場合、意味図生成部２６は、分割前のコマ９２の意味図で表現されていた内容を示すように、分割後の複数のコマの意味図を生成する。

また、分割前のコマ９２の意味図が複数の構成要素を含んでいる場合であって、ユーザによってある構成要素が指定された上で分割操作された場合、意味図生成部２６は、指定された構成要素が示す（対象データ１４の）内容を表現した意味図と、その他の構成要素が示す内容を表現した意味図をそれぞれ再生成し、表示制御部３０は、再生成された複数の意味図を分割後の複数のコマ９２に表示させてもよい。

例えば、図２１（ａ）において、男性とスマートフォンの２つの構成要素含む意味図９０ｇのコマ９２ｇに対して、ユーザが、スマートフォンの構成要素を始点として（つまりスマートフォンの構成要素を指定して）スライド操作した場合、図２１（ｂ）に示すように、分割後のコマ９２ｋにはユーザが指定したスマートフォンの構成要素が示す内容を表現した意味図９０ｋが再生成されて表示され、分割後のコマ９２ｊにはユーザが指定しなかった男性の構成要素が示す内容を表現した意味図９０ｊが再生成されて表示される。

ここで、分割前のコマ９２ｇの意味図９０ｇが表現する内容における、ユーザが指定した構成要素（スマートフォン）が示す内容の量と、ユーザが指定しなかった構成要素（男性）が示す内容の量とに基づいて、分割後のコマ９２ｊ及び９２ｋのサイズを決定するようにしてもよい。例えば、意味図９０ｇが表現する内容において、男性に関する内容の量がスマートフォンに関する内容の量の３倍である場合、コマ９２ｊの大きさをコマ９２ｋの大きさの３倍とするようにしてもよい。

また、スライド操作やピンチアウト操作により、コマ９２の分割線を指定する分割操作を受けた場合には、意味図生成部２６は、分割前のコマ９２において、分割線により分けられた一方の領域に位置する構成要素が示す内容を表現した意味図と、他方の領域に位置する構成要素が示す内容を表現した意味図をそれぞれ再生成し、表示制御部３０は、再生成された複数の意味図を分割後の複数のコマ９２に表示させてもよい。

例えば、図２２（ａ）において、ユーロと円の２つの構成要素含む意味図９０ｇのコマ９２ｇに対して、ユーザが、一方の領域にユーロの構成要素を含み、他方の領域に円の構成要素を含む分割線を指示した分割操作を行った場合、図２２（ｂ）に示すように、分割後のコマ９２ｈには、円の構成要素が示す内容を表現した意味図９０ｈが再生成されて表示され、分割後のコマ９２ｊにはユーロの構成要素が示す内容を表現した意味図９０ｉが再生成されて表示される。

以上説明した通り、第３実施形態によれば、ユーザは、対象データ１４を表現する画像９０のレイアウトを指定することができる。したがって、ユーザは、思い通りのレイアウトにて画像９０を表示させることができる。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、各実施形態を組み合わせて利用してもよいし、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

１０ 情報処理装置、１２ 記憶部、１４ 対象データ、１６ 入力部、１８ 表示部、２０ 制御部、２２ 解析部、２４ 計数部、２６ 意味図生成部、２８ レイアウト設定部、３０ 表示制御部。

Claims (8)

1. 対象データから得られた意味に基づいて、前記対象データの少なくとも一部分の意味を表現した図を表示する表示制御部、
   を備える情報処理装置。
2. 前記対象データの意味は、前記対象データから抽出された文字列に対する自然言語処理により得られる、
   請求項１に記載の情報処理装置。
3. 前記図は、構成要素として図形、写真、文字の少なくとも１つを含む、
   請求項２に記載の情報処理装置。
4. 前記図は、前記文字列のうち前記図の生成対象となった部分文字列に含まれない用語を表現する前記構成要素を含む、
   請求項３に記載の情報処理装置。
5. 前記表示制御部は、前記図に含まれる前記構成要素が表現する用語の前記対象データにおける重要度に基づいて、当該構成要素の表示態様を決定する、
   請求項３に記載の情報処理装置。
6. 前記表示制御部は、前記対象データにおける意味上の区分毎に前記図を表示する、
   請求項１から４のいずれか１項に記載の情報処理装置。
7. 前記対象データから得られた意味に基づいて、前記図の解説を出力する解説出力部、
   をさらに備える請求項２に記載の情報処理装置。
8. コンピュータを、
   対象データから得られた意味に基づいて、前記対象データの少なくとも一部分の意味を表現した図を表示する表示制御部、
   として機能させる情報処理プログラム。