JP2023087805A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】画像データを解析し、端末装置を使用したテストのレイアウトを容易に生成する情報処理装置及びプログラムを提供する。【解決手段】情報処理装置であるサーバ１０は、画像データ取得部３１と、要素抽出部３２と、属性認識部３３と、関連認識部３４と、構造情報生成部３５と、構造情報出力部３６と、編集情報取得部３７と、ディスプレイ情報取得部３８と、レイアウト生成部３９と、表示データ出力部４０と、を備える。要素抽出部３２は、画像データに含まれるコンテンツの要素を抽出する。構造情報生成部３５は、画像データに含まれる要素の構造に関する構造情報を生成する。構造情報出力部３６は、画像データに含まれる要素の構造情報を端末装置へ送信する。ディスプレイ情報取得部３８は、端末装置から、ディスプレイ情報を取得する。レイアウト生成部３９は、画像データと、構造情報とに基づいて、ディスプレイに応じたレイアウトを生成する。【選択図】図３

Description

本発明は、学習支援者の業務を軽減する技術に関する。

従来から生徒に対し、紙ではなく端末装置を使用してテストを実施するシステムが知られている。特許文献１には、タブレット端末装置を使用して英語のテストを実施する教育支援システムが開示されている。

特開２０１６－６５９８７号公報

端末装置を使用してテストを実施する場合、今まで使用していた紙媒体のテストをそのまま使用することは困難である。また、パーソナルコンピュータや汎用のタブレットＰＣ（パソコン）といった、生徒が使用する端末装置の種類に応じたテストのレイアウトを生成する必要がある。そのため、学習支援者の負担増加という問題が生じている。

本発明は、例えば、上記のような課題を解決するためになされたものであり、画像データを解析し、端末装置を使用したテストのレイアウトを容易に生成する情報処理装置を提供することにある。

本発明の１つの観点では、情報処理装置は、画像データを取得する画像データ取得部と、前記画像データを解析し、当該画像データに含まれるコンテンツを構成する要素を抽出する抽出部と、前記要素の属性を認識する属性認識部と、前記コンテンツを構成する要素間の関連を認識する関連認識部と、前記画像データに含まれる要素の領域、前記要素の属性及び前記要素間の関連に関する情報を含む構造情報を生成する構造情報生成部と、を備える。この態様によれば、情報処理装置は、画像データを解析することで、要素の領域と、要素の属性と、要素間の関連とを認識し、要素の構造情報を生成することができる。

上記の情報処理装置の一態様では、前記画像データ取得部は、ユーザが使用する端末装置から前記画像データを取得し、前記構造情報を前記端末装置へ送信する構造情報出力部を備える。この態様によれば、情報処理装置は、端末装置からユーザが指定する任意の画像データを取得し、当該画像データに含まれる要素の構造情報を当該ユーザに提供することができる。

上記の情報処理装置の一態様では、前記構造情報は、前記端末装置が表示する画像データ上に、前記要素の領域と、前記要素の属性と、前記要素間の関連とを表示させる情報である。この態様によれば、要素の領域と、要素の属性と、要素間の関連とを画像データ上で可視化することができる。

上記の情報処理装置の一態様では、前記関連認識部は、要素間の関連を表す要素ＩＤを各要素に割り振り、前記構造情報は、前記端末装置が表示する画像データ上に、前記要素ＩＤに基づいて前記要素間を結んだリンクを表示させる情報である。この態様によれば、リンクにより画像データ上で要素間の関連を可視化することができる。

上記の情報処理装置の一態様では、前記構造情報出力部は、前記要素間を結んだリンク上に、前記要素ＩＤを示す数字を表示させる。この態様によれば、要素ＩＤを示す数字により画像データ上で要素間の関連を可視化することができる。

上記の情報処理装置の一態様では、前記端末装置から、前記ユーザにより前記要素の領域、前記要素の属性及び前記要素間の関連のいずれか１つ以上が編集された構造情報を取得する編集情報取得部を備え、前記構造情報生成部は、前記構造情報を編集された構造情報に置き換える。この態様によれば、ユーザは、要素の領域、要素の属性、要素間の関連を自由に編集することができ、編集後、情報処理装置は、編集された構造情報に基づいて所定の処理を行う。

上記の情報処理装置の一態様では、前記画像データと、前記構造情報とに基づいて、前記要素を組み合わせたコンテンツのレイアウトを生成するレイアウト生成部と、前記レイアウトを表示する表示データを前記端末装置へ送信する表示データ出力部と、を備える。この態様によれば、情報処理装置は、要素を組み合わせたコンテンツのレイアウトを自由に生成することができる。

上記の情報処理装置の一態様では、前記端末装置から、前記表示データを出力する出力先端末装置が有するディスプレイに関するディスプレイ情報を取得するディスプレイ情報取得部を備え、前記レイアウト生成部は、前記ディスプレイ情報に基づいて、前記出力先端末装置が有するディスプレイに応じたレイアウトを生成する。この態様によれば、情報処理装置は、ディスプレイ情報に基づいて、ＰＣやスマートフォンといった端末装置それぞれが有するディスプレイの機能や大きさに応じて適切なレイアウトを生成することができる。

上記の情報処理装置の一態様では、前記画像データは、問題と、前記問題の解答欄とを含み、前記要素は、前記問題及び前記解答欄のいずれかである。この態様によれば、情報処理装置は、テスト問題用紙等の画像データに含まれる問題や解答欄の構造を認識することができる。

上記の情報処理装置の一態様では、前記問題は、階層構造の複数の問題から構成される。この態様によれば、情報処理装置は、問題が大問と小問等から構成される階層構造であったとしても、画像データに含まれる問題や解答欄の構造を認識することができる。

本発明の別の観点では、コンピュータを備える情報処理装置により実行されるプログラムは、画像データを取得する画像データ取得部、前記画像データを解析し、当該画像データに含まれるコンテンツを構成する要素を抽出する抽出部、前記要素の属性を認識する属性認識部、前記コンテンツを構成する要素間の関連を認識する関連認識部、前記画像データに含まれる要素の領域、前記要素の属性及び前記要素間の関連に関する情報を含む構造情報を生成する構造情報生成部、として前記コンピュータを機能させる。このプログラムをコンピュータにインストールして実行させることで、本発明に係る情報処理装置を構成させることができる。

本発明に係る情報処理装置によれば、画像データを解析し、端末装置を使用したテストのレイアウトを容易に生成することができる。

本発明のサーバを適用した学習支援システムの構成を示す。 サーバのハードウェア構成を示すブロック図である。 サーバの機能構成を示すブロック図である。 画像データの一例である。 画像データ上に表示される矩形領域の一例である。 端末装置のハードウェア構成を示すブロック図である。 編集画面の一例である。 編集機能を説明する図である。 レイアウト画面の一例である。 レイアウト生成処理のフローチャートである。 画像データ上に表示されるリンクの一例である。

以下、図面を参照しながら、本発明の実施の形態について説明する。
＜実施形態＞
［全体構成］
図１は、本発明のサーバを適用した学習支援システムの構成を示す。学習支援システム１００は、画像データを解析し、当該画像データに含まれるコンテンツを構成する要素の構造を認識するシステムである。また、学習支援システム１００は、出力先の端末装置（以下、「出力先端末装置」ともいう。）が有するディスプレイに応じて、要素を組み合わせたコンテンツによるレイアウトを生成するシステムである。学習支援システム１００は、サーバ１０と、端末装置２０とがインターネット等のネットワーク５を介して通信可能に構成されている。

サーバ１０は、種々の情報に対する処理、記憶及び送受信を行う情報処理装置であって、例えばサーバ装置、パーソナルコンピュータまたは汎用のタブレットＰＣ等である。

端末装置２０は、教師やテストの作成者といったユーザが使用するものであって、例えば、パーソナルコンピュータやタブレットＰＣ等の情報処理機器である。具体的に、端末装置２０は、画像データや編集情報の送信、構造情報や表示データの受信、編集画面やレイアウト画面の表示等を行う。

［サーバの構成］
図２は、サーバ１０のハードウェア構成を示すブロック図である。サーバ１０は、通信部１１と、制御部１２と、記憶部１３と、記録媒体１４と、表示部１５と、入力部１６とを備える。なお、これらの構成要素は、バス１９を介して相互に接続されている。

なお、サーバ１０はコンピュータ単体で実行しても良いし、複数のコンピュータで分散して実行しても良いし、仮想マシンで分散して実行しても良い。

通信部１１は、ネットワーク５を通じて端末装置２０と通信を行うための通信ユニットである。具体的に、通信部１１は、端末装置２０から画像データや編集情報を受信したり、構造情報や表示データを端末装置２０へ送信したりする。

制御部１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置を含み、記憶部１３に記憶されたプログラムを読み出して実行することにより、サーバ１０に係る種々の情報処理、制御処理等を行う。なお、プログラムは、単一のコンピュータ上で、または１つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。なお、図２では制御部１２を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

記憶部１３はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリ素子を含み、制御部１２が処理を実行するために必要なプログラム又はデータ等を記憶している。また、記憶部１３は、制御部１２が演算処理を実行するために必要なデータ等を一時的に記憶する。

記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、サーバ１０に対して着脱可能に構成される。記録媒体１４は、制御部１２が実行する各種プログラムを記録している。サーバ１０が後述のレイアウト生成処理を実行する際には、記録媒体１４に記録されているプログラムが記憶部１３にロードされ、制御部１２により実行される。

表示部１５は、液晶ディスプレイ又は有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等であり、制御部１２の指示に従い各種情報を表示する。入力部１６は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部１２へ出力する。

図３は、サーバの機能構成を示すブロック図である。サーバ１０は、機能的には、画像データ取得部３１と、要素抽出部３２と、属性認識部３３と、関連認識部３４と、構造情報生成部３５と、構造情報出力部３６と、編集情報取得部３７と、ディスプレイ情報取得部３８と、レイアウト生成部３９と、表示データ出力部４０とを備える。

なお、画像データ取得部３１、要素抽出部３２、属性認識部３３、関連認識部３４、構造情報生成部３５、構造情報出力部３６、編集情報取得部３７、ディスプレイ情報取得部３８、レイアウト生成部３９及び表示データ出力部４０は、制御部１２がプログラムを実行することにより実現される。

また、サーバ１０は、ドキュメント構造認識ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）及び新レイアウト生成ＡＩの２つのＡＩモジュールで構成されている。

ドキュメント構造認識ＡＩは、機械学習やルールベースロジックで実装される。機械学習の手法は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等のディープラーニングが挙げられる。ルールベースロジックのルールは、例えば、要素情報に基づいて、「画像データ上で近い要素を１つのコンテンツとする」、「左上に位置する要素ほど当該要素を含むコンテンツの並び順が早く、右下に位置する要素ほど当該要素を含むコンテンツの並び順が遅い」等が挙げられ、予め任意に設定されている。ドキュメント構造認識ＡＩは、画像データを解析することで、当該画像データから要素を抽出し、画像データに含まれる要素の領域、要素の属性及び要素間の関連を認識する。後述する要素抽出部３２、属性認識部３３、関連認識部３４及び構造情報生成部３５は、ドキュメント構造認識ＡＩにより実現される。

新レイアウト生成ＡＩは、レイアウトを表示する出力先端末装置が有するディスプレイの性能や大きさに応じて、要素を組み合わせたコンテンツのレイアウトを生成する。新レイアウト生成ＡＩは、ルールベースロジックで実装される。後述するレイアウト生成部３９は、新レイアウト生成ＡＩにより実現される。

画像データ取得部３１は、教材の画像データを取得する。教材は、例えば、問題及び当該問題の解答欄を含むテスト問題用紙等である。具体的に、ユーザは、スキャナーを用いて紙媒体のテスト問題用紙を読み込むことで画像データを取得し、端末装置２０を使用して当該画像データをサーバ１０へ送信する。画像データ取得部３１は、端末装置２０からテスト問題用紙の画像データを受信する。なお、画像データは、紙媒体の教材をスキャナーで読み込んだものに限らず、もともと電子データで作成されたものであってもよい。

図４は、画像データの一例である。ユーザは、端末装置２０を使用して所定の操作により、図４に示すような、テスト問題用紙の画像データ６０を取得して表示する。そして、端末装置２０は、画像データ６０と、要素生成リクエストとをサーバ１０へ送信する。

なお、本実施形態において、端末装置２０は、画像データを取得すると、当該画像データ及び要素生成リクエストをサーバ１０へ送信しているが、本発明はこれに限定されるものではなく、予め画像データのみを送信しておき、要素生成リクエストは別のタイミングで送信してもよい。

また、本実施形態において、コンテンツとは、１つの事柄に焦点をあて、これ以上分割できない最小限の単位にまで分割したものである。例えば、テスト問題用紙のコンテンツは、１つの問題と、当該問題の解答欄で構成される。ここで、１つの問題とは、１つの大問と、当該大問に属する１つの小問のセットである。要素とは、コンテンツを構成する部品であって、例えば、テスト問題用紙の大問、小問、解答欄は、それぞれ１つの要素となる。つまり、本実施形態のテスト問題用紙では、大問、小問及び解答欄の３つの要素を組み合わせることで１つのコンテンツを構成している。なお、テスト問題用紙は、教科によって構成が異なり、大問がないものや小問と解答欄が一緒になっているもの等、種々の構成が考えられるため、コンテンツを構成する要素はこれに限定されるものではなく、任意に設定することができる。

要素抽出部３２は、画像データを解析し、当該画像データに含まれるコンテンツの要素を抽出する。本実施形態において、コンテンツの要素は、大問、小問、解答欄であるため、要素抽出部３２は、画像データを解析し、矩形で各要素の領域を定める。図５は、画像データ６０に含まれる各要素の領域を定める矩形領域を示す一例である。図５に示すように、画像データ６０は、矩形領域６１～７２を有する。

属性認識部３３は、要素抽出部３２により抽出された要素の属性を認識する。本実施形態において、属性は、大問、小問及び解答欄のいずれかである。図５に示すように、矩形領域は、属性に応じた線で囲まれており、具体的に、属性が「大問」であれば太めの実線、属性が「小問」であれば細目の実線、属性が「解答欄」であれば点線で囲まれている。

例えば、矩形領域６１は、属性認識部３３により属性が「大問」と認識されているため、太めの実線で囲まれている。矩形領域６２は、属性認識部３３により属性が「小問」と認識されているため、細めの実線で囲まれている。矩形領域６３は、属性認識部３３により属性が「解答欄」と認識されているため、点線で囲まれている。矩形領域６４～７２も同様に、各要素の領域が、属性認識部３３により認識された属性に応じた線で囲まれている。

関連認識部３４は、要素抽出部３２により抽出された要素間の関連を認識する。具体的に、関連認識部３４は、各要素に、認識した要素間の関連を表す要素ＩＤを割り振る。要素ＩＤは、後述するリンクを表示するために必要な情報であって、大問、小問、解答欄の各要素に振られている。要素である大問、小問及び解答欄は、階層構造となっており、大問が上位階層の要素、小問が中位階層の要素、解答欄が下位階層の要素である。そのため、例えば、画像データ６０に含まれる大問１に要素ＩＤ「１」が振られている場合、大問１の小問１には要素ＩＤ「１‐１」、小問１の解答欄には要素ＩＤ「１－１－１」が振られている。また、大問１の小問２には要素ＩＤ「１‐２」、小問２の解答欄には要素ＩＤ「１－２－１」が振られている。このとき、大問の要素は、子となる小問の要素ＩＤが何か、当該小問の子となる解答欄の要素ＩＤが何かという情報を含んでいる。また、小問の要素は、親となる大問の要素ＩＤが何か、子となる解答欄の要素ＩＤは何かという情報を含んでいる。また、解答欄の要素は、親となる小問の要素ＩＤは何か、当該小問の親となる大問の要素ＩＤは何かという情報を含んでいる。このように、要素ＩＤは、大問１と、大問１の小問１と、小問１の解答欄とを組み合わせて１つのコンテンツが構成されるという要素間の関連を表している。

また、具体的に、関連認識部３４は、画像データ上の矩形領域の座標値に基づいて、矩形領域の位置関係から問題の並び順を表す順番を割り当てる。つまり、関連認識部３４は、問題を構成する各要素に、当該問題の並び順を表す順番を割り当てる。なお、関連認識部３４は、矩形領域の位置関係から各要素に順番を割り当てているが、本発明はこれに限定されるものではなく、例えば、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）を用いて大問、小問及び解答欄の矩形領域に記載された問題番号を認識し、位置関係及び問題番号に基づいて各要素に順番を割り当ててもよい。このように、各要素に順番を割り当てるルールは、任意に設定することができる。

構造情報生成部３５は、画像データに含まれる要素の構造に関する構造情報を生成する。構造情報は、画像データ上の要素の矩形領域を示す座標値、要素の属性及び要素間の関連に関する情報を含む。具体的に、要素間の関連に関する情報は、要素間の関連を表す要素ＩＤ及び問題の並び順を表す順番に関する情報を含む。また、構造情報生成部３５は、後述する編集情報取得部３７が編集情報を取得した場合、画像データ６０に含まれる要素の構造情報を、ユーザによる編集後の構造情報に置き換える。

構造情報出力部３６は、画像データに含まれる要素の構造情報を端末装置２０へ送信する。端末装置２０は、サーバ１０から受信した構造情報に基づいて、後述する編集画面を表示する。ユーザは、端末装置２０を使用して、編集画面から要素の編集を行う。端末装置２０は、ユーザにより編集された要素の矩形領域の座標値、要素の属性及び要素間の関連に基づいて、編集後の構造情報を生成し、編集情報としてサーバ１０へ送信する。

編集情報取得部３７は、端末装置２０から編集情報として、編集後の構造情報を取得する。ディスプレイ情報取得部３８は、端末装置２０から、後述する出力先端末装置が有するディスプレイに関するディスプレイ情報を取得する。出力先端末装置が有するディスプレイとは、情報処理機器の出力装置の１つであって、画面に像を映し出す表示装置である。ディスプレイ情報は、ディスプレイの性能や大きさに関する情報であって、具体的に、タブレットＰＣやスマートフォンといった出力先端末装置の端末種類や、出力先端末装置が有するディスプレイの解像度に関する情報を含む。なお、編集情報とディスプレイ情報は別々のタイミングで取得してもよいし、ディスプレイ情報を取得するタイミングで編集情報を取得してもよい。

レイアウト生成部３９は、まず、ディスプレイ情報に基づいて、出力先端末装置が有するディスプレイの性能や大きさを特定する。そして、レイアウト生成部３９は、画像データと、構造情報とに基づいて、出力先端末装置が有するディスプレイに応じたレイアウトを生成する。例えば、レイアウト生成部３９は、図４に示すような画像データ６０と、構造情報とに基づいて、出力先端末装置が有するディスプレイに応じたテストのレイアウトを生成する。

表示データ出力部４０は、生成したレイアウトを表示する表示データを端末装置２０へ送信する。端末装置２０は、表示データを受信し、後述するレイアウト画面を表示する。

上記の構成において、サーバ１０の画像データ取得部３１、要素抽出部３２、属性認識部３３、関連認識部３４、構造情報生成部３５、構造情報出力部３６、編集情報取得部３７、ディスプレイ情報取得部３８、レイアウト生成部３９及び表示データ出力部４０は、それぞれ本発明の画像データ取得部、抽出部、属性認識部、関連認識部、構造情報生成部、構造情報出力部、編集情報取得部、ディスプレイ情報取得部、レイアウト生成部及び表示データ出力部の一例である。

［端末装置の構成］
図６は、端末装置２０のハードウェア構成を示すブロック図である。端末装置２０は、通信部２１と、制御部２２と、記憶部２３と、表示部２５と、入力部２６とを備える。なお、これらの構成要素は、バス２９を介して相互に接続されている。

通信部２１は、ネットワーク５を通じてサーバ１０と通信を行うための通信ユニットである。具体的に、通信部２１は、サーバ１０へ画像データや編集情報を送信したり、サーバ１０から構造情報や表示データを受信したりする。

制御部２２は、ＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を含み、記憶部２３に記憶されたプログラムを読み出して実行することにより、端末装置２０に係る種々の情報処理、制御処理等を行う。なお、図６では制御部２２を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

記憶部２３はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部２２が処理を実行するために必要なプログラム又はデータ等を記憶している。また、記憶部２３は、制御部２２が演算処理を実行するために必要なデータ等を一時的に記憶する。

表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部２２の指示に従い各種情報を表示する。入力部２６は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部２２へ出力する。

［編集画面］
図７は、編集画面の一例である。編集画面は、端末装置２０が、サーバ１０から受信した構造情報と、画像データとに基づいて表示する画面である。ユーザは、編集画面により要素の領域、要素の属性及び要素間の関連を編集することができる。図７に示すように、編集画面は、要素の構造を可視化した画像表示エリア５６がＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）左側に、各要素に関する情報を可視化した要素表示エリア５８がＵＩ右側に配置されている。

編集画面の左側は、画像読み込みボタン５１と、要素生成ボタン５２と、タブレットビュー取得ボタン５３と、スマートフォンビュー取得ボタン５４と、ＰＣビュー取得ボタン５５と、画像表示エリア５６とが配置されている。

画像読み込みボタン５１は、ユーザが所定の画像データを読み込む際に押下される。画像読み込みボタン５１の押下により、端末装置２０は、画像データを読み込み、サーバ１０へ送信する。

要素生成ボタン５２は、ユーザが要素生成リクエストを要求する際に押下される。要素生成ボタン５２の押下により、端末装置２０は、要素生成リクエストをサーバ１０へ送信する。そして、端末装置２０は、サーバ１０から構造情報を受信する。

タブレットビュー取得ボタン５３は、ユーザがタブレットＰＣに表示するテストのレイアウトをシミュレーションする際に押下される。タブレットビュー取得ボタン５３の押下により、端末装置２０は、出力先端末装置の端末種類がタブレットＰＣであることを示すディスプレイ情報をサーバ１０へ送信する。そして、端末装置２０は、タブレットＰＣが有するディスプレイに応じたレイアウトを表示する表示データをサーバ１０から受信する。

スマートフォンビュー取得ボタン５４は、ユーザがスマートフォンに表示するレイアウトをシミュレーションする際に押下される。スマートフォンビュー取得ボタン５４の押下により、端末装置２０は、出力先端末装置の端末種類がスマートフォンであることを示すディスプレイ情報をサーバ１０へ送信する。そして、端末装置２０は、スマートフォンが有するディスプレイに応じたレイアウトを表示する表示データをサーバ１０から受信する。

ＰＣビュー取得ボタン５５は、ユーザがＰＣに表示するレイアウトをシミュレーションする際に押下される。ＰＣビュー取得ボタン５５の押下により、端末装置２０は、出力先端末装置の端末種類がＰＣであることを示すディスプレイ情報をサーバ１０へ送信する。そして、端末装置２０は、ＰＣが有するディスプレイに応じたレイアウトを表示する表示データをサーバ１０から受信する。

具体的に、画像データは、図４に示すテスト問題用紙の画像データ６０であるとする。端末装置２０は、画像読み込みボタン５１が押下されると、読み込んだ画像データ６０を画像表示エリア５６に表示する。さらに要素生成ボタン５２が押下されると、端末装置２０は、図７に示すように、サーバ１０から受信した構造情報に基づいて、画像データ６０上に、要素の領域を属性に応じた線で囲んだ矩形領域６１～７２を表示する。

各矩形領域６１～７２はそれぞれノードを有しており、端末装置２０は、要素ＩＤに基づいて構造上関連する要素間にノード同士を線で結んだリンクを表示する。例えば、図７に示すように、端末装置２０は、大問１の矩形領域６１のノード７３と、大問１が有する小問１の矩形領域６２のノード７４とを結んだリンクを表示する。さらに、端末装置２０は、小問１の矩形領域６２のノード７４と、小問１の解答欄の矩形領域６３のノード７５と結んだリンクを表示する。

このとき、端末装置２０は、リンクに対応付けて、構造情報に含まれる要素ＩＤを表示してもよい。例えば、図７に示すように、端末装置２０は、大問１の要素ＩＤが「１」であることから、矩形領域６１のノード７３上に「１」を表示する。そして、端末装置２０は、小問１の要素ＩＤが「１－１」であることから、ノード７３とノード７４を結ぶリンク上に「１」を表示する。さらに、端末装置２０は、解答欄の要素ＩＤが「１－１－１」であることから、ノード７４とノード７５を結ぶリンク上に「１」を表示する。

このように、要素は、大問から小問、小問から解答欄へと枝分かれしてリンクが結ばれる。画像表示エリア５６にリンクや要素ＩＤを示す数字を表示することで、大問、小問及び解答欄が階層構造であり、３つの要素で１つのコンテンツを構成していることを可視化することができる。

編集画面の右側は、リンク追加ボタン４１と、リンク削除ボタン４２と、矩形のサイズと位置ボタン４３と、矩形追加ボタン４４と、矩形削除ボタン４５と、矩形属性変更ボタン４６と、要素表示エリア５８とが配置されている。

要素表示エリア５８は、画像表示エリア５６に表示された画像データに含まれる各要素に関する情報をそれぞれ表示する複数の要素項目を有する。例えば、図７に示すように、端末装置２０は、要素項目８１に、矩形領域６１により定められた要素の画像データと、当該要素に振られた要素ＩＤ８５とを表示する。また、要素項目８２に、矩形領域６２により定められた要素の画像データと、当該要素に振られた要素ＩＤ８６とを表示する。また、要素項目８３に、矩形領域６３により定められた要素の画像データと、当該要素に振られた要素ＩＤ８７とを表示する。

また、要素表示エリア５８は、要素間の関連を可視化するように要素項目を配置してもよい。例えば、図７に示すように、要素表示エリア５８は、要素ＩＤに基づいて、上位階層である大問１の要素項目８１を色付きで上部に表示し、中位階層である小問１の要素の要素項目８２及び下位階層である解答欄の要素項目８３を要素項目８１の下部に表示する。要素項目をこのように配置することで、ユーザは、大問１より下の階層に小問１及び小問１の解答欄、小問２及び小問２の解答欄、小問３及び小問３の解答欄が存在することを視覚的に確認しやすい。また、要素表示エリア５８は、順番に基づいて、問題の並び順が早い問題を構成する小問と解答欄を上部に表示し、問題の並び順が遅い問題を構成する小問と解答欄を下部に表示する。要素項目をこのように配置することで、ユーザは画像データにおける問題の並び順を確認しやすい。このような要素項目の配置は、任意に設定することができる。

リンク追加ボタン４１は、ユーザが画像表示エリア５６において要素間のリンクを追加したい場合に押下される。リンク追加ボタン４１の押下により、端末装置２０は、リンク追加機能を実行する。図８は、編集画面における要素の編集機能を説明する図である。リンク追加機能は、図８（Ａ）に示すように、画像表示エリア５６においてユーザが所定の操作をすることにより、要素間の関連を示すリンクを追加する機能である。

リンク削除ボタン４２は、ユーザが画像表示エリア５６において要素間のリンクを削除したい場合に押下される。リンク削除ボタン４２の押下により、端末装置２０は、リンク削除機能を実行する。リンク削除機能は、図８（Ｂ）に示すように、画像表示エリア５６においてユーザが所定の操作をすることにより、要素間の関連を示すリンクを削除する機能である。

矩形のサイズと位置ボタン４３は、ユーザが画像表示エリア５６において矩形領域のサイズや位置を修正したい場合に押下される。矩形のサイズと位置ボタン４３の押下により、端末装置２０は、矩形のサイズと位置編集機能を実行する。矩形のサイズと位置編集機能は、図８（Ｃ）に示すように、画像表示エリア５６においてユーザが所定の操作をすることにより、画像データ上の矩形領域のサイズや位置を修正する機能である。

矩形追加ボタン４４は、ユーザが画像表示エリア５６において矩形領域を追加したい場合に押下される。矩形追加ボタン４４の押下により、端末装置２０は、矩形追加機能を実行する。矩形追加機能は、図８（Ｄ）に示すように、画像表示エリア５６においてユーザが所定の操作をすることにより、画像データ上で新たな矩形領域を追加し、新たな要素の領域を定める機能である。

矩形削除ボタン４５は、ユーザが画像表示エリア５６において矩形領域を削除したい場合に押下される。矩形削除ボタン４５の押下により、端末装置２０は、矩形削除機能を実行する。矩形削除機能は、図８（Ｅ）に示すように、画像表示エリア５６においてユーザが所定の操作をすることにより、画像データ上に表示された矩形領域を削除し、当該矩形領域が定める要素を削除する機能である。

矩形属性変更ボタン４６は、ユーザが画像表示エリア５６において要素の属性を変更したい場合に押下される。矩形属性変更ボタン４６の押下により、端末装置２０は、矩形属性変更機能を実行する。矩形属性変更機能は、図８（Ｆ）に示すように、画像表示エリア５６においてユーザが所定の操作をすることにより、要素の属性を変更する機能である。

編集機能によって編集された要素の矩形領域の座標値、要素の属性、要素間の関連は、全て要素表示エリア５８に反映される。つまり、端末装置２０は、ユーザによる編集に基づいて構造情報を編集し、編集後の構造情報に基づいて要素表示エリア５８を含む編集画面を表示する。

このような編集機能により、ユーザは、各種ＡＩが推測した要素の領域、要素の属性及び要素間の関連が間違っている場合に適切な修正を行うことができる。なお、編集機能はこれに限定されるものではなく、例えば、各要素に割り当てられた問題の並び順を表す順番を変更する順番変更機能等、任意に設定することができる。

［レイアウト画面］
図９は、レイアウト画面の一例である。レイアウト画面は、端末装置２０が、サーバ１０から受信した表示データに基づいて表示する画面である。ユーザは、レイアウト画面により、出力先端末装置が有するディスプレイに応じた所定のレイアウトを確認することができる。

具体的に、ユーザは、端末装置２０を使用して、タブレットビュー取得ボタン５３、スマートフォンビュー取得ボタン５４又はＰＣビュー取得ボタン５５を押下することで、ディスプレイ情報をサーバ１０に送信する。すると、端末装置２０は、サーバ１０から、出力先端末装置が有するディスプレイに応じた所定のレイアウトを表示する表示データを受信することができる。

図９に示すように、レイアウト画面は、画面イメージ９１と、ページ項目９４と、戻るボタン９５と、次ボタン９６とを有する。

画面イメージ９１は、出力先端末装置の画面のイメージを表示する。例えば、ユーザがタブレットビュー取得ボタン５３の押下によりディスプレイ情報をサーバ１０に送信すると、図９に示すように、画面イメージ９１はタブレットＰＣの画面のイメージを表示する。画面イメージ９１は、問題が表示される問題イメージ９２と、解答欄が表示される解答欄イメージ９３とを有する。出力先端末装置の端末種類がタブレットＰＣやスマートフォンの場合、１ページの画面に１つの問題を表示することが適切であるため、図９に示すように、問題イメージ９２は大問１と大問１の小問２を組み合わせた１つの問題を表示し、解答欄イメージ９３は大問１の小問２の解答欄を表示する。つまり、画面イメージ９１は、１ページに、１つのコンテンツを構成する大問、小問及び解答欄を任意の配置で表示する。

ページ項目９４は、ページ数に関する情報を表示する。ページ項目９４は、全ページ数を示す全ページ数９４ａと、画面イメージ９１に現在表示されているページのページ数を示す現ページ数９４ｂを有する。

例えば、図７に示す編集画面の画像データ６０は、「大問１の小問１」、「大問１の小問２」、「大問１の小問３」、「大問２の小問１」及び「大問１の小問２」という５つの問題を有する。１ページの画面に１つの問題を表示するレイアウトとすると、サーバ１０のレイアウト生成部３９は、画像データ６０に基づくテストのレイアウトとして全５ページを生成する。端末装置２０は、サーバ１０から当該レイアウトを表示する表示データを受信し、レイアウト画面を表示する。この場合、図９に示すように、全ページ数９４ａは全５ページを示す「５」、現ページ数９４ｂは２問目のページ数を示す「２」を表示する。

戻るボタン９５は、画面イメージ９１に表示しているページの１つ前のページに画面を遷移するボタンである。また、次ボタン９６は、画面イメージ９１に表示しているページの次のページに画面を遷移するボタンである。これにより、ユーザは、全てのページを確認することができる。

なお、出力先端末装置の端末種類がＰＣの場合、タブレットＰＣやスマートフォンと比べて有するディスプレイが大きいため、１ページの画面に複数の問題を表示することとしてもよい。このように、１ページに表示する問題数は、予め出力先端末装置が有するディスプレイの性能や大きさに応じて任意に設定されており、サーバ１０のレイアウト生成部３９は、設定に基づいて適切なレイアウトを生成する。

［レイアウト生成処理］
次に、画像データを解析することで要素の構造を認識し、出力先端末装置が有するディスプレイに応じた所定のレイアウトを生成するレイアウト生成処理について説明する。図１０は、レイアウト生成処理のフローチャートである。この処理は、サーバ１０が予め用意されたプログラムを実行することにより実現される。

ユーザは、端末装置２０を使用して、スキャナーを用いて読み込んだ画像データと、要素生成リクエストとをサーバ１０へ送信する（ステップＳ１０１）。サーバ１０は、端末装置２０から受信した画像データを解析し、画像データに含まれる要素を抽出する（ステップＳ１０２）。そして、サーバ１０は、抽出した要素の属性を認識する（ステップＳ１０３）。さらに、サーバ１０は、抽出した要素間の関連を認識する（ステップＳ１０４）。具体的に、サーバ１０は、認識した要素間の関連に基づいて、各要素に要素ＩＤや順番を割り当てる。サーバ１０は、抽出した要素の領域、要素の属性及び要素間の関連に基づいて、画像データに含まれる要素の構造に関する構造情報を生成し、端末装置２０へ送信する（ステップＳ１０５）。

端末装置２０は、サーバ１０から受信した構造情報に基づいて編集画面を表示する（ステップＳ１０６）。そして、端末装置２０は、ユーザによる要素の編集が行われたか否かを判定する(ステップＳ１０７)。具体的に、端末装置２０は、編集機能に対応する各種ボタンがユーザにより押下されたか否かを判定する。編集が行われていないと判定した場合（ステップＳ１０７；Ｎｏ）、端末装置２０は、ステップＳ１０９の処理に進む。一方、編集が行われたと判定した場合（ステップＳ１０７；Ｙｅｓ）、端末装置２０は、ユーザにより編集された要素の領域、要素の属性及び要素間の関連に基づいて、編集後の構造情報を生成する（ステップＳ１０８）。

端末装置２０は、所定の出力先端末装置に表示した場合の所定のレイアウトを確認するため、ディスプレイ情報をサーバ１０へ送信する（ステップＳ１０９）。このとき、編集後の構造情報を生成していれば、端末装置２０は、ディスプレイ情報と共に編集情報をサーバ１０へ送信する。サーバ１０は、端末装置２０からディスプレイ情報を受信する（ステップＳ１１０）。このとき、ディスプレイ情報と共に編集情報を受信していれば、サーバ１０は、画像データに含まれる要素の構造情報を編集後の構造情報に置き換える。サーバ１０は、ディスプレイ情報に基づいて出力先端末装置が有するディスプレイの性能や大きさを特定し、画像データ及び構造情報に基づいて、出力先端末装置が有するディスプレイに応じた所定レイアウトを生成する。そして、サーバ１０は、生成したレイアウトを表示する表示データを端末装置２０へ送信する（ステップＳ１１１）。

端末装置２０は、受信した表示データに基づいて、出力先端末装置が有するディスプレイに応じた所定のレイアウトをレイアウト画面に表示する（ステップＳ１１２）。これにより、レイアウト生成処理は終了する。

本実施形態の学習支援システム１００は、画像データを解析して構造情報を生成することで、当該画像データに含まれる要素の領域、要素の属性、要素間の関連を可視化することができる。これにより、ユーザは、容易に要素の構造を確認し、編集することができる。また、学習支援システム１００は、画像データを要素単位に分割して加工することができるため、出力先端末装置が有するディスプレイに応じた所定のレイアウトを容易に生成することができる。例えば、学習支援システム１００は、紙媒体のテスト問題用紙から容易に、出力先端末装置が有するディスプレイに応じたテストのレイアウトを生成し、ユーザへ提供することができる。このように、学習支援システム１００は、要素の構造を可視化するＵＩや容易にレイアウトを確認できるＵＩをユーザに提供することができる。

＜変形例＞
次に、変形例について説明する。以下の変形例は、適宜組み合わせて実施形態に適用することができる。

（第１変形例）
上記の実施形態では、リンクを単なる実線で表しているが、本発明はこれに限定されるものではなく、要素間の関連に応じてリンクを変化させてもよい。図１１は、要素間の関連に応じてリンクを変化させた一例である。図１１に示すように、上位階層の要素と中位階層の要素を結ぶリンクを太めの実線、中位階層の要素と下位階層の要素を結ぶリンクを細めの実線とすることで、リンクの太さにより要素の階層構造を可視化することができる。なお、単なる線の代わりに、リンクを矢印にすることで要素の階層構造を可視化することとしてもよい。

（第２変形例）
上記の実施形態では、ユーザは端末装置２０を使用することとしているが、本発明はこれに限定されるものではなく、ユーザはサーバ１０の機能を有する端末装置２０ｘを使用することとしてもよい。端末装置２０ｘは、サーバ１０と同様に、例えば、パーソナルコンピュータまたは汎用のタブレットＰＣ（パソコン）等である。

この場合、端末装置２０ｘは、サーバ１０が行っていたレイアウト生成処理（ステップＳ１０２～１０５、ステップＳ１１０及びステップＳ１１１）も実行し、画像データを解析して構造情報やレイアウトを生成することができる。端末装置２０ｘは、本発明の情報処理装置の一例である。

５ ネットワーク
１０ サーバ
２０、２０ｘ 端末装置
３１ 画像データ取得部
３２ 要素抽出部
３３ 属性認識部
３４ 関連認識部
３５ 構造情報生成部
３６ 構造情報出力部
３７ 編集情報取得部
３８ ディスプレイ情報取得部
３９ レイアウト生成部
４０ 表示データ出力部
１００ 学習支援システム

Claims (11)

1. 画像データを取得する画像データ取得部と、
   前記画像データを解析し、当該画像データに含まれるコンテンツを構成する要素を抽出する抽出部と、
   前記要素の属性を認識する属性認識部と、
   前記コンテンツを構成する要素間の関連を認識する関連認識部と、
   前記画像データに含まれる要素の領域、前記要素の属性及び前記要素間の関連に関する情報を含む構造情報を生成する構造情報生成部と、
   を備える情報処理装置。
2. 前記画像データ取得部は、ユーザが使用する端末装置から前記画像データを取得し、
   前記構造情報を前記端末装置へ送信する構造情報出力部を備える請求項１に記載の情報処理装置。
3. 前記構造情報は、前記端末装置が表示する画像データ上に、前記要素の領域と、前記要素の属性と、前記要素間の関連とを表示させる情報である請求項２に記載の情報処理装置。
4. 前記関連認識部は、要素間の関連を表す要素ＩＤを各要素に割り振り、
   前記構造情報は、前記端末装置が表示する画像データ上に、前記要素ＩＤに基づいて前記要素間を結んだリンクを表示させる情報である請求項３に記載の情報処理装置。
5. 前記構造情報出力部は、前記要素間を結んだリンク上に、前記要素ＩＤを示す数字を表示させる請求項４に記載の情報処理装置。
6. 前記端末装置から、前記ユーザにより前記要素の領域、前記要素の属性及び前記要素間の関連のいずれか１つ以上が編集された構造情報を取得する編集情報取得部を備え、
   前記構造情報生成部は、前記構造情報を編集された構造情報に置き換える請求項２乃至５のいずれか一項に記載の情報処理装置。
7. 前記画像データと、前記構造情報とに基づいて、前記要素を組み合わせたコンテンツのレイアウトを生成するレイアウト生成部と、
   前記レイアウトを表示する表示データを前記端末装置へ送信する表示データ出力部と、
   を備える請求項２乃至６のいずれか一項に記載の情報処理装置。
8. 前記端末装置から、前記表示データを出力する出力先端末装置が有するディスプレイに関するディスプレイ情報を取得するディスプレイ情報取得部を備え、
   前記レイアウト生成部は、前記ディスプレイ情報に基づいて、前記出力先端末装置が有するディスプレイに応じたレイアウトを生成する請求項７に記載の情報処理装置。
9. 前記画像データは、問題と、前記問題の解答欄とを含み、
   前記要素は、前記問題及び前記解答欄のいずれかである請求項１乃至８のいずれか一項に記載の情報処理装置。
10. 前記問題は、階層構造の複数の問題から構成される請求項９に記載の情報処理装置。
11. コンピュータを備える情報処理装置により実行されるプログラムであって、
    画像データを取得する画像データ取得部、
    前記画像データを解析し、当該画像データに含まれるコンテンツを構成する要素を抽出する抽出部、
    前記要素の属性を認識する属性認識部、
    前記コンテンツを構成する要素間の関連を認識する関連認識部、
    前記画像データに含まれる要素の領域、前記要素の属性及び前記要素間の関連に関する情報を含む構造情報を生成する構造情報生成部、
    として前記コンピュータを機能させるプログラム。

Images