JP2020038531A - 文書作成支援装置、文書作成支援システム、及びプログラム - Google Patents

Abstract

【課題】利用者の時間や手間を要することなく、付加価値の高い報告書を作成することが可能な文書作成支援装置を提供する。【解決手段】文書作成支援装置１１０は、対象物の特定情報に基づいて、前記対象物の認識結果情報を取得する認識結果情報取得部１１２と、利用者の操作に応じた前記対象物の編集情報を取得する編集情報取得部１１４と、前記認識結果情報及び前記編集情報に基づいて、前記対象物の関連情報を取得する関連情報取得部１１３と、前記関連情報を含む画面情報に基づいて、前記対象物に関する報告書を表示する表示部１１７と、を備える。【選択図】図２

Description

本発明は、文書作成支援装置、文書作成支援システム、及びプログラムに関する。

近年、イベントで展示される展示物に関する報告書、保守作業の対象となる機器に関する報告書などを、スマートフォンやタブレットＰＣ（personal computer）などのスマートデバイスで作成する機運が高まってきている。スマートデバイスは、テキスト入力のみならず、撮影や音声入力が可能であるため、スマートデバイスを利用して、対象物（例えば、展示物、機器、など）に関する報告書を作成することで、利用者にとって利便性の向上が図られている。

例えば、特許文献１には、画像情報、音声情報、テキスト情報、などのマルチモーダル情報が互いに対応付けされた報告書を、表示或いは印刷することが可能な報告書作成装置が開示されている。

特開２０００−２５９７５０号公報

しかしながら、従来の技術では、利用者がカメラで撮影した画像情報や音声入力した音声情報などに基づいて報告書を作成することはできるものの、当該情報以外の情報を付加して、報告書を作成することは困難であった。従って、付加価値の高い報告書を作成するためには、利用者の時間や手間を要してしまうという問題があった。

かかる事情に鑑みてなされた本発明の目的は、利用者の時間や手間を要することなく、付加価値の高い報告書を作成することが可能な文書作成支援装置、文書作成支援システム、及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る文書作成支援装置は、対象物の特定情報に基づいて、前記対象物の認識結果情報を取得する認識結果情報取得部と、利用者の操作に応じた前記対象物の編集情報を取得する編集情報取得部と、前記認識結果情報及び前記編集情報に基づいて、前記対象物の関連情報を取得する関連情報取得部と、前記関連情報を含む画面情報に基づいて、前記対象物に関する報告書を表示する表示部と、を備えることを特徴とする。

また、上記課題を解決するため、本発明に係る文書作成支援システムは、対象物の特定情報に基づいて、前記対象物の認識結果情報を決定する認識エンジンと、前記認識結果情報と利用者の操作に応じた前記対象物の編集情報とを関連付けて蓄積し、前記認識結果情報及び前記編集情報に基づいて、前記対象物の関連情報を抽出するデータベースサーバと、前記関連情報を含む画面情報を生成する現場情報サーバと、前記画面情報に基づいて、前記対象物に関する報告書を表示する利用者端末と、を備えることを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記要約文表示装置として機能させることを特徴とする。

本発明によれば、利用者の時間や手間を要することなく、付加価値の高い報告書を作成することが可能となる。

本発明の一実施形態に係る文書作成支援システムの構成の一例を示すブロック図である。 本発明の一実施形態に係る文書作成支援装置の構成の一例を示すブロック図である。 本発明の一実施形態に係る文書作成支援装置における表示部の表示画面の一例を示す図である。 本発明の一実施形態に係る文書作成支援装置における表示部の表示画面の一例を示す図である。 本発明の一実施形態に係る文書作成支援装置における表示部の表示画面の一例を示す図である。 本発明の一実施形態に係る文書作成支援装置における表示部の表示画面の一例を示す図である。 本発明の一実施形態に係る文書作成支援装置における表示部の表示画面の一例を示す図である。 本発明の一実施形態に係る文書作成支援装置における表示部の表示画面の一例を示す図である。 本発明の一実施形態に係る文書作成支援装置における表示部の表示画面の一例を示す図である。 本発明の一実施形態に係る文書作成支援装置における表示部の表示画面の一例を示す図である。 本発明の一実施形態に係る文書作成支援方法の一例を示すフローチャートである。 本発明の一実施形態に係る文書作成支援方法の一例を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

＜文書作成支援システム１００の構成＞
図１を参照して、本実施形態に係る文書作成支援システム１００について説明する。図１は、本実施形態に係る文書作成支援システム１００の構成の一例を示す図である。

図１に示すように、文書作成支援システム１００は、利用者端末（文書作成支援装置）１１０と、現場情報サーバ１２０と、ＤＢサーバ（データベースサーバ）１３０と、認識サーバ１４０と、認識エンジン１５０と、を備える。利用者端末１１０は、ネットワーク５０を介して、現場情報サーバ１２０或いは認識サーバ１４０と通信する。

利用者端末１１０は、利用者が保持する携帯端末であり、例えば、スマートフォンやタブレットＰＣなどのスマートデバイスである。利用者は、利用者端末１１０を利用して、例えば、イベントで展示される展示物、保守作業の対象となる機器、など対象物に関する各種の報告書を作成する。なお、本実施形態では、報告書が、利用者端末１１０の表示部に表示される場合を一例に挙げて説明するが、報告書は利用者端末１１０の表示部に表示された後、紙などに印刷されてもよい。

利用者端末１１０は、各種のセンサから対象物の特定情報を取得し、当該特定情報を、ネットワーク５０を介して、認識サーバ１４０へと送信する。対象物の特定情報とは、対象物を特定するための情報であり、例えば、画像情報、音声情報、位置情報、などである。センサは、その種類が特に限定されるものではなく、例えば、カメラ、マイク、ビーコンセンサ、などである。センサは、利用者端末１１０に搭載されていてもよいし、対象物に設けられていてもよい。

利用者端末１１０は、対象物の特定情報に基づいて、対象物の認識結果情報を、ネットワーク５０を介して、認識サーバ１４０から受信し、一時的に保存する。対象物の認識結果情報とは、例えば、対象物ごとに設定される対象物の認識結果ＩＤである。

利用者端末１１０は、利用者の操作に応じた対象物の編集情報を取得し、当該編集情報を、ネットワーク５０を介して、現場情報サーバ１２０へと送信する。対象物の編集情報とは、利用者の編集操作に応じて編集される対象物の情報であり、例えば、利用者の追加撮影操作に応じた対象物の追加画像情報、利用者のコメント入力操作に応じた対象物のコメント情報、利用者のタグ選択操作に応じた対象物のタグ情報、或いは、利用者の音声録音操作に応じた対象物の音声メモ情報、などである、

利用者端末１１０は、対象物の認識結果情報及び対象物の編集情報に基づいて、対象物の関連情報を、ネットワーク５０を介して、現場情報サーバ１２０から受信する。対象物の関連情報とは、対象物の特定情報や対象物の編集情報以外の情報であり、報告書の付加価値を高める情報である。例えば、対象物の統計情報、作成済みの報告書に関する情報、などが挙げられる。

利用者端末１１０は、対象物の特定情報、対象物の編集情報、及び対象物の関連情報を含む画面情報を、ネットワーク５０を介して、現場情報サーバ１２０から受信し、当該画面情報に基づいて、対象物に関する報告書を表示する。対象物に関する報告書には、例えば、対象物の特定情報に基づいて、具体的には対象物の画像が、対象物の編集情報に基づいて、具体的には対象物の追加画像や音声メモが、対象物の関連情報に基づいて、具体的には対象物の概要や利用シーンが、表示される（図６参照）。

現場情報サーバ１２０は、対象物の認識結果情報、対象物の編集情報、などを、ネットワーク５０を介して、利用者端末１１０から受信し、当該認識結果情報、当該編集情報、などを、ＤＢサーバ１３０へと送信する。また、現場情報サーバ１２０は、対象物の認識結果情報に対応する対象物の関連情報を、ＤＢサーバ１３０から受信し、対象物の特定情報、対象物の編集情報、及び対象物の関連情報を含む画面情報を生成し、当該画面情報を、ネットワーク５０を介して、利用者端末１１０へと送信する。例えば、現場情報サーバ１２０は、対象物の画像情報や対象物の音声メモ情報以外に、対象物の概要や利用シーンを示す情報を含む画面情報を生成する。

ＤＢサーバ１３０は、対象物の認識結果情報、対象物の編集情報、などを、現場情報サーバ１２０から受信し、対象物の認識結果情報と対象物の編集情報とを関連付けて蓄積する。また、ＤＢサーバ１３０は、対象物の認識結果情報、対象物の編集情報、などに基づいて、対象物の認識結果情報に対応する対象物の関連情報を抽出する。また、ＤＢサーバ１３０は、当該関連情報を、現場情報サーバ１２０へと送信する。

例えば、ＤＢサーバ１３０は、対象物の認識結果ＩＤと、対象物の追加画像情報、対象物のテキストコメント情報或いは対象物の音声コメント情報、対象物のタグ情報、対象物の音声メモ情報、などの情報とを関連付けて蓄積する。

ＤＢサーバ１３０は、対象物の編集情報に基づいて、対象物に関連するキーワードを抽出し、対象物の統計情報として蓄積する。例えば、ＤＢサーバ１３０は、対象物のテキストコメント情報或いは対象物の音声コメント情報、対象物のタグ情報、対象物の音声メモ情報、などに対してテキスト変換処理を行い、更に、形態素解析処理を行って、対象物に関連するキーワードを抽出し、対象物の統計情報として蓄積する。

ＤＢサーバ１３０は、対象物の認識結果情報と利用者（他利用者）の属性情報とを関連付けて、対象物の統計情報として蓄積する。なお、利用者（他利用者）の属性情報は、利用者（他利用者）端末ＩＤなどに基づいて、各端末と関連付けられて、蓄積される。

例えば、ＤＢサーバ１３０は、対象物の認識結果ＩＤと、利用者の業種情報、利用者の職種情報、利用者の職位情報、などの情報とを関連付けて、利用者の属性ごとにランキングされた対象物のタイトル名を示す情報を、対象物の統計情報として蓄積する。

ＤＢサーバ１３０は、上述した対象物の統計情報、対象物に関連するキーワード、利用者の属性情報、他利用者の属性情報、などを保持する。

認識サーバ１４０は、対象物の特定情報を、ネットワーク５０を介して、利用者端末１１０から受信し、当該特定情報を、認識エンジン１５０へと送信する。また、認識サーバ１４０は、対象物の認識結果情報を、認識エンジン１５０から受信し、当該認識結果情報を、ネットワーク５０を介して、利用者端末１１０へと送信する。

認識エンジン１５０は、対象物の特定情報を、認識サーバ１４０から受信し、当該特定情報と予め登録されている対象物の特定情報とを比較して、対象物の認識結果情報を決定し、当該認識結果情報を、認識サーバ１４０へと送信する。認識エンジン１５０には、所定の対象物の特定情報、所定の対象物の認識結果、などが予め登録されている。

本実施形態に係る文書作成支援システム１００によれば、認識エンジン１５０が対象物の特定情報に基づいて対象物の認識結果情報を決定し、ＤＢサーバ１３０が当該認識結果情報及び利用者の操作に応じた対象物の編集情報に基づいて対象物の関連情報を抽出し、現場情報サーバ１２０が対象物の関連情報を含む画面情報を生成し、利用者端末１１０が当該画面情報を受信する。これにより、対象物の特定情報及び利用者の操作に応じた対象物の編集情報以外の情報（対象物の関連情報）を付加した報告書を作成することができるため、利用者の時間や手間を要することなく、付加価値の高い報告書を作成することが可能な文書作成支援システム１００を実現できる。

＜利用者端末１１０の構成＞
図２を参照して、本実施形態に係る利用者端末１１０について詳細に説明する。図２は、本実施形態に係る利用者端末１１０の構成の一例を示す図である。

図２に示すように、利用者端末１１０は、特定情報取得部１１１、認識結果情報取得部１１２と、関連情報取得部１１３、編集情報取得部１１４、制御部１１５、記憶部１１６、表示部１１７、操作部１１８、などを備える。

特定情報取得部１１１は、各種のセンサから対象物の特定情報を取得する。例えば、特定情報取得部１１１は、利用者端末１１０に搭載されるカメラから対象物の画像情報を取得する。例えば、特定情報取得部１１１は、利用者端末１１０に搭載されるマイクから対象物の音声情報を取得する。例えば、特定情報取得部１１１は、対象物に設けられるビーコンセンサから対象物の位置情報を取得する。

認識結果情報取得部１１２は、対象物の特定情報に基づいて、対象物の認識結果情報を取得する。例えば、利用者端末１１０は、対象物の画像情報、対象物の音声情報、対象物の位置情報などに基づいて、対象物の認識結果ＩＤを取得する。

関連情報取得部１１３は、対象物の認識結果情報及び対象物の編集情報に基づいて、対象物の関連情報を取得する。例えば、関連情報取得部１１３は、対象物の認識結果ＩＤ（対象物の認識結果情報）、及び、対象物の追加画像情報、対象物のテキストコメント情報或いは対象物の音声コメント情報、対象物のタグ情報、対象物の音声メモ情報などの情報（対象物の編集情報）に基づいて、対象物の概要や利用シーンを示す情報（対象物の関連情報）を取得する。

編集情報取得部１１４は、利用者の操作に応じた対象物の編集情報を取得する。例えば、編集情報取得部１１４は、利用者の追加撮影操作に応じた対象物の追加画像情報を取得する。例えば、編集情報取得部１１４は、利用者のコメント入力操作に応じた対象物のテキストコメント情報或いは対象物の音声コメント情報を取得する。例えば、編集情報取得部１１４は、利用者のタグ選択操作に応じた対象物のタグ情報を取得する。例えば、編集情報取得部１１４は、利用者の音声メモ録音操作に応じた対象物の音声メモ情報を取得する。

制御部１１５は、認識結果情報取得部１１２と、関連情報取得部１１３、編集情報取得部１１４、などを介して、利用者端末１１０と現場情報サーバ１２０或いは認識サーバ１４０との間で送受信される情報を制御する。また、制御部１１５は、例えば、ＣＰＵ、メモリ等を含み、利用者端末１１０の各部を制御する。

制御部１１５は、対象物の特定情報、対象物の編集情報、及び対象物の関連情報を互いに関連付け、所定のデザインフォーマットを適用して、対象物の特定情報、対象物の編集情報、及び対象物の関連情報を含む画面情報を整形する。

制御部１１５は、各種の情報を、表示部１１７へと出力し、所定の画面を、表示部１１７に表示させる。例えば、制御部１１５は、所定のデザインフォーマットにより整形した画面情報を、表示部１１７へと出力し、対象物に関する報告書を、表示部１１７に表示させる。また、制御部１１５は、表示部１１７に表示させる画面の言語（例えば、日本語、英語、など）を適宜設定する。

制御部１１５は、利用者のデザイン変更操作に応じて、報告書のデザインを変更する。報告書のデザインは、任意のデザインとすることができ、例えば、タウン雑誌風のデザイン、カルチャー雑誌風のデザイン、スポーツ新聞紙風のデザイン、などが挙げられる。また、制御部１１５は、利用者の表紙画像変更操作に応じて、報告書の表紙画像を変更する。なお、報告書に適用される各種のデザイン、報告書の表紙に適用される各種の画像、などは、予め記憶部１１６に記憶されている。

記憶部１１６は、例えば、ハードディスクなどの情報を記憶する機能を有するものであればよい。記憶部１１６は、例えば、対象物の認識結果情報、報告書に適用される各種のデザイン、報告書の表紙に適用される各種の画像、各種のプログラムやデータ、などを記憶する。

表示部１１７は、画像や文字などの表示が可能であればどのようなデバイスでもよく、例えば、液晶ディスプレイ、有機ＥＬ（Electro−Luminescence）ディスプレイ、などである。

表示部１１７は、制御部１１５から入力される各種の情報に基づいて、所定の画面を、表示する。例えば、表示部１１７は、制御部１１５によって整形された画面情報に基づいて、対象物に関する報告書を表示する。なお、報告書は、その表示形態が、特に限定されるものではなく、例えば、複数の報告書が同じ画面に一括で表示される表示形態であってもよいし、複数の報告書の内容がランキング形式或いはグクラウド形式で表示される表示形態であってもよい。

表示部１１７は、報告書の他、例えば、後述する利用者の属性設定画面（図３参照）、利用者がカメラを起動させるための起動画面（図４（Ａ）参照）、利用者が対象物を撮影するための撮影画面（図４（Ｂ）参照）、利用者の報告書確認画面（図４（Ｃ）参照）、他利用者の報告書一覧確認画面（図４（Ｄ）参照）、報告書入力フォーム画面（図５（Ａ）参照）、コメント入力フォーム画面（図５（Ｂ）参照）、利用者が編集操作を行った後の報告書完成画面（図６参照）、報告書表紙画面（図７参照）、などを表示する。

操作部１１８は、利用者による各種の操作が可能であればどのようなデバイスでもよく、例えば、タッチパネル、ソフトウェアキーボード、などである。利用者は、操作部１１８を用いて、あらゆる操作を行うことで、対象物に関する報告書を任意に作成することができる。

本実施形態に係る利用者端末１１０によれば、各種センサから対象物の特定情報を取得することを契機として、対象物の認識結果情報を取得し、利用者の操作に応じた対象物の編集情報を取得し、これらの情報に基づいて、対象物の関連情報を取得することで、対象物の特定情報、対象物の編集情報、対象物の関連情報、などを関連付けて報告書として表示することができる。これにより、対象物の特定情報及び利用者の操作に応じた対象物の編集情報以外の情報を付加した報告書を作成することができるため、利用者の時間や手間を要することなく、付加価値の高い報告書を作成することが可能な利用者端末１１０を実現できる。

＜表示部の表示画面＞
図３乃至図１０を参照して、本実施形態に係る利用者端末１１０における表示部１１７の表示画面の一例について説明する。利用者が報告書を作成する際、表示部１１７には、種々の画面が表示される。

図３は、利用者の属性設定画面２１０の一例を示す図である。

利用者の属性設定画面２１０は、例えば、業種ボタン２１１、職種ボタン２１２、役職ボタン２１３、完了ボタン２１４、などを含む。業種ボタン２１１は、例えば、ソフトウェア関係、ハードウェア関係、システムインテグレータ、通信事業、など、利用者が自身の業種を設定するボタンである。職種ボタン２１２は、例えば、企画、技術、営業、事務、など、利用者が自身の職種を設定するボタンである。役職ボタン２１３は、例えば、経営者、役員、部長、課長、など、利用者が自身の役職を設定するボタンである。完了ボタン２１４は、利用者属性設定を完了するボタンである。

利用者が、利用者端末１１０を起動させると、表示部１１７には、利用者の属性設定画面２１０が表示される。利用者が、業種ボタン２１１、職種ボタン２１２、役職ボタン２１３を、それぞれタップして、自身の業種、自身の職種、自身の役職を選択し、完了ボタン２１４をタップすると、利用者端末１１０において、利用者の属性が設定される。

図４（Ａ）は、利用者がカメラを起動させるための起動画面２２０の一例を示す図である。図４（Ｂ）は、利用者が対象物を撮影するための撮影画面２３０の一例を示す図である。図４（Ｃ）は、利用者の報告書確認画面２４０の一例を示す図である。図４（Ｄ）は、他利用者の報告書一覧確認画面２５０の一例を示す図である。

起動画面２２０は、例えば、カメラ起動のための操作エリア２２１、利用者の報告書閲覧アイコン２２２、他利用者の報告書閲覧アイコン２２３、他メニューボタン２２４、などを含む。撮影画面２３０は、例えば、プレビュー画面２３１、シャッターボタン２３２などを含む。利用者の報告書確認画面２４０は、例えば、報告書表示画面２４１、デザイン変更ボタン２４２、表紙画像変更ボタン２４３、他者共有ボタン２４４、などを含む。他利用者の報告書一覧確認画面２５０は、他利用者の報告書表紙サムネイル２５１、他利用者の報告書作成日時２５２、他利用者の属性２５３、などを含む。

利用者が、起動画面２２０において、カメラ起動のための操作エリア２２１をタップすると、表示部１１７には、撮影画面２３０が表示される。利用者が、撮影画面２３０において、プレビュー画面２３１を見ながら、対象物に利用者端末１１０の向きを合わせて、シャッターボタン２３２をタップすると、対象物が撮影される。

利用者が、起動画面２２０において、利用者の報告書閲覧アイコン２２２をタップすると、表示部１１７には、利用者の報告書確認画面２４０が表示される。例えば、利用者は、利用者の報告書確認画面２４０内の報告書表示画面２４１において、自身が作成した報告書を確認することができる。例えば、利用者は、デザイン変更ボタン２４２をタップして、報告書の各ページにおけるデザインを変更することができる。例えば、利用者は、表紙画像変更ボタン２４３をタップして、報告書の表紙における表紙画像を変更することができる。例えば、利用者は、他者共有ボタン２４４をタップして、自身が作成した報告書を他利用者に共有させることができる。

利用者が、起動画面２２０において、他利用者の報告書閲覧アイコン２２３をタップすると、表示部１１７には、他利用者の報告書一覧確認画面２５０が表示される。報告書一覧確認画面２５０には、他利用者の報告書表紙サムネイル、他利用者の報告書作成日時、他利用者の業種、他利用者の職種、他利用者の役職、などが一覧で表示される。このため、利用者は、他利用者の報告書一覧確認画面２５０において、複数の他利用者の報告書を一覧で確認することができる。

更に、利用者が、他利用者の報告書一覧確認画面２５０内の特定の他利用者の報告書表紙サムネイル２５１をタップすると、表示部１１７には、他利用者の報告書確認画面が表示される。利用者が、他利用者の報告書確認画面において、他者共有ボタン２４４をタップすると、他利用者は、他利用者の報告書一覧確認画面２５０を介して、利用者が作成した報告書を閲覧することができる。

図５（Ａ）は、利用者が編集操作を行うための報告書入力フォーム画面２６０の一例を示す図である。図５（Ｂ）は、利用者がコメント入力操作を行うためのコメント入力フォーム画面２７０の一例を示す図である。

報告書入力フォーム画面２６０は、例えば、録音開始ボタン２６１、コメント入力ボタン２６２、タグ選択ボタン２６３、完了ボタン２６４、表示欄２６５、表示領域２６６、追加撮影ボタン２６７、などを含む。コメント入力フォーム画面２７０は、例えば、コメント編集欄２７１、音声入力ボタン２７２、ＯＫボタン２７３、などを含む。

報告書入力フォーム画面２６０において、録音開始ボタン２６１、コメント入力ボタン２６２、タグ選択ボタン２６３、完了ボタン２６４、表示欄２６５、表示領域２６６、追加撮影ボタン２６７、などは、利用者端末１１０によって設定された言語で表示される。また、コメント入力フォーム画面２７０において、コメント編集欄２７１、音声入力ボタン２７２、ＯＫボタン２７３、などは、利用者端末１１０によって設定された言語で表示される。

利用者は、報告書入力フォーム画面２６０内の表示欄２６５において、例えば、対象物の関連情報に基づいて、対象物のカテゴリ名や対象物のタイトル名などを確認することができる。また、利用者は、報告書入力フォーム画面２６０内の表示領域２６６において、例えば、対象物の特定情報に基づいて、対象物の画像を、対象物の編集情報に基づいて、対象物に関連する被写体の追加画像を確認することができる。

利用者が、報告書入力フォーム画面２６０において、追加撮影ボタン２６７をタップすると、表示部１１７には、撮影画面２３０が表示される。利用者が、撮影画面２３０において、プレビュー画面２３１を見ながら、対象物に関連する被写体に利用者端末１１０の向きを合わせて、シャッターボタン２３２をタップすると、対象物に関連する被写体が撮影される。

利用者が、報告書入力フォーム画面２６０において、タグ選択ボタン２６３をタップすると、所定のタグが報告書に追加される。タグは、利用者端末１１０において予め設定されていてもよいし、利用者が利用者端末１１０を用いて新たに設定してもよい。

利用者が、報告書入力フォーム画面２６０において、録音開始ボタン２６１をタップすると、録音が開始され、所定時間音声メモを録音すると、音声メモが報告書に追加される。

利用者が、報告書入力フォーム画面２６０において、コメント入力ボタン２６２をタップすると、表示部１１７には、コメント入力フォーム画面２７０が表示される。利用者が、操作部１１８を用いて、コメント編集欄２７１に、テキストコメントを入力し、ＯＫボタン２７３をタップすると、テキストコメントが報告書に追加される。更に、利用者が、コメント入力フォーム画面２７０において、音声入力ボタン２７２をタップして、音声コメントを入力し、ＯＫボタン２７３をタップすると、音声コメントが報告書に追加される。

図６は、利用者が編集操作を行った後の報告書完成画面２８０の一例を示す図である。

報告書完成画面２８０には、対象物の関連情報に基づいて、具体的には、対象物のカテゴリ名、対象物のタイトル名、対象物の概要、対象物の利用シーン（２８１）などが、対象物の特定情報に基づいて、具体的には、対象物の画像（２８２）などが、対象物の編集情報に基づいて、具体的には、対象物の音声メモ（２８３）、対象物のテキストコメント（２８４）、対象物のタグ（２８５）、対象物に関連する被写体の画像（２８６）、などが利用者端末１１０によって設定された言語で表示される。

利用者が、報告書完成画面２８０において、音声再生ボタン２８３をタップすると、音声メモが再生される。また、利用者が、レポートを見るボタン２８６をタップすると、表示部１１７には、利用者の報告書確認画面２４０が表示され、利用者が作成した報告書を確認すると、表示部１１７には、再び、起動画面２２０が表示される。

図７は、報告書の表紙画面３１０の一例を示す図である。報告書の表紙画面３１０には、利用者が、複数のデザインの中から選択したデザインが表示される。例えば、利用者が、報告書確認画面２４０において、デザイン変更ボタン２４２をタップして、報告書の表紙デザインを、カルチャー雑誌風に変更すると、報告書の表紙画面３１０には、カルチャー雑誌風の表紙画面が表示される。

図８は、報告書画面３２０の一例を示す図である。利用者が、報告書完成画面２８０において、レポートを見るボタン２８６をタップすると、表示部１１７には、複数の報告書が配列された報告書画面３２０が表示される。利用者は、報告書画面３２０において、複数の報告書を一度に確認することができる。

図９は、報告書画面３３０の一例を示す図である。利用者が、報告書完成画面２８０において、レポートを見るボタン２８６をタップすると、表示部１１７には、利用者の業種ごとに、対象物のカテゴリ名がランキング形式でまとめられた報告書画面３３０が表示される。利用者は、報告書画面３３０において、利用者の業種ごとに、利用者の業種と対象物のカテゴリ名との関係を確認することができる。

図１０は、報告書画面３４０の一例を示す図である。利用者が、報告書完成画面２８０において、レポートを見るボタン２８６をタップすると、表示部１１７には、対象物のカテゴリ名ごとに、対象物のタグがタグクラウド形式でまとめられた報告書画面３４０が表示される。利用者は、報告書画面３４０において、対象物のカテゴリ名ごとに、対象物との関連が強いタグと対象物との関連が弱いタグとをそれぞれ確認することができる。

＜文書作成支援方法＞
図１１及び図１２を参照して、本実施形態に係る文書作成支援システム１００における文書作成支援方法について説明する。図１１は、本実施形態に係る文書作成支援システム１００における文書作成支援方法の一例を示すフローチャートであり、利用者が撮影操作を行ってから、利用者端末１１０の表示部１１７が報告書入力フォーム画面２６０を表示するまでの処理を示している。図１２は、本実施形態に係る文書作成支援システム１００における文書作成支援方法の一例を示すフローチャートであり、利用者が編集操作を行ってから、利用者端末１１０の表示部１１７が報告書完成画面２８０を表示するまでの処理を示している。

まず、図１１を参照して、利用者が撮影操作を行ってから、利用者端末１１０の表示部１１７が報告書入力フォーム画面２６０を表示するまでの処理の一例について説明する。

ステップＳ１において、利用者は、起動画面２２０において、カメラ起動のための操作エリア２２１をタップする。利用者端末１１０に表示される画面は、起動画面２２０から撮影画面２３０へと遷移する。利用者は、撮影画面２３０において、プレビュー画面２３１を見ながら、対象物に利用者端末１１０の向きを合わせて、シャッターボタン２３２をタップする。

ステップＳ２において、利用者端末１１０は、対象物を撮影し、対象物の画像データを保持する。なお、ステップＳ１からステップＳ２までの処理は、利用者が対象物を撮影するごとに、繰り返し行われる。

ステップＳ３において、利用者端末１１０は、対象物の画像データを、ネットワーク５０を介して、認識サーバ１４０へと送信する。

ステップＳ４において、認識サーバ１４０は、利用者端末１１０から受信した対象物の画像データを、認識エンジン１５０へと送信する。

ステップＳ５において、認識エンジン１５０は、認識サーバ１４０から受信した対象物の画像データと予め登録されている対象物の画像データとを比較する。そして、認識エンジン１５０は、対象物の画像データに基づいて、対象物の認識結果ＩＤを決定する。

ステップＳ６において、認識エンジン１５０は、対象物の認識結果ＩＤを、認識サーバ１４０へと送信する。

ステップＳ７において、認識サーバ１４０は、認識エンジン１５０から受信した対象物の認識結果ＩＤを、ネットワーク５０を介して、利用者端末１１０へと送信する。

ステップＳ８において、利用者端末１１０は、認識サーバ１４０から受信した対象物の認識結果ＩＤを、一時的に保持する。

ステップＳ９において、利用者端末１１０は、対象物の認識結果ＩＤ及び言語設定データを、ネットワーク５０を介して、現場情報サーバ１２０へと送信する。言語設定データは、利用者端末１１０によって設定される。

ステップＳ１０において、現場情報サーバ１２０は、利用者端末１１０から受信した対象物の認識結果ＩＤ及び言語設定データを、ＤＢサーバ１３０へと送信する。

ステップＳ１１において、ＤＢサーバ１３０は、現場情報サーバ１２０から受信した対象物の認識結果ＩＤ及び言語設定データに基づいて、対象物の関連情報を抽出する。対象物の関連情報は、利用者端末１１０によって設定される所定の言語に対応している。

ステップＳ１２において、ＤＢサーバ１３０は、対象物の認識結果ＩＤ及び言語設定データに対応する対象物の関連情報を、現場情報サーバ１２０へと送信する。

ステップＳ１３において、現場情報サーバ１２０は、ＤＢサーバ１３０から受信した対象物の関連情報を含む報告書入力フォーム情報を生成する。報告書入力フォーム情報は、利用者端末１１０によって設定される所定の言語に対応している。

ステップＳ１４において、現場情報サーバ１２０は、報告書入力フォーム情報を、ネットワーク５０を介して、利用者端末１１０へと送信する。

ステップＳ１５において、利用者端末１１０は、報告書入力フォーム情報に基づいて、表示部１１７に、報告書入力フォーム画面２６０を表示する。
例えば、利用者端末１１０によって設定される言語が英語である場合、利用者が日本語表記された対象物（例えば、展示パネルなど）を撮影しても、報告書入力フォーム画面２６０には、英語表記された対象物の画像が表示される。例えば、利用者端末１１０によって設定される言語が日本語である場合、利用者が英語表記された対象物（例えば、展示パネルなど）を撮影しても、報告書入力フォーム画面２６０には、日本語表記された対象物の画像が表示される。

次に、図１２を参照して、利用者が編集操作を行ってから、利用者端末１１０の表示部１１７が報告書完成画面２８０を表示するまでの処理の一例について説明する。

ステップＳ１００１において、利用者は、報告書入力フォーム画面２６０において、追加撮影ボタン２６７をタップする。利用者端末１１０に表示される画面は、報告書入力フォーム画面２６０から撮影画面２３０へと遷移する。利用者は、撮影画面２３０において、プレビュー画面２３１を見ながら、対象物に関連して追加で撮影したい被写体に利用者端末１１０の向きを合わせて、シャッターボタン２３２をタップする。

ステップＳ１００２において、利用者端末１１０は、当該被写体を撮影し、対象物に関連する被写体の画像データを保持する。ステップＳ１００１からステップＳ１００２までの処理は、利用者が対象物に関連する被写体を撮影するごとに、繰り返し行われる。なお、報告書入力フォーム画面２６０には、対象物の画像の他、対象物に関連する被写体の画像を複数表示させることが可能である。

ステップＳ１００３において、利用者は、報告書入力フォーム画面２６０において、コメント入力ボタン２６２をタップする。利用者端末１１０に表示される画面は、報告書入力フォーム画面２６０からコメント入力フォーム画面２７０へと遷移する。利用者は、操作部１１８を介して、コメント編集欄２７１に、対象物のテキストコメントを入力する。或いは、利用者は、音声入力ボタン２７２をタップして、対象物の音声コメントを入力する。なお、対象物のテキストコメントの内容及び対象物の音声コメントの内容は、利用者が任意に決定することが可能である。

ステップＳ１００４において、利用者端末１１０は、対象物のテキストコメント、或いは、対象物の音声コメントを保持する。ステップＳ１００３からステップＳ１００４までの処理は、利用者が対象物のコメントを入力するごとに、繰り返し行われる。

ステップＳ１００５において、利用者は、報告書入力フォーム画面２６０において、所定のタグ選択ボタン２６３をタップする。例えば、対象物のタグが「すごい」である場合、利用者は、「すごい」のタグ選択ボタン２６３をタップする。例えば、対象物のタグが「イマイチ」である場合、利用者は、「イマイチ」のタグ選択ボタン２６３をタップする。例えば、対象物のタグが「人気」である場合、利用者は、「人気」のタグ選択ボタン２６３をタップする。例えば、対象物のタグを新たに追加する場合、利用者は、「新規作成」のタグ選択ボタン２６３をタップした後、操作部１１８を介して、タグ編集欄（不図示）に、対象物のタグを新たに入力する。

ステップＳ１００６において、利用者端末１１０は、対象物のタグを保持する。保持されるタグの数は、特に限定されるものではない。ステップＳ１００５からステップＳ１００６までの処理は、利用者が対象物のタグを選択するごとに、繰り返し行われる。

なお、利用者端末１１０は、例えば、利用者がタップしたタグ選択ボタン２６３の表示を、色を変えて表示するなどにより、利用者がタップしたタグ選択ボタン２６３と利用者がタップしていないタグ選択ボタン２６３とを利用者が見て区別できるように表示する。これにより、利用者は、タップしたタグ選択ボタン２６３を確認することができる。

ステップＳ１００７において、利用者は、報告書入力フォーム画面２６０において、録音開始ボタン２６１をタップすると録音が開始される。利用者は、例えば、マイクなどを用いて、所定時間、対象物の音声メモを入力する。録音時間は、利用者端末１１０によって予め設定されているが、対象物の音声メモの長さなどに合わせて、任意に変更可能である。なお、対象物の音声メモの内容は、利用者が任意に決定することが可能である。

ステップＳ１００８において、利用者端末１１０は、対象物の音声メモを保持する。ステップＳ１００７からステップＳ１００８までの処理は、利用者が対象物の音声メモを録音するごとに、繰り返し行われる。

ステップＳ１００９において、利用者は、報告書入力フォーム画面２６０において、完了ボタン２６４をタップする。これにより、利用者の編集操作が完了する。なお、ステップＳ１００１からステップＳ１００２までの処理（追加撮影）、ステップＳ１００３からステップＳ１００４までの処理（コメント入力）、ステップＳ１００５からステップＳ１００６までの処理（タグ選択）、ステップＳ１００７からステップＳ１００８までの処理（音声メモ録音）は、順不同で実施される。

ステップＳ１０１０において、利用者端末１１０は、対象物に関連する被写体の追加画像データ、対象物のコメントデータ、対象物のタグデータ、対象物の音声メモデータ、対象物の認識結果ＩＤ、言語設定データ、などの各種のデータを、ネットワーク５０を介して、現場情報サーバ１２０へと送信する。言語設定データは、利用者端末１１０によって設定される。

ステップＳ１０１１において、現場情報サーバ１２０は、利用者端末１１０から受信した対象物に関連する被写体の追加画像データ、対象物のコメントデータ、対象物のタグデータ、対象物の音声メモデータ、対象物の認識結果ＩＤ、言語設定データ、などの各種のデータを、ＤＢサーバ１３０へと送信する。

ステップＳ１０１２において、ＤＢサーバ１３０は、現場情報サーバ１２０から受信した対象物の認識結果ＩＤ及び言語設定データに基づいて、対象物の関連情報を抽出する。対象物の関連情報は、利用者端末１１０によって設定される所定の言語に対応している。

また、ＤＢサーバ１３０は、対象物の報告書ＩＤを生成し、対象物に関連する被写体の追加画像データ、対象物のコメントデータ、対象物のタグデータ、対象物の音声メモデータ、対象物の認識結果ＩＤ、言語設定データ、などの各種のデータを、当該報告書ＩＤと関連付けて蓄積する。なお、対象物の報告書ＩＤは、対象物の報告書を識別するためのＩＤであり、報告書ごとに設定される。

また、ＤＢサーバ１３０は、対象物の音声メモデータに基づいて、音声認識によるテキスト変換処理を行い、変換結果を保持する。また、ＤＢサーバ１３０は、対象物のコメントデータ、対象物のタグデータ、対象物の音声メモデータに基づいて、テキスト変換処理を行い、テキスト変換処理を行ったテキストデータに対して、形態素解析処理を行って、対象物に関連するキーワードを抽出し、抽出結果を保持する。

ステップＳ１０１３において、ＤＢサーバ１３０は、対象物の認識結果ＩＤ及び言語設定データに対応する対象物の関連情報を、現場情報サーバ１２０へと送信する。

ステップＳ１０１４において、現場情報サーバ１２０は、ＤＢサーバ１３０から受信した対象物の関連情報を含む報告書完成画面情報を生成する。報告書完成画面情報は、利用者端末１１０によって設定される所定の言語に対応している。

ステップＳ１０１５において、現場情報サーバ１２０は、報告書完成画面情報を、ネットワーク５０を介して、利用者端末１１０へと送信する。

ステップＳ１０１６において、利用者端末１１０は、報告書完成画面情報に基づいて、表示部１１７に、報告書完成画面２８０を表示する。
例えば、利用者端末１１０によって設定される言語が英語である場合、利用者が日本語表記された対象物（例えば、展示パネルなど）を撮影しても、報告書完成画面２８０には、英語表記された対象物の画像が表示される。例えば、利用者端末１１０によって設定される言語が日本語である場合、利用者が英語表記された対象物（例えば、展示パネルなど）を撮影しても、報告書完成画面２８０には、日本語表記された対象物の画像が表示される。

上述のように、本実施形態に係る文書作成支援方法によれば、対象物の特定情報及び利用者の操作に応じた対象物の編集情報以外の情報を付加した報告書を作成することが可能になる。

なお、上述した文書作成支援装置として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、文書作成支援装置の各機能を実現する処理内容を記述したプログラムを該コンピュータのデータベースに格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

５０ ネットワーク
１００ 文書作成支援システム
１１０ 利用者端末（文書作成支援装置）
１１１ 特定情報取得部
１１２ 認識結果情報取得部
１１３ 関連情報取得部
１１４ 編集情報取得部
１１５ 制御部
１１６ 記憶部
１１７ 表示部
１１８ 操作部
１２０ 現場情報サーバ
１３０ ＤＢサーバ（データベースサーバ）
１４０ 認識サーバ
１５０ 認識エンジン

Claims (8)

1. 対象物の特定情報に基づいて、前記対象物の認識結果情報を取得する認識結果情報取得部と、
   利用者の操作に応じた前記対象物の編集情報を取得する編集情報取得部と、
   前記認識結果情報及び前記編集情報に基づいて、前記対象物の関連情報を取得する関連情報取得部と、
   前記関連情報を含む画面情報に基づいて、前記対象物に関する報告書を表示する表示部と、
   を備える文書作成支援装置。
2. 所定のデザインフォーマットを適用して、前記画面情報を整形する制御部を更に備える、
   請求項１に記載の文書作成支援装置。
3. 前記編集情報は、
   前記利用者の追加撮影操作に応じた追加画像情報、前記利用者のコメント入力操作に応じたコメント情報、前記利用者のタグ選択操作に応じたタグ情報、或いは、前記利用者の音声録音操作に応じた音声メモ情報、である、
   請求項１又は２に記載の文書作成支援装置。
4. 前記特定情報は、所定のセンサから取得される情報である、
   請求項１から３のいずれか一項に記載の文書作成支援装置。
5. 対象物の特定情報に基づいて、前記対象物の認識結果情報を決定する認識エンジンと、
   前記認識結果情報と利用者の操作に応じた前記対象物の編集情報とを関連付けて蓄積し、前記認識結果情報及び前記編集情報に基づいて、前記対象物の関連情報を抽出するデータベースサーバと、
   前記関連情報を含む画面情報を生成する現場情報サーバと、
   前記画面情報に基づいて、前記対象物に関する報告書を表示する利用者端末と、
   を備える文書作成支援システム。
6. 前記データベースサーバは、
   前記編集情報に基づいて、前記対象物に関連するキーワードを抽出する、
   請求項５に記載の文書作成支援システム。
7. 前記データベースサーバは、
   前記認識結果情報と前記利用者の属性情報とを関連付けて蓄積する、
   請求項５又は６に記載の文書作成支援システム。
8. コンピュータを、請求項１から４のいずれか一項に記載の文書作成支援装置として機能させるプログラム。
   
   
   

Images