本実施形態のソフトウェアロボットシステムは、ソフトウェアロボットとしての動作を行うための処理を行う部分である動作処理部が処理を行う際に生成する情報から自然言語文の手順書を自動的に生成する。手順書はソフトウェアロボットの動作を説明する文書である。そして、本実施形態のソフトウェアロボットシステムは、生成した自然言語文と、その自然言語文から自動生成したイラストとを組み合わせる。そして、本実施形態のソフトウェアロボットシステムは、当該組合せから、イラストと自然言語文とにより表された手順書を自動生成する。前記ソフトウェアロボットシステムは、イラストにより手順書の内容の直感的な把握を容易化することにより、手順書の内容の理解の容易化を図る。
[構成と動作]
図2は、本実施形態のソフトウェアロボットシステムの例であるソフトウェアロボットシステム100の構成を表す概念図である。
ソフトウェアロボットシステム100は、ロボット部200と手順書生成装置300とを備える。
ロボット部200は、動作処理部201と入力部206とを備える。
動作処理部201は、背景技術の項において説明した、人が行う定型的なコンピュータ操作を代行するソフトウェア型の仮想ロボットの動作にともなう処理を行う部分である。動作処理部201は、例えば、背景技術において図1を参照して説明した伝票登録システムの操作を行う。
入力部206は、動作処理部201が行うコンピュータ操作にともなう操作情報と定義情報とを手順書生成装置へ入力する。
ここで、操作情報は、動作処理部201が操作信号の送付により代行する人が行う操作の内容を表す情報である。また、定義情報は、前記操作のために人が行う動作を表す情報である。操作情報の例は、図4を参照して後述される。また、定義情報の例は、図5を参照して後述される。
手順書生成装置300は、自然言語化部301と、要約部306と、イラスト化部311と、レイアウト部316と、追記部321と、出力部326と、記憶部331とを備える。
記憶部331は、操作情報格納部401と、定義情報格納部406と、第二イラスト格納部411と、第一イラスト格納部416と、要約版画像格納部421と、非要約版画像格納部426とを備える。記憶部331は、さらに、要約版手順書格納部431と、非要約版手順書格納部436と、その他情報格納部441とを備える。
記憶部331は、ロボット部200の入力部206から送付された前述の操作情報を操作情報格納部401へ格納する。操作情報の例は、図4を参照して後述される。
操作情報格納部401は、さらに、自然言語化部301が後述のように操作情報から生成した、操作情報の自然言語文を格納する。操作情報格納部401は、さらに、操作情報の自然言語文の要約を格納する。
操作情報格納部401は、例えば、操作情報DBを保持することにより、操作情報、その自然言語文及びその要約を格納する。ここで、DBはData Base(データベース)の略である。操作情報DBの例は図6を参照して後述される。
記憶部331は、また、ロボット部200の入力部206から送付された前述の定義情報を定義情報格納部406へ格納する。定義情報の例は、図5を参照して後述される。
定義情報格納部406は、さらに、自然言語化部301が後述のように定義情報から生成した、定義情報の自然言語文を格納する。定義情報格納部406は、さらに、定義情報の自然言語文の要約を格納する。
定義情報格納部406は、定義情報、その自然言語文及びその要約を、例えば、保持している定義情報DBに格納する。定義情報DBの例は、図7を参照して、後述される。
記憶部331は、第一イラストの画像群を、第一イラスト格納部416に、予め保持する。なお、本明細書においては、当該記述のように、画像を表示させるための画像情報を画像ということもある。当該第一イラストは、イラスト化部311が、後述のように、自然言語化された操作情報に含まれる名詞をイラスト化する際に用いるイラストである。
ここで、自然言語化された操作情報に含まれる名詞は、一般的に動作の対象を表す場合が多い。その理由は、動作処理部201が代行する操作の主体は通常は動作処理部201であり、入力部206から送付される操作情報においては省略されるからである。従い、第一イラストは、通常は、操作の対象を表現するイラストである。
当該イラスト化の処理フロー例は、図10を参照して後述される。また、当該イラスト化の具体例は、図11及び図12を参照して、後述される。
記憶部331は、また、第二イラストの画像群を、第二イラスト格納部411に、予め保持する。第二イラスト格納部411に格納された第二イラストは、イラスト化部311が、後述のように、自然言語化された操作情報に含まれる動詞をイラスト化する際に用いるイラストである。
当該イラスト化の処理フロー例は、図10を参照して後述される。また、当該イラスト化の具体例は、図11及び図12を参照して、後述される。
要約版画像格納部421には、イラスト化部311が生成した要約版画像が格納される。要約版画像は、イラスト付の要約された手順書(要約版手順書)に用いられる画像である。
非要約版画像格納部426には、イラスト化部311が生成した後述の非要約版画像が格納される。要約版画像は、イラスト付の要約されていない手順書(非要約手順書)に用いられる画像である。
要約版手順書格納部431には、レイアウト部316が生成したイラスト付の要約された手順書(要約版手順書)が格納される。
非要約版画像格納部426には、レイアウト部316が生成したイラスト付の要約されていない手順書(非要約手順書)が格納される。
その他情報格納部441には、手順書生成装置300の各構成が種々の処理を行うためのソフトウェアや情報が予め格納される。その他情報格納部441には、その他、手順書生成装置300の各構成が格納を指示した情報が格納される。
記憶部331は、手順書生成装置300の各構成が指示した情報を、手順書生成装置300の送付を指示された構成へ送付する。
自然言語化部301は、操作情報格納部401に格納された各操作情報を自然言語文に変換し、変換後の自然言語文を、操作情報格納部401内の所定の格納場所に格納する。当該自然言語文は、操作情報を自然言語により説明するものである。当該変換の方法例は、図8を参照して後述される。
自然言語化部301は、また、定義情報格納部406に格納された各定義情報を自然言語文に変換し、変換後の自然言語文を、定義情報格納部406内の所定の格納場所に格納する。当該自然言語文は、定義情報を自然言語により説明するものである。当該変換の方法は、図9を参照して後述される。
要約部306は、自然言語化部301により操作情報格納部に格納された操作情報の自然言語文から、操作情報の要約の自然言語文(要約文)を生成し、生成した要約文を、操作情報格納部401内の所定の格納場所に格納する。要約部306は、当該要約を、例えば、文書要約エンジンにより行う。文書要約エンジンによる要約手法としては、例えば、一般的に用いられている、tf−idfやLexRankが適用され得る。
イラスト化部311は、自然言語化部301により操作情報格納部401に格納された操作情報の自然言語文から、操作情報を表現するイラストを生成する。イラスト化部311は、当該生成を、記憶部331が保持する第一イラスト格納部416に格納された第一イラスト及び第二イラスト格納部411に格納された第二イラストにより行う。当該生成の方法例及び具体例は、図10乃至図15を参照して後述される。イラスト化部311は、生成したイラストを非要約版画像格納部426に格納する。
イラスト化部311は、また、自然言語化部301により操作情報格納部401に格納された操作情報の自然言語文の要約文から、操作情報の要約を表現するイラストを生成する。イラスト化部311は、当該生成を、記憶部331が保持する第一イラスト格納部416に格納された第一イラスト及び第二イラスト格納部411に格納された第二イラストにより行う。当該生成の方法例及び具体例は、図16乃至図21を参照して後述される。イラスト化部311は、生成した画像を要約版画像格納部421に格納する。
追記部321は、イラスト化部311により非要約版画像格納部426に格納された画像の各々に、その画像に対応する、操作情報格納部401が保持する操作情報の自然言語文を、画像として追記する。追記部321は、また、操作情報の自然言語文を追加した画像の各々に、その画像に対応する、定義情報格納部406が保持する定義情報の自然言語文を、画像として追記する。当該追記の方法及び具体例は、図22及び図23を参照して、後述される。追記部321は、追記後の画像を、非要約版画像格納部426に格納する。追記部321は、追記後の画像により、追記前の画像を置き換えてもよい。
追記部321は、またイラスト化部311により要約版画像格納部421に格納された画像の各々に、その画像に対応する、操作情報格納部401が保持する操作情報の自然言語文の要約文を、画像として追記する。当該追記の方法及び具体例は、図24及び図25を参照して、後述される。追記部321は、追記後の画像を、要約版画像格納部421に格納する。追記部321は、追記後の画像により、追記前の画像を置き換えてもよい。
レイアウト部316は、非要約版画像格納部426に格納された、追記部321による追記が完了した画像を、例えば、操作時刻順に並べ、非要約版のイラスト付き手順書を生成する。レイアウト部316は、あるいは、追記部321による追記が完了した画像を、当該画像と結び付けて予め定められた重要度により並べて、非要約版のイラスト付き手順書を生成しても構わない。レイアウト部316は、生成した手順書を、非要約版手順書格納部436に格納する。
レイアウト部316は、また、要約版画像格納部421に格納された、追記部321による追記が完了した画像を並べ、要約版のイラスト付き手順書を生成する。その際に、レイアウト部316は、前記画像を、例えば、操作時刻順に並べる。レイアウト部316は、前記画像を、あるいは、例えば、重要度順に並べてもよい。レイアウト部316が、前記画像を重要度順に並べる場合は、例えば、第一イラストや第二イラストに重要度を表す重要度情報が予め関連付けられている。そして、レイアウト部316は、重要度情報から、前記画像のイラストの重要度を表す値を導出し、その値により、前記画像を並べる。レイアウト部316は、生成した手順書を、要約版手順書格納部431に格納する。
出力部326は、要約版手順書格納部431に格納された要約版手順書、及び、非要約版手順書格納部436に格納された非要約版手順書を、出力する。当該出力は、例えば、画面への表示、プリンタによる印刷、他の装置への送信である。
図3は、図2に表す手順書生成装置300が行う手順書生成処理の処理フロー例を表す概念図である。
手順書生成装置300は、例えば、操作情報格納部401への操作情報の格納、及び、定義情報格納部406への定義情報の格納が、それぞれ完了したことを判定することにより、図3に表す処理を開始する。
まず、自然言語化部301は、S101の処理として、操作情報格納部401に格納された操作情報及び定義情報格納部406に格納された定義情報の自然言語文にする。当該自然言語化の処理フロー例は、図8及び図9を参照して後述される。自然言語化部301は、生成した自然言語文を、操作情報格納部401及び定義情報格納部406に格納する。
S101の処理の次に、手順書生成装置300は、S102の処理とS106の処理とを行う。
要約部306は、S102の処理を行う場合は、同処理として、S101の処理により操作情報格納部401及び定義情報格納部406に格納された、自然言語文である操作情報の要約及び自然言語文である定義情報の要約を生成する。要約部306は、当該要約を、前述のように、一般的な文書要約エンジンにより行う。要約部306は、生成した操作情報の要約及び定義情報の要約を、操作情報格納部401及び定義情報格納部406に格納する。
そして、イラスト化部311は、S103の処理として、S102の処理により生成された操作情報の要約及び定義情報の要約のイラスト化を行う。当該イラスト化の処理フロー例及び具体例は、図16乃至図21を参照して後述される。
そして、追記部321は、S104の処理として、S103の処理により生成された各イラストへの、自然言語文の要約文の、画像としての追記を行う。当該追記の処理フロー例及び具体例は、図24及び図25を参照して、後述される。
次に、レイアウト部316は、S104の処理により追記されたイラストを、前述のように並べ、要約版手順書にする。レイアウト部316は、生成した要約版手順書を要約版手順書格納部431へ格納する。
一方、イラスト化部311は、S106の処理を行う場合は、同処理として、S101の処理により操作情報格納部401に格納された、操作情報の自然言語文のイラスト化を行う。当該イラスト化の処理フロー例及び具体例は、図10乃至図15を参照して後述される。イラスト化部311は、生成したイラストを非要約版画像格納部426に格納する。
そして、追記部321は、S107の処理として、S106の処理により生成された各イラストへの、S101の処理により生成された、操作情報及び定義情報の自然言語文の、画像としての追記を行う。当該追記の処理フロー例及び具体例は、図22及び図23を参照して、後述される。
そして、レイアウト部316は、S108の処理として、S107の処理により追記されたイラストを、前述のように並べ、非要約版手順書を生成する。レイアウト部316は、生成した非要約版手順書を、非要約版手順書格納部436へ格納する。
S105の処理及びS108の処理のうちの少なくとも一方が完了すると、出力部326は、S109の処理として、S105の処理により生成された要約版手順書及びS108の処理により生成された非要約版手順書を、出力する。
そして、手順書生成装置300は、図3に表す処理を終了する。
図4は、前述の操作情報の具体例を表す概念図である。
操作情報は、前述のように、図2に表す動作処理部201が操作信号の送付により代行する人が行う操作の内容を表す情報である。図4に表す操作情報は、背景技術の項で図1を参照して説明したソフトウェアロボットが行う動作を、図2に表す動作処理部201が行った場合を想定したものである。
図4には4つの操作情報が表されている。
各操作情報は、「操作時刻」、「操作後にアクティブとなるオブジェクト」、「操作後に実現される動作」及び「スクリーンショット」の4つの項目からなる。
「操作時刻」は、動作処理部201が行う、人が行う操作に対応する操作信号の伝票登録システムへの送付の時刻である。
「操作後にアクティブとなるオブジェクト」は、その操作信号の伝票システムへの送付により、伝票登録システムが、「操作後に実現される動作」を行う対象である。
「操作後に実現される動作」は、動作処理部201が、「操作後にアクティブとなるオブジェクト」を、別途定義された操作により実現する動作の内容である。
「スクリーンショット」は、動作処理部201が、「操作後にアクティブとなるオブジェクト」に対応する画像が表示されたコンピュータ画面のファイル名である。当該ファイル名に対応する画像は、入力部206から送付され、操作情報格納部401に別途格納されている。
なお、「操作時刻」、「操作後にアクティブとなるオブジェクト」及び「操作後に実現される動作」の「操作」の内容は、次に説明する定義情報により定義される。
図5は、前述の定義情報の具体例を表す概念図である。
図5に表す各定義情報は、図4に表す各操作情報における「操作」の内容を記述したものである。
操作情報は、「操作時刻」と、「コマンド」と、「補足情報」とからなる。
「操作時刻」は、動作処理部201が行う、人が行う操作に対応する操作信号の伝票登録システムへの送付の時刻である。図5に表す「操作時刻」は、図4に表す「操作時刻」と同じものである。
「コマンド」は、図2に表す動作処理部201が、伝票登録システムに送付するコマンドを記述したものである。
「補足情報」は、対応する「コマンド」の内容を補足説明したものである。
図6は、操作情報格納部401が格納する前述の操作情報DBの例である操作情報DB451を表す概念図である。図6は、操作情報DB451を、画面等に表示させた場合が想定された図である。
操作情報DB451には、図4に表す操作情報の4つの項目である「操作時刻」、「操作後にアクティブとなるオブジェクト」、「操作後に実現される動作」及び「スクリーンショット」のファイル名を格納する欄が設定されている。「スクリーンショット」に格納された各ファイル名の画像ファイルは、前述のように、操作情報格納部401が、別途保持している。当該画像ファイルは、入力部206から操作情報とともに送付されるものである。
操作情報DB451には、各操作情報に、「操作時刻」の早いものから連番で「番号」が付与されている。操作情報DB451には、さらに、各操作情報の「自然言語文」を格納する欄と、4つの操作情報の自然言語文を要約した「操作情報要約文」を格納する欄が設定されている。
図6に表す操作情報DB451には、図4に表す各操作情報は既に格納されているが、「自然言語文」及び「操作情報要約文」は未格納である。
図7は、定義情報格納部406が保持する前述の定義情報DBの例である定義情報DB456を表す概念図である。図7は、定義情報DB456を画面等に表示させた場合を想定した図である。
定義情報DB456には、図5に表す定義情報の3つの項目である「操作時刻」、「コマンド」及び「補足情報」を格納する欄が設定されている。
定義情報DB456では、各定義情報に、「操作時刻」の早いものから連番で「番号」が付与されている。
定義情報DB456には、さらに、各定義情報についての「自然言語文」を格納する欄と、4つの定義情報の自然言語文を要約した「定義情報要約文」を格納する欄が設定されている。
図7に表す定義情報DB456には、図5に表す各定義情報は既に格納されているが、「自然言語文」及び「定義情報要約文」は未格納である。
図8は、図2に表す自然言語化部301が行う、図3に表すS101の処理のうち操作情報の自然言語化に関する処理の処理フロー例を表す概念図である。図8の各処理は、図6に表すフォーマットの操作情報DBが用いられることを前提としている。
自然言語化部301は、例えば、操作情報DBへの操作情報の格納が完了したことを表す通知情報の入力により、図8に表す処理を開始する。
まず、自然言語化部301は、S201の処理として、操作情報DBへのアクセスを開始する。
次に、自然言語化部301は、S202の処理として、番号nに1を代入する。当該番号は、図6に表す「番号」に対応するものである。
そして、自然言語化部301は、S203の処理として、番号nの「スクリーンショット」が操作情報DBに格納されているかについての判定を行う。
自然言語化部301は、S203の処理による判定結果がyesの場合は、S204の処理を行う。
一方、自然言語化部301は、S203の処理による判定結果がnoの場合は、図8に表す処理を終了する。
自然言語化部301は、S204の処理を行う場合は、同処理として、番号nの「スクリーンショット」のファイル名に対応する画像ファイルを読み出す。前述のように、当該画像ファイルは、操作情報格納部401に格納されている。
そして、自然言語化部301は、S205の処理として、読み出した画像ファイルを、自然言語化部301が備える図示しない学習システムに入力する。
当該学習システムは、スクリーンショットの画像ファイルとの入力により所定の表現形式のダミーの自然言語文(ダミー文)を出力するように予め学習させたシステムである。当該ダミー文においては、そのダミー文に含まれる名詞と動詞の内容を除き正しい内容になっている。当該ダミー説明文においては、名詞と動詞は、例えば、所定の記号等の仮の内容が記述されている。
なお、そのような学習システムは、例えば、非特許文献1等に開示されており、周知である。
そして、自然言語化部301は、S206の処理として、学習システムから出力されたダミー文を操作情報格納部401の所定の格納場所に格納する。
次に、自然言語化部301は、S207の処理として、ダミー文に含まれる名詞及び動詞を特定する。ダミー説明文において、名詞及び動詞が所定の記号で表現されるようにしておけば、その記号により名詞及び動詞が特定される。
次に、自然言語化部301は、S208の処理として、S207の処理により特定した名詞を、操作情報DBの番号nの「操作後にアクティブとなるオブジェクト」で置き換える。
次に、自然言語化部301は、S209の処理として、S207の処理により特定した動詞を、操作情報DBの番号nの「操作後に実行される動作」で置き換える。
そして、自然言語化部301は、S210の処理として、S209の処理により置き換えた文を、操作情報DBの番号nの「自然言語文」の欄に格納する。
そして、自然言語化部301は、S211の処理として、番号nに1を加算する。
そして、自然言語化部301は、S203の処理を再度行う。
図9は、図2に表す自然言語化部301が行う、図3に表すS101の処理のうち定義情報の自然言語化に関する処理の処理フロー例を表す概念図である。図9は、定義情報格納部406が、図7に表すフォーマットの定義情報DBを保持することを前提とした処理を表す。
自然言語化部301は、例えば、定義情報DBへの定義情報の格納が完了したことを表す通知情報の入力により、図9に表す処理を開始する。
まず、自然言語化部301は、S301の処理として、定義情報DBへのアクセスを開始する。
次に、自然言語化部301は、S302の処理として、番号nに1を代入する。当該番号は、図7に表す「番号」に相当するものである。
そして、自然言語化部301は、S303の処理として、番号nの「コマンド」が定義情報DBに格納されているかについての判定を行う。
自然言語化部301は、S303の処理による判定結果がyesの場合は、S304の処理を行う。
一方、自然言語化部301は、S303の処理による判定結果がnoの場合は、図9に表す処理を終了する。
自然言語化部301は、S304の処理を行う場合は、同処理として、定義情報DBに格納された、番号nの「コマンド」を読み出す。
そして、自然言語化部301は、S305の処理として、番号nの「補足情報」を読み出す。
そして、自然言語化部301は、S306の処理として、S304の処理により読み出した「コマンド」とS305の処理により読み出した「補足情報」とから、自然言語文を生成する。自然言語化部301は、当該自然言語文の生成を、例えば、予め定められた定型文の所定の位置に「コマンド」と「補足情報」とを挿入することにより行う。当該定型文は、例えば、「「コマンド」を「補足情報」でする。」というものである。
そして、自然言語化部301は、S307の処理として、S306の処理により生成した自然言語文の格助詞を補正する。当該補正には、例えば、非特許文献2が開示する方法等の周知の方法を用いればよい。
そして、自然言語化部301は、S308の処理として、S307の処理により格助詞を補正した自然言語文を、定義情報DBの、番号nの「自然言語文」の項に格納する。
そして、自然言語化部301は、S309の処理として、番号nの値を一つ増やす。
そして、自然言語化部301は、S303の処理を再度行う。
図10は、図2に表すイラスト化部311が、図6に表す操作情報DBと同様のフォーマットを有する操作情報DBに格納された各「自然言語文」について行うイラスト化処理の処理フロー例を表す概念図である。
イラスト化部311は、例えば、外部からの開始情報の入力により図10に表す処理を開始する。
まず、イラスト化部311は、S401の処理として、操作情報DBへのアクセスを開始する。
そして、イラスト化部311は、S402の処理として、番号nに1を代入する。番号nは、図6に表す「番号」に対応する。
そして、イラスト化部311は、S403の処理として、S401の処理によりアクセスを開始した操作情報DBに、番号nの「自然言語文」が格納されているかについての判定を行う。
イラスト化部311は、S403の処理による判定結果がyesの場合は、S404の処理を行う。
一方、イラスト化部311は、S403の処理による判定結果がnoの場合は、図10に表す処理を終了する。
イラスト化部311は、S404の処理を行う場合は、同処理として、番号nの「自然言語文」を読み出す。
そして、イラスト化部311は、S405の処理として、S404の処理により読み出した「自然言語文」に含まれる名詞を特定する。この名詞の特定には、形態素解析による構文解析の一般的な手法を用いることができる。なお、操作情報DBの「自然言語文」から名詞を抽出する様子を表す具体例は、図11を参照して後述される。
そして、イラスト化部311は、S406の処理として、S405の処理により特定した名詞と類似した画像名が付与されて第一イラスト格納部416に格納されている第一イラストがあるかについての判定を行う。当該類比判断には、一般的な類比判断の手法を用いることができる。また、第一イラストの具体例は図12を参照して後述される。
イラスト化部311は、S406の処理による判定結果がyesの場合は、S407の処理を行う。
一方、イラスト化部311は、S406の処理による判定結果がnoの場合は、S408の処理を行う。
イラスト化部311は、S407の処理を行う場合は、同処理として、S406の処理により第一イラスト格納部416に格納されていることを判定した第一イラストを読み出し、所定の格納場所に格納する。当該読み出し及び格納する様子を表す具体例は図12を参照して後述される。そして、イラスト化部311は、S409の処理を行う。
イラスト化部311は、S408の処理を行う場合は、同処理として、非該当画像を読み出し、それを第一イラストとして、所定の格納場所に格納する。ここで、非該当画像は、S405の処理により特定した名詞に類似した画像名で第一イラスト格納部416に格納された第一イラストが存在しないことを表す画像である。非該当画像は、第一イラスト格納部416に予め格納されているものとする。そして、イラスト化部311は、S409の処理を行う。
イラスト化部311は、S409の処理を行う場合は、同処理として、S404の処理により読み出した「自然言語文」に含まれる動詞を特定する。動詞の特定には、形態素解析による構文解析の一般的な手法を用いることができる。動詞の特定する様子を表す具体例は図13を参照して後述される。
そして、イラスト化部311は、S410の処理として、S409の処理により特定した動詞と類似した画像名が付与された第二イラストが第二イラスト格納部411に格納されているかについての判定を行う。第二イラストの具体例は、図14を参照して後述される。
イラスト化部311は、S410の処理による判定結果がyesの場合は、S411の処理を行う。
一方、イラスト化部311は、S410の処理による判定結果がnoの場合は、S412の処理を行う。
イラスト化部311は、S411の処理を行う場合は、同処理として、S407の処理により格納した第一イラストにS410の処理により第二イラスト格納部に格納されていることを判定した第二イラストを付加する。当該付加の様子を表す具体例は、図14を参照して後述される。イラスト化部311は、付加後のイラストを所定の格納場所に格納する。
次に、イラスト化部311は、S412の処理として、操作情報DBに含まれる、番号nの操作時刻を読み出す。
そして、イラスト化部311は、S413の処理として、S411の処理により付加されたイラストを、S412の処理により読み出した操作時刻と関連付けて、図2に表す非要約版画像格納部426に格納する。当該格納の具体例は、図15を参照して後述される。
そして、イラスト化部311は、S414の処理として、番号nを一つ増やす。
そして、イラスト化部311は、S403の処理を再度行う。
図11は、イラスト化部311による図10に表すS405の処理に用いられる「自然言語文」及びその「自然言語文」から特定される名詞の具体例を表す概念図である。図11に表すように、操作情報DB451には、番号1に対応付けられて、「自然言語文」である「伝票登録システム.exeを実行する」が格納されている。そして、イラスト化部311は、「伝票登録システム.exeを実行する」から、その名詞である「伝票登録システム.exe」を抽出する。イラスト化部311は、当該抽出を一般的な形態素解析により行う。
図12は、イラスト化部311による図10に表すS406及びS407の処理に用いられる名詞、その名詞により読み出される第一イラスト及びその第一イラストに付される画像名の具体例を表す概念図である。
第一イラスト格納部416には、第一イラストである画像901乃至903が格納されている。図12に表すように、画像901は、「exe」という画像名で第一イラスト格納部416に格納されている。また、名詞である「伝票登録システム.exe」が、番号1の「自然言語文」から抽出されている。
そして、図12には示されないが、イラスト化部311は、図10のS406の処理により、「伝票登録システム.exe」に類似した画像名の付与された画像が第一イラスト格納部416に格納されていないか調べる。その結果、イラスト化部311は、画像901の画像名である「exe」が「伝票登録システム.exe」に含まれることから、画像901の画像名が「伝票登録システム.exe」に類似していることを判定する。
そして、図12に表すように、イラスト化部311は、S407の処理として画像901を第一イラスト格納部416から読み出す。
そして、イラスト化部311は、同処理として、画像901に「伝票登録システム.exe」という画像名を付与して、図2に表す非要約版画像格納部426に格納する。
図13は、イラスト化部311による図10に表すS409の処理に用いられる「自然言語文」及びそれから特定される動詞の具体例を表す概念図である。操作情報DB451の番号1には「自然言語文」である「伝票登録システム.exeを実行する」が格納されている。そして、その動詞である「実行する」を抽出する。イラスト化部311は、当該抽出を一般的な形態素解析により行う。
図14は、イラスト化部311による図10に表すS410及びS411の処理に用いられる動詞、それにより読み出される第二イラスト及び当該第二イラストの第一イラストへの付加のされ方、の具体例を表す概念図である。
図14に表すように、第二イラスト格納部411には、第二イラストである画像911乃至913が格納されている。画像911は、「実行」という画像名で格納されている。
また、図14に表すように、イラスト化部311は、番号1の「自然言語文」から、動詞である「実行する」を抽出している。
そして、図14には図示されないが、イラスト化部311は、図10のS410の処理により、「実行する」に類似した画像名の付与された画像が第二イラスト格納部411に格納されていないか調べる。その結果、イラスト化部311は、画像911の画像名である「実行」が動詞である「実行する」に含まれることから、画像911の画像名が「実行する」に類似していることを判定する。
そして、図14に表すように、イラスト化部311は、画像911を第二イラスト格納部411から読み出す。
そして、図14に表すように、イラスト化部311は、既に読み出されている画像901に画像911を付加する。なお、第一イラストに第二イラストを付加する際の規則(第一イラストのどの位置に第二イラストを挿入するか等)は、例えば、第一イラストと第二イラストとの組と関連付けて予め定められているものとする。
図15は、イラスト化部311が、図10に表すS413の処理により、付加後画像に付する画像名の具体例を表す概念図である。
図15に表すようにイラスト化部311は、画像901に画像911を付加した付加後画像を生成している。そして、図15には図示されないが、イラスト化部311は、図10に表すS412の処理により、番号1の「操作時刻」である11:58:10を操作情報DB451から読み出す。
そして、図15に表すように、イラスト化部311は、当該操作時刻を表す115810をファイル名として、付加後画像を、非要約版画像格納部426に格納する。なお、図15に表す「png」は、ファイル名に付された拡張子である。
図16は、イラスト化部311が行う、図3に表すS103の処理の処理フロー例を表す概念図である。
イラスト化部311は、例えば、外部からの開始情報の入力により図16に表す処理を開始する。
まず、イラスト化部311は、S501の処理として、操作情報DBへのアクセスを開始する。当該操作情報DBは、図6に表す操作情報DB451と同様のフォーマットを有するものである。
そして、イラスト化部311は、S502の処理として、要約書の文番号に1を代入する。ここで、要約書は、1以上の自然言語文からなることを前提とする。そして、各自然言語文には文番号が付与されているものとする。ただし、要約書の自然言語文が1文のみである場合には、文番号は省略されていても構わない。その場合において、イラスト化部311は、その自然言語文の文番号を1とみなしても構わない。
そして、イラスト化部311は、S503の処理として、文番号mの文が、操作情報DBの「要約書」の欄に格納されているかについての判定を行う。
イラスト化部311は、S503の処理による判定結果がyesの場合は、S504の処理を行う。
一方、イラスト化部311は、S503の処理による判定結果がnoの場合は、図16に表す処理を終了する。
イラスト化部311は、S504の処理を行う場合は、同処理として、文番号mの自然言語文を操作情報DBから読み出す。
そして、イラスト化部311は、S505の処理として、S504の処理により読み出した自然言語文に含まれる名詞を特定する。この名詞の特定には、形態素解析による構文解析の一般的な手法を用いることができる。なお、操作情報DBの「自然言語文」から名詞を抽出する様子を表す具体例は、図17を参照して後述される。
そして、イラスト化部311は、S506の処理として、S505の処理により特定した名詞と類似した画像名で第一イラスト格納部416に格納されている第一イラストがあるかについての判定を行う。当該類比判断には、一般的な類比判断の手法を用いることができる。
イラスト化部311は、S506の処理による判定結果がyesの場合は、S507の処理を行う。
一方、イラスト化部311は、S506の処理による判定結果がnoの場合は、S508の処理を行う。
イラスト化部311は、S507の処理を行う場合は、同処理として、S506の処理により第一イラスト格納部416に格納されていることを判定した第一イラストを読み出し、所定の格納場所へ格納する。当該読み出し及び格納する様子を表す具体例は図18を参照して後述される。そして、イラスト化部311は、S509の処理を行う。
イラスト化部311は、S508の処理を行う場合は、同処理として、非該当画像を読み出し、それを第一イラストとして、所定の格納場所に格納する。ここで、非該当画像は、S505の処理により特定した名詞に類似した画像名が付与されて第一イラスト格納部416に格納された第一イラストが存在しないことを表す画像である。非該当画像は、第一イラスト格納部416に予め格納されているものとする。そして、イラスト化部311は、S509の処理を行う。
イラスト化部311は、S509の処理を行う場合は、同処理として、S504の処理により読み出した「自然言語文」に含まれる動詞を特定する。動詞の特定には、形態素解析による構文解析の一般的な手法を用いることができる。動詞の特定の具体例は図19を参照して後述される。
そして、イラスト化部311は、S510の処理として、S509の処理により特定した動詞と類似した画像名が付与されて第二イラスト格納部411に格納された第二イラストがあるかについての判定を行う。
イラスト化部311は、S510の処理による判定結果がyesの場合は、S511の処理を行う。
一方、イラスト化部311は、S510の処理による判定結果がnoの場合は、S512の処理を行う。
イラスト化部311は、S511の処理を行う場合は、同処理として、S507の処理により格納した第一イラストにS510の処理により第二イラスト格納部に格納されていることを判定した第二イラストを付加する。当該付加の具体例は、図20を参照して後述される。イラスト化部311は、付加後のイラストを所定の格納場所に格納する。
次に、イラスト化部311は、S512の処理として、S505の処理により特定した名詞とS509の処理により特定した動詞とから重要度を表す値を導出する。当該重要度は、例えば、名詞ごとに予め定められた数値である名詞重要度と動詞ごとに予め定められた数値である動詞重要度とを加算した値である。S512の処理により重要度を導出する理由は、図3のS105の処理により行われるレイアウトが、画像が文番号mの順ではなく重要度順に並べられることにより行われる場合に対応できるようにするためである。
そして、イラスト化部311は、文番号mとS512の処理により導出した重要度の組を画像名にし、S511の処理により付加した付加後イラストを、図2に表す要約版画像格納部421に格納する。
そして、イラスト化部311は、S514の処理として、文番号mを一つ増やす。そして、イラスト化部311は、S503の処理を再度行う。
図17は、イラスト化部311が行う図16に表すS505の処理に用いられる要約文及びその要約文から特定される名詞の具体例を表す概念図である。
図17の例では、操作情報DBの「要約文」は、「伝票登録システム.exeの受注番号フィールドに入力する」の一文のみである。イラスト化部311は、この「要約文」から、その名詞である「伝票登録システム.exe」と「受注番号フィールド」とを抽出する。イラスト化部311は、当該抽出を一般的な形態素解析により行う。
図18は、イラスト化部311が行う図16に表すS506及びS507の処理に用いられる名詞、その名詞から読み出される第一イラスト及びその第一イラストに付される画像名の具体例を表す概念図である。
図18に表すように、イラスト化部311は、名詞である「受注番号フィールド」を「要約文」から特定している。なお、図18には図示されないが、イラスト化部311は、名詞である「伝票登録システム.exe」も「要約文」から特定している。
また、図18に表すように、第一イラスト格納部416には、第一イラストである画像901乃至903が格納されている。画像902は、「フィールド」という画像名で格納されている。
そして、図18には図示されないが、イラスト化部311は、図16のS506の処理により、「受注番号フィールド」という名詞に類似した画像名が付与されている第一イラストが第一イラスト格納部416に格納されていないか探す。そして、イラスト化部311は、画像902の画像名の「フィールド」が「受注番号フィールド」という名詞に含まれていることから、これらが類似していることを判定する。
そして、イラスト化部311は、図18に表すように、画像902を第一イラスト格納部416から読み出す。
そして、イラスト化部311は、画像902を、「受注番号フィールド」という画像名で、図2に表す要約版画像格納部421に格納する。
なお、図18には図示されないが、イラスト部311は、図16のS506の処理により、「要約文」から特定した名詞である「伝票登録システム.exe」について、類似した画像名が付与されている第一イラストが第一イラスト格納部416に格納されていないか探す。そして、イラスト化部311は、画像901を、画像名が「伝票登録システム.exe」に類似しているとして第一イラスト格納部416から読み出し、画像名「伝票登録システム.exe」を付し、要約版画像格納部421に格納する。
図19は、イラスト化部311が行う図16に表すS509の処理に用いられる要約文及びその要約文から特定される動詞の具体例を表す概念図である。「要約文」には「伝票登録システム.exeの受注番号フィールドに入力する」が格納されている。イラスト化部311は、「要約文」から、その動詞である「入力する」を抽出する。イラスト化部311は、当該抽出を一般的な形態素解析により行う。
図20は、図16に表すS510及びS511の処理に用いられる動詞、その動詞により読み出される第二イラスト及びその第二イラストに付される画像名の具体例を表す概念図である。
図20に表すように、第二イラスト格納部411には、第二イラストである画像911乃至913が格納されている。画像912は、「入力」という画像名で格納されている。また、イラスト化部311は、「要約文」から動詞である「入力する」を抽出している。
そして、イラスト化部311は、図16のS510の処理により、「入力する」に類似した画像名の付与された画像が第二イラスト格納部411に格納されていないか調べる。その結果、イラスト化部311は、画像912の画像名である「入力」が図19に表す動作により抽出された動詞である「入力する」に含まれることから、画像912の画像名が「入力する」に類似していることを判定する。
そして、図20に表すように、イラスト化部311は、画像912を第二イラスト格納部411から読み出す。
そして、図20に表すように、イラスト化部311は、画像902に画像912を付加する。なお、第一イラストに第二イラストを付加する際の規則は、第一イラストと第二イラストとの組と関連付けて予め定められているものとする。当該規則には、例えば、複数の第一イラストがある場合に、どの第一イラストに第二イラストを付加するかを表すものが含まれる。当該規則には、あるいは、例えば、第一イラストのどの位置に第二イラストを付加するかを表すものが含まれる。
図21は、イラスト化部311が、図10に表すS513の処理により、画像に付する画像名の具体例を表す概念図である。
図21に表すように、イラスト化部311は、画像902に画像912を付加した付加後画像を生成している。イラスト化部311は、また、画像901を読み出している。
そして、イラスト化部311は、画像901と、画像902に画像912を付加した付加後画像とを、要約中に現れる名詞の順に組み合わせた画像921を、図2に表す要約版画像格納部421に格納する。イラスト化部311は、当該格納に用いる画像名を、文番号と重要度とを組み合わせた「文番号_重要度」にする。当該重要度は、図16に表すS512の処理により、S505により特定した「伝票登録システム.exe」及び「受注番号フィールド」とS509により特定した「入力する」により、導出されたものである。図21に表す例では、文番号及び重要度は共に1である。なお、図12に表すpngはファイル名に付与された拡張子である。
図22は、図2に表す追記部321が行う図3に表すS107の処理の処理フロー例を表す概念図である。
追記部321は、例えば、外部からの開始情報の入力により、図22に表す処理を開始する。
まず、追記部321は、S601の処理として、図2の操作情報格納部401に格納された操作情報DB、定義情報格納部406に格納された定義情報DB及び非要約版画像格納部426へのアクセスを開始する。
そして、追記部321は、S602の処理として、番号nに1を代入する。当該番号は、図6及び図7に表す「番号」に対応するものである。
そして、追記部321は、S603の処理として、操作情報DBの番号nの「操作時刻」を画像名に含む画像は、非要約版画像格納部426に格納されているかについての判定を行う。
追記部321は、S603の処理による判定結果がyesの場合はS604の処理を行う。
一方、追記部321は、S603の処理による判定結果がnoの場合は、図22に表す処理を終了する。
追記部321は、S604の処理を行う場合は、同処理として、S603の処理により非要約版画像格納部426に格納されていることを判定した画像を、非要約版画像格納部426から読み出す。
そして、追記部321は、S605の処理として、S604の処理により読み出した画像に、操作情報DBの番号nの「自然言語文」を、画像として追記する。当該追記の際の規則は予め定められているものとする。当該規則には、例えば、「自然言語文」の当該追記の位置や大きさが含まれる。当該追記後の画像の例は、図23を参照して、後述される。
そして、追記部321は、S606の処理として、定義情報DBの番号nの「自然言語文」を、画像として追記する。当該追記の際の規則は予め定められているものとする。当該規則には、例えば、「自然言語文」の当該追記の位置や大きさが含まれる。当該追記後の画像の例は、図23を参照して、後述される。
そして、追記部321は、S607の処理として、追記後の画像を図2に表す非要約版画像格納部426に格納する。その際に、追記部321は、例えば、非要約版画像格納部426に格納されている追記前の画像を追記後の画像により置き換える。
そして、追記部321は、S608の処理として、番号nを一つ増加させる。そして、追記部321は、S603の処理を再度行う。
図23は、追記部321が行う図22に表すS605及びS606の処理に用いる「自然言語文」及びその「自然言語文」の第一イラストと第二イラストとの組合せへの追記のされ方の具体例を表す概念図である。
図23に表すように、操作情報DB451には番号1に対応して「自然言語文」の「伝票登録システム.exeを実行する」が格納されている。また、定義情報DB456には番号1に対応して「自然言語文」の「ソフトウェアロボットはダブルクリックする」が格納されている。
図23に表すように、追記部321は、図22のS605の処理により、「伝票登録システム.exeを実行する」の「自然言語文」を、画像として、付加後画像の下に追記する。追記部321は、また、図22のS606の処理により、「ソフトウェアロボットはダブルクリックする」の「自然言語文」を、画像として、「伝票登録システム.exeを実行する」の「自然言語文」の画像の下に、さらに追記する。
そして、追記部321は、図22のS607の処理により、追記後の画像により、非要約版画像格納部426に格納されている追記前の115810.pngを置き換える。
図24は、図2に表す追記部321が行う図3に表すS104の処理の処理フロー例を表す概念図である。
追記部321は、例えば、外部からの開始情報の入力により、図24に表す処理を開始する。
まず、追記部321は、S701の処理として、図2の操作情報格納部401に格納された操作情報DB、定義情報格納部406に格納された定義情報DB及び要約版画像格納部421へのアクセスを開始する。
そして、追記部321は、S702の処理として、文番号mに1を代入する。
そして、追記部321は、S703の処理として、操作情報DBの文番号mを画像名に含む画像は、要約版画像格納部421の所定の位置に格納されているかについての判定を行う。
追記部321は、S703の処理による判定結果がyesの場合はS704の処理を行う。
一方、追記部321は、S703の処理による判定結果がnoの場合は、図24に表す処理を終了する。
追記部321は、S704の処理を行う場合は、同処理として、S703の処理により要約版画像格納部421に格納されていることを判定した画像を、要約版画像格納部421から読み出す。
そして、追記部321は、S705の処理として、S704の処理により読み出した画像に、操作情報DBの「要約文」に含まれる、文番号mの自然言語文を、画像として追記する。当該追記の際の規則は予め定められているものとする。当該規則には、例えば、自然言語文の当該追記の位置や大きさが含まれる。当該追記後の画像の例は、図25を参照して、後述される。
そして、追記部321は、S706の処理として、定義情報DBの「要約文」に含まれる、文番号mの自然言語文を、画像として追記する。当該追記の際の規則は予め定められているものとする。当該規則には、例えば、自然言語文の追記の位置や大きさが含まれる。当該追記後の画像の例は、図25を参照して、後述される。
そして、追記部321は、S707の処理として、追記後の画像を図2に表す要約版画像格納部421に格納する。その際に、追記部321は、例えば、要約版画像格納部421に格納されている追記前の画像を追記後の画像により置き換える。
そして、追記部321は、S708の処理として、文番号mを一つ増加させる。そして、追記部321は、S703の処理を再度行う。
図25は、追記部321が行う図24に表すS705及びS706の処理に用いる「要約文」及びその「要約文」の第一イラスト及び第二イラストへの追記のされ方の具体例を表す概念図である。
図25に表すように操作情報DB451の「要約文」には自然言語文の「伝票登録システム.exeの受注番号フィールドに入力する」が格納されている。また、定義情報DB456の「要約文」には自然言語文の「自然言語文」の「ソフトウェアロボットはダブルクリックして値入力する」が格納されている。
図25に表すように、追記部321は、「伝票登録システム.exeの受注番号フィールドに入力する」を画像として画像901、902及び912の下に追記する。
そして、図25に表すように、追記部321は、図24のS706の処理により、「ソフトウェアロボットはダブルクリックして値入力する」を画像として、「伝票登録システム.exeの受注番号フィールドに入力する」の画像の下に、さらに追記する。
そして、追記部321は、図24のS707の処理により、追記後の画像により、要約版画像格納部421に格納されている追記前の1_1.pngを置き換える。
[効果]
本実施形態のソフトウェアロボットシステムは、動作処理部が動作を行う際に出力する出力情報から生成した、ソフトウェアロボットの動作を説明する手順書にその内容を表すイラストを組み込む。動作処理部は、前記ソフトウェアロボットシステムにおける、ソフトウェアロボットとしての動作を行うための処理を行う部分である。そのため、前記ソフトウェアロボットシステムは、生成した手順書の内容の理解の容易化を図り得る。
前記ソフトウェアロボットシステムは、前記手順書の自然言語文を生成し、その自然言語文から生成したイラストと前記自然言語文とを組み合わせた手順書を生成する場合がある。その場合、前記ソフトウェアロボットシステムは、自然言語文により担保された説明の正確性と、イラストにより直感的な理解の容易さを兼ね備えた手順書を生成し得る。
その場合において、前記ソフトウェアロボットシステムは、個々の自然言語文とその自然言語文に対応するイラストとの組合せを一つのファイルとする場合がある。その場合、前記ソフトウェアロボットシステムは、組み合わせたファイルを並べることにより、容易にイラスト付の手順書を生成することができる。
その場合において、前記ソフトウェアロボットシステムは、生成したファイルに重要度を付与する場合がある。その場合、前記ソフトウェアロボットシステムは、前記ファイルを重要度順に並べることにより、手順書の内容の把握の容易化を一層図り得る。
前記ソフトウェアロボットシステムは、動作処理部が、操作対象のシステムへ送付し前記出力情報に含まれるコマンド情報の送付のタイミングごとの前記出力情報から、前記自然言語文を生成する場合がある。前記コマンド情報は、前記ソフトウェアロボットが行う主要な動作のために生成されるものである。従い、前記コマンド情報の送付のタイミングにおける前記出力情報は、動作処理部が行う主要な動作を説明するための情報として適切なものである。従い、前記ソフトウェアロボットシステムは、この場合、動作処理部が行う主要な動作の説明を網羅した手順書を生成し得る。
前記ソフトウェアロボットシステムは、前記自然言語文に含まれる名詞から前記イラストを生成する場合がある。名詞は、意味のうえから、事物の名称を表したり、状態,性質,存在などの概念を表したりする単語である。さらに、動作処理部が生成する情報では、一般的に主語は省略されているので、名詞は、対象を表す場合がほとんどである。従い、名詞は、一般的に、前記自然言語文が説明すべき内容が集約されていると考えられる。そのため、前記ソフトウェアロボットシステムは、名詞をイラスト化することにより、説明すべき内容を適切に表現するイラストを生成し得る。
前記ソフトウェアロボットシステムは、前記自然言語文に含まれる動詞から生成したイラストを名詞から生成したイラストに組み合わせる場合がある。動詞は、一般的には,文の述語となって,動作,状態などの概念を表すものとされる。従い、この場合、前記ソフトウェアロボットシステムは、名詞から生成したイラストの内容を、動詞により生成したイラストにより強調、限定及び明確化することが可能になる。従い、その場合、前記ソフトウェアロボットシステムは、名詞から生成したイラストに動詞から生成したイラストを組み合わせることにより、説明すべき内容を一層適切に表現するイラストを生成し得る。
前記ソフトウェアロボットシステムは、操作情報から生成した前記自然言語文と定義情報から生成した前記自然言語文とを別々に生成し、同自タイミングに係るこれらを後に組み合わせる場合がある。ここで、前記操作情報は、動作処理部が操作信号の送付により代行する人が行う操作の内容を説明する情報である。また、前記定義情報は、前記操作のために人が行う動作を表す情報である。従い、同時刻に係る前記操作情報と前記定義情報とは、組み合わせられることにより、説明すべき内容をより適切に説明し得る。従い、前記ソフトウェアロボットシステムは、より適切な手順書を生成し得る。
前記ソフトウェアロボットシステムは、前記自然言語文を要約したうえで、その要約文に前記イラストを挿入する場合がある。その場合、前記ソフトウェアロボットシステムは、前記手順書の内容の要旨の把握を容易化し得る。
図26は、実施形態のソフトウェアロボットシステムを実現可能な情報処理装置のハードウェア構成例を表す概念図である。
情報処理装置90は、通信インタフェース91、入出力インタフェース92、演算装置93、記憶装置94、不揮発性記憶装置95及びドライブ装置96を備える。
通信インタフェース91は、各実施形態のソフトウェアロボットシステムが、有線あるいは/及び無線で外部装置と通信するための通信手段である。なお、ソフトウェアロボットシステムを、少なくとも二つの情報処理装置を用いて実現する場合、それらの装置の間を通信インタフェース91経由で相互に通信可能なように接続しても良い。
入出力インタフェース92は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。
演算装置93は、汎用のCPU(Central Processing Unit)やマイクロプロセッサ等の演算処理装置である。演算装置93は、例えば、不揮発性記憶装置95に記憶された各種プログラムを記憶装置94に読み出し、読み出したプログラムに従って処理を実行することが可能である。
記憶装置94は、演算装置93から参照可能な、RAM(Random Access Memory)等のメモリ装置であり、プログラムや各種データ等を記憶する。記憶装置94は、揮発性のメモリ装置であっても良い。
不揮発性記憶装置95は、例えば、ROM(Read Only Memory)、フラッシュメモリ、等の、不揮発性の記憶装置であり、各種プログラムやデータ等を記憶することが可能である。
ドライブ装置96は、例えば、後述する記録媒体97に対するデータの読み込みや書き込みを処理する装置である。
記録媒体97は、例えば、光ディスク、光磁気ディスク、半導体フラッシュメモリ等、データを記録可能な任意の記録媒体である。
本発明の各実施形態は、例えば、図26に例示した情報処理装置90によりソフトウェアロボットシステムを構成することにより実現されてもよい。その場合において、本発明の各実施形態は、このソフトウェアロボットシステムに対して、上記各実施形態において説明した機能を実現可能なプログラムを供給することにより実現されてもよい。
この場合、ソフトウェアロボットシステムに対して供給したプログラムを、演算装置93が実行することによって、実施形態を実現することが可能である。また、ソフトウェアロボットシステムのすべてではなく、一部の機能を情報処理装置90で構成することも可能である。
さらに、上記プログラムを記録媒体97に記録しておき、ソフトウェアロボットシステムの出荷段階、あるいは運用段階等において、適宜上記プログラムが不揮発性記憶装置95に格納されるよう構成してもよい。なお、この場合、上記プログラムの供給方法は、出荷前の製造段階、あるいは運用段階等において、適当な治具を利用してソフトウェアロボットシステム内にインストールする方法を採用してもよい。また、上記プログラムの供給方法は、インターネット等の通信回線を介して外部からダウンロードする方法等の一般的な手順を採用してもよい。
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。
図27は、実施形態の生成装置の最小限の構成である生成装置300xの構成を表すブロック図である。
生成装置300xは、自然言語化部301xと、第一選択部311xと、生成部316xとを備える。
自然言語化部301xは、ソフトウェアロボットからの出力情報を自然言語文にする。
第一選択部311xは、前記自然言語文から第一イラストを選択する。
生成部316xは、前記自然言語文と前記第一イラストとの組から、前記ソフトウェアロボットの動作を説明する文書を生成する。
生成装置300xは、前記ソフトウェアロボットの動作を説明する文書にその文書を生成する元となった前記自然言語文から生成し他前記第一イラストを組み込む。そのため、生成装置300xは、前記第一イラストにより、生成した手順書の内容の理解の容易化を図り得る。
そのため、生成装置300xは、前記構成により、[発明の効果]の項に記載した効果を奏する。
ここで、図27に表す生成装置300xは、例えば、図2に表す手順書生成装置300である。
また、自然言語化部301xは、例えば、自然言語化部301である。
また、第一選択部311xは、例えば、イラスト化部311である。
また、生成部316xは、例えば、レイアウト部316である。
また、前記ソフトウェアロボットは、例えば、ロボット部200である。
また、前記自然言語文は、例えば、図6及び図7に表す「自然言語文」の項に格納される自然言語文である。
また、前記第一イラストは、例えば、図12に表す画像901乃至903である。
また、前記自然言語文と前記第一イラストとの組は、例えば、図23に表す画像名115810.pngの画像である。
また、前記ソフトウェアロボットの動作を説明する文書は、例えば、手順書である。
以上、本発明の各実施形態を説明したが、本発明は、前記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で更なる変形、置換、調整を加えることができる。例えば、各図面に示した要素の構成は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。
また、前記の実施形態の一部又は全部は、以下の付記のようにも記述され得るが、以下には限られない。
(付記1)
ソフトウェアロボットからの出力情報を自然言語文にする自然言語化部と、
前記自然言語文から第一イラストを選択する第一選択部と、
前記自然言語文と前記第一イラストとの組から、前記ソフトウェアロボットの動作を説明する文書を生成する生成部と、
を備える、
生成装置。
(付記2)
前記出力情報は、前記ソフトウェアロボットがその操作対象とするシステムへ送付するコマンド情報を含み、前記自然言語化部は、前記コマンド情報の生成のタイミングごとの前記出力情報を前記自然言語文にする、付記1に記載された生成装置。
(付記3)
前記第一選択部は、前記自然言語文に含まれる名詞から前記第一イラストを選択する、付記1又は付記2に記載された生成装置。
(付記4)
前記第一イラストを保持する第一イラスト格納部をさらに備え、前記第一選択部は、前記第一イラストの選択を、前記第一イラスト格納部が保持する前記第一イラストから行う、付記3に記載された生成装置。
(付記5)
前記第一選択部は、前記第一イラストの選択を、第一の類比判断により行う、付記3又は付記4に記載された生成装置。
(付記6)
前記自然言語文が含む動詞から第二イラストを選択する第二選択部と、前記第二イラストを、前記第一選択部がその前記自然言語文から選択した前記第一イラストと組み合わせた第二組合情報を生成する第二組合部とをさらに備える、付記3乃至付記5のうちのいずれか一に記載された生成装置。
(付記7)
前記第二イラストを保持する第二イラスト格納部をさらに備え、前記第二選択部は、前記第二イラストの選択を、前記第二イラスト格納部が保持する前記第二イラストから行う、付記6に記載された生成装置。
(付記8)
前記第二選択部は、前記第二イラストの選択を、第二の類比判断により行う、付記6又は付記7に記載された生成装置。
(付記9)
前記自然言語文の各々と、その前記自然言語文から生成した前記第一イラストとを組み合わせた第一組合情報を生成する第一組合部をさらに備える、付記1乃至付記8のうちのいずれか一に記載された生成装置。
(付記10)
前記第一組合情報が画像情報である、付記9に記載された生成装置。
(付記11)
前記第一組合情報が前記自然言語文を画像で含む、付記9又は付記10に記載された生成装置。
(付記12)
前記生成部は、前記第一組合情報を並べることにより、前記文書を生成する、付記9乃至付記11のうちのいずれか一に記載された生成装置。
(付記13)
前記第一組合情報には前記第一組合情報の重要度が結び付けられており、前記生成部は、前記重要度により前記第一組合情報を並べる、付記12に記載された生成装置。
(付記14)
前記自然言語文から要約文を生成する要約部をさらに備え、前記第一選択部は、前記要約文から前記第一イラストである要約用第一イラストを選択し、前記生成部は、前記要約文と前記要約用第一イラストとの組から、前記文書の要約を生成する、付記1乃至付記13のうちのいずれか一に記載された生成装置。
(付記15)
前記第一選択部は、前記要約文に含まれる名詞から前記要約用第一イラストを選択する、付記14に記載された生成装置。
(付記16)
前記第一選択部は、前記要約用第一イラストの選択を、第三類比判断により行う、付記15に記載された生成装置。
(付記17)
前記要約文が含む動詞から要約用第二イラストを選択する第四選択部と、前記要約用第二イラストを、前記第一選択部がその前記要約文から選択した前記要約用第一イラストと組み合わせた第四組合情報を生成する第四組合部とを備える、付記15又は付記16に記載された生成装置。
(付記18)
前記第四選択部は、前記要約用第二イラストの選択を、第四の類比判断により行う、付記17に記載された生成装置。
(付記19)
前記要約文の各々に、その前記要約文から選択した前記要約用第一イラストを組み合わせた第三組合情報を生成する第三組合部をさらに備える、付記14乃至付記18のうちのいずれか一に記載された生成装置。
(付記20)
前記第三組合情報が画像情報である、付記19に記載された生成装置。
(付記21)
前記第三組合情報に前記要約文が画像により含まれている、付記19又は付記20に記載された生成装置。
(付記22)
前記生成部は、前記第三組合情報を並べることにより、前記要約を生成する、付記19乃至付記21のうちのいずれか一に記載された生成装置。
(付記23)
前記第三組合情報には前記第三組合情報の要約用重要度が結び付けられており、前記生成部は、前記要約用重要度により前記第三組合情報を並べる、付記19乃至付記22のうちのいずれか一に記載された生成装置。
(付記24)
付記1乃至付記23のうちのいずれか一に記載された生成装置と、前記ソフトウェアロボットを備える、ソフトウェアロボットシステム。
(付記25)
ソフトウェアロボットからの出力情報を自然言語文にし、
前記自然言語文から第一イラストを選択し、
前記自然言語文と前記第一イラストとの組から、前記ソフトウェアロボットの動作を説明する文書を生成する、
生成方法。
(付記26)
ソフトウェアロボットからの出力情報を自然言語文にする処理と、
前記自然言語文から第一イラストを選択する処理と、
前記自然言語文と前記第一イラストとの組から、前記ソフトウェアロボットの動作を説明する文書を生成する処理と、
をコンピュータに実行させる生成プログラム。