JP2011123744A - 文書評価装置、文書評価プログラム及び文書評価方法 - Google Patents

Abstract

【課題】評価対象文書の参照記述の不足を判定した結果から、評価対象文書の品質を評価できる文書評価装置、文書評価プログラム及び文書評価方法を提供することを目的とする。
【解決手段】評価の対象文書に対する操作ログを参照し、対象文書に記述されている参照先以外の参照先を探す操作が操作ログに含まれていれば、対象文書の参照記述が不足していると判定する仕様書評価手段２３を有する文書評価装置１０により上記課題を解決する。
【選択図】 図３

Description

本発明はコンピュータ上で閲覧される文書を評価する文書評価装置、文書評価プログラム及び文書評価方法に関する。

例えば文書の内容検査，文書の内容評価又は文書の重要度判定など、文書の評価をコンピュータ上で行う技術は従来から知られている（例えば特許文献１〜３参照）。

特開２００９−６４３３９号公報 特開２００５−５６２１８号公報 特開２００７−１１６６２号公報

ここでは、コンピュータ上で評価される文書の一例として複数のモジュールを有するソフトウェアの仕様書（ソフトウェア仕様書）を例に説明する。ソフトウェア仕様書は開発者等が読むことで、対象とするソフトウェアを作れるように書かれている。ただし、ソフトウェア仕様書は、各モジュールの仕様書（モジュール仕様書）と、各モジュールが共通して利用する標準規約や変数定義の仕様書（共通仕様書）とが分かれて書かれている。

したがって、開発者等は対象とするソフトウェアを作る為に、複数の仕様書を参照して理解する必要がある。このため、モジュール仕様書では参照先が分かるように参照先を具体的に記述しておく必要がある。

モジュール仕様書に参照先が記述されている場合、記述されている参照先が適切であるかは、コンピュータに、他を参照することを明示的に記述した言葉と、他を参照することを明示的に記述した言葉の周辺に出現する参照先，参照する変数名や機能名とを既存の自然言語処理により抽出させ、正しく参照先を指定しているか否かの判定をさせることにより評価できる。

しかしながら、モジュール仕様書に他を参照することを明示的に記述した言葉が記述されていない場合、コンピュータはモジュール仕様書の記述から参照の必要な箇所を特定できず、参照の必要な箇所で参照先の記述が欠落している箇所を特定できないという問題があった。

図１はモジュール仕様書に参照先が記述されている例と記述されていない例とを説明するための説明図である。モジュールＡ仕様書１は、他を参照することを明示的に記述した参照先を表す言葉の一例として「参照」が記述されている。その他、参照先を表す言葉としては「に書いてある通り」等がある。モジュールＡ仕様書１は「参照」の周辺に出現する参照先の仕様書名の一例として「標準規約」「変数定義」が記載されている。

さらに、モジュールＡ仕様書１は「参照」の周辺に出現する変数名や機能名の一例として「確認表示」「商品名」「品数」が記載されている。モジュールＡ仕様書１は「参照」が記述されている為、コンピュータに、「参照」の周辺に出現する仕様書名「標準規約」と機能名「確認表示」とを抽出させることができると共に、仕様書名「変数定義」と変数名「商品名」「品数」とを抽出させることができる。

モジュールＡ仕様書１は、抽出された参照する変数名「商品名」「品数」や機能名「確認表示」が、参照先の変数定義書２や標準規約書３に現れるか否かで適正性を判断されることになる。

しかし、モジュールＡ仕様書１は例えば機能名「登録結果表示」が参照の必要な箇所であったとしても、機能名「登録結果表示」の周辺に、他を参照することを明示的に記述した言葉である「参照」等が記述されていない。このため、コンピュータは、機能名「登録結果表示」が参照の必要な箇所であると特定できないという問題があった。

このように、従来は参照すべき仕様書が参照先としてモジュールＡ仕様書１に記述されているか否かによる品質の評価をコンピュータに行わせることができなかった。

本発明の一実施形態は、上記の点に鑑みなされたもので、評価対象文書の参照記述の不足を判定した結果から、評価対象文書の品質を評価できる文書評価装置、文書評価プログラム及び文書評価方法を提供することを目的とする。

上記課題を解決するため、本発明の一実施形態は、評価の対象文書に対する操作ログを参照し、前記対象文書に記述されている参照先以外の参照先を探す操作が前記操作ログに含まれていれば、前記対象文書の参照記述が不足していると判定する仕様書評価手段を有する文書評価装置である。

なお、本発明の一実施形態の構成要素、表現又は構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。

上述の如く、本発明の一実施形態によれば、評価対象文書の参照記述の不足を判定した結果から、評価対象文書の品質を評価できる。

モジュール仕様書に参照先が記述されている例と記述されていない例とを説明するための説明図である。 本実施例の文書評価装置の一例のハードウェア構成図である。 文書評価装置の一例のブロック構成図である。 文書評価装置の処理概要を表した一例のフローチャートである。 操作ログの一例の構成図である。 評価対象のモジュール仕様書の一例のイメージ図である。 標準規約書及び変数定義書の一例のイメージ図である。 操作ログの分割処理を表した一例のフローチャートである。 ステップＳ１１の処理を表したイメージ図である。 ステップＳ１３の処理を表したイメージ図である。 ログ区間候補内の２ページと３ページとの表示の変化を表す表である。 ステップＳ１４の処理を表したイメージ図である。 参照候補箇所の有無の判定処理を表した一例のフローチャートである。 ステップＳ２１の処理を表したイメージ図である。 ステップＳ２３，Ｓ２４の処理を表したイメージ図である。 ステップＳ２５の処理手順を表した一例のフローチャートである。 ステップＳ２５，Ｓ２６の処理を表したイメージ図である。 ステップＳ２７の処理手順を表した一例のフローチャートである。 ステップＳ２７，Ｓ２８の処理を表したイメージ図である。 ステップＳ２９の処理を表したイメージ図である。 ステップＳ３０の処理を表したイメージ図である。 評価結果の一例のイメージ図である。

次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明していく。以下の実施例では、コンピュータ上で品質を評価される文書の一例として、複数のモジュールを有するソフトウェアのソフトウェア仕様書を例に説明する。

（ハードウェア構成）
図２は、本実施例の文書評価装置の一例のハードウェア構成図である。文書評価装置１０は、スタンドアローンの形態でも良いし、インターネットやＬＡＮなどのネットワーク経由でユーザ端末にデータ通信可能に接続された形態でもよい。

文書評価装置１０は、それぞれバスＢで相互に接続されている入力装置１１，出力装置１２，ドライブ装置１３，補助記憶装置１４，主記憶装置１５，演算処理装置１６及びインターフェース装置１７を有する。

入力装置１１はキーボードやマウス等である。入力装置１１は、各種信号を入力するために用いられる。出力装置１２はディスプレイ装置等である。出力装置１２は、各種ウインドウやデータ等を表示するために用いられる。インターフェース装置１７は、モデム又はＬＡＮカード等である。インターフェース装置１７は、ネットワークに接続する為に用いられる。

本実施例の文書評価プログラムは、文書評価装置１０を制御する各種プログラムの少なくとも一部である。文書評価プログラムは例えば記録媒体１８の配布やネットワークからのダウンロードなどによって提供される。文書評価プログラムを記録した記録媒体１８はＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

文書評価プログラムを記録した記録媒体１８がドライブ装置１３にセットされると、文書評価プログラムは記録媒体１８からドライブ装置１３を介して補助記憶装置１４にインストールされる。なお、ネットワークからダウンロードされた文書評価プログラムは、インターフェース装置１７を介して、補助記憶装置１４にインストールされる。補助記憶装置１４はインストールされた文書評価プログラムを格納すると共に、必要なファイル，データ等を格納する。

主記憶装置１５は、文書評価プログラムの起動時に補助記憶装置１４から文書評価プログラムを読み出して格納する。そして、演算処理装置１６は主記憶装置１５に格納された文書評価プログラムに従って、後述するような各種処理を実現している。

（ブロック構成）
図３は文書評価装置の一例のブロック構成図である。文書評価装置１０は、操作ログ入力部２１，仕様書入力部２２，仕様書評価部２３，評価結果出力部２４，操作ログＤＢ２５及び仕様書ＤＢ２６を有する。

なお、図３では文書評価装置１０内に操作ログ入力部２１，仕様書入力部２２，操作ログＤＢ２５及び仕様書ＤＢ２６を有しているが、文書評価装置１０外（例えばＤＢサーバなど）に設けてもよい。ソフトウェア仕様書を閲覧する閲覧者の一例としての開発者はＰＣ等のコンピュータ上でソフトウェア仕様書を閲覧する。

操作ログ入力部２１は開発者が評価対象のソフトウェア仕様書を閲覧するコンピュータからユーザの操作ログを取得して、操作ログＤＢ２５に入力する。例えば操作ログ入力部２１は開発者のファイル操作（どのファイルをオープン，コピー，削除したかなど）やＷｅｂ操作，メール操作，何をアクティブウインドウにしたか等を、その操作時刻と共に記録する。

操作ログ入力部２１は、例えばセキュリティ対策ソフトである、ソリトンシステムズのInfo Trace（登録商標）(http://www.soliton.co.jp/products/pc_security/infotrace/index.html)やクオリティのQuality Operate Hawkeye（登録商標）(http://www.quality.co.jp/products/QOH/index.html)で実現できる。また、操作ログ入力部２１は例えばユーザ・インターフェースの開発を目的とした操作ログ収集／分析プロジェクトである、オレゴン大学のTask Tracerで実現できる。

操作ログＤＢ２５に入力される操作ログには、開発者が評価対象のソフトウェア仕様書を閲覧しているときの操作ログが含まれている。仕様書入力部２２は、評価対象のソフトウェア仕様書を取得して、仕様書ＤＢ２６に入力する。

仕様書評価部２３は操作ログＤＢ２５から読み出した操作ログ及び仕様書ＤＢ２６から読み出したソフトウェア仕様書に基づき、後述のように評価対象のソフトウェア仕様書の品質を評価する。評価結果出力部２４は仕様書評価部２３による評価結果を後述のように出力する。なお、本実施例では操作ログにおいて、ソフトウェア仕様書中の明示的な記述に基づいて、同じソフトウェア仕様書の他のページや他の仕様書のあるページを閲覧している操作ログが分かっていることを前提としている。

（処理フローの概要）
図４は文書評価装置の処理概要を表した一例のフローチャートである。ステップＳ１に進み、仕様書評価部２３は操作ログＤＢ２５から例えば図５に示すような操作ログを読み出す。図５は操作ログの一例の構成図である。図５の操作ログは、ＩＤ，開始時刻，終了時刻，操作，表示文書，検索キーワード，操作時間をデータ項目として有する。

データ項目「ＩＤ」は操作ログの識別子である。データ項目「開始時刻」は開発者が操作を開始した開始時間である。データ項目「終了時間」は開発者が操作を終了した終了時間である。データ項目「操作」は開発者が行った操作の種類を表している。

また、データ項目「表示文書」は開発者の操作により表示された表示文書及びページを表している。データ項目「検索キーワード」は開発者が検索に用いたキーワードを表している。データ項目「操作時間」は開発者が操作を開始してから終了するまでの経過時間を表している。

仕様書評価部２３は、読み出した操作ログを、図６に示すような評価対象のモジュール仕様書の各ページのログ区間に分割する操作ログの分割処理を行う。図６は評価対象のモジュール仕様書の一例のイメージ図である。操作ログの分割処理の詳細については、後述する。

ステップＳ２に進み、仕様書評価部２３は参照候補箇所の有無の判定処理を行う。参照候補箇所の有無の判定処理は、評価対象のモジュール仕様書の各ページのログ区間の操作ログから、例えば図７に示すような標準規約書や変数定義書から参照先を探している操作の有無を判定し、参照先を探している操作があれば、その操作により探した参照先から後述のように参照候補箇所を抽出する。参照候補箇所の有無の判定処理の詳細については後述する。図７は標準規約書及び変数定義書の一例のイメージ図である。

ステップＳ３に進み、評価結果出力部２４はステップＳ２の処理結果から、参照候補箇所を探している箇所（例えば評価対象のモジュール仕様書のページ）と、その参照候補箇所（例えば表示文書及びページ）とを評価結果として出力（提示）する。ステップＳ３の処理の詳細については後述する。

（操作ログの分割処理）
図８は操作ログの分割処理を表した一例のフローチャートである。操作ログの分割処理は評価対象のモジュール仕様書のページｉのログ区間を抽出するものである。具体的に操作ログの分割処理は評価対象のモジュール仕様書を閲覧しているときの操作ログを、評価対象のモジュール仕様書の各ページ、及び、関連する箇所を閲覧していると考えられる区間に分割するものである。

操作ログの分割処理は「あるモジュールの仕様書のあるページを閲覧しているときは同じ仕様書の他のページや他の仕様書のあるページを参照したり、別の操作をしたりしても閲覧していたページに戻って仕様を確認する」という性質を利用し、ページｉに関連する可能性がある操作ログを選択する。

仕様書評価部２３はステップＳ１１に進み、操作ログＤＢ２５から読み出した操作ログから、ページｉを表示している操作ログと、ページｉを表示している操作ログの前後一定時間（例えば１０分）の操作ログとをページｉのログ区間に含まれるログ候補（ログ区間候補）として選択する。なお、ステップＳ１１で利用する前後一定時間は、ログ区間候補を選択するための時間幅として設定しておく。

図９はステップＳ１１の処理を表したイメージ図である。図９は仕様書評価部２３が操作ログから評価対象のモジュールＡ仕様書の２ページ，３ページのログ区間候補を選択する様子を表している。

仕様書評価部２３は操作ログからモジュールＡ仕様書の２ページを表示している操作ログとしてＩＤ「１２」「３１」「３４」「３８」の操作ログを選択する。また、仕様書評価部２３は選択したＩＤ「１２」「３１」「３４」「３８」の操作ログの前後一定時間の操作ログを選択する。

そして、仕様書評価部２３はＩＤ「１２」「３１」「３４」「３８」の操作ログとＩＤ「１２」「３１」「３４」「３８」の操作ログの前後一定時間の操作ログとを、モジュールＡ仕様書の２ページのログ区間候補として選択する。

また、仕様書評価部２３は操作ログからモジュールＡ仕様書の３ページを表示している操作ログとしてＩＤ「３５」「３７」「４０」「４２」の操作ログを選択する。また、仕様書評価部２３は選択したＩＤ「３５」「３７」「４０」「４２」の操作ログの前後一定時間の操作ログを選択する。

そして、仕様書評価部２３はＩＤ「３５」「３７」「４０」「４２」の操作ログとＩＤ「３５」「３７」「４０」「４２」の操作ログの前後一定時間の操作ログとを、モジュールＡ仕様書の３ページのログ区間候補として選択する。

図８のステップＳ１２に進み、仕様書評価部２３はステップＳ１１で選択したページｉのログ区間候補に、モジュールＡ仕様書の別のページｊを表示している操作ログが含まれているか否かを判定する。例えば図９の例では２ページのログ区間候補に、モジュールＡ仕様書の３ページを表示しているＩＤ「３５」「３７」「４０」「４２」の操作ログが含まれている。ステップＳ１１で選択したページｉのログ区間候補にモジュールＡ仕様書の別のページｊを表示している操作ログが含まれていれば、仕様書評価部２３はステップＳ１３に進む。なお、ステップＳ１１で選択したページｉのログ区間候補にモジュールＡ仕様書の別のページｊを表示している操作ログが含まれていなければ、仕様書評価部２３は図８に示す処理を終了する。

ステップＳ１３に進み、仕様書評価部２３はページｉのログ区間候補内のページｊを表示する操作ログの前後でページｉの表示時間や頻度、ページｊの表示時間や頻度を操作ログから算出する。ステップＳ１３はページｉのログ区間候補内のページｉとページｊとの表示の変化を算出する為の処理である。

図１０はステップＳ１３の処理を表したイメージ図である。図１０に示したログ区間候補１０１はステップＳ１１で選択した２ページのログ区間候補である。仕様書評価部２３はログ区間候補１０１中、３ページを表示している操作ログ付近の２ページと３ページのそれぞれの表示の操作ログの前後一定時間（例えば５分）で２ページと３ページの表示時間の分布を算出する。

なお、ステップＳ１３で利用する前後一定時間は、評価対象であるモジュールＡ仕様書のページが混在するログ区間候補を分割するための時間幅として設定しておく。ステップＳ１３で利用する前後一定時間は、ステップＳ１１で利用する前後一定時間よりも短い時間とする。

ステップＳ１３で利用する前後一定時間を５分とすると、ＩＤ「３４」の操作ログの前の５分間は２ページの表示時間が１分２７秒、３ページの表示時間が０秒となる。またＩＤ「３４」の操作ログの後の５分間は２ページの表示時間が０秒、３ページの表示時間が３分３５秒となる。なお、ステップＳ１３では表示時間の他、表示操作数などを算出してもよい。

同様にして、ＩＤ「３５」「３７」「３８」「４０」の操作ログの前後５分間の２ページ及び３ページの表示時間を算出する。ステップＳ１３の算出結果により、仕様書評価部２３は図１１に示す表１０２を作成する。図１１はログ区間候補内の２ページと３ページとの表示の変化を表す表である。

図１１の表１０２では、ＩＤ「３４」「３５」の操作ログの前で２ページの表示時間が長く、ＩＤ「３４」「３５」の操作ログの後で３ページの表示時間が長い。また、図１１の表１０２では、ＩＤ「３７」「３８」「４０」の操作ログの前後で３ページの表示時間が長い。なお、ＩＤ「３７」「３８」「４０」の操作ログの前後で３ページの表示時間が長いという判断はトータルで評価したものである。

図８のステップＳ１４に進み、仕様書評価部２３はステップＳ１３で作成した表１０２を利用して、２ページと３ページの表示時間や頻度を比較し、２ページの表示時間や頻度が小さければ、３ページを表示する操作ログ以後をログ区間候補から外す。ステップＳ１４はステップＳ１３の結果からページｉのログ区間候補からページｊの関連操作候補を排除し、ページｉのログ区間とする為の処理である。

図１２はステップＳ１４の処理を表したイメージ図である。仕様書評価部２３は表１０２を利用し、２ページと３ページを表示する操作ログの前後における、それぞれの表示時間や頻度が変わる操作ログの間でログ区間候補を分割し、前後とも３ページの表示時間や頻度が大きいログ区間候補を２ページのログ区間候補から除外する。

例えば図１２のログ区間候補１０３は２ページと３ページを表示する操作ログの前後における、それぞれの表示時間が変わるＩＤ「３４」「３５」の操作ログの間でログ区間候補が分割されている。なお、分割される操作ログに挟まれて他の操作ログがある場合は２ページのログ候補区間、または、３ページのログ候補区間の両方に付けてもよい。

図８のステップＳ１２〜Ｓ１４は、ページｉのログ区間候補中に別のページｊを表示する操作ログがあるとき、ページｉの参照として表示している場合と、ページｊに読み進めている場合とがあるため、ページｉの参照として表示している場合と、ページｊに読み進めている場合とを分離するための処理である。

（参照候補箇所の有無の判定処理）
図１３は参照候補箇所の有無の判定処理を表した一例のフローチャートである。参照候補箇所の有無の判定処理は評価対象のモジュール仕様書のページｉのログ区間から、参照先を探している操作ログの有無を判定するものである。

具体的に参照候補箇所の有無の判定処理は、評価対象のモジュール仕様書に記述されている、他を参照することを明示的に記述した言葉（例えば参照など）に基づく表示の操作ログ以外の操作ログから、参照の記述が不足しているときに現れる一連の操作の有無を判定する。参照の記述が不足しているときに現れる一連の操作としては、検索や探しながら他の箇所を閲覧する一連の操作がある。

他を参照することを明示的に記述した言葉（例えば参照など）に基づく表示の操作ログ以外の操作ログに、参照の記述が不足しているときに現れる一連の操作があれば、仕様書評価部２３は参照記述が不足していると判定し、参照の記述が不足しているときに現れる一連の操作により探した参照先から後述のように参照候補箇所を抽出するものである。

ステップＳ２１に進み、仕様書評価部２３は仕様書ＤＢ２６から評価対象のモジュール仕様書を読み出す。仕様書評価部２３は評価対象のモジュール仕様書のページｉのログ区間中、評価対象のモジュール仕様書のページｉの中の参照の記述に基づいて、他の仕様書の箇所を表示している操作ログを処理済みとする。なお、操作ログを処理済みにする方法としては、例えばログ区間から除外する他、フラグ等を利用するようにしてもよい。

図１４はステップＳ２１の処理を表したイメージ図である。図１４はモジュールＡ仕様書２０２の参照記述により、参照を記述している箇所を抽出し、参照の記述に基づき標準規約書２０３を表示するＩＤ「１３」の操作ログを処理済みとしてログ区間２０１から除外する様子を表している。ログ区間２０１は図１２のログ区間候補１０３と同様な構成となっている。

ステップＳ２２に進み、仕様書評価部２３はログ区間２０１に未処理の検索の操作ログか未処理の表示の操作ログが残っているか否かを判定する。ログ区間２０１に未処理の検索の操作ログか未処理の表示の操作ログが残っていれば、仕様書評価部２３はステップＳ２３に進む。なお、ログ区間２０１に未処理の検索の操作ログ及び未処理の表示の操作ログが残っていなければ、仕様書評価部２３は図１３の処理を終了する。

ステップＳ２３に進み、仕様書評価部２３はログ区間２０１に未処理の検索の操作ログがあるか否かを判定する。ログ区間２０１に未処理の検索の操作ログがあれば、仕様書評価部２３はステップＳ２４に進み、未処理の検索の操作ログから検索キーワードを抽出したあと、抽出した検索キーワードがモジュール仕様書のページｉに含まれるか否かを判定する。

抽出した検索キーワードがモジュール仕様書のページｉに含まれれば、検索はページｉに参照先の記述が不足していた為に成された可能性が高い。そこて、仕様書評価部２３は抽出した検索キーワードがモジュール仕様書のページｉに含まれれば、ステップＳ２７に進む。

図１５はステップＳ２３，Ｓ２４の処理を表したイメージ図である。図１５はログ区間２０１に未処理の検索の操作ログであるＩＤ「１０」の操作ログがあり、ＩＤ「１０」の操作ログに含まれる検索キーワードが評価対象のモジュールＡ仕様書２０２の２ページに含まれている様子を表している。

ステップＳ２３において、ログ区間２０１に未処理の検索の操作ログがなければ、仕様書評価部２３はステップＳ２５に進み、未処理の表示の操作ログの連続性、表示時間の分布から、探しながら他の箇所を閲覧している可能性を評価する。

図１６はステップＳ２５の処理手順を表した一例のフローチャートである。ステップＳ２５１に進み、仕様書評価部２３はログ区間２０１に含まれる未処理の表示の操作ログの操作時間を抽出する。仕様書評価部２３は未処理の表示の操作ログの操作時間と、ページを繰る操作を判定する操作時間、又は、ページを熟読している操作と判定する操作時間とを比較し、ページを繰っている操作か、ページを読んでいる操作か、ページを少しだけ読んでいる操作かを判定する。

ステップＳ２５２に進み、仕様書評価部２３はページを繰っている操作，ページを読んでいる操作及びページを少しだけ読んでいる操作が混在して、未処理の表示の操作ログで一定以上連続しているか否かを判定する。ページを繰っている操作，ページを読んでいる操作及びページを少しだけ読んでいる操作が混在して、未処理の表示の操作ログで一定以上連続していると判定すれば、仕様書評価部２３はステップＳ２５３に進み、探しながら他の箇所を閲覧している操作ログであると評価する。なお、ステップＳ２５２で利用する操作ログの連続は、探しながらの閲覧であると評価する連続操作数として設定しておく。

ページを繰っている操作，ページを読んでいる操作及びページを少しだけ読んでいる操作が混在して、未処理の表示の操作ログで一定以上連続していないと判定すれば、仕様書評価部２３はステップＳ２５４に進み、探しながら他の箇所を閲覧している操作ログではないと評価する。

図１３のステップＳ２６に進み、仕様書評価部２３は探しながら他の箇所を閲覧していると評価すればステップＳ２７に進む。一方、仕様書評価部２３は探しながら他の箇所を閲覧していると評価しなければステップＳ２８に進む。

図１７はステップＳ２５，Ｓ２６の処理を表したイメージ図である。ステップＳ２５及びＳ２６は探している操作である可能性を評価する処理である。ステップＳ２５及びＳ２６の処理は、連続してページｉ以外を表示している未処理の操作ログに対して、予め定められた表示時間の閾値や表示時間の分布から統計的に求めた閾値などで表示の操作ログがページを繰っているのか、ページを少しだけ読んでいるのか、ページを読んでいるのかを判定する。ステップＳ２５及びＳ２６の処理は、一連の操作の判定から探している操作である可能性を評価する。

図１７の例ではＩＤ「１５」からＩＤ「１９」の操作ログが、連続してページｉ以外を表示している未処理の操作ログとなる。ＩＤ「１５」からＩＤ「１９」の操作ログが表す変数定義書の各ページの表示時間、または記述量あたりの表示時間の分布から、仕様書評価部２３は探しながら閲覧している操作か、ページを繰っている操作かを判定する。

図１７の例では、ページを繰る操作を判定する操作時間、及び、ページを熟読している操作と判定する操作時間を閾値として用いて、表示の操作ログがページを繰っている操作ログなのか、ページを少しだけ読んでいる操作ログなのか、ページを読んでいるのかを判定する操作ログなのかを分類する。

仕様書評価部２３は分類した表示の操作ログがページを繰っている操作ログ、ページを少しだけ読んでいる操作ログ、ページを読んでいる操作ログが連続して混在している一連の操作ログを、探しながら閲覧している操作ログと判定する。

図１７では探しながら閲覧している操作ログと判定される場合と、されない場合とを表している。連続する未処理の操作ログが一定回数未満であるか、連続していてもページを繰っているだけと判定される操作ログばかりのときは探しながら閲覧している操作ログと判定されない。なお、図１７では表示の操作ログの回数を閾値にするのではなく、連続する操作ログの表示時間の変動から判定する方法もありえる。

連続する操作ログの表示時間の変動から判定する方法は、表示時間が、その連続操作の表示時間の平均から所定時間以内の違いしかない操作と、所定時間以上の違いがある操作とが混在する場合に、探しながら閲覧している操作ログと判定する方法がある。

また、連続する未処理の操作ログが一定回数以上であり、且つ、ページを繰っている操作ログ、ページを少しだけ読んでいる操作ログ、ページを読んでいる操作ログが混在しているときは、探しながら閲覧している操作ログと判定される。

図１３のステップＳ２７に進み、検索結果を表示する操作ログ、又は、探しながら閲覧している操作ログと、ページｉの表示の操作ログとの時間的な近さから、ページｉの参照先の記述が不足している可能性を評価する。

図１８はステップＳ２７の処理手順を表した一例のフローチャートである。ステップＳ２７１に進み、仕様書評価部２３は検索結果を表示する操作ログ、又は、探しながら閲覧している操作ログと、その直近の前後のページｉの表示の操作ログとの時間差を取る。

ステップＳ２７２に進み、仕様書評価部２３はページｉの表示の操作ログと、検索結果を表示する操作ログ、又は、探しながら閲覧している操作ログが時間的に近いか否かを判定する。なお、ステップＳ２７２で利用する時間的に近いか否かを判定する閾値は予め設定しておく。

また、ステップＳ２７２では検索結果を表示する操作ログ、又は、探しながら閲覧している操作ログと、その直近の前後のページｉの表示の操作ログとの時間差ではなく、検索結果を表示する操作ログ、及び、探しながら閲覧している操作ログ以外の操作ログの数を利用してもよい。

ページｉの表示の操作ログと、検索結果を表示する操作ログ、又は、探しながら閲覧している操作ログが時間的に近いと判定すると、仕様書評価部２３はステップＳ２７３に進み、参照先の記述が不足している可能性ありと評価し、図１８のフローチャートの処理を終了する。

ページｉの表示の操作ログと、検索結果を表示する操作ログ、又は、探しながら閲覧している操作ログが時間的に近くないと判定すると、仕様書評価部２３はステップＳ２７４に進み、参照先の記述が不足している可能性なしと評価し、図１８のフローチャートの処理を終了する。

図１３のステップＳ２８に進み、仕様書評価部２３は評価対象のモジュール仕様書について参照先の記述が不足しているか否かを判定する。参照先の記述が不足していると判定すると、仕様書評価部２３はステップＳ２９に進み、後述のように参照候補箇所を抽出したあとステップＳ３０に進む。参照先の記述が不足していないと判定すると、仕様書評価部２３はステップＳ２８に続いてステップＳ３０に進む。

図１９はステップＳ２７，Ｓ２８の処理を表したイメージ図である。ステップＳ２７及びＳ２８は、検索結果を表示する操作ログ、又は、探しながら閲覧している操作ログからページｉの参照先の記述が不足している可能性を評価する処理である。

なお、ステップＳ２４において検索キーワードがモジュール仕様書のページｉに含まれていても、ステップＳ２５及びＳ２６で探しながら閲覧している操作ログであると判定されても、その操作ログは必ずしもページｉに関係した操作とは限らない。

そこで、ステップＳ２７，Ｓ２８では「あるモジュールの仕様書のあるページを閲覧しているときは同じ仕様書の他のページや他の仕様書のあるページを参照したり、別の操作をしたりしても、閲覧していたページに戻って仕様を確認する」という性質と、ページｉの表示の操作ログと、検索結果を表示する操作ログ、又は、探しながら閲覧している操作ログの時間的な近さなどを用いて、参照の記述の不足を判定する。

図１９（Ａ）及び図１９（Ｂ）は、検索結果を表示する操作ログからページｉの参照先の記述が不足している可能性を評価する処理のイメージ図である。図１９（Ａ）はページｉの参照先の記述が不足していると判定される場合を表している。図１９（Ｂ）はページｉの参照先の記述が不足していないと判定される場合を表している。

図１９（Ａ）では「検索結果から仕様書を表示している操作ログ」から「ページｉを表示する操作ログ」までの間に他の操作ログが含まれておらず、時間的に近いため、検索結果から仕様書を表示したあと、閲覧していたページｉに戻って仕様を確認したと判断することができる。このため、図１９（Ａ）はページｉの参照先の記述が不足していると判断できる。

図１９（Ｂ）では「検索結果から仕様書を表示している操作ログ」から「ページｉを表示する操作ログ」までの間に「メール閲覧やＷｅｂ閲覧など仕様書の閲覧と関係のない操作ログ」が含まれており、時間的に遠いため、検索結果から仕様書を表示したあと、閲覧していたページｉに戻って仕様を確認したと判断することができない。このため、図１９（Ｂ）はページｉの参照先の記述が不足していないと判断できる。

図１９（Ｃ）及び図１９（Ｄ）は、探しながら閲覧している操作ログからページｉの参照先の記述が不足している可能性を評価する処理のイメージ図である。図１９（Ｃ）はページｉの参照先の記述が不足していると判定される場合を表している。図１９（Ｄ）はページｉの参照先の記述が不足していないと判定される場合を表している。

図１９（Ｃ）では前の「ページｉを表示する操作ログ」から後の「ページｉを表示する操作ログ」までの間の「探しながら閲覧している操作ログ」に他の操作ログが含まれておらず、時間的に近いため、探しながら他の箇所を閲覧したあと、閲覧していたページｉに戻って仕様を確認したと判断することができる。このため、図１９（Ｃ）はページｉの参照先の記述が不足していると判断できる。

図１９（Ｄ）では前の「ページｉを表示する操作ログ」から後の「ページｉを表示する操作ログ」までの間の「探しながら閲覧している操作ログ」に「メール閲覧やＷｅｂ閲覧など仕様書の閲覧と関係のない操作ログ」が含まれており、時間的に遠いため、探しながら他の箇所を閲覧したあと、閲覧していたページｉに戻って仕様を確認したと判断することができない。このため、図１９（Ｄ）はページｉの参照先の記述が不足していないと判断できる。

このように、仕様書評価部２３は一連の検索の操作ログ，検索結果を表示する操作ログ又は探しながら閲覧している操作ログと、一連の検索の操作ログ，検索結果を表示する操作ログ又は探しながら閲覧している操作ログを間に挟む前後のページｉを表示する操作ログとの時間差や、前後のページｉを表示する操作ログに挟まれる検索の操作ログ，検索結果を表示する操作ログ又は探しながら閲覧している操作ログとは関係のない他の操作ログの数などから、ページｉとの関連性を評価して、ページｉの参照先の記述が不足しているか否かを判定する。図１９の例では、仕様書の閲覧と関係のない操作が、前後のページｉを表示する操作ログの間に複数個ある場合にページｉとの関連性がないと評価し、ページｉの参照先の記述が不足していないと判定する。

図１３のステップＳ２９に進み、仕様書評価部２３は参照先の記述が不足しているとの判定結果に基づき、参照候補箇所を抽出したあと、ステップＳ３０に進む。ステップＳ３０はステップＳ２７の処理に用いた操作ログから参照候補箇所を選択する処理である。

図２０はステップＳ２９の処理を表したイメージ図である。仕様書評価部２３は参照先の記述が不足しているとの判定に用いられた一連の操作ログにデータ項目として含まれる表示文書（閲覧先）から参照候補箇所を選択する。例えば図２０の例では、参照先の記述が不足しているとの判定に用いられた一連の操作ログにデータ項目として含まれる操作時間に基づき、表示時間が予め定められた閾値（熟読閾値）を超えている操作があれば、その操作により探した参照先を参照候補箇所として選択している。その他、仕様書評価部２３は表示時間が長いものの上位数個、または、統計的に内容を読んでいると判定できるだけの時間を掛けているものを参照候補箇所として選択してもよい。

図１３のステップＳ３０に進み、仕様書評価部２３はログ区間２０１からステップＳ２３〜Ｓ２８で用いた操作ログを処理済みとする。図２１はステップＳ３０の処理を表したイメージ図である。図２１の例では、ステップＳ２３〜Ｓ２８で用いたＩＤ「１５」からＩＤ「１９」の操作ログを処理済みとしている。

（評価結果の出力処理）
評価結果の出力処理は、参照候補箇所を探している箇所（例えば評価対象のモジュール仕様書のページ）と、その参照候補箇所（例えば表示文書及びページ）とを評価結果として出力（提示）するものである。

評価結果出力部２４は例えば図２２に示すような画面を評価結果として出力装置１２等に出力する。図２２は評価結果の一例のイメージ図である。図２２のイメージ図は、評価結果として、モジュールＡ仕様書の参照記述が不足しているページと、そのページの参照候補箇所とを表している。例えば図２２のイメージ図ではモジュールＡ仕様書の２ページにおいて変数定義書の１４ページ及び標準規約書の５ページへの参照記述が不足していることを提示している。

（まとめ）
本実施例の文書評価装置１０は、開発者が仕様書を理解する為に読むとき、参照記述があるべき箇所に書かれていない場合、参考になりそうな箇所を仕様書中から探して仕様を理解し、その後、仕様を確認するため、読んでいた仕様書の箇所に戻って仕様を読むという読み方の性質を利用するものである。

このような読み方の性質を元に、本実施例の文書評価装置１０は仕様書を閲覧しているときの操作ログから、参考になりそうな箇所を探している操作、つまり、検索や探しながら他の箇所を閲覧する一連の操作の有無を抽出することで、参照記述が不足している可能性を評価している。

本実施例の文書評価装置１０では、仕様書を一通り読んで、仕様を理解するときのコンピュータ上の操作ログから他の仕様書を閲覧する操作を抽出し、その閲覧の仕方から参照記述が欠落している可能性、また、その参照候補箇所を見つけることができる。

本実施例の文書評価装置１０では、仕様書で参照先が分かるように記述すべき箇所にも関わらず、参照記述が記述されていない箇所を明らかにできる。したがって、本実施例の文書評価装置１０では参照先が分かるように記述すべき箇所に参照記述があるか否かで仕様書の品質を評価できる。

本発明は、以下に記載する付記のような構成が考えられる。
（付記１）
評価の対象文書に対する操作ログを参照し、前記対象文書に記述されている参照先以外の参照先を探す操作が前記操作ログに含まれていれば、前記対象文書の参照記述が不足していると判定する仕様書評価手段
を有する文書評価装置。
（付記２）
前記仕様書評価手段が前記対象文書の参照記述が不足していると判定をすると、参照記述の不足を判定された前記対象文書のページを、参照候補箇所を探しているページとして出力すると共に、前記操作ログに含まれる前記対象文書に記述されている参照先以外の参照先を探す操作の参照先から、表示時間が熟読閾値を超えている操作の参照先を選択して参照候補箇所として出力する評価結果出力手段
を更に有する付記１記載の文書評価装置。
（付記３）
前記仕様書評価手段は、前記対象文書に含まれる検索キーワードによる検索の操作又は前記参照候補箇所を探しながら他のページを閲覧している操作が前記操作ログに含まれていれば、前記対象文書に記述されている参照先以外の参照先を探す操作が前記操作ログに含まれると判定する付記１又は２記載の文書評価装置。
（付記４）
コンピュータを、
評価の対象文書に対する操作ログを参照し、前記対象文書に記述されている参照先以外の参照先を探す操作が前記操作ログに含まれていれば、前記対象文書の参照記述が不足していると判定する仕様書評価手段
として機能させるための文書評価プログラム。
（付記５）
前記コンピュータを、更に、
前記仕様書評価手段が前記対象文書の参照記述が不足していると判定をすると、参照記述の不足を判定された前記対象文書のページを、参照候補箇所を探しているページとして出力すると共に、前記操作ログに含まれる前記対象文書に記述されている参照先以外の参照先を探す操作の参照先から、表示時間が熟読閾値を超えている操作の参照先を選択して参照候補箇所として出力する評価結果出力手段
として機能させるための付記４記載の文書評価プログラム。
（付記６）
前記仕様書評価手段は、前記対象文書に含まれる検索キーワードによる検索の操作又は前記参照候補箇所を探しながら他のページを閲覧している操作が前記操作ログに含まれていれば、前記対象文書に記述されている参照先以外の参照先を探す操作が前記操作ログに含まれると判定する付記４又は５記載の文書評価プログラム。
（付記７）
コンピュータによって実行される文書評価方法であって、
前記コンピュータが、
評価の対象文書に対する操作ログを参照し、前記対象文書に記述されている参照先以外の参照先を探す操作が前記操作ログに含まれていれば、前記対象文書の参照記述が不足していると判定する仕様書評価ステップ
を実行する文書評価方法。
（付記８）
前記コンピュータが、更に、
前記仕様書評価ステップにおいて、前記対象文書の参照記述が不足していると判定をすると、参照記述の不足を判定された前記対象文書のページを、参照候補箇所を探しているページとして出力すると共に、前記操作ログに含まれる前記対象文書に記述されている参照先以外の参照先を探す操作の参照先から、表示時間が熟読閾値を超えている操作の参照先を選択して参照候補箇所として出力する評価結果出力ステップ
を実行する付記７記載の文書評価方法。
（付記９）
前記仕様書評価ステップは、前記対象文書に含まれる検索キーワードによる検索の操作又は前記参照候補箇所を探しながら他のページを閲覧している操作が前記操作ログに含まれていれば、前記対象文書に記述されている参照先以外の参照先を探す操作が前記操作ログに含まれると判定する付記７又は８記載の文書評価方法。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。なお、仕様書評価部２３は特許請求の範囲に記載した仕様書評価手段の一実施例である。評価結果出力部２４は特許請求の範囲に記載した評価結果出力手段の一実施例である。

１，２０２ モジュールＡ仕様書
２ 変数定義書
３，２０３ 標準規約書
１０ 文書評価装置
１１ 入力装置
１２ 出力装置
１３ ドライブ装置
１４ 補助記憶装置
１５ 主記憶装置
１６ 演算処理装置
１７ インターフェース装置
１８ 記録媒体
２１ 操作ログ入力部
２２ 仕様書入力部
２３ 仕様書評価部
２４ 評価結果出力部
２５ 操作ログＤＢ
２６ 仕様書ＤＢ
１０１，１０３ ログ区間候補
１０２ 表
２０１ ログ区間
Ｂ バス

Claims (5)

1. 評価の対象文書に対する操作ログを参照し、前記対象文書に記述されている参照先以外の参照先を探す操作が前記操作ログに含まれていれば、前記対象文書の参照記述が不足していると判定する仕様書評価手段
   を有する文書評価装置。
2. 前記仕様書評価手段が前記対象文書の参照記述が不足していると判定をすると、参照記述の不足を判定された前記対象文書のページを、参照候補箇所を探しているページとして出力すると共に、前記操作ログに含まれる前記対象文書に記述されている参照先以外の参照先を探す操作の参照先から、表示時間が熟読閾値を超えている操作の参照先を選択して参照候補箇所として出力する評価結果出力手段
   を更に有する請求項１記載の文書評価装置。
3. 前記仕様書評価手段は、前記対象文書に含まれる検索キーワードによる検索の操作又は前記参照候補箇所を探しながら他のページを閲覧している操作が前記操作ログに含まれていれば、前記対象文書に記述されている参照先以外の参照先を探す操作が前記操作ログに含まれると判定する請求項１又は２記載の文書評価装置。
4. コンピュータを、
   評価の対象文書に対する操作ログを参照し、前記対象文書に記述されている参照先以外の参照先を探す操作が前記操作ログに含まれていれば、前記対象文書の参照記述が不足していると判定する仕様書評価手段
   として機能させるための文書評価プログラム。
5. コンピュータによって実行される文書評価方法であって、
   前記コンピュータが、
   評価の対象文書に対する操作ログを参照し、前記対象文書に記述されている参照先以外の参照先を探す操作が前記操作ログに含まれていれば、前記対象文書の参照記述が不足していると判定する仕様書評価ステップ
   を実行する文書評価方法。

Images