JP2006040292A - フィードバックデータの管理 - Google Patents
フィードバックデータの管理 Download PDFInfo
- Publication number
- JP2006040292A JP2006040292A JP2005218217A JP2005218217A JP2006040292A JP 2006040292 A JP2006040292 A JP 2006040292A JP 2005218217 A JP2005218217 A JP 2005218217A JP 2005218217 A JP2005218217 A JP 2005218217A JP 2006040292 A JP2006040292 A JP 2006040292A
- Authority
- JP
- Japan
- Prior art keywords
- user feedback
- feedback data
- data
- analysis
- analysis result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000004458 analytical method Methods 0.000 claims description 70
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000013501 data transformation Methods 0.000 abstract 2
- 230000006870 function Effects 0.000 description 17
- 238000012360 testing method Methods 0.000 description 11
- 238000007405 data analysis Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013480 data collection Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013522 software testing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Stored Programmes (AREA)
Abstract
【課題】 ユーザフィードバックデータを管理する方法が要求される。
【解決手段】 ユーザフィードバックデータを管理する方法が開示される。本方法は、前記ユーザフィードバックデータを受け取ること(202)を含む。本方法は、また、データ変換エンジンを使用して前記ユーザフィードバックデータを分類すること(204)を含み、それによって分類済みユーザフィードバックデータを作成し、前記データ変換エンジンが既存の分類規則のセットに従って分類することができなかった前記ユーザフィードバックデータの第1のデータ項目に、注意を引くためにフラグが付けられることを含む。
【選択図】 図2
【解決手段】 ユーザフィードバックデータを管理する方法が開示される。本方法は、前記ユーザフィードバックデータを受け取ること(202)を含む。本方法は、また、データ変換エンジンを使用して前記ユーザフィードバックデータを分類すること(204)を含み、それによって分類済みユーザフィードバックデータを作成し、前記データ変換エンジンが既存の分類規則のセットに従って分類することができなかった前記ユーザフィードバックデータの第1のデータ項目に、注意を引くためにフラグが付けられることを含む。
【選択図】 図2
Description
本発明は、フィードバックデータの管理に関する。
ユーザフィードバックは昔から、ソフトウェアおよびハードウェアの開発者にとって重要な情報源であった。たとえば、ソフトウェアの開発に際して、製品のプレリリース版をテスタグループに或る期間提供して、フィードバックを得ることは有利である。実際の製品のリリース日前にソフトウェア製品を改良するために、プレリリース予備テストプログラム中にテスタ(tester)が直面した問題に基づいてテスタによって得られたフィードバックデータが解析される。
ソフトウェア製品はより複雑になっており、製品化までの時間に対する圧力はより厳しくなっているため、大量のユーザフィードバックデータを正確かつ適時に解析し、重要で有用な提案を、リリースする製品に素早く組み込むことがかつてないほどに重要になっている。たとえば、最近のソフトウェアリリースには、何百もの新機能を実装する何千または何百万ものコードラインが含まれている場合があり、各コードラインをリリース前にテストし、完全なものにする必要がある。各機能は何十または何百ものテスタによってテストされる場合があり、各テスタは1つまたは複数のフィードバック提案を出し得る。
莫大な量のユーザフィードバックデータに加えて、ユーザフィードバックに伴って生じている一問題は、データ収集および解析プロセスの正確性である。たとえば、ソフトウェア分野では、テスタは技術的に洗練されている傾向があり、またフィードバックの実際の内容よりもフィードバックプロセスの形式を尊重することを重要視しない傾向がある。こういったテスタには、各自のフィードバックを製造業者に伝達する各自好みの方法がある傾向がある。テスタは、理想的には、単一の報告ツール(予め定められたフィードバックフォーム(form)等)を採用して、データ収集および解析作業を製造業者にとってより効率的なものにすべきであるが、このようなことは実際には当てはまらない。
テスタに単一の報告ツール(上記予め定められたフィードバックフォーム等)を使用することを要求するポリシーを徹底させることは、実際には殆ど失敗している。個人にとって、製品のテストはボランティア活動である、または見返りが殆どないものである傾向がある。フィードバックデータは金銭的な理由による先入観のないものであることを保証する等、テスタに対して十分に報酬を支払うことを望まない多くの理由がある。したがって、フィードバックポリシーを、見返りを受けない、または見返りがごくわずかであるテスタに対して徹底させることは困難である。さらに、質の良いテスタを見つけることは困難である。こうして、製造業者は、テスタにポリシーを徹底させるのではなく、テスタの伝達スタイルに適応する必要があることを理解した。
したがって、実際には、複数の形式で、様々な通信方法を介してユーザフィードバックを受け取ることが珍しくない。たとえば、ユーザフィードバックは、テキスト文書、電子メール、インスタントメッセージ、ボイスメール、ファクシミリ伝送等で受け取ることがあり得る。ユーザフィードバック形式および通信方法が多様であることにより、ユーザフィードバックデータを解析のために正確かつ適時に収集することが難しくなっている。
ユーザフィードバックに伴って生じている別の問題は、テスタが挙げた問題をまとめて、問題に対処することができるようになるまでのスピードである。生のユーザフィードバックデータを受け取り、解析のためにデータベースに入力した後では、データを素早くフィルタリングして、不真面目な提案を本当に価値のある提案から切り離すことが重要である。生のユーザフィードバックデータを、実施可能な一連の措置を行うことができる意味のある解析に素早くまとめることができるほど、開発チームがユーザ提案をリリースされる製品に組み込むことができる機会が多くなる。開発者はすでに、最終ソフトウェア製品を素早く製品化するという圧力下にあるため、ユーザフィードバックを通じて提示された問題を、素早く正確に実施可能な一連の措置に形を変えることができなければ、ユーザフィードバックデータは無視され、ユーザフィードバックの価値の多くが失われることになる。
従来、ユーザフィードバック解析には、技術的に精通した人間の解析者を採用して、大量のフィードバックデータをふるいに掛け、どの提案(複数可)を開発チームに送り考慮すべきかを確認することが含まれる。ソフトウェア製品はより高度になっており、ユーザフィードバックデータの量は増大しているため、現行のユーザフィードバック解析のパラダイムには深刻な制約があることが明らかになっている。
たとえば、受け取るユーザフォードバックデータが大量であること、および製品化までの時間を短縮する要件により、ユーザフィードバックデータを適時にふるいに掛けるには多数の人間の解析者が必要である。このように多数の人間の解析者を採用することはコストが高くつくことの他に、別々の人間の解析者によってそれぞれ異なる主観および個人的な先入観を有する可能性がある。したがって、或る解析者にとって重要であり得る問題が、別の解析者によって見落とされる可能性がある。実際に、一貫性は、ユーザフィードバックデータの解析に伴う深刻な問題になっている。採用する解析者が少なければ、コストを低減することができ、解析結果をより一貫性のあるものにすることができる。しかし、少数の解析者を採用して大量のユーザフィードバックデータを適宜解析することは、特にパイロットテストから製品リリースまでの期間が、短い製品化スケジュールに見合うように圧縮される場合に可能ではない場合がある。
上記に鑑み、ユーザフィードバックデータを管理する方法および/又はプログラムおよび/又は装置が要求される。
一実施形態において、本発明は、ユーザフィードバックデータを管理する方法に関する。本方法は、ユーザフィードバックデータを受け取ることを含む。本方法はまた、データ変換エンジンを使用してユーザフィードバックデータを分類することを含み、それによって分類済みユーザフィードバックデータを作成し、データ変換エンジンが既存の分類規則のセットに従って分類することができなかったユーザフィードバックデータの第1のデータ項目に、注意を引くためにフラグが付けられることを含む。
別の実施形態では、本発明は、ユーザフィードバックデータを管理するように構成されたコンピュータ可読コードを内蔵したプログラム記憶媒体を備えた製品に関する。ユーザフィードバックデータを受け取るコンピュータ可読コードが含まれる。データ変換エンジンを使用してユーザフィードバックデータを分類し、それによって分類されたユーザフィードバックデータを作成するコンピュータ可読コードも含まれ、これにより、データ変換エンジンによって既存の分類規則のセットに従って分類することができないユーザフィードバックデータの第1のデータ項目は、注意を引くためにフラグが付けられる。
さらに別の実施形態では、本発明は、ユーザフィードバックデータを管理する装置に関する。本発明は、ユーザフィードバックデータを受け取る手段と、ユーザフィードバックデータを分類する手段であって、それによって分類されたユーザフィードバックデータを作成する、分類する手段と、を備える。本発明は、分類されたユーザフィードバックデータを解析する手段であって、それによって解析結果のセットを作成する、解析する手段をさらに備える。本発明は、解析結果のセットのうちの少なくとも1つの解析結果を検討に向けて提示する手段をさらに備える。
本発明のこれらおよび他の特徴について、本発明の詳細な説明の中で、添付図面と併せてさらに詳細に以下説明する。
添付図面中の図において本発明を限定ではなく例として示し、図面中、同様の参照番号は同様の要素を指す。
これより、本発明について、添付図面に示す本発明のいくつかの実施形態を参照して詳細に説明する。以下の説明では、本発明の完全な理解を提供するために、具体的な多くの詳細について記す。しかし、当業者には、本発明はこういった具合的な詳細のいくつかまたはすべてなしで実施し得ることが理解されよう。場合によっては、既知のプロセスステップおよび/または構造については、本発明を不必要に曖昧にしないように詳細に説明していない。
本発明の実施形態によれば、意味のある解析を正確かつ効率的に得ることができるようにユーザフィードバックデータを管理する方法および装置が提供される。一実施形態では、様々な通信技法を使用して様々な形式で受け取り得るユーザフィードバックデータを分類済みユーザフィードバックデータに分類するデータ変換エンジンが設けられる。次いで、分類済みユーザフィードバックデータはデータベースに記憶され、解析され報告される。
データ変換エンジンは、様々な形式で受け取り、多種多様な通信技法を使用して受け取ったデータを処理することが可能である。たとえば、データ変換エンジンは、テキストファイル、XMLファイル、電子メール、ボイスメールまたはファクシミリを転写したもの、インスタントメッセージングテキスト等のユーザフィードバックデータを受け取り、必要に応じて解析し、分類規則のセットを使用して分類することができる。ユーザフィードバックデータは別々の人間によって作成されるため、1つまたは複数のユーザフィードバックデータ項目がデータ変換エンジンによって確実には分類することができない場合があることが予想される。こういった場合、データ変換エンジンは、分類を留保し、そのユーザフィードバックデータ項目を人間による介入に向けてフラグを付ける。別法として、データ変換エンジンは、そのユーザフィードバックデータ項目を暫定的にカテゴリに分類し、それからそのユーザフィードバックデータ項目を人間による介入に向けてフラグを付けることもできる。フラグは、ユーザが起動して(たとえば、クリックを介して)問題になっているユーザフィードバックデータ項目にアクセスすることができるハイパーリンク付き視覚的データ項目を表すことができる。
データ変換エンジンは自己学習機能を備えることができ、これにより、異なるタイプのユーザフィードバックデータを処理するように分類規則を適合させることができる。一実施形態では、自己学習は、ファジィ論理(本明細書において用語を定義するように、ニューラルネットワークの使用を含み得る)を分類プロセスに適用して、分類規則を異なるタイプのユーザフィードバックデータを処理するように適合させることによって実現することができる。ファジィ論理を使用して複雑な問題に対応し、解決することは既知である。ファジィ論理および機械学習についての背景情報は、たとえば、Understanding Neural Networks and Fuzzy Logic: Basic Concepts and Applications by Stamatios V. Kartalopoulos (IEEE Press Understanding Science & Technology Series, Wiley-IEEE Press, 1995)、およびArtificial Intelligence: A Modern Approach by Stuart J. Russell and Peter Norvig (Prentice Hall; 2nd edition 2002)に見られる。
別の実施形態では、自己学習は、フラグの付いたユーザフィードバックデータ項目(すなわち、データ変換エンジンがその既存の分類規則を使用して確実には分類することができないデータ項目)を解決するにあたって、データ変換エンジンに、人間のオペレータが指定した規則を後に同様の特徴を有するユーザフィードバックデータ項目に対して適用させることを含み得る。
解析規則のセットを使用して、分類済みユーザフィードバックデータを解析する解析エンジンがさらに設けられる。次いで、解析エンジンによって出力された解析結果は、コンピュータディスプレイの表示パネルに表示される。解析結果によっては、ハイパーリンク付き閲覧可能データ項目として表示することができる。ハイパーリンク付き閲覧可能データ項目に関連するハイパーリンクを起動することにより(そのハイパーリンク付き閲覧可能データ項目をクリックすることなどにより)、ユーザは、たとえば、ハイパーリンク付き閲覧可能データ項目によって表される解析結果を得るために採用された解析規則まで掘り下げて見ることが可能であり得る。別の例として、ユーザは、ハイパーリンク付き閲覧可能データ項目によって表される解析結果を得るために採用された分類済みデータまで掘り下げて見ることが可能であり得る。別の例として、ユーザは、ハイパーリンク付き閲覧可能データ項目によって表される解析結果を得るために採用された生のユーザフィードバックデータまで掘り下げて見ることが可能であり得る。
本発明の利点および特徴について、以下の図および説明を参照してよりよく理解することができる。図1は、本発明の一実施形態による、ユーザフィードバックデータ変換エンジン104、分類済みユーザフィードバックデータ解析エンジン106、およびコンピュータディスプレイ110上に解析結果表示パネル108を備えたユーザフィードバックデータを管理する装置102を示す。変換エンジン104が、複数のソース120、122、および124からのユーザフィードバックデータを受け取る。図1の例では、ソース120はウェブベースのユーザフィードバックフォームを表す。ソース122はテキストファイルまたはXMLファイルを表し、ソース124は電話フィードバックを表す。他の通信方法(インスタントメッセージ、ファクシミリ、ボイスメッセージ等)も採用することが可能である。
データ変換エンジン104は、様々なソースからの入力ユーザフィードバックデータをコンピュータ可読形式(たとえば、受け取ったファクシミリに対してコンピュータ文字認識を実行する、またはボイスメッセージに対して音声認識を実行することにより)に変換する機構を備えることができる。場合によっては、人間が、入力ユーザフィードバックデータをコンピュータ可読形式に変換する(たとえば、外国語訛りの強いボイスメッセージをコンピュータ可読形式に変換する)ことが含まれ得る。
一実施形態では、容易にアクセス可能なデータ入力フォームをテスタに提供することにより、データ収集を改良することができることが認められる。一実施形態では、テストするソフトウェア製品の各機能に、1つまたは複数のフィードバックフォームを含むポップアップウィンドウを関連付けることができる。ポップアップウィンドウは、テスタにより、その機能をテストしている間に起動することができる。一実施形態では、ポップアップウィンドウにはすでに、テスタが現在、どの機能をテストしているかに関するデータがあり、これにより、テスタがこの情報の一部を入力する必要がなくなる。
さらに、ポップアップウィンドウでのフィードバックフォームは、関連する機能に合わせてカスタマイズし、フィードバックを提供する作業をテスタにとってより効率的かつ直観的なものにすることができる。たとえば、テスト中の製品のナビゲーション機能に関連するフィードバックフォームには、ナビゲーション機能に関するコメント欄だけを含め、その一方でプロット機能に関連するフィードバックフォームには、プロット機能に関連する欄だけを含めることができる。1つまたは複数の容易にアクセス可能で直観的なフィードバックフォームを、テスト中の各機能と共に提供することにより、こういったフォームがユーザフィードバックの提出に使用される可能性が高くなる。フィードバックデータは、既知のデータ欄を有する製作所が提供するフォームを使用して入力されるため、データ収集および解析は、製造業者(すなわち、テスト中のソフトウェアを制作した企業)にとって簡易化される。
いずれの場合でも、ユーザフィードバックデータは解析され、分類規則のセット104Aを使用して分類される。解析は、たとえば、パターン認識を含め、当該技術分野において既知の任意の解析技法を用いて行うことができる。分類規則は、テスト中の機能および/またはフィードバックを提供するテスタ、および/または他の基準に関連する任意のデータ分類を表すことができる。たとえば、上記ナビゲーション機能に関するユーザフィードバックは、テスタの身元、テスタが属する組織の規模、テスタが属する業界の種類、テストされた機能についてのテスタの意見(たとえば、良い、普通、悪い、受け入れ難い)、テスタがコメントした、テストされた機能の特定の側面(たとえば、上記ナビゲーション機能のナビゲーションボタンの位置、配色、ナビゲーション指示の明瞭さ)等によって分類することができる。分類は、解析エンジン106において行われる統計学的解析を容易にする。当業者は、テスト中の特定の機能に対して作成される分類が機能の詳細に依存することを認めよう。
ユーザフィードバックデータは人間のテスタから受け取られるため、データ変換エンジン104が、現行の分類規則のセットを使用して分類することができない1つまたは複数のユーザフィードバックデータ項目に直面することが考えられる。一実施形態では、このようなユーザフィードバックデータ項目は棚上げされ、フラグが付けられる。したがって、そのユーザフィードバックデータ項目は、解析エンジン106による解析に考慮されない。別の実施形態では、変換エンジン104は、問題になっているフィードバックデータ項目を、分類、または分類に関連付けられたすでに分類済みのデータとマッチングさせる(たとえば、テキスト探索エンジンにおいて現在採用されているマッチング技法を利用して)ことで最も妥当な推量を行うことができる。この場合、分類は暫定的なものであり、データ項目にフラグを付けることができる。一実施形態では、フラグの付いたユーザフィードバックデータ項目は、コンピュータディスプレイ110上にハイパーリンク付き項目として提示され、人間のオペレータが、フラグの付いたデータ項目を解決するものとして選択することができる。解決には、たとえば、適切なソフトウェアツールを採用してフラグの付いたユーザフィードバックデータ項目を既存の、または新たに作成した分類に分けることが含まれ得る。
一実施形態では、変換エンジン104は、既存の分類規則のセットを使用して分類することができないユーザフィードバックデータ項目に対して新しい分類規則を作成することによって自己学習することができる。たとえば、分類プロセスを、ファジィ論理を採用した自己学習論理ブロックで監視することができる。この自己学習論理ブロックは、成功した分類に関して演繹(deductions)を行い、こういった演繹を新しい分類規則を作成する際に採用することができる。
一実施形態では、変換エンジン104は、フラグの付いたユーザフィードバックデータ項目に対して人間のオペレータが行った分類に留意することによって自己学習することができる。たとえば、変換エンジン104は、特定の分類規則および特定の分類が、フラグの付いた特定のユーザフィードバックデータ項目の分類に採用されることに留意することができる。その後、同様の分類特徴を有する別のユーザフィードバックデータ項目を受け取った場合、変換エンジン104は、受け取ったユーザフィードバックデータ項目の分類に際して同じ分類規則および/または分類を採用することができる。或る意味では、変換エンジンが、厳密に既存の分類規則を使用することによっては分類することができないフィードバックデータ項目を処理する独自の方法を作成したことから、新しい分類規則は変換エンジンによって作成されたと言える。
変換エンジン104によって出力された分類済みユーザフィードバックデータは次いで、データベース130に記憶される。その後、解析エンジン106が分類済みユーザフィードバックデータに対して動作して、複数の解析結果を提供し、解析結果は次いで表示パネル108に表示される。一般に、分類済みユーザフィードバックデータは、解析規則106Aに関連する統計的解析技法を用いて解析される。たとえば、1つの解析規則が、ナビゲーション機能を「受け入れ難い」と格付けしたすべてのフィードバックについて、分類済みユーザフィードバックデータを解析することができる。別の例として、1つの解析規則が、分類済みユーザフィードバックデータを解析して、まず機能で、次いでテスタの地理的位置で、そしてテスタの技術経験レベルでフィードバックをソートすることができる。当業者は、限りない種類の統計解析を解析規則によって指定することができることを容易に認識しよう。解析規則を指定する一技法は、SQL等の高水準データベース言語を使用することを含む。
データ解析エンジン106が解析規則を分類済みユーザフィードバックデータに適用すると、複数の解析結果が生成され、解析結果を閲覧可能データ項目(たとえば、図1中の142Aおよび142B)としてデータパネル108に表示することができる。たとえば、棒グラフで、特定の業界からの特定のテスタグループから受け取ったユーザフィードバックの数を示すことができる。同じパネル108内の数値欄に、ナビゲーションボタンの位置を移動させるべきであると提案したユーザの数を示すことができる。
複数の制御ボタン104Aおよび104Bを設けて、ユーザが解析規則に関連するパラメータ(たとえば、解析結果を、少なくとも1年のテスト経験を有するテスタからのフィードバックのみに限定する)を指定できるようにし、それによってユーザが解析結果を制御できるようにすることが可能である。他の制御ボタン104Aおよび104Bを採用して、閲覧可能データ項目の形式(たとえば、グラフか表か、色、フォント、位置等)を制御することも可能である。
一実施形態では、解析結果を表す閲覧可能データ項目がハイパーリンクとして提示される。ハイパーリンクを起動することにより、パネル108の閲覧者(viewer)が、ハイパーリンク付き閲覧可能データ項目に関連する解析結果を得るために採用された解析規則、および/または解析結果を得るために使用された、基となった分類済みユーザフィードバックデータ、および/または解析結果を得るために使用された生のユーザフィードバックデータにアクセスできるようにすることが可能である。
一実施形態では、データ変換エンジン104およびデータ解析エンジン106はリアルタイムで動作する。換言すれば、これらエンジンは入力ユーザフィードバックデータに対して常時動作して、パネル108の閲覧者に、常に更新されるユーザフィードバック解析結果の画(view)を与える。別の実施形態では、これらエンジンを周期的に実行して、パネル108の閲覧者に、ユーザフィードバック解析結果の更新された画で周期的に最新情報を与えてもよい。
一実施形態では、警告しきい値を特定の解析規則に関連付けて、解析結果が条件を満たす場合に警告を発することができる。たとえば、警告しきい値は、特定の有力なテスタが機能を受け入れがたいものとして格付けした場合、開発者がその機能を設計し直すことができるように警告を発する旨を指定することができる。別の例として、警告しきい値は、特定のテスタグループの30%超が特定の機能に否定的な格付けをした場合、警告を発する旨を指定することができる。警告は、パネル108上の視覚的なインジケータであってもよく、他の或る視覚的なインジケータであってもよく、かつ/または可聴的な性質のものであってもよい。警告を自動的に発することにより、極めて重要なユーザフィードバック解析結果を見落とす可能性が低くなる。
一実施形態では、所与の一連の措置を指定したビジネス規則を特定の解析規則に関連付けて、解析結果が予め定められた条件を満たす場合に警告を発することができる。たとえば、ビジネス規則は、特定の有力なテスタ及び/又は潜在的な顧客が機能を受け入れがたいものと格付けした場合、そのテスタの生のフィードバックを添付ファイルとした電子メールを開発責任者に送信させ、その有力なテスタ及び/又は潜在的な顧客に確認を取れるように電子メールの複製をマーケティングマネージャに送信する旨を指定することができる。このようにして、関連する解析結果が予め定められた条件を満たす場合は常に、ビジネス規則を自動的に起動することができる。
別の実施形態では、ビジネス規則を作成して、テスタによりフィードバックにおいて生じた問題を、フィードバックが分類され、解析されて、予め定められた条件を満たすか否かを確認した後に、人間の介入なしで自動的に処理できるようにすることが可能である。たとえば、テスト中のソフトウェア製品のログインページに問題があると想定する。多くのテスタが同じ問題に直面することになり、したがって、製造業者は、同じ問題に関する多くのフィードバックを受け取り得る。もちろん、製造業者は、このようなフィードバックに対応するように見せたい。このような問題がフィードバックにおいて確認される都度、警告を発し、テスタに対する応答を人間にさせるのではなく、ビジネス規則をセットアップして、テスタのフィードバックがこのような問題に向けられていることが判明したときは常に、電子メール(または他の任意の形態の通信)をテスタに送信できるようにすることが可能である。電子メールにより、製造業者が問題を認識していること、および/または提案する解決策が見つかっていること、および/または開発者が解決に向けて現在作業中であることをテスタに通知することができる。分類されたフィードバックに応答してビジネス規則を自動的に実行させる機能は、有利な労力節減機能である。当業者は、ビジネス規則の種類は広く、任意の適したビジネス規則を作成し、解析結果が予め定められた条件を満たす場合、特定の解析規則に関連付けて起動することができることを認めよう。
図2は、本発明の一実施形態によるユーザフィードバックデータを管理するステップを示す。ステップ202において、様々なソースからユーザフィードバックを受け取り、コンピュータ可読データに変換される。ステップ204において、ユーザフィードバックに関するコンピュータ可読データが、上記変換エンジン104を使用して分類される。上述したように、ユーザフィードバックデータ項目を、既存の分類規則を使用して分類することができない場合、そのユーザフィードバックデータ項目には、注意を引くためにフラグを付けることができる。ステップ206において、分類済みユーザフィードバックデータが、解析規則のセットを使用して解析される。解析は、上で説明したように解析エンジン106を使用して行うことができる。ステップ208において、解析結果が、表示画面上の表示パネルに閲覧可能データ項目として表示される。所望であれば、閲覧可能データ項目のいくつかまたはすべてをハイパーリンク付き項目として提示して、パネル108の閲覧者が、基となっている解析規則または基となっているユーザフィードバックデータまで掘り下げられるようにすることができる。
図3は、本発明の一実施形態による、ユーザフィードバックデータ項目を分類するステップを示す。ステップ302において、既存の分類規則でユーザフィードバックデータ項目を分類することができるか否かが確認される。既存の分類規則を使用して分類することができる場合、ユーザフィードバックデータ項目はカテゴリに分類され(ステップ304)、図3のステップはステップ320において終了する。一方、ユーザフィードバックデータ項目を既存の分類規則を使用して分類することができない場合、ユーザフィードバックデータ項目は、ステップ306においてオプションの自己学習分類ブロックに渡され、ユーザフィードバックデータ項目の分類が試みられる。
上述したように、分類エンジンは、たとえば、ファジィ論理手法を利用して、既存の分類規則を使用して分類することができないユーザフィードバックデータ項目の分類を試みることで自己学習することができる。別法として、分類エンジンは、人間の介入が必要であった過去のユーザフィードバックデータ項目に関して、人間のオペレータによって行われた分類を模倣するように試みることができる。
いずれにせよ、ステップ308において、ユーザフィードバックデータ項目にフラグが付される。一実施形態では、ユーザフィードバックデータ項目が自己学習ブロックによって分類される場合、そのユーザフィードバックデータ項目にはフラグが付されない。別の実施形態では、フラグ付けは、既存の分類規則を使用して分類することができないすべてのユーザフィードバックデータ項目に対して行われる。
ステップ310において、フラグ付きユーザフィードバックデータ項目が、解決に向けて人間のオペレータに提示される。上述したように、オペレータによる解決には、適切なソフトウェアツールを使用して、ユーザフィードバックデータ項目をカテゴリに分類し、かつ/またはそのユーザフィードバックデータ項目および後に同様のユーザフィードバックデータ項目を処理する分類規則を作成することを含み得る。一実施形態では、分類規則は、人間のオペレータによりテキストファイル内のテキストの形で表すことができ、入力ユーザフィードバックデータを分類する際に変換エンジン104によって採用される。
本発明は、フィードバックデータを管理する技法のみならず、開示した技法を実施する物理的な機器または装置も包含することに留意されたい。このような機器としては、たとえば、コンピュータシステム、コンピュータネットワーク、またはフィードバックデータを管理する任意の電子機器が挙げられる。本発明は、開示した技法を実施するコンピュータ可読コードを記憶したデータ記憶媒体を有する製品(ディスクドライブ、コンピュータメモリチップ等)も包含する。
本発明についていくつかの実施形態に関して説明したが、本発明の範囲内にある代替、置換、および等価物がある。たとえば、本明細書では、例としてソフトウェアテストとの関連での技術的なフィードバックについて説明したが、本発明は、任意の分野(たとえば、マーケティング、調査、小売り、顧客サービス等を含む)での様々な人々から入力されるデータが関わる任意の状況において、フィードバックデータを管理するために採用することが可能である。本発明の方法および装置を実施する多くの代替の方法があることにも留意されたい。したがって、添付の特許請求の範囲はこのような本発明の真の精神及び範囲内の代替、置換、および等価物をすべて包含するものとして解釈されることを意図する。
104 ユーザフィードバックデータ変換エンジン
104A 規則
106A 規則
106 分類済みユーザフィードバックデータ解析エンジン
108 解析結果表示パネル
130 データベース
104A 規則
106A 規則
106 分類済みユーザフィードバックデータ解析エンジン
108 解析結果表示パネル
130 データベース
Claims (11)
- ユーザフィードバックデータを管理する方法であって、
前記ユーザフィードバックデータを受け取るステップと、
データ変換エンジンを使用して前記ユーザフィードバックデータを分類するステップであって、それによって分類済みユーザフィードバックデータを作成し、前記データ変換エンジンが既存の分類規則のセットに従って分類することができなかった前記ユーザフィードバックデータの第1のデータ項目に、注意を引くためにフラグが付けられる、分類するステップと
を含む、ユーザフィードバックデータを管理する方法。 - 前記分類済みユーザフィードバックデータを解析するステップであって、それによって解析結果のセットを作成する、解析するステップと、
前記解析結果のセットのうちの少なくとも1つの解析結果を閲覧のためにコンピュータディスプレイのパネルに提示するステップと
をさらに含む、請求項1記載のユーザフィードバックデータを管理する方法。 - 前記少なくとも1つの解析結果は、前記パネルに、ハイパーリンク付き閲覧可能データ項目として提示される、請求項2記載のユーザフィードバックデータを管理する方法。
- 前記ハイパーリンク付き閲覧可能データ項目を見ている人間の閲覧者が、前記ハイパーリンク付き閲覧可能データ項目に関連するハイパーリンクを起動した場合、前記少なくとも1つの解析結果を得るために採用された解析規則の少なくとも1つと、前記少なくとも1つの解析結果を得るために採用されたユーザフィードバックデータ項目の第1のセットとを表示するステップをさらに含む、請求項2記載のユーザフィードバックデータを管理する方法。
- 前記パネルは、該パネルの閲覧者が、前記分類済みユーザフィードバックデータの解析に採用された規則を変更できるようにするユーザ構成可能な制御部を備える、請求項2記載のユーザフィードバックデータを管理する方法。
- 前記解析結果が予め定められた条件を満たす場合、解析結果にフラグを付けるステップをさらに含む、請求項1記載のユーザフィードバックデータを管理する方法。
- 前記解析結果が前記予め定められた条件を満たす場合、可聴警告および可視警告のうちの少なくとも一方を提供するステップをさらに含む、請求項6記載のユーザフィードバックデータを管理する方法。
- 前記解析結果が前記予め定められた条件を満たす場合、ビジネス規則を自動的に起動するステップをさらに含む、請求項6記載のユーザフィードバックデータを管理する方法。
- 前記分類を行うエンジンは自己学習機能を備える、請求項1記載のユーザフィードバックデータを管理する方法。
- 前記自己学習機能はファジィ論理を使用して実装される、請求項9記載のユーザフィードバックデータを管理する方法。
- 前記自己学習機能は、前記第1のデータ項目が、前記フラグが付けられた後、人間の介入により第1のカテゴリに分類される場合、新しい分類規則を前記分類規則のセットに組み込むことを含み、前記新しい分類規則は、分類特徴が前記第1のデータ項目に類似する第2のデータ項目に適用され、該第2のデータ項目を前記第1のカテゴリに分類する、請求項9記載のユーザフィードバックデータを管理する方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/902,456 US20060026210A1 (en) | 2004-07-28 | 2004-07-28 | Managing feedback data |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006040292A true JP2006040292A (ja) | 2006-02-09 |
Family
ID=34941829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005218217A Withdrawn JP2006040292A (ja) | 2004-07-28 | 2005-07-28 | フィードバックデータの管理 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20060026210A1 (ja) |
EP (1) | EP1622050A1 (ja) |
JP (1) | JP2006040292A (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8375020B1 (en) * | 2005-12-20 | 2013-02-12 | Emc Corporation | Methods and apparatus for classifying objects |
US10459739B2 (en) * | 2008-07-09 | 2019-10-29 | Sonos Inc. | Systems and methods for configuring and profiling a digital media device |
CN101741755B (zh) * | 2008-11-07 | 2012-02-01 | 亿迅(中国)软件有限公司 | 网络即时互动的系统及其方法 |
FR2948792B1 (fr) * | 2009-07-30 | 2011-08-26 | Oberthur Technologies | Procede de traitement de donnees protege contre les attaques par faute et dispositif associe |
US8529327B2 (en) * | 2010-07-22 | 2013-09-10 | Wms Gaming, Inc | Dynamic user testing and collective intelligence in a wagering game environment |
IL216118A0 (en) | 2011-11-03 | 2012-02-29 | Google Inc | Customer support solution recommendation system |
US8943048B2 (en) | 2012-07-31 | 2015-01-27 | Hewlett-Packard Development Company, L.P. | Visualizing time-dense episodes |
US10614094B2 (en) | 2014-04-30 | 2020-04-07 | Micro Focus Llc | Visualizing topics with bubbles including pixels |
CN108710627A (zh) * | 2018-03-29 | 2018-10-26 | 广东欧珀移动通信有限公司 | 反馈信息显示的方法、反馈信息显示的装置及电子设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6026387A (en) * | 1996-07-15 | 2000-02-15 | Kesel; Brad | Consumer comment reporting apparatus and method |
US6058435A (en) * | 1997-02-04 | 2000-05-02 | Siemens Information And Communications Networks, Inc. | Apparatus and methods for responding to multimedia communications based on content analysis |
US6199193B1 (en) * | 1997-03-18 | 2001-03-06 | Fujitsu Limited | Method and system for software development and software design evaluation server |
US20040006473A1 (en) * | 2002-07-02 | 2004-01-08 | Sbc Technology Resources, Inc. | Method and system for automated categorization of statements |
US6795815B2 (en) * | 2000-12-13 | 2004-09-21 | George Guonan Zhang | Computer based knowledge system |
US20030009385A1 (en) * | 2000-12-26 | 2003-01-09 | Tucciarone Joel D. | Electronic messaging system and method thereof |
US20030023622A1 (en) * | 2001-07-27 | 2003-01-30 | Liaison Technology, Inc. | Manual activity persistence in content management workflow systems |
US20040039990A1 (en) * | 2002-03-30 | 2004-02-26 | Xorbix Technologies, Inc. | Automated form and data analysis tool |
KR100506521B1 (ko) * | 2003-02-13 | 2005-08-04 | 삼성전자주식회사 | 브라우저 테스트 기기, 브라우저 테스트 서버, 이를포함하는 시스템 및 방법 |
-
2004
- 2004-07-28 US US10/902,456 patent/US20060026210A1/en not_active Abandoned
-
2005
- 2005-07-12 EP EP05254352A patent/EP1622050A1/en not_active Withdrawn
- 2005-07-28 JP JP2005218217A patent/JP2006040292A/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
EP1622050A1 (en) | 2006-02-01 |
US20060026210A1 (en) | 2006-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006040292A (ja) | フィードバックデータの管理 | |
US20200293946A1 (en) | Machine learning based incident classification and resolution | |
US20140229237A1 (en) | Systems, methods, and media for survey management | |
US10410136B2 (en) | Model-based classification of content items | |
Alamsyah et al. | Dynamic large scale data on twitter using sentiment analysis and topic modeling | |
US20090099920A1 (en) | Data Mining | |
JP2019169170A (ja) | 複数のデータストリームの相互関係 | |
US11030258B1 (en) | Ranking anomalies associated with populations of users based on relevance | |
Meske et al. | Design principles for user interfaces in AI-Based decision support systems: The case of explainable hate speech detection | |
Rizun et al. | Method of decision-making logic discovery in the business process textual data | |
US11949645B2 (en) | Intelligent transaction scoring | |
US20220318681A1 (en) | System and method for scalable, interactive, collaborative topic identification and tracking | |
US20190197043A1 (en) | System and method for analysis and represenation of data | |
CN112860899B (zh) | 标签生成方法、装置、计算机设备和计算机可读存储介质 | |
TW201421265A (zh) | 智慧型新聞分析系統 | |
JP2005165754A (ja) | テキストマイニング分析装置、テキストマイニング分析方法、及びテキストマイニング分析プログラム | |
Spada et al. | WHAT USERS WANT: A NATURAL LANGUAGE PROCESSING APPROACH TO DISCOVER USERS'NEEDS FROM ONLINE REVIEWS | |
Rickenberg et al. | Towards a process-oriented approach to assessing, classifying and visualizing enterprise content with document maps | |
Shirasaki et al. | A speech data-driven stakeholder analysis methodology based on the stakeholder graph models | |
Afifa | International Journal of Data and Network Science | |
qizi Samiyeva et al. | Text mining and it is development stages | |
US11651849B2 (en) | Gathering and analyzing assessment data using customizable ontologies built upon a meta model | |
US11741172B2 (en) | Method and system for measuring, monitoring and enhancing user experience for personas across their end to end journey | |
Garg et al. | Auto Predictive Customer Feedback from Textual Analysis of Online Chat Logs | |
US8176502B2 (en) | Apparatus and method for maintaining script logs across multiple frames and workflows |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20061030 |