JP2020126587A - コミュニティ質問応答データの検証方法、装置、コンピュータ機器、及び記憶媒体 - Google Patents

Abstract

【課題】大量の質問応答データに対して迅速にオーソリティレベル検証を行い、応答の権威性、客観性及び正確性を効果的に確保することができる、コミュニティ質問応答データの検証方法、検証装置、コンピュータ機器及びコンピュータ可読記憶媒体を提供する。【解決手段】方法は、コミュニティ質問応答データセットを取得し、前記コミュニティ質問応答データセットに基づいて、質問及び質問に対応する検証対象応答を含む複数の質問応答ペアを生成しＳ１１０、少なくとも１つの信頼ソースサイトに保存されているデータに基づいて、オーソリティデータセットを生成しＳ１２０、少なくとも１つの次元における各前記検証対象応答と前記オーソリティデータセットのオーソリティデータとの類似性スコアに基づいて、各前記検証対象応答に対しオーソリティレベル検証を行うＳ１３０。【選択図】図１

Description

本出願の実施形態はデータ処理技術に関し、特に、コミュニティ質問応答データの検証方法、装置、コンピュータ機器、及び記憶媒体に関する。

科学技術の発展及びインターネット技術の継続的な成長に伴って、検索ベースの対話型コミュニティ質問応答プラットフォームは人々の生活及び仕事において知識を獲得及び共有する重要な方法となっている。コミュニティ質問応答（Ｃｏｍｍｕｎｉｔｙ Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ，ＣＱＡ）は、オープンな知識を組み合わせた共有Ｗｅｂサイト（例：Ｂａｉｄｕ Ｚｈｉｄａｏ、Ｙａｈｏｏ！Ａｎｓｗｅｒｓ、Ｔｅｎｃｅｎｔ Ｗｅｎｗｅｎ、Ｓｉｎａ ｉＡｓｋなど）であり、ユーザの参加を通じて、ネットワークユーザの集合的な知恵を使用して、質問に対する応答を直接提供する。同時に、これらの質問に対する応答は、同じ又は類似の質問を持つ他のユーザに対しても検索結果として提供可能となり、知識共有の効果が達成され、正確な検索結果を求めるユーザのニーズがある程度満たされている。

しかし、ＣＱＡデータは、応答の品質が大きく異なり、有用な応答が提供されると同時に様々な無関係、低品質、さらには悪意のある情報も含まれる恐れがある。このような応答を判断及びフィルタリングし、高品質の質問と応答のペアを選択することにより、コミュニティベースの自動質問応答システムにおいて関連する質問に対する応答を再利用して、質問応答システムのサービス品質を向上させることができる。

現段階の高品質で高精度なＣＱＡデータスクリーニングは、主に人間審査、多次元明示的特徴スクリーニング及び意味検索モデルフィルタリングによって行われる。インターネットデータインデックスのアップグレードに伴い、人間審査には特に限界が感じられる。多次元明示的特徴スクリーニングは、現在ユーザの行動（例えば、賛成又は反対票を投じるなど）に比較的依存し、これらの情報は、応答が意味を持つか否かを判定するのに一定の指向性を有するが、ユーザの賛成又は反対の行動はある程度主観的感情に影響され、低品質の応答又は悪意のある応答が発生しやすい。また、これらの情報は不完全で、公開度が高くない質問応答データに対しては十分なユーザ情報がない。

現在の意味検索モデルは、通常、意味レベルからＣＱＡの質問と応答の関連性を計算するが、応答が客観的で権威的であるかどうかも保証できない。例えば、「ユーザＡの妻は誰ですか」という質問に対して、「ユーザＡの妻はユーザＢではありません」とユーザが応答したが、実際にはユーザＡの妻がユーザＢである場合、外部支援情報によるサポートがなければ、当該意味検索モデルはこの応答が正しいと誤認することがある。

本出願の実施形態は、大量の質問応答データに対して迅速にオーソリティレベル検証を行い、応答の権威性、客観性及び正確性を効果的に確保することができる、コミュニティ質問応答データの検証方法、装置、コンピュータ機器、及び記憶媒体を提供する。

第１の態様では、本出願の実施形態は、コミュニティ質問応答データの検証方法を提供し、該方法は、
コミュニティ質問応答データセットを取得し、前記コミュニティ質問応答データセットに基づいて、質問及び質問に対応する検証対象応答を含む複数の質問応答ペアを生成するステップと、
少なくとも１つの信頼ソースサイトに保存されているデータに基づいて、オーソリティデータセットを生成するステップと、
少なくとも１つの次元における各前記検証対象応答と前記オーソリティデータセットのオーソリティデータとの類似性スコアに基づいて、各前記検証対象応答に対してオーソリティレベル検証を行うステップとを含む。

第２の態様では、本出願の実施形態は、コミュニティ質問応答データの検証装置を提供し、該装置は、
コミュニティ質問応答データセットを取得し、前記コミュニティ質問応答データセットに基づいて、質問及び質問に対応する検証対象応答を含む複数の質問応答ペアを生成するための質問応答ペア生成モジュールと、
少なくとも１つの信頼ソースサイトに保存されているデータに基づいて、オーソリティデータセットを生成するためのオーソリティデータセット生成モジュールと、
少なくとも１つの次元における各前記検証対象応答と前記オーソリティデータセットのオーソリティデータとの類似性スコアに基づいて、各前記検証対象応答に対してオーソリティレベル検証を行うためのオーソリティレベル検証モジュールとを備える。

第３の態様では、本出願の実施形態はさらに、メモリと、プロセッサと、メモリに格納されてプロセッサ上で実行可能なコンピュータプログラムとを備えるコンピュータ機器であって、前記プロセッサが前記プログラムを実行すると、本出願の実施形態のいずれかに記載のコミュニティ質問応答データの検証方法が実行される、コンピュータ機器を提供する。

第４の態様では、本出願の実施形態はさらに、コンピュータプログラムが格納されているコンピュータ可読記憶媒体であって、該プログラムがプロセッサにより実行されると、本出願の実施形態のいずれかに記載のコミュニティ質問応答データの検証方法が実行される、コンピュータ可読記憶媒体を提供する。

本出願の実施形態は、コミュニティ質問応答データセットからデータをスクリーニングして質問応答ペアを生成し、同時に信頼ソースサイトからオーソリティデータセットを取得し、各々の質問応答ペアにおける検証対象応答とオーソリティデータセットにおけるオーソリティデータとの類似性スコアを計算し、類似性スコアに基づいて各質問応答ペアにおける検証対象応答のオーソリティレベルを確定する技術的手段を用いて、ユーザによって提供された応答とオーソリティデータとの類似度を検証する方法を巧みに使用し、該応答のオーソリティレベルを簡単且つ迅速に検証することで、従来技術におけるコミュニティ質問応答データに対する人間スクリーニングの効率が低いという問題、及びユーザの行動に依存して応答を評価することで評価結果に主観性が高いという問題を解決して、大量のコミュニティ質問応答データに対し迅速にオーソリティレベル検証を行うことができ、検証効率が向上し、さらに、検証対象応答とオーソリティデータとの類似性スコアを計算して検証対象応答のオーソリティレベルを確定することで、ユーザ表示特徴によるスクリーニング処理を回避することができ、質問応答データにおける応答のオーソリティ、客観性及び正確性を効果的に確保することができる。

本出願の実施例１によるコミュニティ質問応答データの検証方法を示すフローチャートである。 図２ａは、本出願の実施例２によるコミュニティ質問応答データの検証方法を示すフローチャートである。図２ｂは、本出願の実施例２によるコミュニティ質問応答データの検証方法を示す具体的な応用シナリオの模式図である。 本出願の実施例３によるコミュニティ質問応答データの検証装置を示す構造模式図である。 本出願の実施例４によるコンピュータ機器を示す構造模式図である。

以下、添付図面及び実施形態を参照して本出願をさらに詳細に説明する。本明細書に記載された具体的な実施形態は本出願を解釈するためのものであり、本出願を限定するためのものではないことを理解されたい。なお、説明の便宜を図って、図面には全部の構造ではなく本出願に関わる部分のみ示されていることを理解されたい。

実施例１

図１は、本出願の実施例１によるコミュニティ質問応答データの検証方法のフローチャートであり、本実施例は、コミュニティ質問応答プラットフォームの質問応答データにおける応答の権威性度合いを検証する場合に適用できる。該方法は、本出願の実施形態によるコミュニティ質問応答データの検証装置により実行することができ、該装置はソフトウェア及び／又はハードウェアで実装されてもよく、一般的には、クライアント又はサーバなどのようなコミュニティ質問応答データの検証サービスを提供するコンピュータ機器に組み込まれてもよい。図１に示すように、本実施例の方法は、具体的にステップＳ１１０、Ｓ１２０及びＳ１３０を含む。

Ｓ１１０では、コミュニティ質問応答データセットを取得し、前記コミュニティ質問応答データセットに基づいて、複数の質問応答ペアを生成し、前記質問応答ペアは、質問と、質問に対応する検証対象応答とを含む。

具体的には、コミュニティ質問応答データセットとは、ネットワーク上の各コミュニティ質問応答プラットフォームから収集した質問応答データのセットであってもよい。質問応答ペアは、一つの質問とその質問に対する一つの検証対象応答との組み合わせでもよく、この場合、コミュニティ質問応答データセットの一つの質問に対して複数の検証対象応答が存在し、各々の検証対象応答に対して質問応答ペアをそれぞれ生成してもよい。

例示的に、コミュニティ質問応答プラットフォームは、Ｂａｉｄｕ Ｚｈｉｄａｏ、Ｓｉｎａ ｉＡｓｋ、又はＴｅｎｃｅｎｔ Ｗｅｎｗｅｎなどのオープン型コミュニティ質問応答プラットフォームであってもよい。うち、コミュニティ質問応答プラットフォームの質問応答データは、中国語であってもよく、英語などの他の外国語であってもよい。

Ｓ１２０では、少なくとも１つの信頼ソースサイトに格納されているデータに基づいて、オーソリティデータセットを生成する。

具体的には、信頼ソースサイトは予め設定されたオーソリティデータのウェブサイト、例えば、Ｂａｉｄｕ Ｅｎｃｙｃｌｏｐｅｄｉａ、Ｗｉｋｉｐｅｄｉａ、Ｄｏｕｄｉｎｇ．ｃｏｍ又はＢａｉｄｕ Ｗｅｎｋｕなどのオーソリティデータソースであってもよい。この場合、信頼ソースサイトはユーザにより選択されてもよい。

オーソリティデータセットは、エンティティセマンティクスを有するデータなど、信頼ソースサイトに格納された有効なデータであってもよい。例示的に、「ハハ、ＡはＢのサブセットである」という文では、文の前半は語気助詞であり、文の後半はエンティティセマンティクスを持つデータであり、語気助詞を削除して、文の後半のみに基づいてオーソリティデータセットを生成してもよい。

任意選択で、前記少なくとも１つの信頼ソースサイトに格納されているデータに基づいて、オーソリティデータセットを生成することは、少なくとも１つの信頼ソースサイトを選択し、各前記信頼ソースサイトのサイトデータを取得してデータクレンジングを行い、構造化解析を行った後、前記オーソリティデータセットを生成することを含んでもよい。

ここで、データクレンジングとは、サイトデータに対する重複排除、無効化排除、エラー排除、衝突排除等の少なくとも一つを行うデータ操作を指してもよく、構造化解析とは、サイトデータにおけるデータ構造の解析、例えば、サイトデータにおける文に含まれる各エンティティ、及び文の文法構造の取得を指してもよい。サイトデータをデータクレンジングして構造化解析を行い、解析結果に基づいて、サイトデータを統合形式（例えば、２次元論理表で表現）のデータに構成し、構成されたデータに基づいて形成されたセットをオーソリティデータセットとすることができる。信頼ソースサイトのサイトデータをデータ前処理して、オーソリティデータセットを生成することにより、オーソリティデータを迅速に構造化処理することができ、迅速に閲覧及び理解しやすく、並びに正確な意味検索が容易になり、それにより後続の検証対象応答とオーソリティデータとの類似性スコアの計算効率が向上する。

Ｓ１３０では、少なくとも１つの次元における各前記検証対象応答と前記オーソリティデータセットのオーソリティデータとの類似性スコアに基づいて、各前記検証対象応答に対してオーソリティレベル検証を行う。

具体的には、類似性スコアは、検証対象応答とオーソリティデータとの類似度合いの評価結果であってもよい。次元は、類似度合いを評価する特徴タイプを指してもよく、具体的には、キーワード特徴、構文特徴及び意味特徴などのうちの少なくとも１種の特徴を含んでもよい。

通常、ユーザが質問に応答するとき、「経典中の語句を引用して議論の根拠にする」応答は他のユーザの応答に比べて客観性や正確性がはるかに高い。本実施例においては、オーソリティレベル検証とは、検証対象応答が信頼ソースサイト（オーソリティウェブサイトなど）に格納されているデータに含まれているか否かを判断することを指してもよい。具体的には、オーソリティデータセットにおいて当該検証対象応答が原文の形式で提示される場合、当該検証対象応答はオーソリティレベルが高いとみなされ、当該オーソリティデータセットに検証対象応答と類似するデータがある場合、当該検証対象応答はオーソリティレベルが中程度とみなされ、なお、オーソリティデータセットの全データに対して該検証対象応答の類似度が低い場合、当該検証対象応答はオーソリティレベルが低いとみなされる。

したがって、上記類似性スコアによって得られたオーソリティレベルの低い検証対象応答にマーク付けして、リマインド又はスクリーニングすることで、コミュニティ質問応答データにおけるユーザ応答の正確性及び権威性を確保することができる。

本出願の実施形態は、コミュニティ質問応答データセットからデータをスクリーニングして質問応答ペアを生成し、同時に信頼ソースサイトからオーソリティデータセットを取得し、各々の質問応答ペアにおける検証対象応答とオーソリティデータセットにおけるオーソリティデータとの類似性スコアを計算し、類似性スコアに基づいて各質問応答ペアにおける検証対象応答のオーソリティレベルを確定する技術的手段によって、ユーザによって提供された応答とオーソリティデータとの類似度を検証する方法を巧みに使用し、当該応答のオーソリティレベルを簡単且つ迅速に検証することで、従来技術におけるコミュニティ質問応答データの人間スクリーニングの効率が低いという問題を解決し、同時に、ユーザの行動に依存して応答を評価することで評価結果に主観性が高いという問題を解決し、大量のコミュニティ質問応答データに対し迅速にオーソリティレベル検証を行うことができ、検証効率が向上し、さらに、検証対象応答とオーソリティデータの類似性スコアを計算して検証対象応答のオーソリティレベルを確定することで、ユーザの明示的特徴によるスクリーニング処理を回避することができ、質問応答データにおける応答の権威性、客観性及び正確性を効果的に確保することができる。

実施例２

図２ａは、本出願の実施例２によるコミュニティ質問応答データの検証方法のフローチャートであり、本実施例は、本出願の実施例１に基づいて具現化している。即ち、前記少なくとも１つの次元における各前記検証対象応答と前記オーソリティデータセットにおけるオーソリティデータとの類似性スコアに基づいて、各前記検証対象応答に対してオーソリティレベル検証を行うステップは、具体的に、前記検証対象応答を前記オーソリティデータセットにおいて検索し、相関性条件を満たすターゲットオーソリティデータを所定数スクリーニングするステップと、少なくとも１つのターゲット次元において、前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアをそれぞれ計算するステップと、前記類似性スコアに基づいて、前記検証対象応答に対してオーソリティレベル検証を行うステップとを含む。

図２ａに示すように、該方法は具体的にステップＳ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０及びＳ２５０を含む。

Ｓ２１０では、コミュニティ質問応答データセットを取得し、前記コミュニティ質問応答データセットに基づいて、複数の質問応答ペアを生成し、前記質問応答ペアは、質問と、質問に対応する検証対象応答とを含む。

本実施例におけるコミュニティ質問応答データセット、質問応答ペア、信頼ソースサイト、オーソリティデータセット、類似性スコア、及びオーソリティレベル検証等は、上記実施例の説明を参照することができる。

Ｓ２２０では、少なくとも１つの信頼ソースサイトに格納されているデータに基づいて、オーソリティデータセットを生成する。

Ｓ２３０では、前記オーソリティデータセットにおいて前記検証対象応答を検索し、相関性条件を満たすターゲットオーソリティデータを所定数スクリーニングする。

ここで、相関性条件を満たすターゲットオーソリティデータとは、検証対象応答との相関程度が所定の閾値を超えたオーソリティデータを指してもよい。設定数は１以上の整数を指してもよく、必要に応じてユーザによって設定されてもよく、例示的には、設定数は１０本である。

あるいは、検証対象応答におけるキーワードを取得し、検証対象応答におけるキーワードによってオーソリティデータセットにおいて検索し、キーワードとオーソリティデータとの相関性に基づいてオーソリティデータセットにおけるオーソリティデータをソートし、ソート結果において上位Ｎ個のオーソリティデータを相関性条件を満たすターゲットオーソリティデータとする。Ｎは正の整数であり、具体的には必要に応じて設定することができる。

ここで、検証対象応答に対しテキスト抽出、単語分割、ノイズ除去、重複除去及びキーワード抽出を行うことで検証対象応答におけるキーワードを取得することができ、キーワードの抽出は予めトレーニングされた機械学習モデルによって検証対象応答から抽出することができ、例えば、機械学習モデルは、教師あり学習方法、シーケンスラベリング方法又は教師なし学習方法によってトレーニングすることができる。

検証対象応答から抽出された少なくとも１つのキーワードに基づいてオーソリティデータセットにおいて検索し、各々のオーソリティデータにおける少なくとも１つのキーワードの発生回数、頻度、位置及びフォーマット等の情報を取得する。さらに、各キーワード自体の常用度（例えば、「私たち」の常用度が「星座」の常用度よりも高い）、各キーワードがオーソリティデータにおいて発生する回数、頻度、位置及びフォーマット、各キーワードの重み、並びに各キーワードの間の距離に基づいて、該検証対象応答と該オーソリティデータとの相関性を計算することができる。これにより、オーソリティデータセットにおける各オーソリティデータと検証対象応答との相関程度を計算することで、相関性条件を満たすターゲットオーソリティデータをＮ個確定して、スクリーニングすることができる。

Ｓ２４０では、少なくとも１つのターゲット次元において、前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアをそれぞれ計算する。

具体的には、ターゲット次元はキーワード次元、文次元又は意味次元を含むことができる。キーワード次元は、検証対象応答から抽出されたキーワードと、各ターゲットオーソリティデータから抽出されたキーワードとの類似性比較を指してもよく、文次元は、検証対象応答に含まれる文と、各ターゲットオーソリティデータに含まれる文との類似性比較を指してもよく、意味次元は、検証対象応答の意味と各ターゲットオーソリティデータの意味との類似性比較を指してもよい。

ここで、各々のターゲット次元は、予めトレーニングされた機械学習モデルによって類似性スコアの計算を実行することができる。あるいは、他の方法で類似性スコアを計算してもよい。

実際のアプリケーション計算の際、上記１つ、２つ、又は３つの次元の全てにおける、各々の前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアに基づいて、各検証対象応答に対してオーソリティレベル検証を行うことができる。

任意選択で、キーワード次元において、前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアをそれぞれ計算するステップは、前記検証対象応答に含まれる第１キーワードセットと、各前記ターゲットオーソリティデータに含まれる第２キーワードセットとをそれぞれ取得するステップと、各前記第２キーワードセットにヒットした前記第１キーワードセットのキーワード数を取得するステップと、前記キーワード数と各前記第２キーワードセットに含まれるキーワード総数とに基づいて、前記キーワード次元における前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアを計算するステップとを含む。

具体的には、第１キーワードセット及び第２キーワードセットは、いずれも予めトレーニングされたキーワード抽出用の機械学習モデルによって生成されてもよい。第２キーワードセットにヒットした第１キーワードセットのキーワード数は、第１キーワードセット及び第２キーワードセットにおける同じキーワードの数であってもよい。第１類似性スコアは、具体的にはキーワード総数に対するキーワード数の割合であってもよい。例示的に、第２キーワードセットにヒットした第１キーワードセットのキーワード数が６であり、第２キーワードセットに含まれるキーワード総数が１０であり、該第１キーワードセット及び第２キーワードセットに基づいて、キーワード次元において計算された前記検証対象応答と対応するターゲットオーソリティデータとの類似性スコアは６／１０＝６０％である。

任意選択で、文次元において、前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアを計算するステップは、前記検証対象応答が各前記ターゲットオーソリティデータに含まれる文にヒットしたか否かをそれぞれ検証するステップと、ヒット結果に基づいて、前記文次元における前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアを計算するステップとを含むことができる。

具体的には、検証対象応答がターゲットオーソリティデータに含まれる文にヒットしたか否かは、検証対象応答に含まれる１つ又は複数の文がターゲットオーソリティデータに含まれる文セットに属するか否かを指してもよい。ここで、ヒット結果は０と１を含み、ヒット結果０に対応する類似性スコアは０であり、ヒット結果１に対応する類似性スコアは１である。

ここで、ターゲットオーソリティデータに検証対象応答の１つ又は複数の文が含まれている場合、ヒット結果は１であり、ターゲットオーソリティデータには検証対象応答に含まれる文がいずれも含まれていない場合、ヒット結果は０である。例示的に、検証対象応答が１つの文であり、同時に、ターゲットオーソリティデータに含まれる文に該検証対象応答と同じ文が存在すれば、ヒット結果は１であり、文次元で計算された、前記検証対象応答と対応するターゲットオーソリティデータとの類似性スコアも１である。

任意選択で、意味次元において、前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアをそれぞれ計算するステップは、前記検証対象応答及び各前記ターゲットオーソリティデータをそれぞれ入力データとして組み合わせるステップと、各々の前記入力データを予めトレーニングされた意味類似度認識モデルにそれぞれ入力するステップと、各前記入力データに対する前記意味類似度認識モデルの出力結果を、前記意味次元における前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアとして取得するステップとを含む。

具体的には、予めトレーニングされた意味類似度認識モデルは、機械学習モデルがサンプルを通してトレーニングされたモデルであってもよい。具体的には、意味類似度認識モデルは、深層構造化意味モデル（Ｄｅｅｐ Ｓｔｒｕｃｔｕｒｅｄ Ｓｅｍａｎｔｉｃ Ｍｏｄｅｌｓ，ＤＳＳＭ）であってもよく、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮ）の深層構造化意味モデルであってもよく、又は、長短期記憶（Ｌｏｎｇ−Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ，ＬＳＴＭ）の深層構造化意味モデルであってもよく、これに対して本出願の実施形態は特に限定されない。検証対象応答と各々のターゲットオーソリティデータとをそれぞれ組み合わせて複数の入力データを形成し、各入力データを予めトレーニングされた意味類似度認識モデルに入力して、意味類似度認識モデルによって出力された類似性スコアを、意味次元における前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアとして得る。

検証対象応答とターゲットオーソリティデータとの類似性スコアの計算を、キーワード次元、文次元及び意味次元のそれぞれにおいて行うことで、検証対象応答とオーソリティデータとの類似度合いを複数の側面から評価して、検証対象応答が権威性を有するか否かを正確に評価することができ、また、ターゲット次元はいずれも検証対象応答の特徴情報に準じて類似度を計算するので、ユーザ行動に関与しておらず、検証対象応答の権威性に対する評価がユーザの主観的な意思に影響されることを防止でき、検証対象応答の評価結果の客観性を確保することができる。

Ｓ２５０では、前記類似性スコアに基づいて、前記検証対象応答に対しオーソリティレベル検証を行う。

任意選択で、前記類似性スコアに基づいて、前記検証対象応答に対しオーソリティレベル検証を行うステップは以下を含むことができる。

式：

により、前記検証対象応答のオーソリティレベルスコアを計算する。式中、Ｎは、前記オーソリティデータセットからスクリーニングされた相関性条件を満たすターゲットオーソリティデータの個数であり、Ｗｏｒｄ（Ａｎｓ，Ｐ_ｉ）は、キーワード次元における前記検証対象応答Ａｎｓとｉ番目のターゲットオーソリティデータＰ_ｉとの類似性スコアであり、Ｓｅｎｔ（Ａｎｓ，Ｐ_ｉ）は、文次元におけるＡｎｓとＰ_ｉとの類似性スコアであり、Ｓｉｍ（Ａｎｓ，Ｐ_ｉ）は、意味次元におけるＡｎｓとＰ_ｉとの類似性スコアであり、α、β及びγは予め設定された比例係数である。前記オーソリティレベルスコアが所定のオーソリティレベル閾値よりも小さい場合、前記検証対象応答は前記コミュニティ質問応答データセットから除外される。

ここで、Ｗｏｒｄ（Ａｎｓ，Ｐ_ｉ）は、キーワード次元における検証対象応答とｉ番目のターゲットオーソリティデータとの一致度を示すために使用され、Ｓｅｎｔ（Ａｎｓ，Ｐ_ｉ）は、文次元における検証対象応答とｉ番目のターゲットオーソリティデータとの一致度を示すために使用され、Ｓｉｍ（Ａｎｓ，Ｐ_ｉ）は、意味次元における検証対象応答とｉ番目のターゲットオーソリティデータとの一致度を表すために使用され、α、β及びγは予め設定された比例係数であって必要に応じてユーザによって設定されてもよく、それぞれ第１類似性スコアの重み値、第２類似性スコアの重み値、及び第３類似性スコアの重み値を表すためのものである。オーソリティレベル閾値は必要に応じてユーザによって設定されてもよく、また、その後、該オーソリティレベル閾値の大きさを制御し、オーソリティ検証対象応答に対する効果的なスクリーニングを実現できる。

検証対象応答とｉ番目のターゲットオーソリティデータとの類似度合いを具体的な式及び関数で定量化することにより、検証対象応答とｉ番目のターゲットオーソリティデータとの類似性スコアをそれぞれ正確に計算するとともに、各類似性スコアの加重和の平均を計算することにより、各ターゲットオーソリティデータを総合的に考慮して、検証対象応答のオーソリティレベルを正確に評価することができる。

なお、いずれか１つ又はいずれか２つの上記次元における類似性スコアに基づいて、類似性スコアの加重和の平均値を検証対象応答のオーソリティレベルスコアとして計算することで、各検証対象応答に対しオーソリティレベル検証を行うことができる。

一つの具体的な例では、図２ｂに示すように、Ｂａｉｄｕ Ｚｈｉｄａｏ、Ｓｉｎａ ｉＡｓｋ、Ｔｅｎｃｅｎｔ Ｗｅｎｗｅｎ、及び他のコミュニティ質問応答プラットフォームから質問応答データを収集してコミュニティ質問応答データセットを生成すると同時に、Ｂａｉｄｕ Ｅｎｃｙｃｌｏｐｅｄｉａ、Ｄｏｕｄｉｎｇ．ｃｏｍ、Ｗｉｋｉｐｅｄｉａ及びその他の信頼ソースサイトなどのウェブサイトからオーソリティデータを収集してオーソリティデータセットを生成する。オーソリティデータセットにおいてインデックスデータベースを構築し、コミュニティ質問応答データセットから抽出された質問応答ペアに基づいて検索を行い、各々の質問応答ペアにおける検証対象応答のＮ個のターゲットオーソリティデータを取得する。各々の検証対象応答の特徴情報と、マッチングされたＮ個のターゲットオーソリティデータの特徴情報とをそれぞれ取得し、キーワード次元、文次元及び意味次元のそれぞれにおいて、検証対象応答の特徴情報と各々のターゲットオーソリティデータとの類似性スコアをそれぞれ計算する。最後に、検証対象応答の特徴情報と各ターゲットオーソリティデータとの類似性スコアに基づいて、該検証対象応答のオーソリティレベル検証を行う。

本出願の実施形態は、検証対象応答に基づいてオーソリティデータセットを検索し、関連する少なくとも１つのターゲットオーソリティデータをスクリーニングし、各々のターゲットオーソリティデータに対し、検証対象応答とターゲットオーソリティデータとの類似性スコアをそれぞれ計算し、得られた少なくとも１つの類似性スコアに基づいて検証対象応答に対してオーソリティレベル検証を行うことにより、検証対象応答とオーソリティデータとの類似度合いを複数の次元から評価し、検証対象応答が権威性を有するか否かを正確に評価することができる。

実施例３

図３は、本出願の実施例３によるコミュニティ質問応答データの検証装置を示す構造模式図であり、図３に示すように、前記装置は具体的には、
コミュニティ質問応答データセットを取得し、前記コミュニティ質問応答データセットに基づいて、質問と質問に対応する検証対象応答とを含む複数の質問応答ペアを生成するための質問応答ペア生成モジュール３１０と、
少なくとも１つの信頼ソースサイトに格納されているデータに基づいて、オーソリティデータセットを生成するためのオーソリティデータセット生成モジュール３２０と、
少なくとも１つの次元における各前記検証対象応答と前記オーソリティデータセットのオーソリティデータとの類似性スコアに基づいて、各前記検証対象応答に対してオーソリティレベル検証を行うためのオーソリティレベル検証モジュール３３０とを備える。

本出願の実施形態は、コミュニティ質問応答データセットからデータをスクリーニングして質問応答ペアを生成し、同時に信頼ソースサイトからオーソリティデータセットを取得し、各々の質問応答ペアにおける検証対象応答とオーソリティデータセットにおけるオーソリティデータとの類似性スコアを計算し、類似性スコアに基づいて各質問応答ペアにおける検証対象応答のオーソリティレベルを確定する技術的手段によって、ユーザによって提供された応答とオーソリティデータとの類似度を検証する方法を巧みに使用し、該応答のオーソリティレベルを簡単且つ迅速に検証して、従来技術におけるコミュニティ質問応答データの人間スクリーニングの効率が低いという問題を解決し、同時に、ユーザの行動に依存して応答を評価することで、評価結果に主観性が高いという問題を解決し、大量のコミュニティ質問応答データに対し迅速にオーソリティレベル検証を行うことができ、検証効率が向上し、さらに、検証対象応答とオーソリティデータの類似性スコアを計算して検証対象応答のオーソリティレベルを確定することで、ユーザの明示的特徴によるスクリーニング処理を回避することができ、質問応答データにおける応答の権威性、客観性及び正確性を効果的に確保することができる。

さらに、前記オーソリティレベル検証モジュール３３０は、具体的には、前記オーソリティデータセットにおいて前記検証対象応答を検索し、相関性条件を満たすターゲットオーソリティデータを所定数スクリーニングし、少なくとも１つのターゲット次元において、前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアをそれぞれ計算し、前記類似性スコアに基づいて、前記検証対象応答に対してオーソリティレベル検証を行う。

さらに、前記ターゲット次元はキーワード次元、文次元、又は意味次元を含む。

さらに、前記オーソリティレベル検証モジュール３３０は、具体的に、前記検証対象応答に含まれる第１キーワードセットと、各前記ターゲットオーソリティデータに含まれる第２キーワードセットとをそれぞれ取得し、各前記第２キーワードセットにヒットした前記第１キーワードセットのキーワード数を取得し、前記キーワード数と各前記第２キーワードセットに含まれるキーワード総数とに基づいて、前記キーワード次元における前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアを計算する。

さらに、前記オーソリティレベル検証モジュール３３０は、具体的に、前記検証対象応答が各前記ターゲットオーソリティデータに含まれる文にヒットしたか否かをそれぞれ検証し、ヒット結果に基づいて、前記文次元における前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアを計算する。

さらに、前記オーソリティレベル検証モジュール３３０は、具体的に、前記検証対象応答及び各前記ターゲットオーソリティデータをそれぞれ入力データとして組み合わせ、各々の前記入力データを予めトレーニングされた意味類似度認識モデルにそれぞれ入力し、各前記入力データに対する前記意味類似度認識モデルの出力結果を、前記意味次元における前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアとして取得する。

さらに、前記オーソリティレベル検証モジュール３３０は、具体的に、式：

により、前記検証対象応答のオーソリティレベルスコアを計算する。式中、Ｎは、前記オーソリティデータセットからスクリーニングされた相関性条件を満たすターゲットオーソリティデータの個数であり、Ｗｏｒｄ（Ａｎｓ，Ｐ_ｉ）は、キーワード次元における前記検証対象応答Ａｎｓとｉ番目のターゲットオーソリティデータＰ_ｉとの類似性スコアであり、Ｓｅｎｔ（Ａｎｓ，Ｐ_ｉ）は、文次元におけるＡｎｓとＰ_ｉとの類似性スコアであり、Ｓｉｍ（Ａｎｓ，Ｐ_ｉ）は、意味次元におけるＡｎｓとＰ_ｉとの類似性スコアであり、α、β及びγは予め設定された比例係数である。

前記オーソリティレベルスコアが所定のオーソリティレベル閾値よりも小さい場合、前記コミュニティ質問応答データセットから前記検証対象応答を除外する。

さらに、前記オーソリティデータセット生成モジュール３２０は、具体的に、少なくとも１つの信頼ソースサイトを選択し、各前記信頼ソースサイトのサイトデータを取得してデータクレンジングを行い、構造化解析を行った後、前記オーソリティデータセットを生成する。

上記コミュニティ質問応答データの検証装置は、本出願の任意の実施形態によるコミュニティ質問応答データの検証方法を実行することができ、実行されるコミュニティ質問応答データの検証方法に応じた機能モジュール及び有益な効果を有する。

実施例４

図４は、本出願の実施例４による機器を示す構造模式図である。図４は、本出願の実施形態を実施するのに適した例示的なコンピュータ機器４１２のブロック図を示す。図４に示されるコンピュータ機器４１２は単なる一例であり、本出願の実施形態の機能及び使用範囲に何ら制限を課すものではない。

図４に示されるように、コンピュータ機器４１２は、汎用コンピュータ機器の形態で表現される。コンピュータ機器４１２の構成要素は、限定されるものではないが、１つ以上のプロセッサ又は処理ユニット４１６、システムメモリ４２８、異なるシステムコンポーネント（システムメモリ４２８及び処理ユニット４１６を含む）を接続するバス４１８を含むことができる。コンピュータ機器４１２は車載装置であってもよい。

バス４１８は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ又は多様なバス構造のうち任意のバス構造を使用するローカルバスを含む、複数種のバス構造のうち一つ又は複数のものを表す。限定するわけではないが、例として、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ，ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ，ＭＣＡ）バス、エンハンストＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ，ＶＥＳＡ）ローカルバス、ペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ，ＰＣＩ）バスを含む。

コンピュータ機器４１２は、典型的には多様なコンピュータシステム可読媒体を備える。これらの媒体は、コンピュータ機器４１２がアクセスできる任意の可用媒体であってもよく、揮発性媒体及び不揮発性媒体、並びにリムーバブル媒体及びノンリムーバブル媒体が挙げられる。

システムメモリ４２８は、ランダムアクセスメモリ（ＲＡＭ）４３０及び／又はキャッシュメモリ４３２などの揮発性メモリの形態を取るコンピュータシステム可読媒体を含んでもよい。コンピュータ機器４１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでもよい。例示でしかないが、ストレージシステム４４４は、ノンリムーバブル、不揮発性磁気媒体（図４に示されていないが、通常「ハードドライブ」と称される）に対する読み書きに用いることができる。図４には示されていないが、リムーバブル不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み書きするための磁気ディスクドライブ、及びリムーバブル不揮発性光学ディスク（例えば、シーディーロム（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ−ＲＯＭ）、ディーブイディーロム（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＤＶＤ−ＲＯＭ）又は他の光学媒体）に対して読み書きするための光学ディスクドライブを提供することができる。そのような場合、各ドライブは、１つ又は複数のデータメディアインターフェイスを介してバス４１８に接続されてもよい。メモリ４２８は、本出願の各実施例の機能を実行するように構成されているプログラムモジュールのセット（例えば、少なくとも１つ）を有する少なくとも１つのプログラム製品を含んでもよい。

プログラムモジュール４４２のセット（少なくとも１つのプログラムモジュール）を有するプログラム／ユーティリティーツール４４０は、例えば、メモリ４２８に記憶されてもよく、限定されないが、このようなプログラムモジュール４４２は、オペレーティングシステム、１つ又は複数のアプリケーション、他のプログラムモジュール及びプログラムデータを含み、これらの例のそれぞれ又は何らかの組み合わせには、ネットワーキング環境の実装が含まれてもよい。プログラムモジュール４４２は、通常、本出願に記載の実施例における機能及び／又は方法を実行する。

コンピュータ機器４１２は、１つ又は複数の外部デバイス４１４（例えば、キーボード、ポインティングデバイス、ディスプレイ４２４など）と通信してもよいし、ユーザがコンピュータ機器４１２とインタラクションすることを可能にする１つ又は複数のデバイスと通信してもよく、及び／又は該コンピュータ機器４１２が１つ又は複数の他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデムなど）と通信してもよい。そのような通信は、入力／出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、Ｉ／Ｏ）インターフェイス４２２を介して行うことができる。また、コンピュータ機器４１２は、ネットワークアダプタ４２０を介して、１つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）と通信できる。図に示すように、ネットワークアダプタ４２０は、バス４１８を介して、コンピュータ機器４１２の他のモジュールと通信する。なお、図４には示されていないが、他のハードウェア及び／又はソフトウェアモジュールをコンピュータ機器４１２と組み合わせて使用することができ、限定されないが、マイクロコードやデバイスドライバ、冗長化処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｅｘｐｅｎｓｉｖｅ Ｄｉｓｋｓ）システム、テープドライバ、データバックアップストレージシステムなどが挙げられる。

処理ユニット４１６は、システムメモリ４２８に記憶されるプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、例えば、本出願の実施形態によるコミュニティ質問応答データの検証方法を実行する。

つまり、前記処理ユニットは前記プログラムを実行するとき、コミュニティ質問応答データセットを取得し、前記コミュニティ質問応答データセットに基づいて、質問及び質問に対応する検証対象応答を含む複数の質問応答ペアを生成するステップと、少なくとも１つの信頼ソースサイトに保存されているデータに基づいて、オーソリティデータセットを生成するステップと、少なくとも１つの次元における各前記検証対象応答と前記オーソリティデータセットのオーソリティデータとの類似性スコアに基づいて、各前記検証対象応答に対してオーソリティレベル検証を行うステップとを行う。

実施例５

本出願の実施例５は、コンピュータプログラムが格納されているコンピュータ可読記憶媒体を提供し、該プログラムがプロセッサによって実行されると、コミュニティ質問応答データセットを取得し、前記コミュニティ質問応答データセットに基づいて、質問及び質問に対応する検証対象応答を含む複数の質問応答ペアを生成するステップと、少なくとも１つの信頼ソースサイトに保存されているデータに基づいて、オーソリティデータセットを生成するステップと、少なくとも１つの次元における各前記検証対象応答と前記オーソリティデータセットのオーソリティデータとの類似性スコアに基づいて、各前記検証対象応答に対してオーソリティレベル検証を行うステップとを含む本出願のすべての実施形態によるコミュニティ質問応答データの検証方法が実行される。

本出願の実施形態のコンピュータ記憶媒体は、１つ又は複数のコンピュータ可読媒体の任意の組み合わせを使用してもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、或いは半導体のシステム、装置又はデバイス、或いはこれらの任意の組み合わせであってもよいが、それらに限定されない。コンピュータ可読記憶媒体についてのより具体的な例（非網羅的リスト）には、１本又は複数の導線を含む電気的な接続、携帯可能なコンピュータ磁気ディスク、ハードディスク、ＲＡＭ、読取専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ，ＥＰＲＯＭ）、フラッシュメモリ、光ファイバ、携帯可能なＣＤ−ＲＯＭ、光学記憶素子、磁気記憶素子、或いは前記任意の適当な組み合わせが含まれる。本明細書において、コンピュータ可読記憶媒体は、プログラムを含むか、或いは記憶する任意の有形の媒体であってもよく、該プログラムは、命令実行システム、装置又はデバイスによって使用されるか、或いはそれらと組み合わせて使用されてもよい。

コンピュータ可読信号媒体は、ベースバンドに伝送されるか、或いはキャリアの一部として伝送され、コンピュータ読み取り可能なプログラムコードがロードされるデータ信号を含んでもよい。このような伝送されるデータ信号は、様々な形式を採用してもよく、電磁気信号、光信号又はこれらの任意の適当な組み合わせが挙げられるが、それらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該コンピュータ可読媒体は、命令実行システム、装置又はデバイスによって使用されるか、或いはそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。

コンピュータ可読媒体に含まれるプログラムコードは、任意の適当な媒体で伝送されてもよく、無線、電線、光ケーブル、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ，ＲＦ）などや、これらの任意の適当な組み合わせが挙げられるが、それらに限定されない。

１種又は複数種のプログラミング言語又はそれらの組み合わせで、本出願の操作を実行するためのコンピュータプログラムコードを編集することができ、前記プログラミング言語には、例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、例えば「Ｃ」言語又は類似しているプログラミング言語などの従来の手続き型プログラミング言語も含まれる。プログラムコードは、完全にユーザコンピュータにて実行されてもよく、部分的にユーザコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザコンピュータにおいて実行され且つ部分的にリモートコンピュータにおいて実行されてもよく、又は完全にリモートコンピュータ又はサーバにおいて実行されてもよい。リモートコンピュータに係る場合、リモートコンピュータは、ＬＡＮ又はＷＡＮを含む任意の種類のネットワークを介してユーザコンピュータ又は外部コンピュータに接続できる（例えば、インターネットサービスプロバイダーによるインターネットを介して接続できる）。

上記は本出願の好ましい実施形態及び適用される技術原理の説明にすぎないことに留意されたい。本出願は本明細書に記載の特定の実施形態に限定されず、本出願の範囲から逸脱することなく、様々な明らかな変更、新たな調整及び置き換えを行うことができることを当業者は理解されたい。したがって、本出願を上記実施形態を通じて詳細に説明したが、本出願は上記実施形態に限定されるものではなく、本出願の概念から逸脱することなく他の同等の実施形態を含むことができ、本出願の範囲は添付された特許請求の範囲によって定められる。

Claims (11)

1. コミュニティ質問応答データセットを取得し、前記コミュニティ質問応答データセットに基づいて、質問及び質問に対応する検証対象応答を含む複数の質問応答ペアを生成するステップと、
   少なくとも１つの信頼ソースサイトに保存されているデータに基づいて、オーソリティデータセットを生成するステップと、
   少なくとも１つの次元における各前記検証対象応答と前記オーソリティデータセットのオーソリティデータとの類似性スコアに基づいて、各前記検証対象応答に対してオーソリティレベル検証を行うステップと
   を含むことを特徴とするコミュニティ質問応答データの検証方法。
2. 前記少なくとも１つの次元における各前記検証対象応答と前記オーソリティデータセットのオーソリティデータとの類似性スコアに基づいて、各前記検証対象応答に対してオーソリティレベル検証を行うステップは、
   前記検証対象応答を前記オーソリティデータセット内で検索し、相関条件を満たすターゲットオーソリティデータを所定数スクリーニングするステップと、
   少なくとも１つのターゲット次元において、前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアをそれぞれ計算するステップと、
   前記類似性スコアに基づいて、前記検証対象応答に対してオーソリティレベル検証を行うステップと
   を含むことを特徴とする請求項１に記載の方法。
3. 前記ターゲット次元がキーワード次元、文次元又は意味次元を含むことを特徴とする請求項２に記載の方法。
4. キーワード次元において、前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアをそれぞれ計算するステップは、
   前記検証対象応答に含まれる第１キーワードセット、及び各前記ターゲットオーソリティデータに含まれる第２キーワードセットをそれぞれ取得するステップと、
   各前記第２キーワードセットにヒットした前記第１キーワードセットのキーワード数を取得するステップと、
   前記キーワード数と、各前記第２キーワードセットに含まれるキーワード総数とに基づいて、前記キーワード次元における前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアを計算するステップと
   を含むことを特徴とする請求項３に記載の方法。
5. 文次元において、前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアをそれぞれ計算するステップは、
   各前記ターゲットオーソリティデータに含まれる文に前記検証対象応答がヒットしたかどうかをそれぞれ検証するステップと、
   ヒット結果に基づいて、前記文次元における前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアを計算するステップと
   を含むことを特徴とする請求項３に記載の方法。
6. 意味次元において、前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアをそれぞれ計算するステップは、
   前記検証対象応答及び各前記ターゲットオーソリティデータを入力データとして組み合わせるステップと、
   各々の前記入力データを予めトレーニングされた意味類似度認識モデルにそれぞれ入力するステップと、
   各前記入力データに対する前記意味類似度認識モデルの出力結果を、前記意味次元における前記検証対象応答と各前記ターゲットオーソリティデータとの類似性スコアとして取得するステップと
   を含むことを特徴とする請求項３に記載の方法。
7. 前記類似性スコアに基づいて、前記検証対象応答に対してオーソリティレベル検証を行うステップは、
   式：
   

   

   （式中、Ｎは、前記オーソリティデータセットからスクリーニングされた相関性条件を満たすターゲットオーソリティデータの個数であり、Ｗｏｒｄ（Ａｎｓ，Ｐ_ｉ）は、キーワード次元における前記検証対象応答Ａｎｓとｉ番目のターゲットオーソリティデータＰ_ｉとの類似性スコアであり、Ｓｅｎｔ（Ａｎｓ，Ｐ_ｉ）は、文次元におけるＡｎｓとＰ_ｉとの類似性スコアであり、Ｓｉｍ（Ａｎｓ，Ｐ_ｉ）は、意味次元におけるＡｎｓとＰ_ｉとの類似性スコアであり、α、β及びγは予め設定された比例係数である）により、前記検証対象応答のオーソリティレベルスコアを計算するステップであって、
   前記オーソリティレベルスコアが設定されたオーソリティ閾値よりも小さい場合、前記コミュニティ質問応答データセットから前記検証対象応答を除外するステップを含むことを特徴とする請求項３に記載の方法。
8. 前記少なくとも１つの信頼ソースサイトに保存されているデータに基づいて、オーソリティデータセットを生成するステップは、
   少なくとも１つの信頼ソースサイトを選択し、各前記信頼ソースサイトのサイトデータを取得してデータクレンジングを行い、構造化解析を行った後、前記オーソリティデータセットを生成するステップを含むことを特徴とする請求項１に記載の方法。
9. コミュニティ質問応答データセットを取得し、前記コミュニティ質問応答データセットに基づいて、質問及び質問に対応する検証対象応答を含む複数の質問応答ペアを生成するための質問応答ペア生成モジュールと、
   少なくとも１つの信頼ソースサイトに保存されているデータに基づいて、オーソリティデータセットを生成するためのオーソリティデータセット生成モジュールと、
   少なくとも１つの次元における各前記検証対象応答と前記オーソリティデータセットのオーソリティデータとの類似性スコアに基づいて、各前記検証対象応答に対してオーソリティレベル検証を行うためのオーソリティレベル検証モジュールと
   を備えることを特徴とするコミュニティ質問応答データの検証装置。
10. １つ又は複数のプロセッサと、１つ又は複数のプログラムを格納するための記憶装置とを備えるコンピュータ機器であって、
    前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサが請求項１〜８のいずれか１項に記載のコミュニティ質問応答データの検証方法を実行することを特徴とするコンピュータ機器。
11. コンピュータプログラムが格納されているコンピュータ可読記憶媒体であって、
    該プログラムがプロセッサにより実行されると、請求項１〜８のいずれか１項に記載のコミュニティ質問応答データの検証方法が実行されることを特徴とするコンピュータ可読記憶媒体。

Images