JP2022039973A - 品質を管理するための方法及び装置、電子機器、記憶媒体、並びに、コンピュータプログラム - Google Patents

Abstract

【課題】品質を管理するための方法及び装置、電子機器、記憶媒体、並びに、コンピュータプログラムの提供。【解決手段】本開示は品質を管理するための方法、装置、機器および記憶媒体を開示し、自然言語理解および知識マップなどの人工知能技術分野に関し、医療分野に応用できる。具体的な実現手段は、検出対象のテキスト情報および分野を取得するステップと、分野に基づいて予め設定された質問および読解モデルを取得するステップと、質問およびテキスト情報を読解モデルに入力し、回答を抽出して得るステップと、回答が空でなければ、品質管理情報を出力するステップと、を含む。この実施形態は自然言語の理解技術を通じて品質管理点を開発し、品質管理の能力範囲を拡大する。【選択図】図２

Description

本開示は自然言語理解や知識マップなどの人工知能技術分野に関し、医療分野に応用できる。

現在の電子文書（例えば、カルテ）の自動化品質管理（Ｑｕａｌｉｔｙ Ｃｏｎｔｒｏｌ）は伝統的な情報計画メーカーの技術能力に制限されており、多くの場合、形式（完全かつ有効性、記入の時効性）が重要視され、内容（用語の規範性、表現の一貫性、論理性など）が軽視される管理現状になっている。特に医療分野では、現在大量の医療カルテに関する問題は、病院の３級品質管理体系によって大量の手動による抽出検査を行う必要があり、時間、人手、能力が限られているため、重複的で繁雑なカルテの品質管理作業は効率と品質を効果的に向上することが難しい。

従来の品質管理アルゴリズムの多くはルールに基づいて実現されており、少数の品質管理は様々なモデルによって実現されているが、これらの実現方法には統一的な方法で実現できないという問題がある。さらに、１つの品質管理点のために１つのモデルを個別に訓練する必要がある場合もあり、非常に多くの人手とリソースが占用される。

従来技術の方案は、ルールによる実現方法と単一の品質管理点に対する単一のアルゴリズムによる実現方法であり、ルールによる実現方法は一つの人工ルールが一つの品質管理点を実現し、単一の品質管理点に対する単一のアルゴリズムによる実現方法は、単一の品質管理点に対して一つのアルゴリズムを採用し、各品質管理点の間に関係がない。

本開示は、品質を管理するための方法および装置、電子機器、記憶媒体、並びに、コンピュータプログラムを提供する。

本開示の第１の態様によれば、品質を管理するための方法であって、検出対象のテキスト情報および分野を取得するステップと、分野に基づいて予め設定された質問および読解モデルを取得するステップと、質問およびテキスト情報を読解モデルに入力し、回答を抽出して得るステップと、回答が空でなければ、品質管理情報を出力するステップと、を含む品質を管理するための方法を提供する。

本開示の第２の態様によれば、品質を管理するための装置であって、検出対象のテキスト情報および分野を取得するように構成されるテキスト取得ユニットと、分野に基づいて予め設定された質問および読解モデルを取得するように構成されるモデル取得ユニットと、質問およびテキスト情報を読解モデルに入力し、回答を抽出して得るように構成される抽出ユニットと、回答が空でない場合に品質管理情報を出力するように構成される出力ユニットと、を備える品質を管理するための装置を提供する。

本開示の第３の態様によれば、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサによって実行可能な指令が格納されており、指令が少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに第１の態様のいずれか一項に記載の方法が実行される電子機器を提供する。

本開示の第４の態様によれば、コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、コンピュータ指令はコンピュータに第１の態様のいずれか一項に記載の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体を提供する。

本開示の第５の態様によれば、プロセッサにより実行されると、本開示の第１態様のいずれか一項に記載の方法を実施するコンピュータプログラムを提供する。

本開示の技術によれば、統一的な方式で電子文書の品質管理システムを構築することができ、従来の方法に比べ、実現がより簡単で、データをマークし品質管理点に対応する質問を構築するだけでよく、且つ構築された質問には事前知識が導入されるため、モデルはより良好な汎化能力を有する。読解の方法に基づき、品質管理を読解とみなすことができ、各品質管理点は、例えば一致するか否か、どの箇所が一致しないかなどの質問に回答する。すべての品質管理点は同一のモデルで実現される。

なお、発明の概要に記載された内容は、本開示の実施形態の重要な特徴を限定することを意図するものではなく、本開示の範囲を限定するものでもないことを理解されたい。本開示の他の特徴は、以下の説明によって容易に理解されるであろう。

図面は本開示をよりよく理解するために用いられ、本開示を限定するものではない。

本開示の一実施形態を適用可能な例示的なシステムアーキテクチャを示す図である。 本開示による品質を管理するための方法の一実施形態のフローチャートである。 本開示による品質を管理するための方法の応用シ―ンの概略図である。 本開示による品質を管理するための方法のさらなる実施形態のフローチャートである。 本開示による品質を管理するための装置の一実施形態の概略構成図である。 本開示の実施形態に係る品質を管理するための方法を実施するための電子機器のブロック図である。

以下は図面を参照して本開示の例示的な実施形態を説明し、ここでは理解を容易にするため、本開示の実施形態の様々な詳細が記載されるが、これらは単なる例示的なものに過ぎない。従って、本開示の範囲および要旨を逸脱しない限り、当業者が本明細書の実施形態に対して様々な変更や修正を行うことができることは自明である。なお、以下の説明では、明確化および簡略化のため、公知の機能および構成については説明を省略する。

図１は、本開示の実施形態の品質を管理するための方法、品質を管理するための装置を適用することができる例示的なシステムアーキテクチャ１００を示す。

図１に示すように、システムアーキテクチャ１００は、端末装置１０１、１０２、ネットワーク１０３、データベースサーバ１０４およびサーバ１０５を含んでもよい。ネットワーク１０３は、端末装置１０１、１０２、データベースサーバ１０４とサーバ１０５との間に通信リンクを提供するための媒体として用いられる。ネットワーク１０３は、有線、無線通信リンクまたは光ファイバケーブルなどの様々なタイプの接続を含んでもよい。

ユーザ１１０は、メッセージを送受信するために、端末装置１０１、１０２を使用してネットワーク１０３を介してサーバ１０５と情報のやり取りをすることができる。端末装置１０１、１０２には、モデル訓練アプリケーション、品質管理アプリケーション、ショッピングアプリケーション、支払いアプリケーション、Ｗｅｂブラウザおよびインスタントコミュニケーションツールなどの様々なクライアントアプリケーションをインストールすることができる。

ここで、端末装置１０１および１０２は、ハードウェアであってもよいし、ソフトウェアであってもよい。端末装置１０１および１０２は、ハードウェアである場合、スマートフォン、タブレット、電子ブックリーダー、ＭＰ３プレーヤー（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ ＬａｙｅｒＩＩＩ、ＭＰＥＧオーディオレイヤー３）、ラップトップポータブルコンピュータ、デスクトップコンピュータなどを含むがそれらに限定されない、ディスプレイを有する様々な電子機器であってもよい。端末装置１０１および１０２は、ソフトウェアである場合、上記の電子機器にインストールされてもよい。それは、複数のソフトウェアまたはソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実装されてもよく、または単一のソフトウェア若しくはソフトウェアモジュールとして実装されてもよい。ここでは特に限定しない。

端末装置１０１および１０２がハードウェアである場合、その上に画像採集装置を設置してもよい。画像採集装置は、カメラ、センサなど、画像採集機能を実現可能な様々な装置であってもよい。ユーザ１１０は、端末装置１０１および１０２上の画像採集装置を用いて文書情報を採集（例えば、カルテ画像を撮影）し、ＯＣＲによって画像内容を認識して電子文書を生成してもよい。端末装置１０１および１０２は、電子文書（例えば、電子カルテ）を直接取得してもよい。

データベースサーバ１０４は、様々なサービスを提供するデータベースサーバであってもよい。例えば、データベースサーバにサンプル集合を格納してもよい。サンプル集合には大量のサンプルが含まれている。ここで、サンプルは、サンプル文書、サンプル質問およびサンプル回答を含んでもよい。このように、ユーザ１１０は、端末装置１０１、１０２を介して、データベースサーバ１０４に格納されたサンプル集合からサンプルを選択してもよい。

サーバ１０５は、端末装置１０１、１０２に表示される各種アプリケーションをサポートするバックグラウンドサーバなど、様々なサービスを提供するサーバであってもよい。バックグラウンドサーバは、端末装置１０１、１０２から送信されたサンプル集合内のサンプルを用いて、初期モデルを訓練し、訓練結果（例えば、生成された読解モデル）を端末装置１０１、１０２に送信してもよい。このようにして、ユーザは、生成された読解モデルを適用して品質検査を行うことができる。サーバはテスト対象のテキスト情報を受信し、訓練済み読解モデルを用いて品質検査を行い、検査結果を端末装置にフィードバックしてもよい。

ここでのデータベースサーバ１０４は、サーバ１０５と同様にハードウェアであってもよいし、ソフトウェアであってもよい。それらがハードウェアである場合、複数のサーバから構成される分散サーバクラスターとしても、単一のサーバとしても実装され得る。それらがソフトウェアである場合、複数のソフトウェアまたはソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実装されてもよく、または単一のソフトウェア若しくはソフトウェアモジュールとして実装されてもよい。ここでは特に限定しない。

なお、本開示の実施形態により提供される品質を管理するための方法は、一般的にサーバ１０５により実行される。それに応じて、品質を管理するための装置は一般的にサーバ１０５に設けられる。

なお、サーバ１０５がデータベースサーバ１０４の関連機能を達成できる場合には、システムアーキテクチャ１００にデータベースサーバ１０４を設けなくてもよい。

図１における端末装置、ネットワーク、データベースサーバおよびサーバの数は例示的なものに過ぎないことを理解するべきである。実装の必要性に応じて、端末装置、ネットワーク、データベースサーバおよびサーバの数を任意に加減してもよい。

次に、本開示に係る品質を管理するための方法の一実施形態のフロー２００を示す図２を参照する。品質を管理するための方法は、ステップ２０１～２０４を含んでもよい。

ステップ２０１では、検出対象のテキスト情報と分野を取得する。

本実施形態では、品質を管理するための方法の実行主体（例えば、図１に示すサーバ１０５）は、検出対象のテキスト情報および分野を様々な方法で取得することができる。例えば、実行主体は、データベースサーバ（例えば、図１に示すデータベースサーバ１０４）から、有線接続または無線接続を介して、そこに格納された検出対象のテキスト情報および分野を取得してもよい。また例えば、実行主体は、端末装置（例えば、図１に示す端末装置１０１、１０２）から送信された検出対象のテキスト情報および分野を受信してもよい。テキスト情報は、コンピュータが直接認識できる電子情報であってもよいし、画像であってもよく、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ，光学文字認識）などの技術によってコンピュータ文字に変換されてもよい。例えば、テキスト情報は、電子カルテでも手書きのカルテでもよく、手書きのカルテを文字認識アプリケーションにより電子カルテに変換する。分野とは、文書情報が属する分野をいい、例えば、医療、教育、スポーツなどが挙げられる。

ステップ２０２では、分野に基づいて予め設定された質問および読解モデルを取得する。

本実施形態では、予め分野別に品質に関する質問を構成してもよい。例えば、医療分野の質問は外来診療記録と入院診療記録の症状が一致しているか否かという質問であってもよい。教育分野の質問は、月１回の試験の成績が正常に変動しているか否かという質問であってもよい。読解モデル（ＭＲＣ，Ｍａｃｈｉｎｅ Ｒｅａｄｉｎｇ Ｃｏｍｐｒｅｈｅｎｓｉｏｎ，機械読解）は、機械が文書を読み、関連する質問に答えることができるニューラルネットワークモデルである。

ステップ２０３では、質問およびテキスト情報を読解モデルに入力して、回答を抽出して得る。

本実施形態では、文章ｐと質問ｑを与え、ｓｐａｎ（ｓｔａｒｔ，ｅｎｄ）を予測することを目的とし、ｓｔａｒｔおよびｅｎｄはｐ上の単語の開始位置と終了位置であり、ｓｐａｎはこの質問への回答である。読解モデルは、このタスクをシーケンス上の二分類問題に変換し、すなわち、文章内の単語ごとに、それぞれｓｔａｒｔとｅｎｄであるスコアを予測し、最後にこのスコアを使ってｓｐａｎを予測する。

テキスト情報が「張三は台湾出身である」とすると、質問は「張三はどこで生まれた？」である。読解モデルに入力した後、ｓｔａｒｔ［０，０，０，０，０，１，０］、ｅｎｄ［０，０，０，０，０，０，１］のラベルが出力される。ｓｐａｎは「台湾」である。

ステップ２０４では、回答が空でなければ、品質管理情報を出力する。

本実施形態では、質問の回答が空でなければ、品質問題が発生したことを意味し、回答に基づいて品質問題が発生した位置を特定して品質管理情報を出力してもよい。品質管理情報は、問題が発生した位置、カテゴリなどの情報を示すために使用され、解決策も含むことができる（例えば、該問題の担当者は誰ですか？その連絡先はどこですか？質問－回答の組み合わせを連絡先に従って担当者にプッシュしてもよい）。例えば、質問は「どの用語が非規範的であるか」であり、読解モデルが抽出した回答が空でなければ、見つかった回答は非規範的な用語である。出力される品質管理情報は、「非規範的な用語：ＸＸＸ」であってもよい。オプションとして、これらの非規範的な用語を書く担当者の連絡先を探し、品質管理情報を担当者にプッシュすることもできる。また、例えば、どのモジュールが問題になりやすいのか、担当者ごとにどのくらい問題があったかなどの品質管理情報を集計することもできる。

本開示により提供された品質を管理するための方法は、読解方法に基づき、品質管理を読解と見なすことができ、各品質管理点はいずれも質問を回答しており、すべての品質管理点は同じモデルで実現される。品質管理の効率が向上され、コストが削減される。

本実施形態のいくつかのオプション的な実施形態において、予め設定された質問は、分野の品質管理要求を取得することと、品質管理要求における各フィールドを一つの実体とし、実体集合を取得することと、実体集合から少なくとも一つの実体を選択し、選択された実体に関連する質問を検査ルールに従って作成することとを含む方法によって作成される。例えば、品質管理が、入院診療記録における主訴と現病歴における疾患名、持続時間などのフィールドの有効性を検査することを求めることであれば、実体は、「主訴」、「現病歴」、「疾患名」、「持続時間」を含んでもよい。任意選択で１つまたは複数の実体を組み合わせて質問を作成してもよい。例えば、入院診療記録における主訴が現病歴の「疾患名」と一致しない疾患を見つけ出してください。入院診療記録における主訴と現病歴の「持続時間」が一致しない疾患を見つけ出してください。それにより、異なる品質管理ニーズに応じて質問を作成し、全面的な品質管理を実現することができる。

オプションとして、質問は、例えば［実体１］と［実体２］の［ｘｘ］が一致しないというテンプレートを充填する方式で構成され得る。［］の中は、品質管理ニーズに応じて充填される内容であり、上記［実体１］は主訴、［実体２］は現病歴、［ｘｘ］は持続時間である。

本実施形態のいくつかのオプション的な実施形態において、検査ルールは、用語の規範性、表現の一貫性および論理性のうちの少なくとも１つを含む。例えば、構成される質問は、「主訴の中で用語が非規範である単語を見つけ出してください」、「主訴の、現病歴における表現と一致しない箇所を見つけ出してください」、「主訴と現病歴における論理的に誤りがある箇所を見つけ出してください」などが挙げられる。テキスト情報を全面的にチェックすることができ、より厳密な品質管理を行うことができる。

本実施形態のいくつかのオプション的な実施形態において、検出対象のテキスト情報および分野を取得するステップは、検出対象のテキスト情報を取得することを含む。テキスト情報を所定の分野のキーワードとマッチングし、テキスト情報の分野を特定する。ユーザが事前にテキスト情報の分野を知らなければ、サーバは分野の特定を助け、分野に応じて対応する読解モデルを呼び出すことができる。キーワードマッチング方法によって分野を特定することができ、従来技術の固有表現モデルなどのツールによってテキスト情報からキーワードを抽出し、次にテキスト情報のキーワードと、予め設定された分野キーワードベースにおける分野のキーワードとを順次マッチングし、類似度を算出し、類似度が予め設定された類似度閾値よりも大きければ、マッチングに成功したと判定する。マッチングに成功した分野がテキスト情報の分野である。それにより、当該分野の読解モデルを正確に見つけることができ、テキスト情報を正確に理解して品質管理を行うことができる。

さらに図３を参照する。図３は、本実施形態による品質を管理するための方法の応用シーンの概略図である。図３の応用シーンでは、医療分野に応用され、検出対象のテキスト情報は「入院診療記録、主訴：連続発熱３日、連続嘔吐３日、現病歴：連続発熱７日、連続嘔吐３日」である。質問は「入院診療記録中の疾患持続時間が主訴、現病歴において前後で一致しない疾患を見つけ出してください」。テキスト情報および質問を医療分野の読解モデルに入力し、回答である「発熱」を得る。回答が空でないので、品質管理問題があることを意味する。「主訴と現病歴における病歴の症状とが一致しない」という品質管理情報を出力する必要がある。そうすれば、品質問題によって規則規程に従って対処することができる。

更に、品質を管理するための方法のもう一つの実施形態のフロー４００を示す図４を参照する。品質を管理するための方法のフロー４００は、ステップ４０１～４０６を含む。

ステップ４０１では、初期読解モデルを取得する。

本実施形態では、品質を管理するための方法が実行される電子機器（例えば、図１に示すサーバ）は、第三者サーバから初期読解モデルを取得してもよい。ここで、初期読解モデルはニューラルネットワークモデルである。初期読解モデルは、第１分類器、第２分類器および第３分類器を含んでもよい。第１分類器は、回答の開始位置、すなわち上述したｓｔａｒｔを特定するために使用される。第２分類器は、回答の終了位置、すなわち上述したｅｎｄを特定するために使用される。第３分類器は、回答の有効性、すなわち上述したｓｐａｎの有効性を検証するために使用される。

ステップ４０２では、分野に基づいて事前選択して作成されたサンプル集合を取得する。

本実施形態では、サンプル集合は、文書、サンプル質問およびサンプル回答を含むサンプルのうちの少なくとも１つを含む。サンプルは分野と関係があり、分野別に異なるサンプルを使って分野と関係のある読解モデルを訓練することができる。例えば、医療分野では、文書として電子カルテを採用し、医療の品質に関する質問をあらかじめ作成しておき、その質問に対する回答を文書にマークしてもよい。同じ質問に対して複数の回答がある場合があり、すべてマークされる。

ステップ４０３では、サンプル集合からサンプルを選択し、文書、サンプル質問を入力とし、サンプル回答の開始位置を期待出力として、初期読解モデルの第１分類器を訓練する。

この実施形態では、初期読解モデルは、３種類の分類器を含んでもよい。第１分類器は、回答の開始位置を特定するために使用される。別々に訓練してもよいし、マルチタスクで連携して訓練してもよい。第１分類器、第２分類器および第３分類器の間に共有層（例えば、単語埋め込み層、特徴抽出層）があってもよく、ネットワークパラメータの共有を行い、このように読解モデルの収束速度を向上させることができる。第１分類器は、訓練されていない深層学習モデルまたは部分的に訓練された深層学習モデルであってもよく、第１分類器の各層には初期パラメータが設定されてもよく、パラメータは第１分類器の訓練中に連続的に調整されてもよい。ここで、電子機器は、文書、サンプル質問を第１分類器の入力側から入力し、第１分類器における各層のパラメータの処理（例えば、乗算、畳み込みなど）を順次経て、第１分類器の出力側から出力することができ、出力側から出力される情報が予測された回答の開始位置である。予測された回答の開始位置とサンプル回答の開始位置を比較し、予め設定された損失関数に基づいて第１分類器の損失値を算出することができ、損失値が閾値よりも大きければ第１分類器のネットワークパラメータを調整し、且つサンプルを選択して訓練し続け、そうでなければ第１分類器の訓練が完了する。

ステップ４０４では、サンプル集合からサンプルを選択し、文書、サンプル質問を入力とし、サンプル回答の終了位置を期待出力として、初期読解モデルの第２分類器を訓練する。

本実施形態では、第２分類器は回答の終了位置を特定するために使用される。ステップ４０３と同様に、第２分類器は、第２分類器の訓練速度を向上するために、第１分類器のネットワークパラメータから共有パラメータを取得してもよい。第２分類器は、訓練されていない深層学習モデルまたは部分的に訓練された深層学習モデルであってもよく、第２分類器の各層には初期パラメータが設定されてもよく、パラメータは第２分類器の訓練中に連続的に調整されてもよい。ここで、電子機器は、文書、サンプル質問を第２分類器の入力側から入力し、第２分類器における各層のパラメータの処理（例えば、乗算、畳み込みなど）を順次経て、第２分類器の出力側から出力することができ、出力側から出力される情報が予測された回答の終了位置である。予測された回答の終了位置とサンプル回答の終了位置を比較し、予め設定された損失関数に基づいて第２分類器の損失値を算出することができ、損失値が閾値よりも大きければ第２分類器のネットワークパラメータを調整し、且つサンプルを選択して訓練し続け、そうでなければ第２分類器の訓練が完了する。

ステップ４０５では、サンプル集合からサンプルを選択し、文書、サンプル質問を入力とし、サンプル回答を期待出力として、初期読解モデルの第３分類器を訓練する。

本実施形態では、第３分類器は回答の有効性を検証するために使用される。第３分類器を独立に訓練してもよいし、第１分類器および第２分類器に基づいて訓練してもよい。第３分類器は訓練されていない深層学習モデルまたは部分的に訓練された深層学習モデルであってもよく、第３分類器の各層に初期パラメータが設定されてもよく、パラメータは第３分類器の訓練中に連続的に調整されてもよい。ここで、電子機器は、文書、サンプル質問を第３分類器の入力側から入力し、第３分類器における各層のパラメータの処理（例えば、乗算、畳み込みなど）を順次経て、第３分類器の出力側から出力することができ、出力側から出力される情報が予測された回答である。予測された回答をサンプル回答と比較し、予め設定された損失関数に基づいて第３分類器の損失値を算出することができ、損失値が閾値よりも大きければ第３分類器のネットワークパラメータを調整し、且つサンプルを選択して訓練を続け、そうでなければ第３分類器の訓練が完了する。

ステップ４０６では、訓練された第１分類器、第２分類器および第３分類器から読解モデルを構成する。

本実施形態では、第１分類器、第２分類器および第３分類器が同じ構造およびパラメータを有するネットワーク層を共有層に統合し、さらにそれぞれ異なる出力層に接続して読解モデルを構成することで、テキスト情報および質問を入力する場合、有効性が検証された回答を出力とすることができる。

図４から分かるように、図２に対応する実施形態と比べ、本実施形態における品質を管理するための方法のフロー４００は、読解モデルを訓練するステップを表す。これにより、本実施形態で述べた解決手段は、異なる分野のサンプルに基づいて異なる分野の読解モデルを訓練することができ、それによりねらいがはっきりした品質管理を行うことができる。

本実施形態のいくつかのオプション的な実施形態において、該方法はさらに以下のステップを含む。分野に基づいて事前訓練モデルを取得する。事前訓練モデルの共通パラメータに基づいて初期読解モデルのパラメータを調整する。事前訓練モデルは、ＢＥＲＴ、ＥＲＮＩＥなどのニューラルネットワークモデルであってもよい。事前訓練モデルは分野に関係があり、異なる分野に対応する事前訓練モデルのパラメータは異なる。したがって、同じ分野の事前訓練モデルの共通パラメータを初期読解モデルと共有し、初期読解モデルの初期パラメータを事前訓練モデルの共通パラメータと同じになるように調整してもよい。こうすると、読解モデルの訓練速度を速め、訓練時間を節約し、読解モデルの精度を高めることができる。

更に図５を参照すると、上記の図に示された方法の実施態様として、本開示は、品質を管理するための装置の一実施形態を提供し、該装置の実施形態は、図２に示された方法の実施形態に対応しており、該装置は、具体的に様々な電子機器に適用することができる。

図５に示すように、本実施形態の品質を管理するための装置５００は、テキスト取得ユニット５０１、モデル取得ユニット５０２、抽出ユニット５０３および出力ユニット５０４を備える。ここで、テキスト取得ユニット５０１は、検出対象のテキスト情報および分野を取得するように構成される。モデル取得ユニット５０２は、分野に基づいて予め設定された質問および読解モデルを取得するように構成される。抽出ユニット５０３は、質問およびテキスト情報を読解モデルに入力し、回答を抽出して得るように構成される。出力ユニット５０４は、回答が空でない場合に品質管理情報を出力するように構成される。

本実施形態において、品質を管理するための装置５００のテキスト取得ユニット５０１、モデル取得ユニット５０２、抽出ユニット５０３および出力ユニット５０４の具体的な処理は、図２の対応する実施形態におけるステップ２０１、ステップ２０２、ステップ２０３およびステップ２０４を参照してもよい。

本実施形態のいくつかのオプション的な実施形態において、装置５００は、第１分類器、第２分類器および第３分類器を含む初期読解モデルを取得するように構成される訓練ユニット（図示せず）をさらに含む。分野に基づいて事前選択して作成されたサンプル集合を取得し、サンプル集合は、文書、サンプル質問およびサンプル回答を含むサンプルのうちの少なくとも１つを含む。サンプル集合からサンプルを選択し、文書、サンプル質問を入力とし、サンプル回答の開始位置を期待出力として、初期読解モデルの、回答の開始位置を特定するための第１分類器を訓練する。サンプル集合からサンプルを選択し、文書、サンプル質問を入力とし、サンプル回答の終了位置を期待出力として、初期読解モデルの、回答の終了位置を特定するための第２分類器を訓練する。サンプル集合からサンプルを選択し、文書、サンプル質問を入力とし、サンプル回答を期待出力として、初期読解モデルの、回答の有効性を検証するための第３分類器を訓練する。訓練された第１分類器、第２分類器および第３分類器から読解モデルを構成する。

本実施形態のいくつかのオプション的な実施形態において、訓練ユニットは、分野に基づいて事前訓練モデルを取得するようにさらに構成される。事前訓練モデルの共通パラメータに基づいて初期読解モデルのパラメータを調整する。

本実施形態のいくつかのオプション的な実施形態において、装置５００は、分野の品質管理要求を取得するように構成される質問作成ユニット（図示せず）をさらに含む。品質管理要求における各フィールドを一つの実体として、実体集合を取得する。実体集合から少なくとも一つの実体を選択し、選択された実体に関連する質問を検査ルールに従って作成する。

本実施形態のいくつかのオプション的な実施形態において、検査ルールは、用語の規範性、表現の一貫性および論理性のうちの少なくとも１つを含む。

本実施形態のいくつかのオプション的な実施形態において、テキスト取得ユニット５０１は、検出対象のテキスト情報を取得するようにさらに構成される。テキスト情報を所定の分野のキーワードとマッチングし、テキスト情報の分野を特定する。

本開示の実施形態によれば、本開示はさらに電子機器および可読記憶媒体を提供する。

図６に示すのは、本開示の実施形態に係る品質を管理するための方法を実施するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似する演算装置等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも一例であり、ここで記述および／または要求した本開示の実施形態を限定することを意図するものではない。

図６に示すように、該電子機器は、１つまたは複数のプロセッサ６０１、メモリ６０２、および各コンポーネントを接続するためのインタフェース（高速インタフェースおよび低速インタフェースを含む）を含む。各コンポーネントは、互いに異なるバスで接続されており、共通のマザーボード上に実装されていてもよいし、必要に応じて他の方式で実装されていてもよい。プロセッサは、電子機器内で実行される指令を処理することができ、前記指令は、インターフェースに結合された表示装置等の外部入出力装置にグラフィカルユーザインタフェース（ＧＵＩ，Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のグラフィック情報を表示するために、メモリ内またはメモリ上に格納される指令を含む。他の実施形態では、必要に応じて、複数のプロセッサおよび／または複数のバスを、複数のメモリとともに使用することができる。また、複数の電子機器が接続されていてもよく、各機器は、例えば、サーバアレイ、ブレードサーバ群またはマルチプロセッサシステムなど、一部の必要な動作を提供する。図６では、１つのプロセッサ６０１を例としている。

メモリ６０２は、本開示が提供する非一時的コンピュータ可読記憶媒体である。ここで、前記メモリは、少なくとも１つのプロセッサによって実行され得る指令を格納しており、それにより前記少なくとも１つのプロセッサに本開示が提供する品質を管理するための方法を実行させる。本開示の非一時的コンピュータ可読記憶媒体はコンピュータ指令を格納し、該コンピュータ指令はコンピュータに本開示に係る品質を管理するための方法を実行させるために用いられる。

メモリ６０２は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラムおよびモジュールを格納することに用いられ得、例えば本開示の実施形態に係る品質を管理するための方法に対応するプログラム指令／モジュール（例えば、図５に示すテキスト取得ユニット５０１、モデル取得ユニット５０２、抽出ユニット５０３および出力ユニット５０４）が挙げられる。プロセッサ６０１は、メモリ６０２に格納された非一時的ソフトウェアプログラム、指令およびモジュールを実行することにより、サーバの各種機能アプリケーションおよびデータ処理を実行し、すなわち上記方法の実施形態に係る品質を管理するための方法を実施する。

メモリ６０２はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションを格納可能なプログラム記憶領域と、品質を管理するための電子機器の使用に応じて作成されるデータ等を格納可能なデータ記憶領域とを含み得る。また、メモリ６０２は高速ランダムアクセスメモリを含むことができ、また非一時的メモリ（例えば、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリデバイスまたはその他の非一時的ソリッドステート記憶装置）を含み得る。いくつかの実施形態において、メモリ６０２は、オプションとしてプロセッサ６０１に対して遠隔に設置されたリモートメモリを含み、これらのリモートメモリはネットワークを介して品質を管理するための電子機器に接続され得る。上記ネットワークとしては、例えば、インターネット、企業イントラネット、ローカルエリアネットワーク、移動体通信網およびこれらの組み合わせなどが挙げられるが、それらに限定されない。

品質を管理するための方法を実施する電子機器はさらに、入力装置６０３および出力装置６０４を含み得る。プロセッサ６０１、メモリ６０２、入力装置６０３および出力装置６０４は、バスまたはその他の方式で接続されていてもよく、図６ではバスで接続されている例を示している。
例えばタッチパネル、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングデバイス、１つまたは複数のマウスボタン、トラックボール、ジョイスティック等の入力装置６０３は、入力された数字や文字情報を受信でき、品質を管理するための電子機器のユーザ設定および機能制御に関するキー信号の入力を生成することができる。出力装置６０４は表示装置、補助照明装置（例えば、ＬＥＤ）および触覚フィードバック装置（例えば、振動モータ）等を含むことができる。該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態において、表示装置はタッチパネルであってもよい。

ここで説明するシステムおよび技術の様々な実施形態はデジタル電子回路システム、集積回路システム、専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせにおいて実装され得る。これらの様々な実施形態は、１つまたは複数のコンピュータプログラムに実装され、該１つまたは複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／または解釈することができ、該プログラマブルプロセッサは専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指令を受信することができ、且つデータおよび指令を該記憶システム、該少なくとも１つの入力装置および該少なくとも１つの出力装置に伝送することを含み得る。

これらのコンピュータプログラムは、プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとも呼ばれ、プログラマブルプロセッサの機械命令を含み、且つ高度プロセスおよび／またはオブジェクト指向のプログラミング言語、および／またはアセンブリ言語／機械語を用いて実施することができる。ここで、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械命令および／またはデータをプログラマブルプロセッサに供給するための任意のコンピュータプログラム、装置、および／またはデバイス（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を意味し、機械可読信号である機械命令を受信する機械可読媒体を含む。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに供給するための任意の信号を意味する。

ユーザとのやりとりをするために、ここで記述するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実施することができ、ユーザが該キーボードおよび該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置もユーザとのやりとりをすることに用いられてもよい。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力若しくは触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。

ここで記述したシステムおよび技術は、バックグラウンドコンポーネントを含む計算システム（例えば、データサーバ）に実装されてもよく、またはミドルウェアコンポーネントを含む計算システム（例えば、アプリケーションサーバ）に実装されてもよく、またはフロントエンドコンポーネントを含む計算システム（例えば、グラフィカルユーザインタフェースまたはウェブブラウザを有するユーザコンピュータ）に実装されてもよく、ユーザは該グラフィカルユーザインタフェースまたはウェブブラウザを介してここで記述したシステムおよび技術の実装とやりとりをしてもよく、またはこのようなバックグラウンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントのいずれかの組み合わせを含む計算システムに実装されてもよい。また、システムの各コンポーネントは、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットなどを含む。

コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント－サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。サーバは、分散システムのサーバ、あるいはブロックチェーンを結合したサーバであってもよい。サーバは、クラウドサーバ、または人工知能技術を備えたインテリジェントクラウドコンピューティングサーバまたはインテリジェントクラウドホストであってもよい。サーバは、分散システムのサーバ、あるいはブロックチェーンを結合したサーバであってもよい。

本開示の実施形態の技術方案によれば、統一的な方式で異なる分野の品質管理システムを構築することができ、従来の方法に比べ、実現方法がより簡単で、データをマークし品質管理点に対応する質問を構築するだけでよく、且つ構築された質問には事前知識が導入されるため、モデルはより良好な汎化能力を有する。

なお、上述した様々な形態のフローを用いて、ステップを並び替え、追加または削除を行うことができることを理解されるべきである。例えば、本開示に記載された各ステップは、本開示に開示された技術方案の所望の結果が達成できる限り、並行して実行されてもよく、順番に実行されてもよく、異なる順序で実行されてもよく、本明細書はここで限定しない。

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件および他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、および代替を行うことができることは理解される。本開示の精神および原理内で行われたあらゆる補正、均等な置換および改善などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (15)

1. 検出対象のテキスト情報および分野を取得するステップと、
   前記分野に基づいて予め設定された質問および読解モデルを取得するステップと、
   前記質問および前記テキスト情報を前記読解モデルに入力し、回答を抽出して得るステップと、
   前記回答が空でなければ、品質管理情報を出力するステップと、を含む品質を管理するための方法。
2. 前記読解モデルは、
   第１分類器、第２分類器および第３分類器を含む初期読解モデルを取得するステップと、
   分野に基づいて事前選択して作成されたサンプル集合を取得するステップであって、サンプル集合は、文書、サンプル質問およびサンプル回答を含むサンプルのうちの少なくとも１つを含む、ステップと、
   前記サンプル集合からサンプルを選択し、文書、サンプル質問を入力とし、サンプル回答の開始位置を期待出力として、前記初期読解モデルの、回答の開始位置を特定するための第１分類器を訓練するステップと、
   前記サンプル集合からサンプルを選択し、文書、サンプル質問を入力とし、サンプル回答の終了位置を期待出力として、前記初期読解モデルの、回答の終了位置を特定するための第２分類器を訓練するステップと、
   前記サンプル集合からサンプルを選択し、文書、サンプル質問を入力とし、サンプル回答を期待出力として、前記初期読解モデルの、回答の有効性を検証するための第３分類器を訓練するステップと、
   訓練された第１分類器、第２分類器および第３分類器から読解モデルを構成するステップと、により訓練される請求項１に記載の方法。
3. 分野に基づいて事前訓練モデルを取得するステップと、
   前記事前訓練モデルの共通パラメータに基づいて前記初期読解モデルのパラメータを調整するステップとをさらに含む請求項２に記載の方法。
4. 前記予め設定された質問は、
   前記分野の品質管理要求を取得するステップと、
   前記品質管理要求における各フィールドを一つの実体とし、実体集合を得るステップと、
   前記実体集合から少なくとも一つの実体を選択し、選択された実体に関連する質問を検査ルールに従って作成するステップと、
   により作成される請求項１に記載の方法。
5. 前記検査ルールは、
   用語の規範性、表現の一貫性および論理性のうちの少なくとも１つを含む請求項４に記載の方法。
6. 前記の、検出対象のテキスト情報および分野を取得するステップは、
   検出対象のテキスト情報を取得することと、
   前記テキスト情報と所定の分野のキーワードとをマッチングし、前記テキスト情報の分野を特定することとを含む請求項１～５のいずれか一項に記載の方法。
7. 検出対象のテキスト情報および分野を取得するように構成されるテキスト取得ユニットと、
   前記分野に基づいて予め設定された質問および読解モデルを取得するように構成されるモデル取得ユニットと、
   前記質問および前記テキスト情報を前記読解モデルに入力し、回答を抽出して得るように構成される抽出ユニットと、
   前記回答が空でない場合に品質管理情報を出力するように構成される出力ユニットと、を備える品質を管理するための装置。
8. 第１分類器、第２分類器および第３分類器を含む初期読解モデルを取得するステップと、
   分野に基づいて事前選択して作成されたサンプル集合を取得するステップであって、サンプル集合は、文書、サンプル質問およびサンプル回答を含むサンプルのうちの少なくとも１つを含む、ステップと、
   前記サンプル集合からサンプルを選択し、文書、サンプル質問を入力とし、サンプル回答の開始位置を期待出力として、前記初期読解モデルの、回答の開始位置を特定するための第１分類器を訓練するステップと、
   前記サンプル集合からサンプルを選択し、文書、サンプル質問を入力とし、サンプル回答の終了位置を期待出力として、前記初期読解モデルの、回答の終了位置を特定するための第２分類器を訓練するステップと、
   前記サンプル集合からサンプルを選択し、文書、サンプル質問を入力とし、サンプル回答を期待出力として、前記初期読解モデルの、回答の有効性を検証するための第３分類器を訓練するステップと、
   訓練された第１分類器、第２分類器および第３分類器から読解モデルを構成するステップと、
   を行うように構成される訓練ユニットをさらに備える、請求項７に記載の装置。
9. 前記訓練ユニットは、さらに
   分野に基づいて事前訓練モデルを取得し、
   前記事前訓練モデルの共通パラメータに基づいて前記初期読解モデルのパラメータを調整する
   ように構成される請求項８に記載の装置。
10. 前記分野の品質管理要求を取得し、
    前記品質管理要求における各フィールドを一つの実体とし、実体集合を取得し、
    前記実体集合から少なくとも一つの実体を選択し、選択された実体に関連する質問を検査ルールに従って作成するように構成される質問作成ユニットをさらに備える、請求項７に記載の装置。
11. 前記検査ルールは、
    用語の規範性、表現の一貫性および論理性のうちの少なくとも１つを含む請求項１０に記載の装置。
12. 前記テキスト取得ユニットは、さらに
    検出対象のテキスト情報を取得し、
    前記テキスト情報と所定の分野のキーワードとをマッチングし、前記テキスト情報の分野を特定するように構成される請求項７～１１のいずれか一項に記載の装置。
13. 少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が格納されており、前記指令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１～６のいずれか一項に記載の方法が実行される、電子機器。
14. コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、
    前記コンピュータ指令は前記コンピュータに請求項１～６のいずれか一項に記載の方法を実行させるために用いられることを特徴とする非一時的コンピュータ可読記憶媒体。
15. プロセッサにより実行されると、請求項１～６のいずれか一項に記載の方法を実施するコンピュータプログラム。
    
    

Images