JP2022548215A - リアルタイム会話のための累進的なコロケーション - Google Patents

Abstract

【課題】 リアルタイム会話のための累進的なコロケーションを提供する。【解決手段】 コーパス・リンク・モデルをトレーニングし、かつチャネル内及びチャネル間の活動についてのコロケート語を生成するためのアプローチにおいて、１つ又はそれ以上のコンピュータ・プロセッサは、言語的コーパスの分析及び１つ又はそれ以上の作者基準に基づいて、コーパス・リンク・モデルをトレーニングする。１つ又はそれ以上のコンピュータ・プロセッサは、トレーニングされたコーパス・リンク・モデルによる１つ又はそれ以上の計算に基づいて１つ又はそれ以上のコロケート語を生成する。１つ又はそれ以上のコンピュータ・プロセッサは、１つ又はそれ以上の生成されたコロケート語のそれぞれについて共起レーティングを生成する。１つ又はそれ以上のコンピュータ・プロセッサは、それぞれのコロケート語の生成された共起レーティングにしたがって、１つ又はそれ以上のコロケート語を表示する。【選択図】 図１

Description

本発明は、概ね通信分野に関し、より具体的には、リアルタイム通信アプリケーションに関する。

組織、グループ及び企業内での今日のコラボレーティブな通信アプリケーション及びスイートの増加する発展及び普及は、正確で、信頼でき、かつ検索語生成及び適用のための必要性に、劇的に影響してきた。最近のコラボレーティブな通信スイート及びアプリケーションは、それぞれ、典型的にはトピック、モチーフ、規律、主題、又は目的に対して専用的な複数のチャット・ルーム、及びチャネルを有している。確率的検索、アダプティブ・ラーニング検索及びコーパス言語分析法といった、関連語を決定するためのソリューションは存在するが、これらのソリューションは、不完全なセンテンス、フレージング、曖昧で関連性のない検索結果に導く漠然とした語を使用する、一般化された確率モデルに依存しているため、まったく有効ではない。さらに、上記のソリューションは、コラボレーティブな通信アプリケーション内の複数のチャネル又はサブチャネルに含まれる特定のユーザの言語的傾向及び性質について特定の許容性又は仮定を生成しない。

コラボレーティブ・ソフトウェア又はグループウェアは、共通するタスクに関与する複数の個人が１つ又はそれ以上のゴールを達成することを支援するように設計された、アプリケーション・ソフトウェアである。相互作用のレベルの観点から、コラボレーティブ・ソフトウェアは、次のとおり分けることができる：単一のファイルのライブ的、同時的及び可逆的な編集に多数のユーザを参加させることを可能とする、リアルタイムのコラボレーティブ編集（ＲＴＣＥ）プラットホーム、及び保存済みのそれぞれの編集を複数のファイルとして保持しながら、別々のユーザが１つのファイルを並列的に編集することを可能とする、バージョン制御（例えば、リビジョン制御及びソース制御）プラットホームである。コラボレーティブ・ソフトウェアは、コンピュータにより支援される共同作業（computer-supported cooperative work;ＣＳＣＷ）と、相当にオーバーラップする広い概念である。共同作業システムは、ＣＳＣＷの広範な概念に関連する行動的及び組織的な変数を理解するための有用な分析ツールとなっている。

リカレント・ニューラル・ネットワーク（ＲＮＮ）は、人工的なニューラル・ネットワークのクラスであり、そこでは、ノード間の接続が、シーケンスに沿った有向グラフを形成して、時間的シーケンスについて時間的に動的な挙動をネットワークに許容する。フィード・フォワード・ニューラル・ネットワークとは異なり、複数のＲＮＮは、内部状態（メモリ）を使用して、入力シーケンスを処理することが可能であり、ＲＮＮが節目無く、関連した手書き入力又は会話認識といったタスクに適用されることを可能とする。長短期記憶（ＬＳＴＭ）ユニットは、リカレント・ニューラル・ネットワーク（ＲＮＮ）の代替的なレイヤ・ユニットである。ＬＳＴＭユニットから構成されるＲＮＮは、ＬＳＴＭネットワークと参照される。共通のＬＳＴＭユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを構成する。セル・メンバーは、任意の時間間隔にわたって評価を行い、ゲートは、セルを出入りする情報の流れを規制する。ゲート付きリカレント・ユニット（ＧＲＵｓ）は、リカレント・ニューラル・ネットワークにおけるゲート機構である。対位法の音楽モデリング及び会話信号モデリングについてのＧＲＵ性能は、ＬＳＴＭと同様のものであることが見出されている。しかしながら、ＧＲＵｓは、より少ないデータ・セットについて、より良い性能を示す。

コラボレーティブ・サービスは、最近の組織ではユビキタスであり、複数の個人及びグループが多数の同時的議論をリアルタイムで保有することを可能とする。コラボレーティブ・サービス及びアプリケーションに関し、リアルタイム・チャットは、多くの組織についての通信の主要な方法である。コラボレーティブ・チャット・アプリケーションは、問題及び事態を識別し、診断し、かつ修正するために、チーム、組織、又は企業又はこれらの組み合わせのメンバーにより使用される。例えば、ソフトウェア開発チーム又はサポート・スタッフは、問題コードのセクションを識別して、可能性のある解決法を議論するために、コラボレーション・チャット・アプリケーションを使用する（例えば、代替的なコード構造など）。この実施例において、異なるソフトウェア又はサポート・グループは、特定の事態又は問題に専用的な、区別されたチャネル又はサブチャネルを有することができる。

汎用的な検索語の生成及び算出がリアルタイム・コラボレーション・アプリケーション内で専用チャネル又はチャット・ルームに適用される場合、誤適用され、関連性がなく、かつ曖昧な、有効ではないコロケート語を許容することとなり、他の者がチャネル又はチャット・ルームに関連する適切な情報を発見することを妨害し、かつ他の者同士がコミュニケーションを取り、有意義な会話に効果的に参加することを妨害する。伝統的には、語生成システムは、ユーザがコラボレーティブなチャット検索の構造内でリンクされた語の最適セットを提供するための能力を可能とすることにおいては有効ではない。さらに、有効ではない伝統的なシステムは、単語、位置、及び文法を、固定された階層構造に配置する手法を使用して、分析された通信の意味を曖昧でなくしようと試み、かつ固定された階層構造を使用して検索結果をフィルタする。共通して、階層構造は、最初の通信範囲の外のもの（例えば、人々、トピック、又はチャネルの異なるグループ）に一般化される場合に、十分に機能しないことが知られている。

本発明の第１の特徴は、言語的コーパスの分析及び１つ又はそれ以上の作者基準の分析に基づいてコーパス・リンク・モデルをトレーニングする、１つ又はそれ以上のコンピュータ・プロセッサを含むコンピュータ実装方法を開示する。１つ又は複数のコンピュータ・プロセッサは、１つ又はそれ以上のコロケート語を、トレーニングされたコーパス・リンク・モデルによる１つ又はそれ以上の計算に基づいて生成する。１つ又はそれ以上のコンピュータ・プロセッサは、１つ又はそれ以上のコロケート語それぞれについて共起レーティングを生成する。１つ又はそれ以上のコンピュータ・プロセッサは、それぞれのコロケート語の生成された共起レーティングにしたがって、１つ又はそれ以上の生成されたコロケート語を表示する。本発明の実施形態は、特定のコーパスに基づいてトレーニングされたモデルを使用して、一般化されたコロケート語を生成し、コラボレーティブなチャット検索の構造内で、リンクされた語の最適セットの表示を可能とする。

本発明の第２の特徴は、言語的コーパスの分析及び１つ又はそれ以上の作者基準の分析に基づいてコーパス・リンク・モデルをトレーニングする、１つ又はそれ以上のコンピュータ・プロセッサを含むコンピュータ実装方法を開示する。１つ又は複数のコンピュータ・プロセッサは、１つ又はそれ以上のコロケート語を、トレーニングされたコーパス・リンク・モデルによる１つ又はそれ以上の計算に基づいて生成する。１つ又はそれ以上のコンピュータ・プロセッサは、１つ又はそれ以上のコロケート語それぞれについて共起レーティングを生成する。１つ又はそれ以上のコンピュータ・プロセッサは、それぞれのコロケート語の生成された共起レーティングにしたがって、１つ又はそれ以上のウェブ・ページをタグ付けする。本発明の実施形態は、特定のコーパスに基づいてトレーニングされたモデルを使用して、一般化されたコロケート語を生成し、コラボレーティブなチャット検索の構造内で、リンクされた語の最適セットの表示を可能とする。

本発明の第３の特徴は、１つ又はそれ以上のコンピュータ可読なストレージ・デバイス及び１つ又はそれ以上のコンピュータ可読なストレージ・デバイス上に格納された、プログラム命令を含むコンピュータ・プログラム製品を開示する。格納されたプログラム命令は、言語的コーパスの分析及び１つ又はそれ以上の作者基準の分析に基づいてコーパス・リンク・モデルをトレーニングするためのプログラム命令を含む。格納されたプログラム命令は、トレーニングされたコーパス・リンク・モデルによる１つ又はそれ以上の計算に基づいて１つ又はそれ以上のコロケート語を生成するためのプログラム命令を含む。格納されたプログラム命令は、１つ又はそれ以上の生成されたコロケート語それぞれについて共起レーティングを生成するためのプログラム命令を含む。格納されたプログラム命令は、生成されたそれぞれのコロケート語の共起レーティングにしたがって１つ又はそれ以上のコロケート語を表示するためのプログラム命令を含む。本発明の実施形態は、特定のコーパスに基づいてトレーニングされたモデルを使用して、一般化されたコロケート語を生成し、コラボレーティブなチャット検索の構造内で、リンクされた語の最適セットの表示を可能とする。

本発明の第４の特徴は、１つ又はそれ以上のコンピュータ・プロセッサ及び１つ又はそれ以上のコンピュータ可読なストレージ・デバイスを含むコンピュータ・システムを開示し、ここで、プログラム命令は、１つ又はそれ以上のコンピュータ・プロセッサによる実行のため、１つ又はそれ以上のコンピュータ可読なストレージ・デバイス上に格納される。格納されたプログラム命令は、言語的コーパスの分析及び１つ又はそれ以上の作者基準の分析に基づいてコーパス・リンク・モデルをトレーニングするためのプログラム命令を含む。格納されたプログラム命令は、トレーニングされたコーパス・リンク・モデルによる１つ又はそれ以上の計算に基づいて１つ又はそれ以上のコロケート語を生成するためのプログラム命令を含む。格納されたプログラム命令は、１つ又はそれ以上の生成されたコロケート語それぞれについて共起レーティングを生成するためのプログラム命令を含む。格納されたプログラム命令は、生成されたそれぞれのコロケート語の共起レーティングにしたがって１つ又はそれ以上のコロケート語を表示するためのプログラム命令を含む。本発明の実施形態は、特定のコーパスに基づいてトレーニングされたモデルを使用して、一般化されたコロケート語を生成し、コラボレーティブなチャット検索の構成内でリンクされた語の最適セットの表示を可能とする。
本発明の以下の実施形態を、実施例の目的において図面を参照しながら、より詳細に説明する。

本発明の実施形態による、計算機環境を示す機能ブロック図である、 本発明の実施形態による、コーパス・リンク・モデルをトレーニングし、チャネル内及びチャネル間のためのコロケート語を生成するための図１の計算機環境内のサーバ・コンピュータ上でのプログラムの操作ステップを示すフローチャートである。 図３Ａは、本発明の実施形態による、コレボレーティブなリアルタイム通信セッションを例示する実施例３００を示す。 図３Ｂは、本発明の実施形態による、コレボレーティブなリアルタイム通信セッションを例示する実施例３５０を示す。 図４は、本発明の実施形態による、プログラムを実行するサーバ・コンピュータのコンポーネントのブロック図である。

本発明の実施形態は、コラボレーティブ環境が、乱雑さや閲覧性といった問題を引き起こし得るとの認識による。本発明のいくつかの実施形態は、コロケート語及びコリゲート語が乱雑さの軽減、及び閲覧性の向上を提供することを認識する。本発明の実施形態は、特定の言語と、チャネル、サブチャネル、チャット・ルーム、グループ又はアプリケーション内での会話に基づいて、１つ又はそれ以上のモデルをトレーニングし、トレーニングされたモデルを使用してコロケート語及びコリゲート語を生成することにより、コラボレーティブ・システムを改善する。本発明の実施形態は、トレーニング・モデル及びコロケート語及びコリゲート語を効果的に認識し、かつ生成する能力を改善することにより、コラボレーティブ・システムを改善する。本発明の実施形態は、生成されたコロケート語及びコリゲート語が検索、特に検索語の推奨において使用されることを可能とする。本発明の実施形態は、生成されたコロケート語及びコリゲート語が、コンテント、トピック、及びファイルのタギングに使用されることを可能とする。本発明の実施形態は、生成されたコロケート語及びコリゲート語を効率的な検索エンジン最適化タグ及びメタデータを生成するために使用するものである。

本発明の実施形態は、生成されたコロケート語及びコリゲート語（例えばチャットの会話の検索用コロケーションを作るのに使用する）を、コンテンツ管理システム内で使用して、どの語が最も尤らしい検索であるかを理解することを支援する。本発明の実施形態は、生成されたコロケート語及びコリゲート語を、検索能力を改善し、かつ乱雑さを軽減するであろう、コンテンツへのタグ付け又はタイトル出しのために使用する。本発明の実施形態は、１つのロケーションからもう１つへのロケーションのトレンドをモデル化し、かつ、上記のモデルをある時点での相互作用に対して重みを追加するために使用する。本発明の実施形態は、トピック事項について類似するグループの以前の保存に基づいて、予測累進的コロケーション・グループ・モデルを生成する。本発明の実施形態は、グループ・レベルでのプロファイル化を行い、本発明により、類似する語についての言語的パターン及び内容に基づいて語を生成することを可能にする。本発明の実施形態は、累進的コロケーション・グループ・モデルを、グループの活動（例えばソフトウェアのサポート・チーム）に基づいて、パターンの漸進的変化及び検索語の進化を予測するために使用する。本発明の実施形態は、システム効率（例えば、メモリ及び中央処理ユニットの利用といったシステム処理要求の軽減）が、ありがちでなく又は本当らしくないコロケート語の生成を排除することにより、改善できることを認識する。本発明が問題空間について提供するソリューションの忠実性を生成するために、コーパス言語分析と、作者頻度分析とを組み合わせる技術は存在しない。本発明の実施形態の実装は、種々の形態を取ることができ、かつ例示的な実装の詳細は、引き続き、図面を参照して議論される。

ここで、本発明を、図面を参照して詳細に説明する。

図１は、本発明の１実施形態による、概ね１００で示された計算機環境を例示する機能的ブロック図である。本明細書で使用される用語、“計算機的”とは、単一のコンピュータ・システムとして互いに動作する、多数の物理的に別々のデバイスを含むコンピュータ・システムを記述する。図１は、１つの実装の例示を提供するに過ぎず、異なる実施例を実装することができる環境を考慮し、如何なる限定を関連するものではない。当業者により、請求項により列挙される本発明の範囲から逸脱すること無しに、図示した環境に対する多くの変更を為しえる。

計算機環境１００は、ネットワーク１０２越しに相互接続されたクライアント・コンピューティング・デバイス１１０と、サーバ・コンピュータ１２０とを含む。ネットワーク１０２は、例えば、電話通信ネットワーク、ローカル・エリア・ネットワーク（ＬＡＮ）、インターネットといったワイド・エリア・ネットワーク（ＷＡＮ）、又はこれら３つの組み合わせとすることができ、かつ、有線、ワイヤレス、又はファイバ光学接続を含むことができる。ネットワーク１０２は、データ、音声、又は音声、データ及びビデオ情報を含むマルチメディア信号を含むビデオ信号又はこれらの組み合わせを受信及び送信可能な、１つ又はそれ以上の有線又はワイヤレス・ネットワーク又はそれら両方を含むことができる。一般的にネットワーク１０２は、計算機環境１００内の、クライアント・コンピューティング・デバイス１１０と、サーバ・コンピュータ１２０と、他のコンピューティング・デバイス（不図示）との間の通信をサポートする、接続及びプロトコルの如何なる組み合わせとすることができる。種々の実施形態においては、ネットワーク１０２は、有線、ワイヤレス又は光学的接続を介してローカルに操作し、かつ接続及びプロトコルの如何なる組み合わせとすることができる（例えばパーソナル・エリア・ネットワーク（ＰＡＮ）、近距離無線通信（ＮＦＣ）、レーザ、赤外、超音波など）。

クライアント・コンピューティング・デバイス１１０は、プログラム命令を処理することができ、かつデータを送受信できる如何なる電子的デバイス又はコンピューティング・システムとでもすることができる。いくつかの実施形態では、クライアント・コンピューティング・デバイス１１０は、ラップトップ・コンピュータ、タブレット・コンピュータ、ネットブック・コンピュータ、パーソナル・コンピュータ（ＰＣ）、デスクトップ・コンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ）、スマートホン、又はネットワーク１０２と通信可能な如何なるプログラム可能な電子デバイスとすることができる。他の実施形態では、クラアント・コンピューティング・デバイス１１０は、クラウド・コンピューティング環境内といった、サーバ・システムとして多数のコンピュータを使用するサーバ・コンピューティング・システムを表すことができる。一般には、本発明の実施形態により、クライアント・コンピューティング・デバイス１１０は、図４を考慮してより詳細に説明されるように、機械可読なプログラム命令を実行することができる、如何なる電子的デバイス又は電子的デバイスの組み合わせをも代表する。クライアント・コンピューティング・デバイス１１０は、ユーザ・インタフェース１１２及びアプリケーション１１４を含む。

ユーザ・インタフェース１１２は、クライアント・コンピューティング・デバイス１１０のユーザと、クライアント・コンピューティング・デバイス１１０に滞在するか又はネットワーク１０２越しにアクセスすることができるか又はこれら両方の複数のアプリケーション（例えば、アプリケーション１１４）の間のインタフェースを提供するプログラムである。ユーザ・インタフェース１１２といったユーザ・インタフェースは、プログラムがユーザに対して提示する情報（例えば、グラフィック、テキスト、音響）、及びプログラムを制御するためにユーザが用いる制御シーケンスを指す。ユーザ・インタフェースは、種々のタイプが存在する。１つの実施形態では、ユーザ・インタフェース１１２は、グラフィカル・ユーザ・インタフェースである。グラフィカル・ユーザ・インタフェース（ＧＵＩ）は、テキスト・ベースのインタフェース、タイプされたコマンド・ラベル、又はテキスト・ナビゲーションとは対照的に、グラフィカル・アイコン及び視覚的なインジケータを通して、ユーザが周辺デバイス（すなわち、キーボード及びマウスといった、コンピューティング・デバイスのために入力及び出力を提供する、外部のコンピュータ・ハードウェア）と相互作用することを可能とする、インタフェースのタイプである。ＧＵＩの動作は、しばしばグラフィカル要素の直接の操作を通じて実装される。実施形態においては、ユーザ・インタフェース１１２は、アプリケーション１１４を通してユーザ・プログラム１５０と情報を送受信する。

アプリケーション１１４は、ユーザが活動を遂行することを支援するための特定のアプリケーションについての操作を遂行するように設計された、１つ又はそれ以上のプログラムのセットである（例えば、ワード・プロセッシング・プログラム、スプレッド・シート・プログラム、メディア・プレイヤー、ウェブ・ブラウザ）。図示した実施形態においては、アプリケーション１１４は、グループ通信、コラボレーティブな問題解決及び共同活動を容易にするように設計された、１つ又はそれ以上のプログラムのセットである。本実施形態においては、アプリケーション１１４は、複数のチャネル、チャット・ルーム、又は区分された通信グループを含み、ここで、それぞれのチャネルは、特定のトピック又はディスカッションのカテゴリに専用化される。図示する実施形態においては、アプリケーション１１４は、クライアント・コンピューティング・デバイス１１０上に滞在する。もう１つの実施形態では、アプリケーション１１４は、サーバ・コンピュータ１２０上、又はネットワーク１０２越しに接続されたもう１つのデバイス（不図示）上に滞在する。

サーバ・コンピュータ１２０は、スタンドアローンのコンピューティング・デバイス、管理サーバ、ウェブ・サーバ、モバイル・コンピューティング・デバイス、又はデータを送受信でき、処理できる如何なる他の電子デバイス又はコンピューティング・システムとすることができる。他の実施形態では、サーバ・コンピュータ１２０は、クラウド・コンピューティング環境といったサーバ・システムのように、多数のコンピュータを使用するサーバ・コンピューティング・システムを表す。もう１つの実施形態においては、サーバ・コンピュータ１２０は、ラップトップ・コンピュータ、タブレット・コンピュータ、ネットブック・コンピュータ、パーソナル・コンピュータ（ＰＣ）、デスクトップ・コンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ）、スマートホン、又はクライアント・コンピューティング・デバイス１１０及びネットワーク１０２を介して計算機環境１００内の他のコンピューティング・デバイス（不図示）と通信可能な、如何なるプログラム可能な電子デバイスとすることができる。もう１つの実施形態においては、サーバ・コンピュータ１２０は、計算機環境１００にアクセスされた場合にシームレスな、リソースの単一のプールとして動作する、クラスタ化されたコンピュータ及びコンポーネントを使用するコンピューティング・システムを表す（例えば、データベース・サーバ・コンピュータ、アプリケーション・サーバ・コンピュータなど）。図示する実施形態においては、サーバ・コンピュータ１２０は、データベース１２２及びプログラム１５０を含む。他の実施形態では、サーバ・コンピュータ１２０は、計算機環境１００内には図示されていない他のアプリケーション、データベースなどを含むことができる。サーバ・コンピュータ１２０は、図４に関連してさらに詳細に図示し、説明するように内部及び外部ハードウェア・コンピーネントを含むことができる。

データベース１２２は、プログラム１５０により使用されるデータのリポジトリである。説明する実施形態においては、データベース１２２は、サーバ・コンピュータ１２０上に滞在する。もう１つの実施形態においては、データベース１２２は、クライアント・コンピューティング・デバイス１１０又は提供されたプログラム１５０がデータベース１２２にアクセスを有する計算機環境１００内の何処かに滞在する。データベース１２２は、データの組織化された集積である。データベース１２２は、データベース・サーバ、ハードディスク、又はフラッシュ・メモリといった、プログラム１５０によりアクセス及び利用可能なデータ及び構成ファイルを格納することができる、如何なるタイプのストレージ・デバイスにでも実装することができる。実施形態においては、データベース１２２は、以下で詳細に説明する、言語的コーパス１２４といった、プログラム１５０により使用されるデータを格納する。図示する実施形態においては、データベース１２２は、言語的コーパス１２４及びコーパス・リンク・モデル（ＣＬＭ）１２６を含む。

言語的コーパス１２４は、複数のテキスト・ベースのコーパスのためのレポジトリである（すなわち、聴覚的会話、会話の言葉、テキスト・シーケンス、コンピュータがエンコードしたシーケンスの自然言語表現など）。実施形態においては、言語的コーパス１２４は、１つ又はそれ以上の履歴的な、クエリー、通信、陳述、議論、コメント、１人又はそれ以上の作者、個人又はグループ又はこれらの組み合わせの言葉を含む。もう１つの実施形態においては、言語的コーパス１２４は、履歴的なコロケート語及びコリゲート語、それに関連するトピックス、及びそれに関連する作者基準（例えば作者－トピックのマッピング、チャネル頻度、時間的境界及び検討（例えば、最先／最後の投稿、投稿の際の１日の内の平均時間）、作者の投稿頻度、平均投稿長さ、平均投稿閲覧レベル、語／フレーズが使用される頻度など）を含む。実施形態においては、上記の履歴的な通信は、特定の作者、個人、チャネル、サブチャネル、チャット・ルーム、又はグループとの関連性において、分類、組織化、又は構造化、又はこれらの組み合わせが行われる。例えば、特定のチャネル内に含まれるすべての履歴的な通信は、構造化され、互いに区分される。種々の実施形態においては、言語的コーパス１２４に含まれる情報は、時間的に構造化される。例えば、上記の情報は、時間的期間（例えば、最近１カ月内の議論）を考慮して規制又は制限することができる。もう１つの実施形態においては、上記の情報は、特定のグループ、作者、又はトピック（例えば、特定のクエリー、トピック、ジャンル、問題、事態、解決に関する議論など）に限定される。

実施形態においては、言語的コーパス１２４は、未処理の通信、議論、及び言葉を含む。もう１つの実施形態においては、言語的コーパス１２４は、複数の決定された特徴に対応するベクトルのセットを含むことができ、限定するわけではないが、作者、グループ、トピック、識別された問題、それに関連する解決、関連するトピック／照会のセット、技術的分野（例えば、コンピュータ・サイエンス、機械、生物学、化学など）、プログラム的な約束事（例えば、プログラム言語、プログラム言語のカテゴリ（例えば、ストロング・タイプ、オブジェクト指向、手続き的など）、及び時間的な事象（例えば、事前決定された間隔により規制されるサブセット（例えば、特定のトピック又はチャネルに関連する去年の全部の通信）、ソフトウェア・ライフサイクル（例えばソフトウェアの衰退など）などを含む。

種々の実施形態において、言語的コーパス１２４は、クエリー（例えば、関連するトピック）及びコロケート語とコリゲート語のペア（例えば追加の検索クエリー語）の集積を含む。それぞれのペアは、クエリーと、対応するコロケーション及びコリゲーションの語又はシーケンスとを含む。クエリーの語又はシーケンスは、自然言語又はコンピュータ生成された表現におけるテキスト的な語又はシーケンスとすることができる。例えば、クエリー（例えば、トピック）“アレルギー”は、コロケート語及びコリゲート語“急性”及び“懸念”とペアとされて、完全なクエリー・シーケンス／フレーズ“急性アレルギーの懸念”を形成する。もう１つの実施形態においては、履歴的なトピックス、作者、関連するコロケート語、関連するコリゲート語及び関連する検索語といった、チャネルに特定の統計が特徴として含まれる。もう１つの実施形態においては、作者基準が特徴としてトピック語に添付される。さらなる実施形態においては、チャネル又は通信媒体（例えばチャット・アプリケーション、チャネル、サブチャネル、チャット・ルーム又は環境）に特有の作者基準が、特徴としてトピック語に添付される。種々の実施形態においては、クエリー／コロケート語のセットは、それに関連する通信、議論、トピックス、コメント、又は陳述又はそれらの組み合わせを、構造化又は非構造化された形態の何れかにおいて含む。もう１つの実施形態においては、コロケート語及びコリゲート語は、ラベルに変換され、かつ１つ又はそれ以上のそれに関連するクエリー又はトピック語に添付される。さらにもう１つの実施形態においては、事前決定された、履歴的な又は生成された、又はそれらの組み合わせのコロケート語の有効性についてのレーティングが、１つ又はそれ以上のトピックのセットに対する特徴として、ラベルとして、又は期待される出力として添付される。実施形態においては、言語的コーパス１２４は、グラフ・データベースとして表現することができ、ここでは、通信、開示、又は議論又はそれらの組み合わせは、作者、クエリー、又はトピックスに対する関係で格納されて、類似するクエリー／トピック／通信及びチャネル／作者の組み合わせ（例えば、コラボレーティブな作者のグラフ）のシーケンスを形成する。

コーパス・リンク・モデル（ＣＬＭ）１２６、以下ＣＬＭ１２６は、１つ又はそれ以上のモデル、コンテナ、ドキュメント、サブドキュメント、マトリックス、ベクトル、及びそれに関連するデータを含み、言語的分析からの結果と言った、１つ又はそれ以上の特徴のセットをモデル化する。実施例においては、言語的分析は、クエリーの特徴付け及び表現、コロケート語の結合、作者基準、及び投稿頻度の内部到着時間を計算する。実施形態においては、ＣＬＭ１２６は、使用される１つ又はそれ以上の生成的（例えば、潜在的ディリクレ配分法（ＬＤＡ）など）、又は分別的（例えばサポート・ベクトル・マシン（ＳＶＭ）など）といった統計モデルを含み、観測可能なＸ、所与のターゲットｙ、の条件付き確率を計算し、記号的にはＰ（Ｘ｜Ｙ＝ｙ）となる。種々の実施形態においては、ＣＬＭ１２６は、１つ又はそれ以上の分別的モデルをトレーニングし、かつ使用して、ターゲットＹの条件付き確率、所与の観測ｘを計算し、記号的にはＰ（Ｙ｜Ｘ＝ｘ）となる。

ＣＬＭ１２６は、構造化又は非構造化されたデータとして利用できる異なる特徴、及び相対的な数値重みの適用により、クエリー（例えばトピック）又はクエリー・シーケンスを評価する。プログラム１５０は、ベクトル化、エンコード化、又はコンピュータにより示された特徴データのトレーニング・セットを、ＣＬＭ１２６に供給する。種々の実施形態においては、データ（トピック又はトピック語）が、ＣＬＭ１２６をして、どの特徴（例えば、トピック、トピック語、作者基準、グループ基準など）が特定のコロケート語又はフレーズに相関しているかを“学習”できるようにするため、コロケート語又はコリゲート語又はそれら両方でラベル付けされる。種々の実施形態においては、特徴は、トピックに加えて、メタデータ（例えば、ターゲットされたチャネル（例えば、チャンネル・メンバー、トピックス、目的など））、類似のトピックス、それに関連した作者、及び環境的な考慮（例えば、プラットホーム、バージョン、デバイス特有の変数など）を含む。さらなる実施形態では、トレーニング・セットは、トークン化されたトピック／検索語のセグメント、コメント、陳述、議論、変数、オブジェクト、データ構造などといった、複数の特徴の例を含むことができる。ＣＬＭ１２６は、データのトレーニング・セットから“学習”して、１つ又はそれ以上の特定のトピックス又は語（例えば、作者、アプリケーション、又はチャネル／チャット・ルームなどで限定される）に適用された場合に、らしいか、及びらしくないか（例えば、所定の有効性閾値に対して適用される）の間を区別する。一旦トレーニングされると、ＣＬＭ１２６は、プログラム１５０によってアグリゲートされ、供給されたデータに基づいて、１つ又はそれ以上のコロケート語及びコリゲートされた語、それに関連する確率、及び共起レーティングを生成することができる。実施形態においては、ＣＬＭ１２６は、以下のコーパス言語的分析［語Ａ、コレーション_左、ｌｏｇ尤度、コレーション_右、ｌｏｇ尤度］、及び作者分析［ユーザＡ、距離、投稿_頻度］を、クエリーを評価する場合の入力として使用する。この実施形態において、ＣＬＭ１２６は、コーパス言語的分析及び作者分析を使用してトレーニングされたモデルを表す、下記構造［文字列Ａ、文字列Ｌ、ｆｌｏａｔ、文字列Ｒ、ｆｌｏａｔ］＋［ユーザＡ、距離、投稿_頻度］を使用して、クエリーを評価する。

実施形態においては、ＣＬＭ１２６は、ディープ・ラーニング技術を使用して、クエリー及びそれに関連するトピックスを、可能性のあるコロケート語とペアにする。種々の実施形態においては、ＣＬＭ１２６は、教師あり又は教師無し方法でトレーニングすることができる、伝搬可能なニューラル・ネットワークアルゴリズム及びモデルを使用する（例えば、長短期記憶（ＬＳＴＭ）、ディープ・スタッキング・ネットワーク（ＤＳＮ）、ディープ・ブリーフ・ネットワーク（ＤＢＮ）、畳み込みニューラル・ネットワーク（ＣＮＮ）、コンパウンド・ハイアラーキカル・ディープ・モデル（compound hierarchical deep models）など）。種々の実施形態においては、ＣＬＭ１２６は、単純なニューラル・ネットワークである。さらなる実施形態では、ＣＬＭ１２６は、アフィン変換の後にエレメント・ワイズな非線形処理、ｙ＝ｆ（Ｗｘ＋ｂ）を含むシングルレイヤのフィード・ニューラル・ネットワークであり、ここで、ｆは、シグモイド又はハイパボリック・タンジェントといったエレメント・ワイズの非線形性であり、ｂは、バイアス・ベクトルである。上記の単純なニューラル・ネットワークは、多数の隠れレイヤで拡張することができ、ここで、それぞれのレイヤは、前の隠れレイヤの出力を変換して、次のレイヤに対する出力を生成する、マルチ・レイヤ認識（ＭＬＰ）である。

図示する実施形態においては、ＣＬＭ１２６は、１つ又はそれ以上のリカレント・ニューラル・ネットワーク（ＲＮＮｓ）を含む。この実施形態においては、ＲＮＮｓは、シーケンシャル・データ(x₁， x₂ …， x_t)を処理して、モデルのパラメータを同一に維持しながら連続する隠れ状態を計算する。ＲＮＮｓは、“展開された”前の隠れ状態を取得し、その時間的ステップで次の時間的ステップのシリーズのための入力を生成することで、ネットワークを通して情報が流れることを可能とするので、最後のセルは、すべての以前のセルから得られた情報を含む。実施形態においては、ＣＬＭ１２６は、ゲート付リカレント・ユニット（ＧＲＵ）を使用する。ＧＲＵｓは、必要な計算機資源の量を削減しながら、トレーニング処理を簡略化する。もう１つの実施形態においては、ＣＬＭ１２６は、ＬＳＴＭを使用する。ＬＳＴＭは、より堅牢な処理を必要とし、より計算機資源を要求するが、ＬＳＴＭは、大規模なデータ・セットからトレーニングを行う場合により効果的である。種々の実施形態においては、ＣＬＭ１２６の隠れレイヤは、一方向的又は双方向的である。もう１つの実施形態では、ＣＬＭ１２６は、１つ又はそれ以上のアプリケーション又は通信媒体内に含まれる、それぞれのチャネル又はチャット・ルームについて、１つ又はそれ以上の、スタック可能なＲＮＮｓを保持する。この実施形態においては、アプリケーション内のそれぞれのチャネルは、１つ又はそれ以上の専用のＲＮＮＳを有しており、上記のチャネルについて最適なドメインの言語的な語のマッチングを可能とする。ＣＬＭ１２６のトレーニング及び利用は、図２に関連してより詳細に図示し、かつ説明する。

実施形態において、プログラム１５０は、上述したモデルを使用して、ユーザのフィードバック、バックテスト、又は確率的モデリング又はそれら両方との組み合わせにおいて、生成された語の共起レベル（例えば、コロケーション／コリゲーションのレーティング（例えば、関連性の基準、共起信頼レベル）など）を生成する。もう１つの実施形態では、ＣＬＭ１２６は、それぞれ生成されたコロケート／コリゲート語及びそれに関連するクエリー（例えば含まれるトピック）について、構文的関係（ｓｙｎｔａｃｔｉｃ ｒｅｌａｔｉｏｎ）、字句的関係（ｌｅｘｉｃａｌ ｒｅｌａｔｉｏｎ）、又は言語的に規定される関係無しといった関係のタイプを判断する。

プログラム１５０は、コーパス・リンク・モデルをトレーニングし、かつチャネル内及びチャネル間の活動について、コロケートされた検索語を生成する。図示した実施形態では、プログラム１５０は、スタンドアローンのソフトウェア・プログラムである。種々の実施形態では、プログラム１５０は、以下のステップを実装することができる。プログラム１５０は、言語的コーパスの分析及び１つ又はそれ以上の作者基準の分析に基づいてコーパス・リンク・モデルをトレーニングする。プログラム１５０は、トレーニングされたコーパス・リンク・モデルによる１つ又はそれ以上の計算に基づき、１つ又はそれ以上のコロケート語を生成する。プログラム１５０は、１つ又はそれ以上の生成された、コロケート語のそれぞれについて共起レーティングを生成する。プログラム１５０は、それぞれのコロケート語の生成された共起レーティングにしたがって、１つ又はそれ以上の生成されたコロケート語を表示する。もう１つの実施形態では、プログラム１５０又はそれの如何なるプログラムとの組み合わせの機能は、単一のソフトウェア・プログラムへと一体化させることができる。いくつかの実施形態では、プログラム１５０は、別々であるが依然としてネットワーク１０２越しに通信することができるコンピューティング・デバイス（不図示）上に配置することができる。種々の実施形態においては、プログラム１５０のクライアント・バージョンは、計算機環境１００内のクライアント・コンピューティング・デバイス１１０上、又は如何なる他のコンピューティング・デバイス（不図示）上又はこれら両方上に滞在することができる。プログラム１５０は、図２に関連してより詳細に図示し、説明する。

本発明は、パーソナル・ストレージ・データ、データ、コンテンツ、又はユーザが処理してほしくない情報を含む可能性があるデータベース１２２といった、種々のアクセス可能なデータ・ソースを含むことができる。ここでいう処理は、自動的又は非自動的な、収集、記録、組織化、構造化、格納、適応化、代替化、抽出、参照、使用、通信による開示、頒布、又はそれ以外の可用化、組み合わせ、制限、削除、又はパーソナル・データに対して実行される破壊などの如何なるものも指している。プログラム１５０は、パーソナル・データの収集についての注意と共にインフォームド・コンセントを提供し、ユーザがパーソナル・データを処理することについて同意又は拒否することを可能とする。コンセントは、いくつかの形態を取ることができる。同意のコンセントは、パーソナル・データが処理される前に、ユーザが肯定的な動作を取ることを課する。代替的に、拒否のコンセントは、データが処理される前に、ユーザがパーソナル・データの処理を阻止することについての肯定的な動作を取ることを課する。プログラム１５０は、個人を識別する情報又は機微な個人情報といったパーソナル・データに加えて、許可され、かつ安全化された、情報追跡といったユーザ情報の処理を可能とする。プログラム１５０は、パーソナル・データ及び処理の性質（例えば、タイプ、範囲、目的、期間など）に関連して情報を提供する。プログラム１５０は、格納されたパーソナル・データの複製をユーザに提供する。プログラム１５０は、不正確又は不完全な個人情報の訂正又は完全化を可能とする。プログラム１５０は、パーソナル・データの即時的な削除を可能とする。

図２は、本発明の実施形態による、コーパス・リンク・モデルをトレーニングし、かつチャネル内及びチャネル間の活動のためのコロケート語を生成するためのプログラム１５０の操作ステップを示すフローチャートである。

プログラム１５０は、履歴的通信を検索する（ステップ２０２）。実施形態においては、プログラム１５０は、これらに限定されないが、クエリー、メッセージ、会話、議論、言葉、特定のチャネル（例えばチャット・ルーム、サブチャネル、モデレートされたグループなど）に関連する陳述、アプリケーション（例えば、アプリケーション１１４）、作者（例えばユーザ）、作者のセット、トピックス、及びそれに関連する検索語（例えば、コロケーション及びコリゲーション）を含む、すべての履歴的通信を検索する。もう１つの実施形態においては、プログラム１５０は、検索された履歴的通信（例えば、クエリー及びメッセージ）を複数のセット（例えば作者、チャネル、アプリケーション、トピックなどによる）へと処理することができる。さらにもう１つの実施形態においては、プログラム１５０は、履歴的通信を同一の議論の異なる処理バージョンを含む分離されたセットへと区分する。種々の実施形態においては、プログラム１５０は、事前決定された応答間隔を使用して、境界を規定する。例えば、ユーザが１週間以上もメッセージ、トピックに応答しない、又は議論に寄与しない場合、プログラム１５０は、時間的閾値の後に送付された如何なる通信も新しい別の会話であり、議論のトピックが変化した可能性があるものと決定する。この実施形態においては、プログラム１５０は、履歴的通信を、上述のような時間的制限により規定される１つ又はそれ以上のセットへと区分する。もう１つの実施形態においては、検索された履歴的通信は、頻繁に使用される検索語及びそれに関連するトピックといったユーザの挙動に関連する情報又はメタデータを含む。

プログラム１５０は、その後、自然言語処理（ＮＬＰ）及びコーパス言語的分析（例えば文法分析など）を使用して、品詞及び通信の種々の部分（すなわち、クエリー）の間の文法的関係を識別する。プログラム１５０は、会話部分のタギングといったコーパス言語的分析、統計的評価、規則に基づく最適化、及びナレッジ発見法を使用して、会話の部分をパースし、識別し、かつ評価する。実施形態において、プログラム１５０は、会話部分のタギングを使用して、隣接し、かつ関連する単語の関係に基づいて、１つ又はそれ以上の単語の会話の特定の部分を識別する。例えば、プログラム１５０は、上述した技術を使用して、「ヘンリー、私は、このリンクがあなたの問題を解決するように信じる。」という実施例のセンテンス内の名詞、形容詞、副詞、及び動詞を識別する。この実施例においては、プログラム１５０は、“ヘンリー”、“リンク”及び“問題”を名詞として識別し、“解決”及び“信じる”を動詞として識別する。もう１つの実施形態においては、プログラム１５０は、term-frequency inverse document frequency（ｔｆ－ｉｄｆ）技術を使用して、通信、センテンス、会話、ドキュメント、又は履歴的チャット・コーパスについて、どの程度に単語が重要であるかを計算する。もう１つの実施形態においては、プログラム１５０は、ｔｆ－ｉｄｆを使用して、履歴的通信から抽出された複数の単語について、数値的重みのシリーズを計算する。さらなる実施形態においては、プログラム１５０は、上記の計算を使用して頻繁に使用される単語を識別し、重み付けする。例えば、プログラム１５０は、ドキュメントの頻度によりオフセットされる会話（例えば通信、議論など）における単語の出現頻度に比例するように、単語を含む言語的コーパス１２４内の単語の重みを増加する。実施形態においては、プログラム１５０は、ｔｆ－ｉｄｆを使用してＣＬＭ１２６の１つ又はそれ以上を初期化する。

プログラム１５０は、バイターム・トピック・モデリング及びＬＤＡといった１つ又はそれ以上のモデル（例えば、ＣＬＭ１２６のインスタンス又はＣＬＭ１２６に含まれる複数のモデル）を使用して、会話、メッセージ、議論、クエリーなどの内の、トピックス及びテーマを識別する。実施形態においては、プログラム１５０は、バイターム・トピック・モデリングを使用して、ドキュメント内での共起パターン（例えばバイターム）の生成をモデル化する。プログラム１５０は、バイターム・トピック・モデリングを使用して、単語の共起（例えば、コロケーション及びコリゲーション）パターンをモデル化し、これによりトピックスの識別性を向上させる。種々の実施形態においては、プログラム１５０は、コーパス内のアグリゲートされたパターンを使用して、チャネル・レベルで共起パターン（例えば、最適検索語）に基づきトピックスを識別し、そしてプログラム１５０は、アプリケーション・レベル（組織、語、企業など）に対する共起パターンを計算することができる。もう１つの実施形態では、プログラム１５０は、バイターム・トピック・モデリングを使用して、複数の単語のシリーズが特定のトピックを代表する確率を計算する。もう１つの実施形態では、プログラム１５０は、潜在的意味分析を使用して、ドキュメント及び語（例えば、多数のコメント、会話など）のマトリックスを、例えばチャネル・トピック・マトリックス、作者－トピック、又はトピック－検索語マトリックスといった多数のサブマトリックスに分解する。実施形態においては、プログラム１５０は、確率的な潜在的意味分析を使用して、上述したサブマトリックスといった１つ又はそれ以上の確率的マトリックスを生成するために使用される可能性がある確率モデルを計算する。

種々の実施形態においては、プログラム１５０は、潜在的ディリクレ配分法（ＬＤＡ）を使用して、通信又はクエリー内に含まれる可能性のある１つ又はそれ以上のトピックスを識別する。ＬＤＡは、何故にいくつかのデータ部分が類似であるのかを説明する未解決のグループにより説明されるべき、観測値のセットを許容する。例えば、観測値がドキュメントに収集された複数の単語（例えば、語）である場合、ＬＤＡは、それぞれのドキュメントが少数のトピックスの混合されたものであり、それぞれの単語の存在がドキュメントのトピックスの１つを説明することを仮定する。プログラム１５０は、ＬＤＡを使用してドキュメント（例えば、通信、クエリー、議論、コメントの集積など）を、種々のトピックスの混合されたものとして分解する。例えば、ＬＤＡモデルは、アレルギー関連及び医療関連として分類されることができるトピックスを有することができる。ＬＤＡモデルは、くしゃみ、花粉、及びアンチヒスタミンといった種々の複数の単語に関連するトピックの確率を含み、これらはアレルギー関連として分類され、かつ解釈される。医療関連のトピックは、同様に、語：病院、血小板、及び骨を関連する確率を有する。特定の関連性のない、“ｔｈｅ”といった単語は、クラス間とは分離された確率を有することができるか、又は類似性閾値に応じて、新規なトピックと考えられる。

実施例では、トピックスは、語の共起の尤度の自動的検出に基づいて識別される。１つの辞書的な語が、異なる確率でいくつかのトピックに、しかしながら、それぞれのトピック内において近隣の単語に異なる典型的なセットで発生する可能性がある。実施形態においては、プログラム１５０は、上記に識別した履歴的議論のトピックス及び言語的な傾向を、作者と関連付けて、作者－トピック・マッピングを生成する。プログラム１５０は、上述したＮＬＰ技術を使用して、複数の作者ベースの基準（例えば、作者－トピック・マッピング、チャネル又はチャット・ルーム頻度、時間的境界及び考察（例えば、一番早い／最後の投稿、投稿する場合の１日における平均時間など）、作者投稿頻度、平均投稿長さ、平均投稿閲覧レベル、使用される語／フレーズの頻度など）を生成し、モニタする。実施形態においては、作者基準は、特定の作者、個人、チャネル、チャット・ルーム又はグループに関連して分類され、組織化され、又は構造化又はそれらの組み合わせが行われる。

プログラム１５０は、その後、１つ又はそれ以上の特徴セットに基づいてそれぞれの区分されたセットを処理する。例えば、システム環境パラメータといった特定のトピックスのみを含む特徴セット（例えば、プラットホーム、バージョン、デバイス固有変数など）である。もう１つの実施例では、特徴セットは、特定のチャネル内の特定の作者に関する情報を含む。プログラム１５０は、その後、それぞれの語を対応するステム／ルート等価性へと変換し、冗長的な句読点、分詞、文法的堅苦しさなどを排除する。さらにもう１つの実施形態では、プログラム１５０は、非決定論的に処理されたセットを、トレーニング・セット及びテスト・セットへと分離する。さらなる実施形態においては、プログラム１５０は、対応する意図的にコロケート語を、ラベルとしてそれぞれのトピックに付する。

プログラム１５０は、区分されたトピック／コロケート語のセットを、それが関連する議論及び作者データと共にベクトル化する。実施形態においては、プログラム１５０は、ワンホット・エンコーディング技術を使用して、分類又はストリング－ベースの特徴セットをベクトル化する。例えば、複数の個別的な単語の特徴セットをベクトル化する場合、プログラム１５０は、１×Ｎマトリックスを含む、ワンホット・ベクトルを生成し、ここで、Ｎは、判別可能な複数の単語の数をシンボル化したものである。もう１つの実施形態では、プログラム１５０は、ワン－オブ－ｃコーディングを使用して、分類データをベクトル化形式に再コード化する。例えば、［アレルギー、くしゃみ、咳］からなる実施例の分類特徴セットをベクトル化する場合、プログラム１５０は、対応する特徴セットを、［［１，０，０］，［０，１，０］，［０，０，１］］へとエンコードする。もう１つの実施形態においては、プログラム１５０は、特徴スケーリング技術（例えば、リスケーリング、平均規格化など）を使用して、数値的な特徴セットをベクトル化し、かつ規格化する。変更例においては、プログラム１５０は、Ｉｄａ２ｖｅｃ（例えば、単語埋め込み）を使用して上述したＬＤＡ及びバイターム・トピックの結果、ドキュメント、及びマトリックスをベクトル表現に変換する。

プログラム１５０は、コーパス・リンク・モデルをトレーニングする（ステップ２０４）。プログラム１５０は、ＣＬＭ１２６内に含まれる１つ又はそれ以上のモデルをトレーニングする。実施形態においては、プログラム１５０は、ＣＬＭ１２６を、ランダムに生成された重みで初期化する。代替的な実施形態においては、プログラム１５０は、上述した（例えばｔｆ－ｉｄｆ）分析から計算された重みでＣＬＭ１２６を初期化する。代替的な実施形態においては、プログラム１５０は、ＣＬＭ１２６を履歴的モデルから受け継いだ重みから計算された重みで初期化する。さらにもう１つの実施形態ではプログラム１５０は、ステップ２０２で説明したように、ラベル付けされたベクトル化モデルを用いて、教師ありトレーニングを実行する。例えば、プログラム１５０は、ＣＬＭ１２６にクエリー／コロケート語ペアを供給して、プログラム１５０をしてクエリー語のデータと、コロケート語のデータ（すなわち、ラベル）との間で推定させる。実施形態においては、プログラム１５０は、上述したように、関連するクエリー、トピックス、通信、又は作者特有の議論又は言語的コーパスに配置されたクエリーから抽出されたデータに由来する複数の特徴ベクトルでＣＬＭ１２６をトレーニングする。実施形態においては、プログラム１５０は、特定のクエリー、トピック、環境、チャネル、チャット・ルーム、アプリケーション、受信者、グループ、作者、又はユーザ又はこれらの組み合わせに関連するすべての履歴的なメッセージ、会話、議論、及びクエリーを検索する。もう１つの実施形態では、プログラム１５０は、チャネル、グループ、又はチャット・アプリケーション又はこれらの組み合わせのメンバーの間の、すべての履歴的な通信、クエリー、メッセージ、会話、及び議論のサブセットを検索する。

種々の実施形態においては、プログラム１５０は、教師ありトレーニングを使用して、予測と、ターゲット（すなわち誤り）との間の誤差を決定し、この誤差を、レイヤを通して誤差逆伝搬させ、ＣＬＭ１２６を“学習”させる。実施形態においては、プログラム１５０は、確率論的勾配アルゴリズムを使用して、誤差逆伝搬法を実装する。もう１つの実施形態においては、プログラム１５０は、損失関数としてコサイン類似度を使用する。プログラム１５０は、学習速度を調整して、交差エントロピー・コストを調整することができ、プログラム１５０が関連するセル及びレイヤの適応性を増加又は減少することができる。実施形態においては、プログラム１５０は、テスト又はヘルドアウト・セットを使用することによって十分な精度が得られるか否かを判断する。計算した精度が不充分な場合、その後、プログラム１５０は、ＣＬＭ１２６の教師ありトレーニングを継続する。計算した精度が十分な場合、その後プログラム１５０は、トレーニングプロセスを終了させ、ステップ２０６に続く。

したがって、本実施形態において、プログラム１５０は、１つ又はそれ以上のチャネル、グループ、及びコラボレーティブ・アプリケーション（例えば、コーパス）に含まれる固有で別々の履歴的通信に基づいて１つ又はそれ以上のモデルをトレーニングする。いくつかの実施形態では、プログラム１５０は、個別的なグループ又は特定のトピックにしたがってモデルをトレーニングする。したがって、本実施形態は、トレーニングされ、かつ特定のチャネル又はグループのコーパスに特有のコロケート語の生成を容易にするように設計された、複数のモデルを生成するために使用される。

プログラム１５０は、通信をモニタする（ステップ２０６）。種々の実施形態においては、通信は、これらに限定されることはないが、検出、エントリ、又は１つ又はそれ以上のユーザの言葉、コメント、センテンス、検索クエリー、又は検索語又はそれらの組み合わせを含む通信を含む。実施形態においては、プログラム１５０は、クエリー（例えば検索クエリー）に含まれる１つ又はそれ以上の検索語の通信を、コロケーション・レーティングが計算されるか、若しくは１つ又はそれ以上のコロケート語が生成されるまで、又はそれら両方について阻止する。種々の実施形態においては、プログラム１５０は、ユーザ・インタフェース内のグラフィカルな通信アイコン（例えば、ユーザ・インタフェース１１２）を交換するか又は置き換える。例えば、チャット・アプリケーション（例えば、アプリケーション１１４）は、検索の通信が活性化された場合のグラフィカル・アイコンを有する。本実施例では、プログラム１５０は、１つ又はそれ以上のアイコンを、それぞれのトリガと共に置き換えて、通信前に検索をインタセプトし、かつ保留させる。さらにもう１つの実施形態では、プログラム１５０は、クライアント・コンピューティング・デバイス１１０のアウトバウンド・トラフィックを分析して、検索（例えばクエリー）の通信を検出する。本実施形態においては、プログラム１５０は、検索（例えばクエリー、検索語など）を、検索が分析され、コロケート語が生成され、かつユーザにより承認されるまで、保留することができる。さらにもう１つの実施形態においては、プログラム１５０は、検索バー又はテキスト入力エリアといった、アプリケーション（例えばアプリケーション１１４）の要素において複数の単語を入力するユーザを検出することによって、メッセージを検出する。さらなる実施形態においては、プログラム１５０は、ユーザが入力する単語又はセンテンス毎に応じて、分析をトリガすることができる。例えば、ユーザが検索クエリーをタイプするにつれて、プログラム１５０は、同時的にクエリーを検出し、それに関連するトピック情報を抽出して、通信媒体（例えばチャネル又はチャット・ルーム）に特有の１つ又はそれ以上のコロケート語を生成する。代替的な実施形態においては、プログラム１５０は、ユーザがテキスト／文字の入力、又はタイピング、又は特定の期間ユーザ・インタフェース１１２の操作を停止するか又は終了させた後に、クエリーの分析をトリガすることができる。例えば、ユーザがクエリーの入力を開始し、入力無しで５分後、プログラム１５０は、メッセージが通信準備でき、したがって、メッセージを分析する、と判断する。

プログラム１５０は、履歴的クエリー及び含まれるトピックス、関連する語、フレーズ、及びデータに基づいて、ＣＬＭ１２６に含まれる１つ又はそれ以上のモデルを使用して、１つ又はそれ以上のクエリー及び含まれたトピックス（例えば分類、ターゲットされたチャネルなど）又は議論のセット（例えば、アプリケーション（例えばチャット、特定のチャネルなど）内に含まれるメッセージ又は議論）のトピック語（例えば、語に関連するか又はトピックを記述する語）を識別するか、又はコロケート語（例えば隣接する検索語）とのマッチ又はそれらの両方を行う。もう１つの実施形態においては、ＣＬＭ１２６は、所与のクエリー及び複数のトピック語がもう１つのトピック、語、又はフレーズに関連する尤度を記述する、１つ又はそれ以上の確率（例えば、確率分布）を生成する。

プログラム１５０は、コロケート語を生成する（ステップ２０８）。プログラム１５０が１つ又はそれ以上のチャット・アプリケーション内での通信（例えば、検索クエリー、ファインド・コマンド、タギング要求など）をモニタ及び処理することに応答して、プログラム１５０は、ステップ２０２で議論したように、上記の通信内に含まれる情報を、抽出し、分析し、かつ分解する。プログラム１５０は、チャネル、チャット・ルーム、及びアプリケーションに特有の履歴的通信、クエリー、メッセージ、コメント、複数のトピック語、共通のコロケート語、言語的傾向、およびそれらに関連する作者基準を使用して、ＣＬＭ１２６から計算した重み及び確率を処理して、１つ又はそれ以上のコロケート語のセットを生成し、かつそれぞれの語の尤度（例えば、パーセンテイジ）を決定する。実施形態においては、チャット・アプリケーション、チャネル、サブチャネル、チャット・ルーム、又は環境の１つ又はそれ以上において、プログラム１５０は、バイターム・トピック・モデリング、ＬＤＡ、及びトレーニングされた認知モデル（例えば、ＲＮＮ）の如何なる組み合わせでも使用して、ステップ２０２で詳述したように、クエリー、会話、メッセージ、議論内のトピックス及び関連するコロケート語のセットを識別する。種々の実施形態においては、プログラム１５０は、学習及びトランスファー・レイヤを転移して、事前トレーニングされ、関連するモデルを支援し、スピードアップ化し、又は他の関連する如何なるモデルでも補足するように利用する。例えば、プログラム１５０は、大規模なコラボレーティブ・アプリケーションのテック・サポート・チャネルに含まれる通信を使用してモデルをトレーニングする。この実施例では、プログラム１５０は、転移学習を使用して、このテック・サポート・チャネルを、他の関連するチャネルに一般化することができる。

実施形態においては、プログラム１５０は、識別された通信及び含まれるクエリー、トピック語を検出し、処理し、ベクトル化して、ＣＬＭ１２６内の複数のトレーニングされたモデルへと供給する。この実施形態において、ＣＬＭ１２６は、１つ又はそれ以上の供給されたトピック語に基づいて、コロケート語及びコリゲート語の１つ又はそれ以上のセット及びそれに関連する確率を出力する。実施形態においては、ＣＬＭ１２６内のすべてのモデルは、チャネル、多数のチャネル、ユーザ、ユーザ・グループ、又はアプリケーション又はそれらの組み合わせに特有のトレーニング・セットで事前トレーニングされる。コロケーション語及びコリゲーション語は、チャネル、グループ、チャット・ルーム、アプリケーション、トピック、又は作者特有のスキームといった、複数の組織化されたスキーマにしたがって一般化することができる。追加的な実施形態においては、ＣＬＭ１２６は、関連する作者又は作者のグループ（チャネル、サブチャネルのメンバーなど）の作者基準でトレーニングされ、かつ供給される。もう１つの実施形態では、プログラム１５０は、ＣＬＭ１２６から生成された出力を使用して、コロケート語と、モニタされた通信と、言語的コーパス１２４に含まれる、履歴的通信との間の共起の程度（例えば、生成された語が、コロケーションされた又はコリゲーションされたか又はこれらの両方である尤度）を表す共起スコア（例えば、レーティング）を生成する。本実施形態においては、プログラム１５０は、クエリー語のシーケンスを含むベクトルを、ＣＬＭ１２６に含まれる１つ又はそれ以上のモデルに入力し、ＣＬＭ１２６は、１つ又はそれ以上の共起スコアを出力する。もう１つの実施形態においては、プログラム１５０は、バイターム・モデリング又はＬＤＡ出力といった１つ又はそれ以上のモデルから生成された、１つ又はそれ以上の確率を使用して、それぞれのモデルの共起信頼性の程度に比例して、上述した結果のそれぞれの重みを調節する。

実施形態においては、ＣＬＭ１２６の出力を使用して、プログラム１５０は、生成されたコロケート語に関連する確率が、クエリー内の識別されたトピックに十分であるか否かを判断する。種々の実施形態においては、プログラム１５０は、事前定義された共起閾値を使用する。もう１つの実施形態では、プログラム１５０が、出力（例えば生成されたコロケート語）が共起閾値（例えば確率）を下回ると判断した場合、その後プログラム１５０は、生成された語を削除して、生成された語に関連するＣＬＭ１２６内の１つ又はそれ以上の重みを削減する。実施例のシナリオにおいては、開発者のグループがバッファ・オーバフロー・バグのトラブルシューティングをし、リアルタイム・チャット・アプリケーションにおいて可能性のある解決策を議論しつつ、プログラム１５０が議論をモニタし、かつ分析し、それに関連するモデルを再トレーニングして、クエリー又はトピックに対応するコロケーション語を生成している。

したがって、本実施形態においては、プログラム１５０は、ステップ２０４で詳述したように、トレーニングされたモデルを使用して、識別されたクエリーに基づいて１つ又はそれ以上のコロケート語を生成する。いくつかの実施形態ではプログラム１５０は、生成された語がクエリー語の近くに見出すことができる確率を表す共起スコアを計算する。このようにして、本実施形態は、トレーニングされたモデルに関連するコーパスに基づいて有効なコロケート語を生成するために使用される。実施例では、プログラム１５０は、異なるチャネルに基づくコーパスを使用するが、関連するトピックが上記のモデルを他の問題セットに一般化している（例えば、他のコラボレーティブ・アプリケーション、チャネル、グループ、トピックなど）。

プログラム１５０は、コロケーション語を提示する（ステップ２１０）。ステップ２０８で説明したように、１つ又はそれ以上の生成されたコロケーション語に基づいて、プログラム１５０は、それに関連するアプリケーション（例えば、チャット・アプリケーション）の能力に依存して生成されたコロケーション語を生成し、調整し、提示することができる。それに関連する共起レーティングに応じて、プログラム１５０は、元のクエリーから１つ又はそれ以上の生成されたコロケーション語のコメントを別々に（例えば区別してなど）生成し、表示し、修正し、又は提示する。例えば、プログラム１５０は、実施例の生成されたコロケーション語“治療”を提示することができ、トピック“放射線”を含むクエリーが提示された場合、修正されたクエリー“放射線治療”を形成する。種々の実施形態においては、プログラム１５０は、コロケーション語に関連する共起レーティングを、数値スコア、順位、又は確率として表示することができる。本実施形態においては、プログラム１５０は、対応する語に対する近接度レーティングを表示する。実施形態においては、プログラム１５０は、透過性のレベル及びテキスト色のプリファレンスといった好みによる提示設定を詳細付けるユーザ・プリファレンス又はセッティングを検索、問い合わせるか又は決定する。もう１つの実施形態では、プログラム１５０は、これらに限定されることはないが、ディスプレイ又は１つ又はそれ以上の表示される語のフォント、フォント・サイズ、文字スタイル、フォント色、背景色、大文字化、全般的透過度、及び相対的透過度を含む１つ又はそれ以上のスタイル要素を修正、変換又は調整する。

実施形態においては、共起レーティングが、事前決定された共起レーティング閾値に適合しない又は超える、例えば、より低い境界を示す場合、その後プログラム１５０は、それに関連するコロケート語又は関連するコロケート語、又はそれらの両方を削除、消去、隠す、又はそれでなければ目につかないようにすることができる。実施形態においては、プログラム１５０が多数の可能なコロケート語（例えば、閾値に適合する又は超える共起スコアに関連する語）を有する場合、プログラム１５０は、語を、それに関連して生成した共起レーティングに基づいてランク付けする。例えば、プログラム１５０が、可能性のある複数のコロケート語のランク付けされたリストを表示すると、プログラム１５０は、上記の語の共起レーティングが小さくなるにつれて、表示される語のフォント・サイズを縮小することができる。本実施形態においては、プログラム１５０は、可能性のある複数のコロケーション語のすべてを表示して、ユーザが語、若しくは１つ又はそれ以上の語の順位を選択すること、若しくは語へのフィードバックを提供すること、又はそれらの組み合わせを可能とすることができる。

実施形態においては、プログラム１５０は、コンテンツ管理システム（ＣＭＳ）に対して生成されたコロケーション語を提供する。本実施形態においては、ＣＭＳは、コロケーション語を、サーチエンジン・オプティマイゼーション（ＳＥＯ）において共通に使用される、メタデータ及びメタタグとして使用することができる。ＳＥＯは、どの語が最も検索されやすいかを理解することを支援し、その後、コンテントをタグ付け又はタグを調整するために使用する。プログラム１５０は、類似のドメインに一般化されるか、又はコンテンツを編集によってウェブサイトを最適化することといったトピック分類に関連する場合、生成されたコロケーション語を使用して、特定のキーワード（例えばトピック語）についての関連性を高め、かつ検索エンジンによる効果的なインデックス付けの両方を可能とするため、ＨＴＭＬ及びそれに関連するコードを修正する。プログラム１５０は、ＳＥＯを使用してウェブ・トラフィックの品質及び量を増加させることができ、生成されたコロケーション語は、かくしてウェブ・ページの閲覧性を検索エンジンのユーザに対して増加させる。実施形態においては、プログラム１５０は、生成されたコロケーション語を、複数のウェブ・スパイダ、ウェブ・クローラ、及びそれに関連する検索エンジンのためのキーワード及びメタデータを提供することによって、１つ又はそれ以上のウェブ・ページをタグ付けするために使用する。本実施形態においては、プログラム１５０は、計算された共起レーティングを、タグ付けされた１つ又はそれ以上のコロケート語のランクを修正すること又は削除のために使用する。

プログラム１５０は、現在進行しているトピック事項の関連する又は類似の履歴的な保存に基づいて、１つ又はそれ以上の予測的な累進的コロケーション・グループ・モデルを生成することができる。予測された累進的なコロケーション・グループ・モデルは、類似の、又は関連する語及び主題についての言語的パターンに基づいて、頻繁に通信するグループについてグループ・レベルでプロファイル付けすることを可能とする。実施形態において、プログラム１５０は、生成されたコロケーション語を複数のサポート・チームに提供するための、ソフトウェア・サポートシステム内に実装される。本実施形態においては、プログラム１５０は、履歴的なソフトウェアのサポート活動に基づいて、パターンの累進及びトピック語の進化及びこれに関連するコロケート語（例えばクエリー）を予測するためのグループ・コーパスのプロファイリングを使用することにより、効果的なクエリーを可能とする。プログラム１５０は、ＣＬＭ１２６を使用して、時間的期間にわたるコロケーション語のトレンドを計算し、識別することができる。実施形態においては、プログラム１５０は、同一のチャット・アプリケーション、グループ又は組織内の複数のチャネルの間のコロケーションのトレンドをモデル化する。種々の実施形態においては、プログラム１５０は、説明したモデルを使用して、時間的相互作用におけるポイントを含ませた複数の重み及びグループの言語的パターンを調整する。

したがって、本実施形態においては、プログラム１５０は、１人又はそれ以上のユーザに対して、生成した語を提示する。実施例においては、プログラム１５０は、それに関連する共起スコアに基づいて提示した語の１つ又はそれ以上のスタイル要素を修正する。この実施例では、プログラム１５０は、ＳＥＯにおいて共通して使用されるメタデータ又はタグとして生成された語を使用して、プログラム１５０が１つ又はそれ以上のグループの言語的パターンを、プロファイル付けすることを可能とする。したがって、本実施形態は、ユーザに対してコラボレーティブなチャット検索を構築すること又はコンテント・マネージメント・システムにおいてリンクされた語のセットを最適化することを提供する。

プログラム１５０は、関連する通信を記録し、コーパス・リンク・モデルを再モデル化する（ステップ２１２）。１つの実施形態においては、プログラム１５０は、関連する保存、コメント、議論、及びそれに関連するデータを言語的コーパス１２４内に記録する。もう１つの実施形態においては、プログラム１５０は、グラフィカル・ユーザ・インタフェース（例えば、ユーザ・インタフェース１１２）を通してユーザのフィードバックを受領することができる。例えば、プログラム１５０がクエリー及びそれに関連するコロケート語を分析した後、ユーザは、クエリー及びレーティングされた語について、クライアント・コンピューティング・デバイス１１０のグラフィカル・ユーザ・インタフェース上でフィートバックを提供することができる（例えばユーザ・インタフェース１１２）。実施形態においては、フィードバックは、単純な肯定的又は否定的な応答を含むことができる。もう１つの実施形態では、フィードバックは、提供されたコロケート語のユーザ承認を含むことができる。例えば、プログラム１５０が低い共起値のコロケート語を生成するか、若しくはトピック語との関係で悪い位置に語を置いた場合、ユーザは、否定的なフィードバックを提供し、訂正されたコロケート語、相対的な位置、及び関連する通信を正確に識別させることができる。実施形態においては、プログラム１５０は、ユーザのフィードバック及び訂正された語をＣＬＭ１２６に供給して、プログラム１５０がモデルをこれにしたがって調整することを可能とする。もう１つの実施形態においては、プログラム１５０は、１つ又はそれ以上のＮＬＰ技術を使用して、ユーザの応答が肯定的か、否定的かを記録することができる。プログラム１５０は、関連する保存、コメント、議論、及びそれに関連するデータを言語的コーパス１２４にログとして記録し、ＣＬＭ１２６に保持させて、調整されたコーパス、及びそれに関連するトレーニング及びテスティング・セットを使用させる。

図３Ａは、コラボレーティブなリアルタイム通信セッション、複数のユーザの間での問題解決のセッションの議論の実施例を例示する実施例３００を示す。実施例３００は、チャット・アプリケーション３０２、リアルタイム通信アプリケーション、クエリー３０４、入力された検索クエリー、検索バー３０８、テキスト入力領域、フォーカスされたチャネル３１０、活性で視聴できるチャネル３１２、利用できるチャネルのリストを含む。実施例３００は、コーパスの言語的分析及び作者分析を、クエリー３０４にアクセスする場合に入力として使用する。

図３Ｂは、コラボレーティブなリアルタイム通信セッション、複数のユーザの間での問題解決のセッションの議論の実施例を例示する実施例３５０を示す。実施例３５０は、チャット・アプリケーション３０２、リアルタイム通信アプリケーション、クエリー３０４、入力された検索クエリー、生成されたコロケーション語３０６、生成された検索語、検索バー３０８、テキスト入力領域、フォーカスされたチャネル３１０、活性で視聴できるチャネル、及びチャネル３１２、利用できるチャネルのリストを含む。

図４は、本発明の例示的な実施形態による、クライアント・コンピューティング・デバイス１１０及びサーバ・コンピュータ１２０のブロック図を示す。図４は、１つの実装の実施例を提供するものであり、異なる実施形態が実装可能な環境に関して如何なる限定を意味するものではないことについて、認識されるべきである。図示した環境に対して多くの変更を行うことができる。

サーバ・コンピュータ１２０は、通信機能４０４を含んでおり、これはキャッシュ４０３、メモリ４０２、持続性ストレージ４０５、通信ユニット４０７、及び入力／出力（Ｉ／Ｏ）インタフェース（複数）４０６の間の通信を提供する。通信機能４０４は、プロセッサ（マイクロプロセッサ、通信、及びネットワーク・プロセッサなど）と、システム・メモリ、周辺デバイス、及びシステム内の如何なる他のハードウェア・コンポーネントとの間でのデータ又は制御情報の受け渡しのために結成された如何なるアーキテクチャで実装することができる。例えば、通信機能４０４は、１つ又はそれ以上のバス又はクロスバー・スイッチで実装することができる。

メモリ４０２及び持続性ストレージ４０５は、コンピュータ可読な記録媒体である。本実施形態においては、メモリ４０２は、ランダム・アクセス・メモリ（ＲＡＭ）を含む。一般に、メモリ４０２は、如何なる好適な揮発性又は不揮発性のコンピュータ可読な記録媒体を含むことができる。キャッシュ４０３は、コンピュータ・プロセッサ（複数でもよい）４０１の性能を、最近にアクセスされたデータ、及びアクセスされたデータに近いデータをメモリ４０２から取得することによって、向上させる高速メモリである。

プログラム１５０は、１つ又はそれ以上の、それぞれのコンピュータ・プロセッサ（複数でもよい）４０１による、キャッシュ４０３を介した実行のため、持続性ストレージ４０５及びメモリ４０２に格納することができる。実施形態においては、持続性ストレージ４０５は、磁気ハードディスク・ドライブを含む。磁気ハードディスク・ドライブと代替的に、又は追加的に、持続性ストレージ４０５は、ソリッドーステート・ハードドライブ、半導体ストレージ・デバイス、リード・オンリー・メモリ（ＲＯＭ）、消去可能なプログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭ）、フラッシュ・メモリ、又は如プログラム命令又はデジタル情報を格納することが可能な、如何なる他のコンピュータ可読な記録媒体でも含むことができる。

持続性ストレージ４０５により使用される媒体は、また、取り外し可能とすることができる。例えば、取り外し可能なドライブは、持続性ストレージ４０５として使用することができる。他の実施例は、光学的及び磁気的ディスク、サムドライブ（商標）、及び持続性ストレージ４０５のまた部分であるもう１つのコンピュータ可読な記録媒体上に転送するために、ドライブ内に挿入されるスマート・カードを含む。ソフトウェア及びデータ４１２は、キャッシュ４０３を介した１つ又はそれ以上のそれぞれのプロセッサ４０１によるアクセス又は実行又はそれら両方のために、持続性ストレージ４０５に格納することができる。

通信ユニット４０７は、これらの実施例ではデータ処理システム又はデバイスと通信を提供する。これらに実施例では、通信ユニット４０７は、１つ又はそれ以上のネットワーク・インタフェース・カードを含む。通信ユニット４０７は、物理的及びワイヤレス通信リンクの何れか又は両方を通して、通信を提供する。プログラム１５０は、通信ユニット４０７を通して、持続性ストレージ４０５にダウンロードすることができる。

Ｉ／Ｏインタフェース（複数でもよい）４０６は、クライアント・コンピューティング・デバイス１１０に接続することができる他のデバイスと、データの入力及び出力を可能とする。例えば、Ｉ／Ｏインタフェース（複数でもよい）４０６は、キーボード、キーパッド、タッチ・スクリーン、又は他のいくつかの好適な入力デバイスといった外部デバイス（複数でもよい）４０８に対する接続を提供する。外部デバイス４０８は、また、例えば、サムドライブ（商標）、可搬性のある光学的又は磁気ディスク、及びメモリ・カードといった可搬性のコンピュータ可読な記録媒体を含むことができる。本発明の実施形態を実施するために使用されるソフトウェア及びデータ、例えば、プログラム１５０は、そのような可搬性のコンピュータ可読な記録媒体に格納することができ、かつＩ／Ｏインタフェース（複数でもよい）４０６を介して持続性ストレージ４０５にロードすることができる。Ｉ／Ｏインタフェース（複数でもよい）は、また、ディスプレイ４０９に接続される。

ディスプレイ４０９は、ユーザに対してデータを表示するための機構を提供し、例えばコンピュータ・モニタとすることができる。

本明細書で説明したプログラムは、本発明の特定の実施形態において実装されるアプリケーションに基づいて識別される。しかしながら、本明細書におけるプログラムの如何なる特定の命名法であっても、単に利便性のために使用されたものであることについて認識されるべきであり、したがって、本発明は、そのような命名法により識別され、又は暗示される如何なる特定の用途のみの使用に限定されるべきではないことが認識されるべきである。

本発明は、システム、方法、又はコンピュータ・プログラム製品又はこれらの組み合わせとすることができる。コンピュータ・プログラム製品は、プロセッサに対して本発明の特徴を遂行させるためのコンピュータ可読なプログラム命令をそれ上に有するコンピュータ可読な記録媒体（又は複数の媒体）を含むことができる。

コンピュータ可読な記録媒体は、命令実行デバイスが使用するための複数の命令を保持し格納することができる有形のデバイスとすることができる、コンピュータ可読な媒体は、例えば、これらに限定されないが、電気的記録デバイス、磁気的記録デバイス、光学的記録デバイス、電気磁気的記録デバイス、半導体記録デバイス又はこれらのいかなる好ましい組み合わせとすることができる。コンピュータ可読な記録媒体のより具体的な実施例は、次のポータブル・コンピュータ・ディスク、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、消去可能なプログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ（登録商標））、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・イオンリー・メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク（登録商標）、パンチ・カード又は命令を記録した溝内に突出する構造を有する機械的にエンコードされたデバイス、及びこれらの好ましい如何なる組合せを含む。本明細書で使用するように、コンピュータ可読な記録媒体は、ラジオ波又は他の自由に伝搬する電磁波、導波路又は他の通信媒体（例えば、光ファイバ・ケーブルを通過する光パルス）といった電磁波、又はワイヤを通して通信される電気信号といったそれ自体が一時的な信号として解釈されることはない。

本明細書において説明されるコンピュータ・プログラム命令は、コンピュータ可読な記録媒体からそれぞれのコンピューティング／プロセッシング・デバイスにダウンロードでき、又は例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク又はワイヤレス・ネットワーク及びそれからの組み合わせといったネットワークを介して外部コンピュータ又は外部記録デバイスにダウンロードすることができる。ネットワークは、銅通信ケーブル、光通信ファイバ、ワイヤレス通信ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ及びエッジ・サーバ又はこれらの組み合わせを含むことができる。それぞれのコンピューティング／プロセッシング・デバイスにおけるネットワーク・アダプタ・カード又はネットワーク・インタフェースは、ネットワークからコンピュータ可読なプログラム命令を受領し、このコンピュータ可読なプログラム命令を格納するためにそれぞれのコンピューティング／プロセッシング・デバイス内のコンピュータ可読な記録媒体内に転送する。

本発明の操作を遂行するためのコンピュータ可読なプログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械語命令、マシン依存命令、マイクロ・コード、ファームウェア命令、状態設定データ、集積回路のための構成データ、又は１つ又はそれ以上の、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、“Ｃ”といった従来の手続型プログラミング言語又は類似のプログラム言語、“Ｑ”プログラミング言語といった量子プログラミング言語、Ｑ＃、量子コンピューティング言語（ＱＣＬ）又は類似のプログラミング言語、アセンブラ言語又は類似のプログラミング言語といった低レベルプログラミング言語を含むプログラミング言語のいかなる組合せにおいて記述されたソース・コード又はオブジェクト・コードのいずれかとすることができる。コンピュータ可読なプログラム命令は、全体がユーザ・コンピュータ上で、部分的にユーザ・コンピュータ上でスタンドアローン・ソフトウェア・パッケージとして、部分的にユーザ・コンピュータ上で、かつ部分的にリモート・コンピュータ上で、又は全体がリモート・コンピュータ又はサーバ上で実行することができる。後者のシナリオにおいて、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）を含むいかなるタイプのネットワークを通してユーザ・コンピュータに接続することができ、又は接続は、外部コンピュータ（例えばインターネット・サービス・プロバイダを通じて）へと行うことができる。いくつかの実施形態では、例えばプログラマブル論理回路、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、又はプログラマブル論理アレイ（ＰＬＡ）を含む電気回路がコンピュータ可読なプログラム命令を、コンピュータ可読なプログラム命令の状態情報を使用して、本発明の特徴を実行するために電気回路をパーソナライズして実行することができる。

本明細書で説明した本発明の特徴を、本発明の実施形態にしたがい、フローチャート命令及び方法のブロック図、又はそれらの両方、装置（システム）、及びコンピュータ可読な記録媒体及びコンピュータ・プログラムを参照して説明した。フローチャートの図示及びブロック図又はそれら両方及びフローチャートの図示におけるブロック及びブロック図、又はそれらの両方のいかなる組合せでもコンピュータ可読なプログラム命令により実装することができることを理解されたい。

これらのコンピュータ可読なプログラム命令は、コンピュータのプロセッサ又は機械を生成するための他のプログラマブル・データ・プロセッシング装置に提供することができ、命令がコンピュータのプロセッサ又は他のプログラマブル・データ・プロセッシング装置により実行されて、フローチャート及びブロック図のブロック又は複数のブロック又はこれらの組み合わせで特定される機能／動作を実装するための手段を生成する。これらのコンピュータ可読なプログラム命令は、またコンピュータ、プログラマブル・データ・プロセッシング装置及び他の装置又はこれらの組み合わせが特定の仕方で機能するように指令するコンピュータ可読な記録媒体に格納することができ、その内に命令を格納したコンピュータ可読な記録媒体は、フローチャート及びブロック図のブロック又は複数のブロック又はこれらの組み合わせで特定される機能／動作の特徴を実装する命令を含む製造品を構成する。

コンピュータ可読なプログラム命令は、またコンピュータ、他のプログラマブル・データ・プロセッシング装置、又は他のデバイス上にロードされ、コンピュータ、他のプログラマブル装置、又は他のデバイス上で操作ステップのシリーズに対してコンピュータ実装プロセスを生じさせることで、コンピュータ、他のプログラマブル装置又は他のデバイス上でフローチャート及びブロック図のブロック又は複数のブロック又はこれらの組み合わせで特定される機能／動作を実装させる。

図のフローチャート及びブロック図は、本発明の種々の実施形態にしたがったシステム、方法及びコンピュータ・プログラムのアーキテクチャ、機能、及び可能な実装操作を示す。この観点において、フローチャート又はブロック図は、モジュール、セグメント又は命令の部分を表すことかでき、これらは、特定の論理的機能（又は複数の機能）を実装するための１つ又はそれ以上の実行可能な命令を含む。いくつかの代替的な実装においては、ブロックにおいて記述された機能は、図示した以外で実行することができる。例えば、連続して示された２つのブロックは、含まれる機能に応じて、実際上１つのステップとして遂行され、同時的、実質的に同時的に、部分的又は完全に一時的に重ね合わされた仕方で実行することができ、又は複数のブロックは、時として逆の順番で実行することができる。またブロック図及びフローチャートの図示、又はこれらの両方及びブロック図中のブロック及びフローチャートの図示又はこれらの組み合わせは、特定の機能又は動作を実行するか又は特定の目的のハードウェア及びコンピュータ命令の組み合わせを遂行する特定目的のハードウェアに基づくシステムにより実装することができる。

本開示の種々の実施形態の説明は、例示の目的のために提示されたが、開示された実施形態への排他又は限定を意図するものではない。多くの変更例又は変形例は、本開示の範囲及び精神から逸脱することなく、当業者において自明である。本明細書で使用する用語は、本実施形態の原理、実用的用途、又は市場において見出される技術を超える技術的改善を最良に説明するため、又は本明細書において開示された実施形態を当業者の他の者が理解できるようにするために選択したものである。

Claims (25)

1. コンピュータ実装方法であって、
   １つ又はそれ以上のコンピュータ・プロセッサによって、言語的コーパスの分析及び１つ又はそれ以上の作者基準の分析に基づいてコーパス・リンク・モデルをトレーニングすること、
   １つ又はそれ以上のコンピュータ・プロセッサによって、トレーニングされた前記コーパス・リンク・モデルによる１つ又はそれ以上の計算に基づき、１つ又はそれ以上のコロケート語を生成すること、
   １つ又はそれ以上のコンピュータ・プロセッサによって、生成された１つ又はそれ以上の前記コロケート語のそれぞれについて共起レーティングを生成すること、及び
   １つ又はそれ以上のコンピュータ・プロセッサによって、それぞれのコロケート語の生成された前記共起レーティングにしたがって、生成された１つ又はそれ以上の前記コロケート語を表示すること
   を含む、コンピュータ実装方法。
2. さらに、
   １つ又はそれ以上のコンピュータ・プロセッサによって、１つ又はそれ以上のクエリーをモニタすること
   を含む請求項１に記載の方法。
3. クエリーは、リアルタイム・チャットの会話、ユーザの言葉、ユーザのコメント、ユーザのセンテンス、ユーザの検索クエリー、又はユーザの検索語からなる群から選択される、請求項２に記載の方法。
4. １つ又はそれ以上のクエリーをモニタすることは、
   １つ又はそれ以上のコンピュータ・プロセッサによって、ユーザがクエリーを入力することを検出すること、及び
   １つ又はそれ以上のコンピュータ・プロセッサによって、検出された前記クエリーに含まれる通信媒体に特有のトピック情報を抽出すること
   を含む、請求項２に記載の方法。
5. 前記言語的コーパスは、履歴的なコロケート語、コリゲート語、関連するトピックス、及び作者基準を含み、前記作者基準は、作者とトピックのマッピング、前記作者によるチャネルの頻度、作者の投稿頻度、作者の平均投稿長さ、作者の平均投稿閲覧レベル、及び前記作者により頻繁に使用される語を含む、請求項１に記載の方法。
6. 前記言語的コーパスに基づきコーパス・リンク・モデルをトレーニングすることは、
   １つ又はそれ以上のコンピュータ・プロセッサにより、前記言語的コーパスから１つ又はそれ以上の履歴的通信を検索すること、
   １つ又はそれ以上のコンピュータ・プロセッサにより、検索された１つ又はそれ以上の履歴的通信に関連する１つ又はそれ以上のクエリーを識別すること、
   １つ又はそれ以上のコンピュータ・プロセッサにより、識別された１つ又はそれ以上の前記クエリーに関連する１つ又はそれ以上のコロケート語を決定すること、及び
   １つ又はそれ以上のコンピュータ・プロセッサにより、識別された前記クエリー及び決定された１つ又はそれ以上の前記コロケート語を使用する教師ありトレーニングに少なくとも部分的に基づいて前記コーパス・リンク・モデルをトレーニングすること
   を含む、請求項５に記載の方法。
7. トレーニングされた前記コーパス・リンク・モデルによる１つ又はそれ以上の計算に基づき１つ又はそれ以上のコリゲート語を生成することは、
   １つ又はそれ以上のコンピュータ・プロセッサにより、１つ又はそれ以上の前記モニタされた前記クエリーと、１つ又はそれ以上の生成された前記コロケート語との間の構文的又は字句的関係を決定すること、及び
   １つ又はそれ以上のコンピュータ・プロセッサにより、前記クエリーに対する近接度を決定すること
   を含む、請求項２に記載の方法。
8. さらに、
   １つ又はそれ以上のコンピュータ・プロセッサにより、現在進行しているトピック事項の、関連するか又は類似するグループの通信に基づいて、１つ又はそれ以上の予測的な累進的コロケーション・グループ・モデルを生成することを含み、予測的な前記累進的コロケーション・グループ・モデルが、頻度の高い通信グループについてグループの言語的パターンを使用するプロファイリングを可能とする、請求項１に記載の方法。
9. さらに、
   １つ又はそれ以上のコンピュータ・プロセッサにより、１つ又はそれ以上の生成された予測的な前記累進的コロケーション・グループ・モデルを使用して、チャット・アプリケーション内の複数のチャネルの間の時間間隔にわたる１つ又はそれ以上のトレンドを計算することを含む、請求項８に記載の方法。
10. １つ又はそれ以上の生成されたコロケート語について前記共起レーティングを生成することは、確率モデルを使用することを含む、請求項１に記載の方法。
11. 前記コーパス・リンク・モデルは、１つ又はそれ以上のスタック可能なリカレント・ニューラル・ネットワークを含む、請求項１に記載の方法。
12. トレーニングされた前記コーパス・リンク・モデルによる１つ又はそれ以上の計算に基づいて１つ又はそれ以上のコロケート語を生成することは、
    １つ又はそれ以上のコンピュータ・プロセッサにより、１つ又はそれ以上のスタック可能なリカレント・ニューラル・ネットワークに基づいてアプリケーション・レベルで１つ又はそれ以上のコロケート語を生成することを含み、１つ又はそれ以上の記スタック可能なリカレント・ニューラル・ネットワークのそれぞれのリカレント・ニューラル・ネットワークが通信媒体内に含まれる異なるチャネルに基づいてトレーニングされる、請求項１１に記載の方法。
13. 前記共起レーティングが、クエリーが１つ又はそれ以上のコロケート語及び１つ又はそれ以上のコリゲート語に関連することの尤度を記述する、１つ又はそれ以上の確率を含む、請求項１に記載の方法。
14. さらに、
    １つ又はそれ以上のコンピュータ・プロセッサにより、１つ又はそれ以上の表示された前記コロケート語の、生成された前記共起レーティングを表示すること
    を含む、請求項１３に記載の方法。
15. それぞれのコロケーション語の生成された前記共起レーティングにしたがって、１つ又はそれ以上の前記コロケーション語を表示することは、
    共起レーティングの閾値を超えることに応答して、１つ又はそれ以上のコンピュータ・プロセッサにより、１つ又はそれ以上のモニタされたクエリーに近接する１つ又はそれ以上の生成された前記コロケート語を表示することを含む、請求項１に記載の方法。
16. それぞれのコロケート語の生成された前記共起レーティングにより、１つ又はそれ以上の前記コロケーション語を表示することは、
    １つ又はそれ以上のコンピュータ・プロセッサにより、生成された前記共起レーティングに基づいて、表示された前記コロケート語の１つ又はそれ以上のスタイル要素を変換することであって、前記スタイル要素は、フォント、フォント・サイズ、文字スタイル、フォント色、背景色、大文字化、全般的透過度、及び相対的透過度からなる群から選択される、変換することと、
    １つ又はそれ以上のコンピュータ・プロセッサにより、変換された前記１つ又はそれ以上のスタイル要素を表示することと、
    を含む、請求項１に記載の方法。
17. さらに、
    １つ又はそれ以上のコンピュータ・プロセッサにより、リアルタイムの通信、それに関連する作者基準、それに関連するユーザの投稿頻度、生成されたコロケート語、及び生成されたコリゲート語を、言語的コーパスに記録すること、及び
    １つ又はそれ以上のコンピュータ・プロセッサにより、前記言語的コーパスを使用して前記コーパス・リンク・モデルを再トレーニングすること
    を含む、請求項１に記載の方法。
18. コンピュータ実装方法であって、
    １つ又はそれ以上のコンピュータ・プロセッサにより、言語的コーパスの分析及び１つ又はそれ以上の作者基準の分析に基づいてコーパス・リンク・モデルをトレーニングすること、
    １つ又はそれ以上のコンピュータ・プロセッサにより、トレーニングされた前記コーパス・リンク・モデルによる計算に基づいて１つ又はそれ以上のコロケート語を生成すること、
    １つ又はそれ以上のコンピュータ・プロセッサにより、１つ又はそれ以上の生成された前記コロケート語のそれぞれについて共起レーティングを生成すること、
    １つ又はそれ以上のコンピュータ・プロセッサにより、それぞれのコロケート語の前記共起レーティングに従い１つ又はそれ以上の生成されたコロケート語で１つ又はそれ以上のウェブ・ページをタグ付けすること
    を含む、コンピュータ実装方法。
19. コンピュータ・プログラム製品であって、
    １つ又はそれ以上のコンピュータ可読な媒体及び１つ又はそれ以上のコンピュータ可読な記録媒体上に格納されたプログラム命令を含み、格納された前記プログラム命令が、
    言語的コーパスの分析及び１つ又はそれ以上の作者基準の分析に基づいてコーパス・リンク・モデルをトレーニングするプログラム命令と、
    トレーニングされた前記コーパス・リンク・モデルの１つ又はそれ以上の計算に基づいて１つ又はそれ以上のコロケート語を生成するプログラム命令と、
    １つ又はそれ以上の生成された前記コロケート語のそれぞれについて、共起レーティングを生成するプログラム命令と、
    それぞれのコロケーション語の生成された前記共起レーティングにより１つ又はそれ以上の生成されたコロケート語を表示するプログラム命令と
    を含むコンピュータ・プログラム製品。
20. トレーニングされた前記コーパス・リンク・モデルの１つ又はそれ以上の計算に基づいて１つ又はそれ以上のコロケーション語を生成するプログラム命令が、
    １つ又はそれ以上のスタック可能なリカレント・ニューラル・ネットワークに基づいてアプリケーション・レベルで１つ又はそれ以上のコロケーション語を生成するプログラム命令を含み、１つ又はそれ以上の前記スタック可能なリカレント・ニューラル・ネットワークのそれぞれのリカレント・ニューラル・ネットワークが通信媒体内に含まれる異なるチャネルに基づいてトレーニングされる、請求項１９に記載のコンピュータ・プログラム製品。
21. 前記共起レーティングが、クエリーが１つ又はそれ以上のコロケート語及び１つ又はそれ以上のコリゲート語に関連することの尤度を記述する１つ又はそれ以上の確率を含む、請求項１９に記載のコンピュータ・プログラム製品。
22. コンピュータ・システムであって、
    １つ又はそれ以上のコンピュータ・プロセッサと、
    １つ又はそれ以上のコンピュータ可読な記録媒体と、
    １つ又はそれ以上の前記プロセッサによる実行のため、前記コンピュータ可読な記録媒体上に格納されたプログラム命令と、を含み、前記プログラム命令が、
    言語的コーパスの分析及び１つ又はそれ以上の作者基準の分析に基づいてコーパス・リンク・モデルをトレーニングするプログラム命令と、
    トレーニングされた前記コーパス・リンク・モデルの１つ又はそれ以上の計算に基づいて１つ又はそれ以上のコロケート語を生成するプログラム命令と、
    １つ又はそれ以上の生成された前記コロケート語のそれぞれについて、共起レーティングを生成するプログラム命令と、
    それぞれのコロケート語の生成された前記共起レーティングにより１つ又はそれ以上の生成されたコロケート語を表示するプログラム命令と
    を含むコンピュータ・システム。
23. トレーニングされた前記コーパス・リンク・モデルの１つ又はそれ以上の計算に基づいて１つ又はそれ以上のコロケート語を生成するプログラム命令が、
    １つ又はそれ以上のスタック可能なリカレント・ニューラル・ネットワークに基づいてアプリケーション・レベルで１つ又はそれ以上のコロケート語を生成するプログラム命令を含み、１つ又はそれ以上の前記スタック可能なリカレント・ニューラル・ネットワークのそれぞれのリカレント・ニューラル・ネットワークが通信媒体内に含まれる異なるチャネルに基づいてトレーニングされる、請求項２２に記載のコンピュータ・システム。
24. 前記共起レーティングが、クエリーが１つ又はそれ以上のコロケート語及び１つ又はそれ以上のコリゲート語に関連することの尤度を記述する１つ又はそれ以上の確率を含む、請求項２２に記載のコンピュータ・システム。
25. それぞれのコロケート語の生成された前記共起レーティングにより、１つ又はそれ以上の前記コロケート語を表示する前記プログラム命令は、
    生成された前記共起レーティングに基づいて、表示された前記コロケート語の１つ又はそれ以上の、フォント、フォント・サイズ、文字スタイル、フォント色、背景色、大文字化、全般的透過度、及び相対的透過度からなる群から選択されるスタイル要素を変換するプログラム命令、及び
    変換された１つ又はそれ以上の前記スタイル要素を表示するプログラム命令
    を含む、請求項２２に記載のコンピュータ・システム。
    

Images