JP7462070B2 - インタラクション情報処理方法、装置、電子デバイス及び記憶媒体 - Google Patents

Description

本出願は、２０２０年０４月３０日付けで中国国家知識産権局に出願された、出願番号が２０２０１０３６６９２８．７であって、出願の名称が「インタラクション情報処理方法、装置、電子デバイス及び記憶媒体」である中国特許出願に基づく優先権を主張し、その全内容を援用により本明細書に組み込む。

本開示の実施例は、コンピュータデータ処理技術の分野に関し、特に、インタラクション情報処理方法、装置、電子デバイス及び記憶媒体に関する。

現在、インターネットによるマルチメディア会議やビデオライブストリーミングなどのリアルタイムインタラクション応用シナリオで、サーバーは、一部のユーザーの音声情報や、すべてのユーザーが投稿したテキスト情報を取得し、音声情報やテキスト情報を処理してから再生・表示することができる。

実際の応用過程において、ユーザーＡは、ユーザーＢの発言情報を理解できない場合に、ユーザーＢに対応する発言情報及び操作情報をチェックする必要があり、即ち、現在のインタラクションにおいてターゲットユーザが発表した発言情報及び操作情報を確認することが求められる場合がある。

しかしながら、関連技術では、ターゲットユーザに関連付けられた関連情報を入手して表示することができず、即ち、ターゲットユーザの発言情報や操作情報を入手できないため、ターゲットユーザが表現している主要な思想を確認することができず、インタラクションにおける情報の交換効率が大幅に低下してしまう。

本開示の実施例は、インタラクティブシナリオにおける情報の効果的な処理と表示を実現して、コミュニケーション効率を向上させるために、インタラクション情報処理方法、装置、電子デバイス、及び記憶媒体を提供する。

第１の局面によれば、本開示の実施例は、以下のステップを含むインタラクション情報処理方法を提供する。即ち、
リアルタイムインタラクションインターフェースに基づいてユーザーがインタラクションを行う過程において、ユーザーのインタラクション行動データに基づいてインタラクション情報記録を生成するステップと、
前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別するステップと、
前記ターゲットインタラクション情報を、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示するステップであって、前記ターゲットインタラクション情報が、前記インタラクション情報記録における１つまたは複数のインタラクション情報要素であるステップとを含む。

第２の局面によれば、本開示の実施例はさらに、以下のモジュールを含むインタラクション情報処理装置を提供する。即ち、
リアルタイムインタラクションインターフェースに基づいてユーザーがインタラクションを行う過程において、ユーザーのインタラクション行動データに基づいてインタラクション情報記録を生成するインタラクション情報記録モジュールと、
前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別するインタラクション情報選別モジュールと、
前記ターゲットインタラクション情報を、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示するインタラクション情報区別表示モジュールであって、前記ターゲットインタラクション情報が、前記インタラクション情報記録における１つまたは複数のインタラクション情報要素であるインタラクション情報区別表示モジュールと、を含む。

第３の局面によれば、本開示の実施例はさらに、電子デバイスを提供し、当該電子デバイスは、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶するための記憶装置とを含み、
前記１つ以上のプログラムが前記１つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサに本開示のいずれか１つの実施例に係るインタラクション情報処理方法を実現させる。

第４の局面によれば、本開示の実施例はさらに、コンピュータプロセッサによって実行されるときに、本開示のいずれか１つの実施例に係るインタラクション情報処理方法を実行するためのコンピュータ実行可能な命令を含む記憶媒体を提供する。

本開示の実施例に係る技術案では、選別条件を設定することによって、ユーザーによるリアルタイムインタラクション中のインタラクション情報記録を効果的に選別しつつ区別して表示することができ、これにより、インタラクションを行うユーザーは、インタラクション情報を選択的に入手することができ、インタラクション効率を向上させることができる。

本開示の各実施例の上記及び他の特徴、利点、並びに態様は、添付の図面と併せて以下の具体的な実施形態を参照することによってより明らかになる。図面全体を通して、同一または類似の符号は、同一または類似の要素を示す。ここで、図面は、概略的なものであり、部品及び要素は必ずしも一定の縮尺で描かれているわけではない。

本開示の実施例１に係るインタラクション情報処理方法のフローチャートである； 本開示の実施例２に係るインタラクション情報処理方法のフローチャートである； 本開示の実施例３に係るインタラクション情報処理方法のフローチャートである； 本開示の実施例４に係るインタラクション情報処理方法のフローチャートである； 本開示の実施例５に係るインタラクション情報処理装置の構成概略図である； 本開示の実施例６に係るインタラクション情報処理装置の構成概略図である； 本開示の実施例７に係る電子デバイスの構成概略図である。

以下、図面を参照しながら本開示の実施例についてより詳しく説明する。本開示のいくつかの実施例が図面に示されているが、本開示は様々な形態で実現可能であり、本明細書に記載の実施例に制限されるものと解釈されるべきではなく、むしろこれらの実施例は本開示をより深くかつ完全に理解するために提供されることを理解されたい。また、本開示の図面及び実施例は、例示的な目的のためにのみ使用され、本開示の保護範囲を制限することを意図するものではないことが理解されるべきである。

本開示の方法の実施形態に記載される各ステップは、異なる順序に従って実行され、及び／または並行して実行されることが理解されるべきである。また、方法の実施形態は、追加のステップを含み、及び／または図示されるステップの実行を省略し得る。本開示の範囲はこの点に関して限定されない。

本明細書で使用される「含む」という用語及びその変形は、非限定的な包含、即ち、「含むがこれらに限定されない」という意味である。「に基づく」という用語は、「少なくとも部分的に基づく」という意味である。「一実施例」という用語は、「少なくとも１つの実施例」を意味し、「別の実施例」という用語は、「少なくとも１つの別の実施例」を意味し、「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を意味する。他の用語の関連する定義は、以下で説明される。

なお、本開示で言及される「第１」、「第２」などの概念は、異なる装置、モジュールまたはユニットを区別するためにのみ使用され、これらの装置、モジュール、またはユニットによって実行される機能の順序または相互依存関係を限定することを意図するものではない。

なお、本開示で言及される「１つ」、「複数」の修飾は限定ではなく、例示的なものであり、当業者であれば理解できるように、本明細書において特に指摘されない限り、「１つまたは複数」として理解されるべきである。

＜実施例１＞
図１は、本開示の実施例１に係るインタラクション情報処理方法のフローチャートである。本開示の実施例は、インターネットによってサポートされるリアルタイムインタラクション応用シナリオにおいてユーザーによってインタラクションされる情報を処理・表示することに適用される。当該方法は、インタラクション情報処理装置によって実行されることができ、当該装置は、ソフトウェア及び／またはハードウェアの形態で実現されることができ、オプションとして電子デバイスによって実現されることができる。当該電子デバイスは、移動端末、ＰＣ（パーソナルコンピュータ、パソコン）やサーバーなどであってもよい。リアルタイムインタラクション応用シナリオは、通常、クライアントとサーバーによって協働して実施されることができる。本実施例に係る方法は、クライアント、サーバー、または両方の協働によって実施されることができる。

図１に示すように、この方法は次のステップを含む。

ステップＳ１１０：リアルタイムインタラクションインターフェースに基づいてユーザーがインタラクションを行う過程において、ユーザーのインタラクション行動データに基づいてインタラクション情報記録を生成する。

具体的には、リアルタイムインタラクションインターフェースは、リアルタイムインタラクション応用シナリオの任意のインタラクションインターフェースである。リアルタイムインタラクション応用シナリオは、インターネットとコンピュータテクノロジーを介して実現できる。例えば、ネイティブプログラムまたはＷｅｂ（ウェブページ）プログラムを介して実現されるインタラクションアプリケーションプログラムが挙げられる。リアルタイムインタラクションインターフェースでは、複数のユーザーが、テキスト入力、音声、ビデオ、またはコンテンツオブジェクトの共有などの様々な形式のインタラクティブ行動でインタラクションを行うことを可能にする。これによって、インタラクション情報記録は、ユーザーのインタラクション行動データに基づいて生成され得る。インタラクション行動データには、インタラクション行動タイプやインタラクション行動に関連する具体的なコンテンツなどの、ユーザーのインタラクション行動に関連する様々なデータが含まれることができる。インタラクション情報記録は、各クライアントが自ら処理して生成してもよく、各ユーザーのインタラクション行動データに基づいてサーバーによって統一的に生成されクライアントにプッシュされることで取得されてもよい。

ステップＳ１２０：前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別する。

具体的には、ターゲット選別条件は、ユーザーが手動で入力することも、自動で生成することもできる。ターゲット選別条件とは、インタラクション情報記録を区別できる任意の条件であり、例えば、インタラクション行動のタイプ、コンテンツ、時間、及びユーザーなどのうちの少なくとも１つをターゲット選別条件として使用することができる。

一般に、各クライアントの属するユーザーが注目する情報は異なるため、各クライアントのターゲット選別条件も異なってもよい。各クライアントは、ローカルのターゲット選別条件に基づいてインタラクション情報記録を選別することができる。または、サーバーは、各クライアントのそれぞれのターゲットクリーニング条件を取得した後、インタラクション情報記録に対して異なる選別処理を実行し、次に、選別されたターゲットインタラクション情報を対応するクライアントにプッシュすることもできる。

ステップＳ１３０：前記ターゲットインタラクション情報を、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示し、前記ターゲットインタラクション情報は、前記インタラクション情報記録における１つまたは複数のインタラクション情報要素である。

具体的には、インタラクション情報記録は、リアルタイムインタラクションインターフェースのターゲットエリア内に表示されることができる。ターゲットエリアは、例えば、メインインタラクションエリアの周辺エリアであってもよく、頂部、底部または側辺などであってもよい。例えば、ビデオ会議のシナリオでは、ビデオインタラクションウィンドウがメインインタラクションエリアであり、画面エリアの２／３を占める場合、インタラクション情報記録を表示するためのエリアは、側辺の１／３エリアにおけるサブエリアであってもよい。

インタラクション情報記録には、様々なインタラクション情報要素が含まれてもよい。インタラクション情報要素は、ユーザーのインタラクション行動データに対応し、例えば、発話者のテキスト字幕では、発話者の名前やテキスト字幕などは、いずれも異なるインタラクション情報要素である。共有行動では、共有者、共有コンテンツのタイプ、及び共有する具体的なコンテンツはすべて、異なるインタラクション情報要素である。

ターゲットインタラクション情報が選別によって取得された場合には、ターゲットインタラクション情報自体もインタラクション情報記録における１つまたは複数のインタラクティブ情報要素であり、表示するときに、他のインタラクション情報要素と区別して表示することができ、それにより、選別されたターゲットインタラクション情報が強調表示され、ユーザーはターゲットインタラクション情報をより直観的かつ便利に見ることができる。区別して表示することは、他のインタラクション情報要素を表示せずにターゲットインタラクション情報のみを表示することができ、または、色やフォント、背景パターンなどの表示形式で区別して表示することもできる。

本実施例に係る技術案において、選別条件を設定することによって、ユーザーによるリアルタイムインタラクション中のインタラクション情報記録を効果的に選別しながら、区別して表示することができるため、インタラクションを行うユーザーはインタラクション情報を選択的に入手することができ、結果としてインタラクション効率を向上させることができる。

本開示の実施例に係る技術案は、様々なリアルタイムインタラクション応用シナリオ、特にマルチメディアリアルタイムインタラクションシナリオに適用可能である。前記リアルタイムインタラクションインターフェースは、例えば、ビデオ会議用インタラクションインターフェース、ビデオライブストリーミングインタラクションインターフェース、またはグループチャットインタラクションインターフェースであってもよい。これらのリアルタイムインタラクションシナリオにおいて、インタラクション行動は、テキスト、音声、ビデオ、ホワイトボード、共有コンテンツなどを含む１つまたは複数の形態であってもよい。マルチメディアリアルタイムインタラクションシナリオでは、インタラクション行動がリアルタイムでスクロールされるため、表示速度が速く、表示滞在時間が短く、またユーザーが表示方法に慣れていない問題もあるため、インタラクション行動データを静的なインタラクション情報記録に変換して補助表示とすることが望ましい。静的なインタラクション情報記録は、テキストや画像などによってマルチメディアインタラクションデータを記録することができる。

本開示の実施例では、前記インタラクション行動データにはユーザーの音声データが含まれ、前記インタラクション情報記録のコンテンツには前記ユーザーの音声データによって識別されたテキストデータが含まれ、または、前記インタラクション行動データにはユーザーの操作行動データが含まれ、前記インタラクション情報記録のコンテンツには前記ユーザーの操作行動データによって識別されたテキストデータが含まれ、または、前記インタラクション行動データにはユーザーの音声データ及びユーザーの操作行動データが含まれ、前記インタラクション情報記録のコンテンツには前記ユーザーの音声データによって識別されたテキストデータ及び前記ユーザーの操作行動データによって識別されたテキストデータが含まれる。テキストデータは、ユーザーの音声の字幕テキストに相当する。

ユーザーの操作行動は様々であってもよい。典型的なユーザー操作行動データには、共有行動及び共有コンテンツが含まれている。共有行動は、１つの操作タイプであり、前記共有行動は、共有コンテンツを各ユーザーに提示する操作行動タイプである。前記共有コンテンツには、共有文書、共有画面及び／またはウェブリンクなどが含まれる。操作行動タイプ及び共有コンテンツは、いずれもインタラクション情報記録に変換することができる。マルチメディアリアルタイムインタラクション応用シナリオにおいて、ユーザーの操作行動がコンテンツの共有に限定されず、例えば、ホワイトボードへの書き込みなどの行動も含み得ることは、当業者に理解されるべきであろう。

＜実施例２＞
図２は、本開示の実施例２に係るインタラクション情報処理方法のフローチャートである。本実施例は、前述の実施例に基づいて、ターゲット選別条件を決定する方法及び内容についての具体的なオプション技術案を提供する。本実施例の方法は、具体的には以下のステップを含む。

ステップＳ２１０：リアルタイムインタラクションインターフェースに基づいてユーザーがインタラクションを行う過程において、ユーザーのインタラクション行動データに基づいてインタラクション情報記録を生成する。

ステップＳ２２０：前記リアルタイムインタラクションインターフェースの選別コントロールまたは検索コントロールを介して、ユーザーによって入力されたターゲット選別条件を取得する。
前記選別コントロールは、選別リスト、条件入力ボックス、及びタブラベルのうちの少なくとも１つを含む。

オプションとして、前記ターゲット選別条件は、コンテンツキーワード、音声データの発話ユーザー、発話ユーザーの活躍度レベル、操作行動タイプ及び操作行動コンテンツオブジェクトの少なくとも１つを含む。

コンテンツキーワードは、例えば、発話者の名前、発話者のスピーチコンテンツテキスト、または共有コンテンツテキストなどの様々なインタラクション情報要素のコンテンツに対して設定され得る。音声データの発話ユーザーは、ユーザーの角度から決定される選別条件であり、一人または複数人の話者の音声コンテンツのみ、例えばホストのみに注目することができる。発言ユーザーの活躍度レベルも、ユーザーの角度から決定される選別条件であり、発言ユーザーの活躍度は、一般に、インタラクション行動を実施する際のユーザーの活躍度を指し、１つのインタラクション行動または複数のインタラクション行動の実施頻度、数量または品質であり得る。例えば、活躍度の評価指標は、単位時間あたりの発話回数、コンテンツの共有回数、発話コンテンツの長さ、実質的な意味の有効性などであり得る。各発話ユーザーの活躍度レベルは、定量的指標に従って決定され得るため、活躍度レベルの高い発話ユーザーに選択的に注目することができる。操作行動タイプは、インタラクション行動タイプの角度から決定される選別条件であり、ユーザーに共有コンテンツのインタラクション情報のみを入手させるなど、特定の１つまたは複数のタイプの操作行動の情報記録を選択的に入手させることができる。操作行動コンテンツオブジェクトは、インタラクション行動オブジェクトの角度から決定される選別条件であり、例えば、共有行動のコンテンツオブジェクトが文書である場合、個別に選別されて表示されることができる。

本実施例では、ターゲット選別条件は、ユーザーによる手動入力によって決定されることができ、具体的には、リアルタイムインタラクションインターフェースに設定された選別コントロールまたは検索コントロールを介して取得されることができる。具体的には、音声データの発話ユーザーを例にとると、すべての発話ユーザーは、ユーザーがクリックして選別することができるように、選別リストの形態で表示されることができる。コンテンツキーワードを例にとると、検索入力欄などの検索コントロールは、ユーザーがコンテンツキーワードを入力してターゲット選別条件を決定するために提供されることができる。発話ユーザーの活躍度レベルを例にとると、ユーザーに選択させることができるように、複数の活動レベルのタブラベルまたは条件入力ボックスの形態で表示されることができる。

選別コントロールのコンテンツは、リアルタイムインタラクション過程またはインタラクション情報記録のコンテンツに従って動的に生成されることができる。例えば、発話ユーザーの増加または減少に伴い、それに応じて発話ユーザーの選別リストを増加または減少させることができる。また、インタラクション行動タイプの増加に応じて、選別可能な操作行動タイプのラベルオプションを追加することができる。

ステップＳ２３０：前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別する。

ステップＳ２４０：前記ターゲットインタラクション情報を、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示し、前記ターゲットインタラクション情報は、前記インタラクション情報記録における１つまたは複数のインタラクション情報要素である。

本実施例に係る技術案において、リアルタイムインタラクションインターフェースにおいて豊富なコントロールを提供し、ターゲット選別条件をユーザーに便利に入力させることができる。

＜実施例３＞
図３は、本開示の実施例３に係るインタラクション情報処理方法のフローチャートである。本実施例は、前述の実施例に基づいて、ターゲット選別条件を決定するための別の具体的な実施方法を提供する。この方法は次のステップを含む。

ステップＳ３１０：リアルタイムインタラクションインターフェースに基づいてユーザーがインタラクションを行う過程において、ユーザーのインタラクション行動データに基づいてインタラクション情報記録を生成する。

ステップＳ３２０：設定されたトリガー条件を検出した場合、ターゲット選別条件を決定する。

本実施例では、オプションとして、トリガー条件を設定することによって、ターゲット選別条件を自動的に決定することができる。これによって、ユーザーの手動参加の程度をさらに減らし、ユーザーにインテリジェントサービスを提供することができる。

前記トリガー条件は、需要に応じて様々な次元から設定できるが、例えば、インタラクション過程中の予め設定された時点に達したこと、ユーザーの音声データに指示性音声データが含まれていることを検出したこと、及び各発話ユーザーが使用する言語タイプと現在のクライアントの言語タイプとに差異があることのうちの少なくとも１つを含むことができる。

予め設定された時点は、絶対時点または相対時点であってもよい。絶対時点とは、正確な時刻を指し、例えば何時何分にターゲット選別条件の決定をトリガーすることができる。相対時点は、インターバルの持続時間に基づいて決定することができ、例えば、設定された持続時間おきにターゲット選別条件の決定をトリガーすることができる。

ユーザーの音声データに指示性音声データが含まれていることを検出したことは、ユーザーの音声指示に従って、ターゲット選別条件の決定をトリガーできることを意味する。指示性音声データは、語句を設定するような明確な指示である場合もあれば、ユーザーが選別意図を持っていることを意図認識によって推定する場合もある。語句を設定するような明確な指示は、例えば、「ＸＸユーザーの音声テキストを見たい」などの文型を設定するための指示であってもよい。意図認識は、ユーザーの選別意図をよりインテリジェントに決定することができ、例えば「ＸＸユーザーの声がはっきり聞こえない」などは、ＸＸユーザーの発言内容をチェックしたいという選別意図があることを示しているため、ターゲット選別条件の決定をトリガーすることができる。

発話ユーザーが使用する言語タイプは様々であり、具体的には、インタラクション音声には複数の言語タイプが存在している。例えば、あるクライアントのユーザーが中国語で話す場合に、他のユーザーによる英語の発言を聞き取ったり理解したりすることができない場合があるため、自分の言語タイプとは異なる発言内容に特に注意を払う必要があり、それにより、ターゲット選別条件をトリガーする必要がある。どのクライアントでも、クライアントは１人のユーザーが利用することも、または複数人のユーザーが同時に利用することもできるため、このクライアントに対応する発話ユーザーが使用する言語タイプが１つまたは複数である場合がある。非ローカル側の発話ユーザーの言語がローカル側の発話ユーザーの言語タイプと異なることをクライアントが認識した場合、トリガー条件が存在しており、ローカル側の発話者は他の差異言語で発表された発言内容を選別して重点的にチェックする必要がある可能性があると考えられる。差異言語とは、ローカル側の発話ユーザーの言語タイプとは異なる言語を指し、例えば、ローカル側の発話ユーザーの言語タイプが中国語である場合、中国語とは異なる言語はいずれも差異言語と呼ばれる。

ステップＳ３３０：前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別する。

ステップＳ３４０：前記ターゲットインタラクション情報を、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示し、前記ターゲットインタラクション情報は、前記インタラクション情報記録における１つまたは複数のインタラクション情報要素である。

上記の技術案では、設定されたトリガー条件を検出した場合、ターゲット選別条件を決定するステップは、具体的に、ユーザーによるリアルタイムインタラクション中に、収集されたインタラクション行動データに基づいて、設定されたトリガー条件を検出した場合、ターゲット選別条件を決定するステップを含んでもよいことが好ましい。つまり、トリガー条件があるかどうかは、インタラクション行動データによって決定され、ユーザーのインタラクション行動データには、通常、どの情報に注意を払う必要があるかというユーザーの需要の可能性または意図が伝えられているからである。したがって、インタラクション行動データに基づいてトリガー条件を決定することによって、ユーザーのためにターゲット選別条件をより正確に決定することができる。

さらに、ターゲット選別条件を決定するステップは、具体的に、収集されたインタラクション行動データに基づいてターゲット選別条件を決定するステップを含むことができる。つまり、インタラクション行動データは、ターゲット選別条件を決定するためのトリガー条件があるかどうかを判断するだけでなく、ターゲット選別条件の内容を決定するためにも使用できる。

オプションとして、インタラクション行動データに基づくトリガー条件の特定及び／またはターゲット選別条件の決定には、多くの状況が含まれることができる。例えば、ユーザーによるリアルタイムインタラクション中に、収集されたインタラクション行動データに基づいて、設定されたトリガー条件を検出した場合、ターゲット選別条件を決定するステップは、以下の少なくとも１つを含む。

第一に、収集されたインタラクション行動データに基づいて各ユーザーの現在の活躍度値を決定し、現在の活躍度値に基づいてターゲット選別条件を決定する；
例えば、インタラクション行動データに基づいてユーザーの現在の活躍度値を決定することができ、その後、ユーザーの現在の活躍度値が予め設定された基準に達したときに、現在の活躍度値が予め設定された活躍度値よりも高くなるユーザーをターゲット選別条件とすることができる。これによって、活躍しているユーザーのインタラクションコンテンツのみを表示する効果が奏される。設定基準は、例えば、活躍度のレベルが高くなるＮ～Ｍ人のユーザーであり、ＮとＭはいずれも設定された正の整数である。

第二に、収集されたインタラクション行動データに基づいて各ユーザーの言語タイプを決定し、前記言語タイプに基づいてターゲット選別条件を決定する；
言語タイプにより、ユーザーにコミュニケーション障害が存在する可能性があるため、言語タイプに基づいてターゲット選別条件を決定することができる。具体的には、
前記インタラクション行動データにおける音声データに基づいて、各ユーザーに対応する現在の言語タイプを決定し、現在の言語タイプとは異なる他の言語タイプをターゲット選別条件とするステップ、または、
各クライアントに予め設定されたターゲット言語タイプを収集し、前記ターゲット言語タイプとは異なる他の言語タイプをターゲット選別条件とするステップを含むことができる。

上記の操作は、各クライアントがローカル側の発話ユーザーに対して、他端末側のユーザーの言語を識別し選別することができる。

これによって、収集されたインタラクション行動データに基づいて各ユーザーの言語タイプを決定するステップに先立って、各ユーザーの音声データに対して声紋認識を行って、前記音声データが属する発話ユーザーを決定するステップをさらに含むことができる。通常、クライアントには、異なるクライアントを区別するために対応するクライアントアカウントまたはクライアントＩＤが記憶されている。しかし、あるクライアントを介して複数のユーザーが同時に会議に参加して発言する場合、複数のユーザーをクライアントＩＤで区別することはできなくなる。そこで、各ユーザーの音声データに対してさらに声紋認識を行うことができ、各人の声は独自の声紋を持つことにより、異なるユーザーを区別することができる。その後、同じクライアントを利用する異なる発話ユーザーを区別するために、クライアントＩＤ－ユーザーＡ、クライアントＩＤ－ユーザーＢとしてマーキングすることができる。

第三に、収集されたインタラクション行動データに基づいてインタラクション行動データの実質的な意味を決定し、前記インタラクション行動データの実質的な意味の有効性に基づいてターゲット選別条件を決定する。

インタラクション行動データの実質的な意味は、語意や行動結果の意義に反映されることができる。音声またはテキストを介して入力された情報は、その自然な意味を認識することができる一方、有効な自然意味のない情報は、データの実質的な意味が無効であると見なすことができ、それに応じて、有効な語意がある情報は、データの実質的な意味が有効であると見なすことができる。データの実質的な意味が有効であることを検出した場合、ターゲット選別条件の決定をトリガーすることができ、有効な情報を選別オブジェクトとして使用することができ、即ち、有効なインタラクション情報は選別保留オブジェクトである。なお、有効性を判断する基準は、具体的なインタラクションシナリオ及びインタラクション過程中の実際の需要に応じて設定または決定することができる。例えば、ビデオ会議では、同じクライアントを利用する複数のユーザーのプライベートチャットの場合、音声がぼやけて効果的に識別できないため、そのようなメッセージを無効な情報であると判断することができ、それに応じて、そのようなメッセージ以外の情報は有効な情報として見なされる。行動結果の意義は、ユーザーの特定の操作行動が実際の行動結果を達成できるかどうかを反映できる。例えば、ユーザーが間違ったコンテンツを共有した後にすぐに撤回した場合、そのようなインタラクション行動は有効な行動結果を達成しないため、インタラクション情報は無効と見なされる。ユーザーが文書共有操作を行い、共有コンテンツについて具体的な説明や解釈を行った場合、そのようなインタラクション行動は有効な行動結果を達成したため、そのようなインタラクション操作を有効なインタラクション情報として見なすことができ、このとき、ターゲット選別条件の決定をトリガーすることができ、つまり、実質的な意味のあるインタラクション行動データを保留する。

本開示の実施例に係る技術案において、ユーザーのインタラクション行動データによって、ターゲット選別条件の生成時間及び内容を自動的に決定することができるため、選別操作がよりインテリジェントになり、ユーザーのインタラクションへの干渉が可能な限り抑えられるということで、ユーザーのために特に関心を持つインタラクション情報を区別して表示することができる。

＜実施例４＞
図４は、本開示の実施例４に係るインタラクション情報処理方法のフローチャートである。本実施例は、前述の実施例に基づいて、さらに、ターゲットインタラクション情報を区別して表示する方法を提供する。この方法は、以下のステップを含む。

ステップＳ４１０：リアルタイムインタラクションインターフェースに基づいてユーザーがインタラクションを行う過程において、ユーザーのインタラクション行動データに基づいてインタラクション情報記録を生成する。

ステップＳ４２０：前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別する。

ステップＳ４３０：前記ターゲットインタラクション情報を対応する表示形態で、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示し、前記ターゲットインタラクション情報は、前記インタラクション情報記録における１つまたは複数のインタラクション情報要素である。
前記表示形態は、前記ターゲット選別条件における選別タイプに対応する。

本実施例では、ターゲットインタラクション情報について、ターゲット選別条件の選別タイプに対応する表示形態を任意に採用することができる。したがって、さらに、ターゲットインタラクション情報が属する選別タイプを表示形態によって強調表示することができ、情報表示の直感性を向上させる。異なる選別に対応するいくつかの表示形態は、以下のように例示される。

一例として、前記ターゲット選別条件における選別タイプが検索コントロールに入力された選別条件を含む場合、前記ターゲットインタラクション情報を対応する表示形態で、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示する前記ステップは、具体的に、
前記ターゲットインタラクション情報を、他のインタラクション情報記録のコンテンツと区別できる表示形態で、前記インタラクション情報記録のコンテンツとともに、リアルタイムインタラクションインターフェースのターゲットエリア内に表示するステップを含む。

当該方式では、検索によって選別されたターゲットインタラクション情報は、ユーザーが情報自体の内容に注目する場合もあれば、すべての情報におけるインタラクション情報の箇所及びコンテキストに注目する場合もある。これによって、ターゲットインタラクション情報を他の情報と一緒に表示しながら、ターゲットインタラクション情報を、特別な表示形態で区別して表示することができる。

前記表示形態は、
前記インタラクション情報記録のコンテンツにおいて前記ターゲットインタラクション情報をハイライト表示することと、
他のインタラクション情報記録のコンテンツの全部または一部を半透明状態となる遮光フードで覆うことと、
前記ターゲットインタラクション情報を所定のフォントで表示することと
のうちの少なくとも１種を含む。

もちろん、ターゲットインタラクション情報を区別できれば、如何なる他の表示形態も適用できる。

別の例として、前記ターゲット選別条件における選別タイプが、検索コントロールに入力された選別条件を含む場合、前記ターゲットインタラクション情報を対応する表示形態で、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示する前記ステップは、具体的に
前記ターゲットインタラクション情報と他のインタラクション情報記録のコンテンツとをそれぞれ、前記リアルタイムインタラクションインターフェースの異なるターゲットエリア内に表示するステップを含む。

上記の方式では、ターゲットインタラクション情報と他のインタラクション情報要素とを、異なるエリア内に配置して表示する。例えば、インタラクション情報記録の表示エリア全体を２つ以上のサブエリアに分割し、一方のサブ領域内で選別された共有コンテンツを表示し、他方のサブエリア内で音声データのテキストを表示することができる。または、選別に基づいて、ターゲットインタラクション情報の表示のみを残して、他のインタラクション情報要素の表示を隠蔽することができ、それにより、ターゲットインタラクション情報を他のインタラクション情報要素と区別して表示することができる。

＜実施例５＞
図５は、本開示の実施例５に係るインタラクション情報処理装置の構成概略図である。本実施例に係るインタラクション情報処理装置は、ハードウェア及び／またはソフトウェアで実現することができ、ユーザーがアプリケーションソフトウェアに基づいてリアルタイムインタラクションを行う応用シナリオにおいてインタラクション情報を選別及び表示するために使用される。このインタラクション情報処理装置は、クライアントに統合されることができ、サーバーに統合されて各クライアントに業務サービスを提供することもできる。

図５に示すように、当該インタラクション情報処理装置は、インタラクション情報記録モジュール５１０と、インタラクション情報選別モジュール５２０と、インタラクション情報区別表示モジュール５３０とを含む。インタラクション情報記録モジュール５１０は、リアルタイムインタラクションインターフェースに基づいてユーザーがインタラクションを行う過程において、ユーザーのインタラクション行動データに基づいてインタラクション情報記録を生成するために使用され、インタラクション情報選別モジュール５２０は、前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別するために使用され、インタラクション情報区別表示モジュール５３０は、前記ターゲットインタラクション情報を、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示するために使用され、前記ターゲットインタラクション情報は、前記インタラクション情報記録における１つまたは複数のインタラクション情報要素である。

本開示の実施例に係る技術案では、選別条件を設定することによって、ユーザーによるリアルタイムインタラクション中のインタラクション情報記録を効果的に選別しつつ区別して表示することができるため、インタラクションを行うユーザーは、インタラクション情報を選択的に入手することができ、インタラクション効率を向上させる。

本開示の実施例では、当該装置は、ユーザーによるリアルタイムインタラクション応用シナリオ、特に、ユーザーがマルチメディア形式でインタラクションを行うマルチメディアリアルタイムインタラクションシナリオに適用され、この応用シナリオはインターネット技術に基づくアプリケーションソフトウェアによって実現される。リアルタイムインタラクションインターフェースは、例えば、ビデオ会議用インタラクションインターフェース、ビデオライブストリーミングインタラクションインターフェース、またはグループチャットインタラクションインターフェースなどの、マルチメディアリアルタイムインタラクション応用シナリオにおける任意のインタラクションインターフェースであってもよい。

前記インタラクション行動データにはユーザーの音声データ及び／またはユーザーの操作行動データが含まれ、前記インタラクション情報記録のコンテンツにはユーザーの音声データによって識別されたテキストデータ及び／またはユーザーの操作行動データのタイプ及びコンテンツが含まれる。

具体的には、前記ユーザーの操作行動データには、共有行動及び共有コンテンツが含まれ、前記共有行動は、共有コンテンツを各ユーザーに提示する操作行動タイプであり、前記共有コンテンツには、共有文書、共有画面及び／またはウェブリンクが含まれる。

ターゲット選別条件は、インタラクション情報記録を選別する任意の次元の条件であり、例えば、前記ターゲット選別条件は、コンテンツキーワード、音声データの発話ユーザー、発話ユーザーの活躍度レベル、操作行動タイプ及び操作行動コンテンツオブジェクトの少なくとも１つを含むことができる。

ターゲット選別条件を決定する方式は、様々であり、具体的には、当該装置は、さらに、
前記リアルタイムインタラクションインターフェースの選別コントロールまたは検索コントロールを介して、ユーザーが入力したターゲット選別条件を取得するためのコントロール取得モジュールを含む。前記選別コントロールは、選別リスト、条件入力ボックス、及びタブラベルのうちの少なくとも１つを含む。

コントロールにより、ユーザーがターゲット選別条件を自発的に入力できるため、ユーザーの選別意図を直接に反映することができる。

＜実施例６＞
図６は、本開示の実施例６に係るインタラクション情報処理装置の構成概略図である。本実施例は、前述の実施例に基づいて、選別条件を決定するための具体的な実現方式をさらに提供する。

当該装置は、インタラクション情報記録モジュール６１０と、インタラクション情報選別モジュール６２０と、インタラクション情報区別表示モジュール６３０とを含み、前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別する前に、設定されたトリガー条件を検出した場合、ターゲット選別条件を決定する条件トリガーモジュール６４０をさらに含む。

本実施例は、設定されたトリガー条件に基づいて、ターゲット選別条件の取得を自動的にトリガーすることができ、またはターゲット選別条件の内容をさらに自動的に決定することができる。

オプションとして、前記トリガー条件は、インタラクション過程中の予め設定された時点に達したこと、ユーザーの音声データに指示性音声データが含まれていることを検出したこと、及び発話ユーザーが使用する言語タイプに差異があることのうちの少なくとも１つを含む。

上記の方案に基づいて、当該条件トリガーモジュールは、具体的に、ユーザーによるリアルタイムインタラクション中に、収集されたインタラクション行動データに基づいて、設定されたトリガー条件を検出した場合、ターゲット選別条件を決定するために使用されることができる。

オプションとして、当該条件トリガーモジュールは、具体的に、
収集されたインタラクション行動データに基づいて各ユーザーの現在の活躍度値を決定し、前記現在の活躍度値に基づいてターゲット選別条件を決定する活躍度決定ユニットと、
収集されたインタラクション行動データに基づいて各ユーザーの言語タイプを決定し、前記言語タイプに基づいてターゲット選別条件を決定する言語タイプ決定ユニットと、
収集されたインタラクション行動データに基づいてインタラクション行動データの実質的な意味を決定し、前記インタラクション行動データの実質的な意味の有効または無効に基づいてターゲット選別条件を決定する語意決定ユニットと
のうちの少なくとも１つの機能ユニットを含むことができる。

活躍度決定ユニットは、具体的に、現在の活躍度値が予め設定された活躍度値よりも高くなるユーザーをターゲット選別条件とすることができる。

言語タイプ決定ユニットは、具体的に、前記インタラクション行動データにおける音声データに基づいて、各ユーザーに対応する現在の言語タイプを決定し、現在の言語タイプとは異なる他の言語タイプをターゲット選別条件とすること、または、各クライアントに予め設定されたターゲット言語タイプを収集し、前記ターゲット言語タイプとは異なる他の言語タイプをターゲット選別条件とすることができる。

さらに、当該装置は、収集されたインタラクション行動データに基づいて各ユーザーの言語タイプを決定する前に、各ユーザーの音声データに対して声紋認識を行って、前記音声データが属する発話ユーザーを決定するための指紋認識モジュールをさらに含むことができる。

上記の方案に基づいて、ターゲットインタラクション情報を決定した後、様々な異なる方式によって区別して表示することができる。

オプションとして、インタラクション情報区別表示モジュールは、具体的に、ターゲットインタラクション情報を、対応する表示形態で、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示するために使用されることができ、前記表示形態は、前記ターゲット選別条件における選別タイプに対応する。

インタラクション情報区別表示モジュールは、さらに、より具体的に、前記ターゲットインタラクション情報を、他のインタラクション情報記録のコンテンツと区別できる表示形態で、前記インタラクション情報記録のコンテンツとともに、リアルタイムインタラクションインターフェースのターゲットエリア内に表示するために使用されることができる。
または、インタラクション情報区別表示モジュールは、より具体的に、前記ターゲットインタラクション情報と他のインタラクション情報記録のコンテンツとを、それぞれ、前記リアルタイムインタラクションインターフェースの異なるターゲットエリア内に表示するために使用されることができる。

上記の方案において、前記表示形態は、
前記インタラクション情報記録のコンテンツにおいて前記ターゲットインタラクション情報をハイライト表示することと、
他のインタラクション情報記録のコンテンツの全部または一部を半透明状態となる遮光フードで覆うことと、
前記ターゲットインタラクション情報を所定のフォントで表示することと
のうちの少なくとも１種を含む。

本開示の実施例に係るインタラクション情報処理装置は、本開示の任意の実施形態によるインタラクション情報処理方法を実行することができ、方法の実行に対応する機能モジュール及び有益な効果を有する。

なお、上記の装置に含まれるユニット及びモジュールは、単に機能ロジックに従って分割されるだけであって、上記の分割に限定されず、対応する機能を実現できればよい。また、各機能ユニットの具体的な名称は、互いを区別するためにのみ使用され、本開示の実施形態の保護範囲を制限するために使用されるものではない。

＜実施例７＞
以下で、図７を参照すると、本開示の実施例を実現するのに適している電子デバイス（図７における端末デバイスまたはサーバー）７００の構成概略図が示されている。本開示の実施例における端末デバイスは、携帯電話、ノートパソコン、デジタル放送受信機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、携帯情報端末）、ＰＡＤ（Ｐｏｒｔａｂｌｃ Ａｎｄｒｏｉｄ Ｄｅｖｉｃｅ、タブレット）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｃｄｉａ Ｐｌａｙｅｒ、ポータブルマルチメディアプレーヤー）、車載端末（例えば、車載ナビゲーション端末）などの携帯端末、及びデジタルＴＶ（ｔｅｌｅｖｉｓｉｏｎ、テレビ）、デスクトップコンピュータなどの固定端末を含むことができるが、これらに限定されない。図７に示される電子デバイスは、１つの例示にすぎず、本開示の実施例の機能及び使用範囲に任意の制限を与えるべきではない。

図７に示すように、電子デバイス７００は、読み取り専用メモリ（ＲＯＭ）７０２に記憶されたプログラムまたは記憶装置７０８からランダムアクセスメモリ（ＲＡＭ）７０３内にロードされたプログラムに従って、様々な適切な動作と処理を実行できる処理装置（例えばＣＰＵ、グラフィックプロセッサなど）７０１を含むことができる。ＲＡＭ７０３には、電子デバイス７００の操作に必要な様々なプログラム及びデータも記憶されている。処理装置７０１、ＲＯＭ７０２及びＲＡＭ７０３は、バス７０４を介して互いに接続されている。入出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続されている。

典型的には、Ｉ／Ｏインターフェース７０５には、例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力デバイス７０６、例えば、液晶ディスプレイ（ＬＣＤ）、スピーカー、振動コンピュータなどを含む出力装置７０７、例えば、磁気テープ、ハードディスクなどを含む記憶装置７０８、及び通信装置７０９が接続される。通信装置７０９は、電子デバイス７００が他のデバイスと無線または有線で通信してデータを交換することを可能にする。図７には、様々な装置を有する電子デバイス７００が示されているが、図示された装置のすべてを実施または具備する必要があるわけではないことが理解されるべきである。代替的に、より多くのまたはより少ない装置を実施または具備することができる。

特に、本開示の実施例によれば、フローチャートを参照して以上で説明された過程は、コンピュータソフトウェアプログラムとして実現されることができる。例えば、本開示の実施例は、非一時的なコンピュータ可読媒体に担持されるコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。このような実施例において、当該コンピュータプログラムは、通信装置７０９を介してネットワークからダウンロード及びインストールされ、または、記憶装置７０８からインストールされ、またはＲＯＭ７０２からインストールされることができる。当該コンピュータプログラムが処理装置７０１によって実行される場合、本出願の実施例の方法で限定される上記機能を実行する。

本開示の実施例による電子デバイス及び上記の実施例によるインタラクション情報処理方法は、同じ発明構想に属する。本実施例において詳細に記載されていない技術詳細については、上記の実施例を参照されたい。また、本実施例は、上記の実施例と同じ有益な効果を有する。

＜実施例８＞
本開示の実施例８は、プロセッサによって実行されるときに、上記の実施例によるインタラクション情報処理方法を実現するコンピュータプログラムが記憶されているコンピュータ記憶媒体を提供する。

なお、本開示の上記のコンピュータ可読媒体は、コンピュータ可読信号媒体やコンピュータ可読記憶媒体や上記の両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば電気、磁気、光学、電磁、赤外線、または半導体のシステム、装置やデバイスや以上の任意の組み合わせであってもよいが、これらに限定されていない。コンピュータ可読記憶媒体のより具体的な例は、１つまたは複数のリード線を有する電気接続、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組み合わせを含むが、これらに限定されていない。本開示において、コンピュータ可読記憶媒体は、プログラムを含むか、または記憶する有形媒体であってもよく、当該プログラムは、指令実行システム、装置またはデバイスによって使用され、またはそれらと結合して使用されてもよい。本開示において、コンピュータ可読信号媒体は、ベースバンドにおいて、またはキャリアの一部として伝搬されるデータ信号を含み、当該データ信号にコンピュータ読み取り可能なプログラムコードが担持される。このように伝搬されるデータ信号について、様々な形態を採用してもよく、電磁信号、光信号または上記の任意の適切な組み合わせを含むが、これらに限定されていない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、当該コンピュータ可読信号媒体は、指令実行システム、装置またはデバイスによって使用され、またはそれらと結合して使用されるプログラムを送信、伝搬または伝送する。コンピュータ可読媒体に含まれるプログラムコードは、任意の適切な媒体によって伝送され、当該媒体は、ワイヤー、光ケーブル、ＲＦ（無線周波数）など、または上記の任意の適切な組み合わせを含むが、これらに限定されない。

いくつかの実施形態では、クライアントやサーバーは、例えばＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ハイパーテキスト・トランスファー・プロトコル）などのような、現在既知のまたは将来開発される任意のネットワークプロトコルを利用して通信することができ、任意の形態または媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続されることができる。通信ネットワークの例は、ローカルネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、ワールドワイドウェブ（例えば、インターネット）、エンドツーエンドネットワーク（例えば、ａｄ ｈｏｃエンドツーエンドネットワーク）、及び現在既知または将来開発されるネットワークを含む。

上記のコンピュータ可読媒体は、上記の電子デバイスに含まれていてもよいし、電子装置に配置せずに、個別に存在してもよい。

上記のコンピュータ可読媒体には、１つ以上のプログラムが記憶されている。上記の１つ以上のプログラムが電子デバイスによって実行されるときに、当該電子デバイスに、
リアルタイムインタラクションインターフェースに基づいてユーザーがインタラクションを行う過程において、ユーザーのインタラクション行動データに基づいてインタラクション情報記録を生成するステップと、
前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別するステップと、
前記ターゲットインタラクション情報を、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示するステップであって、前記ターゲットインタラクション情報が、前記インタラクション情報記録における１つまたは複数のインタラクション情報要素であるステップとを実行させる。

本開示の操作を実行するためのコンピュータプログラムコードは、１種または多種のプログラミング言語またはそれらの組み合わせで作成されることができ、上記プログラミング言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋のようなオブジェクト指向プログラミング言語を含み、「Ｃ」言語または類似するプログラミング言語のような従来の手続き型プログラミング言語をさらに含むが、これらに限定されない。プログラムコードは完全にユーザーコンピュータで実行されてもよく、部分的にユーザーコンピュータで実行されてもよく、１つの独立するソフトウェアパッケージとして実行されてもよく、一部がユーザーコンピュータで、一部がリモートコンピュータで実行されてもよく、または完全にリモートコンピュータまたはサーバーで実行されてもよい。リモートコンピュータが関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザーのコンピュータに接続することができ、または、外部コンピュータに接続することができる（例えば、インタネットサービスプロバイダを利用してインターネットを介して接続する）。

図面におけるフローチャート及びブロック図は、本開示の様々な実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。これについて、フローチャートまたはブロック図における各ブロックは、１つのモジュール、プログラムセクション、またはコードの一部を代表し、当該モジュール、プログラムセクション、またはコードの一部は、所定の論理機能を実現するための１つまたは複数の実行可能な指令を含む。なお、いくつかの代替の実現において、ブロックに示されている機能は、図に示されている順序とは異なる順序で発生してもよい。例えば、連続的に示される２つのブロックは実際には、基本的に並行実行されてもよいし、ある場合、逆の順序で実行されてもよく、関連する機能に応じて決定される。また、ブロック図及び／またはフローチャートにおける各ブロック、並びにブロック図及び／またはフローチャートにおけるブロックの組み合わせは、所定の機能または操作を実行するための、ハードウェアによる専用システムで実現されてもよいし、または専用ハードウェアとコンピュータ指令との組み合わせで実現されてもよい。

本開示の実施例に記述されたユニットは、ソフトウェアの方式で実現されてもよいし、ハードウェアの方式で実現されてもよい。モジュールまたはユニットの名称は、特定の状況下では当該ユニット自体への制限を構成するものではない。例えば、送信されるべきユーザー決定モジュールは、「ユーザー決定モジュール」として記述されることもできる。

本明細書において、上記の機能は少なくとも部分的に１つまたは複数のハードウェアロジック部材によって実行される。例えば、利用できるハードウェアロジック部材の例示的なタイプは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などを含むが、これらに限定されない。

本開示の明細書において、機械可読媒体は、指令実行システム、装置またはデバイスによって、またはそれらと組み合わせて使用されてもよいプログラムを含むか、または記憶する有形媒体であってもよい。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁、赤外線、または半導体システム、装置またはデバイス、または上記の内容の任意の適切な組み合わせを含むが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１つまたは複数のワイヤーによる電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクト磁気ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、または上記内容の任意の適切な組み合わせを含む。

本開示の１つ以上の実施例によれば、［例示１］において、インタラクション情報処理方法を提供し、当該方法は、
リアルタイムインタラクションインターフェースに基づいてユーザーがインタラクションを行う過程において、ユーザーのインタラクション行動データに基づいてインタラクション情報記録を生成するステップと、
前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別するステップと、
前記ターゲットインタラクション情報を、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示するステップであって、前記ターゲットインタラクション情報が、前記インタラクション情報記録における１つまたは複数のインタラクション情報要素であるステップと、を含む。

本開示の１つ以上の実施例によれば、［例示２］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、前記ユーザーの操作行動データには、共有行動及び共有コンテンツが含まれ、前記共有行動は、共有コンテンツを各ユーザーに提示する操作行動タイプであり、前記共有コンテンツには、共有文書、共有画面及び／またはウェブリンクが含まれる。

本開示の１つ以上の実施例によれば、［例示３］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、前記インタラクション行動データにはユーザーの音声データが含まれ、前記インタラクション情報記録のコンテンツには前記ユーザーの音声データによって識別されたテキストデータが含まれる、
または、
前記インタラクション行動データにはユーザーの操作行動データが含まれ、前記インタラクション情報記録のコンテンツには前記ユーザーの操作行動データによって識別されたテキストデータが含まれる、
または、
前記インタラクション行動データにはユーザーの音声データ及びユーザーの操作行動データが含まれ、前記インタラクション情報記録のコンテンツには前記ユーザーの音声データによって識別されたテキストデータ及び前記ユーザーの操作行動データによって識別されたテキストデータが含まれる。

本開示の１つ以上の実施例によれば、［例示４］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、前記ターゲット選別条件は、コンテンツキーワード、音声データの発話ユーザー、発話ユーザーの活躍度レベル、操作行動タイプ及び操作行動コンテンツオブジェクトの少なくとも１つを含む。

本開示の１つ以上の実施例によれば、［例示５］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、前記ターゲット選別条件は、
前記リアルタイムインタラクションインターフェースの選別コントロールまたは検索コントロールを介して、ユーザーが入力したターゲット選別条件を取得することによって決定され、
前記選別コントロールは、選別リスト、条件入力ボックス、及びタブラベルのうちの少なくとも１つを含む。

本開示の１つ以上の実施例によれば、［例示６］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別するステップに先立って、
設定されたトリガー条件を検出した場合、ターゲット選別条件を決定するステップをさらに含む。

本開示の１つ以上の実施例によれば、［例示７］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、前記トリガー条件は、インタラクション過程中の予め設定された時点に達したこと、ユーザーの音声データに指示性音声データが含まれていることを検出したこと、及び発話ユーザーが使用する言語タイプに差異があることのうちの少なくとも１つを含む。

本開示の１つ以上の実施例によれば、［例示８］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、設定されたトリガー条件を検出した場合、ターゲット選別条件を決定する前記ステップは、
ユーザーによるリアルタイムインタラクション中に、収集されたインタラクション行動データに基づいて、設定されたトリガー条件を検出した場合、ターゲット選別条件を決定するステップを含む。

本開示の１つ以上の実施例によれば、［例示９］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、ユーザーによるリアルタイムインタラクション中に、収集されたインタラクション行動データに基づいて、設定されたトリガー条件を検出した場合、ターゲット選別条件を決定する前記ステップは、
収集されたインタラクション行動データに基づいて各ユーザーの現在の活躍度値を決定し、前記現在の活躍度値に基づいてターゲット選別条件を決定するステップと、
収集されたインタラクション行動データに基づいて各ユーザーの言語タイプを決定し、前記言語タイプに基づいてターゲット選別条件を決定するステップと、
収集されたインタラクション行動データに基づいてインタラクション行動データの実質的な意味を決定し、前記インタラクション行動データの実質的な意味の有効性に基づいてターゲット選別条件を決定するステップと
のうちの少なくとも１つを含む。

本開示の１つ以上の実施例によれば、［例示１０］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、前記現在の活躍度値に基づいてターゲット選別条件を決定する前記ステップは、
現在の活躍度値が予め設定された活躍度値よりも高くなるユーザーをターゲット選別条件とするステップを含む。

本開示の１つ以上の実施例によれば、［例示１１］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、収集されたインタラクション行動データに基づいて各ユーザーの言語タイプを決定し、前記言語タイプに基づいてターゲット選別条件を決定する前記ステップは、
前記インタラクション行動データにおける音声データに基づいて、各ユーザーに対応する現在の言語タイプを決定し、現在の言語タイプとは異なる他の言語タイプをターゲット選別条件とするステップ、または、
各クライアントに予め設定されたターゲット言語タイプを収集し、前記ターゲット言語タイプとは異なる他の言語タイプをターゲット選別条件とするステップを含む。

本開示の１つ以上の実施例によれば、［例示１２］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、収集されたインタラクション行動データに基づいて各ユーザーの言語タイプを決定する前記ステップに先立って、
各ユーザーの音声データに対して声紋認識を行って、前記音声データが属する発話ユーザーを決定するステップをさらに含む。

本開示の１つ以上の実施例によれば、［例示１３］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、前記ターゲットインタラクション情報を、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示する前記ステップは、
前記ターゲットインタラクション情報を対応する表示形態で、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示するステップであって、前記表示形態が、前記ターゲット選別条件における選別タイプに対応するステップを含む。

本開示の１つ以上の実施例によれば、［例示１４］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、前記ターゲット選別条件における選別タイプは、検索コントロールに入力された選別条件を含み、前記ターゲットインタラクション情報を対応する表示形態で、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示する前記ステップは、
前記ターゲットインタラクション情報を、他のインタラクション情報記録のコンテンツと区別できる表示形態で、前記インタラクション情報記録のコンテンツとともに、リアルタイムインタラクションインターフェースのターゲットエリア内に表示するステップを含む。

本開示の１つ以上の実施例によれば、［例示１５］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、前記ターゲット選別条件における選別タイプは、検索コントロールに入力された選別条件を含み、前記ターゲットインタラクション情報を対応する表示形態で、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示する前記ステップは、
前記ターゲットインタラクション情報と他のインタラクション情報記録のコンテンツとをそれぞれ、前記リアルタイムインタラクションインターフェースの異なるターゲットエリア内に表示するステップを含む。

本開示の１つ以上の実施例によれば、［例示１６］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、前記表示形態は、
前記インタラクション情報記録のコンテンツにおいて前記ターゲットインタラクション情報をハイライト表示することと、
他のインタラクション情報記録のコンテンツの全部または一部を半透明状態となる遮光フードで覆うことと、
前記ターゲットインタラクション情報を所定のフォントで表示することと
のうちの少なくとも１種を含む。

本開示の１つ以上の実施例によれば、［例示１７］において、以下のことをさらに含むインタラクション情報処理方法を提供し、即ち、
オプションとして、前記リアルタイムインタラクションインターフェースは、ビデオ会議用インタラクションインターフェース、ビデオライブストリーミングインタラクションインターフェース、またはグループチャットインタラクションインターフェースである。

本開示の１つ以上の実施例によれば、［例示１８］において、インタラクション情報処理装置を提供し、当該装置は、
リアルタイムインタラクションインターフェースに基づいてユーザーがインタラクションを行う過程において、ユーザーのインタラクション行動データに基づいてインタラクション情報記録を生成するインタラクション情報記録モジュールと、
前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別するインタラクション情報選別モジュールと、
前記ターゲットインタラクション情報を、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリアに表示するインタラクション情報区別表示モジュールであって、前記ターゲットインタラクション情報が、前記インタラクション情報記録における１つまたは複数のインタラクション情報要素であるインタラクション情報区別表示モジュールと、を含む。

本開示の１つ以上の実施例によれば、コンピュータプロセッサによって実行されるときに、本開示のいずれかの実施例に記載のインタラクション情報処理方法を実行するためのコンピュータ実行可能な命令を含む記憶媒体を提供する。

以上の記載は、本開示の好適な実施例及び適用される技術原理に対する説明にすぎない。当業者であれば理解できるように、本開示に係る開示範囲は、上記の技術特徴の特定の組み合わせによって形成される技術案に限定されず、また、上記の開示された構想から逸脱することなく、上記の技術特徴またはそれと同等の特徴の任意の組み合わせによって形成される他の技術案、例えば、上記の特徴と、本開示に開示された（ただしこれに限定されていない）類似機能を有する技術特徴とを互いに置き換えることによって形成された技術案も含む。

また、特定の順序を採用して各操作を記載したが、示される特定の順番、または順序に従ってこれらの操作を順に実行することを要求するものとして解釈されるべきではない。特定の環境で、マルチタスク及び並行処理は有利である可能性がある。同様に、以上の論述には、いくつかの具体的な実現の詳細が含まれるが、本開示の範囲に対する限定として解釈されるべきではない。単一の実施例の文脈で説明されるいくつかの特徴は、組み合わせて、単一の実施例で実現されてもよい。逆に、単一の実施例の文脈で説明される様々な特徴は、別々に、または任意の適切なサブコンビネーションの形態で、複数の実施例で実現されてもよい。

構成特徴及び／または方法の論理動作に固有の言語で、本主題を説明したが、添付の特許請求の範囲で限定される主題は、上記の特定の特徴または動作に限定されないことを理解すべきである。むしろ、上述した特定の特徴及び動作は、特許請求の範囲を実現するための単なる例示的な形態である。

Claims (18)

1. リアルタイムインタラクションインターフェースに基づいてユーザーがインタラクションを行う過程において、ユーザーのインタラクション行動データに基づいてインタラクション情報記録を生成するステップと、
   前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別するステップと、
   前記ターゲットインタラクション情報を、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示するステップであって、前記ターゲットインタラクション情報が、前記インタラクション情報記録における１つまたは複数のインタラクション情報要素であるステップと、を含み、
   前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別する前記ステップに先立って、設定されたトリガー条件を検出した場合、ターゲット選別条件を決定するステップをさらに含み、
   前記トリガー条件は、インタラクション過程中の予め設定された時点に達したこと、ユーザーの音声データに指示性音声データが含まれていることを検出したこと、及び発話ユーザーと現在のクライアントとの言語タイプに差異があることのうちの少なくとも１つを含む、ことを特徴とするインタラクション情報処理方法。
2. 前記インタラクション行動データは、ユーザーの音声データを含み、前記インタラクション情報記録のコンテンツは、前記ユーザーの音声データによって識別されたテキストデータを含む、
   または、
   前記インタラクション行動データはユーザーの操作行動データを含み、前記インタラクション情報記録のコンテンツは、前記ユーザーの操作行動データによって識別されたテキストデータを含む、
   または、
   前記インタラクション行動データは、ユーザーの音声データ及びユーザーの操作行動データを含み、前記インタラクション情報記録のコンテンツは、前記ユーザーの音声データによって識別されたテキストデータ及び前記ユーザーの操作行動データによって識別されたテキストデータを含む、ことを特徴とする請求項１に記載の方法。
3. 前記ユーザーの操作行動データには、共有行動及び共有コンテンツが含まれ、前記共有行動は、共有コンテンツを各ユーザーに提示する操作行動タイプであり、前記共有コンテンツには、共有文書、共有画面及び／またはウェブリンクが含まれる、ことを特徴とする請求項２に記載の方法。
4. 前記ターゲット選別条件は、コンテンツキーワード、音声データの発話ユーザー、発話ユーザーの活躍度レベル、操作行動タイプ及び操作行動コンテンツオブジェクトのうちの少なくとも１つを含む、ことを特徴とする請求項２に記載の方法。
5. 前記ターゲット選別条件は、
   前記リアルタイムインタラクションインターフェースの選別コントロールまたは検索コントロールを介して、ユーザーが入力したターゲット選別条件を取得する方式によって決定され、
   前記選別コントロールは、選別リスト、条件入力ボックス、及びタブラベルのうちの少なくとも１つを含む、ことを特徴とする請求項１から４のいずれか１項に記載の方法。
6. 設定されたトリガー条件を検出した場合、ターゲット選別条件を決定する前記ステップは、
   ユーザーによるリアルタイムインタラクション中に、収集されたインタラクション行動データに基づいて、設定されたトリガー条件を検出した場合、ターゲット選別条件を決定するステップを含む、ことを特徴とする請求項１に記載の方法。
7. ユーザーによるリアルタイムインタラクション中に、収集されたインタラクション行動データに基づいて、設定されたトリガー条件を検出した場合、ターゲット選別条件を決定する前記ステップは、
   収集されたインタラクション行動データに基づいて各ユーザーの現在の活躍度値を決定し、前記現在の活躍度値に基づいてターゲット選別条件を決定するステップと、
   収集されたインタラクション行動データに基づいて各ユーザーの言語タイプを決定し、前記言語タイプに基づいてターゲット選別条件を決定するステップと、
   収集されたインタラクション行動データに基づいてインタラクション行動データの実質的な意味を決定し、前記インタラクション行動データの実質的な意味の有効性に基づいてターゲット選別条件を決定するステップと
   のうちの少なくとも１つを含む、ことを特徴とする請求項６に記載の方法。
8. 前記現在の活躍度値に基づいてターゲット選別条件を決定する前記ステップは、
   現在の活躍度値が予め設定された活躍度値よりも高くなるユーザーをターゲット選別条件とするステップを含む、ことを特徴とする請求項７に記載の方法。
9. 収集されたインタラクション行動データに基づいて各ユーザーの言語タイプを決定し、前記言語タイプに基づいてターゲット選別条件を決定する前記ステップは、
   前記インタラクション行動データにおける音声データに基づいて、各ユーザーに対応する現在の言語タイプを決定し、現在の言語タイプとは異なる他の言語タイプをターゲット選別条件とするステップ、または、
   各クライアントに予め設定されたターゲット言語タイプを取得し、前記ターゲット言語タイプとは異なる他の言語タイプをターゲット選別条件とするステップを含む、ことを特徴とする請求項７に記載の方法。
10. 収集されたインタラクション行動データに基づいて各ユーザーの言語タイプを決定する前記ステップに先立って、
    各ユーザーの音声データに対して声紋認識を行い、前記音声データが属する発話ユーザーを決定するステップをさらに含む、ことを特徴とする請求項７に記載の方法。
11. 前記ターゲットインタラクション情報を、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示する前記ステップは、
    前記ターゲットインタラクション情報を、対応する表示形態で、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示するステップを含み、前記表示形態は、前記ターゲット選別条件における選別タイプに対応する、ことを特徴とする請求項１から４のいずれか１つに記載の方法。
12. 前記ターゲット選別条件における選別タイプは、検索コントロールに入力された選別条件を含み、前記ターゲットインタラクション情報を対応する表示形態で、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示する前記ステップは、
    前記ターゲットインタラクション情報を、他のインタラクション情報記録のコンテンツと区別できる表示形態で、前記インタラクション情報記録のコンテンツとともに、リアルタイムインタラクションインターフェースのターゲットエリア内に表示するステップを含む、ことを特徴とする請求項１１に記載の方法。
13. 前記ターゲット選別条件における選別タイプは、検索コントロールに入力された選別条件を含み、前記ターゲットインタラクション情報を対応する表示形態で、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示する前記ステップは、
    前記ターゲットインタラクション情報と他のインタラクション情報記録のコンテンツをそれぞれ、前記リアルタイムインタラクションインターフェースの異なるターゲットエリア内に表示するステップを含む、ことを特徴とする請求項１１に記載の方法。
14. 前記表示形態は、
    前記インタラクション情報記録のコンテンツにおいて前記ターゲットインタラクション情報をハイライト表示することと、
    他のインタラクション情報記録のコンテンツの全部または一部を半透明状態となる遮光フードで覆うことと、
    前記ターゲットインタラクション情報を所定のフォントで表示することと
    のうちの少なくとも１種を含む、ことを特徴とする請求項１１に記載の方法。
15. 前記リアルタイムインタラクションインターフェースは、ビデオ会議用インタラクションインターフェース、ビデオライブストリーミングインタラクションインターフェース、またはグループチャットインタラクションインターフェースである、ことを特徴とする請求項１から４のいずれか１項に記載の方法。
16. リアルタイムインタラクションインターフェースに基づいてユーザーがインタラクションを行う過程において、ユーザーのインタラクション行動データに基づいてインタラクション情報記録を生成するためのインタラクション情報記録モジュールと、
    前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別するためのインタラクション情報選別モジュールと、
    前記ターゲットインタラクション情報を、前記インタラクション情報記録における他のインタラクション情報要素と区別してリアルタイムインタラクションインターフェースのターゲットエリア内に表示するためのインタラクション情報区別表示モジュールであって、前記ターゲットインタラクション情報が、前記インタラクション情報記録における１つまたは複数のインタラクション情報要素であるインタラクション情報区別表示モジュールと、
    前記インタラクション情報記録から、ターゲット選別条件を満たすターゲットインタラクション情報を選別することに先立って、設定されたトリガー条件を検出した場合、ターゲット選別条件を決定するための条件トリガーモジュールであって、前記トリガー条件は、インタラクション過程中の予め設定された時点に達したこと、ユーザーの音声データに指示性音声データが含まれていることを検出したこと、及び発話ユーザーと現在のクライアントとの言語タイプに差異があることのうちの少なくとも１つを含む、前記条件トリガーモジュールと、を含むことを特徴とするインタラクション情報処理装置。
17. １つ以上のプロセッサと、
    １つ以上のプログラムを記憶するための記憶装置とを含み、
    前記１つ以上のプログラムが前記１つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサに請求項１から１５のいずれか１項に記載のインタラクション情報処理方法を実現させる、ことを特徴とする電子デバイス。
18. コンピュータプロセッサによって実行されるときに、請求項１から１５のいずれか１項に記載のインタラクション情報処理方法を実行するためのコンピュータ実行可能な命令を含む記憶媒体。

Images