JP2022536453A - リアルタイム通信セッションの機能の動的変更 - Google Patents

リアルタイム通信セッションの機能の動的変更 Download PDF

Info

Publication number
JP2022536453A
JP2022536453A JP2021567947A JP2021567947A JP2022536453A JP 2022536453 A JP2022536453 A JP 2022536453A JP 2021567947 A JP2021567947 A JP 2021567947A JP 2021567947 A JP2021567947 A JP 2021567947A JP 2022536453 A JP2022536453 A JP 2022536453A
Authority
JP
Japan
Prior art keywords
algorithm
face
real
communication session
time communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021567947A
Other languages
English (en)
Inventor
カリン クラブンデ
ゾラン スタンコヴィッチ
アリアン ミシェル ドライスマ
マルセル ヨハネス クイスト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP19208079.4A external-priority patent/EP3820104A1/en
Priority claimed from NL2025686A external-priority patent/NL2025686B1/en
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2022536453A publication Critical patent/JP2022536453A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1093—In-session procedures by adding participants; by removing participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1096—Supplementary features, e.g. call forwarding or call holding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4046—Arrangements for multi-party communication, e.g. for conferences with distributed floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4053—Arrangements for multi-party communication, e.g. for conferences without floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

ここでは、リアルタイム通信セッション100への参加者間の1つ以上のデータストリームを含むRTCセッションの機能を動的に変更するためのアプローチを示した。したがって、本発明の実施形態は、RTCシステムは、RTCセッションを実施している間にRTCシステムの機能を修正、拡張および/または改善することを可能にすることを目的とする。例示的な実施形態は、アルゴリズムのセット（A1、A2、A3）のうちの第1のアルゴリズムA1の要求を識別することと、1つまたは複数のデータストリームからの少なくとも1つのデータストリームを使用する仮想参加者として、第1のアルゴリズムA1をリアルタイム通信セッション100に追加することによって、リアルタイム通信セッションの機能を動的に修正することとを含む。

Description

本発明はリアルタイム通信（RTC）の分野に関し、より詳細には、RTCセッションの機能に関する。
米国特許出願公開第2015/002619号は、スケーラブルなウェブリアルタイム通信（WebRTC）メディアエンジン、ならびに関連する方法、システムおよびコンピュータ可読媒体を開示する。
WO 2019/070822は、ヘルスケアシステムにおけるチャットを介した協力を開示している。
リアルタイム通信（RTC）は、無視できる待ち時間に関連して、送信側から受信側への任意のタイプの遠隔通信サービスを介した情報のほぼ同時の交換である。RTCの例は、典型的には、リアルタイムデータストリーム（例えば、ビデオ、音声及び/又はデータストリーム）を採用し、固定電話及び携帯電話を通した音声、VoIP、ビデオ及び電話会議、チャット、ロボット遠隔プレゼンスを含むしたがって、RTCは、ユーザが記録されたコンテンツを読む、電子メール、掲示板、メッセージングアプリケーション、ブログ、または他の形態のインターネット通信（これらはデータ送受信間に著しい遅延を生じ得る）を含まない。RTCは、典型的には、送信機と受信機との間のどこにも暫定状態で記憶されない。そのコンテキスト内で、「リアルタイム通信」は、「ライブ通信」の同義語と考えることができる。
RTCセッションを容易にするための多数の製品、システムおよびアプリケーションが知られている。これらによって提供される機能は幅広く変化し得る。しかしながら、各製品/システム/アプリケーションについて、提供される機能はその構成の一部として静的であり（すなわち、変更することができず）、定義される（例えば、ハードコードされる）。たとえば、使用可能な機能は、RTCセッションの開始時から使用可能であり、RTCセッションの終了時まで使用可能（使用されるか又は使用されない）のままである。
とりわけ、本発明の目的は、リアルタイム通信セッションの機能性を動的に変更するための改善されたシステムおよび方法を提供することである。本発明は、独立請求項によって定義される。従属請求項は、有利な実施形態を規定する。
一般に、一態様では、本発明は、リアルタイム通信セッションを確立することと、アルゴリズムのセットのうちの第1のアルゴリズムの要求を識別することと、アルゴリズムのセットの各アルゴリズムがリアルタイム通信セッション中に実行されたときに関連付けられた機能を提供するように構成されることと、第1のアルゴリズムを仮想参加者としてリアルタイム通信セッションに追加することとを含む、リアルタイム通信セッションの機能の動的修正のための方法に焦点を当てる。
提案される実施形態は、RTCセッションの機能を修正するためのコンセプトを提供する。例えば、実施形態は、新しいまたは追加のアルゴリズムを（実行中の)RTCセッションに統合するために使用されてもよい。そのようなアルゴリズムは,例えば、RTCの過程で有用な追加となり得る、オーディオ/ビデオ/テキスト/データ関連データストリームを分析するための新しく開発されたアルゴリズムを含み得る。したがって、実施形態は、既存のRTC実装に改善または拡張された機能を提供するのに役立つ。
特に、本明細書で開示される1つのアプローチでは、アルゴリズムがRTCセッションの新しい（仮想）参加者としてRTCセッションに追加される。（仮想）参加者として追加されることによって、そのようなアルゴリズムはRTCセッションのすべてのデータストリームに公開されることができる。RTCセッションへの参加者として、アルゴリズムは、次いで、1つ以上のリアルタイムデータストリームを採用するように構成されてもよい。
例として、提案された実施形態は、より大きなセットのアルゴリズムの動的選択を可能にすることができ、選択されたアルゴリズムは、次いで、RTCセッションの1つまたは複数のデータストリームに適用されることができる。RTCセッションを確立する前にシステム/アプリケーションに含まれるべきアルゴリズム/機能を必要とする従来のRTCアプローチとは異なり、提案されるコンセプトは、RTCセッション中のRTCセッションのアルゴリズム/機能の修正（例えば、追加、除去、変更）を容易にする。したがって、RTCセッション（例えば、電話会議）中の既存のおよび/または新たなアルゴリズムの単純な統合および動的な使用が、提案される実施形態によって達成され得る。
通常、従来のRTCセッション中に利用可能な機能は、システム構成によって決定され、したがって固定される。したがって、そのような従来のRTCセッションは、必要に応じてRTCセッション中に新しい機能（例えば、オーディオ/ビデオ/データを処理するための新しいまたは改善されたアルゴリズム）を追加することができない。一方、提案される実施形態は、RTCセッションの参加者間で交換されるデータストリーム（例えば、オーディオ/ビデオ/データストリーム）のいずれかまたはすべてを処理する新しいまたは異なるアルゴリズムを用いてRTCセッションを容易に拡張する能力を提供することができる。提案されるコンセプトはまた、どの参加者からのどのデータストリームがどのアルゴリズムによって処理され得るかの定義および/または制御を可能にし得る。さらに、提案されるコンセプトは、どの参加者が新しいまたは異なるアルゴリズムからの結果/出力を提供されるかの定義および/または制御を可能にすることができる。
例として、提案される実施形態は、独立して開発されたアルゴリズムのRTCセッションへの組み込みを容易にするラッパー（例えば、公開アプリケーションプログラミングインタフェース、APIを使用することができる）を実装することができる。このようにして、新しく開発された、および/または新しく利用可能なアルゴリズムを、APIを介してRTCセッションに統合することができる。さらに、実施形態は、そのようなアルゴリズムのセットをホストするためのコンポーネント（例えば、コンテナ）と、これらのアルゴリズムから選択するためのコンポーネント（例えば、REST－APIまたはメッセージングサービス）と、これらのアルゴリズムをRTCセッションに組み込むためのコンポーネント（例えば、ヘッドレスクライアント）とを提供することもできる。
実施形態は、独立したアルゴリズムの構成および展開を可能にするラッパーを使用するというアイデアを活用することができる。また、実施形態は、実行時に（すなわち、RTCセッションの前ではなく、RTCセッション中に）RTCセッションにアルゴリズムを追加/RTCセッションからアルゴリズムを除去する能力を容易にすることによって、高度の柔軟性を提供する。それゆえ、提案されるコンセプトは、確立されたRTCセッションの間、データストリームへのアルゴリズムの動的な適用を提供することができる。
さらなる例として、提案される実施形態によって提供される機能変更の動的な性質は、以下を介して促進される:
(i)データストリームのコンテキスト（ワークフロー・タイプ）によって定義される特定の期間にアルゴリズムをトリガする。この場合、トリガは、管理者（医師）によって提供される手動トリガ、自動トリガ（例えば、プロセスステップに応じて時間スケジュールされる）、および/または、コンテキストセンシティブトリガ（例えば、別のアルゴリズムによって行われた以前の測定に関する結果に応じて）とすることができる
(ii)（データストリームの一部となった）特定のデータタイプで動作するように構成されたアルゴリズムをトリガする。これにより、RTCセッションで使用可能なストリームのうち、会議に追加されるアルゴリズムで処理するストリームを指定できる。例えば、参加者としてRTCセッションにアルゴリズムが追加される場合、どの参加者のどの利用可能なストリームが処理されるべきかを選択することができ、例えば、アルゴリズム1は参加者2からのオーディオを処理するように構成されることができ、アルゴリズム2は、参加者3からのオーディオおよびビデオを処理するように構成されることができる。
実施形態は、動的な態様でRTCセッション機能の修正を可能にすることによってRTCの価値を増加させることができ、これは、例えば、特定の（例えば、選択された、または現在の）臨床コンテキストを考慮することができる。したがって、実施形態は、提供される修正されたおよび/または拡張された機能にコンテキスト情報を使用することによって、RTCセッションの臨床的価値を増大させることができる。
ある実施形態では、第1のアルゴリズムを仮想参加者としてリアルタイム通信セッションに追加するプロセスは、コンテナを介して第1のアルゴリズムを呼び出すことと、コンテナによって、第1のアルゴリズムをリアルタイム通信セッションの仮想参加者として構成することとを含むことができる。この構成はリアルタイムで実施することができ、したがって、RTCセッションの機能性の動的かつリアルタイムの調整を可能にする。これは、第1のアルゴリズムが何に（どのストリームにまたはどの参加者に）適用されるか、およびアルゴリズムの結果がどこに（どのストリームおよびどの参加者に）伝達されるべきかの定義および制御を可能にし得る。したがって、コンテナは、コマンドを処理し、参加者としてのアルゴリズムの追加を制御するように構成されることができる。コンテナは、例えば、リアルタイムシステムに接続されてもよく、マルチパーティRTCセッション中にアルゴリズムを動的に追加/削除するためのコマンドを受信してもよい。したがって、コンテナはトランスポート層として機能することができる（参加者のストリームをアルゴリズムに、およびその逆に、トランスポートする）。
一実施形態では、第1のアルゴリズムに対する要求は、第1のアルゴリズムの要件の指標を含むことができる。次いで、仮想参加者としてリアルタイム通信セッションに第1のアルゴリズムを追加することは、第1のアルゴリズムの要件の指標に基づいて、第1のアルゴリズムの入力と出力とのうちの少なくとも1つを構成することを含むことができる。これにより、RTCセッションで使用可能なストリームのうち、第1のアルゴリズムで処理されるべきストリームを指定する方法が提供されることができる。例として、ラッパーは、独立して開発されたアルゴリズム（複数可）に関連付けられて、それらをRTCセッションと共に使用することを可能にすることができる。
データ互換性は、提案された実施形態によって保証されることができる。
例えば、一実施形態では、アルゴリズムのセットのうちの各アルゴリズムは、アルゴリズムの入力、出力および要件のうちの少なくとも1つを定義するそれぞれのラッパーに関連付けられ得る。第1のアルゴリズムを仮想参加者としてリアルタイム通信セッションに追加することは、第1のアルゴリズムに関連付けられたラッパーに基づいて第1のアルゴリズムの入力、出力のうちの少なくとも1つを構成することを含む
要求を識別することは、リアルタイム通信セッションの参加者によって提供されるユーザ入力信号（例えば、チャット機能における入力）、リアルタイム通信セッションのデータストリームのコンテキスト、所定のトリガイベントの発生、および所定でないトリガ（例えば、アプリケーションUI上のボタン押下）のうちの少なくとも1つに基づいて、第1のアルゴリズムに対する要求を決定することを含み得る。
実施形態は、リアルタイム通信セッションの仮想参加者としての第1のアルゴリズムを除去するステップをさらに含むことができる。
いくつかの実施形態では、第1のアルゴリズムは、リアルタイム通信セッション中に実行されると、アルゴリズムのセットのうちの第2のアルゴリズムに対する要求を生成するように構成され得る。このようにして、RTCセッションに追加された第1のアルゴリズムを使用して、RTCセッションへの更なる第2のアルゴリズムの追加をトリガすることができる。
RTCセッションの参加者は、医療専門家を含むことができる。リアルタイム通信セッションは、臨床決定サポートのための臨床情報の交換のために構成されてもよい。
さらなる例として、アルゴリズムのセットのうちの少なくとも1つのアルゴリズムは、実行されたときに、電子医療記録データベースへの/からのデータを格納および/または読み出すように構成され得る。
また、RTCセッションの機能を修正するためのコンセプト（複数可）を活用して、参加者が同じ位置にいる対面でのインタラクションを補完することができることも提案される。このようにして、例えば2人の参加者間の生のインタラクションに追加の機能を追加することができる。
例えば、2人の参加者が同じ場所（例えば、部屋内、会議場所、同じ地理的場所など）でインタラクションに参加している場合、参加者は互いに物理的に存在し、各参加者は仲介技術なしに他の参加者とコミュニケーションすることができるので、インタラクションは対面（または直接の）インタラクションであると考えることができる。そのような対面インタラクションは、対面インタラクションに伴うRTCセッション（例えば、仮想RTCセッション）を作成することによって補足されてもよく、RTCセッションは次いで、提案されるコンセプトを使用して、新しいまたは追加のアルゴリズムをRTCセッションに統合してもよく、これらの新しいまたは追加のアルゴリズムは対面インタラクションのための機能を改善または拡張するために使用されてもよいことが理解される。
例として、対面インタラクションは、（第1の参加者として）医療専門家および（第2の参加者として）被験者を含み、医療診察室内で行われてもよい。提案された実施形態によるシステムは、対面インタラクションを伴うRTCセッションを実施するように医療診察室において提供されてもよく、関連する機能を伴うアルゴリズムの要求を識別することに応じて、第1のアルゴリズムが仮想参加者としてRTCセッションに追加されてもよく、それによって、その関連する機能を提供する。例えば、システムは、医療専門家から及び/又は医療専門家へのオーディオ/ビデオ/テキスト/データを処理するための医療専門家に関連付けられた第1のデバイスと、患者から及び/又は患者へのオーディオ/ビデオ/テキスト/データを処理するための患者に関連付けられた第2のデバイスとを含むことができる。第1と第2のデバイスはRTCセッションに接続でき（すなわちRTCセッションの参加者になることができ）、アルゴリズムの要求を提供するために使用される。このようにして、医療専門家は第1のデバイスを介して（例えば、発話によって、ジェスチャを介して、入力/選択を介してなど）機能の提供を要求することができ、被験者は第2のデバイスを介して（例えば、センサ、マイクロフォン、入力デバイスなどを介して）機能による処理のためのデータを提供することができる。例えば、自動化された検査を行うこと、および/または診断支援を提供することによって、対面医療診察を支援する機能性が、提案された実施形態によって提供されることができる。
実施形態は、対面インタラクション（例えば、ミーティングまたは医師－被験者間のコンサルテーション）を伴うRTCセッションに新しいまたは追加のアルゴリズムを統合するために使用されてもよい。このようなアルゴリズムは、例えば、対面インタラクション/ミーティングへの有用な追加となり得るオーディオ/ビデオ/テキスト/データを分析するための新しく開発されたアルゴリズムを含むことができる。したがって、実施形態は、付随するRTC実装を介して対面インタラクション/ミーティングに改善されたまたは拡張された機能を提供するのに役立つことができる。
一例として、提案された実施形態は、アルゴリズムの動的選択を可能にすることができ、次いで、選択されたアルゴリズムは、対面ミーティングの参加者によって提供される1つまたは複数のデータストリームに適用されることができる。そのような提案された実施形態は、対面ミーティングの参加者が利用可能なアルゴリズム/機能の修正（例えば、追加、除去、変更）を容易にすることができる。したがって、対面インタラクション中の既存のおよび/または新たなアルゴリズムの単純な統合および動的な使用が、提案された実施形態によって達成され得る。
提案される実施形態は、対面インタラクションの参加者間で交換されるデータストリーム（例えば、オーディオ/ビデオ/データストリーム）のいずれか又は全てを処理する新しい又は異なるアルゴリズムとの対面インタラクションを容易に拡張する能力を提供することができる。提案されるコンセプトはまた、どの参加者からのどのデータストリームがどのアルゴリズムによって処理され得るか定義および/または制御を可能にし得る。さらに、提案されるコンセプトは、どの参加者が新しいまたは異なるアルゴリズムからの結果/出力を提供されるかの定義および/または制御を可能にすることができる。
実施形態は、RTCセッションを実装して対面インタラクションに伴わせ、次いで、提案された実施形態を使用して、実行時にアルゴリズムをRTCセッションに追加/RTCセッションから除去するというアイデアを活用することができる。したがって、提案されるコンセプトは、付随するRTCセッションを介した対面インタラクション中のデータストリームへのアルゴリズムの動的な適用を提供する可能性がある。
さらなる例として、提案される実施形態によって提供される機能変更の動的な性質は、アルゴリズムをトリガすることによって容易にされ得る。トリガは、管理者（例えば、医師）によって提供される手動トリガ、自動トリガ（例えば、処理ステップ、検出された命令、感知された値などに依存する）、および/またはコンテキストセンシティブトリガ（例えば、別のアルゴリズムによって行われた以前の測定に依存する）であってもよい。
実施形態は、動的な態様で付随するRTCセッションの機能の修正を可能にすることによって、対面インタラクションの価値を増加させることができ、これは例えば、特定の（例えば、選択された、または現在の）コンテキストを考慮することができる。対面インタラクションが臨床コンテキスト（例えば、医師－被験者間のコンサルテーション）を有する場合、実施形態は、対面インタラクションを伴うためにRTCセッションを確立し、次いで、RTCセッションを介して修正されたおよび/または拡張された機能を提供するためにコンテキスト情報を使用することによって、インタラクションの臨床的価値を増大させることができる。
したがって、提案される実施形態によるリアルタイム通信セッションの機能を修正することを含む、第1の参加者と第2の参加者との間の対面インタラクションの機能の動的な修正のための方法を提供することができ、リアルタイム通信セッションは、対面インタラクションの参加者に少なくとも1つの機能を提供するために確立される。例えば、そのような提案された方法は、対面インタラクションの参加者に少なくとも1つの機能を提供するためのリアルタイム通信セッションを確立することと、アルゴリズムのセットのうちの第1のアルゴリズムの要求を識別することと、アルゴリズムのセットの各アルゴリズムはリアルタイム通信セッション中に実行されたときに関連する機能を提供するように構成されていることと、仮想参加者としてリアルタイム通信セッションに第1のアルゴリズムを追加することとを含むことができる。
別の態様によれば、リアルタイム通信セッションの機能性を動的に変更するためのコンピュータプログラム製品が提供され、このコンピュータプログラム製品は、提案された実施形態のすべてのステップを実行するように構成されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体を含む。
第1の参加者と第2の参加者との間の対面インタラクションの機能を動的に変更するためのコンピュータプログラム製品も提供され、このコンピュータプログラム製品は、提案された実施形態のすべてのステップを実行するように構成されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体を含む。
したがって、提案された実施形態によるコンピュータプログラム製品と、前記コンピュータプログラム製品のコンピュータ可読プログラムコードの実行によって提案されるコンセプトによる方法を実行するように適合された1つまたは複数のプロセッサとを備えるコンピュータシステムも提供される。
本発明のさらに別の態様によれば、リアルタイム通信セッションの機能の動的な修正のためのシステムが提供され、このシステムは、リアルタイム通信セッションを確立するように構成された通信コンポーネントと、リアルタイム通信セッション中に実行されたときに関連する機能を提供するように構成されたアルゴリズムのセットのうちの第1のアルゴリズムの要求を識別するように構成された処理コンポーネントと、仮想参加者としてリアルタイム通信セッションに第1のアルゴリズムを追加するように構成された修正コンポーネントとを有する。
システムは、RTCセッションに参加するためのユーザ装置から遠隔的に配置されてもよい。このようにして、ユーザ（医療専門家など）は、RTCセッションの機能の動的な変更のために、システムから遠隔に位置する場所でコンテンツ/情報を受信することができる適切に構成されたシステムを有することができる。従って、実施形態は、ユーザが（例えば、ラップトップ、タブレットコンピュータ、携帯電話、PDAなどの携帯型ディスプレイ装置を含むことができる）ローカルシステムを使用してRTCセッションの機能を動的に変更することを可能にする。例として、実施形態は、モバイルコンピューティングデバイスのためのアプリケーションを提供することができ、アプリケーションは、モバイルコンピューティングデバイスのユーザによって実行および/または制御されることができる。
システムは、RTCセッションの機能を動的に変更するためのシステムを含むサーバ装置と、ユーザインターフェースを含むクライアント装置とをさらに含むことができる。したがって、RTCセッションの機能を修正し、したがって、システムの他のコンポーネントまたはデバイスの処理要件または能力を低減する目的で、専用のデータ処理手段を使用することができる。
システムはクライアント装置をさらに含むことができ、このクライアント装置は、処理コンポーネントと、修正コンポーネントと、表示ユニットとを備える。言い換えると、ユーザ（医師または医療専門家など）は、RTCセッションの機能を修正し、表示制御信号を生成するために、受信したデータを処理する、適切に構成されたクライアント装置（ラップトップ、タブレットコンピュータ、携帯電話、PDAなど）を有することができる。単に例として、実施形態は、したがって、単一の場所からの1つまたは複数の被験者（例えば、患者）の監視を可能にする監視または観察システムを提供することができ、被験者と監視ユーザ（例えば、看護師または医師）との間のリアルタイム通信が提供され、例えば、提案されるコンセプトに従って拡張または修正されたその機能を有することができる。
また、第1の参加者と第2の参加者との間の対面インタラクションの機能を動的に変更するためのシステムが提供され、このシステムは、提案される実施形態によるリアルタイム通信セッションの機能を動的に変更するためのシステムを備える。
したがって、処理能力は、所定の制約および/または処理リソースの利用可能性に従って、異なる態様でシステム全体にわたって分散され得ることが理解されるのであろう。
本発明のこれらおよび他の態様は、以下に記載される実施形態から明らかになり、これを参照して説明される。
本発明の態様による例を、添付の概略図を参照して詳細に説明する。
例示的な実施形態によるRTCセッションの簡略図。 第1のアルゴリズムがマルチパーティRTCセッションに追加される例示的な実施形態の簡略図。 アルゴリズムの連鎖を使用する例示的な実施形態の簡略図。 第1のアルゴリズムが（仮想）参加者としてRTCセッションに追加される例示的な実施形態の簡略図。 一実施形態によるRTCセッションに第1および第2のアルゴリズムを追加する簡略化された表現。 提案された実施形態によるRTCセッションの仮想参加者としてアルゴリズムを含めるための例示的なアプローチを示す図。 提案された実施形態によるRTCセッションの仮想参加者としてアルゴリズムを含めるための例示的なアプローチを示す図。 提案された実施形態による図6Bの構成要素間の例示的なインタラクションを示すシーケンス図。 医師と被験者との間の対面ミーティングへの機能の追加、除去または修正を容易にする例示的な実施形態の簡略図。 別の例示的な実施形態によるRTCセッションの簡略図。 医師および被験者がそれぞれRTCセッションの第1および第2の参加者であり、第1のアルゴリズムが（仮想）参加者としてRTCセッションに追加される、医師と被験者との間の対面ミーティングのための例示的な実施形態の簡略図。 実施形態の1つまたは複数の部分を使用することができるコンピュータの簡略化したブロック図。
提案されるのは、RTCセッションの機能性の動的変更を可能にするためのアプローチである。実施形態は、RTCセッションにアルゴリズムを仮想参加者として追加することができる。
したがって、このような提案は、RTCセッションの機能性の単純かつ直感的な追加、除去または修正を容易にすることができ、これは、たとえば、RTCセッションのコンテキストを考慮して行うことができる。
したがって、本発明の実施形態は、RTCシステムがRTCセッションを実施している間に、RTCシステムの機能を修正、拡張および/または改善することを可能にすることを目的とする。さらに、実施形態は、RTCセッション中の適切なタイミングで関連するまたは重要な機能の提供を可能にすることを目的とすることができる。したがって、実施形態は、例えば、臨床サポート評価、医療診断および/またはサポート計画を支援することができる。
また、実施形態は、対面インタラクションの1人以上の参加者に補足的な機能を提供するように、対面インタラクションと組み合わせて活用されてもよい。
単なる例として、例示的な実施形態は、病院、診療所、病棟、ケアホーム、人の自宅などの多くの異なるタイプの臨床、医療または被験者関連環境で利用されることができる。
例示的な実施形態の要素および機能の説明のためのコンテキストを提供するために、図面は、例示的な実施形態の態様がどのように実装され得るかの例として以下に提供される。したがって、図面は、例にすぎず、本発明の態様または実施形態を実施することができる環境、システムまたは方法に関して何らかの限定を主張または暗示することを意図していないことを理解されたい。
オーディオ/ビデオ/データ/テキストの処理のための多くのアルゴリズムが既に存在するが、これは既存のRTCシステムにおいて容易にされない（または提供されない）ことに留意されたい。そのようなRTCシステムは既に定義されているので、それらの機能は新しいRTCセッションを確立する前に再定義され（例えば、再プログラムされ）、再配布されることによってのみ（例えば、そのようなアルゴリズムを組み込むために）変更されることができる。
RTCセッション中（すなわち、システムがRTCセッションを実施している間）にRTCシステムの機能の修正（例えば、追加、除去、再構成など）を可能にする1つまたは複数の概念を提供することが提案される。具体的には、実施形態がRTCセッションの参加者としてアルゴリズムを追加または除去することによって、RTCセッションへのアルゴリズムの追加/RTCセッションからのアルゴリズムの除去/RTCセッションのアルゴリズムの修正を容易にすることができる。実施形態はまた、アルゴリズムからの出力がどの参加者に提供されるかの定義および/または制御を可能にすることができる。
現在のアルゴリズムは、RTCシステムの具体的に実装された「サービス」であり、RTCセッション中にRTCシステムによって追加または削除することはできない。したがって、RTCシステムのプログラム時に、特定のアルゴリズムを含めなければならない。
一方、提案された実施形態は、独立して開発されたアルゴリズムをRTCセッションに追加することを容易にするラッパーを（例えば、公開APIを使用して）実装することができる。その結果、インターネット上で見られるアルゴリズムおよび/または新しく開発されたアルゴリズムは、RTCセッションの参加者として呼び出され、追加されることによって、RTCセッションに容易に統合され得る。
実施形態の動的性質は、（a）特定の期間にアルゴリズムをトリガすること、（b）特定のデータタイプで動作するように構成されたアルゴリズムをトリガすることなど、様々な態様で実現されることができる。
(a)データストリームのコンテキスト（ワークフロータイプ）によって定義される特定の期間でのアルゴリズムのトリガ。
この場合、それは、管理者（例えば、医師）による手動トリガ、自動トリガ（例えば、プロセスステップに依存して時間スケジュールされた）、またはコンテキスト依存トリガのいずれかであり得る。例えば、遠隔医療においては、医師が通常、自分が実施するであろうカンファレンス・コールの種類を事前に知っている（例えば、患者の受け入れ、検査結果の討議、療法の進行状況の評価など）。これらの検査のそれぞれにおいて、管理者は、典型的には、システムが実行を提案する可能性のある特定のアルゴリズムにリンクされる可能性のある、事前定義された一連のステップに従う。実施形態は、検査選択に基づいて、「コンテキスト依存」メニューを管理者（例えば、医師）に提供することができる。実施形態は、時間における検査の進行を追跡し、経過時間に応じてメニュー選択を変更することができる。
例として、図1は、第1の参加者Aおよび第2の参加者Bを有するRTCセッションの簡略図である。より具体的には、RTCセッションは、第1の参加者Aが医師であり、第2の参加者Bが被験者である医師-被験者間の診察である。第1の参加者Aおよび第2の参加者B間の全二重通信リンク100は、（図1のシンボルによって示されるように）オーディオ、ビデオおよびデータストリームを通信する。
第1のアルゴリズムA1、第2のアルゴリズムA2および第3のアルゴリズムA3を使用することができる。具体的には、第1のアルゴリズムA1は、実行時に患者Bの認証を行うように構成される。第2のアルゴリズムA2は、実行時に患者Bの呼吸数を測定するように構成される。第3のアルゴリズムA3は、実行時に患者Bの画像を取り込む（すなわち、写真を撮る）ように構成される。
医師Aは患者Bとビデオ診察を開始し、「検査結果の話し合い」となる診察の種類を選択する。RTCアプリケーションは、（自動的に）第1のアルゴリズムA1をトリガして、診察の開始時に患者Bの認証を行う。認証が成功した後、医師Aは、検査結果の話し合いを開始し、結果をチェックするために、呼吸数の測定値が必要とされる。したがって医師は、患者Bの呼吸数を測定するために第2のアルゴリズムA2の実行を（明示的に）要求し、測定された呼吸数は医師Aに提供される。測定された呼吸数が所定の閾値を超えるので、第3のアルゴリズムA3が（自動的に）実行されて、患者Bの画像を取り込む（すなわち、写真を撮る）。このようにして、第3のアルゴリズムA3の実行は、コンテキストセンシティヴであると考えることができる。
(b)（データストリームの一部になった）特定のデータタイプで動作するように構成されたアルゴリズムのトリガ。
実施形態は、RTCセッションで利用可能なデータストリームのうち、RTCセッションに追加されたアルゴリズムによって処理されるべきものを指定する能力を提供することができる。ラッパーは、独立して開発されたアルゴリズム（複数可）に関連付けられて、それらをRTCソリューションと共に使用することを可能にすることができる。
そのようなラッパーを使用する実施形態によって、データ互換性を保証することができる。たとえば、既存のRTCソリューションでは、デフォルトで、ビデオにVP8、オーディオにOPUS、データにJSON形式のテキストなどの規格が使用される場合がある。これらの規格は、ほとんどのミーティングシステムおよび既存のアルゴリズムによって使用される。ビデオストリームの場合のみ、H.262/H.264 を使用する例外（IOSベースのソリューションなど）がある。H.264 は広く知られているビデオ形式であり、サポートされている。したがって、提案された実施形態によってデータ互換性が保証され得る。
アルゴリズムがRTCセッションに追加されると、どの参加者のどの利用可能なストリームが処理されるべきかが選択されることができる。
また、システムは、RTCセッションの接続品質/帯域幅を検出することができる。このようにして、実施形態は、信頼できる処理結果のための新しいまたは第三者アルゴリズムの最小限の要件が満たされているかどうかを判定することができる。そして、アルゴリズムを呼び出したユーザは、適切なアクションを取ることができるように、通知されることができる。例えば、カメラは、あるアルゴリズムにとって適切な品質ではない可能性がある。分解能が低すぎることが検出された場合、適切なフィードバックを提供することができる。帯域幅が制限されると、ビデオ/オーディオの品質が低下する可能性がある。例えば、ユーザに通知するためのメッセージが提供されてもよい。実施形態が制限を検出することを可能にするために、最小要件の規格が「ラッパー」に含まれてもよい。
- イノベーション・ラック・マネージャー（IRM）
Innovation Rack Manager (IRM)は、使用可能なアルゴリズムとそのラッパー、および（最小限の） 要件に関する情報をホストするように設定されている。したがって、IRMは、利用可能なアルゴリズムのセットのホストと考えることができる。アルゴリズムは、IRMから要求され、参加者としてRTCセッションに追加されることができる。IRMは、クラウドまたはオンプレミス（on-premise）でホストされることができる。
- 仮想参加者としてのアルゴリズムの追加
実施形態は、RTCセッションにアルゴリズムを（仮想）参加者として追加するために、既存のRTCシステムの機能を利用するように構成されてもよい。そのような提案されたアプローチは、アルゴリズムがどのストリームにアクセスすることができるか、およびアルゴリズムの結果がどこに提示されるべきかを、アプリケーションロジックが定義して制御することを可能にし得る。例えば、アルゴリズムをトリガまたは要求するときに、これを指定できるようにするAPIを使用することができる。アルゴリズムは、アルゴリズムをRTCセッションの仮想参加者として扱うことによって、必要に応じて動的にRTCセッションに追加/RTCセッションから削除されることができる。この目的のために、RTCシステムの基本的な/従来の機能を使用することができる。
例として、図2は、第1のアルゴリズムA1がマルチパーティRTCセッションに追加される例示的な実施形態の簡略化された図である。ここで、RTCセッションは、第1の参加者A、第2の参加者B、および第3の参加者Cを有する。第1の参加者A、第2の参加者Bおよび第3の参加者C間の全二重通信リンク100は、（図2においてシンボルによって示されるように）オーディオ、ビデオおよびデータストリームを通信する。
第1のアルゴリズムA1 は、（仮想） 参加者としてRTCセッションに追加される。
点線の矢印によって示されるように、第1のアルゴリズムA1は、第1の参加者A、第2の参加者B、および第3の参加者Cから入力を受信するように構成される。
実線の太い矢印によって示されるように、第1のアルゴリズムA1は、その出力を第3の参加者Cのみに通信するように構成される。
さらなる例として、図3は、アルゴリズムの連鎖を使用する例示的な実施形態の単純化された図であり、アルゴリズムは、コールの参加者に結果をフィードバックする前に、前のアルゴリズムの出力を使用する。
ここで、RTCセッションは、第1の参加者A及び第2の参加者Bを有する。第1の参加者Aおよび第2の参加者B間の全二重通信リンク100は、（図3のシンボルによって示されるように）オーディオ、ビデオおよびデータストリームを通信する。
第1のアルゴリズムA1、第2のアルゴリズムA2、および第3のアルゴリズムA3は、（仮想）参加者としてRTCセッションに追加される。
図3の矢印によって示されるように、第1のアルゴリズムA1はその出力を第2のアルゴリズムA2に伝達し、第2のアルゴリズムA2は、その出力を第3のアルゴリズムA3に伝達する。第3のアルゴリズムA3は、その出力をRTCセッションの参加者に返信する。
RTCセッションに追加されると、アルゴリズムは追加の（仮想）参加者として表される。この提案されるコンセプトの例を図4に示す。図4は、（仮想）参加者としてRTCセッションに追加された第1のアルゴリズムA1の簡略図である。
図4の例では、RTCセッションが第1の参加者Aおよび第2の参加者Bを有し、第1のアルゴリズムA1は第3の参加者として追加される。
点線の矢印によって示されるように、第1のアルゴリズムA1は、第1の参加者Aおよび第2の参加者Bから入力を受信するように構成される。その結果、第1のアルゴリズムA1は、全てのデータストリームを潜在的な入力として受信する。
実線の太い矢印によって示されるように、第1のアルゴリズムA1は、その出力を第1の参加者Aおよび第2の参加者Bに通信するように構成される。
-アルゴリズムの追加
RTCセッションの参加者はアルゴリズムを追加できる。たとえば、参加者は、RTCセッションで要求メッセージを送信することによって、アルゴリズムをトリガまたは要求することができる。要求メッセージはIRMの構成要素によって検出され、IRMは要求されたアルゴリズムを識別し、RTCセッションの仮想参加者として要求されたアルゴリズムを追加する。
このプロセスの一例が図5に示されており、これは、一実施形態にしたがってRTCセッションに第1および第2のアルゴリズムを追加する簡略化された表現を含む。
第1のユーザU1および第2のユーザU2は、RTCセッション150の参加者である。この例では、RTCセッションは、コンテンツをディスカッション/チャットアプリケーション200にタイピングすることによって第1のユーザU1および第2のユーザU2がリアルタイムディスカッションに参加するライブディスカッションを含む。他の実施形態では、オーディオ/ビデオ/データストリームが第1のユーザU1および第2のユーザU2間で提供されてもよい。
IRM 250の監視コンポーネント220は、アルゴリズムの要求を識別するために、ディスカッション/チャットアプリケーション200のコンテンツを監視する。
図5に示す例では、監視コンポーネント220は、第1のユーザU1が第1のアルゴリズムA1を要求することを識別する。これに応答して、IRM 250は、第1のユーザのための第1のアルゴリズムのインスタンスA1U1を生成し、第1のユーザのための第1のアルゴリズムのインスタンスA1U1をRTCセッション150の参加者として追加する。この例では、監視コンポーネント220は、第2のユーザU2が第2のアルゴリズムA2を要求することも識別する。これに応答して、IRM 250は、第2のユーザのための第2のアルゴリズムのインスタンスA2U2を生成し、第2のユーザのための第2のアルゴリズムのインスタンスA2U2をRTCセッション150の参加者として追加する。
RTCセッションに参加した後、新しい参加者は、RTCセッションで現在使用可能なすべてのストリームを受信できる。処理を開始するために、どのストリームがアルゴリズムによって処理されるべきか、およびどこに結果が表示されるべきかを指定するために、第2のメッセージを送信することができる。
上述したように、（例えば、クラウドで提供される可能性がある）既存のサードパーティアルゴリズムの使用および互換性を可能にするために、アルゴリズムラッパーが採用されることができる。ラッパーは、アルゴリズムの入力および出力のタイプ、ならびにアルゴリズムの任意の要件（例えば、接続品質、速度要件、メモリ空間など）を指定することができる。
例として、ラッパーは、以下の表1のような表形式で表されることができる。
Figure 2022536453000002
上記の説明から、提案された実施形態は、アルゴリズムの動的な強化および/または柔軟な使用を容易にするために、従来のRTCシステムと併せて使用され得ることが理解されるであろう。たとえば、IRMアルゴリズムのサードパーティ開発者は、IRM配備に追加されると、RTCセッションにアルゴリズムを参加者として含める能力を提供するDLL(ダイナミックリンクライブラリ)ファイルを作成できる。
実施形態は、例えば、広範囲のリアルタイム通信システムおよび方法において使用され得る。RTCセッションの機能性の動的な変更のために提案されるコンセプトから潜在的に有益であると既に認識されている例示的なアプリケーションは、顧客サービスサポート、医師－患者間のリアルタイムコンサルテーション、環境監視（例えば、患者監視および高齢者ケア）、健康自己評価アプリケーション、およびビデオ監視アプリケーション（例えば、赤ん坊監視、遠隔ビデオアクセスなど）が含まれる。
上記の説明から、機能を動的に調整することができる柔軟で適応的なRTCシステムを生成するシステムが提案されることが理解されるのであろう。このようなシステムは、利用可能な機能を調整するために、RTCセッションの参加者としてアルゴリズムを自動的に追加、削除および/または変更することができる。
ここで図6Aおよび図6Bを参照すると、RTCセッションの仮想参加者としてアルゴリズムを含めるための例示的なアプローチが示されている。より具体的には、図6Aは、1人の人間の参加者を有するRTCセッションの（仮想）参加者としてアルゴリズムがどのように含まれるかを示す。図6Bは、2人の人間の参加者を有するRTCセッションの（仮想）参加者としてアルゴリズムがどのように含まれるかを示す。
図6Aを参照すると、人間の参加者605は、IRM 615のヘッドレスクライアント610に接続する。ヘッドレスクライアント610は、ラッパー625を介してアルゴリズム620に接続する。ラッパー625は、RTCセッションからアルゴリズム620にデータをフィードする。ラッパー625はまた、アルゴリズム620からRTCセッションにデータをフィードする。この目的のために、ラッパー625は、APIを使用することができる。しかし、いくつかの実施形態では、ラッパー625はAPIを使用しなくてもよい。
図6Bを参照すると、RTCセッションの第1の人間の参加者605Aおよび第2の人間の参加者605Bは、IRM 615のヘッドレスクライアント610に接続する。ヘッドレスクライアント610は、ラッパー625を介して第1のアルゴリズム620Aおよび第2のアルゴリズム620Bに接続する。ここで、第1のアルゴリズム620Aはクラウドベースのサービスを提供し、第2のアルゴリズム620BはC++の動き検出アルゴリズムを提供する。ラッパー625は、アルゴリズム620Aおよび620Bとの間でデータを送受信するために、様々なコンポーネント（API、C++、Matlabなどのコンポーネントを含む）を使用する。
次に図7を参照すると、図6Bの構成要素間の例示的なインタラクションを示すシーケンス・チャートが示される。
図7の例示的なシーケンスでは、以下の一連のステップが行われる:
705 -第1のユーザ/参加者605Aは、RTCセッションに参加するように第2のユーザ605Bを招待する。
710 -次に、第2のユーザ605Bは第2の参加者として、RTCセッションに応答し、参加する。
715および720 -オーディオ、ビデオ及びデータストリームが第1の参加者605Aと第2の参加者605Bとの間で送信される。
725 -第1のユーザ/参加者605Aは、ヘッドレスクライアント610に招待/要求を送信することによって、RTCセッションに参加するように動き検出アルゴリズム620Bを要求/招待する。
730 -次に、ヘッドレスクライアント610は、アルゴリズムラッパー625を呼び出すことによってアルゴリズム・インスタンスを作成する。
735 -アルゴリズムラッパー625は、動き検出アルゴリズム620BへのAPI接続を作成する。
740 -動き検出アルゴリズム620Bのインスタンスが作成され、ヘッドレスクライアント610に提供される。
745 -ヘッドレスクライアント610は、RTCセッションの参加者として動き検出アルゴリズム620Bを追加する。
750および755 - オーディオ、ビデオおよびデータストリームが第1の参加者605Aおよび第2の参加者605Bからヘッドレスクライアント610に送信される。
760 -第1のユーザ/参加者605Aは、第2のユーザ/参加者605Bの動きを分析するために動き検出アルゴリズム620Bの使用を要求する。
765 - ヘッドレスクライアント610は、ラッパー625を介して、第2のユーザ/参加者605Bのキャプチャされたビデオフレームを動き検出アルゴリズム620Bに渡す。
770 - 第2のユーザ/参加者605Bのキャプチャされたビデオフレームは、動き検出アルゴリズム620Bに渡され、分析される。
775 - 動き分析の結果は、動き検出アルゴリズム620Bによってラッパー625に提供される。
780 - 動き分析の結果は、ラッパー625からヘッドレスクライアント610にデータストリームとして提供される。
785 -動き分析の結果は、ヘッドレスクライアント610から第1のユーザ/参加者605Aにデータストリームとして提供される。
また、RTCセッションの機能を修正するためのコンセプトを活用して、対面インタラクション（例えば、同じ位置にいる複数人の対人ミーティング）を補完することができることも提案される。このようにして、対面ミーティングの1人または複数の参加者に追加の機能を提供することができ、そのような機能の追加は、ミーティング中に動的に達成されることができる。特に、RTCセッションを介した対面インタラクションへの機能の動的な提供を可能にするためのアプローチが提供される。例えば、RTCセッションは、対面インタラクションに付随するように確立されてもよく、その後、RTCセッションは、対面インタラクションの参加者に機能を動的に提供するために使用されることができる。
したがって、そのような提案は、個々の対面ミーティングへの機能の単純かつ直感的な追加、除去または修正を容易にすることができ、機能はRTCセッションを介して提供される。この機能の追加、除去または修正は、例えば、対面ミーティングのコンテキストおよび/またはイベントを考慮して行うことができる。
したがって、本発明の実施形態は、個々の対面インタラクションの機能をリアルタイムで（すなわち、対面インタラクション中に）修正、拡張および/または改善することを可能にすることを目的とする。さらに、実施形態は、個々の対面インタラクション中に適切なタイミングで関連するまたは重要な機能を提供することを可能にすることを目的とすることができる。したがって、実施形態は、例えば、臨床サポート評価、医療診断および/またはサポート計画を支援することができる。単なる例として、例示的な実施形態は、病院、診療所、病棟、ケアホーム、人の自宅などの多くの異なるタイプの臨床、医療または被験者関連環境で利用されることができる。
特に、本発明者らは、対面インタラクションが、対面インタラクションのための改善されたまたは拡張された機能を提供するために、提案されるコンセプトをRTCセッション機能の動的な修正のために活用することができることを理解した。特に、対面インタラクションに機能を提供するためのRTCセッションを確立し、次いで、RTCセッションの機能を修正するための提案された実施形態を使用することによって、対面インタラクションに提供される機能は、対面インタラクションを改善するように動的に制御され、修正され得る。
したがって、そのような提案は、対面通信状況中に追加の機能の使用を容易にすることができる。そのような機能は、臨床的状況、例えば、様々な活動がルーティーン（例えば、バイタルサインのモニタリング、被験者の視覚的検査、オーディオの転記、翻訳、オーディオ分析、感情検出、コンサルテーションの要約の記録など）として行われ得る医師－被験者間のコンサルテーションにおいて特に興味深いものであり得る。この追加機能は、例えば、音声コマンド、ジェスチャコマンド、入力インタフェースを介して入力をタイピングすること、またはイベントの検出時に自動的に、制御された、および/または、動的な態様で、ライブRTCセッションに追加されることができる。
例として、装置は、対面インタラクションの場所において提供されてもよく、装置はRTCセッションの機能の動的な修正のためのシステムの提案された実施形態を実装する。したがって、装置は、追加機能への「ゲートウェイ」として機能することができ、その機能はローカルまたはクラウド内のどこかでホストされるアルゴリズムによって提供される。アルゴリズムは、対面インタラクションから取得されたオーディオ/ビデオ/データストリームに対して処理を実行することができ、結果は、例えば、参加者のコンピューティング装置上で、および/または対面インタラクションの位置において提供された表示装置上で、1つまたは複数の参加者に格納および/または提示することができる。
したがって、提案された実施形態は、対面インタラクションの参加者からの利用可能な「オーディオ/ビデオ/データ」のいずれかまたはすべてを処理する追加の機能/アルゴリズムで対面インタラクション（例えば、対人ミーティング）を補足するためのコンセプトを提供することができることが理解されるであろう。このような対面インタラクションは、複数の参加者を含むことができる。
ここで図8を参照すると、追加の機能/アルゴリズムを用いて対面インタラクション（例えば、対人ミーティング）を補足するための例示的なアプローチが示されている。より具体的には、図8は、医師と被験者との間の対面ミーティングへの機能の追加、除去または修正を容易にするためにRTCセッションを使用する例示的な実施形態の簡略図である。
図8に示すように、医師800および被験者805は、診察室815内のテーブル810の両側に位置する。そして、医師800および被験者805は、対面インタラクション（すなわち、対面ミーティング）に参加し、そうする際に、医師800と被験者805との間の口頭のインタラクションが作成される。
テーブル上には、ビデオカメラ825およびマイクロフォン830が設けられている。ビデオカメラ825は、被験者805のビデオ映像をキャプチャするように構成され、マイクロフォン830は、医師800と被験者805との間の会話の音声をキャプチャするように構成される。このようにして、対面インタラクションのオーディオ及びビデオデータが得られる。
対面インタラクションの取得されたオーディオおよびビデオデータは、1つまたは複数の適切に配置された通信リンク（例えば、無線、有線または短距離通信リンク）を介してIRM 830に提供される。IRM 835は、また、（例えば、1つまたは複数の無線、有線または短距離通信リンクを介して）診察室815内に提供される様々なデバイスと通信可能に結合される。単に例として、この例における装置は、スマートフォン840、表示装置845、プリンタ850、スピーカ855およびデータ記憶装置860を含む。さらに、IRM 835は、クラウドベースの通信および/または処理リソース（例えば、インターネット）865とも通信可能に結合される。
したがって、広範囲のデバイスおよび/またはコンピューティングリソースを使用して、様々な形態で、データをIRM 835に入力し、および/またはデータをIRMから出力することができることが理解されよう。例えば、IRM 835は、クラウド865内に存在するアルゴリズム/機能を使用することができ、および/または、医師800および被験者805の両方が見るために表示装置845を介して結果を出力することができる。
システムは、対面インタラクションに少なくとも1つの機能を提供するためのRTCセッションを確立する。次いで、IRM 835のモニタリングコンポーネント（図示せず）は、話し合い820の内容ならびにビデオカメラ825およびスマートフォン840からの入力信号をモニタし、アルゴリズムに対する要求を識別する。例えば、医師300は、（例えば、アルゴリズムの「KEYWORD」名とそれに続く「開始」を話すことによって）話されたコマンドを介して、および/または所定のジェスチャの実行を介して、および/またはスマートフォン840を介して所望の機能をタイプする/選択することによって、機能（例えば、呼吸分析アルゴリズム）の追加を要求することができる。
アルゴリズムの要求を識別することに応じて、IRM 835は、アルゴリズムのインスタンスを生成し、アルゴリズムのインスタンスをRTCセッションの参加者として追加する。また、IRM 835マシンは、スマートフォン840および/またはスピーカ855を介して、アルゴリズムが開始されたことを通知するためにフィードバックを提供する。
同様に、機能の除去は、（例えば、アルゴリズムの「KEYWORD」名とそれに続く「停止」を話すことによって）話されたコマンドを介して、および/または所定のジェスチャの実行を介して、および/またはスマートフォン840を介して所望の機能をタイプする/選択することを介して行うことができる。アルゴリズムの除去の要求を識別することに応じて、IRM 835は、RTCセッションの参加者としてのアルゴリズムのインスタンスを除去する。また、IRM 835マシンは、スマートフォン840および/またはスピーカ855を介してアルゴリズムが停止されたことを通知するためにフィードバックを提供する。
このようにして、部屋815に存在するIRM 835によって、対面インタラクションのための追加の機能が提供される。IRM 835は、完全にローカル（すなわち、オンプレミス）であってもよく、またはリモート（すなわち、オフプレミス）リソースを活用してもよい。
いくつかの実施形態では、対面インタラクションの特定の特徴または特性を考慮するために、いくつかのシステム構成を実行することが好ましい場合がある。例えば、上記の医師－被験者間の診察の例では、適切なビデオストリームがアルゴリズムによって処理されるように、医師および被験者のための着座位置を定義することが有用であり得る。同様に、マイクロフォン装置は、被験者からの音声と医師からの音声とを区別するように構成されてもよい。
着座位置を手動で定義する代わりに、実施形態は、医師の声および顔を認識するように訓練されてもよい。このようなシステムは、次に、部屋のどこに誰が位置し、どのオーディオ/ビデオがアルゴリズムによって処理されるべきかを発見することができる。
さらに、いくつかの実施形態は、医師のみが対面診察中に追加の機能を要求することを可能にするように構成されてもよい。これは、システムの誤用を回避するのに役立ち得る。
また、機能のコンテキストベースのトリガを容易にすることが好ましい場合がある。例えば、アルゴリズム選択は、診察のコンテキストによって定義することができる。このようにして、アルゴリズムは、手動トリガ（例えば、管理者による）、自動トリガ（例えば、プロセスステップに依存する）、またはコンテキストセンシティブトリガによってトリガされ得る。
例として、医師は、自身が行う診察のタイプを事前に知ることができる。様々なタイプの診察のそれぞれにおいて、医師は、システムが実行するために提供することができる特定のアルゴリズムにリンクされることができる、予め定義されたステップのセットに従うことができる。システムは、診察前に医師によって提供された診察選択に基づいて、「コンテキスト依存」メニューまたは他の何らかの形態のヒント/プロンプトを医師に提供することができる。さらに、実施形態は、経時的な診察の進行を追跡し、経過時間に応じてメニュー選択またはプロンプトを自動的に変更することができる。
実施形態は、（仮想）参加者としてRTCセッションにアルゴリズムを追加するという提案されるコンセプトを活用するように構成されてもよい。特に、RTCセッションを使用して、対面インタラクションを強化することが提案される。例えば、RTCセッションは、対面インタラクションを伴うように確立されてもよく、RTCセッションは次いで、提案されるコンセプトを使用して、対面インタラクションを強化し得るアルゴリズムを動的に追加および/または除去することができる。
さらなる例として、さらなる機能/アルゴリズムを用いて対面インタラクション（例えば、対面ミーティング）を補足するための例示的なアプローチが示され、ここで、医師および被験者の対面ミーティングをホストする部屋は、RTCセッションの参加者とされる。
より具体的には、図9は、RTCセッションが第1および第2の参加者（すなわち、それぞれ、PARTICIPANT－1およびPARTICIPANT－2）を有する、例示的な実施形態によるRTCセッションの簡略図である。ここで、RTCセッションは、プライベート診察室において、医師－被験者間の対面診察を伴うように確立される。提案されるコンセプトによれば、RTCセッションは、対面インタラクションの参加者に少なくとも1つの機能を提供するために確立される。第1および第2の参加者間の全二重通信リンク870は、（図9のシンボルによって示されるように）オーディオ、ビデオおよびデータストリームを通信する。
診察室の人々（すなわち、医師および被験者）は、RTCセッションの単一の第1の参加者PARTICIPANT－1とされる。このようにして、対面診察のすべての参加者は、RTCセッションの単一の参加者として表される。次いで、アルゴリズムは、（上記で詳述した提案されるコンセプトに従って）所望に応じて対面インタラクション中に動的に追加/削除されることができる。このようにして、アルゴリズムは、RTCセッションの仮想参加者として扱われ、すなわち、対面インタラクションを強化するためにアルゴリズムが要求されるとき、アルゴリズムは、仮想参加者としてRTCセッションに追加される。例えば、図9は、第2の参加者PARTICIPANT－2としてRTCセッションに追加されたアルゴリズムを示す。
このようにして、対面インタラクション中に、対面インタラクションからのオーディオ/ビデオまたはデータを処理するために、アルゴリズム/機能を追加することができる。いくつかのアルゴリズム/機能は、対面インタラクションの異なる期間中に、または同時に、使用されることができる。
診察室内のすべての人々をRTCセッションの単一の参加者にする代わりに、対面インタラクションの各参加者を、RTCセッションの別個の（仮想）参加者にすることができる。このようなアプローチを図10に示す。
より具体的には、図10は、対面インタラクションの各参加者が、対面インタラクションに少なくとも1つの機能を提供するために確立されたRTCセッションの別個の参加者である例示的な実施形態の簡略図である。ここでは、医師および被験者を第1および第2の参加者（すなわち、それぞれ、PARTICIPANT－1およびPARTICIPANT－2）とする。
そして、アルゴリズムは、（上記で詳述した提案されるコンセプトに従って）所望に応じて対面インタラクション中に動的に追加/削除されることができる。例えば、図10は、第3の参加者PARTICIPANT－3としてRTCセッションに追加されたアルゴリズムを示す。
上記の説明から、対面インタラクションへの機能の追加/削除を容易にするためのコンセプトが提案されていることが理解されるであろう。このようなコンセプトは、対面インタラクションが確立されると、対面インタラクションに機能を提供するために付随するRTCセッションを確立することができるという考えに基づくことができる。アクティブ化されているアルゴリズムに応じて、RTCセッションに参加者として追加される。RTCセッションに処理アルゴリズムを追加/削除するこのアプローチは、「通常の」参加者を追加/削除するのと同じダイナミクスを有する。
また、RTCセッションの利用可能な参加者ごとに、利用可能または適用可能なデータタイプを指定することができる。同様に、どの出力がどの参加者に提示されるべきか、および/または結果として何が起こるべきかを指定することができる。
例は、医師と被験者（例えば、患者）との間のインタラクションを参照して上述されたが、提案されるコンセプトは、他のインタラクションに適用可能であり得ることが理解されるべきである。例えば、実施形態は、家族がバイタルサインを測定するために1つ以上のアルゴリズムによって提供される機能を要求する家庭監視アプリケーションに関するものであってもよい。他の実施形態は、ワーク/オフィス関連会議に関連することができ、参加者は、文書を自動的に作成し、会議議事録を作成し、投票結果を確立するために、1つ以上のアルゴリズムによって提供される機能を要求することができる。
図11は、一実施形態の1つまたは複数の部分が使用されることができるコンピュータ900の一例を示す。上述の様々な動作は、コンピュータ900の能力を利用することができる。例えば、被験者固有のユーザインターフェースを提供するためのシステムの1つ以上の部分は、本明細書で説明される任意の素子、モジュール、アプリケーションおよび/またはコンポーネントに組み込まれてもよい。この点に関して、システム機能ブロックは、単一のコンピュータ上で実行可能であるか、または（例えば、インターネットを介して接続された）いくつかのコンピュータおよび位置上に分散可能であることが理解されるべきである。
コンピュータ900は、PC、ワークステーション、ラップトップ、PDA、パーム装置、サーバ、ストレージなどを含むが、これらに限定されない。一般に、ハードウェアアーキテクチャに関して、コンピュータ900は、ローカルインターフェース（図示せず）を介して通信可能に結合された1つ以上のプロセッサ910、メモリ920および1つ以上のI/O装置970を含み得る。ローカルインタフェースは、例えば、従来技術において知られているように、1つ以上のバスまたは他の有線若しくは無線接続であってもよいが、これらに限定されない。ローカルインタフェースは、通信を可能にするために、コントローラ、バッファ（キャッシュ）、ドライバ、リピータ、受信機などの追加要素を有することができる。さらに、ローカルインタフェースは、アドレス、制御および/またはデータ接続を含み、上述の構成要素間の適切な通信を可能にする。
プロセッサ910は、メモリ920に格納可能なソフトウェアを実行するためのハードウェア装置である。プロセッサ910は。事実上、コンピュータ900に関連するいくつかのプロセッサのうち、任意のカスタムメイドまたは市販のプロセッサ、中央処理装置（CPU）、デジタル信号プロセッサ（DSP）、または補助プロセッサとすることができ、プロセッサ910は、（マイクロチップの形態の）半導体ベースのマイクロプロセッサまたはマイクロプロセッサとすることができる。
メモリ920は。不揮発性メモリ素子（例えば、ランダムアクセスメモリ（RAM）、ダイナミックランダムアクセスメモリ（DRAM）、スタティックランダムアクセスメモリ（SRAM）等のようなランダムアクセスメモリ）及び不揮発性メモリ素子（例えば、ROM、消去可能プログラマブルリードオンリーメモリ（EPROM）、電子的消去可能プログラマブルリードオンリーメモリ（EEPROM）、プログラム可能リードオンリーメモリ（PROM）、テープ、コンパクトハードディスクリードオンリーメモリ（CD-ROM）、ハードディスク、ディスケット、カートリッジ、カセット等）の任意の1つまたは組み合わせを含むことができる。さらに、メモリ920は、電子、磁気、光学および/または他のタイプの記憶媒体を組み込むことができる。メモリ920は分散アーキテクチャを有することができ、様々なコンポーネントが互いに離れた場所に配置されているが、プロセッサ910によってアクセスすることができることに留意されたい。
メモリ920内のソフトウェアは、1つ以上の別個のプログラムを含むことができ、それぞれは、論理機能を実装するための実行可能命令の順序付けられたリストを含む。メモリ920内のソフトウェアは、例示的な実施形態による、適切なオペレーティングシステム（O/S）950、コンパイラ940、ソースコード930、および1つまたは複数のアプリケーション960を含む。図示のように、アプリケーション960は、例示的な実施形態の特徴および動作を実施するための多数の機能構成要素を備える。コンピュータ900のアプリケーション960は、例示的な実施形態による、様々なアプリケーション、計算ユニット、ロジック、機能ユニット、プロセス、動作、仮想エンティティ、および/またはモジュールを表すことができるが、アプリケーション960は限定を意味するものではない。
オペレーティングシステム950は、他のコンピュータプログラムの実行を制御し、スケジューリング、入出力制御、ファイルおよびデータ管理、メモリ管理、および通信制御および関連サービスを提供する。例示的な実施形態を実施するためのアプリケーション960は、市販のすべてのオペレーティングシステムに適用可能であり得ることが、本発明者らによって意図される。
アプリケーション960は、ソースプログラム、実行可能プログラム（オブジェクトコード）、スクリプト、または実行される命令のセットを構成する任意の他のエンティティであってもよい。ソースプログラムの場合、プログラムは通常、コンパイラ（コンパイラ940など）、アセンブラ、インタプリタなどを介して翻訳され、これらは、O/S 950に関連して適切に動作するように、メモリ920内に含まれても含まれなくてもよい。さらに、アプリケーション960は、オブジェクト指向プログラミング言語として書くことができ、オブジェクト指向プログラミング言語はデータおよびメソッドのクラス、またはプロシージャ・プログラミング言語を有し、これらの言語は例えば、C、C++、C#、Pascal、BASIC、API呼び出し、HTML、XHTML、XML、ASPスクリプト、JavaScript、FORTRAN、COBOL、Perl、Java、ADA、NETなどを有するが、これらに限定されない。
I/Oデバイス970は、例えば、マウス、キーボード、スキャナ、マイクロフォン、カメラなどの入力デバイスを含むことができるが、これらに限定されない。さらに、I/Oデバイス970は、出力装置、例えば、プリンタ、ディスプレイなどを含むこともできるが、これらに限定されない。最後に、I/Oデバイス970は、入力および出力の両方を通信するデバイス、例えば、（リモートデバイス、他のファイル、デバイス、システム、またはネットワークにアクセスするための）ネットワークインタフェースカードまたは変調器/復調器、無線周波数（RF）または他のトランシーバ、電話インタフェース、ブリッジ、ルータなどをさらに含むことができるが、これらに限定されない。I/O装置970はまた、インターネットまたはイントラネットなどの様々なネットワークを介して通信するためのコンポーネントを含む。
コンピュータ900がPC、ワークステーション、インテリジェント装置である場合、メモリ920内のソフトウェアはさらに、基本入出力システム（BIOS）を含んでもよい（簡略化のために省略）。BIOSは起動時にハードウェアを初期化およびテストし、O/S 950 を起動し、ハードウェア装置間のデータ転送をサポートする、一連の必須のソフトウェアルーチンである。BIOSは、ROM、PROM、EPROM、EEPROM等の何らかのタイプの読み出し専用メモリに記憶され、これにより、コンピュータ900が起動されたときにBIOSが実行されることができる。
コンピュータ900が動作しているとき、プロセッサ910は、メモリ920内に記憶されたソフトウェアを実行し、メモリ920との間で結果を通信し、ソフトウェアに従ってコンピュータ900の動作を一般に制御するように構成される。アプリケーション960およびO/S 950は、プロセッサ910によって全体または一部が読み取られ、おそらくプロセッサ910内にバッファリングされ、その後実行される。
アプリケーション960がソフトウェアで実現されるとき、アプリケーション960はあらゆるコンピュータ関連システムまたは方法によって、またはそれに関連して使用するために、実質的にあらゆるコンピュータ可読媒体に格納されることができることに留意されたい。本明細書の文脈では、コンピュータ可読媒体は、コンピュータ関連システムまたは方法によって、またはそれに関連して使用するためのコンピュータプログラムを収容または記憶することができる、電子、磁気、光学または他の物理的装置または手段とすることができる。
アプリケーション960は、命令実行システム、装置またはデバイスから命令をフェッチして命令を実行することができる、コンピュータベースのシステム、プロセッサを含むシステムまたはその他のシステムなどの、命令実行システム、装置またはデバイスによって使用されるための、あるいはそれらに関連する、任意のコンピュータ可読媒体で実施されることができる。本明細書の文脈では、「コンピュータ可読媒体」は、命令実行システム、装置またはデバイスによって使用するための、またはそれに関連する、プログラムを格納、通信、伝播、または移送することができる任意の手段とすることができる。コンピュータ可読媒体は、例えば、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置、デバイス、または伝搬媒体とすることができるが、これらに限定されない。
本発明は、システム、方法および/またはコンピュータプログラム製品とすることができる。コンピュータプログラムは、プロセッサに本発明の方法を実行させるためのコンピュータ読み取り可能なプログラム命令を有するコンピュータ可読記憶媒体を含み得る。
コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し記憶することができる有形の装置であってもよい。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶装置、電磁記憶デバイス、半導体記憶デバイス、または前述の任意の適切な組合せとすることができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ、読出し専用メモリ、消去可能プログラマブル読出し専用メモリ、スタティックランダムアクセスメモリ、ポータブルコンパクトディスク読出し専用メモリ、デジタル汎用ディスク、メモリスティック、フロッピーディスク、パンチカード等の機械的に符号化された装置、及び上記の任意の適切な組み合わせが含まれる。本明細書で使用されるコンピュータ可読記憶媒体は、電波または他の自由に伝播する電磁波、導波管または他の伝送媒体（例えば、光ファイバケーブルを通過する光パルス）を通って伝播する電磁波、または有線を通って伝送される電気信号など、それ自体が一時的な信号であると解釈されるべきではない。
本明細書に記載するコンピュータ読み取り可能なプログラム命令は、コンピュータ可読記憶媒体から、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、広域ネットワークおよび/または無線ネットワークを介して、外部コンピュータまたは外部記憶装置に、それぞれのコンピューティング/処理装置にダウンロードされることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および/またはエッジサーバを含むことができる。各演算/処理装置内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれの演算/処理装置内のコンピュータ可読記憶媒体に記憶するために、コンピュータ可読プログラム命令を転送する。
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ISA）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、C++などのオブジェクト指向プログラミング言語、および「C」プログラミング言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む、1つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードのいずれかであり得る。コンピュータコンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンのソフトウェアパッケージとして、部分的にユーザのコンピュータ上で且つ部分的にリモートのコンピュータ上で、又は全体的にリモートのコンピュータ又はサーバ上で、実行されることができる。後者の状況では、リモートコンピュータは、ローカルエリアネットワーク(LAN)又は広域ネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されることができ、又は(例えば、インターネットサービスプロバイダを使用してインターネットを介して)外部コンピュータに接続されることができる。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（FPGA）、またはプログラマブル論理アレイ（PLA）を含む電子回路は、本発明の態様を実行するために、電子回路をパーソナル化するためにコンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行することができる。
本発明の態様は、本発明の実施形態による方法、装置(システム)およびコンピュータプログラムのフローチャート図および/またはブロック図を参照して本明細書で説明される。フローチャート図および/またはブロック図の各ブロック、ならびにフローチャート図および/またはブロック図のブロックの組合せは、コンピュータ可読プログラム命令によって実装できることを理解されたい。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令がフローチャートおよび/またはブロック図の1つまたは複数のブロックで指定された機能/動作を実装するための手段を作成するように、マシンを生成することができる。これらのコンピュータ可読プログラム命令は、また、コンピュータ、プログラマブルデータ処理装置、および/または他のデバイスが特定の方法で機能するように指示することができるコンピュータ可読記憶媒体に格納されてもよく、その結果、その中に格納された命令を有するコンピュータ可読記憶媒体は、フローチャートおよび/またはブロック図の1つまたは複数のブロックで指定された機能/動作の態様を実装する命令を含む製品を備える。
コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイス上にロードされて、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される命令がフローチャートおよび/またはブロック図の1つまたは複数のブロックで指定された機能/動作を実施するように、一連の動作ステップをコンピュータ、他のプログラマブル装置、または他のデバイス上で実行させて、コンピュータ実施プロセスを生成することができる。
図中のフローチャートおよびブロック図は、本発明の様々な実施形態による、システム、方法およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能および動作を示す。この点に関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実装するための1つまたは複数の実行可能命令を備える、モジュール、セグメントまたは命令の一部を表すことができる。一部の代替実装では、ブロックに記載されている機能が図に記載されている順序外で発生する場合がある。例えば、連続して示される2つのブロックは、実際には実質的に同時に実行されてもよく、または、ブロックは、含まれる機能に応じて、時には逆の順序で実行されてもよい。また、ブロック図および/またはフローチャート図の各ブロック、ならびにブロック図および/またはフローチャート図のブロックの組み合わせは、指定された機能または動作を実行するか、または特殊目的ハードウェアおよびコンピュータ命令の組み合わせを実行する特殊目的ハードウェアベースのシステムによって実装され得ることにも留意されたい。
説明は例示および説明の目的で提示されており、網羅的であることも、開示された形態の本発明に限定されることも意図されていない。当業者には、多数の修正例及び変形例が明らかであろう。実施形態は、提案された実施形態の原理を最もよく説明するために、また、他の当業者が様々な修正を伴う様々な実施形態を理解することを可能にするために、選択され、説明されてきた。請求項において、括弧の間に置かれる如何なる参照符号もその請求項を限定すると解釈されてはならない。単語「有する」は、請求項に列挙されたもの以外の要素又はステップの存在を排除するものではなく、要素に先行する単語「1つの」は複数のそのような要素の存在を排除するものではない。本発明は、いくつかの別個の要素を備えるハードウェアによって、および/または適切にプログラムされたプロセッサによって実施されてもよい。いくつかの手段を列挙する装置請求項において、これらの手段のいくつかは、ハードウェアの1つの同じアイテムによって具現化されてもよい。有利には、相互に異なる従属請求項に記載された手段を組み合わせて使用することができる。

Claims (15)

  1. リアルタイム通信セッションの機能の動的な変更の方法であって、
    リアルタイム通信セッションの参加者間の１つ以上のデータストリームを含むリアルタイム通信セッションを確立するステップと、
    アルゴリズムのセットのうちの第1のアルゴリズムの要求を識別するステップであって、アルゴリズムの前記セットの各アルゴリズムが、リアルタイム通信セッション中に実行されたときに関連する機能を提供するように構成される、ステップと、
    前記１つ以上のデータストリームのうちの少なくとも１つのデータストリームを使用する仮想参加者として前記リアルタイム通信セッションに前記第1のアルゴリズムを追加することにより前記リアルタイム通信セッションの機能を動的に変更するステップと、
    を有する方法。
  2. 仮想参加者として前記リアルタイム通信セッションに前記第1のアルゴリズムを追加することが、
    コンテナを介して前記第1のアルゴリズムを呼び出すステップと、
    前記コンテナによって、前記リアルタイム通信セッションの仮想参加者として前記第1のアルゴリズムを構成するステップと、
    を有する、請求項１に記載の方法。
  3. 前記第1のアルゴリズムを呼び出すステップは、インタフェースを介して前記コンテナと通信するステップを有する、請求項２に記載の方法。
  4. 第1のアルゴリズムの前記要求が、前記第1のアルゴリズムの要件の指標を有し、
    仮想参加者として前記リアルタイム通信セッションに前記第1のアルゴリズムを追加することが、
    前記第1のアルゴリズムの要件の前記指標に基づいて前記第1のアルゴリズムの入力および出力のうちの少なくとも１つを構成することを有する、
    請求項１から請求項３のいずれか一項に記載の方法。
  5. アルゴリズムの前記セットの各アルゴリズムが、当該アルゴリズムの入力、出力および要件のうちの少なくとも１つを定義する各ラッパーに関連付けられ、
    仮想参加者として前記リアルタイム通信セッションに前記第1のアルゴリズムを追加することが、
    前記第1のアルゴリズムに関連付けられた前記ラッパーに基づいて前記第1のアルゴリズムの入力および出力の少なくとも１つを構成するステップを有する、
    請求項１から請求項４のいずれか一項に記載の方法。
  6. 前記要求を識別するステップが、
    前記リアルタイム通信セッションの参加者により提供されるユーザ入力信号、
    前記リアルタイム通信セッションのデータストリームのコンテキスト、
    予め定められたトリガイベントの発生、および
    予め定められていないトリガイベントの発生、
    のうちの少なくとも１つに基づいて第１のアルゴリズムの要求を判断する、
    請求項１から請求項５のいずれか一項に記載の方法。
  7. 第１の参加者と第２の参加者との間の対面インタラクションの機能を動的に変更する方法であって、
    請求項１から請求項６のいずれか一項に記載の方法により前記リアルタイム通信セッションの機能を変更するステップを有し、
    前記リアルタイム通信セッションは、前記対面インタラクションの参加者に少なくとも１つの機能を提供するために確立される、方法。
  8. リアルタイム通信セッションの確立が、前記リアルタイム通信セッションの仮想参加者として前記対面インタラクションの前記第１の参加者および前記第２の参加者を追加するステップを有する、請求項７に記載の方法。
  9. アルタイム通信セッションの確立が、
    前記リアルタイム通信セッションの第１の仮想参加者として前記対面インタラクションの前記第１の参加者を追加するステップ、および
    前記リアルタイム通信セッションの第２の仮想参加者として前記対面インタラクションの前記第２の参加者を追加するステップ、
    を有する請求項７に記載の方法。
  10. 前記要求の識別が、
    前記対面インタラクションの参加者により提供されるユーザ入力信号、
    前記対面インタラクションのデータストリームのコンテキスト、
    前記対面インタラクションにおける予め定められたトリガイベントの発生、および
    前記対面インタラクションにおける予め定められていないトリガイベントの発生、
    のうちの少なくとも１つに基づいて第１のアルゴリズムの要求を判断する、請求項７から請求項９のいずれか一項に記載の方法。
  11. 参加者が医療専門家であり、前記リアルタイム通信セッションが、臨床決定サポートのための臨床情報の交換のために構成される、請求項１から請求項１０のいずれか一項に記載の方法。
  12. アルゴリズムの前記セットのうちの少なくとも１つのアルゴリズムが、実行されたときに、電子医療記録データベースにデータを格納する、および／または、電子医療記録データベースからデータを読み出すように構成される、請求項１から請求項１１のいずれか一項に記載の方法。
  13. 請求項１から請求項１２のいずれか一項に記載の方法の全てのステップを実行するように構成されたコンピュータ可読プログラムコードを有する、リアルタイム通信セッションの機能の動的な変更のためのコンピュータプログラム製品。
  14. リアルタイム通信セッションの機能の動的な変更のためのシステムであって、前記システムは、請求項１から請求項１２のいずれか一項に記載の方法の全てのステップを実行するように構成された１つ以上のプロセッサを有し、前記１つ以上のプロセッサは、
    前記リアルタイム通信セッションの参加者間の１つ以上のデータストリームを含むリアルタイム通信セッションを確立するように構成された通信コンポーネント、
    アルゴリズムのセットのうちの第１のアルゴリズムの要求を識別するように構成された処理コンポーネントであって、アルゴリズムの前記セットの各アルゴリズムが、リアルタイム通信セッション中に実行されたときに関連する機能を提供するように構成される、処理コンポーネント、および
    前記１つ以上のデータストリームのうちの少なくとも１つのデータストリームを使用する仮想参加者として前記リアルタイム通信セッションに前記第1のアルゴリズムを追加することにより前記リアルタイム通信セッションの機能を動的に変更するように構成された変更コンポーネント、
    を形成するように構成される、システム。
  15. 第１の参加者と第２の参加者との間の対面インタラクションの機能を動的に変更するためのシステムであって、
    請求項１４に記載のリアルタイム通信セッションの機能の動的な変更のためのシステムを有し、前記通信コンポーネントが、前記対面インタラクションの参加者に少なくとも１つの機能を提供するためにリアルタイム通信セッションを確立するように構成される、システム。
JP2021567947A 2019-06-12 2020-06-10 リアルタイム通信セッションの機能の動的変更 Pending JP2022536453A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962860503P 2019-06-12 2019-06-12
US62/860,503 2019-06-12
EP19208079.4 2019-11-08
EP19208079.4A EP3820104A1 (en) 2019-11-08 2019-11-08 A system and method for dynamic modification of functionality of a real-time communications session
NL2025686A NL2025686B1 (en) 2019-06-12 2020-05-26 Dynamic modification of functionality of a real-time communications session
NL2025686 2020-05-26
PCT/EP2020/066143 WO2020249645A1 (en) 2019-06-12 2020-06-10 Dynamic modification of functionality of a real-time communications session

Publications (1)

Publication Number Publication Date
JP2022536453A true JP2022536453A (ja) 2022-08-17

Family

ID=70977538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021567947A Pending JP2022536453A (ja) 2019-06-12 2020-06-10 リアルタイム通信セッションの機能の動的変更

Country Status (6)

Country Link
US (1) US20220321633A1 (ja)
EP (1) EP3984190B1 (ja)
JP (1) JP2022536453A (ja)
CN (1) CN113966599B (ja)
DK (1) DK3984190T3 (ja)
WO (1) WO2020249645A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3984207A1 (en) 2019-06-12 2022-04-20 Koninklijke Philips N.V. Dynamically modifying functionality of a real-time communications session

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030014488A1 (en) * 2001-06-13 2003-01-16 Siddhartha Dalal System and method for enabling multimedia conferencing services on a real-time communications platform
US7848265B2 (en) * 2006-09-21 2010-12-07 Siemens Enterprise Communications, Inc. Apparatus and method for automatic conference initiation
US8615671B2 (en) * 2009-10-09 2013-12-24 Intel Corporation Techniques for managing lower power states for data links
US9307084B1 (en) * 2013-04-11 2016-04-05 Noble Systems Corporation Protecting sensitive information provided by a party to a contact center
US9065969B2 (en) * 2013-06-30 2015-06-23 Avaya Inc. Scalable web real-time communications (WebRTC) media engines, and related methods, systems, and computer-readable media
CN104427296B (zh) * 2013-09-05 2019-03-01 华为终端（东莞）有限公司 视频会议中媒体流的传输方法与装置
US20150121250A1 (en) * 2013-10-31 2015-04-30 Avaya Inc. PROVIDING INTELLIGENT MANAGEMENT FOR WEB REAL-TIME COMMUNICATIONS (WebRTC) INTERACTIVE FLOWS, AND RELATED METHODS, SYSTEMS, AND COMPUTER-READABLE MEDIA
WO2015105994A1 (en) * 2014-01-08 2015-07-16 Callminer, Inc. Real-time conversational analytics facility
US9832252B2 (en) * 2014-03-27 2017-11-28 Genband Us Llc Systems, methods, and computer program products for third party authentication in communication services
FR3038180A1 (fr) * 2015-06-26 2016-12-30 Orange Adaptation d'un profil de transmission d'une communication web temps reel
GB2539721B (en) * 2015-07-23 2018-06-20 Syntec Holdings Ltd System and method for secure transmission of data signals
US11080784B2 (en) * 2015-12-18 2021-08-03 Trading Technologies International, Inc. Market data redaction tools and related methods
US10616285B2 (en) * 2016-04-26 2020-04-07 Comcast Cable Communications, Llc Establishing and managing connections for real time communications
US11210461B2 (en) * 2017-07-05 2021-12-28 Interactions Llc Real-time privacy filter
WO2019070822A1 (en) * 2017-10-03 2019-04-11 Infinite Computer Solutions Inc. COLLABORATION THROUGH ONLINE DIALOGUE IN HEALTH CARE SYSTEMS

Also Published As

Publication number Publication date
CN113966599B (zh) 2024-03-19
WO2020249645A1 (en) 2020-12-17
EP3984190A1 (en) 2022-04-20
US20220321633A1 (en) 2022-10-06
EP3984190B1 (en) 2022-12-14
CN113966599A (zh) 2022-01-21
DK3984190T3 (da) 2023-01-23

Similar Documents

Publication Publication Date Title
US10594749B2 (en) Copy and paste for web conference content
US11030330B2 (en) Secure content sharing
US9917868B2 (en) Systems and methods for medical diagnostic collaboration
US10129313B2 (en) System, method, and logic for managing content in a virtual meeting
US20130262594A1 (en) Management and synchronization of related electronic communications
US20240005014A1 (en) Modifying functionality of a real-time communications systems
US11269591B2 (en) Artificial intelligence based response to a user based on engagement level
US11936813B2 (en) Collaborative virtual waiting room with connection modes
US20240129348A1 (en) System and method for identifying active communicator
US9769434B1 (en) Remote control of a user's wearable computing device in help desk applications
US20130332832A1 (en) Interactive multimedia systems and methods
JP2022536453A (ja) リアルタイム通信セッションの機能の動的変更
Tiberkak et al. A novel approach for generic home emergency management and remote monitoring
EP3832995A1 (en) Modifying functionality of real-time communications systems
NL2025686B1 (en) Dynamic modification of functionality of a real-time communications session
CN115941879A (zh) 多方视频会议中的屏幕、视频、音频和文本共享
EP3820104A1 (en) A system and method for dynamic modification of functionality of a real-time communications session
US20230164200A2 (en) Method for remote consultation and related apparatus
US11632473B2 (en) Dynamic notification tone modification
CA3176147C (en) Patient transfer in virtual medicine
US20230035981A1 (en) Intelligent detection of a user's state and automatically performing an operation based on the user's state
US20240129436A1 (en) Automatic engagement analytics in collaboration and conferencing
US20230316812A1 (en) Sign language sentiment analysis
CN116805942A (zh) 患者护理中音频和/或视频的使用
WO2014013447A2 (en) Social network functionalities for visually impaired users

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240514