JP2021521704A - 遠隔会議システム、遠隔会議のための方法、およびコンピュータ・プログラム - Google Patents

Abstract

遠隔会議システムは、音声信号および映像信号を取得するように構成される第１の端末を含む。第１の端末および第２の端末と通信する遠隔会議サーバは、映像信号および音声信号を第１の端末からリアルタイムで受信し、映像信号および音声信号を第２の端末に送信するように構成される。第１の端末および遠隔会議サーバと通信する症状認識サーバは、映像信号および音声信号を第１の端末から非同期で受信し、映像信号および音声信号を分析して１つまたは複数の病気の兆候を検出し、１つまたは複数の病気の兆候を検出すると診断警報を生成し、診断警報を第２の端末上の表示用に遠隔会議サーバに送信するように構成される。

Description

本発明は、ビデオ会議に関し、より具体的には、ビデオ会議における顔、身体、および発話症状のリアルタイム注釈のためのシステムに関する。

遠隔医療は、医療従事者および患者が潜在的にかなりの距離を介した全く別の場所にいて健康管理が提供され得る行為である。遠隔医療は、医療サービスが十分でない住民に良質な健康管理を提供し、また高度な専門医療提供者へのアクセスを拡大する機会を作り出す。遠隔医療には、健康管理コストを減少させる潜在能力もある。

遠隔会議システムは、音声信号および映像信号を取得するように構成される第１の端末を含む。第１の端末および第２の端末と通信する遠隔会議サーバは、映像信号および音声信号を第１の端末からリアルタイムで受信し、映像信号および音声信号を第２の端末に送信するように構成される。第１の端末および遠隔会議サーバと通信する症状認識サーバは、映像信号および音声信号を第１の端末から非同期で受信し、映像信号および音声信号を分析して１つまたは複数の病気の兆候を検出し、１つまたは複数の病気の兆候を検出すると診断警報を生成し、診断警報を第２の端末上の表示用に遠隔会議サーバに送信するように構成される。

遠隔会議システムは、音声信号および高品質映像信号を取得し、取得した高品質映像信号を高品質映像信号のビット・レートより低いビット・レートの低品質映像信号に変換するように構成されるカメラおよびマイクロフォンを含む、第１の端末を含む。第１の端末および第２の端末と通信する遠隔会議サーバは、低品質映像信号および音声信号を第１の端末からリアルタイムで受信し、低品質映像信号および音声信号を第２の端末に送信するように構成される。第１の端末および遠隔会議サーバと通信する症状認識サーバは、高品質映像信号および音声信号を第１の端末から非同期で受信し、高品質映像信号および音声信号を分析して１つまたは複数の病気の兆候を検出し、１つまたは複数の病気の兆候を検出すると診断警報を生成し、診断警報を第２の端末上の表示用に遠隔会議サーバに送信するように構成される。

遠隔会議のための方法は、音声信号および映像信号を第１の端末から取得することを含む。映像信号および音声信号は、第１の端末および第２の端末と通信する遠隔会議サーバに送信される。映像信号および音声信号は、第１の端末および遠隔会議サーバと通信する症状認識サーバに送信される。病気の兆候は、マルチモーダル・リカレント・ニューラル・ネットワークを用いて映像信号および音声信号から検出される。診断警報は、検出された病気の兆候について生成される。映像信号には、診断警報で注釈が付けられる。注釈付きの映像信号が、第２の端末上に表示される。

画像データから病気の兆候を検出するコンピュータ・プログラム製品であって、コンピュータ・プログラム製品は、それを用いて具現化されるプログラム命令を有するコンピュータ可読記憶媒体を含み、プログラム命令は、コンピュータに、コンピュータを用いて音声信号および映像信号を取得させ、コンピュータを用いて映像信号から顔を検出させ、コンピュータを用いて検出された顔から動作ユニットを抽出させ、コンピュータを用いて検出された顔から目印を検出させ、コンピュータを用いて検出された目印を追跡させ、追跡された目印を用いて意味素性抽出を実行させ、コンピュータを用いて音声信号から音色特徴を検出させ、コンピュータを用いて音声信号を転写して音声転写を生成させ、コンピュータを用いて音声転写に対して自然言語処理を実行させ、コンピュータを用いて音声転写に対して意味解析を実行させ、音声転写に対して言語構造抽出を実行させ、マルチモーダル・リカレント・ニューラル・ネットワークを用いて、検出された顔、抽出された動作ユニット、追跡された目印、抽出された意味素性、音色特徴、音声転写、自然言語処理の結果、意味解析の結果、および言語構造抽出の結果から、コンピュータを用いて病気の兆候を検出させるように、コンピュータによって実行可能である。

本発明およびその付随する態様の多くのより完全な理解は、添付図面に関連して考察されるときに以下の詳細な説明を参照することにより本発明およびその付随する態様の多くがさらに理解されるようになるように、容易に得られるであろう。

本発明の例示的実施形態による、ビデオ会議における顔の症状のリアルタイム注釈のためのシステムを示す概略図である。 本発明の例示的実施形態による、図１に示されるシステムの動作様式を示すフローチャートである。 本発明の例示的実施形態による、ビデオ会議における顔の症状のリアルタイム注釈のための手法を示すプロセス・フローを含む。 本発明の例示的実施形態による、ビデオ会議における顔の症状のリアルタイム注釈のための手法を示すプロセス・フローを含む。 本発明の例示的実施形態による、遠隔会議表示を示す図である。 本開示の実施形態による方法および装置を実施することが可能なコンピュータ・システムの例を示す。

図面に示される本発明の例示的実施形態を説明する際に、特定の専門用語が明確化のために採用される。しかしながら、本発明は、例示またはいかなる特定の用語にも限定されることを意図しておらず、各要素が全ての均等物を含むと理解されるべきである。

上述の通り、遠隔医療は、医療従事者によるサービスが十分でない地域に住む患者に健康管理へのアクセスを拡大する機会を作り出す。特に、遠隔医療は、そのような医療サービスへのアクセスを十分有しない場合がある患者に対して健康管理を行うために使用され得る。しかしながら、患者に対しある種類の健康管理をリモートで行うことに関して特定の問題があるが、一般開業医は、患者にビデオ会議を介して症状を説明するように依頼することができる場合があり、何らかの専門医療従事者は、患者の見た目および行動の様子から微妙な症状を認識することが可能でなければならないことがよくある。

理想的には、遠隔医療において使用されるビデオ会議ハードウェアは、医療従事者が些細な症状に容易に気付き得るように、圧縮されていない超高精細映像および極めて明瞭な音声を提供可能であろうが、患者が遠く離れた地方の場所、高速ネットワーク・アクセスが構築されていない発展途上国、または海、空中、もしくは宇宙にすら位置し得るときに特に患者側において帯域幅に著しい実用制限があるため、医療提供者が受信する音声および映像の品質が不十分である場合があり、重要であるが微妙な症状が見逃されることがある。

さらに、高品質の音声および映像が医療提供者に非同期で送信されることが可能であってもよいが、健康管理には自然な会話を伴うことがよくあり、その過程が医療提供者の観察に依存するため、音声および映像を事後に分析することは、健康管理を提供する適切な手段でない場合がある。

本発明の例示的実施形態は、音声および映像信号が非常に明瞭に取得されるリアルタイムビデオ会議のためのシステムを提供し、これらの信号は、効率的なリアルタイム通信のために圧縮またはダウンスケールあるいはその両方が行われ、それは本明細書で低品質信号と呼ばれるが、自動症状認識は、様々な微妙な症状をそこから自動的に検出するために高品質信号に対して実行される。健康管理提供者がそれに応じて健康管理相談を案内するために適時に結果を認識させ得るように、低品質信号を用いたリアルタイム遠隔会議には、そのとき自動症状認識の結果を用いて注釈が付けられる。

これは、リアルタイム遠隔会議が続いているときに、自動症状認識ハードウェアを患者の位置に配置すること、または高品質信号を自動症状認識ハードウェアに非同期で送信することのいずれかによって、次いで、それらが判断されると健康管理提供者に警報を重畳することによって実施されてもよい。

自動症状認識ハードウェアは、リカレント・ニューラル・ネットワークを利用して、以下でより詳細に説明されるやり方で症状を識別し得る。

図１は、本発明の例示的実施形態による、ビデオ会議における顔の症状のリアルタイム注釈のためのシステムを示す概略図である。患者１０は、カメラおよびマイクロフォン１１を利用し、患者１０の音声および外観が、そこから取得され得る。要素１１は、カメラ・デバイスとして示されているが、この描写は、単なる一例であり、実際のデバイスは、パーソナル・コンピュータなどの遠隔会議機器として、またはカメラ／マイクロフォンを含むスマートフォンもしくはタブレット・コンピュータなどのモバイル電子デバイスとしても、インスタンス化され得る。カメラ／マイクロフォン要素１１は、追加的にアナログ・デジタル変換器、ネットワーク・インターフェース、およびプロセッサを含み得ると理解されるべきである。

カメラ／マイクロフォン１１は、超高精細（ＵＨＤ）規格に準拠する４Ｋ映像などの高精細音声／映像信号を生成するために、取得された音声／映像信号をデジタル化し得る。デジタル化信号が、インターネットなどのコンピュータ・ネットワーク１２を経て遠隔会議サーバ１４と通信し得る。カメラ／マイクロフォン１１は、また、ダウンスケーリングすること、またはＨ．２６４もしくは何らかの他の方式などの圧縮方式を利用すること、あるいはその両方によって、音声／映像信号のサイズを減少させ得る。減少の程度は、利用可能な帯域幅および様々な送信条件によって指示され得る。カメラ／マイクロフォン１１は、高品質の取得された信号、および本明細書において低品質信号と呼ばれ得るダウンスケーリング／圧縮された信号の両方として、音声／映像信号を遠隔会議サーバ１４に送信し得る。高品質信号は、非同期で送信されてもよく、例えば、データは、ある数の画像フレームの送信完了後に処理するために遠隔会議サーバ１４に到達し得るパケットに分割されてもよい。一方、低品質信号は、遠隔会議サーバ１４にリアルタイムで送信されてもよく、品質低下の程度は、コンピュータ・ネットワーク１２を通した接続の性質に依存し得るが、高品質信号は、接続品質に関係なく送信され得る。

遠隔会議サーバ１４は、２つの主な機能を実行し得る。第１の機能は、低品質信号を提供者端末１３にリアルタイムで中継することによって遠隔会議を維持することであり得る。例えば、リアルタイム遠隔会議が実現され得るように、遠隔会議サーバ１４は、カメラ／マイクロフォン１１から低品質信号を受信し、低品質信号を最小遅延のみで提供者端末１３に中継し得る。遠隔会議サーバ１４は、また、提供者端末１３から音声／映像データを受信し、各端部における相互ハードウェアを用いて音声／映像データを患者に中継し戻し得る。

遠隔会議サーバ１４によって実行される第２の主な機能は、高品質信号から症状を自動的に検出すること、そこから診断警報を生成すること、および低品質信号を用いる遠隔会議に対して診断警報を注釈付けすることである。しかしながら、他の手法によれば、自動検出および診断警報生成が、全く別のサーバ、例えば、症状認識サーバ１５によってハンドリングされてもよい。この手法によれば、カメラ／マイクロフォン１１は、高品質信号を非同期で症状認識サーバ１５に送信し、低品質信号をリアルタイムで遠隔会議サーバ１４に送信し得る。症状認識サーバ１５は、次いで、診断警報を遠隔会議サーバ１４に送信してもよく、遠隔会議サーバ１４は、それに従って遠隔会議に注釈を付けてもよい。

図２は、本発明の例示的実施形態による、図１に示されるシステムの動作様式を示すフローチャートである。上述の通り、まず、患者の遠距離通信端末が、音声および映像信号を取得し得る（ステップＳ２１）。これらの高品質信号は、次いで、局所的に処理され得るか、または処理のために縮小もしくは不可逆型圧縮なしに症状認識サーバに非同期で送信され得る（ステップＳ２４）かのいずれかである。処理がどこで行われるかに関わらず、処理は、診断警報を生成する（ステップＳ２５）ために使用され得る症状の認識という結果をもたらし得る。

実質的に同時に、低品質信号は、利用可能な帯域幅に依存した品質で遠隔会議サーバに送信され得る（ステップＳ２３）。遠隔会議サーバは、診断警報を症状認識サーバから受信し、以下でより詳細に説明されるやり方で、その上で診断警報を注釈付けし得る（ステップＳ２７）。

症状認識サーバは、マルチモーダル・リカレント・ニューラル・ネットワークを利用して、高品質信号から診断警報を生成し得る。図３および図４は、この機能を実行するための例示的アルゴリズムを示す。

上述の通り、高精細音声および映像信号が取得され、症状認識サーバに非同期で送信され得る（３０１）。症状認識サーバは、その後映像信号を用いて、顔検出を実行し（３０２）、身体運動を検出し得る（３０３）。したがって、映像信号は、患者の顔、ならびに首、肩、および胴などの患者の身体の何らかの構成要素の画像を含み得る。一方、音声信号からは、声の音色が検出されてもよく（３０４）、言語が、発話テキスト化処理を用いて転写され得る（３０５）。

検出された顔から、動作ユニットが抽出されてもよく（３０６）、目印が検出されてもよい（３０７）。追加的に、皮膚の色が、皮膚の色の変化を検出するために追跡されてもよい。本明細書で定義される動作ユニットは、顔の運動／表現または特定の顔の筋肉群の運動、あるいはその両方の認識されたシーケンスを含み得る。このステップにおいて、１つまたは複数の動作ユニットの存在が、映像成分の検出された顔から識別される。この分析は、所定の動作ユニットのアトラスおよび照合ルーチンを利用して、既知の動作ユニットを映像成分の検出された顔と照合してもよい。

動作ユニット検出は、顔の目印を利用し得るが、これは必ずしも実例ではない。しかしながらいずれにしても、目印は、検出された顔から検出され得る（３０７）。識別された目印は、目、鼻、顎、口、眉などについての点を含み得る。各目印は、点で表されてもよく、各点の動きが、フレーム毎に追跡され得る（３１１）。追跡された点から、意味素性抽出が実行され得る（３１４）。意味素性は、目印の追跡から識別され得る顔の運動、例えば表現または癖あるいはその両方の、既知のパターンであり得る。

一方、検出された身体運動（３０３）から、身体姿勢（３０８）および頭部運動（３０９）が、判断され追跡され得る。これは、例えば、画像データを２値化および次いでシルエット化することによって達成され得る。ここでは、身体姿勢が、頭、肩、および胴の動きを一緒に含んでもよく、頭部運動は、頭部のみの運動の考察を含んでもよい。追加的に、身体姿勢は、例えば、硬く指を組み合わせるなどの動転しまたは取り乱している潜在意識表示を検出するために、腕および手の考察を含んでもよい。

発話テキスト化で転写された文字（３０５）から、自然言語処理が実行され得る（３１０）。自然言語処理は、患者が話している内容の文脈上の理解を判断するために使用されてもよく、言語構造抽出（３１３）を通して判断されるように、話される内容の情緒（３１２）および話される内容の文脈の両方を判断するために使用されてもよい。

抽出された動作ユニット（３０６）、意味素性抽出（３１４）、身体姿勢（３０８）、頭部運動（３０９）、検出された音色（３０４）、情緒分析（３１２）、および言語構造抽出（３１３）は、全てマルチモーダル・リカレント・ニューラル・ネットワーク（３１５）に送信され得る。マルチモーダル・リカレント・ニューラル・ネットワークは、このデータを使用して、感情強度の表現の程度および顔の運動（３１６）、ならびに言語に対する特徴の相関関係の表現（３１７）を判断し得る。感情強度の表現および顔の運動は、患者によって表示される感情のレベルを表してもよく、言語に対する特徴の相関関係は、患者の非言語コミュニケーションが話の内容の文脈と合っている程度を表してもよい。例えば、顔／身体の運動と言語／発話との間の矛盾が考慮され得る。過剰な感情表示は健康不調の症状を表すことがあり、特徴と言語との間の逸脱もそうであり得るため、これらの要因は、症状表示の可能性を判断するために使用され得る。しかしながら、本発明の例示的実施形態は、マルチモーダル・リカレント・ニューラル・ネットワークを使用してこれらの出力のみを生成することに限定されず、任意の他の特徴が、上述したそれらの特徴などの健康不調の症状を検出するためにマルチモーダル・リカレント・ニューラル・ネットワークによって使用され得る。

これらの特性を査定する際に、強度の表現および顔の運動（３１６）が、閾値と比較されてもよく、閾値より高い値は、症状と考えられ得る。さらに、表現と言語との間の相関関係の程度（３１７）が、同様に閾値と比較され得る。

ここで、多重出力のリカレント・ネットワークは、異なる特徴様式の時間依存をモデリングする際に使用されてもよく、単に映像特徴を経時的に集約する代わりに、入力特徴の隠れた状態が、リカレント・ニューラル・ネットワークに追加の層を提案することによって統合され得る。ネットワークにおいて、訓練サンプルについての異なるラベルが存在してもよく、それは、顔の表現の強度を測定するだけでなく、表現と言語分析との間の相関関係を定量化する。特に、患者の顔の表現が不足しているとき、音声の特徴が、やはり感情の深さを分析するために使用され得る。

健康不調の症状を検出するためにマルチモーダル・リカレント・ニューラル・ネットワークのこれらのまたは他の出力あるいはその両方を査定する際に、音声／映像信号内の潜在的な症状を識別するために粗密戦略が使用され得る（３１８）。この情報は、潜在的な症状が示されていると見られる映像内の重要フレームを識別するために使用される。このステップは、上述の診断警報生成の一部であると考えられ得る。これらのフレームは、高品質信号および低品質信号のフレーム間を相互に関連付けてもよく、その際、診断警報は、進行中に低品質遠隔会議の画像で誇張されてもよい。症状が表示された時間と診断警報が生成された時間との間に、ある時間量が経過していてもよいが、診断警報は遡及的であってもよく、診断警報が生成されたことを示す標識、患者のどの顔の特徴が症状を表し得るかを示す標識、および関連する映像／音声を遠隔会議が進行しているときにその上にピクチャ・イン・ピクチャとして再生する何らかの方法も含んでもよい。再生のオーバレイは、高品質信号または低品質信号のいずれかからのものであってもよい。

図５は、本発明の例示的実施形態による、遠隔会議表示を示す図である。表示画面５０は、低品質信号からの患者５１のリアルタイム映像画像を含み得る。診断警報は、その上にオーバレイされてもよく、検出された症状の性質を特定する文字警報５２、検出された症状を参照し、症状を表示する役割をする患者の領域に注意を惹く、ポインタ警報５３ａおよび５３ｂ、または重要フレーム周辺の映像クリップが、例えば繰返しループで表示される再生映像ボックス５４、あるいはそれらの組み合わせを含む。

本発明の例示的実施形態は、高品質映像信号に対して症状認識を実行する必要はない。本発明のいくつかの例示的実施形態によれば、カメラ／マイクロフォンが、低品質映像信号を症状認識サーバに送信してもよく、症状認識サーバは、あまり精密でない分析を実行することによって低品質映像信号に対する分析を実行してもよい。あるいは、症状認識サーバは、拡張された品質の映像信号を低品質映像信号から生成するために低品質映像信号をアップサンプリングしてもよく、次いで拡張された品質の映像信号に対して、症状認識が実行されてもよい。

図６は、本発明のいくつかの実施形態による、システムの別の例を示す。概要として、本発明のいくつかの実施形態は、１つまたは複数の（例えば、「クラウド」の）コンピュータ・システム上、例えば、メインフレーム、パーソナル・コンピュータ（ＰＣ）、手持ちコンピュータ、クライアント、サーバ、ピア・デバイスなどの上で実行するソフトウェア・アプリケーションの形態で実施され得る。ソフトウェア・アプリケーションは、コンピュータ・システムによって局所的にアクセス可能な、またはネットワーク、例えばローカル・エリア・ネットワークもしくはインターネットに有線もしくは無線接続を介してリモートでアクセス可能な、あるいはその両方の、コンピュータ可読記憶媒体（以下でより詳細に説明される）上に記憶されるコンピュータ可読／実行可能命令として実施され得る。

ここで図６を参照すると、コンピュータ・システム（概してシステム１０００と呼ばれる）は、例えば、プロセッサ、例えば、中央処理装置（ＣＰＵ）１００１、ランダム・アクセス・メモリ（ＲＡＭ）などのメモリ１００４、プリンタ・インターフェース１０１０、表示ユニット１０１１、ＬＡＮにさらに連結され得るＬＡＮインターフェース１００６に動作可能に連結される、ローカル・エリア・ネットワーク（ＬＡＮ）データ送信コントローラ１００５、公衆交換電話網（ＰＳＴＮ）との通信を提供し得るネットワーク・コントローラ１００３、例えばキーボード、マウスなどの１つまたは複数の入力デバイス１００９、および様々なサブシステム／コンポーネントを動作可能に接続するためのバス１００２を含み得る。図示するように、システム１０００は、また、例えばハード・ディスク１００８などの不揮発性データ・ストアにリンク１００７を介して接続され得る。

いくつかの実施形態において、ソフトウェア・アプリケーションは、メモリ１００４に記憶され、ＣＰＵ１００１によって実行されるときに、図４および図５を参照して説明される本発明のいくつかの実施形態、例えば方法の１つまたは複数の特徴に従って、コンピュータ実施された方法をシステムに実行させる。

本発明は、任意の可能な統合の技術的詳細レベルにおけるシステム、方法、またはコンピュータ・プログラム製品、あるいはそれらの組み合わせであってもよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体（または複数の媒体）を含んでもよい。

コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持し、記憶し得る有形デバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁気記憶デバイス、半導体記憶デバイス、または前述したものの任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、静的ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック（登録商標）、フロッピー（登録商標）・ディスク、パンチカードまたはその上に記録された命令を有する溝内の隆起構造などの機械的に符号化されたデバイス、および前述したものの任意の適当な組み合わせを含む。本明細書で用いられるコンピュータ可読記憶媒体は、本来、電波もしくは他の自由伝播する電磁波、導波管もしくは他の送信媒体を通って伝播する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、または電線を通って送信される電気信号などの、一過性信号であると解釈されるべきではない。

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、あるいはネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、もしくはワイヤレス・ネットワーク、またはそれらの組み合わせを介して外部コンピュータまたは外部記憶デバイスに、ダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはそれらの組み合わせを含み得る。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、コンピュータ可読プログラム命令をネットワークから受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用の構成データ、またはＳｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの手続き型プログラミング言語を含む、１つもしくは複数のプログラミング言語の任意の組み合わせで書かれたソース・コードもしくはオブジェクト・コードのいずれかであってもよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、スタンドアロン・ソフトウェア・パッケージとして、ユーザのコンピュータ上で部分的にかつリモート・コンピュータ上で部分的に、またはリモート・コンピュータもしくはサーバ上で完全に、実行してもよい。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通して、ユーザのコンピュータに接続されてもよい。あるいは、接続は、（例えば、インターネット・サービス・プロバイダを使用してインターネットを通して）外部コンピュータに対して行われてもよい。いくつかの実施形態では、例えば、プログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個別化することによって、コンピュータ可読プログラム命令を実行し得る。

本発明の態様は、発明の実施形態による、方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して、本明細書において説明される。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方のブロックの組み合わせが、コンピュータ可読プログラム命令によって実施され得ると理解されたい。

コンピュータまたは他のプログラマブル・データ処理装置のプロセッサによって実行する命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作を実施する手段を生成するように、これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または機械を製造するための他のプログラマブル・データ処理装置のプロセッサに提供されてもよい。コンピュータ可読記憶媒体に記憶される命令を有するコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作の態様を実施する命令を含む製品を含むように、これらのコンピュータ可読プログラム命令は、また、コンピュータ、プログラマブル・データ処理装置、または他のデバイス、あるいはそれらの組み合わせに特定のやり方で機能するように指示し得る、コンピュータ可読記憶媒体に記憶されてもよい。

コンピュータ、他のプログラマブル装置、または他のデバイス上で実行する命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作を実施するように、コンピュータ可読プログラム命令は、また、コンピュータ実施されるプロセスを作り出すために、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実行させるコンピュータ、他のプログラマブル・データ処理装置、または他のデバイス上にロードされてもよい。

図面中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の考えられる実施のアーキテクチャ、機能性、および動作を示している。この点に関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実施するための１つまたは複数の実行可能命令を含む、モジュール、セグメント、または命令の一部を表し得る。いくつかの代替的実施において、ブロック内に記載された機能は、図面中に記載された順序以外で発生してもよい。例えば、連続して示される２つのブロックが、実際には、実質的に同時に実行されてもよく、または、ブロックが、関係する機能性次第で逆の順序で実行されることがあってもよい。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方におけるブロックの組み合わせが、指定された機能もしくは動作を実行し、または専用ハードウェアおよびコンピュータ命令の組み合わせを実行する専用ハードウェア・ベース・システムによって実施され得ることにも留意されたい。

本明細書に説明される例示的実施形態は、例示であり、多くの変形が、発明の思想または添付の特許請求の範囲から逸脱することなく、導入され得る。例えば、異なる例示的実施形態の要素または特徴あるいはその両方が、本発明および添付の特許請求の範囲内で、互いに結合されてもよく、または互いに代用されてもよく、あるいはその両方であってもよい。

Claims (20)

1. 遠隔会議システムであって、
   音声信号および高品質映像信号を取得し、取得した前記高品質映像信号を前記高品質映像信号のビット・レートより低いビット・レートの低品質映像信号に変換するように構成されるカメラおよびマイクロフォンを含む、第１の端末と、
   前記第１の端末および第２の端末と通信し、また、前記低品質映像信号および前記音声信号を前記第１の端末からリアルタイムで受信し、前記低品質映像信号および前記音声信号を前記第２の端末に送信するように構成される、遠隔会議サーバと、
   前記第１の端末および前記遠隔会議サーバと通信し、また、前記高品質映像信号および前記音声信号を前記第１の端末から非同期で受信し、前記高品質映像信号および前記音声信号を分析して１つまたは複数の病気の兆候を検出し、前記１つまたは複数の病気の兆候を検出すると診断警報を生成し、前記診断警報を前記第２の端末上の表示用に前記遠隔会議サーバに送信するように構成される、症状認識サーバと、
   を備える、遠隔会議システム。
2. 前記症状認識サーバが、マルチモーダル・リカレント・ニューラル・ネットワークを用いて前記高品質映像信号および前記音声信号から前記病気の兆候を検出するように構成される、請求項１に記載のシステム。
3. 前記症状認識サーバが、
   前記高品質映像信号から顔を検出することと、
   検出された前記顔から動作ユニットを抽出することと、
   検出された前記顔から目印を検出することと、
   検出された前記目印を追跡することと、
   追跡された前記目印を用いて意味素性抽出を実行することと、
   前記マルチモーダル・リカレント・ニューラル・ネットワークを用いて、検出された前記顔、抽出された前記動作ユニット、追跡された前記目印、および抽出された前記意味素性から前記病気の兆候を検出することと、
   によって、前記高品質映像信号から前記病気の兆候を検出するように構成される、請求項２に記載のシステム。
4. 前記症状認識サーバが、
   前記高品質映像信号から身体姿勢を検出することと、
   前記高品質映像信号から頭部運動を追跡することと、
   前記マルチモーダル・リカレント・ニューラル・ネットワークを用いて、検出された前記身体姿勢および追跡された前記頭部運動から前記病気の兆候を検出することと、
   によって、前記高品質映像信号から前記病気の兆候を検出するように構成される、請求項２に記載のシステム。
5. 前記症状認識サーバが、
   前記音声信号から音色特徴を検出することと、
   前記音声信号を転写して音声転写を生成することと、
   前記音声転写に対して自然言語処理を実行することと、
   前記音声転写に対して意味解析を実行することと、
   前記音声転写に対して言語構造抽出を実行することと、
   前記リカレント・ニューラル・ネットワークを用いて、検出された前記音色特徴、前記音声転写、前記自然言語処理の結果、前記意味解析の結果、および前記言語構造抽出の結果から前記病気の兆候を検出することと、
   によって、前記音声信号から前記病気の兆候を検出するように構成される、請求項２に記載のシステム。
6. 前記第１の端末が、前記高品質信号の分解能を低下させること、前記高品質信号のフレームレートを低下させること、または前記高品質信号を圧縮することによって、前記高品質映像信号をより低いビット・レートの低品質映像信号に変換するように構成される、請求項１に記載のシステム。
7. 前記症状認識サーバが、前記第１の端末の一部であるか、または前記第１の端末に局所的に接続される、請求項１に記載のシステム。
8. 前記遠隔会議サーバが、インターネットまたは別のワイド・エリア・ネットワークを経て前記第１の端末および前記第２の端末と通信する、請求項１に記載のシステム。
9. 前記第２の端末が、遠隔会議の一部として前記低品質映像信号を表示するように構成され、前記遠隔会議サーバが、前記第２の端末の前記表示上に前記診断警報をオーバレイするように構成される、請求項１に記載のシステム。
10. 前記遠隔会議サーバが、文字警報の形態で、前記第２の端末の前記表示上に前記診断警報をオーバレイするように構成される、請求項９に記載のシステム。
11. 前記遠隔会議サーバが、前記病気の兆候の基となる顔または身体の一部をハイライトし、または強調するグラフィック要素の形態で、前記第２の端末の前記表示上に前記診断警報をオーバレイするように構成される、請求項９に記載のシステム。
12. 前記遠隔会議サーバが、前記音声信号の文字音声転写上の注釈、ハイライト、または他のマーキングの形態で、前記第２の端末の前記表示上に前記診断警報をオーバレイするように構成される、請求項９に記載のシステム。
13. 前記遠隔会議サーバが、前記病気の兆候の基となる前記高品質映像信号の一部の再生を含むピクチャ・イン・ピクチャ要素の形態で、前記第２の端末の前記表示上に前記診断警報をオーバレイするように構成される、請求項９に記載のシステム。
14. 遠隔会議のための方法であって、
    音声信号および映像信号を第１の端末から取得することと、
    前記第１の端末および第２の端末と通信する遠隔会議サーバに、前記映像信号および前記音声信号を送信することと、
    前記第１の端末および前記遠隔会議サーバと通信する症状認識サーバに、前記映像信号および前記音声信号を送信することと、
    マルチモーダル・リカレント・ニューラル・ネットワークを用いて前記映像信号および前記音声信号から病気の兆候を検出することと、
    検出された前記病気の兆候についての診断警報を生成することと、
    前記診断警報で前記映像信号に注釈を付けることと、
    前記第２の端末上に注釈付きの前記映像信号を表示することと、
    を含む、方法。
15. 前記映像信号から前記病気の兆候を検出することが、
    前記映像信号から顔を検出することと、
    検出された前記顔から動作ユニットを抽出することと、
    検出された前記顔から目印を検出することと、
    検出された前記目印を追跡することと、
    追跡された前記目印を用いて意味素性抽出を実行することと、
    前記マルチモーダル・リカレント・ニューラル・ネットワークを用いて、検出された前記顔、抽出された前記動作ユニット、追跡された前記目印、および抽出された前記意味素性から前記病気の兆候を検出することと、
    を含む、請求項１４に記載の方法。
16. 前記映像信号から前記病気の兆候を検出することが、
    前記映像信号から身体姿勢を検出することと、
    前記映像信号から頭部運動を追跡することと、
    前記マルチモーダル・リカレント・ニューラル・ネットワークを用いて、検出された前記身体姿勢および追跡された前記頭部運動から前記病気の兆候を検出することと、
    を含む、請求項１４に記載の方法。
17. 前記音声信号から前記病気の兆候を検出することが、
    前記音声信号から音色特徴を検出することと、
    前記音声信号を転写して音声転写を生成することと、
    前記音声転写に対して自然言語処理を実行することと、
    前記音声転写に対して意味解析を実行することと、
    前記音声転写に対して言語構造抽出を実行することと、
    前記リカレント・ニューラル・ネットワークを用いて、検出された前記音色特徴、前記音声転写、前記自然言語処理の結果、前記意味解析の結果、および前記言語構造抽出の結果から前記病気の兆候を検出することと、
    を含む、請求項１４に記載の方法。
18. 前記映像信号を前記症状認識サーバに送信する前に、前記映像信号のビット・レートが低下される、請求項１４に記載の方法。
19. 前記映像信号から前記病気の兆候を検出する前に、前記映像信号がアップサンプリングされる、請求項１４に記載の方法。
20. コンピュータ・プログラムであって、前記コンピュータ・プログラムがコンピュータ・システム上で実行されるときに、請求項１４ないし１９のいずれかに記載の方法の全てのステップを実行する命令を含む、コンピュータ・プログラム。

Images