JP2015531197A - ビデオ会議中の参加者の映像ミュートを可能にするための方法および装置 - Google Patents

ビデオ会議中の参加者の映像ミュートを可能にするための方法および装置 Download PDF

Info

Publication number
JP2015531197A
JP2015531197A JP2015524764A JP2015524764A JP2015531197A JP 2015531197 A JP2015531197 A JP 2015531197A JP 2015524764 A JP2015524764 A JP 2015524764A JP 2015524764 A JP2015524764 A JP 2015524764A JP 2015531197 A JP2015531197 A JP 2015531197A
Authority
JP
Japan
Prior art keywords
video
room
gesture
participant
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015524764A
Other languages
English (en)
Other versions
JP6456286B2 (ja
Inventor
リーベンス,サミー
ティトガット,ドニー
アーツ,マールテン
ナンブーディリ,ビナイ
シックス,エルウィン
Original Assignee
アルカテル−ルーセント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント filed Critical アルカテル−ルーセント
Publication of JP2015531197A publication Critical patent/JP2015531197A/ja
Application granted granted Critical
Publication of JP6456286B2 publication Critical patent/JP6456286B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

ビデオ会議の場所(ルーム1)における参加者の存在を隠すようになど、前記ビデオ会議中の前記場所におけるカメラによって記録されるビデオデータ(ビデオルーム1)を適合させるための方法が、前記場所(ルーム1)における前記ビデオ会議の任意の参加者によって、場合によって行われることになる既定のジェスチャを登録するステップと、前記ジェスチャを検出するステップと、それについて検出すると、前記場所(ルーム1)において前記ジェスチャを行った少なくとも一人の参加者を識別するステップと、前記ジェスチャを行った前記少なくとも一人の参加者に関するデータを前記ビデオデータから削除するようになど、前記ビデオデータを適合させるステップと、それにより、他の場所(ルーム2、…、ルームn)における前記ビデオ会議の他の参加者に送信されるための、適合させたビデオデータ(ビデオaルーム1)を生成するステップとを含む。

Description

本発明は、ビデオ会議に参加するユーザが、ビデオ会議システムの他のリモートユーザに見えるようになるか否かを制御することについて可能にするための、方法および装置に関する。これは、これらのユーザに、ユーザ自身を「映像ミュート(visual mute)」の状態にする可能性を提供することに関する。
この問題を解決するための簡単なソリューションは、単にそのルームを去ることである。しかし、ユーザは、積極的に会合に参加しないまでも、受身的に会合について行くことをなお望むことがあるので、これは常に適当とは限らない。
別のソリューションは、人である全体的な会合先導者が、ビデオ会議通話の特定の参加者ごとに、映像状態を手動で制御することである。しかしながら、これもまた、多くの参加者が出席している、またはシステムへの多くのミュート(ミュート解除)要求がなされる場合には、実現可能なソリューションではない。
したがって、本発明の実施形態の目的は、知られているタイプでありながら、上述された欠点を示さない方法を提示することである。
本発明の実施形態によれば、この目的は、ビデオ会議の場所における参加者の存在を隠すようになど、前記ビデオ会議中の前記場所におけるカメラによって記録されるビデオデータを適合させるための方法によって達成され、前記方法は、前記場所における前記ビデオ会議の任意の参加者によって、場合によって行われることになる既定のジェスチャを登録するステップと、前記ジェスチャを検出するステップと、それについて検出すると、前記場所において前記ジェスチャを行った少なくとも一人の参加者を識別するステップと、前記ジェスチャを行った前記少なくとも一人の参加者に関するデータを前記ビデオデータから削除するようになど、前記ビデオデータを適合させるステップと、それにより、他の場所における前記ビデオ会議の他の参加者に送信されるための、適合させたビデオデータを生成するステップとを含む。
このようにして、あらかじめ登録された既定のジェスチャを行う参加者を検出すると、この参加者の映像ミューティングを可能にする、自動化された、簡単なソリューションが提供される。
一変形例において、前記既定のジェスチャは、前記ビデオデータを分析することによって検出される。
この変形例において、ジェスチャ認識は、ビデオデータそれ自体の画像認識、その他などの、ビデオ分析技法を介して行われ得る。
別の変形例において、前記既定のジェスチャは、その上で前記既定のジェスチャが前記少なくとも一人の参加者によって行われる物体からの、および物体によって送信される、トリガ検出信号を受信することを用いて検出される。
この変形例は、たとえば、会議場所に存在する物体からの信号を受信することによって、代替的なやり方でジェスチャを検出することを可能にし、そのような物体は、一般に、ビデオ会議クライアントと通信し、参加者によって行われているジェスチャを示す信号を送信するように適合されている。そのような信号を受信すると、このジェスチャを行った会議参加者を認識するために、ビデオデータはさらに分析されてよい。あるいは、他の実施形態において、トリガ検出信号それ自体が既に、ジェスチャを行った参加者に関する情報を含むことができ、その結果、前記場所において前記ジェスチャを行った前記少なくとも一人の参加者の識別が、前記物体からの前記トリガ検出信号を分析することによって行われる。
一実施形態において、ビデオデータは、前記少なくとも一人の参加者に関係するビデオデータを、背景ビデオデータに差し替えることによって、適合されてよい。
これは、参加者の映像ミューティングのための簡単なやり方を提示する。
本発明は加えて、ビデオ会議中の場所におけるカメラによって記録されるビデオデータを適合させるためのビデオ分析および適合デバイスの実施形態に関し、前記ビデオ分析および適合デバイスは、前記ビデオデータを受信し、既定のジェスチャを行った前記場所における前記ビデオ会議の少なくとも一人の参加者を検出するために前記ビデオデータを分析し、前記既定のジェスチャを行った前記少なくとも一人の参加者を検出すると、前記少なくとも一人の参加者に関するデータを前記ビデオデータから削除するようになど、前記ビデオデータを適合させるステップを行い、それにより、適合させたビデオデータを生成して、前記適合させたビデオデータを前記ビデオ適合デバイスの出力に提供するように適合されている。
一変形例において、ビデオ適合デバイスは、前記少なくとも一人の参加者に関係するビデオデータを、背景ビデオデータに差し替えることによって、前記ビデオデータを適合させることできる。
別の変形例において、ビデオ分析および適合デバイスは、前記既定のジェスチャの存在を示すトリガ信号を受信し、前記トリガ信号を受信すると、前記既定のジェスチャを行った前記少なくとも一人の参加者の検出を開始するようにさらに適合されている。
別の実施形態において、ビデオ分析および適合デバイスは、前記既定のジェスチャを検出するために前記ビデオデータを分析し、前記既定のジェスチャを検出すると、前記既定のジェスチャを行う前記少なくとも一人の参加者の検出を開始するようにさらに適合されている。
本発明は加えて、場所におけるビデオ会議を記録するカメラからビデオデータを受信するように適合されたビデオ会議クライアントの実施形態に関し、前記ビデオ会議クライアントは、請求項6から8のいずれか一項に記載のビデオ分析および適合デバイスをさらに含み、前記ビデオ会議クライアントは、少なくとも1つの他の場所における前記ビデオ会議の他の参加者にサービス提供する少なくとも1つの他のビデオ会議クライアントに向けて、適合させたビデオデータを送信するようにさらに適合されていることを特徴とする。
一実施形態において、ビデオ会議クライアントは、前記既定のジェスチャに関するユーザ情報を受信し、格納するように適合された登録手段をさらに含む。
一変形例において、前記ユーザ情報は、物体の上で人によって行われるジェスチャ情報を含む。
別の実施形態において、ビデオ会議クライアントは、その上で前記既定のジェスチャが前記少なくとも一人の参加者によって行われる物体からの、および物体によって送信される、トリガ検出信号を受信するようにさらに適合されている。
これらの変形例において、ビデオ会議クライアントは、前記既定のジェスチャを検出し、認識するようになど、そのような物体と通信するように適合されている。
本発明は加えて、場所におけるビデオ会議の少なくとも一人の参加者によって行われる既定のジェスチャを検出するように適合された物体の実施形態に関し、前記物体は、前記既定のジェスチャを検出すると、トリガ検出信号を生成し、前記トリガ検出信号を前記場所におけるビデオ会議クライアントに提供するようにさらに適合されている。
一実施形態において、物体は、前記既定のジェスチャに関する登録要求を生成し、前記ビデオ会議クライアントに送信するようにさらに適合されている。
さらに他の実施形態において、前記物体は、ポータブル通信デバイスであり、その結果、前記ビデオ会議クライアントは、ビデオ会議の時間中に前記ポータブル通信デバイスを取り扱う前記ビデオ会議の参加者によって、場合によって行われる前記既定のジェスチャに関する前記ユーザ情報を提供するための登録要求を、前記ポータブル通信デバイスから受信することができる。
いくつかの変形例において、物体は、通信ユニット、および動き検出器またはタッチセンサを含む。
一実施形態において、前記物体は、モバイル電話機、ゲームコンソール、タブレットコンピュータ、ラップトップ、その他などのポータブル通信デバイスであってよい。
あるいは、任意の有形の日用品的な物体、たとえば、トースター、コーヒーマシン・・・で、小型の通信ユニットおよびタッチセンサが装備されたものが、会合ルームなどのそのような場所で使用されてもよい。
本発明は加えて、先の請求項6から8のいずれか一項に記載のビデオ分析および適合デバイスを含むビデオ会議サーバの実施形態に関する。
ビデオ会議サーバは、これらのそれぞれの場所における会議参加者のビデオデータを、それぞれのビデオ会議クライアントから受信することがさらにできてよい。
一変形例において、これらのビデオ会議クライアントはまた、既定のジェスチャ情報をサーバに向けて送信することができる。他の実施形態において、これらの既定のジェスチャは、すべてのクライアントについて同じであってもよく、サーバ内に集中的に格納されてよい。いくつかの実施形態において、会議サーバは、前記既定のジェスチャ情報を、異なる場所におけるビデオ会議クライアントに向けて伝達する。これらの実施形態について、ビデオ会議クライアントの実施形態は、参加者によって行われている既定のジェスチャを検出すると、行われているジェスチャを示す信号を、ビデオ会議サーバに送信するように適合されている。サーバは次いで、この特定のクライアントから受信されたビデオ画像をさらに分析し、ビデオデータをそれに応じて適合させることができる。
本発明は加えて、データ処理装置上で実行されるとき、請求項1から5のいずれか一項に記載の方法ステップを行うように適合されたソフトウェアを含む、コンピュータプログラム製品に関する。
特許請求の範囲において使用される用語「結合される(coupled)」は、直接接続のみに限定的であるように解釈されるべきではないことに留意されたい。したがって、「デバイスBに結合されたデバイスA」という表現の範囲は、デバイスAの出力が、デバイスBの入力に直接結合されるデバイスまたはシステムに限定されるべきではない。それは、Aの出力とBの入力との間にパスが存在し、それが他のデバイスまたは手段を含むパスであってもよいことを意味する。
特許請求の範囲において使用される用語「含む(comprising)」は、そこに挙げられた手段に限定的であるように解釈されるべきではないことに留意されたい。したがって、「手段AおよびBを含むデバイス」という表現の範囲は、構成要素AおよびBのみからなるデバイスに限定されるべきではない。それは、本発明に関して、デバイスのただ関係があるだけの構成要素がAおよびBであることを意味する。
本発明の上の、ならびに他の目的および特徴は、添付の図面と併用して一実施形態の以下の説明を参照することによって、より明らかとなり、本発明それ自体が最もよく理解されるだろう。
分散化されたビデオ会議クライアントアーキテクチャによる、n個の場所の間で開催されるビデオ会議の例示的な状況を示す図である。 分散化されたビデオ会議クライアントアーキテクチャについて、映像ミュートするための方法の詳細な実施形態を示す図である。 クライアント−サーバビデオ会議アーキテクチャについて、映像ミュートするための方法の詳細な実施形態を示す図である。 クライアント/サーバビデオ会議アーキテクチャによる、n個の場所の間で開催されるビデオ会議の例示的な状況を示す図である。 特定の場所における会議参加者によって行われるジェスチャの登録のための第1の変形例を示す図である。 特定の場所におけるm人の会議参加者によって行われるジェスチャの登録のための別の変形例を示す図である。 図4に図示されたアーキテクチャにおけるビデオ会議サーバの実施形態を示す図である。
図1は、ルーム1、ルーム2からルームnによって示される、n個の異なる場所の間で開催されるビデオ会議の状況を図示する。これらの場所はルームと表示されている事実に関わらず、そのような場所はまた、屋外のどこかであってもよく、または、たとえば、作業フロア、舞台、ガレージなどの、「ルーム」とは異なり得る屋内の場所にあってもよい。各場所は、その特定の場所におけるビデオ会議の異なる参加者を記録するための1つまたは複数のビデオカメラにより装備されている。図1では、各ルームが、cam1、cam2からcamnとそれぞれ表示された、1つのカメラを有する状況が図示されている。しかしながら、他の状況では、1つの場所でいくつかのカメラが、異なる参加者を記録するために使用されてもよい。
場所の各々には、それぞれの場所、ルーム1、ルーム2からルームnの場合、VCC1、VCC2からVCCnとそれぞれ表示された、ビデオ会議クライアントデバイスがさらに装備されている。そのようなビデオ会議クライアントは、そのそれぞれの場所で、ビデオ会議クライアントに結合されたそれぞれのカメラによって記録されるビデオデータを受信して、たとえば、データを圧縮し、符号化することによって、または、いくつかのカメラが1つのビデオ会議クライアントに結合されている場合は、データを1つの作成されたビデオの中にミキシングし、それに続いてこの結果として作成されたビデオを符号化することによって、ビデオデータを処理するように適合されている。1つの場所からの符号化されたビデオは次いで、ビデオ会議クライアントによって、他の場所における他のビデオ会議クライアントに送信される。これはまた、特定のビデオ会議クライアント、たとえばVCC1が、したがってまた、場所ルーム2からルームnより処理されたビデオを受信し、これらをディスプレイユニットD、たとえば、特定の場所におけるスクリーンに提供することになることを意味する。
本発明の実施形態は、所定のジェスチャを行う参加者を用いて、この参加者によるトリガを受信すると、場所におけるビデオ会議のこの参加者の存在を隠すようになど、この場所におけるこのビデオ会議中に、1つまたは複数のカメラによって記録されるビデオデータを適合させるための方法を提供することを狙いとする。このジェスチャは、たとえば、左手を振る、財布を上下に裏返す、椅子を押す、ゲームコンソール、タブレットコンピュータ、携帯電話機などのなんらかの動き検出および通信能力が装備されたモバイルデバイスをひっくり返す、または回転させるなど、何であってもよい。参加者自身をミュートするために、一定の場所の任意の参加者について1つのみのジェスチャが使用されることになる一実施形態において、この特定のジェスチャは、一定の場所内のすべての参加者によって同意済みであり、この場所におけるビデオ会議クライアントによって登録されている。これらの実施形態において、各場所は、映像ミュートをトリガすることになる、別々の場所固有の同意済みのジェスチャを有することができる。あるいは、より集中化されたアプローチによるビデオ会議システムは、すべての場所にわたって同じである、最初に定義された、または事前構成されたジェスチャを使用することができる。そのような状況において、ビデオ会議クライアントの各々は、このジェスチャによってトリガすることになるように事前構成されてよい。このケースでは、特定の場所におけるビデオ会議の参加者によって、場合によって行われることになる既定のジェスチャを登録するステップは、たとえば、このジェスチャを異なるビデオ会議クライアント内に単に格納することに還元することができる。場所ごとに認識されることになるジェスチャに参加者が最初に同意することができる、先に説明された状況において、このジェスチャの登録は、初期化ステップにおいて行われることになる。
他の、より複雑な実施形態においては、いくつかのジェスチャが登録されて、異なるジェスチャに基づいて、各人物が自分自身をミュートすることを可能にすることができる。しかしながら、これらの実施形態においては、登録手順はより複雑になる。
場所ごとに1つのみの共通のジェスチャが使用される図1の実施形態において、それぞれの場所、ルーム1、ルーム2からルームnごとに、これらのそれぞれの場所におけるそれぞれのビデオ会議クライアント、VCC1、VCC2からVCCnへの、それぞれのジェスチャ情報を表示する異なる入力、G1、G2からGnを用いて、これらの異なるジェスチャの登録が概略的に表示されている。これは、前記場所におけるカメラによって、任意の参加者によるこのジェスチャを行う行為を記録することを含むことができる。登録中、各人物が自らをミュートするために異なるジェスチャを行うことが可能にされない限り、ジェスチャを行う人物ではなく、ジェスチャのみが登録されることになることが注目されるべきである。1つのみのジェスチャが場所ごとに映像ミュートを可能にするという実施形態において、この場所固有のジェスチャを行う人物により記録されるビデオ情報は、この場所の関連付けられたビデオ会議クライアントに、カメラによって提供されることになる。これは、たとえば図5に図示されており、手を振るジェスチャが記録され、登録されることになる。G1は、そのとき、その手を振る任意の人物のビデオ情報である。この状況において、ルーム1についてのジェスチャ情報G1は、したがって、ジェスチャ行う任意の参加者によって最初に提供され、カメラcam1によって記録され、カメラcam1は次いで、ジェスチャ情報入力を収容する画像を、ビデオ会議クライアントVCC1に転送することになる。
各人物がミュートされるために異なるジェスチャを使用することができる、より複雑な実施形態では、これら人物の各々はそのとき、自分の特定のジェスチャで登録しなければならない。
ビデオ会議クライアント内には、VCC1の場合、GR1と表示されたジェスチャ登録手段が存在して、既定のジェスチャG1に関するそのような情報を受信し、格納することができる。上述された実施形態において、この登録手段は、したがってまた、後で認識されることになるジェスチャによるカメラからのビデオ情報を受信することができる。しかしながら、他の実施形態においては、そのような別々のジェスチャ登録手段は必要なく、その機能性が、VCCそれ自体のメモリまたは処理ユニット内に組み込まれていてもよい。
そのジェスチャが既定のジェスチャのビデオを用いてシステムに伝達される、場所ごとに1つのみの共通の登録されたジェスチャを用いる、図1および図5に図示されたこれらの実施形態においては、ビデオ会議は、登録の後で開始されることになる。カメラは、継続的にビデオ会議を記録することになり、画像は、特定のジェスチャを検出するためにVCC内で継続的に分析されることになる。特定のジェスチャを検出すると、ビデオデータは、実際にこのジェスチャを行っている、特定の場所における前記ビデオ会議の一人または複数の参加者を認識するために、さらに分析される。特定のジェスチャを行っている人物を検出すると、これらの人々の映像ミューティングが行われることになる。この映像ミュートを実現するために、記録されるビデオにおいて、この、もしくはこれらの参加者を削除する、または隠すようになど、カメラによって記録されるビデオデータが適合される。この適合は、これらの参加者に関係する画像ピクセルデータを、適切な背景ビデオデータに差し替えることを含むことができる。
図1で、ビデオルーム1と表示され、cam1と表示されたカメラによって記録される会議ビデオデータの分析および適合が、VAASと表示されたビデオ分析および適合デバイス内で行われる。図1の状況において、このビデオ分析および適合デバイスは、それぞれのビデオ会議クライアント内に含まれる。しかしながら、図4に図示されるものなどの他の状況においては、このビデオ分析および適合デバイスはまた、中央ビデオ会議サーバの中に存在することができる。これは、後の段落でより詳細に明らかにされることになる。
VAASと表示されたビデオ分析および適合デバイスは、場合によって符号化され、前記ビデオ会議に参加する他の場所における他の参加者に送信されるための、適合させたビデオデータを生成している。図1に図示された実施形態において、適合させたビデオは、ビデオaルーム1と表示され、VAASによって生成される。
図1に図示された状況では、ルーム1のビデオデータが適合されると、VAASが、ビデオaルーム1と表示されたこのようにして適合させたビデオを、ビデオ会議クライアントVCC1の送信ユニットVT1に提供することになる。VT1は、圧縮および符号化を行い、場合によって符号化され、適合させたビデオデータを、他の場所におけるビデオ会議の他の参加者にサービス提供する他のビデオ会議クライアントVCC2からVCCnに向けて、送信することができる。
ジェスチャそれ自体に応じて、その検出は、会議ビデオデータの単なる分析によって行われてもよい。これはたとえば、ジェスチャが、たとえば、(図5に図示されたような)手で合図する、頭を下げるなどの、もっぱら人体それ自体によって行われることになるジェスチャに関する場合の、または、木製テーブルの一部をカチカチ鳴らす、革財布の向きを変えるなどの、さらなる通信の手段を有さない物体に関係したケースである。
あるいは、既定のジェスチャは、ビデオ会議の参加者によってタッチされると物体によって送信される、信号の存在によって検出されてもよい。これは、たとえば、ジェスチャが、モバイル電話機、ラップトップなどのなんらかの動き感知および通信能力を有するデバイスの特定のボタンにタッチすること、モバイル電話機またはタブレットコンピュータの向きを変えること、bluetoothなどのタッチスクリーンおよび通信能力を有する腕時計にタッチすること、その他に関する場合のケースであってよい。
これらの状況において、既定のジェスチャは、たとえば、物体に動きセンサが装備されたケースにおいて、この物体それ自体によって簡単に検出され得る。このジェスチャを検出すると、物体は次いで、特定のトリガ検出信号を生成し、ビデオ会議クライアントに送信することになる。たとえば、各ビデオ会議クライアントがビデオ分析および適合デバイスVAASを含むときのいくつかのケースにおいて、この物体はまた、このトリガ検出信号をこのVAASに直接送信することができる。そのような状況において、ジェスチャの登録はそのとき、この特定の物体によるそのような信号をVCCまたはVAASに最初に送信することに還元されることになり、VCCまたはVAASは次いで、それに応じてこれを格納することになる。この状況は、これらのそれぞれの参加者1からmによって、それぞれのモバイル電話機O11からO1mを上下に裏返す場合の図6に示されており、これらのそれぞれのモバイル電話機によって、それぞれのトリガ検出信号G11からG1mを生成することになり、それにより、すべてがこれらのモバイル電話機からVCCへと、最初に伝達されることになる。あるいは、各ビデオ会議クライアントは既に、そのような物体によって送信されているそのような信号を即座に認識するようになど、事前構成されていてもよい。この状況において、各参加者1からmは、自分の特定のモバイル電話機に結び付けられているので、トリガ検出信号もまた、既定のジェスチャを行った人物についての情報を含むことになる。この状況は、たとえば、会議場所における任意の参加者によってタッチされると、スマートコーヒーマシンがまた、トリガ検出信号を送ることができる場合のケースとは異なっている。これらのケースでは、特定のジェスチャを行った人物の別々の検出が行われることになる。
トリガ検出信号はしたがって、携帯電話機などの物体によって送信される信号であってよく、信号は、この物体による特定の動き(たとえば、ひっくり返す、または上下に裏返す)を検出すると、この物体によって生成される。別の例において、信号は、特定のボタンが押されたことなどが腕時計によって検出されると、物体、たとえばこの腕時計によって送信される信号であってよい。当然ながら、これらの能力を有するすべてのタイプの物体が、この目的に対して使用されてよい。
ジェスチャ検出信号が物体によって生成されるすべてのそのようなケースでは、ビデオ分析および適合デバイスはそのとき、トリガ信号によってトリガされると、カメラからのビデオを単に分析し、適合させることになる。このトリガ信号は、VCCからVAASへと送信されてもどちらでもよく、その信号はそれ自体が、タッチされた物体によってトリガ検出信号が受信されると、VCCによって生成される。あるいは、トリガ信号は、この物体から、VAASによって直接受信されてもよい。先に言及されたように、図1に図示されるなどの非集中化された状況において、物体はまた、各VCCに存在するVAASと直接通信し、したがって、VAASを直接トリガすることができる。図4に図示されるなどのより集中化された状況において、VCCはなお非集中化されて場所ごとに存在するので、物体は、VCCとのみ通信することができる。VCCは次いで、それに応じて、追加のトリガ信号をサーバにおけるVAASに提供することになる。
特定の実装において、ビデオ会議クライアントと通信する物体は、したがって、モバイル電話機、ラップトップ、ゲームコンソール、その他などのポータブル通信デバイスであってよい。そのようなデバイスはそのとき、たとえば、ビデオ会議の開始前に、参加者によって場合によって行われる既定のジェスチャ、たとえば、このデバイスを上下に裏返すことなどのジェスチャに関する、ユーザ情報を提供するための登録要求を生成するように適合されている。そのような登録要求の生成はそのとき、このデバイスによるこの特定の動きの検出を含意し、特定の場所におけるビデオ会議クライアントへの特定のトリガ検出信号の生成がそれに続く。
その場所におけるすべての参加者がこの機能を享受したいと望むケースにおいて、すべてのこれらのデバイスは次いで、それらの登録信号を会議クライアントに送る必要がある。これは、図6に概略的に示されたもので、ここでは、参加者1から参加者mが、自分の携帯電話機を上下に裏返すことができ、m個のトリガ信号G11からG1mの生成がそれに続く。
この実施形態において、各人物は、固有のトリガを有する自分の物体に結び付けられているので、VAASはしたがって、ジェスチャを行った人物を即座に認識することになる。
どのモバイル電話機がどのユーザに属するか、および、任意のモバイル電話機からの任意のジェスチャ検出信号がこのモバイル電話機にタッチした人物の映像ミューティングにつながり得るという直接登録が存在しない他の実施形態では、ビデオ会議データの分析を用いた、ジェスチャを行った特定の人物の検出がなおも必要とされる。
図2は、図1の分散化された構成のための方法の高レベル実施形態を概略的に示す。
図4に図示された、VAASがビデオ会議サーバの一部であるより集中化された状況では、方法の実施形態は、図3に図示されたようなステップを有することができる。
他の実施形態において、1つの場所でビデオ会議クライアントがまた、他の場所におけるビデオ会議クライアントのために、ビデオ会議サーバの機能を組み込むことになる、なんらかの混合されたアーキテクチャが存在してもよい。
ビデオ会議サーバの別の実施形態のより詳細な実施形態が、図7に図示されている。ビデオ会議サーバは、GRと表示された中央ジェスチャ登録モジュールと、中央ジェスチャ検出モジュールGDと、映像ミュート領域セレクタVMRSと、出力作成モジュールOCとを含む。ジェスチャ登録モジュールGRは、登録されたジェスチャを受け入れ、円柱ブロック「ジェスチャ情報」GIによって表示された中央データベースまたはメモリに記憶する。図7に図示された実施形態におけるジェスチャ検出モジュールは、たとえば、物体における通信ユニットに結合されたジャイロスコープ検出器から来る、別々のジェスチャ入力信号を受信するように適合されている。GDは、ジェスチャ入力信号を受信すると、ジェスチャ入力信号が、メモリまたはデータベースからのあらかじめ登録されたジェスチャ情報に対応するかどうかを検査することになる。このジェスチャを行った人物の映像ミュートを可能にする特定のジェスチャが存在することが判明した場合、GDは引き続き、この信号を分析する、および/または、これがジェスチャ入力信号それ自体から明瞭でなかった場合、どの人物がこのジェスチャを実際に行ったのかを検査するために、受信されたビデオを分析することになる。参加者が認識されると、この情報は、映像ミュート領域セレクタVMRSへと転送されることになり、そのモジュールが、特定の場所から受信されたカメラビデオ入力から、検出された参加者をミュートすることになる。モジュールOC内では、すべてのカメラからのミュートされた、またはミュートされないビデオ入力が再び取りまとめられて、全体の出力を作成されたビデオとし、そのビデオが次いで、異なる個々の場所へと再び分散されることになる。
さらに他の実施形態において、特定の人物の映像ミューティングを、既定のジェスチャを行う別の人物によって可能にすることさえあり得てよい。そのようなケースにおいては、ジェスチャ登録データベースが、どのジェスチャがどの人物をミュートするべくトリガすることになるかについての相互参照情報を収容することになる。
本明細書におけるあらゆるブロック図は、本発明の原理を具体化する説明的な回路の概念的視点を表すことが、当業者によって認められるべきである。同様に、あらゆる流れ図(flow chart)、フロー図(flow diagram)、状態遷移図、擬似コード、その他は、コンピュータ可読媒体において実質的に表されてよく、かつコンピュータまたはプロセッサが明示的に示されていても、いなくても、そのようなコンピュータまたはプロセッサによってそのように実行され得る、さまざまなプロセスを表すことが認められるだろう。
本発明の原理が特定の装置と関連して上で説明されてきたが、この説明は、例としてのみなされ、添付の特許請求の範囲において定義されるような、本発明の範囲への限定としてなされたものでないことが明白に理解されるべきである。本発明の特許請求の範囲において、指定された機能を行うための手段として表現されるいずれの要素も、その機能を行うあらゆるやり方をも包含するように意図される。これは、たとえば、その機能を行う電子的もしくは機械的な要素の組合せ、または、機能を行うためにそのソフトウェアを実行するための適切な回路と組み合わされた、したがって、ファームウェア、マイクロコードなどを含む任意の形態のソフトウェア、ならびに、存在すれば、ソフトウェア制御された回路に結合された機械的な要素を含むことができる。そのような特許請求の範囲によって定義される本発明は、さまざまな列挙された手段によって提供される機能性が、特許請求の範囲が求めるやり方で組み合わされ、一緒にされており、別段そのように定義されない限り、いずれの物理的な構造も、特許請求される発明の新規性に対しては、ほとんど、またはまったく重要でないという事実に帰する。したがって出願人は、それらの機能性を提供することができるいずれの手段も、本明細書に示された機能性と均等であるものとみなす。

Claims (15)

  1. ビデオ会議の場所(ルーム1)における参加者の存在を隠すようになど、前記ビデオ会議中の前記場所におけるカメラによって記録されるビデオデータ(ビデオルーム1)を適合させるための方法であって、前記場所(ルーム1)における前記ビデオ会議の任意の参加者によって、場合によって行われることになる既定のジェスチャを登録するステップと、前記ジェスチャを検出するステップと、それについて検出すると、前記場所(ルーム1)において前記ジェスチャを行った少なくとも一人の参加者を識別するステップと、前記ジェスチャを行った前記少なくとも一人の参加者に関するデータを前記ビデオデータから削除するようになど、前記ビデオデータを適合させるステップと、それにより、他の場所(ルーム2、…、ルームn)における前記ビデオ会議の他の参加者に送信されるための、適合させたビデオデータ(ビデオaルーム1)を生成するステップとを含む、方法。
  2. 前記既定のジェスチャ(G1)が、前記ビデオデータ(ビデオルーム1)を分析することによって検出される、請求項1に記載の方法。
  3. 前記既定のジェスチャが、その上で前記既定のジェスチャが前記少なくとも一人の参加者によって行われる物体(O11、O1m)からの、および物体(O11、O1m)によって送信される、トリガ検出(G11、G1m)信号を受信することを用いて検出される、請求項1に記載の方法。
  4. 前記場所(ルーム1)において前記ジェスチャを行った前記少なくとも一人の参加者の識別が、前記場所における前記ビデオ会議の前記ビデオデータ(ビデオルーム1)を分析することによって行われる、請求項1から3のいずれか一項に記載の方法。
  5. 前記場所(ルーム1)において前記ジェスチャを行った前記少なくとも一人の参加者の識別が、前記物体(O11、O1m)からの前記トリガ検出信号を分析することによって行われる、請求項3に記載の方法。
  6. ビデオ会議中の場所(ルーム1)におけるカメラ(cam1)によって記録されるビデオデータ(ビデオルーム1)を適合させるためのビデオ分析および適合デバイス(VAAS)であって、前記ビデオデータ(ビデオルーム1)を受信し、既定のジェスチャを行った前記場所における前記ビデオ会議の少なくとも一人の参加者を検出するために前記ビデオデータ(ビデオルーム1)を分析し、前記既定のジェスチャを行った前記少なくとも一人の参加者を検出すると、前記少なくとも一人の参加者に関するビデオデータを前記ビデオデータから削除するようになど、前記ビデオデータ(ビデオルーム1)を適合させるステップを行い、それにより、適合させたビデオデータ(ビデオaルーム1)を生成して、前記適合させたビデオデータ(ビデオaルーム1)を前記ビデオ適合デバイスの出力に提供するように適合された、ビデオ分析および適合デバイス(VAAS)。
  7. 前記既定のジェスチャの存在を示すトリガ信号を受信し、前記トリガ信号を受信すると、前記既定のジェスチャを行った前記少なくとも一人の参加者の検出を開始するようにさらに適合された、請求項6に記載のビデオ分析および適合デバイス(VAAS)。
  8. 前記既定のジェスチャ(G1)を検出するために前記ビデオデータ(ビデオルーム1)を分析し、前記既定のジェスチャを検出すると、前記既定のジェスチャを行う前記少なくとも一人の参加者の検出を開始するようにさらに適合された、請求項6に記載のビデオ分析および適合デバイス(VAAS)。
  9. 場所(ルーム1)におけるビデオ会議を記録するカメラ(cam1)からビデオデータ(ビデオルーム1)を受信するように適合されたビデオ会議クライアント(VCC1)において、前記ビデオ会議クライアント(VCC1)が、請求項6から8のいずれか一項に記載のビデオ分析および適合デバイス(VAAS)をさらに含み、前記ビデオ会議クライアント(VCC1)が、少なくとも1つの他の場所(ルーム2;ルームn)における前記ビデオ会議の他の参加者にサービス提供する少なくとも1つの他のビデオ会議クライアント(VCC2;VCCn)に向けて、適合させたビデオデータ(ビデオaルーム1)を送信するようにさらに適合されていることを特徴とする、ビデオ会議クライアント(VCC1)。
  10. 前記既定のジェスチャに関するユーザ情報を受信し、格納するように適合された登録手段(GR1)をさらに含む、請求項9に記載のビデオ会議クライアント(VCC1)。
  11. その上で前記既定のジェスチャが前記少なくとも一人の参加者によって行われる物体(O11、O1m)からの、および物体(O11、O1m)によって送信される、トリガ検出(G11、G1m)信号を受信するようにさらに適合された、請求項9または10に記載のビデオ会議クライアント(VCC1)。
  12. 場所(ルーム1)におけるビデオ会議の少なくとも一人の参加者によって行われる既定のジェスチャを検出するように適合された物体(O11、O1m)であって、前記既定のジェスチャを検出すると、トリガ検出信号(G11、G1m)を生成し、前記トリガ検出信号を前記場所(ルーム1)におけるビデオ会議クライアント(VCC1)に提供するようにさらに適合された、物体(O11、O1m)。
  13. 前記既定のジェスチャに関する登録要求を生成し、前記ビデオ会議クライアント(VCC1)に送信するようにさらに適合された、請求項12に記載の物体(O11、O1m)。
  14. 請求項6から8のいずれか一項に記載のビデオ適合デバイスを含むことを特徴とする、ビデオ会議サーバ。
  15. データ処理装置上で実行されるとき、請求項1から5のいずれか一項に記載の方法ステップを行うように適合されたソフトウェアを含む、コンピュータプログラム製品。
JP2015524764A 2012-08-03 2013-07-30 ビデオ会議中の参加者の映像ミュートを可能にするための方法および装置 Expired - Fee Related JP6456286B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12305965.1A EP2693746B1 (en) 2012-08-03 2012-08-03 Method and apparatus for enabling visual mute of a participant during video conferencing
EP12305965.1 2012-08-03
PCT/EP2013/065999 WO2014020022A1 (en) 2012-08-03 2013-07-30 Method and apparatus for enabling visual mute of a participant during video conferencing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017127037A Division JP2017195629A (ja) 2012-08-03 2017-06-29 ビデオ会議中の参加者の映像ミュートを可能にするための方法および装置

Publications (2)

Publication Number Publication Date
JP2015531197A true JP2015531197A (ja) 2015-10-29
JP6456286B2 JP6456286B2 (ja) 2019-01-23

Family

ID=48877262

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015524764A Expired - Fee Related JP6456286B2 (ja) 2012-08-03 2013-07-30 ビデオ会議中の参加者の映像ミュートを可能にするための方法および装置
JP2017127037A Pending JP2017195629A (ja) 2012-08-03 2017-06-29 ビデオ会議中の参加者の映像ミュートを可能にするための方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017127037A Pending JP2017195629A (ja) 2012-08-03 2017-06-29 ビデオ会議中の参加者の映像ミュートを可能にするための方法および装置

Country Status (6)

Country Link
US (1) US20150208031A1 (ja)
EP (1) EP2693746B1 (ja)
JP (2) JP6456286B2 (ja)
KR (2) KR102056588B1 (ja)
CN (1) CN104509096A (ja)
WO (1) WO2014020022A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017204845A (ja) * 2016-05-12 2017-11-16 富士ゼロックス株式会社 ビデオを動画と置き替える装置、プログラム及び方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9445048B1 (en) 2014-07-29 2016-09-13 Google Inc. Gesture-initiated actions in videoconferences
ITUB20153347A1 (it) 2015-09-02 2017-03-02 Stefano Spattini Apparato per la videocomunicazione
CN106572084B (zh) * 2016-10-18 2020-06-16 北京甄才科技发展有限公司 远程视频在线面试及评估系统
US11082661B1 (en) 2020-09-25 2021-08-03 Microsoft Technology Licensing, Llc Virtual conference view for video calling
US11997074B1 (en) * 2020-12-23 2024-05-28 Cyber Ip Holdings, Llc Obscuring participants in a videoconference
WO2022146169A1 (en) * 2020-12-30 2022-07-07 Ringcentral, Inc., (A Delaware Corporation) System and method for noise cancellation
KR20220138430A (ko) * 2021-02-22 2022-10-13 알서포트 주식회사 인공신경망을 이용한 동작 인식 화상회의 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222129A (ja) * 1994-01-28 1995-08-18 Hitachi Ltd 映像通信装置
JP2007019671A (ja) * 2005-07-05 2007-01-25 Nec Corp 画像通信システム及び画像処理プログラム
US20080225111A1 (en) * 2007-03-13 2008-09-18 Sony Corporation Two-way communication system, communication terminal device and image mute control method
JP2010541398A (ja) * 2007-09-24 2010-12-24 ジェスチャー テック,インコーポレイテッド 音声及びビデオ通信のための機能向上したインタフェース
JP2012253478A (ja) * 2011-06-01 2012-12-20 Konica Minolta Business Technologies Inc 会議支援システム、会議支援装置、会議支援方法およびコンピュータープログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433327B2 (en) * 2003-10-09 2008-10-07 Hewlett-Packard Development Company, L.P. Method and system for coordinating communication devices to create an enhanced representation of an ongoing event
JP4572615B2 (ja) * 2004-07-27 2010-11-04 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
US7564476B1 (en) * 2005-05-13 2009-07-21 Avaya Inc. Prevent video calls based on appearance
US20070153091A1 (en) * 2005-12-29 2007-07-05 John Watlington Methods and apparatus for providing privacy in a communication system
US8243116B2 (en) * 2007-09-24 2012-08-14 Fuji Xerox Co., Ltd. Method and system for modifying non-verbal behavior for social appropriateness in video conferencing and other computer mediated communications
CN101925916B (zh) * 2007-11-21 2013-06-19 高通股份有限公司 基于媒体偏好控制电子设备的方法和系统
JP5237055B2 (ja) * 2008-11-07 2013-07-17 キヤノン株式会社 映像送信装置、映像送信方法、およびコンピュータプログラム
CN101771830B (zh) * 2008-12-30 2012-09-19 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
US8487975B2 (en) * 2009-01-27 2013-07-16 Lifesize Communications, Inc. Conferencing system utilizing a mobile communication device as an interface
US20100257462A1 (en) * 2009-04-01 2010-10-07 Avaya Inc Interpretation of gestures to provide visual queues
JP2012054897A (ja) * 2010-09-03 2012-03-15 Sharp Corp 会議システム、情報処理装置、及び情報処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222129A (ja) * 1994-01-28 1995-08-18 Hitachi Ltd 映像通信装置
JP2007019671A (ja) * 2005-07-05 2007-01-25 Nec Corp 画像通信システム及び画像処理プログラム
US20080225111A1 (en) * 2007-03-13 2008-09-18 Sony Corporation Two-way communication system, communication terminal device and image mute control method
JP2008227919A (ja) * 2007-03-13 2008-09-25 Sony Corp 双方向コミュニケーションシステム、コミュニケーション端末装置および画像ミュート制御方法
JP2010541398A (ja) * 2007-09-24 2010-12-24 ジェスチャー テック,インコーポレイテッド 音声及びビデオ通信のための機能向上したインタフェース
JP2012253478A (ja) * 2011-06-01 2012-12-20 Konica Minolta Business Technologies Inc 会議支援システム、会議支援装置、会議支援方法およびコンピュータープログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017204845A (ja) * 2016-05-12 2017-11-16 富士ゼロックス株式会社 ビデオを動画と置き替える装置、プログラム及び方法

Also Published As

Publication number Publication date
CN104509096A (zh) 2015-04-08
US20150208031A1 (en) 2015-07-23
JP6456286B2 (ja) 2019-01-23
KR20150038065A (ko) 2015-04-08
KR102056588B1 (ko) 2019-12-18
JP2017195629A (ja) 2017-10-26
EP2693746A1 (en) 2014-02-05
EP2693746B1 (en) 2015-09-30
WO2014020022A1 (en) 2014-02-06
KR20170118260A (ko) 2017-10-24

Similar Documents

Publication Publication Date Title
JP6456286B2 (ja) ビデオ会議中の参加者の映像ミュートを可能にするための方法および装置
US10225519B2 (en) Using an avatar in a videoconferencing system
CN107528938B (zh) 一种视频通话方法、终端及计算机可读存储介质
EP3174283B1 (en) Preview image display method and apparatus, computer program and recording medium
US20160352661A1 (en) Video communication method and apparatus
JP2017532922A (ja) 画像撮影方法及び装置
WO2016003896A1 (en) Compositing and transmitting contextual information during an audio or video call
US20170279898A1 (en) Method for Accessing Virtual Desktop and Mobile Terminal
US8683054B1 (en) Collaboration of device resources
WO2017219497A1 (zh) 消息生成方法及装置
KR20170012979A (ko) 영상 공유 서비스를 위한 전자 장치 및 방법
CN113490010B (zh) 基于直播视频的互动方法、装置、设备及存储介质
WO2016045323A1 (zh) 控制视频画面呈现的方法及装置
US20170249513A1 (en) Picture acquiring method, apparatus, and storage medium
JP2017536024A (ja) ビデオ画像を制御するための方法及び装置
US10278033B2 (en) Electronic device and method of providing message via electronic device
CN111158576A (zh) 基于直播场景的社交关系建立方法、装置及存储介质
CN105099884B (zh) 即时通讯消息的呈现方法及装置
EP2854396A1 (en) Method and devices for determining visual attention in multi-location video conferencing
CN104837041B (zh) 视频投影方法及装置
US9420012B2 (en) Computer readable recording medium, communication terminal device and teleconferencing method
US20230114755A1 (en) Virtual space control system, method for controlling the same, and control program
KR20150144656A (ko) 영상 회의 단말 및 영상 회의 서비스 방법, 그리고 영상 회의 시스템

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160905

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170307

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181218

R150 Certificate of patent or registration of utility model

Ref document number: 6456286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees