JP2011118632A - 発話の予備動作検出及び伝達方法及び装置及びプログラム - Google Patents
発話の予備動作検出及び伝達方法及び装置及びプログラム Download PDFInfo
- Publication number
- JP2011118632A JP2011118632A JP2009274929A JP2009274929A JP2011118632A JP 2011118632 A JP2011118632 A JP 2011118632A JP 2009274929 A JP2009274929 A JP 2009274929A JP 2009274929 A JP2009274929 A JP 2009274929A JP 2011118632 A JP2011118632 A JP 2011118632A
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- user
- storage means
- point
- web conference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Information Transfer Between Computers (AREA)
Abstract
【解決手段】 本発明は、入力された音声から発話を検出すると共に、映像と音声から予備動作(相槌、手の上下方向の動き、頷き、身体動作)検出して、各動作毎に所定のポイントを付与して保持すると共に、発話の有無と当該ポイントを他の端末に送信することで共有し、その上で、各端末において発話があるユーザを選択し、当該ユーザの表示領域に枠を重畳表示し、所定の有効時間内の予備動作のポイントを合計した値を発話可能性ポイントとし、最も高いポイントのユーザを選択して、当該ユーザの表示領域に枠を点滅させて重畳表示する。
【選択図】 図1
Description
入力された音声から発話を検出し、発話の有無を記憶手段に格納する発話検出ステップ(ステップ1)と、
入力された映像と音声から、音声での相槌、手の上下方向の動き、やや目立つように頷く、身体を前後に動かす、のいずれかを予備動作として検出して、各動作毎に所定のポイントを付与して記憶手段に格納する予備動作検出ステップ(ステップ2)と、
所定の有効時間内の予備動作のポイントを合計した値を発話可能性ポイントとして記憶手段に格納する発話可能性ポイント計算ステップ(ステップ3)と、
記憶手段から発話の有無と発話可能性ポイントを読み出して、ネットワークを介して他のクライアント端末に送信する送信ステップ(ステップ4)と、
発話の有無と発話可能性ポイントを受信すると記憶手段に格納する受信ステップ8ステップ5)と、
記憶手段から発話があるユーザを選択する話者選択ステップ(ステップ6)と、
表示手段に表示されている映像中の前記話者選択ステップで選択された前記発話があるユーザの表示領域の回りに枠を重畳表示する話者表示ステップ(ステップ7)と、
前記記憶手段から読み込んだ発話可能性ポイントが最も高いポイントのユーザを選択する次発話候補者選択ステップ(ステップ8)と、
表示手段に表示されている映像中の次発話候補選択ステップ(ステップ8)で選択されたユーザの表示時領域に枠を重畳表示する次発話候補表示ステップ(ステップ9)と、を行う。
次発話候補者選択ステップ(ステップ8)において選択された発話可能性ポイントが最も高いポイントのユーザの領域を所定の時間、所定の時間間隔で点滅させて重畳表示する。
映像及び音声を入力する映像・音声取込手段103と、
入力された音声から発話を検出し、発話の有無を記憶手段107に格納する発話検出手段106と、
入力された映像と音声から、音声での相槌、手の上下方向の動き、やや目立つように頷く、身体を前後に動かす、のいずれかを予備動作として検出して、各動作毎に所定のポイントを付与して記憶手段107に格納する予備動作検出手段104と、
所定の有効時間内の予備動作のポイントを合計した値を発話可能性ポイントとして記憶手段107に格納する発話可能性ポイント計算手段105と、
記憶手段107から発話の有無と発話可能性ポイントを読み出して、ネットワークを介して装置に送信し、他の装置から発話の有無と発話可能性ポイントを受信し、記憶手段107に格納する送受信手段108と、
記憶手段107から発話があるユーザを選択する話者選択手段109と、
発話可能性ポイントが最も高いポイントのユーザを選択する次発話候補者選択手段110と、
表示手段113に表示されている映像中の話者選択手段及び次発話候補選択手段で選択されたユーザの表示領域の回りに枠を重畳表示する枠重畳手段112と、を有する。
次発話候補者選択手段110で選択された発話可能性ポイントが最も高いポイントのユーザの領域を所定の時間、所定の時間間隔で点滅させて重畳表示する手段と、を含む。
・音声での相槌を打つ;
・手を上下方向へ動かす;
・やや目立つように頷く;
・身体を前後に動かす;
という4つの動作を検出する。各動作の検出方法を以下に示す。
映像・取込部103で取り込んだ音声で、音圧が閾値d0 dbを超えるもののうち、t0秒以内のものを相槌と判断する。
映像・音声取込部103で取り込んだ映像領域の中の肌色の領域を切り出し、この肌色領域の中心点(XH,YH)がt1秒間のフレーム間差分を取ったときに、y軸方向へy1ピクセル移動した場合、上下方向への手の動きと判断する。但し、この肌色の領域のうち、顔認識により、顔と判断された領域はこの判定から除く。肌色領域の切り出しと、顔認識には既存技術を用いる。
映像・音声取込部103で取り込んだ映像領域の中から、t2秒間のフレーム間差分を取ったときに移動した領域の、移動前の領域の中心点が(XM,YM)が、顔認識によって得られた顔領域の中心点(Fx,Fy)からx軸方向へx2ピクセル以下で、かつ、y軸方向へy2ピクセル以下である場合、これをやや目立つ頷きと判断する。但し、顔認識には既存技術を用いる。
映像・音声取込部103で取り込んだ映像領域の中から、t3秒間のフレーム間差分をとったときに移動した領域の中心点(XB,YB)がいずれかの方向へa1ピクセル以上移動していた場合、これを身体の動きと判断する。但し、顔認識により顔と判断された領域と、肌色であると判断された領域はこの判定から除く。顔認識と肌色領域の判定には既存技術を用いる。
101 ビデオカメラ
102 マイク
103 映像・音声取込手段、映像・音声取込部
104 予備動作検出手段、予備動作検出部
105 発話可能性ポイント計算手段、発話可能性ポイント計算部
106 発話検出手段、発話検出部
107 記憶手段、メモリ
108 送受信手段、送受信部
109 話者選択手段、話者選択部
110 次発話候補者選択手段、次発話候補者選択部
111 点滅間隔・時間計算部
112 枠重畳手段、枠重畳部
113 表示手段、表示装置
114 スピーカ
Claims (5)
- 複数の参加者によるWeb会議に用いられるクライアント端末において、次に発言する参加者を他の参加者に通知するWeb会議における発話の動作検出及び伝達方法であって、
入力された音声から発話を検出し、発話の有無を記憶手段に格納する発話検出ステップと、
入力された映像と音声から、音声での相槌、手の上下方向の動き、やや目立つように頷く、身体を前後に動かす、のいずれかを予備動作として検出して、各動作毎に所定のポイントを付与して前記記憶手段に格納する予備動作検出ステップと、
所定の有効時間内の前記予備動作のポイントを合計した値を発話可能性ポイントとして前記記憶手段に格納する発話可能性ポイント計算ステップと、
前記記憶手段から発話の有無と前記発話可能性ポイントを読み出して、ネットワークを介して他のクライアント端末に送信する送信ステップと、
前記発話の有無と前記発話可能性ポイントを受信すると記憶手段に格納する受信ステップと、
前記記憶手段から発話があるユーザを選択する話者選択ステップと、
表示手段に表示されている映像中の前記話者選択ステップで選択された前記発話があるユーザの表示領域の回りに枠を重畳表示する話者表示ステップと、
発話可能性ポイントが最も高いポイントのユーザを選択する次発話候補者選択ステップと、
表示手段に表示されている映像中の前記次発話候補選択ステップで選択されたユーザの表示領域に枠を重畳表示する重畳表示ステップと、
を行うことを特徴とするWeb会議における発話動作検出及び伝達方法。 - 前記重畳表示ステップは、
前記次発話候補者選択ステップにおいて選択された前記発話可能性ポイントが最も高いポイントのユーザの領域を所定の時間、所定の時間間隔で点滅させて重畳表示する
請求項1記載のWeb会議における発話動作検出及び伝達方法。 - 複数の参加者によるWeb会議に用いられるクライアント端末において、次に発言する参加者を他の参加者に通知するWeb会議における発話の動作検出及び伝達装置であって、
映像及び音声を入力する映像・音声取込手段と、
入力された音声から発話を検出し、発話の有無を記憶手段に格納する発話検出手段と、
入力された映像と音声から、音声での相槌、手の上下方向の動き、やや目立つように頷く、身体を前後に動かす、のいずれかを予備動作として検出して、各動作毎に所定のポイントを付与して前記記憶手段に格納する予備動作検出手段と、
所定の有効時間内の前記予備動作のポイントを合計した値を発話可能性ポイントとして前記記憶手段に格納する発話可能性ポイント計算手段と、
前記記憶手段から発話の有無と前記発話可能性ポイントを読み出して、ネットワークを介して装置に送信し、他の装置から発話の有無と前記発話可能性ポイントを受信し、前記記憶手段に格納する送受信手段と、
前記記憶手段から発話があるユーザを選択する話者選択手段と、
発話可能性ポイントが最も高いポイントのユーザを選択する次発話候補者選択手段と、
表示手段に表示されている映像中の前記話者選択手段及び前記次発話候補選択手段で選択されたユーザの表示時領域の回りに枠を重畳表示する枠重畳手段と、
を有することを特徴とするWeb会議における発話動作検出及び伝達装置。 - 前記枠重畳表示手段は、
前記次発話候補者選択手段において選択された前記発話可能性ポイントが最も高いポイントのユーザの領域を所定の時間、所定の時間間隔で点滅させて重畳表示する手段と、
を含む請求項3記載のWeb会議における発話動作検出及び伝達装置。 - 請求項3または請求項4に記載のWeb会議における発話動作検出及び伝達装置を構成する各手段としてコンピュータを機能させるためのWeb会議における発話動作検出及び伝達プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009274929A JP5143114B2 (ja) | 2009-12-02 | 2009-12-02 | 発話の予備動作検出及び伝達方法及び装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009274929A JP5143114B2 (ja) | 2009-12-02 | 2009-12-02 | 発話の予備動作検出及び伝達方法及び装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011118632A true JP2011118632A (ja) | 2011-06-16 |
JP5143114B2 JP5143114B2 (ja) | 2013-02-13 |
Family
ID=44283884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009274929A Expired - Fee Related JP5143114B2 (ja) | 2009-12-02 | 2009-12-02 | 発話の予備動作検出及び伝達方法及び装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5143114B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013142843A (ja) * | 2012-01-12 | 2013-07-22 | Fuji Xerox Co Ltd | 動作解析装置、音声取得装置、および、動作解析システム |
JP2016111426A (ja) * | 2014-12-03 | 2016-06-20 | 日本電信電話株式会社 | 推定装置、推定方法、およびプログラム |
JP2017117161A (ja) * | 2015-12-24 | 2017-06-29 | 日本電信電話株式会社 | コミュニケーションスキル評価システム、コミュニケーションスキル評価装置及びコミュニケーションスキル評価プログラム |
JP2017118364A (ja) * | 2015-12-24 | 2017-06-29 | 日本電信電話株式会社 | コミュニケーションシステム、コミュニケーション装置およびコミュニケーションプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002218424A (ja) * | 2001-01-12 | 2002-08-02 | Mitsubishi Electric Corp | 映像表示制御装置 |
JP2004515982A (ja) * | 2000-12-05 | 2004-05-27 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | テレビ会議及び他の適用においてイベントを予測する方法及び装置 |
JP2005260880A (ja) * | 2004-03-15 | 2005-09-22 | Ntt Communications Kk | ビデオ会議システムにおける映像表示方法及び映像表示制御方法、ビデオ会議システムに用いられる利用者端末及びサーバコンピュータ、並びにビデオ会議システムに用いられる利用者端末用プログラム及びサーバコンピュータ用プログラム |
-
2009
- 2009-12-02 JP JP2009274929A patent/JP5143114B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004515982A (ja) * | 2000-12-05 | 2004-05-27 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | テレビ会議及び他の適用においてイベントを予測する方法及び装置 |
JP2002218424A (ja) * | 2001-01-12 | 2002-08-02 | Mitsubishi Electric Corp | 映像表示制御装置 |
JP2005260880A (ja) * | 2004-03-15 | 2005-09-22 | Ntt Communications Kk | ビデオ会議システムにおける映像表示方法及び映像表示制御方法、ビデオ会議システムに用いられる利用者端末及びサーバコンピュータ、並びにビデオ会議システムに用いられる利用者端末用プログラム及びサーバコンピュータ用プログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013142843A (ja) * | 2012-01-12 | 2013-07-22 | Fuji Xerox Co Ltd | 動作解析装置、音声取得装置、および、動作解析システム |
JP2016111426A (ja) * | 2014-12-03 | 2016-06-20 | 日本電信電話株式会社 | 推定装置、推定方法、およびプログラム |
JP2017117161A (ja) * | 2015-12-24 | 2017-06-29 | 日本電信電話株式会社 | コミュニケーションスキル評価システム、コミュニケーションスキル評価装置及びコミュニケーションスキル評価プログラム |
JP2017118364A (ja) * | 2015-12-24 | 2017-06-29 | 日本電信電話株式会社 | コミュニケーションシステム、コミュニケーション装置およびコミュニケーションプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5143114B2 (ja) | 2013-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110730952B (zh) | 处理网络上的音频通信的方法和系统 | |
TW201608395A (zh) | 呼叫中的翻譯 | |
JP5211001B2 (ja) | 会議通信システム、会議通信方法及びプログラム | |
JP6044306B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP6175969B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
US11651541B2 (en) | Integrated input/output (I/O) for a three-dimensional (3D) environment | |
JP2009166184A (ja) | ガイドロボット | |
JP5143114B2 (ja) | 発話の予備動作検出及び伝達方法及び装置及びプログラム | |
US11671562B2 (en) | Method for enabling synthetic autopilot video functions and for publishing a synthetic video feed as a virtual camera during a video call | |
WO2011027475A1 (ja) | テレビ会議装置 | |
WO2018135304A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20230353707A1 (en) | Method for enabling synthetic autopilot video functions and for publishing a synthetic video feed as a virtual camera during a video call | |
JP6410346B2 (ja) | 遠隔意思疎通装置及びプログラム | |
US11627283B2 (en) | Method for enabling synthetic autopilot video functions and for publishing a synthetic video feed as a virtual camera during a video call | |
JP2019176375A (ja) | 動画出力装置、動画出力方法および動画出力プログラム | |
JP7423490B2 (ja) | ユーザの感情に応じたキャラクタの傾聴感を表現する対話プログラム、装置及び方法 | |
CN114598835A (zh) | 用于显示参与通信会话的用户的系统和方法 | |
JP7286303B2 (ja) | 会議支援システム及び会議用ロボット | |
JP6550951B2 (ja) | 端末、ビデオ会議システム、及びプログラム | |
JP5164911B2 (ja) | アバタ生成装置、方法およびプログラム | |
JP6182464B2 (ja) | 画像表示システム及び画像表示方法 | |
JP2005091463A (ja) | 情報処理装置 | |
WO2024084855A1 (ja) | 遠隔会話支援方法、遠隔会話支援装置、遠隔会話システム、及び、プログラム | |
JP5909475B2 (ja) | 遠隔対話装置及び方法 | |
JP7420078B2 (ja) | 情報処理装置及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121120 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151130 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5143114 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |