JP2011044885A - 遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム - Google Patents

遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム Download PDF

Info

Publication number
JP2011044885A
JP2011044885A JP2009191349A JP2009191349A JP2011044885A JP 2011044885 A JP2011044885 A JP 2011044885A JP 2009191349 A JP2009191349 A JP 2009191349A JP 2009191349 A JP2009191349 A JP 2009191349A JP 2011044885 A JP2011044885 A JP 2011044885A
Authority
JP
Japan
Prior art keywords
user
imaging device
unit
remote communication
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009191349A
Other languages
English (en)
Other versions
JP5418061B2 (ja
Inventor
Masayuki Tokumitsu
昌之 徳満
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2009191349A priority Critical patent/JP5418061B2/ja
Priority to US12/801,562 priority patent/US8525870B2/en
Publication of JP2011044885A publication Critical patent/JP2011044885A/ja
Application granted granted Critical
Publication of JP5418061B2 publication Critical patent/JP5418061B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

【課題】遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステムを提供すること。
【解決手段】第1のユーザの映像を受信して第2のユーザに提示するための遠隔コミュニケーション装置であって、前記第1のユーザの映像を撮像する撮像装置のズームを制御するズーム制御部と、前記撮像装置のズーム量に基づき、前記撮像装置と前記第1のユーザとの間の距離を推定する推定部と、を備える遠隔コミュニケーション装置を構成する。
【選択図】図3

Description

本発明は、遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステムに関する。
近日、ユーザが遠隔地に存在する他ユーザとコミュニケーションするための遠隔コミュニケーションシステムの研究が盛んに行われている。この遠隔コミュニケーションシステムは、ユーザの音声をマイクロホンで集音し、ユーザの映像を撮像装置で撮像し、音声および映像をリアルタイムで遠隔地に送信し、遠隔地において音声及び映像を再生することにより、ユーザの様子を遠隔地に存在する他ユーザに伝えることができる。
また、特許文献1には、通常の会話と類似する間隔で遠隔コミュニケーションを実現するためのテレビ会議システムが記載されている。具体的には、特許文献1には、遠隔地に複数の他ユーザが存在する場合に、大きな音のする方向に会話の中心になっている他ユーザがいると捉え、この他ユーザの方向に撮像装置の方向を向けるテレビ会議システムが記載されている。このテレビ会議システムによれば、ユーザが、遠隔地に存在する複数の他ユーザのうちで会話の中心になっている他ユーザの映像を中心に視認することができる。
特開平8−223551号公報
しかし、上記のテレビ会議システムでは、会話の中心になっている他ユーザの方向は音により検出できるものの、他ユーザと撮像装置との間の距離を検出することはできなかった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像装置と、撮像装置による撮像対象であるユーザとの間の距離を推定することが可能な、新規かつ改良された遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、第1のユーザの映像を受信して第2のユーザに提示するための遠隔コミュニケーション装置であって、前記第1のユーザの映像を撮像する撮像装置のズームを制御するズーム制御部と、前記撮像装置のズーム量に基づき、前記撮像装置と前記第1のユーザとの間の距離を推定する推定部と、を備える遠隔コミュニケーション装置が提供される。
前記推定部は、前記撮像装置のズーム量において前記撮像装置の撮像範囲内に所定の物体を配した場合に、前記所定の物体が前記撮像装置により得られる映像中の所定範囲を占めると推定される距離を、前記撮像装置と前記第1のユーザとの間の距離として推定してもよい。
前記撮像装置のパン角度、チルト角度、および前記推定部により推定された前記撮像装置と前記第1のユーザとの間の距離に基づいて、前記撮像装置が設置されている座標系における前記第1のユーザの座標を取得する座標取得部をさらに備えてもよい。
前記遠隔コミュニケーション装置は、前記第2のユーザの音声を集音する集音部と、前記第1のユーザ付近に設置された複数のスピーカの少なくともいずれかに前記集音部により集音された音声を送信する通信制御部と、をさらに備え、前記通信制御部は、前記座標取得部により取得された前記第1のユーザと最も座標が近いスピーカに前記集音部により集音された音声を送信してもよい。
前記遠隔コミュニケーション装置は、前記集音部により集音された前記第2のユーザの音声の音量を検出する音声処理部をさらに備え、前記推定部は、前記撮像装置のズーム量に加え、前記音声処理部により検出された前記第2のユーザの音声の音量に基づいて前記撮像装置と前記第1のユーザとの間の距離を推定してもよい。
前記遠隔コミュニケーション装置は、前記撮像装置のパン角度、チルト角度、および前記推定部により推定された前記撮像装置と前記第1のユーザとの間の距離に基づいて、前記撮像装置が設置されている座標系における座標範囲を取得する座標取得部と、前記第2のユーザの音声を集音する集音部と、前記第1のユーザ付近に設置された複数のスピーカのうちで、前記座標取得部により取得された前記座標範囲に含まれるスピーカに前記集音部により集音された音声を送信する通信制御部と、をさらに備えてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、第1のユーザの映像を受信して第2のユーザに提示するステップと、前記第1のユーザの映像を撮像する撮像装置のズームを制御するステップと、前記撮像装置のズーム量に基づき、前記撮像装置と前記第1のユーザとの間の距離を推定するステップと、を含む遠隔コミュニケーション方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、第1のユーザの映像を撮像する撮像装置と、前記撮像装置により撮像された映像を受信して第2のユーザに提示するための遠隔コミュニケーション装置と、を備え、前記遠隔コミュニケーション装置は、前記撮像装置のズームを制御するズーム制御部、および、前記撮像装置のズーム量に基づき、前記撮像装置と前記第1のユーザとの間の距離を推定する推定部、を有する、遠隔コミュニケーションシステムが提供される。
以上説明したように本発明によれば、撮像装置と、撮像装置による撮像対象であるユーザとの間の距離を推定することができる。
本発明の実施形態によるテレビ会話システムの構成を示した説明図である。 本実施形態に関連する遠隔コミュニケーション装置の構成を示した機能ブロック図である。 本実施形態による遠隔コミュニケーション装置の構成を示した機能ブロック図である。 操作部の具体的な構成例を示した説明図である。 システム制御部の詳細な構成を示した説明図である。 撮像装置の画角、撮像される映像、および球の位置の関係を示した説明図である。 撮像装置の画角、撮像される映像、および球の位置の関係を示した説明図である。 撮像装置により撮像され、表示部に表示される映像の具体例を示した説明図である。 遠隔コミュニケーション装置の遠隔地における座標系の具体例を示した説明図である。 推定距離の補正例を示した説明図である。 推定距離の補正例を示した説明図である。 呼びかけ範囲の具体例を示した説明図である。 呼びかけ範囲の具体例を示した説明図である。 本実施形態による遠隔コミュニケーション装置の動作を示したフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてスピーカ24A、24Bおよび24Cのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、スピーカ24A、24Bおよび24Cを特に区別する必要が無い場合には、単にスピーカ24と称する。
(テレビ会話システムの概要)
まず、図1を参照し、本発明の実施形態によるテレビ会話システム1の概要を説明する。
図1は、本発明の実施形態によるテレビ会話システム1の構成を示した説明図である。図1に示したように、本発明の実施形態によるテレビ会話システム1は、遠隔コミュニケーション装置10と、撮像装置22と、スピーカ24A〜24Cと、通信装置26と、を備える。このテレビ会話システム1によれば、遠隔コミュニケーション装置10を利用するユーザと、当該ユーザと遠隔するユーザA〜ユーザDとがリアルタイムにテレビ会議を行うことができる。
遠隔コミュニケーション装置10は、撮像装置22の撮像方向(パン、チルト)やズームの制御信号を通信装置26に送信する。また、遠隔コミュニケーション装置10は、制御信号に従って撮像装置22により撮像された映像を通信装置26から受信し、受信した映像を表示する。これにより、遠隔コミュニケーション装置10を利用するユーザは、遠隔するユーザA〜ユーザDの映像を視認することができる。また、遠隔コミュニケーション装置10は、遠隔コミュニケーション装置10を利用するユーザの音声を通信装置26へ送信する。
通信装置26は、遠隔コミュニケーション装置10と映像や音声を通信する。例えば、通信装置26は、撮像装置22により撮像された映像を遠隔コミュニケーション装置10へ送信し、遠隔コミュニケーション装置10から受信した音声をスピーカ24A〜24Cへ出力する。
撮像装置22は、遠隔コミュニケーション装置10から送信された制御信号に従って映像を撮像する。例えば、撮像装置22は、遠隔コミュニケーション装置10から送信された制御信号に従って撮像方向やズーム量を調整する。
スピーカ24A〜24Cは、通信装置26が遠隔コミュニケーション装置10から受信した音声が入力され、入力された音声を空気振動として出力する。これにより、ユーザA〜ユーザDが、遠隔するユーザが発した音声を聞くことができる。
なお、図1においては省略しているが、テレビ会話システム1は、ユーザA〜ユーザDの音声を集音するためのマイクロホンや、遠隔コミュニケーション装置10により撮像された遠隔コミュニケーション装置10を利用するユーザの映像を表示する表示装置を有してもよい。
(背景)
ここで、図2を参照し、本実施形態の背景として、本実施形態に関連する遠隔コミュニケーション装置30について説明する。
図2は、本実施形態に関連する遠隔コミュニケーション装置30の構成を示した機能ブロック図である。図2に示したように、遠隔コミュニケーション装置30は、方向検出部310と、システム制御部320と、撮像装置制御部330と、輪郭検出部340と、マイクロホン制御部350と、を備える。
この遠隔コミュニケーション装置30によれば、方向検出用マイクロホンにより集音される音声が最高音圧になる発話者の方向を方向検出部310が検出する。そして、撮像装置制御部330が、撮像装置42の撮像方向が方向検出部310により検出された発話者の方向になるように撮像装置42を制御する。同様に、マイクロホン制御部350が、集音用マイクロホン46の集音方向が方向検出部310により検出された発話者の方向になるように集音用マイクロホン46を制御する。
さらに、輪郭抽出部340が、撮像装置42より撮像された映像に対して輪郭抽出処理を行い、撮像装置制御部330が、輪郭抽出部340により抽出される輪郭が所定の図形と一致するように撮像装置42を制御する。これにより、発話者の映像が撮像装置42により撮像される映像中の適切な位置に配置される。
しかし、この遠隔コミュニケーション装置30では、発話者の方向は方向検出部310により検出できるものの、発話者と撮像装置42との間の距離を検出することはできなかった。
そこで、上記背景の下、本実施形態による遠隔コミュニケーション装置10を創作するに至った。本実施形態による遠隔コミュニケーション装置10は、撮像装置22と、撮像対象のユーザとの間の距離を推定し、さらに、撮像対象のユーザ位置に応じたスピーカ24から音声を出力させることができる。以下、このような遠隔コミュニケーション装置10について詳細に説明する。
(本実施形態による遠隔コミュニケーション装置の構成)
図3は、本実施形態による遠隔コミュニケーション装置10の構成を示した機能ブロック図である。図3に示したように、遠隔コミュニケーション装置10は、表示部110と、マイクロホン120と、システム制御部130と、撮像装置制御部140と、表示部150と、通信制御部160と、を備える。
操作部110は、ユーザ操作を受け付け、受け付けたユーザ操作の内容をシステム制御部130に出力する。操作部110に対するユーザ操作としては、撮像装置22の撮像方向を指定するための操作、撮像装置22のズーム量を指定するための操作などが挙げられる。以下、図4を参照し、このようなユーザ操作を受け付ける操作部110の具体的な構成例を説明する。
図4は、操作部110の具体的な構成例を示した説明図である。図4に示したように、操作部110は、ズーム操作部112と、チルト操作部114と、パン操作部116と、を有する。
ズーム操作部112は、ユーザ操作によりバーの位置が上下に移動される。ズーム操作部112は、バーの位置が移動されると、ズーム操作が行われたことを示す情報と、移動後のバーの位置とをシステム制御部130へ出力する。
また、チルト操作部114は、ユーザ操作によりバーの位置が上下に移動される。チルト操作部114は、バーの位置が移動されると、チルト操作が行われたことを示す情報と、移動後のバーの位置とをシステム制御部130へ出力する。
同様に、パン操作部116は、ユーザ操作によりバーの位置が左右に移動される。パン操作部116は、バーの位置が移動されると、パン操作が行われたことを示す情報と、移動後のバーの位置とをシステム制御部130へ出力する。
マイクロホン120は、遠隔コミュニケーション装置10のユーザの音声が入力される集音部である。また、マイクロホン120は、システム制御部130および通信制御部160と接続されており、入力されたユーザの音声は、システム制御部130および通信制御部160へ出力される。
なお、図4には操作部110の一例を示したに過ぎず、操作部110は、タッチパネル、ボタン、スイッチ、またはダイヤルなどにより構成されてもよい。さらに、操作部110は、リモートコントローラがユーザ操作に基づいて発する赤外線信号用の受光部あるいは無線信号の受信部などにより構成されてもよい。
システム制御部130は、操作部110およびマイクロホン120からの入力に基づき、撮像装置制御部140および通信制御部160への出力を行う。このシステム制御部130の詳細な構成については図5〜図13を参照して後述する。
撮像装置制御部140は、システム制御部130からの出力に従って撮像装置22を制御する。例えば、撮像装置制御部140は、システム制御部130からズーム量、チルト角度、およびパン角度などの制御量が入力され、入力された制御量に従って撮像装置22のパンおよびチルトなどの撮像方向や、ズームなどを制御する。すなわち、撮像装置制御部140は、ズーム制御部、チルト制御部、およびパン制御部としての機能を有する。撮像装置22は、撮像装置制御部140による制御に基づいて映像を撮像する。
表示部150は、撮像装置22により撮像された映像が供給され、供給された映像を遠隔コミュニケーション装置10のユーザに対して表示する。したがって、ユーザは、撮像装置22により撮像された映像を表示部150で確認しながら、操作部110を操作して撮像装置22を制御することができる。なお、表示部150は、例えばCRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置であってもよい。
通信制御部160は、システム制御部130からの出力に従い、マイクロホン120から入力される音声を、スピーカ24A〜24Cの少なくともいずれかに対して送信する。具体的には、通信制御部160は、システム制御部130から出力されるアドレスを有するスピーカ24にマイクロホン120から入力される音声を送信する。
(システム制御部)
図5は、システム制御部130の詳細な構成を示した説明図である。図5に示したように、システム制御部130は、制御量演算部132と、音声処理部134と、相対位置推定部136と、アドレス変換部138と、を備える。
制御量演算部132は、操作部110からの入力に応じて、撮像装置22の制御量を演算する。具体的には、ズーム操作部112、チルト操作部114、およびパン操作部116の各々のバーの位置と、撮像装置22のズーム量、チルト角度、およびパン角度との対応関係が設定されており、制御量演算部132は、操作部110からの入力を上記対応関係に従ってズーム量、チルト角度、およびパン角度などの制御量に変換する。制御量演算部132により得られたズーム量、チルト角度、およびパン角度などの制御量は、撮像装置制御部140および相対位置推定部136へ出力される。
音声処理部134は、マイクロホン120から入力される音声の音量を測定し、測定した音量を相対位置推定部136へ出力する。また、音声処理部134は、マイクロホン120から入力される音声が他ユーザに対する呼びかけであるか否かを判断する。
例えば、他ユーザに対する呼びかけが「おい、○○君」であると仮定すると、音声処理部134は、「おい」という音声が検出された場合に、マイクロホン120から入力される音声が他ユーザに対する呼びかけであると判断してもよい。また、音声処理部134は、マイクロホン120から入力される音声が他ユーザに対する呼びかけであると判断した場合、相対位置推定部136の処理を開始させる。
相対位置推定部136は、制御量演算部132から入力されるズーム量、チルト角度、およびパン角度などの制御量、および音声処理部134から入力される音量に基づいて、ユーザが話しかけようとしている呼びかけ相手の撮像装置22からの相対位置を推定する。例えば、パン角度およびチルト角度により、呼びかけ相手の撮像装置22からみた方向は定まる。しかし、パン角度およびチルト角度からでは、呼びかけ相手の撮像装置22からの距離は定まらない。そこで、相対位置推定部136は、ズーム量を利用して呼びかけ相手の撮像装置22からの距離を推定する。
具体的には、相対位置推定部136は、まず、ズーム量に基づいて画角θを求める。なお、相対位置推定部136は、ズーム量と画角の対応関係を示すテーブルを事前に保持しておき、このテーブルを参照することにより画角を求めてもよい。
次に、相対位置推定部136は、画角に基づいて呼びかけ相手の撮像装置22からの距離を推定する。例えば、相対位置推定部136は、仮想的に直径Mcmの球が撮像装置22の撮像範囲内に存在すると仮定し、指定された画角でこの球が画面の左右幅a%を占めるであろう距離を、呼びかけ相手の撮像装置22からの距離として推定する。ここで、呼びかけ相手の撮像装置22からの距離をLcmとすると、以下の数式1が成り立つ。
Figure 2011044885
したがって、例えば球の直径Mを30cm、画面幅に占める割合aを50%とすると、以下の数式2に従って距離Lを推定することができる。
Figure 2011044885
図6および図7は、撮像装置22の画角、撮像される映像、および球の位置の関係を示した説明図である。球の画面幅に占める割合aを50%とすると、図6に示した画角においては、相対位置推定部136により推定される距離Lが位置(B)と撮像装置22との距離となる。同様に、球の画面幅に占める割合aを50%とすると、図7に示した画角においては、相対位置推定部136により推定される距離Lが位置(B)と撮像装置22との距離となる。
なお、相対位置推定部136は、ズーム量と距離との関係を示すテーブルを保持し、当該テーブルを参照することにより、呼びかけ相手と撮像装置22との距離を推定してもよい。
また、呼びかけ相手と撮像装置22との距離の推定方法は、上記の数式を利用する方法に限定されない。例えば、相対位置推定部136は、撮像装置22により撮像される映像を解析することにより距離推定を行ってもよい。以下、図8を参照して具体的に説明する。
図8は、撮像装置22により撮像され、表示部150に表示される映像の具体例を示した説明図である。図8に示した例で映像におけるユーザの輪郭幅はxである。この輪郭幅xは、ズーム量および画角θに応じて変化する。したがって、この輪郭幅xが画面の左右幅に占める割合をa%、実際のユーザの輪郭幅yを所定値であると仮定すると、相対位置推定部136は、ズーム量に対応する画角θ、撮像された映像においてユーザの輪郭幅xが左右幅に占める割合a、および実際のユーザの輪郭幅yに基づいて距離推定を行うことができる。例えば、相対位置推定部136は、以下の数式3に従って距離推定を行ってもよい。
Figure 2011044885
アドレス変換部138は、相対位置推定部136により推定された相対位置に対応するスピーカ24を選択し、選択したスピーカ24のアドレスを通信制御部160へ出力する。具体的には、アドレス変換部138は、撮像装置22が設置されている遠隔地での座標系におけるスピーカ24A〜24Cの空間座標、および通信用のアドレスを保持している。また、アドレス変換部138は、相対位置推定部136により推定された相対位置(パン角度、チルト角度、および撮像装置22からの距離)から、呼びかけ相手の遠隔地での座標を取得する座標取得部としての機能も有する。
このため、アドレス変換部138は、呼びかけ相手と各スピーカ24との空間座標における距離を算出し、呼びかけ相手に最も近いスピーカ24を選択することが可能である。以下、図9を参照して具体的に説明する。
図9は、遠隔コミュニケーション装置10の遠隔地における座標系の具体例を示した説明図である。アドレス変換部138は、図9に示した座標系におけるスピーカ24A〜24Cの座標を保持している。また、呼びかけ相手がユーザCである場合、アドレス変換部138は、図9に示したように相対位置推定部136により推定された相対位置に基づいてユーザCの座標を得る。
さらに、アドレス変換部138は、ユーザCの座標と、スピーカ24A〜24Cの各々の座標間の距離を算出する。ここで、スピーカ24Bの座標がユーザCの座標に最も近いため、アドレス変換部138はスピーカ24Bを選択し、スピーカ24Bのアドレスを通信制御部160へ出力する。
なお、上記では、呼びかけ相手に最も近いスピーカ24を選択する例を説明したが、本実施形態はかかる例に限定されない。例えば、アドレス変換部138は、呼びかけ相手に所定数のスピーカ24を選択してもよい。
また、アドレス変換部138は、呼びかけ相手と各スピーカ24との空間座標における距離に応じて各スピーカ24の音量比率を決定してもよい。例えば、アドレス変換部138は、呼びかけ相手との距離が近いスピーカ24ほど音量比率を高め、呼びかけ相手との距離が遠いスピーカ24ほど音量比率を低めてもよい。そして、アドレス変換部138は、各スピーカ24の音量比率を各スピーカ24のアドレスと対応付けて通信制御部160へ出力してもよい。
(変形例)
上記では、呼びかけ相手と撮像装置22との距離をズーム量に基づいて推定する例を説明したが、本実施形態はかかる例に限定されない。変形例として、相対位置推定部136は、ズーム量に基づいて推定した距離を、音声処理部134により検出された音声の音量を用いて補正してもよい。
例えば、音声処理部134により検出された音声の音量が基準値より大きい場合、より遠くのユーザに対する呼びかけであると考えられる。そこで、相対位置推定部136は、音声処理部134により検出された音声の音量が基準値より大きい場合、距離に基づいて推定した距離をより長い距離に補正してもよい。以下、図10および図11を参照して具体的に説明する。
図10および図11は、推定距離の補正例を示した説明図である。相対位置推定部136は、図10に示したように、ズーム量に基づいて呼びかけ相手が位置(B)に存在すると推定し、かつ、音声処理部134により検出された音声の音量が基準値より大きい場合、呼びかけ相手の推定位置をより遠くの位置(D)に補正してもよい。
同様に、相対位置推定部136は、図11に示したように、ズーム量に基づいて呼びかけ相手が位置(C)に存在すると推定し、かつ、音声処理部134により検出された音声の音量が基準値より大きい場合、呼びかけ相手の推定位置をより遠くの位置(A)に補正してもよい。
なお、相対位置推定部136は、音声処理部134により検出された音声の音量が基準値より小さい場合、距離に基づいて推定した距離をより短い距離に補正してもよい。
また、相対位置推定部136は、呼びかけ相手の相対位置でなく、呼びかけ範囲を推定してもよい。この場合、アドレス変換部138は、呼びかけ範囲に含まれるスピーカ24を選択し、当該スピーカ24のアドレスを通信制御部160へ出力してもよい。以下、図12および図13を参照して具体的に説明する。
図12および図13は、呼びかけ範囲の具体例を示した説明図である。相対位置推定部136は、図12に示したように、ズーム量に基づいて推定した位置(B)と、位置(D)との間の範囲28を呼びかけ範囲として推定してもよい。同様に、相対位置推定部136は、図13に示したように、ズーム量に基づいて推定した位置(C)と、位置(A)との間の範囲28を呼びかけ範囲として推定してもよい。
(遠隔コミュニケーション装置10の動作)
以上、図3〜図13を参照し、本実施形態による遠隔コミュニケーション装置10の構成を説明した。続いて、図14を参照し、本実施形態による遠隔コミュニケーション装置10の動作を説明する。
図14は、本実施形態による遠隔コミュニケーション装置10の動作を示したフローチャートである。図14に示したように、まず、ユーザにより、操作部110に対して撮像装置22を制御するための操作が行われる(S210)。そして、制御量演算部132は、操作部110に対して行われたユーザ操作をズーム量、チルト角度、およびパン角度などの制御量に変換する(S220)。
さらに、撮像装置制御部140が、制御量演算部132により得られたズーム量、チルト角度、およびパン角度などの制御量に従って撮像装置22を制御する(S230)。これにより、ユーザの所望する範囲の映像が撮像装置22により撮像され、撮像された映像を表示部150で確認することができる。
続いて、遠隔する他ユーザに呼びかけるユーザ音声がマイクロホン120に入力されると(S240)、相対位置推定部136が、呼びかけ相手の撮像装置22からの相対位置を推定する。具体的には、相対位置推定部136は、チルト角度およびパン角度に基づいて呼びかけ相手の方向を推定し、ズーム量に基づいて呼びかけ相手の撮像装置22からの距離を推定する。
その後、アドレス変換部138が、相対位置推定部136により推定された相対位置に対応するスピーカ24を選択し、選択したスピーカ24のアドレスを通信制御部160へ出力する(S260)。具体的には、アドレス変換部138は、撮像装置22が設置されている遠隔地での座標系におけるスピーカ24A〜24Cの空間座標、および通信用のアドレスを保持している。また、アドレス変換部138は、相対位置推定部136により推定された相対位置から、呼びかけ相手の遠隔地での座標系を得ることができる。このため、アドレス変換部138は、呼びかけ相手と各スピーカ24との空間座標における距離を算出し、呼びかけ相手に最も近いスピーカ24を選択することが可能である。
そして、通信制御部160が、アドレス変換部138により選択されたスピーカ24へユーザ音声を送信する(S270)。これにより、ユーザ音声を、遠隔コミュニケーション装置10のユーザの呼びかけ相手に最も近いスピーカ24から出力させることが可能となる。
(まとめ)
以上説明したように、本実施形態によれば、撮像装置22のズーム量に基づき、呼びかけ相手と撮像装置22との間の距離を推定することができる。さらに、本実施形態によれば、呼びかけ相手の位置に応じたスピーカからユーザ音声を出力させることが可能である。また、呼びかけ相手と撮像装置22との間の距離を、ユーザ音声の音量に応じて補正することもできる。
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、本明細書の遠隔コミュニケーション装置10の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、遠隔コミュニケーション装置10の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、遠隔コミュニケーション装置10に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した遠隔コミュニケーション装置10の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
10 遠隔コミュニケーション装置
22 撮像装置
24 スピーカ
26 通信装置
110 操作部
112 ズーム制御部
114 チルト制御部
116 パン制御部
120 マイクロホン
130 システム制御部
132 制御量演算部
134 音声処理部
136 相対位置推定部
138 アドレス変換部
140 撮像装置制御部
150 表示部
160 通信制御部

Claims (8)

  1. 第1のユーザの映像を受信して第2のユーザに提示するための遠隔コミュニケーション装置であって:
    前記第1のユーザの映像を撮像する撮像装置のズームを制御するズーム制御部と;
    前記撮像装置のズーム量に基づき、前記撮像装置と前記第1のユーザとの間の距離を推定する推定部と;
    を備える、遠隔コミュニケーション装置。
  2. 前記推定部は、前記撮像装置のズーム量において前記撮像装置の撮像範囲内に所定の物体を配した場合に、前記所定の物体が前記撮像装置により得られる映像中の所定範囲を占めると推定される距離を、前記撮像装置と前記第1のユーザとの間の距離として推定する、請求項1に記載の遠隔コミュニケーション装置。
  3. 前記撮像装置のパン角度、チルト角度、および前記推定部により推定された前記撮像装置と前記第1のユーザとの間の距離に基づいて、前記撮像装置が設置されている座標系における前記第1のユーザの座標を取得する座標取得部をさらに備える、請求項2に記載の遠隔コミュニケーション装置。
  4. 前記第2のユーザの音声を集音する集音部と;
    前記第1のユーザ付近に設置された複数のスピーカの少なくともいずれかに前記集音部により集音された音声を送信する通信制御部と;
    をさらに備え、
    前記通信制御部は、前記座標取得部により取得された前記第1のユーザと最も座標が近いスピーカに前記集音部により集音された音声を送信する、請求項3に記載の遠隔コミュニケーション装置。
  5. 前記集音部により集音された前記第2のユーザの音声の音量を検出する音声処理部をさらに備え、
    前記推定部は、前記撮像装置のズーム量に加え、前記音声処理部により検出された前記第2のユーザの音声の音量に基づいて前記撮像装置と前記第1のユーザとの間の距離を推定する、請求項4に記載の遠隔コミュニケーション装置。
  6. 前記撮像装置のパン角度、チルト角度、および前記推定部により推定された前記撮像装置と前記第1のユーザとの間の距離に基づいて、前記撮像装置が設置されている座標系における座標範囲を取得する座標取得部と;
    前記第2のユーザの音声を集音する集音部と;
    前記第1のユーザ付近に設置された複数のスピーカのうちで、前記座標取得部により取得された前記座標範囲に含まれるスピーカに前記集音部により集音された音声を送信する通信制御部と;
    をさらに備える、請求項1に記載の遠隔コミュニケーション装置。
  7. 第1のユーザの映像を受信して第2のユーザに提示するステップと;
    前記第1のユーザの映像を撮像する撮像装置のズームを制御するステップと;
    前記撮像装置のズーム量に基づき、前記撮像装置と前記第1のユーザとの間の距離を推定するステップと;
    を含む、遠隔コミュニケーション方法。
  8. 第1のユーザの映像を撮像する撮像装置と;
    前記撮像装置により撮像された映像を受信して第2のユーザに提示するための遠隔コミュニケーション装置と;
    を備え、
    前記遠隔コミュニケーション装置は、
    前記撮像装置のズームを制御するズーム制御部、および、
    前記撮像装置のズーム量に基づき、前記撮像装置と前記第1のユーザとの間の距離を推定する推定部、
    を有する、遠隔コミュニケーションシステム。


JP2009191349A 2009-08-20 2009-08-20 遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム Expired - Fee Related JP5418061B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009191349A JP5418061B2 (ja) 2009-08-20 2009-08-20 遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム
US12/801,562 US8525870B2 (en) 2009-08-20 2010-06-15 Remote communication apparatus and method of estimating a distance between an imaging device and a user image-captured

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009191349A JP5418061B2 (ja) 2009-08-20 2009-08-20 遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム

Publications (2)

Publication Number Publication Date
JP2011044885A true JP2011044885A (ja) 2011-03-03
JP5418061B2 JP5418061B2 (ja) 2014-02-19

Family

ID=43605026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009191349A Expired - Fee Related JP5418061B2 (ja) 2009-08-20 2009-08-20 遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム

Country Status (2)

Country Link
US (1) US8525870B2 (ja)
JP (1) JP5418061B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023276701A1 (ja) * 2021-06-28 2023-01-05 パナソニックIpマネジメント株式会社 話者ダイアライゼーションシステム、コミュニケーション解析システム、及び、発話量推定方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101626157B1 (ko) * 2009-06-05 2016-06-13 삼성전자주식회사 화상통화시 음성 신호의 출력 레벨 제어 방법 및 장치
JP5418061B2 (ja) * 2009-08-20 2014-02-19 沖電気工業株式会社 遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム
JP5834232B2 (ja) * 2011-01-17 2015-12-16 パナソニックIpマネジメント株式会社 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法
US11937014B2 (en) * 2022-03-17 2024-03-19 Lenovo (Singapore) Pte. Ltd. Permitting devices to change settings related to outbound audio/video streamed from another device as part of video conference

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002044792A (ja) * 2000-06-23 2002-02-08 Armstrong World Industries Inc アドレス可能なスピーカシステム
JP2002516535A (ja) * 1998-05-15 2002-06-04 ピクチャーテル コーポレイション オーディオソースの位置決定
JP2006135837A (ja) * 2004-11-09 2006-05-25 Nec Access Technica Ltd テレビ電話
JP2007074732A (ja) * 2005-09-07 2007-03-22 Polycom Inc マルチポイント・ビデオ会議における空間相関オーディオ
JP2007251355A (ja) * 2006-03-14 2007-09-27 Fujifilm Corp 対話システム用中継装置、対話システム、対話方法
JP2008042702A (ja) * 2006-08-09 2008-02-21 Fuji Xerox Co Ltd 被写体撮影装置、被写体表示装置、被写体表示システム及びプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2753495B2 (ja) * 1988-03-14 1998-05-20 チノン株式会社 カメラズームレンズ自動変倍装置
US6118475A (en) * 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
US5777668A (en) * 1994-08-25 1998-07-07 Amano & Associates Incorporated Furnace monitoring camera with pivoting zoom lens
JP2737682B2 (ja) 1995-02-13 1998-04-08 日本電気株式会社 テレビ会議システム
JP2000134598A (ja) 1998-10-28 2000-05-12 Nec Eng Ltd テレビ会議システム及びそれに用いるカメラ制御方法並びにその制御プログラムを記録した記録媒体
US6118946A (en) * 1999-06-29 2000-09-12 Eastman Kodak Company Method and apparatus for scannerless range image capture using photographic film
JP4298155B2 (ja) * 2000-11-17 2009-07-15 本田技研工業株式会社 距離測定装置、及び距離測定方法
JP4083684B2 (ja) * 2002-01-23 2008-04-30 道彦 庄司 画像処理システムおよび画像処理装置
JP4233081B2 (ja) * 2002-06-14 2009-03-04 フジノン株式会社 投映用ズームレンズおよびこれを用いた投写型表示装置
US7634305B2 (en) * 2002-12-17 2009-12-15 Given Imaging, Ltd. Method and apparatus for size analysis in an in vivo imaging system
JP3951984B2 (ja) * 2003-08-22 2007-08-01 日本電気株式会社 画像投影方法、及び画像投影装置
GB2407635B (en) * 2003-10-31 2006-07-12 Hewlett Packard Development Co Improvements in and relating to camera control
JP4321350B2 (ja) * 2004-05-14 2009-08-26 パナソニック株式会社 パラメタ推定方法、パラメタ推定装置および照合方法
US7733412B2 (en) * 2004-06-03 2010-06-08 Canon Kabushiki Kaisha Image pickup apparatus and image pickup method
US7671916B2 (en) * 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
US20070035628A1 (en) * 2005-08-12 2007-02-15 Kunihiko Kanai Image-capturing device having multiple optical systems
WO2007060794A1 (ja) * 2005-11-22 2007-05-31 Matsushita Electric Industrial Co., Ltd. 撮影装置、携帯端末装置、撮影方法、およびプログラム
JP5248806B2 (ja) * 2007-04-25 2013-07-31 キヤノン株式会社 情報処理装置、情報処理方法
JP5031475B2 (ja) * 2007-07-31 2012-09-19 キヤノン株式会社 ズームレンズ及びそれを有する撮影システム
JP5111007B2 (ja) * 2007-08-06 2012-12-26 キヤノン株式会社 ズームレンズ及びそれを有する撮像装置
US7995798B2 (en) * 2007-10-15 2011-08-09 Given Imaging Ltd. Device, system and method for estimating the size of an object in a body lumen
US7974841B2 (en) * 2008-02-27 2011-07-05 Sony Ericsson Mobile Communications Ab Electronic devices and methods that adapt filtering of a microphone signal responsive to recognition of a targeted speaker's voice
TWI386042B (zh) * 2008-12-17 2013-02-11 Altek Corp Digital camera device and its brightness correction method
JP5418061B2 (ja) * 2009-08-20 2014-02-19 沖電気工業株式会社 遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002516535A (ja) * 1998-05-15 2002-06-04 ピクチャーテル コーポレイション オーディオソースの位置決定
JP2002044792A (ja) * 2000-06-23 2002-02-08 Armstrong World Industries Inc アドレス可能なスピーカシステム
JP2006135837A (ja) * 2004-11-09 2006-05-25 Nec Access Technica Ltd テレビ電話
JP2007074732A (ja) * 2005-09-07 2007-03-22 Polycom Inc マルチポイント・ビデオ会議における空間相関オーディオ
JP2007251355A (ja) * 2006-03-14 2007-09-27 Fujifilm Corp 対話システム用中継装置、対話システム、対話方法
JP2008042702A (ja) * 2006-08-09 2008-02-21 Fuji Xerox Co Ltd 被写体撮影装置、被写体表示装置、被写体表示システム及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023276701A1 (ja) * 2021-06-28 2023-01-05 パナソニックIpマネジメント株式会社 話者ダイアライゼーションシステム、コミュニケーション解析システム、及び、発話量推定方法

Also Published As

Publication number Publication date
US20110043598A1 (en) 2011-02-24
US8525870B2 (en) 2013-09-03
JP5418061B2 (ja) 2014-02-19

Similar Documents

Publication Publication Date Title
US8416277B2 (en) Face detection as a metric to stabilize video during video chat session
CN108513070B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
US10044873B2 (en) Mute alert
US9729775B2 (en) Auto-focusing method and auto-focusing device
CN108989672B (zh) 一种拍摄方法及移动终端
CN110602401A (zh) 一种拍照方法及终端
JP5418061B2 (ja) 遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム
CN110913139B (zh) 拍照方法及电子设备
JP6493860B2 (ja) 監視制御システム及び監視制御方法
EP3125512A1 (en) Silent ring indication while listening music over a headset
KR20160003540A (ko) 좌석 선택 제시 방법, 장치, 프로그램 및 기록매체
CN109104564B (zh) 一种拍摄提示方法及终端设备
US20080304715A1 (en) Individual-identifying communication system and program executed in individual-identifying communication system
US20180191895A1 (en) Phone call processing method and apparatus
CN111447365B (zh) 一种拍摄方法及电子设备
CN105407021A (zh) 音量调节方法及装置
JP2009017330A (ja) テレビ会議システム、テレビ会議方法およびテレビ会議プログラム
CN104378576B (zh) 一种信息处理方法及电子设备
JP2014175944A (ja) テレビ会議装置、テレビ会議装置の制御方法、及びプログラム
JP2013077925A (ja) 電子機器
JP6435701B2 (ja) 制御装置
JP5151131B2 (ja) テレビ会議装置
KR20110090623A (ko) 얼굴추적이 가능한 홈네트워크 단말 및 그 단말에서의 얼굴추적방법
JP6835205B2 (ja) 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法
CN111147745B (zh) 拍摄方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131104

R150 Certificate of patent or registration of utility model

Ref document number: 5418061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees