JP2009141508A - テレビ会議装置、テレビ会議方法、プログラムおよび記録媒体 - Google Patents
テレビ会議装置、テレビ会議方法、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2009141508A JP2009141508A JP2007313824A JP2007313824A JP2009141508A JP 2009141508 A JP2009141508 A JP 2009141508A JP 2007313824 A JP2007313824 A JP 2007313824A JP 2007313824 A JP2007313824 A JP 2007313824A JP 2009141508 A JP2009141508 A JP 2009141508A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- video conference
- conference
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】ビデオループの問題を解決しつつ、コストを低減し、会議室の状況に応じた装置の柔軟な配置を実現する。
【解決手段】テレビ会議装置100,200は、他のテレビ会議装置から送信されたテーブル画像を受信する受信部201と、受信部201が受信した画像をテーブル表面の表示デバイスに表示させるテーブル画像表示部203と、会議テーブルの表示デバイスを含む表面を撮影するテーブル撮影部102と、受信部201が受信した画像を用いて、テーブル撮影部102が撮影した画像から、表示デバイスに表示された画像を除去したテーブル画像を生成するテーブル画像情報構成部104と、テーブル画像情報構成部104が生成したテーブル画像を他のテレビ会議装置に送信する送信部103とを有する。
【選択図】 図4
【解決手段】テレビ会議装置100,200は、他のテレビ会議装置から送信されたテーブル画像を受信する受信部201と、受信部201が受信した画像をテーブル表面の表示デバイスに表示させるテーブル画像表示部203と、会議テーブルの表示デバイスを含む表面を撮影するテーブル撮影部102と、受信部201が受信した画像を用いて、テーブル撮影部102が撮影した画像から、表示デバイスに表示された画像を除去したテーブル画像を生成するテーブル画像情報構成部104と、テーブル画像情報構成部104が生成したテーブル画像を他のテレビ会議装置に送信する送信部103とを有する。
【選択図】 図4
Description
本発明は、多地点を結んで会議を行うテレビ会議を実現するテレビ会議装置、テレビ会議方法、プログラムおよび記録媒体に関するものである。
従来、一つの会議室で行われる会議を支援するシステムとして、紙の撮影画像を、会議参加者のそれぞれの前に配置された他の紙における特定された画像投影領域へ投影することで、会議情報を共有するためのものがあった(例えば、特許文献1参照)。
一方、物品や資料についての意見交換等をテレビ会議で行う場合、それぞれの会議室においては、意見交換の対象となる物品や資料そのもの、あるいは物品や資料の画像を表示した1つのディスプレイを囲んで、物品や資料、画像等を指しながら会議を行う方が、会議参加者の意志の疎通が図りやすい。
一方、物品や資料についての意見交換等をテレビ会議で行う場合、それぞれの会議室においては、意見交換の対象となる物品や資料そのもの、あるいは物品や資料の画像を表示した1つのディスプレイを囲んで、物品や資料、画像等を指しながら会議を行う方が、会議参加者の意志の疎通が図りやすい。
しかしながら、遠隔地にある異なる2以上の会議室間における会議を実現する従来のテレビ会議システムにおいては、第一の会議室の会議テーブル等に配置された物品の外観や資料の内容を、遠隔地にある第二の会議室に適切に伝達して、臨場感あふれるテレビ会議を実現することができないという課題があった。
例えば、第一の会議室の会議テーブル表面の画像と第一の会議室の会議を撮影した画像とを第二の会議室の1つのディスプレイに並べて表示したり、第二の会議室の異なる2つのディスプレイに表示したりしても、ディスプレイを見ながら会議をしているような印象しか第二の会議室の会議参加者に与えないため、第一の会議室の様子等が適切に第二の会議室に伝達されず、第二の会議室においては、臨場感のある会議を行うことができない。
例えば、第一の会議室の会議テーブル表面の画像と第一の会議室の会議を撮影した画像とを第二の会議室の1つのディスプレイに並べて表示したり、第二の会議室の異なる2つのディスプレイに表示したりしても、ディスプレイを見ながら会議をしているような印象しか第二の会議室の会議参加者に与えないため、第一の会議室の様子等が適切に第二の会議室に伝達されず、第二の会議室においては、臨場感のある会議を行うことができない。
また、特に、第一の会議室の会議の画像と共に第一の会議室のテーブルに配置された物品等を撮影した画像を第二の会議室に送信し、会議の画像と物品等を撮影した画像とを第二の会議室の2つのディスプレイに別々に表示させた場合、表示させる2つのディスプレイの配置関係によっては、2つのディスプレイに表示される両方の画像の位置関係が感覚的に瞬時に把握できないことが考えられる。
例えば、第二の会議室のディスプレイに表示されている第一の会議室の会議の参加者が、第二の会議室のディスプレイにおいては、当該参加者の前に配置されている物品等の右側を触っているような画像が表示されているにもかかわらず、第二の会議室の別のディスプレイにおいては、当該参加者が画面の左側から物品の上部を触っている画像が表示される場合がある。このように表示されると、実際、誰が物品を触ったのかが瞬時に理解することができなくなってしまう。このように、会議の参加者の画像と物品等の画像との対応関係が直感的に分かりにくい結果、臨場感にあふれたテレビ会議が実現できないという課題があった。
この課題に対して、遠隔地にある会議室のテーブルの画像をローカルな会議室のテーブルに重ねて投影することで、遠隔地にいる人とあたかも同じテーブルを共有しているかの如く、臨場感あふれるテレビ会議を実現するという試みがなされている(例えば、特許文献2参照)。
例えば、第二の会議室のテーブルの様子を第二の会議室のカメラで撮影し、撮影された画像を第一会議室のテーブルに重ねて表示し、また第一の会議室のテーブルの様子を第一の会議室のカメラで撮影し、撮影された画像を第二の会議室のテーブルに重ねて表示することで、第一の会議室と第二の会議室のテーブルの様子をそれぞれの会議室の参加者が共有することができ、臨場感あふれるテレビ会議が可能となる。
例えば、第二の会議室のテーブルの様子を第二の会議室のカメラで撮影し、撮影された画像を第一会議室のテーブルに重ねて表示し、また第一の会議室のテーブルの様子を第一の会議室のカメラで撮影し、撮影された画像を第二の会議室のテーブルに重ねて表示することで、第一の会議室と第二の会議室のテーブルの様子をそれぞれの会議室の参加者が共有することができ、臨場感あふれるテレビ会議が可能となる。
特許文献2に開示されたシステムでは、ビデオループの問題を解決する必要があった。ビデオループの問題とは、第二の会議室のテーブル表面の画像を第一の会議室のテーブルに重ねて投影すると、第一の会議室のテーブル表面を撮影するカメラが、第二の会議室のテーブル表面の画像も撮影してしまうため、第一の会議室のテーブル表面の画像を第二の会議室に正しく伝えられないという問題である。この問題を解決するために、特許文献2には、第一の会議室のテーブルに重ねて投影された第二の会議室のテーブル表面の画像を第一の会議室のカメラが撮影しないように、ハーフミラー等を用いる技術が提案されている。
しかしながら、特許文献2に開示されたテレビ会議システム、すなわち遠隔地のテーブルの様子をローカルのテーブルに重ねて投影することで臨場感あふれる会議を実現するシステムには、以下のような問題点があった。
まず、特許文献2に開示されたシステムでは、上記ビデオループの問題を解決するために、ハーフミラー等の特殊な装置が必要となってしまう。このような特殊な装置によって構成されるテレビ会議システムは、価格が高価になるだけでなく、カメラと投影装置とミラーの配置が適切に設計されていなければならないため、会議室に応じた柔軟な配置が困難になってしまうという問題があった。
まず、特許文献2に開示されたシステムでは、上記ビデオループの問題を解決するために、ハーフミラー等の特殊な装置が必要となってしまう。このような特殊な装置によって構成されるテレビ会議システムは、価格が高価になるだけでなく、カメラと投影装置とミラーの配置が適切に設計されていなければならないため、会議室に応じた柔軟な配置が困難になってしまうという問題があった。
次に、特許文献2に開示されたシステムでは、ハーフミラー等の特殊な装置を用いずにカメラと投影装置の柔軟な配置を実現した場合、第二の会議室のテーブルの座席配置に伴って、第一の会議室のテーブルに重ねて投影する第二の会議室のテーブルの画像を回転する機構が必要となる。第一の会議室のテーブルに重ねて投影する第二の会議室のテーブルの画像を適切に回転しないと、例えば第二の会議室の参加者がテーブルに伸ばした手が、第一の会議室のテーブルの画像上ではその参加者が映っているディスプレイとは関係ない場所から入ってくるということが起こってしまう。このように表示されると、参加者の画像と参加者の手の画像の対応関係が瞬時に把握できないという問題があった。
また、特許文献2に開示されたシステムでは、投影する画像が2次元の画像であるため、第二の会議室のテーブル表面の画像を第一の会議室のテーブルに重ねて投影したとしても、第二の会議室の参加者が第二の会議室のテーブル上で例えばオブジェクトを持って3次元的な動きをすると、第一の会議室の参加者はその動きを瞬時に理解できないことがある。このような場合、第二の会議室の参加者は、第一の会議室の参加者にも分かるような動きに修正してオブジェクトを動かす必要があるが、自分の動きがどのように第一の会議室に伝わっているか、つまりどのようにテーブル上に表示されているかが分からないと修正できないという問題があった。
本発明は、上記課題を解決するためになされたもので、ビデオループの問題を解決しつつ、コストを低減し、かつ会議室の状況に応じた装置の柔軟な配置を実現することができるテレビ会議装置、テレビ会議方法、プログラムおよび記録媒体を提供することを目的とする。
また、本発明は、テーブルの様子がどのように撮影されて他の会議室に送信されるかを確認することができるテレビ会議装置、テレビ会議方法、プログラムおよび記録媒体を提供することを目的とする。
さらに、本発明は、他方の会議室の状況をこの会議室のテーブル上の状態も含めて擬似的に再現することにより、臨場感の高い会議を実現することができるテレビ会議装置、テレビ会議方法、プログラムおよび記録媒体を提供することを目的とする。
また、本発明は、テーブルの様子がどのように撮影されて他の会議室に送信されるかを確認することができるテレビ会議装置、テレビ会議方法、プログラムおよび記録媒体を提供することを目的とする。
さらに、本発明は、他方の会議室の状況をこの会議室のテーブル上の状態も含めて擬似的に再現することにより、臨場感の高い会議を実現することができるテレビ会議装置、テレビ会議方法、プログラムおよび記録媒体を提供することを目的とする。
本発明は、多地点を結んで会議を行うテレビ会議装置であって、会議テーブルの表面に設置された画像情報提示可能な表示デバイスと、他のテレビ会議装置から送信されたテーブル画像を受信する受信手段と、この受信手段が受信した画像を前記表示デバイスに表示させるテーブル画像表示手段と、前記会議テーブルの表示デバイスを含む表面を撮影するテーブル撮影手段と、前記受信手段が受信した画像を用いて、前記テーブル撮影手段が撮影した画像から、前記表示デバイスに表示された画像を除去したテーブル画像を生成するテーブル画像情報構成手段と、このテーブル画像情報構成手段が生成したテーブル画像を前記他のテレビ会議装置に送信する送信手段とを具備することを特徴とするものである。
また、本発明のテレビ会議装置の1構成例において、前記テーブル画像情報構成手段は、前記テーブル撮影手段が撮影した画像内における前記表示デバイスの表示領域の画像と前記受信手段が受信した画像とを比較して、一致する画像を有する領域を決定し、前記テーブル撮影手段が撮影した画像から、当該決定した領域内の画像を除去した前記テーブル画像を生成することを特徴とするものである。
また、本発明のテレビ会議装置の1構成例は、前記テーブル撮影手段が撮影した画像と前記受信手段が受信した画像とを合成する画像合成手段を更に有し、前記テーブル画像表示手段は、前記画像合成手段が合成した画像を前記表示デバイスに表示させることを特徴とするものである。
また、本発明のテレビ会議装置の1構成例は、前記受信手段が受信した画像を任意の角度で回転させる画像情報変換手段を更に有し、前記テーブル画像表示手段は、前記画像情報変換手段によって変換された画像を前記表示デバイスに表示させることを特徴とするものである。
また、本発明のテレビ会議装置の1構成例において、前記テーブル画像情報構成手段は、前記テーブル撮影手段が撮影した画像内における前記表示デバイスの表示領域の画像と前記受信手段が受信した画像とを比較して、一致する画像を有する領域を決定し、前記テーブル撮影手段が撮影した画像から、当該決定した領域内の画像を除去した前記テーブル画像を生成することを特徴とするものである。
また、本発明のテレビ会議装置の1構成例は、前記テーブル撮影手段が撮影した画像と前記受信手段が受信した画像とを合成する画像合成手段を更に有し、前記テーブル画像表示手段は、前記画像合成手段が合成した画像を前記表示デバイスに表示させることを特徴とするものである。
また、本発明のテレビ会議装置の1構成例は、前記受信手段が受信した画像を任意の角度で回転させる画像情報変換手段を更に有し、前記テーブル画像表示手段は、前記画像情報変換手段によって変換された画像を前記表示デバイスに表示させることを特徴とするものである。
また、本発明のテレビ会議方法は、受信手段が他のテレビ会議装置から送信されたテーブル画像を受信する受信ステップと、テーブル画像表示手段が前記受信ステップで受信された画像を会議テーブルの表面に設置された表示デバイスに表示させるテーブル画像表示ステップと、テーブル撮影手段が前記会議テーブルの表示デバイスを含む表面を撮影するテーブル撮影ステップと、テーブル画像情報構成手段が前記受信ステップで受信された画像を用いて、前記テーブル撮影ステップで撮影された画像から前記表示デバイスに表示された画像を除去したテーブル画像を生成するテーブル画像情報構成ステップと、送信手段が前記テーブル画像情報構成ステップで生成されたテーブル画像を前記他のテレビ会議装置に送信する送信ステップとを具備することを特徴とするものである。
また、本発明のテレビ会議プログラムは、テレビ会議方法の各ステップをコンピュータに実行させることを特徴とするものである。
また、本発明の記録媒体は、テレビ会議プログラムを記録したことを特徴とするものである。
また、本発明のテレビ会議プログラムは、テレビ会議方法の各ステップをコンピュータに実行させることを特徴とするものである。
また、本発明の記録媒体は、テレビ会議プログラムを記録したことを特徴とするものである。
本発明によれば、テーブル撮影手段が撮影した画像から、表示デバイスに表示された画像を除去したテーブル画像を生成するテーブル画像情報構成手段を設けることにより、一方の会議室のテーブル表面を撮影した画像が他方の会議室からフィードバックされて、再度、一方の会議室のテーブル表面に表示されるというビデオループの問題を解消することができ、テーブル表面への不適切な画像の表示をなくして、円滑で効率的な臨場感あふれる会議を実現することができる。本発明では、従来のテレビ会議システムのようにビデオループの問題を解消するためにハーフミラー等の特殊な装置を必要としないので、コストを低減することができ、またカメラと表示装置を会議室の状況に応じて柔軟に配置することができる。
また、本発明では、テーブル画像情報構成手段が、テーブル撮影手段が撮影した画像内における表示デバイスの表示領域の画像と受信手段が受信した画像とを比較して、一致する画像を有する領域を決定し、テーブル撮影手段が撮影した画像から、当該決定した領域内の画像を除去したテーブル画像を生成するので、テーブル表面への不適切な画像表示を解消するテーブル画像を生成することができる。
また、本発明では、テーブル撮影手段が撮影した画像と受信手段が受信した画像とを合成する画像合成手段を設けることにより、一方の会議室の会議テーブル上の様子がテーブル撮影手段によってどのように撮影されたかが正確かつ具体的に会議テーブル表面の表示デバイスに表示されるので、この会議室の参加者は、会議テーブルの様子がどのように撮影されて他の会議室に送信されるかを確認することができる。
また、本発明では、受信手段が受信した画像を任意の角度で回転させる画像情報変換手段を設けることにより、一方の会議室においては、他方の会議室の状況をこの会議室のテーブル上の状態も含めて擬似的に再現することができ、他方の会議室の状況をより細かく正確に伝えることができるので、臨場感あふれるテレビ会議が実現可能となる。
[参考例]
以下、本発明の参考例について図面を参照して説明する。なお、参考例および実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
本参考例では、ビデオループが起こらない構成、すなわちローカルなテーブルの撮影部分と遠隔地の画像の表示している部分が異なる形態を例にとり、ビデオ会議システムの基本構成及び動作について説明する。テーブル画像を表示する領域とテーブル画像を撮影する領域が重なる形態、すなわちビデオループが起こりうる形態においてビデオループを解消する方法については第1の実施の形態で説明する。
以下、本発明の参考例について図面を参照して説明する。なお、参考例および実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
本参考例では、ビデオループが起こらない構成、すなわちローカルなテーブルの撮影部分と遠隔地の画像の表示している部分が異なる形態を例にとり、ビデオ会議システムの基本構成及び動作について説明する。テーブル画像を表示する領域とテーブル画像を撮影する領域が重なる形態、すなわちビデオループが起こりうる形態においてビデオループを解消する方法については第1の実施の形態で説明する。
図1は、本参考例に係るテレビ会議システムの構成を示すブロック図である。また、図2(A)、図2(B)は本参考例に係るテレビ会議システムを上から見た様子を模式的に示す平面図、図3は本参考例に係るテレビ会議装置を斜め上方から見た様子を模式的に示す図である。なお、図2(A)、図2(B)および図3においては、後述する送信部103や受信部201、会議画像表示部202、テーブル画像表示部203等については記載を省略している。
本参考例のテレビ会議システムは、第一テレビ会議装置100と第二テレビ会議装置200とを具備している。第一テレビ会議装置100と第二テレビ会議装置200とは、例えばネットワーク300等を介して通信可能に接続されている。第一テレビ会議装置100と第二テレビ会議装置200とは、例えば2つの離れた会議室間で双方向の対話ができるように、それぞれの会議室に設置される。ここでは、例として第一テレビ会議装置100が設置されている会議室を第一会議室、第二テレビ会議装置200が設置されている会議室を第二会議室とする。
図2(A)に示すように第一会議室にはテーブル3000が設置され、図2(B)に示すように第二会議室にはテーブル4000が設置されているものとする。第一会議室、第二会議室の会議の参加者は、それぞれテーブル3000,4000を囲んで会議を行う。テーブル3000,4000上には、例えば会議に用いられる物品や資料等が配置される。テーブル3000,4000の形状等は問わない。通常、テーブル3000,4000は、後述する撮影部と撮影部の被写体である会議の参加者との間に配置される。
また、図2(A)に示すようにテーブル3000の表面には、第一テレビ会議装置100のテーブル画像表示部203の表示デバイスである液晶ディスプレイ3001が埋め込まれ、図2(B)に示すようにテーブル4000の表面には、第二テレビ会議装置200のテーブル画像表示部203の表示デバイスである液晶ディスプレイ4001が埋め込まれているものとする。第一テレビ会議装置100の会議画像表示部202は、表示デバイスとして表示面が地面に垂直に設置された液晶ディスプレイ2021を備え、同様に第二テレビ会議装置200の会議画像表示部202は、液晶ディスプレイ2022を備えているものとする。
第一テレビ会議装置100および第二テレビ会議装置200の撮影部101とテーブル撮影部102とは、それぞれCCDカメラを有しているものとする。図2(A)、図3に示した撮影領域1021は、第一テレビ会議装置100のテーブル撮影部102が撮影する領域であり、図2(B)に示した撮影領域1022は、第二テレビ会議装置200のテーブル撮影部102が撮影する領域である。本参考例では、液晶ディスプレイ3001は撮影領域1021に含まれておらず、液晶ディスプレイ4001は撮影領域1022に含まれていないものとする。
第一テレビ会議装置100の送信部103は、第二テレビ会議装置200の受信部201に対して会議画像情報を送信し、第二テレビ会議装置200の送信部103は、第一テレビ会議装置100の受信部201に対して会議画像情報を送信する。これらの送信先を指定するための情報として、例えばそれぞれの送信先のIPアドレス等のアドレス情報をメモリ等に予め格納しておき、送信時には、これらのアドレス情報を読み出し、このアドレス情報を用いて送信先を指定して会議画像情報やテーブル画像情報を送信する。
まず、図3に示すように、第一会議室において、一人の会議の参加者Aが、第一テレビ会議装置100の撮影部101の正面に着席する。そして、参加者Aは、テーブル3000上の撮影領域1021内に物品(例えば人形E)を配置したとする。ここでは、第一テレビ会議装置100のテーブル撮影部102の撮影領域1021と、第二テレビ会議装置200のテーブル画像表示部203の表示領域である液晶ディスプレイ4001の表示領域のサイズとがほぼ同じになるように設定されているものとする。
第一テレビ会議装置100の撮影部101は、参加者Aの上半身の動画像を撮影し、撮影した画像を示す会議画像情報を第一テレビ会議装置100の送信部103に出力する。送信部103は、会議画像情報をネットワーク300経由で第二テレビ会議装置200に送信する。
また、第一テレビ会議装置100のテーブル撮影部102は、テーブル3000表面の撮影領域1021内を撮影する。図3の例では、人形Eが撮影領域1021内に配置されているため、この人形Eを含むテーブル3000表面の撮影領域1021内の動画像が撮影される。テーブル撮影部102は、撮影した画像を示すテーブル画像情報を第一テレビ会議装置100の送信部103に出力する。送信部103は、テーブル画像情報をネットワーク300経由で第二テレビ会議装置200に送信する。
第二テレビ会議装置200の受信部201は、第一テレビ会議装置100から送信された会議画像情報およびテーブル画像情報を受信すると、これらの画像情報を図示しないメモリに一時的に記憶させる。
第二テレビ会議装置200の会議画像表示部202は、このメモリに蓄積された会議画像情報を読み出して、会議画像情報を用いて表示用の画像を生成し、この画像を液晶ディスプレイ2022に表示させる。
第二テレビ会議装置200の会議画像表示部202は、このメモリに蓄積された会議画像情報を読み出して、会議画像情報を用いて表示用の画像を生成し、この画像を液晶ディスプレイ2022に表示させる。
第二テレビ会議装置200のテーブル画像表示部203は、メモリに蓄積されたテーブル画像情報を読み出して、テーブル画像情報を用いて表示用の画像を生成し、この画像をテーブル4000に埋め込まれた液晶ディスプレイ4001に表示させる。これにより、第一会議室においてテーブル3000上に配置された人形E等の物品が、第二会議室においては、テーブル4000の表面に表示されることとなり、第一会議室のテーブル3000上の状況を、第二会議室のテーブル4000上に仮想的に再現することができる。
なお、同様に、第二会議室の参加者の画像は、第二テレビ会議装置200の撮影部101によって撮影され、第一テレビ会議装置100の会議画像表示部202により液晶ディスプレイ2021に表示される。また、第二会議室のテーブル4000の撮影領域1022内の画像は、第二テレビ会議装置200のテーブル撮影部102によって撮影され、第一テレビ会議装置100のテーブル画像表示部203により液晶ディスプレイ3001に表示される。
こうして、双方向で、それぞれの会議室のテーブル表面の状況を仮想的に再現しながら会議を実現することができる。
以上、本参考例においては、テーブル撮影部102が撮影したテーブル3000の表面の画像を、テーブル3000が配置された会議室とは異なる会議室のテーブル4000に表示するようにしたので、テーブル3000の表面の状況を、異なる会議室のテーブル4000上に再現することができ、遠隔地のテーブルの様子を見ながら会議を実現することができる。
以上、本参考例においては、テーブル撮影部102が撮影したテーブル3000の表面の画像を、テーブル3000が配置された会議室とは異なる会議室のテーブル4000に表示するようにしたので、テーブル3000の表面の状況を、異なる会議室のテーブル4000上に再現することができ、遠隔地のテーブルの様子を見ながら会議を実現することができる。
[第1の実施の形態]
上記参考例では、遠隔地のテーブルの様子を見ながら会議を行うことができるが、テーブル面を共有している感覚が得られないため、例えば相手のテーブルの上に置いてあるものを指差したりすることができない。本実施の形態では、撮影面と表示面を重ねることにより、より臨場感の高いテレビ会議を実現する方法について述べる。本実施の形態に係るテレビ会議システムは、上記参考例において、テーブル撮影部が撮影したテーブル表面の画像から、このテーブル撮影部の撮影領域内にテーブル画像表示部が表示している画像を除去した画像を、送信部が送信するようにしたものである。
上記参考例では、遠隔地のテーブルの様子を見ながら会議を行うことができるが、テーブル面を共有している感覚が得られないため、例えば相手のテーブルの上に置いてあるものを指差したりすることができない。本実施の形態では、撮影面と表示面を重ねることにより、より臨場感の高いテレビ会議を実現する方法について述べる。本実施の形態に係るテレビ会議システムは、上記参考例において、テーブル撮影部が撮影したテーブル表面の画像から、このテーブル撮影部の撮影領域内にテーブル画像表示部が表示している画像を除去した画像を、送信部が送信するようにしたものである。
図4は、本発明の第1の実施の形態に係るテレビ会議システムの構成を示すブロック図である。図4において、図1と同一符号は、同一または相当する部分を示している。
また、図5は、本実施の形態に係るテレビ会議装置を斜め上方から見た様子を模式的に示す図である。図5は、第一テレビ会議装置100における、テーブル撮影部102と、テーブル撮影部102が撮影するテーブル表面の領域である撮影領域1021と、テーブル3000と、テーブル画像表示部203がテーブル画像情報を表示する液晶ディスプレイ3001との配置関係の例を示している。
また、図5は、本実施の形態に係るテレビ会議装置を斜め上方から見た様子を模式的に示す図である。図5は、第一テレビ会議装置100における、テーブル撮影部102と、テーブル撮影部102が撮影するテーブル表面の領域である撮影領域1021と、テーブル3000と、テーブル画像表示部203がテーブル画像情報を表示する液晶ディスプレイ3001との配置関係の例を示している。
なお、ここでは図示していないが、第二テレビ会議装置200においても、テーブル撮影部102と、テーブル撮影部102が撮影するテーブル表面の領域である撮影領域1022と、テーブル4000と、テーブル画像表示部203がテーブル画像情報を表示する液晶ディスプレイ4001とが、同様の配置関係を有しているものとする。
本実施の形態のテレビ会議システムは、図5に示すように、テーブル撮影部102の撮影領域1021内の液晶ディスプレイ3001に、テーブル画像表示部203がテーブル画像を表示するようにし、テーブル撮影部102がこの液晶ディスプレイ3001に表示された画像を含むテーブル画像を撮影するようにしたものである。さらに、本実施の形態のテレビ会議システムは、図4に示すように、第一テレビ会議装置100と第二テレビ会議装置200のそれぞれにテーブル画像情報構成部104を設け、各会議室装置100,200の送信部103が、テーブル画像情報構成部104が生成したテーブル画像を送信するようにしたものである。
以下、第一テレビ会議装置100のテーブル画像情報構成部104の動作について説明する。なお、第二テレビ会議装置200のテーブル画像情報構成部104の構成については、第一テレビ会議装置100のテーブル画像情報構成部104の構成と同様であるので、説明は省略する。本実施の形態では、説明を簡単にするため、第一テレビ会議装置100のテーブル撮影部102が撮影したテーブル画像を第一テーブル画像、第二テレビ会議装置100のテーブル撮影部102が撮影して、第二テレビ会議装置200から送信され第一テレビ会議装置100の受信部201が受信したテーブル画像を第二テーブル画像と呼ぶ。
第一テレビ会議装置100のテーブル画像情報構成部104は、第一テレビ会議装置100のテーブル撮影部102が撮影した第一テーブル画像から、第一テレビ会議装置100の受信部201が受信した第二テーブル画像を除去した画像情報を生成し、この生成したテーブル画像情報を第一テレビ会議装置100の送信部103に出力する。第一テレビ会議装置100の受信部201が受信した第二テーブル画像とは、具体的には第一テレビ会議装置100のテーブル画像表示部203がテーブル3000の表面に表示している画像である。
テーブル画像情報構成部104は、テーブル撮影部102が撮影した第一テーブル画像から、受信部201が受信した第二テーブル画像と一致すると判断される画像を除去する。ここで、第一テーブル画像から第二テーブル画像を除去する処理は、デジタル処理で行われる。このため、テーブル撮影部102が撮影した第一テーブル画像や受信部201が受信した第二テーブル画像がアナログ情報である場合、デジタルシグナルプロセッサ等を用いてデジタル情報に変換した後に処理を行うことが好ましい。
テーブル画像情報構成部104が除去対象とする第二テーブル画像の検出は、テーブル撮影部102が撮影した第一テーブル画像と受信部201が受信した第二テーブル画像との比較によって行われる。除去対象となる画像は、受信部201が受信した第二テーブル画像と完全に一致した画像でなくてもよい。テーブル画像情報構成部104が除去対象とする画像は、テーブル画像表示部203によってテーブル3000の表面に表示された画像をテーブル撮影部102が撮影したものであるので、色やサイズ、画素数、画像の細部等が変化したり失われたりして、受信部201が受信した第二テーブル画像と通常は完全に一致することがないからである。
そこで、テーブル画像情報構成部104は、テーブル撮影部102が撮影した第一テーブル画像から、受信部201が受信した第二テーブル画像と実質的に一致すると判断される画像を除去する。具体的には、テーブル画像情報構成部104は、テーブル撮影部102が撮影した第一テーブル画像内における第二テーブル画像の表示領域の画像を、図示しないメモリに一時記憶されている、受信部201が受信した第二テーブル画像と比較して、第一テーブル画像内の第二テーブル画像の領域を決定し、この決定した領域内の画像を第一テーブル画像から除去したテーブル画像を生成する。
受信部201が受信した第二テーブル画像とテーブル撮影部102が撮影した第一テーブル画像とが動画像の場合、通常、これらの動画像をそれぞれ構成するフレーム単位の画像が比較に用いられる。テーブル画像情報構成部104が比較に用いる第二テーブル画像は、比較対象の第一テーブル画像をテーブル撮影部102が撮影したときに、テーブル3000の表面に表示されていた画像であることが好ましい。
ただし、本実施の形態のシステムがテレビ会議に用いられる場合には、テーブル画像情報構成部104が比較に用いる第二テーブル画像は、比較対象の第一テーブル画像をテーブル撮影部102が撮影したときに、テーブル3000の表面に表示されていた1フレームの画像に対して時間的に前後した1フレームの画像であってもよい。その理由は、通常、テレビ会議等に用いられる画像においては、急激な動きの画像が撮影されることが少ないからである。
テーブル撮影部102が撮影した第一テーブル画像内における第二テーブル画像の表示領域は、例えばテーブル画像表示部203がテーブル3000の表面に第二テーブル画像を表示してテーブル撮影部102が撮影したときに、撮影された第一テーブル画像内で第二テーブル画像が含まれる領域を予め調べておき、領域指定情報を予め登録しておくことにより指定可能である。領域指定情報は、予めメモリ等に蓄積しておき、この領域を指定する際に適宜読み出すようにすればよい。領域指定情報としては、例えば第二テーブル画像が含まれる領域が四角形であれば、第一テーブル画像内において四角形の4つの頂点を指定する座標情報やベクトル情報等が利用可能である。
また、テーブル撮影部102が撮影した第一テーブル画像内における第二テーブル画像の表示領域を画像処理等により検出してもよい。例えば、第一テーブル画像内における第二テーブル画像の表示領域の枠やその枠の4つの頂点を、テーブル画像情報構成部104が画像処理によって検出することにより、第一テーブル画像内における第二テーブル画像の表示領域を特定することができる。
この画像処理のために、例えば液晶ディスプレイ3001の第二テーブル画像が表示される領域の枠やその枠の4つの頂点の位置に、所定の色や模様、マーカ等を配置しておいてもよい。液晶ディスプレイ3001の表面に配置する所定の色は、テーブル3000上では一般に使われないような色であることが好ましい。マーカは、例えばモーションキャプチャ等で用いられる光学式のマーカ等であってもよい。
この画像処理のために、例えば液晶ディスプレイ3001の第二テーブル画像が表示される領域の枠やその枠の4つの頂点の位置に、所定の色や模様、マーカ等を配置しておいてもよい。液晶ディスプレイ3001の表面に配置する所定の色は、テーブル3000上では一般に使われないような色であることが好ましい。マーカは、例えばモーションキャプチャ等で用いられる光学式のマーカ等であってもよい。
なお、テーブル撮影部102が撮影した第一テーブル画像内における第二テーブル画像の表示領域を特定するための方法は、以上の方法に限定されるものではなく、その他の方法であってもよい。また、このような領域を特定する方法は、すでに公知であり、その詳細な説明は省略する。
テーブル撮影部102が撮影する領域と、受信部201が受信した第二テーブル画像が表示される領域とが一致する場合、例えばテーブル撮影部102の撮影領域1021と、テーブル画像表示部203の表示デバイスである液晶ディスプレイ3001の表示領域とが一致する場合には、テーブル撮影部102が撮影した第一テーブル画像内における第二テーブル画像の表示領域を検出する処理は不要である。
また、テーブル撮影部102が撮影する領域と、受信部201が受信した第二テーブル画像が表示される領域とが一致するように予め設定しておいてもよい。この表示領域は、いったん設定した後は、テーブル撮影部102が撮影する領域や、テーブル画像表示部203が画像を表示する位置等が変更されない限り、通常は固定しておくようにすればよい。
また、テーブル撮影部102が撮影する領域と、受信部201が受信した第二テーブル画像が表示される領域とが一致するように予め設定しておいてもよい。この表示領域は、いったん設定した後は、テーブル撮影部102が撮影する領域や、テーブル画像表示部203が画像を表示する位置等が変更されない限り、通常は固定しておくようにすればよい。
なお、テーブル撮影部102が撮影した第一テーブル画像内における第二テーブル画像の表示領域とは、この領域と重なっている第一テーブル画像、例えばテーブル3000上の物体等を無視した領域を意味している。例えば、テーブル画像表示部203が第二テーブル画像を表示する領域が四角形である場合、この四角形の領域の一部を覆う物体、例えばテーブル3000上に配置された物体がテーブル撮影部102によって撮影されていたとしても、第一テーブル画像内における第二テーブル画像の表示領域は四角形である。
テーブル画像情報構成部104は、以上のようにテーブル撮影部102が撮影した第一テーブル画像内において特定された第二テーブル画像の表示領域の画像(以下、テーブル領域画像と呼ぶ)と、受信部201が受信した第二テーブル画像とを位置的に対応する画素同士で比較する。そして、テーブル画像情報構成部104は、比較の結果、予め設定しておいた所定の関係にあると判断したテーブル領域画像の画素を、比較した第二テーブル画像の画素と一致すると判断する。
テーブル画像情報構成部104は、同様の比較を、テーブル領域画像内の画素、通常は全ての画素について順次行い、受信部201が受信した第二テーブル画像の画素と一致する画素が含まれるテーブル領域画像内の一致領域を決定する。そして、テーブル画像情報構成部104は、テーブル撮影部102が撮影した第一テーブル画像から、この一致領域の画像を除去したテーブル画像情報を生成する。
画素同士の比較は、必ずしも、位置的に対応する画素同士の1対1の比較でなくてもよい。例えば1つの画素と複数の画素との比較でもよいし、複数の画素と複数の画素との比較でもよい。その理由は、テーブル領域画像と受信部201が受信した第二テーブル画像の画素数が異なる場合、画素同士が1対1で対応しないからである。一方の画像の1画素と、この画素に位置的に対応する他方の画像の複数の画素とを比較する場合、一方の画像の1画素の画素値と、他方の画像の複数の画素の画素値の平均値や中間値等の代表値とを比較すればよい。また、一方の画像の複数の画素と他方の画像の複数の画素とを比較する場合、一方の画像の複数の画素の画素値の代表値と、他方の画像の複数の画素の画素値の代表値とを比較すればよい。
画素同士の比較は、通常、画素の情報、例えばRGBの各チャンネルの情報や輝度情報等の色情報の値の比較により行われる。具体的には、テーブル画像情報構成部104は、テーブル領域画像と、受信部201が受信した第二テーブル画像とが相似の関係にあり、両者の総画素数が同じである場合、同じ位置の座標の画素情報、例えば色情報を比較し、テーブル領域画像の画素と第二テーブル画像の画素の色情報の差が予め設定された閾値以内であれば、一致する画素であると判断し、色情報の差が閾値より大きければ、一致しない画素であると判断する。テーブル画像情報構成部104は、このような比較処理を全ての画素について行って、第二テーブル画像の画素と一致する画素が含まれるテーブル領域画像内の一致領域を決定する。
画素の情報同士を比較して一致するか否かを判断する処理については、公知技術である。また、2つの画像の同じ位置の領域同士について、パターンマッチングを順次行って、テーブル領域画像内の一致領域を決定してもよい。また、これらの方法を組み合わせてもよい。
また、第二テーブル画像の画素と一致する画素が含まれるテーブル領域画像内の一致領域に、第二テーブル画像の画素と一致しない画素の微小領域が存在する場合、この微小領域についてはノイズと見なしてもよい。画像同士を比較して、一致領域を決定する処理についは、上記の方法も含めて様々な処理があるが、公知技術であるので、詳細な説明は省略する。
また、第二テーブル画像の画素と一致する画素が含まれるテーブル領域画像内の一致領域に、第二テーブル画像の画素と一致しない画素の微小領域が存在する場合、この微小領域についてはノイズと見なしてもよい。画像同士を比較して、一致領域を決定する処理についは、上記の方法も含めて様々な処理があるが、公知技術であるので、詳細な説明は省略する。
テーブル領域画像と受信部201が受信した第二テーブル画像とが相似の関係にない場合や両者の総画素数が同じでない場合には、以下のように処理を行うようにしてもよい。
まず、テーブル画像情報構成部104は、テーブル撮影部102が撮影した第一テーブル画像内におけるテーブル領域画像の形状および大きさと、受信部201が受信した第二テーブル画像の形状および大きさとの相関関数を求める。
まず、テーブル画像情報構成部104は、テーブル撮影部102が撮影した第一テーブル画像内におけるテーブル領域画像の形状および大きさと、受信部201が受信した第二テーブル画像の形状および大きさとの相関関数を求める。
続いて、テーブル画像情報構成部104は、この相関関数もしくはその逆関数を用いて、テーブル領域画像の各画素に対応する第二テーブル画像内の座標を算出し、算出した座標が示す第二テーブル画像の画素の色情報と、これに対応するテーブル領域画像の画素の色情報とを上記のように比較する。そして、テーブル画像情報構成部104は、受信部201が受信した第二テーブル画像の画素と一致する画素が含まれるテーブル領域画像内の一致領域を決定し、テーブル撮影部102が撮影した第一テーブル画像から、この一致領域の画像を除去したテーブル画像情報を生成する。
なお、テーブル領域画像内の一致領域を決定する処理は、テーブル撮影部102が撮影した第一テーブル画像の全てのフレームに対して行うようにしてもよいが、一定または不定期の所定のタイミング、例えば数フレーム毎や数秒毎に行うようにし、次に領域を決定するまでは、先に決定した領域を用いて第一テーブル画像から画像を除去するようにしてもよい。その理由は、本実施の形態のシステムがテレビ会議に用いられる場合、上述したように画像に急激な動きがないと考えられるため、いったん決定した領域を用いて、テーブル撮影部102が撮影した連続する複数フレームの第一テーブル画像から、決定した領域の画像を除去したとしても、大きな画質の劣化がないと考えられるからである。
なお、テーブル領域画像内の一致領域を決定する処理については、以上の方法に限定されるものではなく、その他の方法であってもよい。一致領域を決定する処理として、例えばMPEG(Moving Picture Experts Group)等の2つのフレーム間の画像を比較して、移動しているオブジェクトを検出する処理等の公知技術が利用可能である。
ここで、テーブル画像情報構成部104は、第二テーブル画像とテーブル領域画像のうち少なくとも一方の画素数を変換した後に、上述した第二テーブル画像とテーブル領域画像との比較を行うようにしてもよい。例えば、テーブル画像情報構成部104は、第二テーブル画像とテーブル領域画像との総画素数が同じになるように、第二テーブル画像またはテーブル領域画像のうち少なくとも一方の画素を補完して、画素数を増加あるいは減少させるようにしてもよい。また、テーブル画像情報構成部104は、第二テーブル画像とテーブル領域画像との形状が同じになるように、画素を補間して画素数を増加あるいは減少させてもよい。こうして、第二テーブル画像とテーブル領域画像の総画素数や形状を同じにすることで、二つの画像の画素同士の比較が容易となる。
また、テーブル画像情報構成部104は、第二テーブル画像とテーブル領域画像のうち少なくとも一方の色を補正した後に、上述した第二テーブル画像とテーブル領域画像との比較を行うようにしてもよい。色の補正とは、例えばカラー補正やコントラスト補正、レベル補正、シャープネス補正等である。これらの色補正は、第二テーブル画像またはテーブル領域画像の一部または全体の領域の色情報を用いて自動的に行われるようにする。
通常、第二テーブル画像が液晶ディスプレイ3001に表示される時点で、液晶ディスプレイ3001の特性等により表示される色等が変化する。更に、この表示された画像をテーブル撮影部102で撮影する際に、液晶ディスプレイ3001の配置された環境光の影響やテーブル撮影部102の特性によっても、テーブル撮影部102が撮影した第一テーブル画像に含まれるテーブル領域画像の色は、液晶ディスプレイ3001に表示されている色と異なる色となる。
通常、第二テーブル画像が液晶ディスプレイ3001に表示される時点で、液晶ディスプレイ3001の特性等により表示される色等が変化する。更に、この表示された画像をテーブル撮影部102で撮影する際に、液晶ディスプレイ3001の配置された環境光の影響やテーブル撮影部102の特性によっても、テーブル撮影部102が撮影した第一テーブル画像に含まれるテーブル領域画像の色は、液晶ディスプレイ3001に表示されている色と異なる色となる。
したがって、テーブル領域画像と受信部201が受信した第二テーブル画像との色は大きく異なるものとなっていることが多い。このように色が異なると、第二テーブル画像とテーブル領域画像との比較が正常に行われないことが考えられる。これに対し、上述したような色補正を行うことで、受信部201が受信した第二テーブル画像とテーブル領域画像との精度の高い比較が可能となる。例えば、テーブル領域画像を色補正して、テーブル領域画像における環境光の影響による色かぶり等をなくすことで、精度の高い比較が可能となる。
また、テーブル画像情報構成部104は、第二テーブル画像およびテーブル領域画像に対して、色補正としてグレースケール化を行った後に、上述した第二テーブル画像とテーブル領域画像との比較を行うようにしてもよい。グレースケール化することで、撮影時等の画像の色の変化を排除して、画像同士を比較することができる。また、このようにグレースケール化することで、画像のデータ量が減少するので、画像比較の処理を高速化することができる。
また、テーブル画像情報構成部104は、テーブル領域画像内の一致領域を決定する際に、第二テーブル画像とテーブル領域画像の輝度情報のみを比較するようにしてもよい。このように輝度情報のみを比較することで、撮影時等の画像の色の変化を排除して、画像同士を比較することができる。また、画像同士の比較に使用するデータ量を低減できるので、処理の高速化を図ることができる。
なお、テーブル撮影部102が撮影した第一テーブル画像から、画像の比較によって決定した領域の画像を除去する処理とは、完全に画素を除去してしまうことに限るものではなく、結果的に除去したものと同じ状態(不可視状態)となることも含む。例えば、除去対象となる画素に対して、表示時に当該画素が不可視として扱われるようにするためのマスク情報や透過情報を設定したり、画像を表示する際に、除去する画素を識別できるように、画素の色情報等を所定の値、例えば特定の青色となるような値に設定したりしてもよい。また、除去対象となる画素の位置に、この画素の代わりに、他の画像等を配置するようにしてもよい。この配置する他の画像は、視聴の妨げにならないような有意ではない静止画像あるいは動画像であることが好ましい。また、除去した領域にこのような他の画像を、差分画像を表示する装置等が、差分画像を表示する際に、適宜、はめ込み合成するようにしてもよい。
以上のテーブル画像情報構成部104は、通常、MPU(Microprocessing Unit)やメモリ等から実現され得る。テーブル画像情報構成部104の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM(Read Only Memory)等の記憶装置に記録されている。ただし、テーブル画像情報構成部104をハードウェア(専用回路)で実現してもよい。
次に、第一テレビ会議装置100における、テーブル表面の画像の撮影からテーブル画像情報を生成して送信するまでの動作の一例について図6のフローチャートを用いて説明する。なお、ここでは、第一テレビ会議装置100のテーブル撮影部102が撮影した第一テーブル画像内で第二テーブル画像の表示領域を指定する領域指定情報、例えば領域の頂点の座標情報等が予め図示しないメモリ等に格納されているものとして説明する。また、説明を簡単にするために、画素間の輝度情報を比較して、画素が一致するか否かを判断する場合を例に挙げて説明する。なお、第一テーブルは、ここではテーブル3000に対応するものとする。
最初に、第一テレビ会議装置100のテーブル撮影部102は、テーブル3000表面の撮影領域1021内を撮影する(図6ステップS1301)。図5に示すとおり、撮影領域1021内には、受信部201が受信した第二テーブル画像が液晶ディスプレイ3001によって表示される。テーブル撮影部102は、撮影した第一テーブル画像を図示しないメモリ等に一時記憶させる。
次に、第一テレビ会議装置100のテーブル画像情報構成部104は、図示しないメモリに予め格納されている領域指定情報に基づき、ステップS1301においてテーブル撮影部102が撮影した第一テーブル画像からテーブル領域画像を取得する(ステップS1302)。なお、テーブル撮影部102が撮影した第一テーブル画像とテーブル領域画像とが一致する場合、すなわちテーブル撮影部102の撮影領域がテーブル画像表示部203の表示領域と一致する場合には、ステップS1302の処理は省略してもよい。また、テーブル画像表示部203が画像を表示していない場合、テーブル画像情報構成部104は、テーブル撮影部102が撮影した画像を用いてテーブル画像情報を生成し、このテーブル画像情報を送信部103が外部に送信して、ステップS1301に戻るようにしてもよい。
テーブル画像情報構成部104は、ステップS1302で取得したテーブル領域画像の輝度情報を補正する(ステップS1303)。例えば、テーブル画像情報構成部104は、テーブル領域画像内の各画素の輝度情報である輝度値を自動レベル補正する。自動レベル補正とは、画像内の最も明るい画素と最も暗い画素とをそれぞれ輝度の最大値と最小値として定義して、中間調部分の画素の輝度値を均等に再配分する処理である。輝度情報が補正されたテーブル領域画像は、メモリに一時記憶される。
テーブル画像情報構成部104は、受信部201が受信した第二テーブル画像のうち、直前にテーブル4000に表示された1フレームの第二テーブル画像を、メモリから読み出して取得する(ステップS1304)。なお、テーブル画像情報構成部104が比較用に取得する第二テーブル画像は、比較対象の第一テーブル画像をテーブル撮影部102が撮影したときに、テーブル3000の表面に表示されていた1フレームの画像に対して時間的に前後した1フレームの画像であってもよい。
テーブル画像情報構成部104は、メモリに予め格納されている領域指定情報等に基づき、ステップS1304で取得した第二テーブル画像を、ステップS1302で取得したテーブル領域画像と同じ形状および総画素数を有する画像となるように補正する(ステップS1305)。補正された第二テーブル画像は、メモリに一時記憶される。
テーブル画像情報構成部104は、ステップS1303で補正したテーブル領域画像とステップS1305で補正した第二テーブル画像とを比較して、第二テーブル画像の画素と一致する画素が含まれるテーブル領域画像内の一致領域を決定する(ステップS1306)。なお、ステップSl306の処理については、図7において詳細に説明する。
テーブル画像情報構成部104は、ステップS1303で補正したテーブル領域画像とステップS1305で補正した第二テーブル画像とを比較して、第二テーブル画像の画素と一致する画素が含まれるテーブル領域画像内の一致領域を決定する(ステップS1306)。なお、ステップSl306の処理については、図7において詳細に説明する。
テーブル画像情報構成部104は、テーブル撮影部102がステップS1301で撮影した第一テーブル画像から、ステップS1306で決定した領域の画像を除去したテーブル画像情報を生成する(ステップS1307)。
第一テレビ会議装置100の送信部103は、ステップS1307で生成されたテーブル画像情報をネットワーク300経由で第二テレビ会議装置200に送信する(ステップS1308)。そして、第一テレビ会議装置100の動作は、ステップS1301に戻る。
なお、電源オフや処理終了の割り込みにより、図6の処理は終了する。
第一テレビ会議装置100の送信部103は、ステップS1307で生成されたテーブル画像情報をネットワーク300経由で第二テレビ会議装置200に送信する(ステップS1308)。そして、第一テレビ会議装置100の動作は、ステップS1301に戻る。
なお、電源オフや処理終了の割り込みにより、図6の処理は終了する。
次に、図6のステップS1306の処理について、図7のフローチャートを用いて説明する。なお、ここでは、例として、受信部201が受信した第二テーブル画像とテーブル領域画像とがカラー画像であるとし、この2つの画像の輝度値を用いてテーブル領域画像内の一致領域を決定する場合を例に挙げて説明する。また、ここでは、ステップS1305で画素数を補正した第二テーブル画像およびステップS1303で輝度値を補正したテーブル領域画像が、それぞれx軸方向がp画素(pは1以上の整数)で、y軸方向がq画素(qは1以上の整数)の矩形の画像である場合について説明する。
テーブル画像情報構成部104は、y軸方向の座標をカウントするためのカウンターmに1を代入し(ステップS1401)、x軸方向の座標をカウントするためのカウンターnに1を代入する(図7ステップS1402)。
テーブル画像情報構成部104は、ステップS1303で輝度値を補正したテーブル領域画像の座標(n,m)に位置する画素の輝度値を取得する(ステップS1403)。なお、座標(n,m)は、画像内の画素を単位とした座標であり、ここでは左上の座標が(0,0)、右下の座標が(p,q)であるとする。
テーブル画像情報構成部104は、ステップS1303で輝度値を補正したテーブル領域画像の座標(n,m)に位置する画素の輝度値を取得する(ステップS1403)。なお、座標(n,m)は、画像内の画素を単位とした座標であり、ここでは左上の座標が(0,0)、右下の座標が(p,q)であるとする。
テーブル画像情報構成部104は、ステップS1305で画素数を補正した第二テーブル画像の座標(n,m)に位置する画素の輝度値を取得する(ステップS1404)。
テーブル画像情報構成部104は、ステップS1403で取得した輝度値とステップS1404で取得した輝度値との差の絶対値を算出する(ステップS1405)
テーブル画像情報構成部104は、ステップS1405において算出した差の絶対値が予め設定された所定の閾値以下であるか否かを判断する(ステップS1406)。テーブル画像情報構成部104は、差の絶対値が閾値以下である場合、ステップS1407に進み、差の絶対値が閾値より大きい場合、ステップS1408に進む。
テーブル画像情報構成部104は、ステップS1403で取得した輝度値とステップS1404で取得した輝度値との差の絶対値を算出する(ステップS1405)
テーブル画像情報構成部104は、ステップS1405において算出した差の絶対値が予め設定された所定の閾値以下であるか否かを判断する(ステップS1406)。テーブル画像情報構成部104は、差の絶対値が閾値以下である場合、ステップS1407に進み、差の絶対値が閾値より大きい場合、ステップS1408に進む。
テーブル画像情報構成部104は、差の絶対値が閾値以下である場合、テーブル領域画像の座標(n,m)の画素を、直前に表示された第二テーブル画像の座標(n,m)の画素と一致する画素であると判断し、この判断結果をメモリに一時記憶させ(ステップS1407)、ステップS1409に進む。
また、テーブル画像情報構成部104は、差の絶対値が閾値より大きい場合、テーブル領域画像の座標(n,m)の画素を、直前に表示された第二テーブル画像の座標(n,m)の画素と一致しない画素であると判断し、この判断結果をメモリに一時記憶させ(ステップS1408)、ステップS1409に進む。
また、テーブル画像情報構成部104は、差の絶対値が閾値より大きい場合、テーブル領域画像の座標(n,m)の画素を、直前に表示された第二テーブル画像の座標(n,m)の画素と一致しない画素であると判断し、この判断結果をメモリに一時記憶させ(ステップS1408)、ステップS1409に進む。
ステップS1407又はS1408の処理終了後、テーブル画像情報構成部104は、カウンターnの値を1増加させ(ステップS1409)、カウンターnの値がpより大きいか否かを判断する(ステップS1410)。テーブル画像情報構成部104は、カウンターnの値がpより大きい場合、ステップS1411に進み、カウンターnの値がp以下の場合、ステップS1403に戻る。
こうして、第二テーブル画像とテーブル領域画像とを同一のy座標についてx軸方向に並ぶ画素毎に比較し、x軸方向の全ての画素について比較が終了した時点でステップS1411に進む。
こうして、第二テーブル画像とテーブル領域画像とを同一のy座標についてx軸方向に並ぶ画素毎に比較し、x軸方向の全ての画素について比較が終了した時点でステップS1411に進む。
テーブル画像情報構成部104は、カウンターmの値を1増加させ(ステップS1411)、カウンターmの値がqより大きいか否かを判断する(ステップS1412)。テーブル画像情報構成部104は、カウンターmの値がqより大きい場合、ステップS1413に進み、カウンターmの値がq以下の場合、ステップS1402に戻る。
こうして、第二テーブル画像とテーブル領域画像との比較を全ての画素について行う。
こうして、第二テーブル画像とテーブル領域画像との比較を全ての画素について行う。
最後に、テーブル画像情報構成部104は、ステップS1407の判断結果を用いて、第二テーブル画像の画素と一致する画素が含まれるテーブル領域画像内の一致領域を決定する(ステップS1413)。例えば、テーブル画像情報構成部104は、ステップS1407において一致していると判断した画素のうち、連続して隣接している画素の領域を判断し、この領域の縁の画素の座標情報を、ステップS1413で決定する領域の定義情報としてメモリに蓄積してもよい。また、テーブル画像情報構成部104は、ステップS1407において一致していると判断した全ての画素の座標情報を、ステップS1413で決定する領域の定義情報としてメモリに蓄積してもよい。また、テーブル画像情報構成部104は、領域を決定する際に、ステップS1408において一致しないと判断した画素を用いて、ステップSl407において一致していると判断した画素を含む領域を補正してもよい。ステップS1413の処理終了後、テーブル画像情報構成部104は、ステップS1307に戻る。
なお、上記図6および図7のフローチャートにおいては、画素間の輝度情報を比較して、テーブル領域画像の画素と直前に表示された第二テーブル画像の画素とが一致するか否かを判断する場合を例に挙げて説明したが、画素間の他の色情報、例えばRGBチャンネルの値を用いて、画素同士が一致するか否かを判断してもよい。具体例としては、テーブル領域画像の画素と第二テーブル画像の画素との間で、RGBの各チャンネル毎に値の差を求め、各チャンネル毎の差の絶対値がそれぞれチャンネル別に設定された閾値以下である場合に、画素同士が一致していると判断すればよい。このような画素間の比較としては、公知の技術が利用可能である。なお、RGBチャンネルの値等を用いる場合、テーブル領域画像に対する色の補正は、RGBの各チャンネルの値について行われるようにする。
以下、本実施の形態のテレビ会議システムの具体例について説明する。この具体例におけるテレビ会議システムの基本的な構成は、テーブル画像情報構成部104を備えている点を除けば、参考例において説明したテレビ会議システムと同様である。なお、第一会議室のテーブル3000付近の状態は、図5に示したような状態であるとする。また、第二会議室のテーブル4000付近の状態も、図5と同様であるとする。
まず、第一テレビ会議装置100の撮影部101で撮影された会議参加者の画像が、第二テレビ会議装置200の会議画像表示部202により表示される点、および第二テレビ会議装置200の撮影部101で撮影された会議参加者の画像が、第一テレビ会議装置100の会議画像表示部202により表示される点については、上記参考例と同様であるので、ここでは説明を省略する。
次に、第一会議室のテーブル3000の撮影領域1021内に、図8に示すように人形Fを配置したとする。第一テレビ会議装置100のテーブル撮影部102は、この人形Fを含む撮影領域1021の動画像を撮影する。図9は、テーブル撮影部102が撮影した1フレームの画像1023の例を示す図である。この時点では、ディスプレイ3001には画像が表示されていないため、テーブル画像情報構成部104は、撮影した画像を示すテーブル画像情報を生成する。
第一テレビ会議装置100の送信部103は、テーブル画像情報構成部104が生成したテーブル画像情報を第二テレビ会議装置200に送信する。
第一テレビ会議装置100の送信部103は、テーブル画像情報構成部104が生成したテーブル画像情報を第二テレビ会議装置200に送信する。
次に、第二会議室において、第二テレビ会議装置200の電源を投入したとすると、第二テレビ会議装置200の受信部201は、第一テレビ会議装置100から送信されたテーブル画像情報を受信し、メモリに一時記憶させる。
第二テレビ会議装置200のテーブル画像表示部203は、受信部201が受信したテーブル画像を、図10に示すようにテーブル4000の表面の液晶ディスプレイ4001に表示させる。なお、ここでは、上記参考例とは異なり、液晶ディスプレイ4001に表示される人形Fの画像F’は、実物大のサイズではないものとする。また、第二会議室のテーブル4000の撮影領域1022内には、図10に示すように人形Gが配置されており、この人形Gの一部は液晶ディスプレイ4001上に位置しているとする。
第二テレビ会議装置200のテーブル画像表示部203は、受信部201が受信したテーブル画像を、図10に示すようにテーブル4000の表面の液晶ディスプレイ4001に表示させる。なお、ここでは、上記参考例とは異なり、液晶ディスプレイ4001に表示される人形Fの画像F’は、実物大のサイズではないものとする。また、第二会議室のテーブル4000の撮影領域1022内には、図10に示すように人形Gが配置されており、この人形Gの一部は液晶ディスプレイ4001上に位置しているとする。
第二テレビ会議装置200のテーブル撮影部102は、液晶ディスプレイ4001に表示されている画像と人形Gとを含む撮影領域1022の動画像を撮影する。
本実施の形態においては、第一テレビ会議装置100および第二テレビ会議装置200の図示しないメモリにそれぞれ領域指定情報が蓄積されているものとする。この領域指定情報は、第一テレビ会議装置100のテーブル撮影部102が撮影するテーブル画像内において液晶ディスプレイ3001に表示された画像が含まれる領域の右上と左下を指定する座標であり、第二テレビ会議装置200のテーブル撮影部102が撮影するテーブル画像内において液晶ディスプレイ4001に表示された画像が含まれる領域の右上と左下を指定する座標である。
本実施の形態においては、第一テレビ会議装置100および第二テレビ会議装置200の図示しないメモリにそれぞれ領域指定情報が蓄積されているものとする。この領域指定情報は、第一テレビ会議装置100のテーブル撮影部102が撮影するテーブル画像内において液晶ディスプレイ3001に表示された画像が含まれる領域の右上と左下を指定する座標であり、第二テレビ会議装置200のテーブル撮影部102が撮影するテーブル画像内において液晶ディスプレイ4001に表示された画像が含まれる領域の右上と左下を指定する座標である。
第二テレビ会議装置200のテーブル画像情報構成部104は、メモリに蓄積されている領域指定情報を読み出し、第二テレビ会議装置200のテーブル撮影部102が撮影したテーブル画像からテーブル領域画像を切り出して取得する。切り出したテーブル領域画像1024を図11に示す。そして、テーブル画像情報構成部104は、このテーブル領域画像の輝度値を自動レベル補正する。
また、第二テレビ会議装置200のテーブル画像情報構成部104は、液晶ディスプレイ4001に直前に表示されたテーブル画像をメモリから取得し、このテーブル画像の画素数をテーブル領域画像の画素数と同じとなるように補正する。例えばテーブル領域画像の画素数が1400×800ピクセルであったとすると、画素数が1920×1080ピクセルであるテーブル画像の画素数を、テーブル領域画像の画素数と同じ1400×800ピクセルとなるように変更する。この変更の際の画素数の補間方法等は問わない。
次に、第二テレビ会議装置200のテーブル画像情報構成部104は、画素数を補正したテーブル画像と輝度値を補正したテーブル領域画像とを比較して、テーブル画像の画素と一致する画素が含まれるテーブル領域画像内の一致領域を決定する。ここでは具体的には、テーブル領域画像を構成する画素と、これと同じ座標に位置するテーブル画像の画素との輝度値の差の絶対値を算出し、差の絶対値が予め設定された所定の閾値以下であるか否かを、テーブル領域画像およびテーブル画像の画素毎に順次判断する。なお、差の絶対値が閾値以下であるか否かを判断する代わりに、輝度値の差が所定の範囲内の値であるか否かを判断してもよい。
そして、テーブル画像情報構成部104は、輝度値の差の絶対値が閾値以下である画素により構成される一致領域を決定する。ここでは、図11に示したテーブル領域画像と、図9に示したテーブル画像の画素数を補正した画像とを比較して、補正後のテーブル画像の画素と一致する画素が含まれるテーブル領域画像内の一致領域を決定することとなる。この画像の比較の結果、図12の斜線で示した領域1800が一致領域として決定される。
そして、テーブル画像情報構成部104は、第二テレビ会議装置200のテーブル撮影部102が撮影した画像から、一致領域内の画素を全て除去してグレーの画素に置換する。これにより、第二テレビ会議装置200のテーブル撮影部102が撮影した画像のうち、一致領域1800をグレーの画像に変更した図13のようなテーブル画像1025が得られる。このテーブル画像1025の領域1800は、具体的にはテーブル撮影部102が撮影した画像内において、液晶ディスプレイ4001に表示された画像が撮影された領域である。したがって、このような領域1800をグレーの画像に置換することで、図13に示すように、テーブル4000の表面を撮影した画像から、液晶ディスプレイ4001に表示されていた第一会議室のテーブル3000表面の画像を除去した画像を生成することができる。
第二テレビ会議装置200の送信部103は、テーブル画像情報構成部104が生成したテーブル画像情報を第一テレビ会議装置100に送信する。
第一テレビ会議装置100の受信部201は、第二テレビ会議装置200から送信されたテーブル画像情報を受信する。第一テレビ会議装置100のテーブル画像表示部203は、受信部201が受信したテーブル画像をテーブル3000の表面の液晶ディスプレイ3001に表示させる。このときの表示例を図14に示す。図14におけるG’は人形Gの画像である。
図14に示すように、第一会議室のテーブル3000の液晶ディスプレイ3001には、第二会議室のテーブル4000の表面を撮影した画像から第二会議室の液晶ディスプレイ4001に表示されていた画像を除去した画像が表示されることとなる。
第一テレビ会議装置100の受信部201は、第二テレビ会議装置200から送信されたテーブル画像情報を受信する。第一テレビ会議装置100のテーブル画像表示部203は、受信部201が受信したテーブル画像をテーブル3000の表面の液晶ディスプレイ3001に表示させる。このときの表示例を図14に示す。図14におけるG’は人形Gの画像である。
図14に示すように、第一会議室のテーブル3000の液晶ディスプレイ3001には、第二会議室のテーブル4000の表面を撮影した画像から第二会議室の液晶ディスプレイ4001に表示されていた画像を除去した画像が表示されることとなる。
この後、第一テレビ会議装置100においても、第二テレビ会議装置200と同様に、テーブル撮影部102が撮影したテーブル3000表面の画像から液晶ディスプレイ3001に表示された画像を除去したテーブル画像情報を、テーブル画像情報構成部104が生成し、このテーブル画像情報を送信部103が第二テレビ会議装置200に送信する。
以上、本実施の形態によれば、一方の会議室のテーブル表面を撮影した画像から、このテーブル表面に表示されている他方の会議室のテーブル表面を撮影した画像を除去したテーブル画像情報を生成し、このテーブル画像情報を他方の会議室に送信して、他方の会議室のテーブル表面に表示させるようにしたので、他方の会議室のテーブル表面を撮影した画像が一方の会議室からフィードバックされて、再度、他方の会議室のテーブル表面に表示されるというビデオループの問題を解消することができ、テーブル表面への不必要な画像の表示をなくして、円滑で効率的な会議を実現することができる。本実施の形態では、従来のテレビ会議システムのようにビデオループの問題を解消するためにハーフミラー等の特殊な装置を必要としないので、コストを低減することができ、またカメラと表示装置を会議室の状況に応じて柔軟に配置することができる。
また、本実施の形態では、テーブル撮影部102の撮影領域内に、テーブル画像表示部203の表示領域を配置しても、ビデオループの問題は発生しないので、それぞれのテレビ会議装置のテーブル表面に表示される画像の見易さを損ねることがない。この結果、本実施の形態では、撮影領域と表示領域とをテーブル上の異なる場所に設定する必要がなく、省スペース化を図ることができる。
なお、本実施の形態において、第一テレビ会議装置100または第二テレビ会議装置200のいずれか一方だけが、テーブル画像情報構成部104を備えているようにしてもよい。
なお、本実施の形態において、第一テレビ会議装置100または第二テレビ会議装置200のいずれか一方だけが、テーブル画像情報構成部104を備えているようにしてもよい。
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。本実施の形態は、第1の実施の形態において、側面のディスプレイとテーブル面の表示の位置関係を調整することで、より臨場感の高い会議を実現可能とするものである。
次に、本発明の第2の実施の形態について説明する。本実施の形態は、第1の実施の形態において、側面のディスプレイとテーブル面の表示の位置関係を調整することで、より臨場感の高い会議を実現可能とするものである。
図15(A)、図15(B)は本実施の形態に係るテレビ会議システムを上から見た様子を模式的に示す平面図である。本実施の形態では、2つの会議室のテーブルと椅子の配置が図15(A)、図15(B)に示す構成と同等であった場合、第一テレビ会議装置100の撮影部101の撮影方向を基準とした第一テレビ会議装置100のテーブル撮影部102が撮影する画像の相対的な向きと、第二テレビ会議装置200の会議画像表示部202の表示方向を基準とした第二テレビ会議装置200のテーブル画像表示部203が表示する画像の相対的な向きとが、略180度異なるものとなるよう、第二テレビ会議装置200のテーブル画像表示部203は、第二テレビ会議装置200の受信部201が受信したテーブル画像を液晶ディスプレイ4001に表示する。
具体的には、図16(A)に示すように、第一テレビ会議装置100のテーブル撮影部102が撮影する画像の向きを、撮影する画像の第一の長辺(撮影領域1021の上辺)から対向する第二の長辺(撮影領域1021の下辺)に伸ばした垂線の伸びる方向502とし、この方向502と第一テレビ会議装置100の撮影部101の撮影方向501とが一致していたとする。一方、図16(B)に示すように、第二テレビ会議装置200の液晶ディスプレイ4001が表示する、第一テレビ会議装置100のテーブル撮影部102が撮影した画像の向き602は、第二テレビ会議装置200の液晶ディスプレイ2022の表示方向601に対して180度異なる。したがって、撮影方向501を基準とした画像の向き502と、表示方向601を基準とした画像の向き602とは、180度異なる。ただし、テーブル4000も、予め、このような方向で画像を液晶ディスプレイ4001に表示することが可能となるように配置を調整しておく。
以上のような向きの調整は、テーブル画像表示部203によって実現される。すなわち、テーブル画像表示部203は、画像情報変換手段を構成しており、受信部201が受信した画像を任意の角度で回転させる。
このように画像の向きを調整することで、例えば第一会議室において、参加者Aが撮影領域1021に配置された人形Eの右手に触ったとすると、図17に示すように、第二会議室の液晶ディスプレイ2022には、参加者Aが右手を前方に伸ばしている画像A’が表示されるとともに、テーブル4000の液晶ディスプレイ4001には、参加者Aの右手に相当する側から伸びた参加者Aの手が人形Eの右手を触っている画像A’,E’が表示される。このように、第二会議室の液晶ディスプレイ2022に表示される画像とテーブル4000の液晶ディスプレイ4001に表示される画像との位置関係が、第一会議室の撮影部101の撮影対象である参加者Aとテーブル撮影部102の撮影対象である人形Eとの位置関係とほぼ同じとなる。
この結果、第二会議室においては、第一会議室の状況をテーブル3000上の状態も含めて擬似的に再現することができ、第一会議室の状況をより細かく正確に伝えることができるので、臨場感あふれるテレビ会議が実現可能となる。
本実施の形態では、図15を例としたため、第一テレビ会議装置100の撮影部101の撮影方向を基準とした第一テレビ会議装置100のテーブル撮影部102が撮影する画像の相対的な向きと、第二テレビ会議装置200の会議画像表示部202の表示方向を基準とした第二テレビ会議装置200のテーブル画像表示部203が表示する画像の相対的な向きとが、略180度異なるものとなるようにするのが最適であると述べた。しかし、座席とディスプレイの関係によっては、必ずしも180度が適切とは限らない。会議画像表示部202における表示する画像の向きを自由に変えられる機能をつけることで、参加者は、適切な向きに変更し、臨場感の高い会議を行うことが可能となる。
本実施の形態では、図15を例としたため、第一テレビ会議装置100の撮影部101の撮影方向を基準とした第一テレビ会議装置100のテーブル撮影部102が撮影する画像の相対的な向きと、第二テレビ会議装置200の会議画像表示部202の表示方向を基準とした第二テレビ会議装置200のテーブル画像表示部203が表示する画像の相対的な向きとが、略180度異なるものとなるようにするのが最適であると述べた。しかし、座席とディスプレイの関係によっては、必ずしも180度が適切とは限らない。会議画像表示部202における表示する画像の向きを自由に変えられる機能をつけることで、参加者は、適切な向きに変更し、臨場感の高い会議を行うことが可能となる。
[第3の実施の形態]
次に、本発明の第3の実施の形態について説明する。本実施の形態は、第1の実施の形態において、テレビ会議装置に画像合成部を追加することにより、ローカルのテーブル上の画像を遠隔地のテーブルの画像に合成し、ローカルのテーブル上に提示することを可能とするものである。
図18は、本発明の第3の実施の形態に係るテレビ会議システムの構成を示すブロック図である。以下、第一テレビ会議装置100を例にとり仕組みを説明する。したがって、特に指定がない場合、説明中の各構成は第一テレビ会議装置のものとする。
次に、本発明の第3の実施の形態について説明する。本実施の形態は、第1の実施の形態において、テレビ会議装置に画像合成部を追加することにより、ローカルのテーブル上の画像を遠隔地のテーブルの画像に合成し、ローカルのテーブル上に提示することを可能とするものである。
図18は、本発明の第3の実施の形態に係るテレビ会議システムの構成を示すブロック図である。以下、第一テレビ会議装置100を例にとり仕組みを説明する。したがって、特に指定がない場合、説明中の各構成は第一テレビ会議装置のものとする。
第一テレビ会議装置100の画像合成部105は、テーブル撮影部102が撮影した第一テーブル画像と第二テレビ会議装置200から送信され受信部201が受信した第二テーブル画像とを合成する。例えば画像合成部105は、受信部201が受信した第二テーブル画像に対して適宜エンコード等を行なって得られた表示用の画像とテーブル撮影部102が撮影した第一テーブル画像とを合成する。通常、第一テーブル画像と第二テーブル画像とが動画像であれば、それぞれの1フレームの画像同士を合成する。
画像合成部105による画像の合成は、どのような合成であってもよいが、合成した画像をディスプレイ等に表示した場合に、両方の画像の内容が十分に認識できるように合成することが好ましい。例えば、通常、テーブル撮影部102が撮影した第一テーブル画像および受信部201が受信した第二テーブル画像の透過率は0、すなわち透過しない不透明な画像であるため、画像合成部105は、第一テーブル画像と第二テーブル画像とのうち少なくとも一方の透過率をオリジナルの透過率0の状態から変更して合成を行う。具体例としては、画像合成部105は、第二テーブル画像上に、透過率を変更して半透明とした第一テーブル画像を重ねて合成した画像を生成したり、第一テーブル画像上に、透過率を変更して半透明とした第二テーブル画像を重ねて合成した画像を生成したりする。
なお、第一テーブル画像と第二テーブル画像の内容が十分に認識できるように合成することが可能であれば、透過率を変更する以外の合成を行うようにしてもよい。例えば、画像合成部105は、テーブル撮影部102が撮影した第一テーブル画像と受信部201が受信した第二テーブル画像との画素の色情報(例えばRGB情報)同士を乗算して画像を合成したり、加法混色で掛け合わせて画像を合成したりする、所謂スクリーン合成をしてもよい。なお、これらの画像同士の合成処理自体は公知技術であるので、ここでの詳細な説明は省略する。合成されたテーブル画像は、図示しないメモリに一時記憶される。
以上の画像合成部105は、通常、MPUやメモリ等から実現され得る。画像合成部105の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記憶装置に記録されている。ただし、画像合成部105をハードウェア(専用回路)で実現してもよい。
テーブル画像表示部203は、第一会議室のテーブル3000の表面の少なくとも一部に、画像合成部105が合成した画像を表示する。例えば、テーブル画像表示部203は、テーブル3000の表面に埋め込まれた液晶ディスプレイに、画像合成部105が合成した画像を表示させる。また、テーブル画像表示部203は、画像合成部105が合成した画像を、テーブル3000の表面にプロジェクタ等を用いて投影してもよい。画像を投影する場合、テーブル3000には表示デバイスを設けていなくてもよい。ただし、プロジェクタの場合、例えばテーブル3000上に物体を置いたときに、物体の上に画像が投影されたり、テーブル3000上に人が覆い被さったときに、その人により画像が投影されず、人の影がテーブルに映ったりして、会議の妨げとなるため、テーブル3000に設けられたディスプレイ等に画像を表示することが好ましい。
第一テレビ会議装置100のテーブル画像表示部203は、画像合成部105が合成した画像のうち、テーブル撮影部102が撮影したテーブル3000の表面の画像を、テーブル3000の表面に略実物大のサイズで表示することが好ましい。すなわち、テーブル撮影部102が撮影対象とした被写体の実際のサイズと、テーブル表面に表示される画像内の被写体のサイズとがほぼ同じになるように、画像を表示することが好ましい。これにより、第一会議室のテーブル3000上の様子がテーブル撮影部102によってどのように撮影されたかが正確かつ具体的にテーブル3000上に表示されるので、第一会議室の参加者は、テーブル3000の様子が正確に撮影されて第二テレビ会議装置200に送信されるか否を確認することができる。
撮影された画像を略実物大のサイズで表示するためには、テーブル撮影部102が撮影するテーブル3000表面の撮影領域の大きさと、テーブル画像表示部203が画像を表示するテーブル3000表面の表示領域の大きさとをほぼ同じとすればよい。あるいは、テーブル3000表面の撮影領域に予め実際の距離が分かっている2つ以上のマーカー等を配置しておき、画像合成部105が、第一テーブル画像においてマーカー間の距離を検出し、このマーカー間の距離が予め分かっている実際の距離と同じになるように第一テーブル画像をサイズ調整した上で第一テーブル画像と第二テーブル画像を合成し、合成された画像をテーブル画像表示部203がテーブル3000の表面に表示するようにしてもよい。
また、本実施の形態では、第一テレビ会議装置100のテーブル画像表示部203の表示領域のサイズと、第二テレビ会議装置200のテーブル画像表示部203の表示領域のサイズとをほぼ同じとすることが好ましい。その理由は、第二会議室のテーブル4000において表示される画像を、第一会議室のテーブル3000表面において同じサイズで表示して、テーブル3000に表示される画像を確認できるからである。
テーブル画像表示部203は、ハードウェアによって実現されてもよく、あるいは表示デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。なお、表示デバイスの構成については公知であるので説明は省略する。第二テレビ会議装置200についても同様の動作をするため、ここでは詳細な説明は省略する。
テーブル画像表示部203は、ハードウェアによって実現されてもよく、あるいは表示デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。なお、表示デバイスの構成については公知であるので説明は省略する。第二テレビ会議装置200についても同様の動作をするため、ここでは詳細な説明は省略する。
[第4の実施の形態]
第1の実施の形態においては、各会議室に撮影部101と会議画像表示部202とがそれぞれ1つずつある場合について説明したが、これらは複数あってもよい。
例えば図19に示すように、第一テレビ会議装置100に、6つの会議画像表示部(図19では不図示)の表示デバイスである液晶ディスプレイ2020をテーブル3000の周りに並べて配置し、各ディスプレイ2020の上部に6つの撮影部101をそれぞれ配置するようにしてもよい。
第1の実施の形態においては、各会議室に撮影部101と会議画像表示部202とがそれぞれ1つずつある場合について説明したが、これらは複数あってもよい。
例えば図19に示すように、第一テレビ会議装置100に、6つの会議画像表示部(図19では不図示)の表示デバイスである液晶ディスプレイ2020をテーブル3000の周りに並べて配置し、各ディスプレイ2020の上部に6つの撮影部101をそれぞれ配置するようにしてもよい。
図19の例の場合、第二テレビ会議装置200も同様の構成として、第一テレビ会議装置100の各撮影部101が撮影した画像が、第二テレビ会議装置200の6つの液晶ディスプレイ2020にそれぞれ表示されるようにし、第二テレビ会議装置200の各撮影部101が撮影した画像が、第一テレビ会議装置100の6つの液晶ディスプレイ2020にそれぞれ表示されるようにすることが好ましい。
このように、本実施の形態では、参加者の画像を表示する複数のディスプレイを設けることで、多人数で、臨場感あふれる会議を実現することができる。かかることは他の実施の形態においても同様である。
このように、本実施の形態では、参加者の画像を表示する複数のディスプレイを設けることで、多人数で、臨場感あふれる会議を実現することができる。かかることは他の実施の形態においても同様である。
なお、第1の実施の形態〜第4の実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは複数の装置によって分散処理されることによって実現されてもよい。また、第1の実施の形態〜第4の実施の形態において、1つの装置に存在する2つ以上の通信手段(送信部と受信部など)は、物理的に1つの媒体で実現されてもよいことは言うまでもない。本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
なお、第1の実施の形態〜第4の実施の形態のテレビ会議装置100,200のうち、撮影部101のカメラとテーブル撮影部102のカメラと会議画像表示部202の表示デバイスとテーブル画像表示部203の表示デバイスとを除いた構成は、CPU、記憶装置および外部とのインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。このコンピュータにおいて、本発明のテレビ会議方法を実現させるためのテレビ会議プログラムは、フレキシブルディスク、CD−ROM、DVD−ROM、メモリカードなどの記録媒体に記録された状態で提供される。CPUは、記録媒体から読み込んだプログラムを記憶装置に書き込み、プログラムに従って第1の実施の形態〜第4の実施の形態で説明した処理を実行する。
本発明に係るテレビ会議システムは、テーブルを用いたテレビ会議に用いられるテレビ会議システム等として適しており、特に、テーブル上の情報を共有する必要がある会議等に用いられるテレビ会議システム等として有用である。
100…第一テレビ会議装置、101…撮影部、102…テーブル撮影部、103…送信部、104…テーブル画像情報構成部、105…画像合成部、200…第二テレビ会議装置、201…受信部、202…会議画像表示部、203…テーブル画像表示部、300…ネットワーク、1021,1022…撮影領域、2020,2021,2022,3001,4001…液晶ディスプレイ、3000,4000…テーブル。
Claims (10)
- 多地点を結んで会議を行うテレビ会議装置であって、
会議テーブルの表面に設置された画像情報提示可能な表示デバイスと、
他のテレビ会議装置から送信されたテーブル画像を受信する受信手段と、
この受信手段が受信した画像を前記表示デバイスに表示させるテーブル画像表示手段と、
前記会議テーブルの表示デバイスを含む表面を撮影するテーブル撮影手段と、
前記受信手段が受信した画像を用いて、前記テーブル撮影手段が撮影した画像から、前記表示デバイスに表示された画像を除去したテーブル画像を生成するテーブル画像情報構成手段と、
このテーブル画像情報構成手段が生成したテーブル画像を前記他のテレビ会議装置に送信する送信手段とを具備することを特徴とするテレビ会議装置。 - 請求項1記載のテレビ会議装置において、
前記テーブル画像情報構成手段は、前記テーブル撮影手段が撮影した画像内における前記表示デバイスの表示領域の画像と前記受信手段が受信した画像とを比較して、一致する画像を有する領域を決定し、前記テーブル撮影手段が撮影した画像から、当該決定した領域内の画像を除去した前記テーブル画像を生成することを特徴とするテレビ会議装置。 - 請求項1記載のテレビ会議装置において、
前記テーブル撮影手段が撮影した画像と前記受信手段が受信した画像とを合成する画像合成手段を更に有し、
前記テーブル画像表示手段は、前記画像合成手段が合成した画像を前記表示デバイスに表示させることを特徴とするテレビ会議装置。 - 請求項1記載のテレビ会議装置において、
前記受信手段が受信した画像を任意の角度で回転させる画像情報変換手段を更に有し、
前記テーブル画像表示手段は、前記画像情報変換手段によって変換された画像を前記表示デバイスに表示させることを特徴とするテレビ会議装置。 - 多地点を結んで会議を行うテレビ会議方法であって、
受信手段が他のテレビ会議装置から送信されたテーブル画像を受信する受信ステップと、
テーブル画像表示手段が前記受信ステップで受信された画像を会議テーブルの表面に設置された表示デバイスに表示させるテーブル画像表示ステップと、
テーブル撮影手段が前記会議テーブルの表示デバイスを含む表面を撮影するテーブル撮影ステップと、
テーブル画像情報構成手段が前記受信ステップで受信された画像を用いて、前記テーブル撮影ステップで撮影された画像から前記表示デバイスに表示された画像を除去したテーブル画像を生成するテーブル画像情報構成ステップと、
送信手段が前記テーブル画像情報構成ステップで生成されたテーブル画像を前記他のテレビ会議装置に送信する送信ステップとを具備することを特徴とするテレビ会議方法。 - 請求項5記載のテレビ会議方法において、
前記テーブル画像情報構成ステップは、前記テーブル撮影ステップで撮影した画像内における前記表示デバイスの表示領域の画像と前記受信ステップで受信した画像とを比較して、一致する画像を有する領域を決定し、前記テーブル撮影ステップで撮影した画像から、当該決定した領域内の画像を除去した前記テーブル画像を生成することを特徴とするテレビ会議方法。 - 請求項5記載のテレビ会議方法において、
画像合成手段が前記テーブル撮影ステップで撮影された画像と前記受信ステップで受信された画像とを合成する画像合成ステップを更に有し、
前記テーブル画像表示ステップは、前記画像合成ステップで合成された画像を前記表示デバイスに表示させることを特徴とするテレビ会議方法。 - 請求項5記載のテレビ会議方法において、
画像情報変換手段が前記受信ステップで受信された画像を任意の角度で回転させる画像情報変換ステップを更に有し、
前記テーブル画像表示ステップは、前記画像情報変換ステップによって変換された画像を前記表示デバイスに表示させることを特徴とするテレビ会議方法。 - 請求項5乃至8のいずれか1項に記載のテレビ会議方法の各ステップをコンピュータに実行させることを特徴とするテレビ会議プログラム。
- 請求項9記載のテレビ会議プログラムを記録したことを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007313824A JP2009141508A (ja) | 2007-12-04 | 2007-12-04 | テレビ会議装置、テレビ会議方法、プログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007313824A JP2009141508A (ja) | 2007-12-04 | 2007-12-04 | テレビ会議装置、テレビ会議方法、プログラムおよび記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009141508A true JP2009141508A (ja) | 2009-06-25 |
Family
ID=40871712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007313824A Pending JP2009141508A (ja) | 2007-12-04 | 2007-12-04 | テレビ会議装置、テレビ会議方法、プログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009141508A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101552123B1 (ko) * | 2014-08-28 | 2015-09-10 | 주식회사 케이엠씨로보틱스 | 원격 화상 회의를 위한 원격 협업 스마트 테이블 장치 |
KR101566543B1 (ko) * | 2014-09-03 | 2015-11-05 | 재단법인 실감교류인체감응솔루션연구단 | 공간 정보 증강을 이용하는 상호 인터랙션을 위한 방법 및 시스템 |
KR20160024767A (ko) * | 2014-08-25 | 2016-03-07 | 주식회사 이타기술 | 샷 경계 검출 방법, 그리고 이를 구현한 영상 처리 장치 및 방법 |
US11057443B2 (en) | 2019-06-13 | 2021-07-06 | Panasonic Intellectual Property Management Co., Ltd. | Conference system, video conference apparatus, and video image processing method |
US11438184B2 (en) | 2020-12-04 | 2022-09-06 | Panasonic Intellectual Property Management Co., Ltd. | Conference system, video conference apparatus, and video image processing method |
JP2023004880A (ja) * | 2021-06-25 | 2023-01-17 | コニカ ミノルタ ビジネス ソリューションズ ユー.エス.エー., インコーポレイテッド | プロジェクタ-カメラベースのリモートコラボレーションシステムにおけるビデオエコーを除去するための方法 |
-
2007
- 2007-12-04 JP JP2007313824A patent/JP2009141508A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160024767A (ko) * | 2014-08-25 | 2016-03-07 | 주식회사 이타기술 | 샷 경계 검출 방법, 그리고 이를 구현한 영상 처리 장치 및 방법 |
KR101706347B1 (ko) | 2014-08-25 | 2017-02-14 | 주식회사 이타기술 | 샷 경계 검출 방법, 그리고 이를 구현한 영상 처리 장치 및 방법 |
KR101552123B1 (ko) * | 2014-08-28 | 2015-09-10 | 주식회사 케이엠씨로보틱스 | 원격 화상 회의를 위한 원격 협업 스마트 테이블 장치 |
KR101566543B1 (ko) * | 2014-09-03 | 2015-11-05 | 재단법인 실감교류인체감응솔루션연구단 | 공간 정보 증강을 이용하는 상호 인터랙션을 위한 방법 및 시스템 |
US11057443B2 (en) | 2019-06-13 | 2021-07-06 | Panasonic Intellectual Property Management Co., Ltd. | Conference system, video conference apparatus, and video image processing method |
US11438184B2 (en) | 2020-12-04 | 2022-09-06 | Panasonic Intellectual Property Management Co., Ltd. | Conference system, video conference apparatus, and video image processing method |
JP2023004880A (ja) * | 2021-06-25 | 2023-01-17 | コニカ ミノルタ ビジネス ソリューションズ ユー.エス.エー., インコーポレイテッド | プロジェクタ-カメラベースのリモートコラボレーションシステムにおけるビデオエコーを除去するための方法 |
JP7482937B2 (ja) | 2021-06-25 | 2024-05-14 | コニカ ミノルタ ビジネス ソリューションズ ユー.エス.エー., インコーポレイテッド | プロジェクタ-カメラベースのリモートコラボレーションシステムにおけるビデオエコーを除去するための方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Maimone et al. | General-purpose telepresence with head-worn optical see-through displays and projector-based lighting | |
US10417829B2 (en) | Method and apparatus for providing realistic 2D/3D AR experience service based on video image | |
EP2059046B1 (en) | Method and system for combining videos for display in real-time | |
US9215383B2 (en) | System for enhancing video from a mobile camera | |
US20090067749A1 (en) | Calibration Method and Calibration System for Projection Apparatus | |
US20200128219A1 (en) | Image processing device and method | |
EP1843581A2 (en) | Video processing and display | |
CN110691175B (zh) | 演播室中模拟摄像机运动跟踪的视频处理方法及装置 | |
JP2009141508A (ja) | テレビ会議装置、テレビ会議方法、プログラムおよび記録媒体 | |
CN213461894U (zh) | 一种xr-扩展现实系统 | |
JP2019145059A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP2005020607A (ja) | 合成画像出力装置および合成画像出力処理プログラム | |
KR101704362B1 (ko) | 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법 | |
JP2007300540A (ja) | 映像表示システム | |
JP2022529417A (ja) | 画像取得投影システム、該システムの使用及び画像取得投影挿入方法 | |
JP6575999B2 (ja) | 照明情報取得装置、照明復元装置、およびこれらのプログラム | |
JP7447403B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
CN113763545A (zh) | 图像确定方法、装置、电子设备和计算机可读存储介质 | |
JP2005102277A (ja) | スタックプロジェクション装置及びその調整方法 | |
JP2008301399A (ja) | テレビ会議装置、テレビ会議方法、テレビ会議システム、コンピュータプログラム及び記録媒体 | |
CN113674433B (zh) | 混合现实显示方法及系统 | |
EP4114008A1 (en) | Image generation | |
Thomas | Virtual Graphics for Broadcast Production | |
US11250612B1 (en) | Methods and apparatus rendering images using point clouds representing one or more objects | |
KR102314478B1 (ko) | 전방위 멀티카메라를 이용한 동영상 실시간 모니터링 방법 및 장치 |