JP4623609B2

JP4623609B2 - Imaging / display device for video conference

Info

Publication number: JP4623609B2
Application number: JP2000168858A
Authority: JP
Inventors: 稔野地
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-06-06
Filing date: 2000-06-06
Publication date: 2011-02-02
Anticipated expiration: 2020-06-06
Also published as: JP2001346178A

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラ付きビデオ会議用ディスプレイ装置からなるビデオ会議用撮像／表示装置に関し、更に具体的には、例えばビデオ会議において、大型画面のディスプレイに対応したビデオ会議用カメラの対話相手のディスプレイの画像面に映し出す複数の会議出席者の顔の映像が、対話相手のディスプレイの画像面に自然に向かい合った姿で映し出されるようにする技術であり、撮影環境及び画像データの取り扱いを行う場合に好適なビデオ会議用撮像／表示装置に関する。
【０００２】
【従来の技術】
従来より、企業等におけるビデオ会議を行うためのシステムが各種提案されている。図２４〜図２６に従来のビデオ会議用ディスプレイとカメラシステムの第１の例を示す。図２４は会議用ディスプレイと会議出席者と会議出席者が囲むテーブルを側面から観た場合の図である。図２５はその上面から観た場合の図である。図２６はその場合のビデオカメラが撮像したカメラ画像のイメージ図である。
【０００３】
図２４及び図２５のように、従来、ビデオ会議等に使用するビデオカメラは、首振り可能な雲台に載せて、或いは雲台付きのビデオカメラをディスプレイの上に載せて、会議出席者の模様を撮影し、会議相手に有線及び無線の個別或いはネットワーク回線等により、上記撮影画像を圧縮或いは非圧縮処理を介して伝送し、会議相手のディスプレイにしかるべき復調手段を介して表示し、会議を行っていた。
【０００４】
図２７〜図２９に従来のビデオ会議用ディスプレイとカメラシステムの第２の例を示す。図２７は会議用ディスプレイと会議出席者と会議出席者が囲むテーブルを側面から観た場合の図である。図２８はその上面から観た場合の図である。図２９はその場合のビデオカメラが撮像したカメラ画像のイメージ図である。
【０００５】
図２７及び図２８のように、従来、ビデオ会議等に使用するビデオカメラは、ディスプレイの前面下などに設置して、会議出席者の模様を撮影し、会議相手に有線及び無線の個別或いはネットワーク回線等により、上記撮影画像を圧縮或いは非圧縮処理を介して伝送し、会議相手のディスプレイにしかるべき復調手段を介して表示し、会議を行っていた。また、この場合、双方の或いは片方の、会議グループのディスプレイ画面上は、上記会議相手のビデオカメラの映像と、その他の例えばコンピュータの画像を切り替えて、或いは同時にマルチ画面などとして表示していた。
【０００６】
図３０は従来例のビデオ会議用ディスプレイ、ビデオカメラ等からなるシステムの構成を示すブロック図である。従来例のシステムは、ディスプレイ２、１０３、ビデオカメラ３、１０２、マイクロフォン１１、１０１、スピーカ１２、１０４、ビデオ会議端末１３、１０５、コーデック１４、１０６、伝送回線１５、１０７を備えている。ビデオカメラ３、１０２で撮影した会議の画像やマイクロフォン１１、１０１で集音した音声は、ビデオ会議端末１３、１０５、コーデック１４、１０６、伝送回線１５、１０７を介して会議相手に伝送される。
【０００７】
【発明が解決しようとする課題】
近年、上記のような用途のディスプレイは、表示するソースではパーソナルコンピュータの表示解像度がＳＸＧＡやＸＧＡ（eXtended Graphics Array）といった高精細化や、テレビでは放送のデジタルテレビ化などによるハイビジョン等のコンテンツの増加に伴い高精細化の方向に進み、それに伴いディスプレイの表示画面のサイズが大きくなる傾向にある。
【０００８】
特に近年は、リアデータプロジェクション装置やプラズマディスプレイ（ＰＤＰ）として５０から１００インチ程度のディスプレイや、ハイビジョンモニタ等が実用化されている。そういったディスプレイが会議室に導入されるケースが多くなり、そのような大型のディスプレイを介して会議相手に出席者の表情を伝える機会が多くなってきた。
【０００９】
しかし、図２４及び図２５、図２７及び図２８のように単にビデオカメラをディスプレイの上やディスプレイの画面下等に設置して、会議出席者の表情を撮影しようとしても、画面が大きくなれば、例えばカメラをディスプレイの上に設置した場合、図２６のカメラ画像のイメージ図のように出席者の頭上を撮影するに至り、上記出席者の顔の目や口の動きなどの表情は充分に撮影できない。
【００１０】
また、図２７及び図２８のようにディスプレイの画面下等にビデオカメラを設置した場合、その高さは上記ディスプレイ大型化に伴いどんどん下方になり、一般的に図２７及び図２８のように上記ディスプレイの前面にレイアウトされる会議テーブルの高さぎりぎりになる。そのような位置からの撮影による画像は、図２９のごとく会議卓に並んでいる出席者の横の姿の表情になってしまい、更には、一番カメラ側の出席者が邪魔になり、順次並んでいる出席者の一部が見えるか或いは殆ど見えない。更には、ディスプレイの前で説明する会議のプレゼンタの腰近辺を捉えてしまうような不都合があった。
【００１１】
本発明は、上述した点に鑑みなされたものであり、ビデオ会議で用いる特に大型ディスプレイにおいて会議を行う場合、多くの出席者の顔の表情を良好に撮影、伝送、表示が可能なように構成することで、遠隔地の会議出席者が自然に向かい合うイメージで会議ディスプレイに画像を表示可能とし、効果的なビデオ会議を可能としたビデオ会議用撮像／表示装置を提供することを目的とする。
【００１２】
上記目的を達成するため、本発明は、表示画面を有する表示装置と、前記表示装置の表示画面範囲の外側で且つ前記表示画面に向かって左側に配置された第１の撮像装置と、前記表示装置の表示画面範囲の外側で且つ前記表示画面に向かって右側に配置された第２の撮像装置とを備え、前記第１の撮像装置及び前記第２の撮像装置のそれぞれの出力映像信号を前記表示装置に入力して画像を表示するビデオ会議用撮像／表示装置であって、前記第１の撮像装置の光軸と前記表示画面の底辺に平行な該表示画面の左右の両端を結ぶ直線Ｘ−Ｘ’との成す角度を４５度に設定するとともに、前記第１の撮像装置における光軸を中心線とした同一水平面上の左右方向の撮像範囲を、ビデオ会議の出席者を被写体として捉える角度の範囲に設定し、前記第２の撮像装置の光軸と前記表示画面の底辺に平行な該表示画面の左右の両端を結ぶ直線Ｘ−Ｘ’との成す角度を４５度に設定するとともに、前記第２の撮像装置における光軸を中心線とした同一水平面上の左右方向の撮像範囲を、ビデオ会議の出席者を被写体として捉える角度の範囲に設定し、前記第１の撮像装置及び前記第２の撮像装置の高さを、前記表示画面の下辺から上辺までの間で移動可能に構成するとともに、前記第１の撮像装置及び前記第２の撮像装置を、前記表示装置に対して着脱可能に構成し、前記第１の撮像装置及び前記第２の撮像装置の撮影方向を、互いの光軸が交わる所定の角度に設定したことを特徴とする。
【００１３】
上記目的を達成するため、請求項２記載の発明は、前記撮像装置はビデオカメラであり、前記撮像装置の高さを、前記表示装置の表示画面の下辺から上辺までの高さの間に設定したことを特徴とする。
【００１４】
上記目的を達成するため、請求項３記載の発明は、前記表示装置の前記表示画面に向かって左側に配置された第１の撮像装置の光軸の左右方向の角度を、同一水平面上における角度に関して、前記表示画面の底辺に平行な該表示画面の左右の両端を直線で結ぶ線Ｘ−Ｘ’に対して該表示画面手前に垂直にＺ軸を想定した場合、該Ｚ軸を基準として右に４５度の角度を中心に正負４０度の範囲に設定したことを特徴とする。
【００１５】
上記目的を達成するため、請求項４記載の発明は、前記表示装置の前記表示画面に向かって右側に配置された第２の撮像装置の光軸の左右方向の角度を、同一水平面上における角度に関して、前記表示画面の底辺に平行な該表示画面の左右の両端を直線で結ぶ線Ｘ−Ｘ’に対して該表示画面手前に垂直にＺ軸を想定した場合、該Ｚ軸を基準として左に４５度の角度を中心に正負４０度の範囲に設定したことを特徴とする。
【００１６】
上記目的を達成するため、請求項５記載の発明は、前記撮像装置の高さを可変とする高さ可変手段、前記撮像装置のチルト設定を可変とするチルト手段、前記撮像装置のパンニングを可能とするパンニング手段の何れかを具備或いは同時に具備したことを特徴とする。
【００８１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００８２】
［第１の実施の形態］
図１は本発明の第１の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイ装置の構成を示す正面図であり、本発明の特徴を最もよく表す図である。本発明の第１の実施の形態のビデオカメラ付きビデオ会議用ディスプレイ装置は、ディスプレイ本体１の各部に、表示画面枠（画面、ディスプレイ）２、レンズ部３ａを有し高さが移動可能な第１のビデオカメラ３、レンズ部４ａを有し高さが移動可能な第２のビデオカメラ４、操作パネル５、スピーカ１２、１２を装備している。この場合、第１のビデオカメラ３、第２のビデオカメラ４は、ディスプレイ本体１に対し着脱可能に構成されている。
【００８３】
図２は上記図１に示したビデオカメラ付きビデオ会議用ディスプレイ装置、会議机、会議出席者の様子を側面から観た場合の会議レイアウト例を示す側面図、図３は上記図１に示したビデオカメラ付きビデオ会議用ディスプレイ装置、会議机、会議出席者の様子を上面から観た場合の会議のレイアウト例を示す上面図、図４は上記図２及び図３に示したビデオ会議の例における、上記図１に示したビデオカメラ付きビデオ会議用ディスプレイ装置により送出された画像の受信表示例を示す説明図である。
【００８４】
図５は上記図１に示したビデオカメラ付きビデオ会議用ディスプレイ装置における第１のビデオカメラ３の撮影画像のイメージ例を示す説明図、図６は上記図１に示したビデオカメラ付きビデオ会議用ディスプレイ装置における第２のビデオカメラ４の撮影画像のイメージ例を示す説明図である。
【００８５】
上記図１〜図３において、ディスプレイ本体１は、例えばプラズマディスプレイ装置（以下ディスプレイ装置）であり、装置中央部には、プラズマディスプレイのデバイスの画面２（以下画面２）が配置され、画面２の周辺のいわゆる額縁の左側に第１のビデオカメラ３、画面２の周辺のいわゆる額縁の右側に第２のビデオカメラ４が備えられている。ここで、第１のビデオカメラ３は、３が本体、３ａはレンズ部である。同様に、第２のビデオカメラ４は、４が本体、４ａはレンズ部である。
【００８６】
図７は本発明の第１の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムの構成を示すブロック図である。本発明の第１の実施の形態のビデオカメラ付きビデオ会議用ディスプレイシステムは、ディスプレイ２、第１のビデオカメラ３、第２のビデオカメラ４、画像合成部１０、マイクロフォン１１、スピーカ１２を有するディスプレイ本体１、ビデオ会議端末１３、コーデック１４、伝送回線１５、マイクロフォン１０１、ビデオカメラ１０２、ディスプレイ１０３、スピーカ１０４、ビデオ会議端末１０５、コーデック１０６、伝送回線１０７を備えている。各部の機能は動作と共に後述する。
【００８７】
図８は本発明の第１の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムの画像合成部１０の詳細構成を示すブロック図である。本発明の第１の実施の形態のビデオカメラ付きビデオ会議用ディスプレイシステムの画像合成部１０は、第１のカラーデコーダ３０１、同期分離回路及びクロック発生部３０２、メモリ書き込みコントロール部３０３、第１の画像フレームメモリ（１）３０４、メモリ読み出しコントロール部３０５、データセレクタ３０６、ＮＴＳＣエンコーダ部３０７、第２のカラーデコーダ３０８、同期分離回路及びクロック発生部３０９、メモリ書き込みコントロール部３１０、第２の画像フレームメモリ（２）３１１、ＲＯＭ３１２を備えている。各部の機能は動作と共に後述する。
【００８８】
図２３は本発明の各実施形態に係るプログラム及び関連データが記憶媒体から装置に供給される概念例を示す説明図である。プログラム及び関連データは、フロッピディスクやＣＤ−ＲＯＭ等の記憶媒体２３１をコンピュータ等の装置２３２に装備された記憶媒体ドライブ挿入口２３３に挿入することで供給される。その後、プログラム及び関連データを記憶媒体２３１から一旦ハードディスクにインストールしハードディスクからＲＡＭにロードするか、或いはハードディスクにインストールせずに直接ＲＡＭにロードすることで、プログラム及び関連データを実行することが可能となる。
【００８９】
この場合、本発明の各実施形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムにおいてプログラムを実行する場合は、例えば上記図２３に示したような手順で本システムの各装置にプログラム及び関連データを供給するか、或いは本システムの各装置に予めプログラム及び関連データを格納しておくことで、プログラム実行が可能となる。
【００９０】
図２２は本発明の各実施形態に係るプログラム及び関連データを記憶した記憶媒体の記憶内容の構成例を示す説明図である。記憶媒体は、例えばボリューム情報２２１、ディレクトリ情報２２２、プログラム実行ファイル２２３、プログラム関連データファイル２２４等の記憶内容で構成される。プログラムは、各実施形態の動作手順に基づきプログラムコード化されたものである。
【００９１】
尚、本発明の特許請求の範囲と本発明の各実施形態との対応関係は下記の通りである。第１の撮像装置は第１のビデオカメラ３に対応し、第２の撮像装置は第２のビデオカメラ４に対応し、表示装置はディスプレイ２に対応し、画像合成手段は画像合成部１０に対応し、画像信号入力手段は映像信号入力端子２０１に対応する。
【００９２】
上記図１〜図３に示した画面２の左右の第１のビデオカメラ３及び第２のビデオカメラ４において、図３に示すように、第１のビデオカメラ３のレンズ部３ａの光軸を法線Ａとして示すと、法線Ａと画面（スクリーン）２の左右を結ぶ線上Ｘ−Ｘ’との成す角度をθ１とすると、本実施形態の場合おおよそθ１≒４５度である。第２のビデオカメラ４のレンズ部４ａの光軸を法線Ｂとして示すと、法線Ｂと画面（スクリーン）２の左右を結ぶ線上Ｘ−Ｘ’との成す角度をθ２とすると、本実施形態の場合おおよそθ２≒４５度である。
【００９３】
以上の第１のビデオカメラ３の光軸設定において、図３に示す第１のビデオカメラ３のレンズ部３ａ及び図示せずとも、当然、内部撮像素子に関しても、上記それぞれの光軸上に対してしかるべき角度に配置される。第１のビデオカメラ３は、図３記載の出席者（１）、（２）、（３）を被写体として捉える角度イ、ロの範囲で撮像する。
【００９４】
同様に、第２のビデオカメラ４の光軸設定において、図３に示す第２のビデオカメラ４のレンズ部４ａ及び図示せずとも、当然、内部撮像素子に関しても、上記それぞれの光軸上に対してしかるべき角度に配置される。第２のビデオカメラ４は、図３記載の出席者（４）、（５）、（６）を被写体として捉える角度ハ、ニの範囲で撮像する。
【００９５】
尚、図２に示す側面からの図において、第１のビデオカメラ３のレンズ部３ａからの光軸は設置面に対して略水平であり、画面２の上下方向の面Ｙ−Ｙ’に対しての角度θ３は約９０度である。第１のビデオカメラ３の高さは上述のように移動可能であり、出席者（１）、（２）、（３）の顔の高さに設定される。
【００９６】
同様に、図示せずとも、第２のビデオカメラ４のレンズ部４ａからの光軸は設置面に対して略水平であり、画面２の上下方向の面Ｙ−Ｙ’に対しての角度θ３は約９０度である。第２のビデオカメラ４の高さは上述のように移動可能であり、出席者（４）、（５）、（６）の顔の高さに設定される。
【００９７】
また、第１のビデオカメラ３及び第２のビデオカメラ４はチルト可変可能であり、同様に、第１のビデオカメラ３及び第２のビデオカメラ４はパンニング方向にも可変可能であり、以上のようなカメラの高さ、チルト、パンニングの機能により、第１のビデオカメラ３と第２のビデオカメラ４の撮像エリアを設定し、会議の状況を撮像する。尚、カメラの高さ、チルト、パンニングの機能は電動式であってもよいし、また、カメラの高さ、チルト、パンニングの機能は電動式で受像側または送信側の何れか或いは第三の地点により制御することも可能であり、それにより操作性は向上する。
【００９８】
以上による場合の第１のビデオカメラ３及び第２のビデオカメラ４のそれぞれが撮像する画像を図５、図６に示す。図５は第１のビデオカメラ３の撮像画像であり、図６は第２のビデオカメラ４の撮像画像である。第１のビデオカメラ３の撮像画像出力と第２のビデオカメラ４の撮像画像出力は、それぞれ本実施形態においては、輝度信号と色信号に分離されたＮＴＳＣ（National Television System Commitee）ビデオ信号として出力され、図７における画像合成部１０に供給される。
【００９９】
図７の回路ブロックダイヤグラムの画像合成部１０において、第１のビデオカメラ３及び第２のビデオカメラ４による撮像画像は各々縮小合成され、ビデオ会議端末１３に送られる。図８に上記図７の回路ブロックダイヤグラムの画像合成部１０の更に詳しい内容を示す。
【０１００】
図８において、第１のカラーデコーダ３０１は、ＮＴＳＣ信号を復調するものであり、第１のビデオカメラ３からの映像信号をＡ／Ｄ変換するＡ／Ｄコンバータ（不図示）、該Ａ／Ｄコンバータのデジタル信号をフィルタリングするデジタルフィルタ（不図示）を介してデジタル輝度信号を抽出し、また、デジタルバンドパスフィルタ（不図示）により平行変調された色信号を抽出し、該色信号に関しては色復調段により色復調を行い、デ・マトリクス部（不図示）にて輝度信号と色復調信号によりデジタル化された赤、緑、青の３原色信号を得る。
【０１０１】
上記デジタル化された赤、緑、青の３原色信号は、データセレクタ３０６に供給され、また同時に、第１の画像フレームメモリ３０４のデータバスにも接続される。第１の画像フレームメモリ３０４のデータバスは、本実施形態においては双方向のインターフェースである。第１のカラーデコーダ３０１、第１の画像フレームメモリ３０４の上記データバスに接続するインターフェースは、３ステートであり、詳述せずとも、メモリ書き込みコントロール部３０３、メモリ読み出しコントロール部３０５より適宜制御されるものである。第２のカラーデコーダ３０８、第２の画像フレームメモリ３１１においても同様である。
【０１０２】
第１の画像フレームメモリ３０４は、本実施形態においてはマルチポート型メモリを使用しており、書き込みと読み出しのタイミングは非同期で動作可能となる。その他の例えば画像フレームメモリＬＳＩや、ＤＲＡＭ、ＳＲＡＭ等の汎用メモリにおいても、しかるべきタイミング及び接続により、書き込みと読み出しは同様に実現できることは勿論である。
【０１０３】
第１の画像フレームメモリ３０４の書き込みアドレスは、第１のメモリをＡとしてＡ０からＡ７６７９９番地までで、この数は水平３２０ドット、垂直２４０ドットの画素に相当する。尚、本実施形態においては、各ドットにつき、各赤、緑、青に対応し各々の階調を各６ｂｉｔを割り当て、合計１８ｂｉｔのデータ幅を与える。
【０１０４】
一方、第１のカラーデコーダ３０１より同期分離回路及びクロック発生部３０２に、コンポジット同期信号と、第１のカラーデコーダ３０１から出力される赤、緑、青の３原色信号のデータレートに同じ周波数の基本クロックが供給される。本実施形態においては、第１のカラーデコーダ３０１は、有効表示期間において水平６４０ドット、垂直４８０ドット（ライン）の解像度に対応した出力レートを持つ。
【０１０５】
同期分離回路及びクロック発生部３０２により、水平同期信号と垂直同期信号を得て、データがメモリ書き込みコントロール部３０３に供給される。同様に、同期分離回路及びクロック発生部３０２により、第１のカラーデコーダ３０１から出力される赤、緑、青の３原色信号のデータレートの半分の周波数のクロックが後段のメモリ書き込みコントロール部３０３に供給される。
【０１０６】
メモリ書き込みコントロール部３０３において、第１の画像フレームメモリ３０４の第１のメモリの書き込みアドレスをＡ０からＡ７６７９９番地まで、第１のカラーデコーダ３０１から出力される赤、緑、青の３原色信号のデータレートの半分の周波数で書き込みを行うことにより、第１のビデオカメラ３の出力画像を、水平方向で１画素おきの、水平３２０ドット、垂直方向にも１ラインおきの垂直２４０ラインの画素データが、第１の画像フレームメモリ３０４に逐次書き込まれていく。
【０１０７】
ここで、第１のビデオカメラ３の出力信号は、ＮＴＳＣ方式に準じているため、インターレース走査方式であるが、上記有効表示期間に関して奇数フィールド、偶数フィールドの順に１フレーム分をストアしていく。また、線順次走査（プログレッシブ）方式の場合は、そのまま１フレーム分を書き込めばよい。どちらの走査方式でも、余分に帰線期間のビデオデータをストアしても、アドレスさせ明確であれば、なんら問題はない。
【０１０８】
同様に、第２のビデオカメラ４の出力映像信号は、第２のカラーデコーダ３０８に入力される。データレート、解像度等は、上記第１のカラーデコーダ３０１と同じである。更に、同期分離回路及びクロック発生部３０９、メモリ書き込みコントロール部３１０に関しても、それぞれ第１のビデオカメラ３の信号処理と同様である。
【０１０９】
第２のカラーデコーダ３０８において復調されデジタル化された赤、緑、青の３原色信号はデータセレクタ３０６に供給される。また同時に、第２の画像フレームメモリ３１１のデータバスにも接続される。第２の画像フレームメモリ３１１のデータバスも、本実施形態においては、双方向のインターフェースであり、構成等は第１の画像フレームメモリ３０４と同様のものである。
【０１１０】
第２の画像フレームメモリ３１１の書き込みアドレスは、第２のメモリをＢとしてＢ０からＢ７６７９９番地までで、この数は水平３２０ドット、垂直２４０ドットの画素に相当する。尚、本実施形態においては、各ドットにつき、各赤、緑、青に対応し各々の階調を各６ｂｉｔを割り当て、合計１８ｂｉｔのデータ幅を与える。
【０１１１】
一方、第２のカラーデコーダ３０８より同期分離回路及びクロック発生部３０９に、コンポジット同期信号と、第２のカラーデコーダ３０８から出力される赤、緑、青の３原色信号のデータレートに同じ周波数の基本クロックが供給される。本実施形態においては、第２のカラーデコーダ３０８は、有効表示期間において水平６４０ドット、垂直４８０ドット（ライン）の解像度に対応した出力レートを持つ。
【０１１２】
同期分離回路及びクロック発生部３０９により、水平同期信号と垂直同期信号を得て、データがメモリ書き込みコントロール部３１０に供給される。同様に、同期分離回路及びクロック発生部３０９により、第２のカラーデコーダ３０８から出力される赤、緑、青の３原色信号のデータレートの半分の周波数のクロックが後段のメモリ書き込みコントロール部３１０に供給される。
【０１１３】
メモリ書き込みコントロール部３１０において、第２の画像フレームメモリ３１１の書き込みアドレスをＢ０からＢ７６７９９番地まで、第２のカラーデコーダ３０８から出力される赤、緑、青の３原色信号のデータレートの半分の周波数で書き込みを行うことにより、第２のビデオカメラ４の出力画像を、水平方向で１画素おきの、水平３２０ドット、垂直方向にも１ラインおきの垂直２４０ラインの画素データが、第２の画像フレームメモリ３１１に逐次書き込まれていく。尚、飛び越し走査または線順次走査方式に関しての対応は、上記第１のビデオカメラ３の場合と同様である。
【０１１４】
上記第１の画像フレームメモリ３０４と第２の画像フレームメモリ３１１のアドレスは、割り当て画素数以上にアドレスを増加させて、各ビデオカメラ３、４に関する情報を記録させてもよい。
【０１１５】
以上の動作により、上記第１の画像フレームメモリ３０４と第２の画像フレームメモリ３１１には、上記第１のビデオカメラ３と第２のビデオカメラ４の映像が各フレーム毎に、決められたアドレスに順次書き込まれる。
【０１１６】
次に、図９に記載のように、先ずメモリ読み出しコントロール部３０５により、第１の画像フレームメモリ３０４と第２の画像フレームメモリ３１１を読み出す。読み出しタイミングは、本実施形態においては、ＮＴＳＣ方式に準じて、水平６４０ドット、垂直４８０ラインの有効画素を想定して、垂直帰線期間、水平帰線期間を挟みながら順次読み出される。
【０１１７】
ここで、読み出しは、１垂直期間の前半の１２０ラインは、ダミーの例えば青色のデータまたは黒色のデータまたは灰色のデータ等、任意の色データを出力データとする。このダミーデータは、データセレクタ３０６の３つ目の入力に接続された、例えばＲＯＭ（リードオンリメモリ）３１２から得る。ＲＯＭ３１２には、予め決められたデータ値を書き込んでおく。ＲＯＭ３１２は、電気的書き換え可能なＲＯＭ（ＥＥＰＲＯＭ）や、ＲＡＭに図示せずとも、マイクロコンピュータより、例えば装置の電源投入直後等に、予め決められたデータ値を書き込むことでも実現可能である。
【０１１８】
同様に、上記読み出しにおける、垂直帰線期間、水平帰線期間の黒レベル或いはセットアップレベルは、ＲＯＭ３１２の別アドレスとして予めストアしておいて、上記読み出しの、垂直帰線期間、水平帰線期間に読み出される。
【０１１９】
次に、後半の１２１（２４１）ラインより、水平方向に３２０画素分として、第１の画像フレームメモリ３０４の第１ラインの１ライン分の３２０画素を読み出す。続けて、水平方向に３２１画素から６４０画素分まで、第２の画像フレームメモリ３１１の第１ラインの１ライン分の３２０画素を読み出す。
【０１２０】
以上の動作で、横６４０画素分の画像データが読み出され、該画像データの前半は第１の画像フレームメモリ３０４に保持された画像の第１ラインであり、後半は第２の画像フレームメモリ３１１に保持された画像の第１ラインがデータとして読み出される。
【０１２１】
同様に、１２２（２４２）ラインにおいて、水平期間の前半の３２０画素分として、第１の画像フレームメモリ３０４の第２ラインの１ライン分の３０４画素のデータを読み出す。続けて、上記読み出しの１２２ラインの後半の３２０画素分として、第２の画像フレームメモリ３１１の第２ラインの１ライン分の３２０画素を読み出す。
【０１２２】
以上のように順次、第３のライン、第４のラインという順序で読み出し、水平期間の前半において第１の画像フレームメモリ３０４、後半において第２の画像フレームメモリ３１１を読み出して、読み出し画像の第２３９ラインの後半の３２０画素を、第２の画像フレームメモリ３１１の１２０ラインの３２０画素を、続けて、読み出し画像の第２４０ラインの前半の３２０画素を、第１の画像フレームメモリ３０４の１２０ラインの３２０画素を、読み出し画像の第２４０ラインまで読み出す。
【０１２３】
次に、読み出し画像の偶数フィールドとして、上記奇数フィールドの読み出しに準じて、垂直帰線期間を挟んで２４１ラインから３６０ラインまで、ダミーの例えば青色のデータまたは黒色のデータまたは灰色のデータ等、任意の色データを出力データとする。このダミーデータは、上記奇数フィールド同様、データセレクタ３０６の３つ目の入力に接続された、例えばＲＯＭ（リードオンリメモリ）３１２から得る。
【０１２４】
次の３６１ラインからは、上記奇数フィールドのフィールドメモリの読み出しと逆の順序、つまり、読み出し画像の３６１ラインの６４０画素のうち前半の３２０画素はＲＯＭ３１２より得られるダミーのデータを、直前のライン同様に読み出す。３６１ラインの後半の３２０画素は、第２の画像フレームメモリ３１１の２４１ラインの３２０画素を読み出す。次の読み出しラインである３６２ラインの前半の３２０画素に関して、第１の画像フレームメモリ３０４の２４１ラインの３２０画素の読み出しを行う。続けて、第２の画像フレームメモリ３１１の２４２ラインの３２０画素を読み出す。
【０１２５】
以上のように交互に第１の画像フレームメモリ３０４と第２の画像フレームメモリ３１１を読み出し、読み出し画像の偶数フィールドの２４０ラインの前半の３２０画素は、第１の画像フレームメモリ３０４の２４０ラインの３２０画素を、偶数フィールドの２４０ラインの後半の３２０画素は、第２の画像フレームメモリ３１１の２４０ラインの３２０画素を読み出し、その後、垂直帰線期間に関し、ＲＯＭ３１２の第２のデータである黒信号またはセットアップ信号を読み出し、次のフレームの読み出しに移る。
【０１２６】
上述したように、交互に第１の画像フレームメモリ３０４と、第２の画像フレームメモリ３１１と、ＲＯＭ（読み出し専用メモリ）３１２とを、メモリ読み出しコントロール部３０５からの読み出し制御信号による制御と、データセレクタ３０６により、それぞれ対応するメモリをセレクトして、ＮＴＳＣエンコーダ部３０７に入力する。
【０１２７】
ＮＴＳＣエンコーダ部３０７は、赤、緑、青のデジタル色信号の入力を備え、データセレクタ３０６の出力デジタル信号の各色に対応して入力される。ＮＴＳＣエンコーダ部３０７は、上記メモリから読み出された赤、緑、青のデジタル色信号を、図示せずとも、デジタルマトリクス、デジタルエンコーダ等の処理により、デジタルＮＴＳＣ信号を得る。該ＮＴＳＣ信号は、同期信号を付加した輝度信号と直角２相平衡変調されたクロマ信号の所謂ＹＣセパレート信号で、それぞれＤ／Ａ変換され出力される。
【０１２８】
尚、上記第１のカラーデコーダ３０１、第２のカラーデコーダ３０８の構成は様々考えられ、アナログベースで復調し、その後、赤、緑、青の色信号の段階で、３つのＡ／ＤコンバータによりＡ／Ｄ変換して、第１の画像フレームメモリ３０４、第２の画像フレームメモリ３１１及びデータセレクタ３０６に供給しても、目的は達せられる。
【０１２９】
また、ＮＴＳＣエンコーダ部３０７も上記の例とは異なり、入力されたデジタル信号を先にＡ／Ｄ変換して、アナログの赤、緑、青信号を得て、該アナログ色信号をマトリクス変換、直角２相平衡変調、同期信号付加の手段を経て、アナログのＮＴＳＣ信号を出力する構成でも成り立つことは勿論である。
【０１３０】
ＮＴＳＣエンコーダ部３０７のＮＴＳＣ信号出力は、上記図７の本実施形態の全体のブロックダイアグラムにおいて、ビデオ会議端末１３に供給される。ビデオ会議端末１３においては、マイクロフォン１１からの音声信号、ディスプレイ本体１への受信ビデオ信号、スピーカ１２への受信音声信号の双方向の伝送切り換えを行っており、画像合成部１０からの合成画像信号はマイクロフォン１１よりの音声信号と合成され、次段のコーデック１４に供給される。
【０１３１】
コーデック１４にて伝送信号として圧縮変調され、受信信号においては復号解凍化され、送出においては伝送回線１５に送出される。この場合に、一般的なビデオ会議用伝送信号圧縮形式として、ＩＴＵ（International Telecommunication Union）Ｈシリーズ規格で、例えばＨ．３２０、Ｈ．３２３、Ｈ．３２４などがあり、それらの少なくとも一つに適合すると共に会議システムとも互換性を持つことが好ましい。
【０１３２】
伝送回線１５は、その後、通信回線として、一般的にはＩＳＤＮ（Integrated Service Digital Network）回線等、或いはその他の有線または無線、光通信、衛星通信回線等を、単独に或いは複数組み合わせた通信媒体を介して、本実施形態においては伝送回線１０７に接続され、コーデック１０６に供給され、復号化され、ビデオ会議端末１０５に供給される。ビデオ会議端末１０５にて音声信号が復調増幅され、スピーカ１０４に出力される。また、ビデオ会議端末１０５から映像信号が復調され、ディスプレイ１０３に供給される。ディスプレイ１０３には、画像合成部１０にて合成された状態の映像信号が表示される。
【０１３３】
図４にディスプレイ１０３に表示される画像のイメージを示す。図４に示すように、表示画像の左には第１のビデオカメラ３により撮像された映像、表示画像の右には第２のビデオカメラ４により撮像された映像が表示される。上述のように、送出側の第１のビデオカメラ３及び第２のビデオカメラ４をそれぞれ角度を設定し、第１のビデオカメラ３及び第２のビデオカメラ４の出力映像を合成し、伝送することにより、遠隔地の会議出席者が自然に向かい合うイメージで、良好に表示可能となるものである。
【０１３４】
尚、本実施形態の説明では、受像側のディスプレイ１０３は、特にビデオカメラ１０２のみの記載であるが、勿論、双方会議のディスプレイにおけるビデオカメラに関しては、本発明の特徴であるディスプレイの両側に上記請求項記載のカメラ光軸に関しての角度を持った２つのビデオカメラを具備することが、双方の会議の自然な状況を得るために望ましい。
【０１３５】
本発明の第１の実施の形態において、第１のビデオカメラ３及び第２のビデオカメラ４の出力をデジタルビデオのシリアルインターフェースまたはパラレルインターフェースとしても、本実施形態は実現できる。この場合、例えばシリアルインターフェースとしてはＰ１３９４やＵＳＢ（Universal Serial Bus）で、それらは一般的にアイソクロナスによるパケット転送方式により転送するのが画像の転送に適している。また、この場合、本実施形態の具体的には画像合成部１０において、シリアル画像データをそれぞれフレーム画像データとして上記の画像フレームメモリに書き込む。読み出しは、上述のように第１のビデオカメラ３の画像が左の画像として、第２のビデオカメラ４の画像が右の画像として読み出される。
【０１３６】
次に、例えばシリアルインターフェースとしてはＲＳ４２２で転送する。この場合、本実施形態の具体的には画像合成部１０において、シリアル画像データをそれぞれフレーム画像データとして上記の画像フレームメモリに書き込む。画像合成部１０においてＡ／Ｄ変換処理が省略できるため、画質劣化が軽減され、またコスト的にも有利である。読み出しは、上述のように第１のビデオカメラ３の画像が左の画像として、第２のビデオカメラ４の画像が右の画像として読み出され、ビデオ会議端末１３に供給される。
【０１３７】
以上のカメラ手段及び画像処理においてはＮＴＳＣ方式で説明したが、ＰＡＬ（Phase Alternating by Line）方式、ＳＥＣＡＭ（Sequential Couleur a Memoire）方式、ＨＤＴＶ（High Density Television）方式等、或いはコンピュータのビデオグラフィックスフォーマット（例えばＶＧＡ（Video Graphics Array）、ＳＶＧＡ（Super Video Graphics Array）、ＸＧＡ（Extended Graphics Array）等）においても基本的考え方は同一である。
【０１３８】
また、カラーの信号形式としては、ＮＴＳＣのようなコンポジットカラービデオ信号や、Ｙ、Ｕ、Ｖなどの色差信号形式、赤、緑、青の３原色信号形式でも、それぞれの信号処理過程においてデコード、エンコード、マトリクス、デマトリクス処理により実現は可能である。
【０１３９】
また、メモリに書き込み／読み出しを行う画像データは、コンポジットカラービデオ信号を直接デジタイズして、或いは輝度信号とクロマ信号に関してそれぞれデジタイズして、同様の書き込み／読み出し処理を行っても実現できることは勿論である。但し、コンポジットカラービデオ信号やクロマ信号をデジタイズする場合は、サブキャリア信号の周波数の２倍以上でサンプリングするのが望ましい。
【０１４０】
また、ビデオ会議端末１３においては、デジタル信号入力として、内部処理を全てデジタル処理にすることにより、画像合成部１０のＤ／Ａ変換手段が省略できる。
【０１４１】
以上説明したように、本発明の第１の実施の形態によれば、会議用ディスプレイの両側に会議用のビデオカメラを具備し、ビデオカメラの撮影方向を互いの光軸が交わる所定の角度に設定し、複数の会議出席者を横からの撮影を回避するようにして、ビデオカメラの２つの映像を伝送し、受像側にあっては自然に２つの映像が並んで表示され、会議出席者の顔の表示がより良好な画角にて表示されるようにしたものである。
【０１４２】
即ち、会議用ディスプレイの両側にそれぞれ所定の角度の光軸を持つ２つのビデオカメラを具備し、ビデオカメラの２つの画像を画像合成手段により合成してから伝送するか、或いはビデオカメラの２つの画像を伝送してから画像合成し、会議用ディスプレイに向かって右のカメラの映像を表示画像の右に、左のカメラの映像を表示画像の左に表示する。これにより、ビデオ会議で用いる特に大型ディスプレイにおいて会議を行う場合、多くの出席者の顔の表情を良好に撮影、伝送、表示が可能なように構成することで、遠隔地の会議出席者が自然に向かい合うイメージで会議ディスプレイに画像を表示可能となり、効果的なビデオ会議が可能となるという効果を奏する。
【０１４３】
［第２の実施の形態］
上述した本発明の第１の実施の形態においては、上記図７の画像合成部１０にて、第１のビデオカメラ３の画像と第２のビデオカメラ４の画像を合成した場合の残りの領域、つまり上記図８のメモリ読み出しコントロール部３０５に制御された読み取り画像の奇数フィールドの有効走査期間の第１ラインから１２０ラインの前半３２０画素期間と、偶数フィールド有効走査期間の第１ラインから１２０ラインの後半３２０画素期間において、ブランクの例えば青色のデータまたは黒色のデータまたは灰色のデータ等、任意の色データをＲＯＭ３１２より供給して均一画像を表示したが、本発明の第２の実施の形態においては、外部より第３の映像を或いはキャラクタ等の映像を表示するようにしたものである。以下に本発明の第２の実施の形態について説明を行う。
【０１４４】
図１０は本発明の第２の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムの構成を示すブロック図である。本発明の第２の実施の形態のビデオカメラ付きビデオ会議用ディスプレイシステムは、ディスプレイ２、第１のビデオカメラ３、第２のビデオカメラ４、画像合成部１０、マイクロフォン１１、スピーカ１２、映像信号入力端子（外部画像入力端子）２０１を有するディスプレイ本体１、ビデオ会議端末１３、コーデック１４、伝送回線１５、マイクロフォン１０１、ビデオカメラ１０２、ディスプレイ１０３、スピーカ１０４、ビデオ会議端末１０５、コーデック１０６、伝送回線１０７を備えている。
【０１４５】
図１０において、映像信号入力端子（外部画像入力端子）２０１は、第３の映像を入力する端子である。映像信号入力端子２０１には、例えばビデオテープレコーダ装置（以下ＶＴＲ）のビデオ信号を接続して、該ＶＴＲのビデオ信号を入力し、画像合成部１０に供給する。
【０１４６】
図１１は本発明の第２の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムの画像合成部１０の詳細構成を示すブロック図である。本発明の第２の実施の形態のビデオカメラ付きビデオ会議用ディスプレイシステムの画像合成部１０は、第１のカラーデコーダ３０１、同期分離回路及びクロック発生部３０２、メモリ書き込みコントロール部３０３、第１の画像フレームメモリ３０４、メモリ読み出しコントロール部３０５、データセレクタ３０６、ＮＴＳＣエンコーダ部３０７、第２のカラーデコーダ３０８、同期分離回路及びクロック発生部３０９、メモリ書き込みコントロール部３１０、第２の画像フレームメモリ３１１、ＲＯＭ３１２、第３のカラーデコーダ３１３、同期分離回路及びクロック発生部３１４、メモリ書き込みコントロール部３１５、第３の画像フレームメモリ３１６を備えている。
【０１４７】
図１１において、第２の実施の形態は、上記第１の実施の形態の図８の構成の他に、第３のカラーデコーダ３１３、同期分離回路及びクロック発生部３１４、メモリ書き込みコントロール部３１５、第３の画像フレームメモリ３１６を備えるものである。尚、データセレクタ３０６は、入力を４系統として、第３の映像のセレクトを処理する。
【０１４８】
上記映像信号入力端子２０１から入力された第３の外部位映像信号は、第３のカラーデコーダ３１３に入力され、上記同様、赤、緑、青のデジタル映像信号に復調される。本実施形態においては、有効表示画面の水平方向に６４０画素のデータレートで出力される。同期分離回路及びクロック発生部３１４においては、水平同期信号と、垂直同期信号、フレーム信号、第３のカラーデコーダ３１３の出力映像信号のデータレートに対応したクロック信号が出力され、メモリ書き込みコントロール部３１５に供給される。
【０１４９】
メモリ書き込みコントロール部３１５からは、第３の画像フレームメモリ３１６の書き込み制御信号が出力される。第３の画像フレームメモリ３１６は、第１及び第２の画像フレームメモリ３０４、３１１と同様のマルチポートメモリを使用する。上記第１の実施の形態で述べたように、他の種類のＲＡＭであっても、しかるべきタイミングにて駆動すれば問題はない。但し、第３の画像フレームメモリ３１６においては、垂直方向には１フレームあたり２４０ラインの容量を持ち、水平方向においては３２０画素分の容量を備える。
【０１５０】
次に、第１の画像フレームメモリ３０４、第２の画像フレームメモリ３１１、第３の画像フレームメモリ３１６は、それぞれ上記第１の実施の形態同様に、水平方向３２０画素、垂直方向２４０ライン分のフレーム画像を逐次書き込む。
【０１５１】
次に、メモリ読み出しコントロール部３０５において、第１の画像フレームメモリ３０４と第２の画像フレームメモリ３１１を読み出す。読み出しタイミングは、本実施形態においては、ＮＴＳＣ方式に準じて水平６４０ドット、垂直４８０ラインの有効画素を想定して、垂直帰線期間、水平帰線期間を挟みながら順次読み出される。
【０１５２】
ここで、読み出しは、奇数フィールドの１垂直期間の前半の１２０ラインは、第３の画像フレームメモリ３１６を読み出す。水平方向には３２０画素を読み出し、残りの３２０画素は上記第１の実施の形態同様に、ダミーの例えば青色のデータまたは黒色のデータまたは灰色のデータ等、任意の色データを出力データとする。このダミーデータは、データセレクタ３０６の３つ目の入力に接続された、例えばＲＯＭ（リードオンリメモリ）３１２から得る。ＲＯＭ３１２に関しては上記第１の実施の形態同様である。同様に、上記読み出しにおける垂直帰線期間、水平帰線期間の黒レベル或いはセットアップレベルは、ＲＯＭ３１２の別アドレスとして予めストアしておいて、上記読み出しの垂直帰線期間、水平帰線期間に読み出される。
【０１５３】
以上のように、メモリ読み出しコントロール部３０５によるフレームメモリ読み出しの読み出し画面の上半分の左側に上記第３の画像を読み出し、次に、後半の１２１（２４１）ラインより、上記第１の実施の形態同様に、水平方向に３２０画素分として第１の画像フレームメモリ３０４の第１ラインの１ライン分の３２０画素を読み出す。続けて、水平方向に３２１画素から６４０画素分まで、第２の画像フレームメモリ３１１の第１ラインの１ライン分の３２０画素を読み出す。
【０１５４】
以上の動作で、横６４０画素分の画像データが読み出され、該画像データの前半は第１の画像フレームメモリ３０４に保持された画像の第１ラインであり、後半は第２の画像フレームメモリ３１１に保持された画像の第１ラインがデータとして読み出される。同様に、１２２（２４２）ラインにおいて、水平期間の前半の３２０画素分として、第１の画像フレームメモリ３０４の第２ラインの１ライン分の３２０画素のデータを読み出す。続けて、上記読み出しの１２２ラインの後半の３２０画素分として、第２の画像フレームメモリ３１１の第２ラインの１ライン分の３２０画素を読み出す。
【０１５５】
以上のように、順次第３のライン、第４のラインという順序で読み出し、水平期間の前半において第１の画像フレームメモリ３０４、後半において第２の画像フレームメモリ３１１を読み出して、読み出し画像の第２３９ラインの後半の３２０画素を、第２の画像フレームメモリ３１１の１２０ラインの３２０画素を、続けて、読み出し画像の第２３９ラインの前半の３２０画素を、第１の画像フレームメモリ３０４の１２０ラインの３２０画素を読み出し、画像の第２４０ラインまで読み出す。
【０１５６】
次に、読み出し画像の偶数フィールドとして、上記奇数フィールドの読み出しに準じて、垂直帰線期間を挟んで偶数フィールドの１（２４１）ラインから１２０（３６０）ラインまで、第３の画像フレームメモリ３１６を読み出す。インターレースのため、読み出し画像のタイミングの、奇数フィールド、有効表示画面の第１ラインは画面中央から始まり、この半分の水平期間はＲＯＭ３１２から得られるダミー画像を、次の第２ラインの前半３２０画素は第３の画像フレームメモリ３１６の１２１ラインの３２０画素を読み出す。以降同様に、水平読み出し期間後半の３２０画素はＲＯＭ３１２から得られるダミー画像、水平期間の前半は第３の画像フレームメモリ３１６を読み出す。
【０１５７】
次に、奇数フィールドの１２１（３６１）ラインからは、上記奇数フィールドのフィールドメモリの読み出しと逆の順序、つまり、読み出し画像の３６１ラインの６４０画素のうち、前半の３２０画素はＲＯＭ３１２より得られるダミーのデータを直前のライン同様に読み出す。３６１ラインの後半の３２０画素は第２の画像フレームメモリ３１１の２４１ラインの３２０画素を読み出す。次の読み出しラインである３６２ラインの前半の３２０画素に関して、第１の画像フレームメモリ３０４の２４１ラインの３２０画素の読み出しを行う。続けて、第２の画像フレームメモリ３１１の２４２ラインの３２０画素を読み出す。
【０１５８】
以上のように交互に第１の画像フレームメモリ３０４と第２の画像フレームメモリ３１１を読み出し、読み出し画像の偶数フィールドの２４０ラインの前半３２０画素は、第１の画像フレームメモリ３０４の２４０ラインの３２０画素を、上記偶数フィールドの２４０ラインの後半の３２０画素は、第２の画像フレームメモリ３１１の２４０ラインの３２０画素を読み出し、その後、垂直帰線期間を、ＲＯＭ３１２の第２のデータである黒信号またはセットアップ信号を読み出し、次のフレームの読み出しに移る。
【０１５９】
上述したように、交互に第３の画像フレームメモリ３１６と、第１の画像フレームメモリ３０４と、第２の画像フレームメモリ３１１と、ＲＯＭ（読み出し専用メモリ）３１２とを、メモリ読み出しコントロール部３０５からの読み出し制御信号による制御と、データセレクタ３０６により、それぞれ対応するメモリをセレクトして、以降の処理を上記第１の実施の形態同様にＮＴＳＣ方式に準じた変調を行い、後段の図１０のビデオ会議端末１３に供給し、上記第１の実施の形態同様にコーデック１４及び伝送回線１５を介して会議相手に対して伝送する。
【０１６０】
コーデック１４にて伝送信号として圧縮変調され、受信信号においては復号解凍化され、送出においては伝送回線１５に送出される。この場合に、一般的なビデオ会議用伝送信号圧縮形式として、ＩＴＵＨシリーズ規格で、例えばＨ．３２０、Ｈ３２３、Ｈ３２４などがあり、それらの少なくとも一つに適合すると共に会議システムとも互換性を持つことが好ましい。
【０１６１】
以上の処理においては、伝送される画像の４分割の第２象限に、上記映像信号入力端子（外部画像入力端子）２０１に入力された第３の画像が表示され、同画面の第３象限（画面下半分の左）に第１のビデオカメラ３の映像が、第４象限（画面下半分の右）に第２のビデオカメラの映像がそれぞれ表示可能となるものである。
【０１６２】
本発明の第２の実施の形態においても、上記第１の実施の形態同様に、第１のビデオカメラ３、第２のビデオカメラ４、及び第３のビデオ信号の信号出力を、デジタルビデオのシリアルインターフェースまたはパラレルインターフェースとしても、本実施形態は実現できる。この場合、上記第１実施形態記載の例えばシリアルインターフェースとしてはＰ１３９４やＵＳＢで、それらは一般的にアイソクロナスによるパケット転送方式により転送するのが画像の転送に適している。また、この場合、上記第１実施形態の具体的には画像合成部１０において、シリアル画像データをそれぞれフレーム画像データとして上記の画像フレームメモリに書き込む。読み出しは、上述のように第１のビデオカメラ３の画像が左の画像として、第２のビデオカメラ４の画像が右の画像として読み出される。
【０１６３】
次に、例えばシリアルインターフェースとしてはＲＳ４２２で転送する。この場合、上記第１実施形態の具体的には画像合成部１０において、シリアル画像データをそれぞれフレーム画像データとして上記の画像フレームメモリに書き込む。画像合成部１０においてＡ／Ｄ変換処理が省略できるため、画質劣化が軽減され、またコスト的にも有利である。読み出しは、上述のように第１のビデオカメラ３の画像が左の画像として、第２のビデオカメラ４の画像が右の画像として読み出され、ビデオ会議端末１３に供給される。
【０１６４】
以上のカメラ手段及び画像処理においてはＮＴＳＣ方式で説明したが、ＰＡＬ方式、ＳＥＣＡＭ方式、ＨＤＴＶ方式等、或いはコンピュータのビデオグラフィックスフォーマット（例えばＶＧＡ、ＳＶＧＡ、ＸＧＡ等）においても基本的考え方は同一である。
【０１６５】
また、カラーの信号形式としては、ＮＴＳＣのようなコンポジットカラービデオ信号や、Ｙ、Ｕ、Ｖなどの色差信号形式、赤、緑、青の３原色信号形式でも、それぞれの信号処理過程においてデコード、エンコード、マトリクス、デマトリクス処理により実現は可能である。
【０１６６】
また、ビデオ会議端末１３においては、デジタル信号入力として、内部処理を全てデジタル処理にすることにより、画像合成部１０のＤ／Ａ変換手段が省略できる。
【０１６７】
以上説明したように、本発明の第２の実施の形態によれば、上記第１の実施の形態と同様に、ビデオ会議で用いる特に大型ディスプレイにおいて会議を行う場合、多くの出席者の顔の表情を良好に撮影、伝送、表示が可能なように構成することで、遠隔地の会議出席者が自然に向かい合うイメージで会議ディスプレイに画像を表示可能となり、効果的なビデオ会議が可能となるという効果を奏する。
【０１６８】
［第３の実施の形態］
上述した本発明の第１の実施の形態及び第２の実施の形態記載の本発明のビデオカメラ付きディスプレイにおいて、第１のビデオカメラ３と第２のビデオカメラ４の画像を、上記実施形態の如く、第１のビデオカメラ３の画像を画面左に、第２のビデオカメラ４の画像を画面右に表示した場合に、本発明の第３の実施の形態では、画面の空いたエリアに或いは上記画像と重畳してキャラクタ情報を表示するようにしたものである。
【０１６９】
図１２は本発明の第３の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムの構成を示すブロック図である。本発明の第３の実施の形態のビデオカメラ付きビデオ会議用ディスプレイシステムは、ディスプレイ２、第１のビデオカメラ３、第２のビデオカメラ４、画像合成部１０、マイクロフォン１１、スピーカ１２、外部キャラクタ制御端子５０１を有するディスプレイ本体１、ビデオ会議端末１３、コーデック１４、伝送回線１５、マイクロフォン１０１、ビデオカメラ１０２、ディスプレイ１０３、スピーカ１０４、ビデオ会議端末１０５、コーデック１０６、伝送回線１０７を備えている。
【０１７０】
図１３は本発明の第３の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムの画像合成部１０の詳細構成を示すブロック図である。本発明の第３の実施の形態のビデオカメラ付きビデオ会議用ディスプレイシステムの画像合成部１０は、第１のカラーデコーダ３０１、同期分離回路及びクロック発生部３０２、メモリ書き込みコントロール部３０３、第１の画像フレームメモリ３０４、メモリ読み出しコントロール部３０５、データセレクタ３０６、ＮＴＳＣエンコーダ部３０７、第２のカラーデコーダ３０８、同期分離回路及びクロック発生部３０９、メモリ書き込みコントロール部３１０、第２の画像フレームメモリ３１１、ＲＯＭ３１２、外部コンピュータ接続インターフェース５０２、キャラクタ表示制御マイクロコントローラ５０３、キャラクタ信号発生部（ＯＳＤ信号発生部）５０４を備えている。
【０１７１】
図１２において、外部キャラクタ制御端子５０１に、例えばパーソナルコンピュータ（不図示）の制御信号線を接続し、図１３の外部コンピュータ接続インターフェース５０２に接続される。次に、外部コンピュータ接続インターフェース５０２を介してキャラクタ表示制御マイクロコントローラ５０３に接続される。
【０１７２】
キャラクタ表示制御マイクロコントローラ５０３において、上記外部接続のコンピュータからのキャラクタ表示制御コマンドを送り込み、キャラクタ信号発生部５０４を制御する。キャラクタ信号発生部５０４からは、上記コマンドに従ったキャラクタ信号をデータセレクタ３０６を介して、上記フレームメモリ読み出し画像の空きスペースに或いは直接重ね表示を行い、後段のＮＴＳＣエンコーダ部３０７にて変調処理を行い、図１２のビデオ会議端末１３に送られ、上記第１及び第２の実施の形態同様に、コーデック１４及び伝送回線１５を介して会議相手に送出されるものである。
【０１７３】
コーデック１４にて伝送信号として圧縮変調され、受信信号においては復号解凍化され、送出においては伝送回線１５に送出される。この場合に、一般的なビデオ会議用伝送信号圧縮形式として、ＩＴＵＨシリーズ規格で、例えばＨ．３２０、Ｈ３２３、Ｈ３２４などがあり、それらの少なくとも一つに適合すると共に会議システムとも互換性を持つことが好ましい。
【０１７４】
以上の第３の実施の形態の処理により、例えば図１４の表示例に示すように、上記第１及び第２の実施の形態の如く、第１のビデオカメラ３の画像を画面左に、第２のビデオカメラ４の画像を画面右に表示した場合に、該表示画面の空いたエリアに或いは上記画像と重畳してキャラクタ情報を表示して、会議相手に伝送可能としたものである。
【０１７５】
本発明の第３の実施の形態において、第１のビデオカメラ３及び第２のビデオカメラ４の出力を、デジタルビデオのシリアルインターフェースまたはパラレルインターフェースとしても、本実施形態は実現できる。この場合、例えばシリアルインターフェースとしてはＰ１３９４やＵＳＢで、それらは一般的にアイソクロナスによるパケット転送方式により転送するのが画像の転送に適している。また、この場合、上記第１及び第２実施形態の具体的には画像合成部１０において、シリアル画像データをそれぞれフレーム画像データとして上記の画像フレームメモリに書き込む。読み出しは、上述のように第１のビデオカメラ３の画像が左の画像として、第２のビデオカメラ４の画像が右の画像として読み出される。
【０１７６】
次に、例えばシリアルインターフェースとしてはＲＳ４２２で転送する。この場合、上記第１及び第２実施形態の具体的には画像合成部１０において、シリアル画像データをそれぞれフレーム画像データとして上記の画像フレームメモリに書き込む。画像合成部１０においてＡ／Ｄ変換処理が省略できるため、画質劣化が軽減され、またコスト的にも有利である。読み出しは、上述のように第１のビデオカメラ３の画像が左の画像として、第２のビデオカメラ４の画像が右の画像として読み出され、ビデオ会議端末１３に供給される。
【０１７７】
以上のカメラ手段及び画像処理においてはＮＴＳＣ方式で説明したが、ＰＡＬ方式、ＳＥＣＡＭ方式、ＨＤＴＶ方式等、或いはコンピュータのビデオグラフィックスフォーマット（例えばＶＧＡ、ＳＶＧＡ、ＸＧＡ等）においても基本的考え方は同一である。
【０１７８】
また、カラーの信号形式としては、ＮＴＳＣのようなコンポジットカラービデオ信号や、Ｙ、Ｕ、Ｖなどの色差信号形式、赤、緑、青の３原色信号形式でも、それぞれの信号処理過程においてデコード、エンコード、マトリクス、デマトリクス処理により実現は可能である。
【０１７９】
また、ビデオ会議端末１３においては、デジタル信号入力として、内部処理を全てデジタル処理にすることにより、画像合成部１０のＤ／Ａ変換手段が省略できる。
【０１８０】
以上説明したように、本発明の第３の実施の形態によれば、上記第１及び第２の実施の形態と同様に、ビデオ会議で用いる特に大型ディスプレイにおいて会議を行う場合、多くの出席者の顔の表情を良好に撮影、伝送、表示が可能なように構成することで、遠隔地の会議出席者が自然に向かい合うイメージで会議ディスプレイに画像を表示可能となり、効果的なビデオ会議が可能となるという効果を奏する。
【０１８１】
［第４の実施の形態］
上述した本発明の第１の実施の形態及び第２の実施の形態記載の本発明のビデオカメラ付きディスプレイにおいて、第１のビデオカメラ３と第２のビデオカメラ４の画像を、本発明の第４の実施の形態においては、それぞれ画像圧縮処理して第１の圧縮画像と第２の圧縮画像として、例えばＨ．３２０の伝送プロトコル上の映像符号データとして同時に転送するものである。
【０１８２】
図１５は本発明の第４の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムの構成を示すブロック図である。本発明の第４の実施の形態のビデオカメラ付きビデオ会議用ディスプレイシステムは、ディスプレイ２、第１のビデオカメラ３、第２のビデオカメラ４、画像合成部１０、マイクロフォン１１、スピーカ１２、外部キャラクタ制御端子５０１を有するディスプレイ本体１、ビデオ会議端末１３、コーデック１４、伝送回線１５、マイクロフォン１０１、ビデオカメラ１０２、ディスプレイ１０３、スピーカ１０４、ビデオ会議端末１０５、コーデック１０６、伝送回線１０７を備えている。
【０１８３】
図１７は本発明の第４の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムの画像合成部１０の詳細構成を示すブロック図である。本発明の第４の実施の形態のビデオカメラ付きビデオ会議用ディスプレイシステムの画像合成部１０は、第１の画像復号部４０１、同期分離回路及びクロック発生部４０２、メモリ書き込みコントロール部３０３、第１の画像フレームメモリ３０４、メモリ読み出しコントロール部３０５、データセレクタ３０６、ＮＴＳＣエンコーダ部３０７、第２の画像復号部４０８、同期分離回路及びクロック発生部４０９、メモリ書き込みコントロール部３１０、第２の画像フレームメモリ３１１、ＲＯＭ３１２、データ復号部６０２、キャラクタ表示制御マイクロコントローラ５０３、キャラクタ信号発生部（ＯＳＤ信号発生部）５０４を備えている。
【０１８４】
図１５において、第１のビデオカメラ３と第２のビデオカメラ４の画像信号は、それぞれビデオ会議端末１３に供給される。ビデオ会議端末１３において、第１のビデオカメラ３と第２のビデオカメラ４の画像信号はそれぞれ、例えばＩＴＵ−ＴにおけるＨ．２６１画像符号化規格に基づき画像圧縮符号化される。同様に音声についても、Ｇ７１１、Ｇ７２２、Ｇ７２８等の音声符号化規格に準じて音声圧縮符号化される。
【０１８５】
これらの圧縮符号化データは、図１６に示すような通信プロトコル構成を持つ。これらは図１５にあってはコーデック１４にて行われ、伝送回線１５に送出される。伝送回線１５は、上記第１の実施の形態同様に、その後、通信回線として、一般的にはＩＳＤＮ回線等或いはその他の有線または無線、光通信、衛星通信回線等を、単独に或いは複数組み合わせた通信媒体を介して、本実施形態においては伝送回線１０７に接続され、コーデック１０６に供給される。
【０１８６】
コーデック１０６においては、例えば上記送出のＨ．３２０の伝送プロトコルに準じて、図１５に示す２つの第１及び第２のビデオカメラ３、４の画像信号である上記第１の圧縮画像と第２の圧縮画像を、他の音声データ、付加データ等と共に分離抽出して復号化して、ビデオ会議端末１０５に供給する。或いは、ビデオ会議端末１０５の中において、それぞれの圧縮符号化信号を復号化して、画像信号に関しては、上記第１の圧縮画像からの復調信号は画面の左に、更に、上記第２の圧縮画像からの復調信号は画面の右に、画像合成する。ここで、画像合成部１０は、図１７に示すように、上記第１、第２及び第３の実施形態に示すような画像合成部１０に準ずる。
【０１８７】
図１７において、コーデック部１０６より得られる画像データ１及び画像データ２の、画像圧縮されたＨ．２６１の画像データは、それぞれ第１の画像復号部４０１と第２の画像復号部４０８に供給され、復号化され、例えば第１の画像復号部４０１から出力された赤、緑、青の色信号は、第１の画像フレームメモリ３０４と、データセレクタ３０６に接続されたデータバスに供給される。
【０１８８】
尚、第１の画像復号部４０１より基本同期信号を抽出して、同期分離回路及びクロック発生部４０２よりメモリ書き込みコントロール部３０３に同期信号とクロック信号を供給する。メモリ書き込みコントロール部３０３においては、第１の画像フレームメモリ３０４の書き込み制御信号を該画像フレームメモリ３０４に供給する。
【０１８９】
第１の画像フレームメモリ３０４は、第１の画像復号部４０１からの画像信号を順次フレーム毎に、決められたアドレスに書き込む。同様に、第１の画像復号部４０１から出力された赤、緑、青の色信号は、第２の画像フレームメモリ３１１とデータセレクタ３０６に供給される。
【０１９０】
尚、第２の画像復号部４０８より基本同期信号を抽出して、同期分離回路及びクロック発生部４０９よりメモリ書き込みコントロール部３１０に同期信号とクロック信号を供給する。メモリ書き込みコントロール部３１０においては、第２の画像フレームメモリ３１１の書き込み制御信号を該画像フレームメモリ３１１に供給する。
【０１９１】
第２の画像フレームメモリ３１１は、第２の画像復号部４０８からの画像信号を順次フレーム毎に、決められたアドレスに書き込む。
【０１９２】
以上の動作により、２つの画像フレームメモリ３０４と３１１に、上記第１のカメラ画像と第２のカメラ画像が逐次書き込まれる。
【０１９３】
尚、データ復号部６０２には、上記画像通信プロトコル上に同時に組み込まれて伝送されたＩＴＵ−Ｔにて規格化された、例えばＴ．１２０やＨ．２８１などのフォーマットに基づいたキャラクタ等の情報が供給され、復号化される。該データは、キャラクタ表示制御マイクロコントローラ５０３を介してキャラクタ信号発生部５０４に供給され、データセレクタ３０６に接続される。
【０１９４】
次に、メモリ読み出しコントロール部３０５において、特定の圧縮フォーマット固有の水平及び垂直の画素数やインターレース或いはノンインターレース等の規定があるが、ここでは上記第１の実施の形態同様に、水平方向６４０ドット、垂直２４０ラインとして、先ず奇数フィールドを、同様に続いて水平方向６４０ドット、垂直方向２４０ラインとして偶数フィールドに準じた、例えば毎秒３０フレームのインターレース画像信号として、上記第１の実施の形態の読み出しタイミングと同様に、第１の画像フレームメモリ３０４と第２の画像フレームメモリ３１１を読み出し、図１７に示す如く画像データ１より得られる第１のビデオカメラ３による画像を画面の左に、画像データ２より得られる第２のビデオカメラ４による画像を画面の右に合成して表示する。
【０１９５】
また、キャラクタ信号発生部５０４より出力されるキャラクタ信号は、メモリ読み出しコントロール部３０５より得られる同期信号及びクロック信号に基づき、データセレクタ３０６を介してＮＴＳＣエンコーダ部３０７により変調され、ディスプレイ１０３に供給され、図１８に示す如くディスプレイ１０３の表示画面においては、上記２つの画像以外の、図示するＣエリアにキャラクタ情報を表示するものである。
【０１９６】
以上の処理により、上記第１の実施の形態及び第３の実施の形態に示すような効果が得られると同時に、上記第１の圧縮画像と第２の圧縮画像を抽出して復調した画像信号は、データとして２つに分離されており、表示画面の任意の位置に設定して、配置できる。
【０１９７】
図１９はその例であり、例えば基本画像がコンピュータグラフィックスフォーマットのＸＧＡの場合、図２０に示すように、その左右両方の下端角の領域に表示して、残りの領域にはコンピュータの映像等を表示してもよい。この場合、本実施形態における電気的構成においては、上記２つの画像フレームメモリ３０４、３１１及びキャラクタ信号発生部５０４の読み出し周波数及びタイミングを適合化することにより、実施可能である。この場合、データセレクタ３０６のブランキング用ＲＯＭにおいても、メモリ読み出しコントロール部３０５に同期して適正タイミングにて機能することは勿論である。
【０１９８】
以上説明したように、本発明の第４の実施の形態によれば、上記第１、第２及び第３の実施の形態と同様に、ビデオ会議で用いる特に大型ディスプレイにおいて会議を行う場合、多くの出席者の顔の表情を良好に撮影、伝送、表示が可能なように構成することで、遠隔地の会議出席者が自然に向かい合うイメージで会議ディスプレイに画像を表示可能となり、効果的なビデオ会議が可能となるという効果を奏する。
【０１９９】
［第５の実施の形態］
上述した本発明の第１〜第４の実施の形態において、上記第１のビデオカメラ３と第２のビデオカメラ４の画像信号の出力が、一部或いは全部、光学的に、画像合成部１０或いはパーソナルコンピュータ（ＰＣ）のインターフェースと接続され伝送されるようにしても、同様の実現は可能である。
【０２００】
［第６の実施の形態］
上述した本発明の第１〜第５の実施の形態において、上記第１のビデオカメラ３と第２のビデオカメラ４の画像信号の出力が、一部或いは全部、電波の使用による無線通信手段により、画像合成部１０或いはパーソナルコンピュータ（ＰＣ）のインターフェースと接続され伝送されるようにしても、同様の実現は可能である。
【０２０１】
［第７の実施の形態］
上述した本発明の第１〜第６の実施の形態において、ディスプレイは、プラズマディスプレイデバイス（ＰＤＰ）の他に、陰極線管（ＣＲＴ）によるディスプレイ、液晶或いは動揺画素ミラー２次元配列ディスプレイデバイス等による、ライトバルブリアプロジェクションディスプレイ、上記と同様のディスプレイによるライトバルブフロントプロジェクションディスプレイのスクリーン画面、液晶表示フラットディスプレイデバイス、ルミネッセンスフラットディスプレイデバイス、ＬＥＤアレイフラットディスプレイデバイス、ＦＥＤ（Field Emission Display）、ＳＥＤ（Surface condition Electron Emitter Display）の何れであっても、勿論同様の効果が得られるものである。
【０２０２】
［他の実施の形態］
上述した本発明の第１〜第４の実施の形態においては、２つのビデオ会議端末を伝送回線で接続し、会議出席者の顔の表情を撮影、伝送、表示する場合を例に上げたが、本発明はこれに限定されるものではなく、３つ以上のビデオ会議端末を伝送回線で接続し、会議出席者の顔の表情を撮影、伝送、表示する場合にも適用可能である。
【０２０３】
また、上述した本発明の第１〜第４の実施の形態においては、ビデオ会議用途の場合を例に上げたが、本発明はこれに限定されるものではなく、コミュニケーション用途にも適用可能である。
【０２０４】
尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。上述した実施形態の機能を実現するソフトウエアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体等の媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０２０５】
この場合、記憶媒体等の媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体等の媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体等の媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、或いはダウンロードなどを用いることができる。
【０２０６】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２０７】
更に、記憶媒体等の媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２０８】
【発明の効果】
以上説明したように、本発明によれば、第１の撮像装置の光軸と表示画面の底辺に平行な該表示画面の左右の両端を結ぶ直線Ｘ−Ｘ’との成す角度を４５度に設定するとともに、第１の撮像装置における光軸を中心線とした同一水平面上の左右方向の撮像範囲を、ビデオ会議の出席者を被写体として捉える角度の範囲に設定し、第２の撮像装置の光軸と表示画面の底辺に平行な該表示画面の左右の両端を結ぶ直線Ｘ−Ｘ’との成す角度を４５度に設定するとともに、第２の撮像装置における光軸を中心線とした同一水平面上の左右方向の撮像範囲を、ビデオ会議の出席者を被写体として捉える角度の範囲に設定し、第１の撮像装置及び第２の撮像装置の高さを、表示画面の下辺から上辺までの間で移動可能に構成するとともに、第１の撮像装置及び第２の撮像装置を、表示装置に対して着脱可能に構成し、第１の撮像装置及び第２の撮像装置の撮影方向を、互いの光軸が交わる所定の角度に設定可能とすることにより、即ち、ビデオ会議で用いる特に大型ディスプレイにおいて会議を行う場合、多くの出席者の顔の表情を良好に撮影、伝送、表示が可能なように構成することで、遠隔地の会議出席者が自然に向かい合うイメージで会議ディスプレイに画像を表示可能となり、効果的なビデオ会議が可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイ装置の構成を示す正面図である。
【図２】本発明の第１の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイ装置を使用した会議のレイアウト例を示す側面図である。
【図３】本発明の第１の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイ装置を使用した会議のレイアウト例を示す上面図である。
【図４】本発明の第１の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイ装置により送出された画像の受像画の表示例を示す説明図である。
【図５】本発明の第１の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイ装置における第１のビデオカメラの撮影画像のイメージ例を示す説明図である。
【図６】本発明の第１の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイ装置における第２のビデオカメラの撮影画像のイメージ例を示す説明図である。
【図７】本発明の第１の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムの構成を示すブロック図である。
【図８】本発明の第１の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムにおける画像合成部の詳細構成を示すブロック図である。
【図９】本発明の第１の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムにおける画像フレームメモリ読み出しを示すタイミング図である。
【図１０】本発明の第２の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムの構成を示すブロック図である。
【図１１】本発明の第２の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムにおける画像合成部の詳細構成を示すブロック図である。
【図１２】本発明の第３の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムの構成を示すブロック図である。
【図１３】本発明の第３の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムにおける画像合成部の詳細構成を示すブロック図である。
【図１４】本発明の第３の実施の形態に係る画像の例を示す説明図である。
【図１５】本発明の第４の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムの構成を示すブロック図である。
【図１６】本発明の第４の実施の形態に係るビデオ会議用通信プロトコルの例を示す説明図である。
【図１７】本発明の第４の実施の形態に係るビデオカメラ付きビデオ会議用ディスプレイシステムにおける画像合成部の詳細構成を示すブロック図である。
【図１８】本発明の第４の実施の形態に係る受像画像表示例を示す説明図である。
【図１９】本発明の第４の実施の形態に係る第２の受像画像表示例を示す説明図である。
【図２０】本発明の第４の実施の形態に係る第３の受像画像表示例を示す説明図である。
【図２１】本発明の第４の実施の形態に係る第４の受像画像表示例を示す説明図である。
【図２２】本発明の第１〜第４の実施の形態に係るプログラム及び関連データを記憶した記憶媒体の記憶内容の構成例を示す説明図である。
【図２３】本発明の第１〜第４の実施の形態に係るプログラム及び関連データが記憶媒体から装置に供給される概念例を示す説明図である。
【図２４】従来例に係る会議用ディスプレイ、会議出席者、会議用テーブルの配置例を示す側面図である。
【図２５】従来例に係る会議用ディスプレイ、会議出席者、会議用テーブルの配置例を示す上面図である。
【図２６】従来例に係るビデオカメラが撮影したカメラ画像のイメージを示す説明図である。
【図２７】従来例に係る会議用ディスプレイ、会議出席者、会議用テーブルの別の配置例を示す側面図である。
【図２８】従来例に係る会議用ディスプレイ、会議出席者、会議用テーブルの別の配置例を示す上面図である。
【図２９】従来例に係るビデオカメラが撮像した別のカメラ画像のイメージを示す説明図である。
【図３０】従来例に係るビデオ会議用ディスプレイ、ビデオカメラ等の構成を示すブロック図である。
【符号の説明】
１ディスプレイ本体
２画面表示枠
３第１のビデオカメラ
４第２のビデオカメラ
１０画像合成部
１１、１０１マイクロフォン
１２、１０４スピーカ
１３、１０５ビデオ会議端末
１４、１０６コーデック
１５、１０７伝送回線[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video conference imaging / display device comprising a video conference display device with a video camera. In place More specifically, for example, in a video conference, video images of a plurality of conference attendees displayed on an image plane of a conversation partner display of a video conference camera corresponding to a large screen display are displayed on the conversation partner display. A video conferencing imaging / display device suitable for shooting the environment and image data. In place Related.
[0002]
[Prior art]
Conventionally, various systems for conducting video conferences in companies and the like have been proposed. FIGS. 24 to 26 show a first example of a conventional video conference display and camera system. FIG. 24 is a diagram of the conference display, the conference attendees, and the table surrounded by the conference attendants as viewed from the side. FIG. 25 is a view from the top. FIG. 26 is an image diagram of a camera image captured by the video camera in that case.
[0003]
As shown in FIGS. 24 and 25, a video camera used for a video conference or the like is conventionally placed on a pan head that can be swung or a video camera with a pan head is placed on a display. The pattern is photographed, the photographed image is transmitted to the conference partner via a wired or wireless individual or network line through compression or non-compression processing, and is displayed on the conference partner's display via an appropriate demodulation means. Had gone.
[0004]
27 to 29 show a second example of a conventional video conference display and camera system. FIG. 27 is a view of the conference display, the conference attendees, and the table surrounded by the conference attendants as viewed from the side. FIG. 28 is a view from the top. FIG. 29 is an image diagram of a camera image captured by the video camera in that case.
[0005]
As shown in FIGS. 27 and 28, conventional video cameras used for video conferencing and the like are installed under the front of the display and the like to photograph the pattern of the attendees of the conference, and wired or wireless individual or network to the conference partner The captured image is transmitted via a line or the like through compression or non-compression processing, and is displayed on the display of the conference partner via an appropriate demodulating means to hold a conference. In this case, on both or one of the display screens of the conference group, the video of the video camera of the conference partner and other images of the computer, for example, are switched or simultaneously displayed as a multi-screen.
[0006]
FIG. 30 is a block diagram showing the configuration of a system including a conventional video conference display, a video camera, and the like. The conventional system includes displays 2 and 103, video cameras 3 and 102, microphones 11 and 101, speakers 12 and 104, video conference terminals 13 and 105, codecs 14 and 106, and transmission lines 15 and 107. The conference image captured by the video cameras 3 and 102 and the sound collected by the microphones 11 and 101 are transmitted to the conference partner via the video conference terminals 13 and 105, codecs 14 and 106, and transmission lines 15 and 107.
[0007]
[Problems to be solved by the invention]
In recent years, displays such as those described above have increased the content of high-definition content such as SXGA and XGA (eXtended Graphics Array) as the display resolution of personal computers for display sources, and digital television for broadcasts on televisions. Accordingly, the display screen tends to increase in size in accordance with the trend toward higher definition.
[0008]
Particularly in recent years, displays of about 50 to 100 inches, high-vision monitors, and the like have been put into practical use as rear data projection apparatuses and plasma displays (PDPs). In many cases, such a display is introduced into a conference room, and the opportunity to convey the facial expressions of attendees to the conference partner via such a large display has increased.
[0009]
However, as shown in FIG. 24, FIG. 25, FIG. 27, and FIG. 28, if the video camera is simply installed on the display or below the display screen to capture the facial expressions of the attendees, For example, when the camera is installed on the display, the attendee's head is photographed as shown in the image of the camera image in FIG. 26, and the attendee's facial expressions such as eyes and mouth movements are sufficiently photographed. Can not.
[0010]
In addition, when a video camera is installed below the screen of the display as shown in FIGS. 27 and 28, the height of the video camera becomes lower with the increase in the size of the display. In general, as shown in FIGS. The height of the conference table that is laid out in front of the display. The image taken from such a position becomes an expression of the side of the attendees who are lined up on the conference table as shown in FIG. 29, and the attendee on the camera side gets in the way, in order. Some or all of the attendees in line are visible. Furthermore, there is a disadvantage that the vicinity of the waist of the presenter of the meeting described in front of the display is caught.
[0011]
The present invention has been made in view of the above-described points, and is configured so that facial expressions of many attendees can be photographed, transmitted, and displayed satisfactorily when a conference is performed particularly on a large display used in a video conference. As a result, remote conference attendees can display images on the conference display with images that face each other naturally, enabling an effective video conference imaging / display device. Place The purpose is to provide.
[0012]
To achieve the above objective, Book The invention Has a display screen Display device A first imaging device disposed outside the display screen range of the display device and on the left side toward the display screen, and outside the display screen range of the display device and on the right side toward the display screen. And an output of each of the first imaging device and the second imaging device. Video signal In the display device An imaging / display device for video conferencing that inputs and displays images, The angle formed between the optical axis of the first imaging device and a straight line XX ′ connecting the left and right ends of the display screen parallel to the bottom of the display screen is set to 45 degrees, and the first imaging device The horizontal imaging range on the same horizontal plane with the optical axis in the center line as the center line is set to an angle range in which video conference attendees are captured as subjects, and the optical axis of the second imaging device and the bottom of the display screen The angle formed by the straight line XX ′ connecting the left and right ends of the display screen parallel to the horizontal axis is set to 45 degrees, and the horizontal direction on the same horizontal plane with the optical axis as the center line in the second imaging device is set. The imaging range is set to an angle range that captures attendees of the video conference as subjects, and the height of the first imaging device and the second imaging device is moved from the lower side to the upper side of the display screen. The first imaging is possible and configured And the second imaging device are configured to be detachable from the display device, and the imaging directions of the first imaging device and the second imaging device are set to a predetermined angle at which the optical axes intersect each other. Set It is characterized by that.
[0013]
To achieve the above object, according to a second aspect of the present invention, the imaging device is a video camera, and the height of the imaging device is set between a lower side and an upper side of the display screen of the display device. It is characterized by that.
[0014]
In order to achieve the above object, the invention according to claim 3 is characterized in that the angle in the horizontal direction of the optical axis of the first imaging device arranged on the left side of the display device with respect to the display screen is an angle on the same horizontal plane. When the Z axis is assumed to be perpendicular to the front of the display screen with respect to a line XX ′ that connects the left and right ends of the display screen parallel to the bottom of the display screen with a straight line, It is characterized in that the angle is set to a range of 40 degrees with a 45 degree angle as the center.
[0015]
In order to achieve the above-mentioned object, the invention according to claim 4 is characterized in that the angle in the left-right direction of the optical axis of the second imaging device arranged on the right side of the display device toward the display screen is an angle on the same horizontal plane. When the Z axis is assumed to be perpendicular to the front of the display screen with respect to a line XX ′ connecting the left and right ends of the display screen parallel to the bottom of the display screen with a straight line, It is characterized in that the angle is set to a range of 40 degrees with a 45 degree angle as the center.
[0016]
In order to achieve the above object, the invention according to claim 5 is capable of varying the height of the imaging device, tilting means for varying the tilt setting of the imaging device, and panning the imaging device. Any one of the panning means is provided or at the same time.
[0081]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0082]
[First Embodiment]
FIG. 1 is a front view showing a configuration of a video conference display device with a video camera according to a first embodiment of the present invention, and is a diagram best representing the features of the present invention. The video conferencing display device with a video camera according to the first embodiment of the present invention has a display screen frame (screen, display) 2 and a lens unit 3a in each part of the display main body 1, and the height is movable. 1 video camera 3, a second video camera 4 having a lens portion 4 a and movable in height, an operation panel 5, and speakers 12 and 12 are provided. In this case, the first video camera 3 and the second video camera 4 are configured to be detachable from the display body 1.
[0083]
2 is a side view showing an example of a conference layout when viewing the video conference display device with a video camera, the conference desk, and the attendees of the conference shown in FIG. 1 from the side, and FIG. 3 shows the conference layout shown in FIG. FIG. 4 is a top view showing a layout example of a conference when a video conference display device with a video camera, a conference desk, and attendees are viewed from above, and FIG. 4 is an example of the video conference shown in FIG. 2 and FIG. FIG. 3 is an explanatory diagram showing an example of receiving and displaying an image sent by the video conference display device with a video camera shown in FIG. 1.
[0084]
FIG. 5 is an explanatory diagram showing an example of an image taken by the first video camera 3 in the video conference display device with a video camera shown in FIG. 1, and FIG. 6 is for the video conference with a video camera shown in FIG. It is explanatory drawing which shows the example of an image of the picked-up image of the 2nd video camera 4 in a display apparatus.
[0085]
1 to 3, the display main body 1 is, for example, a plasma display device (hereinafter referred to as a display device), and a screen 2 (hereinafter referred to as a screen 2) of a plasma display device is disposed in the center of the device. A first video camera 3 is provided on the left side of the so-called frame around the periphery, and a second video camera 4 is provided on the right side of the so-called frame around the periphery of the screen 2. Here, in the first video camera 3, 3 is a main body, and 3a is a lens unit. Similarly, in the second video camera 4, 4 is a main body, and 4a is a lens unit.
[0086]
FIG. 7 is a block diagram showing the configuration of the video conference display system with a video camera according to the first embodiment of the present invention. The video conferencing display system with a video camera according to the first embodiment of the present invention includes a display 2, a first video camera 3, a second video camera 4, an image composition unit 10, a microphone 11, and a speaker 12. A main body 1, a video conference terminal 13, a codec 14, a transmission line 15, a microphone 101, a video camera 102, a display 103, a speaker 104, a video conference terminal 105, a codec 106, and a transmission line 107 are provided. The function of each part will be described later together with the operation.
[0087]
FIG. 8 is a block diagram showing a detailed configuration of the image composition unit 10 of the video conference display system with a video camera according to the first embodiment of the present invention. The image composition unit 10 of the video conference display system with a video camera according to the first embodiment of the present invention includes a first color decoder 301, a synchronization separation circuit and clock generation unit 302, a memory write control unit 303, a first Image frame memory (1) 304, memory read control unit 305, data selector 306, NTSC encoder unit 307, second color decoder 308, sync separation circuit and clock generation unit 309, memory write control unit 310, second image frame A memory (2) 311 and a ROM 312 are provided. The function of each part will be described later together with the operation.
[0088]
FIG. 23 is an explanatory diagram showing a conceptual example in which a program and related data according to each embodiment of the present invention are supplied from a storage medium to the apparatus. The program and related data are supplied by inserting a storage medium 231 such as a floppy disk or a CD-ROM into a storage medium drive insertion slot 233 provided in a device 232 such as a computer. Thereafter, the program and related data can be executed by temporarily installing the program and related data from the storage medium 231 to the hard disk and loading the hard disk from the hard disk into the RAM, or by directly loading the program and related data into the RAM without installing the hard disk. Become.
[0089]
In this case, when the program is executed in the video conference display system with a video camera according to each embodiment of the present invention, for example, the program and related data are supplied to each device of the system according to the procedure shown in FIG. Alternatively, the program can be executed by storing the program and related data in advance in each device of the present system.
[0090]
FIG. 22 is an explanatory diagram showing a configuration example of storage contents of a storage medium storing a program and related data according to each embodiment of the present invention. The storage medium includes storage contents such as volume information 221, directory information 222, program execution file 223, program-related data file 224, and the like. The program is a program code based on the operation procedure of each embodiment.
[0091]
The correspondence between the claims of the present invention and the embodiments of the present invention is as follows. The first imaging device corresponds to the first video camera 3, the second imaging device corresponds to the second video camera 4, and the display device corresponds to the display 2. , Painting The image synthesizing means corresponds to the image synthesizing unit 10, and the image signal input means is connected to the video signal input terminal 201. Respond The
[0092]
In the first video camera 3 and the second video camera 4 on the left and right of the screen 2 shown in FIGS. 1 to 3, the optical axis of the lens unit 3a of the first video camera 3 is set as shown in FIG. Assuming that the angle formed by the normal A and the line XX ′ on the line connecting the left and right of the screen (screen) 2 is θ1, in the present embodiment, θ1≈45 degrees. When the optical axis of the lens portion 4a of the second video camera 4 is shown as a normal line B, the present embodiment is made assuming that the angle formed by the normal line B and a line XX ′ on the line connecting the left and right of the screen (screen) 2 is θ2. In the case of the form, θ2≈45 degrees.
[0093]
In the setting of the optical axis of the first video camera 3 as described above, the lens unit 3a of the first video camera 3 shown in FIG. It is arranged at an appropriate angle. The first video camera 3 captures images within a range of angles (i) and (b) where the attendees (1), (2), and (3) shown in FIG.
[0094]
Similarly, in setting the optical axis of the second video camera 4, the lens unit 4a of the second video camera 4 shown in FIG. It is arranged at an appropriate angle with respect to it. The second video camera 4 captures images within a range of angles c and d where the attendees (4), (5), and (6) shown in FIG.
[0095]
2, the optical axis from the lens portion 3a of the first video camera 3 is substantially horizontal with respect to the installation surface, and with respect to the vertical surface YY ′ of the screen 2. The angle θ3 is about 90 degrees. The height of the first video camera 3 is movable as described above, and is set to the height of the faces of the attendees (1), (2), and (3).
[0096]
Similarly, although not shown, the optical axis from the lens portion 4a of the second video camera 4 is substantially horizontal with respect to the installation surface, and the angle θ3 with respect to the surface YY ′ in the vertical direction of the screen 2. Is about 90 degrees. The height of the second video camera 4 is movable as described above, and is set to the face height of attendees (4), (5), and (6).
[0097]
The first video camera 3 and the second video camera 4 can be tilted. Similarly, the first video camera 3 and the second video camera 4 can also be changed in the panning direction. With such camera height, tilt, and panning functions, the imaging areas of the first video camera 3 and the second video camera 4 are set, and the situation of the conference is imaged. The camera height, tilt, and panning functions may be motorized, and the camera height, tilt, and panning functions are motorized, either on the image receiving side or the transmitting side, or on the third. It is also possible to control by the point, thereby improving the operability.
[0098]
Images taken by the first video camera 3 and the second video camera 4 in the above case are shown in FIGS. FIG. 5 is a captured image of the first video camera 3, and FIG. 6 is a captured image of the second video camera 4. In this embodiment, the captured image output of the first video camera 3 and the captured image output of the second video camera 4 are output as NTSC (National Television System Commitee) video signals separated into luminance signals and color signals, respectively. And supplied to the image composition unit 10 in FIG.
[0099]
7, the images captured by the first video camera 3 and the second video camera 4 are respectively reduced and synthesized and sent to the video conference terminal 13. FIG. 8 shows further details of the image composition unit 10 of the circuit block diagram of FIG.
[0100]
In FIG. 8, a first color decoder 301 demodulates an NTSC signal, an A / D converter (not shown) for A / D converting the video signal from the first video camera 3, and the A / D A digital luminance signal is extracted through a digital filter (not shown) that filters the digital signal of the converter, and a color signal that is parallel-modulated by a digital bandpass filter (not shown) is extracted. Color demodulation is performed by the demodulation stage, and a primary color signal of red, green, and blue digitized by the luminance signal and the color demodulated signal is obtained by a de-matrix unit (not shown).
[0101]
The digitized red, green, and blue primary color signals are supplied to the data selector 306 and are also connected to the data bus of the first image frame memory 304 at the same time. The data bus of the first image frame memory 304 is a bidirectional interface in this embodiment. The interface connected to the data bus of the first color decoder 301 and the first image frame memory 304 has three states and is appropriately controlled by the memory write control unit 303 and the memory read control unit 305 without detailed description. Is. The same applies to the second color decoder 308 and the second image frame memory 311.
[0102]
In the present embodiment, the first image frame memory 304 uses a multi-port memory, and the timing of writing and reading can be operated asynchronously. In other general-purpose memories such as an image frame memory LSI, DRAM, and SRAM, for example, writing and reading can be realized in the same manner with appropriate timing and connection.
[0103]
The write address of the first image frame memory 304 is A0 to A76799, where A is the first memory, and this number corresponds to pixels of horizontal 320 dots and vertical 240 dots. In this embodiment, for each dot, 6 bits are assigned to each gradation corresponding to each of red, green, and blue, and a total data width of 18 bits is given.
[0104]
On the other hand, the first color decoder 301 has the same frequency as the data rate of the composite sync signal and the three primary color signals of red, green, and blue output from the first color decoder 301 to the sync separator and clock generator 302. A basic clock is supplied. In the present embodiment, the first color decoder 301 has an output rate corresponding to the resolution of horizontal 640 dots and vertical 480 dots (lines) in the effective display period.
[0105]
The synchronization separation circuit and clock generation unit 302 obtains a horizontal synchronization signal and a vertical synchronization signal, and supplies data to the memory write control unit 303. Similarly, a clock having a frequency that is half the data rate of the three primary color signals of red, green, and blue output from the first color decoder 301 by the synchronous separation circuit and clock generation unit 302 is sent to the memory write control unit 303 at the subsequent stage. Supplied.
[0106]
In the memory writing control unit 303, the data of the three primary color signals of red, green, and blue output from the first color decoder 301 from the address A0 to A76799 are written in the first memory of the first image frame memory 304. By writing at half the rate, the output image of the first video camera 3 has pixel data of every other pixel in the horizontal direction, 320 dots in the horizontal direction and 240 lines in the vertical direction every other line. Are sequentially written in the first image frame memory 304.
[0107]
Here, since the output signal of the first video camera 3 conforms to the NTSC system and is an interlace scanning system, one frame is stored in the order of the odd field and the even field in the effective display period. In the case of the line sequential scanning (progressive) method, it is sufficient to write one frame as it is. In either scanning method, even if extra video data in the blanking period is stored, there is no problem as long as it is addressed and clear.
[0108]
Similarly, the output video signal of the second video camera 4 is input to the second color decoder 308. The data rate, resolution, etc. are the same as those of the first color decoder 301. Further, the sync separation circuit and clock generation unit 309 and the memory write control unit 310 are also similar to the signal processing of the first video camera 3, respectively.
[0109]
The red, green, and blue three primary color signals demodulated and digitized by the second color decoder 308 are supplied to the data selector 306. At the same time, it is also connected to the data bus of the second image frame memory 311. The data bus of the second image frame memory 311 is also a bidirectional interface in this embodiment, and the configuration and the like are the same as those of the first image frame memory 304.
[0110]
The write address of the second image frame memory 311 is B0 to B76799, where B is the second memory, and this number corresponds to a pixel of horizontal 320 dots and vertical 240 dots. In this embodiment, for each dot, 6 bits are assigned to each gradation corresponding to each of red, green, and blue, and a total data width of 18 bits is given.
[0111]
On the other hand, the second color decoder 308 has the same frequency as the data rate of the composite sync signal and the three primary color signals of red, green and blue output from the second color decoder 308 to the sync separator and clock generator 309. A basic clock is supplied. In the present embodiment, the second color decoder 308 has an output rate corresponding to the resolution of horizontal 640 dots and vertical 480 dots (lines) in the effective display period.
[0112]
The synchronization separation circuit and clock generation unit 309 obtains a horizontal synchronization signal and a vertical synchronization signal, and supplies data to the memory write control unit 310. Similarly, a clock having a frequency that is half the data rate of the three primary color signals of red, green, and blue output from the second color decoder 308 by the synchronization separation circuit and clock generation unit 309 is sent to the memory write control unit 310 in the subsequent stage. Supplied.
[0113]
In the memory write control unit 310, the write address of the second image frame memory 311 is from B0 to B76799, and the frequency is half the data rate of the three primary color signals of red, green, and blue output from the second color decoder 308. , The output image of the second video camera 4 is converted into pixel data of every other pixel in the horizontal direction, horizontal 320 dots, and vertical 240 lines every other line in the vertical direction. The data is sequentially written into the frame memory 311. The correspondence with respect to the interlaced scanning or the line sequential scanning method is the same as in the case of the first video camera 3.
[0114]
The addresses of the first image frame memory 304 and the second image frame memory 311 may be recorded with information on the video cameras 3 and 4 by increasing the addresses to the number of allocated pixels or more.
[0115]
Through the above operation, the first image frame memory 304 and the second image frame memory 311 store the images of the first video camera 3 and the second video camera 4 for each frame. Are written sequentially.
[0116]
Next, as shown in FIG. 9, first, the memory read control unit 305 reads the first image frame memory 304 and the second image frame memory 311. In this embodiment, in the present embodiment, in accordance with the NTSC system, the effective pixels of 640 horizontal dots and 480 vertical lines are assumed, and the readout is sequentially performed with the vertical blanking period and the horizontal blanking period interposed therebetween.
[0117]
Here, reading is performed by using arbitrary color data such as blue data, black data, or gray data as output data for 120 lines in the first half of one vertical period. This dummy data is obtained from, for example, a ROM (Read Only Memory) 312 connected to the third input of the data selector 306. A predetermined data value is written in the ROM 312. The ROM 312 can be realized by writing a predetermined data value from a microcomputer, for example, immediately after turning on the power of the apparatus, without being shown in an electrically rewritable ROM (EEPROM) or RAM.
[0118]
Similarly, the black level or set-up level in the vertical blanking period and horizontal blanking period in the readout is stored in advance as another address in the ROM 312, and the vertical blanking period and horizontal blanking period in the readout are stored. Read out.
[0119]
Next, 320 pixels corresponding to one line of the first line of the first image frame memory 304 are read from the latter 121 (241) lines as 320 pixels in the horizontal direction. Subsequently, 320 pixels corresponding to one line of the first line of the second image frame memory 311 are read from 321 pixels to 640 pixels in the horizontal direction.
[0120]
With the above operation, image data for 640 pixels in the horizontal direction is read out, the first half of the image data is the first line of the image held in the first image frame memory 304, and the second half is the second image frame memory. The first line of the image held in 311 is read as data.
[0121]
Similarly, in the 122 (242) line, the data of 304 pixels for one line of the second line of the first image frame memory 304 is read as 320 pixels in the first half of the horizontal period. Subsequently, 320 pixels corresponding to one line of the second line in the second image frame memory 311 are read out as 320 pixels in the latter half of the 122 lines read out.
[0122]
As described above, reading is performed sequentially in the order of the third line and the fourth line, and the first image frame memory 304 is read out in the first half of the horizontal period, and the second image frame memory 311 is read out in the second half. 320 pixels of the second half of the 239 lines, 320 pixels of the 120th line of the second image frame memory 311, and then 320 pixels of the first half of the 240th line of the read image are 120 lines of the first image frame memory 304. Are read up to the 240th line of the read image.
[0123]
Next, as the even field of the read image, in accordance with the reading of the odd field, from the 241st line to the 360th line with the vertical blanking interval, any dummy data such as blue data, black data, gray data, etc. Is used as output data. This dummy data is obtained from, for example, a ROM (Read Only Memory) 312 connected to the third input of the data selector 306 as in the odd field.
[0124]
From the next 361 line, the reverse order of the reading of the field memory of the odd field, that is, the first 320 pixels out of the 640 pixels of the read image 361, the dummy data obtained from the ROM 312 is the same as the previous line. Read to. The 320 pixels in the second half of the 361 line read out 320 pixels in the 241 line of the second image frame memory 311. With respect to the first 320 pixels of the 362 line, which is the next readout line, 320 pixels of the 241 line of the first image frame memory 304 are read out. Subsequently, 320 pixels of 242 lines in the second image frame memory 311 are read out.
[0125]
As described above, the first image frame memory 304 and the second image frame memory 311 are alternately read out, and the 320 pixels in the first half of the 240 lines of the even field of the read image are stored in the 240 lines of the first image frame memory 304. The 320 pixels of the second half of the 240 lines of the even field read out the 320 pixels of the 240 lines of the second image frame memory 311, and then the black signal which is the second data of the ROM 312 for the vertical blanking period Alternatively, the setup signal is read and the next frame is read.
[0126]
As described above, the first image frame memory 304, the second image frame memory 311, and the ROM (read only memory) 312 are alternately controlled by the read control signal from the memory read control unit 305 and the data. The selector 306 selects the corresponding memory and inputs it to the NTSC encoder unit 307.
[0127]
The NTSC encoder unit 307 includes input of red, green, and blue digital color signals, and is input corresponding to each color of the output digital signal of the data selector 306. The NTSC encoder unit 307 obtains a digital NTSC signal from the red, green, and blue digital color signals read from the memory by processing such as a digital matrix and a digital encoder, not shown. The NTSC signal is a so-called YC separate signal of a luminance signal to which a synchronizing signal is added and a chroma signal that is quadrature two-phase balanced modulated, and is D / A converted and output.
[0128]
Various configurations of the first color decoder 301 and the second color decoder 308 are conceivable. Demodulation is performed on an analog basis, and thereafter, at the stage of red, green, and blue color signals, three A / D converters are used. The object can be achieved even if A / D conversion is performed and the result is supplied to the first image frame memory 304, the second image frame memory 311, and the data selector 306.
[0129]
Also, unlike the above example, the NTSC encoder unit 307 performs A / D conversion on the input digital signal first to obtain analog red, green, and blue signals, and converts the analog color signal into a matrix. It goes without saying that an analog NTSC signal is output through means of phase balanced modulation and synchronization signal addition.
[0130]
The NTSC signal output of the NTSC encoder unit 307 is supplied to the video conference terminal 13 in the overall block diagram of the present embodiment shown in FIG. In the video conference terminal 13, bidirectional transmission switching of the audio signal from the microphone 11, the received video signal to the display main body 1, and the received audio signal to the speaker 12 is performed, and the synthesized image signal from the image synthesizing unit 10 is performed. Is synthesized with the audio signal from the microphone 11 and supplied to the codec 14 at the next stage.
[0131]
The codec 14 compresses and modulates the signal as a transmission signal, the reception signal is decoded and decompressed, and the signal is transmitted to the transmission line 15 in transmission. In this case, as a transmission signal compression format for a general video conference, the ITU (International Telecommunication Union) H series standard, for example, H.264 is used. 320, H.R. 323, H.H. 324, etc., which are preferably compatible with at least one of them and compatible with the conference system.
[0132]
Thereafter, the transmission line 15 is generally a communication medium in which an ISDN (Integrated Service Digital Network) line or the like, or other wired or wireless, optical communication, satellite communication line, or the like is used alone or in combination. In this embodiment, it is connected to the transmission line 107, supplied to the codec 106, decoded, and supplied to the video conference terminal 105. The audio signal is demodulated and amplified at the video conference terminal 105 and output to the speaker 104. Further, the video signal is demodulated from the video conference terminal 105 and supplied to the display 103. The display 103 displays the video signal in the state synthesized by the image synthesis unit 10.
[0133]
FIG. 4 shows an image displayed on the display 103. As shown in FIG. 4, a video image captured by the first video camera 3 is displayed on the left side of the display image, and a video image captured by the second video camera 4 is displayed on the right side of the display image. As described above, the angles of the first video camera 3 and the second video camera 4 on the transmission side are respectively set, and the output videos of the first video camera 3 and the second video camera 4 are synthesized and transmitted. By doing this, it is possible to display images with good image with the image of the meeting attendees at remote locations facing each other naturally.
[0134]
In the description of the present embodiment, the display 103 on the image receiving side is only the description of the video camera 102 in particular, but of course, regarding the video camera in the display of both conferences, the above-mentioned display is provided on both sides of the display which is a feature of the present invention. It is desirable to have two video cameras with an angle with respect to the claimed camera optical axis in order to obtain the natural situation of both meetings.
[0135]
In the first embodiment of the present invention, the present embodiment can also be realized by using outputs of the first video camera 3 and the second video camera 4 as a digital video serial interface or parallel interface. In this case, for example, P1394 or USB (Universal Serial Bus) is used as a serial interface, and it is generally suitable for transferring images that the packet is transferred by an isochronous packet transfer method. In this case, more specifically, the image composition unit 10 of the present embodiment writes serial image data as frame image data in the image frame memory. As described above, the image from the first video camera 3 is read as the left image, and the image from the second video camera 4 is read as the right image as described above.
[0136]
Next, for example, as a serial interface, data is transferred by RS422. In this case, specifically, in the image composition unit 10 of the present embodiment, serial image data is written in the image frame memory as frame image data. Since the A / D conversion process can be omitted in the image synthesizing unit 10, image quality deterioration is reduced, and the cost is advantageous. As described above, the first video camera 3 image is read as the left image and the second video camera 4 image is read as the right image as described above and supplied to the video conference terminal 13.
[0137]
The above-mentioned camera means and image processing have been described in the NTSC system, but the PAL (Phase Alternating by Line) system, the SECAM (Sequential Couleur a Memoire) system, the HDTV (High Density Television) system, or the video graphics format of the computer. The basic concept is the same in VGA (Video Graphics Array), SVGA (Super Video Graphics Array), XGA (Extended Graphics Array), and the like.
[0138]
As color signal formats, composite color video signals such as NTSC, color difference signal formats such as Y, U, and V, and three primary color signal formats of red, green, and blue are decoded in each signal processing process. Realization is possible by encoding, matrix, and dematrix processing.
[0139]
Also, the image data to be written / read to / from the memory can be realized by directly digitizing the composite color video signal or digitizing the luminance signal and the chroma signal and performing the same writing / reading process. is there. However, when digitizing a composite color video signal or chroma signal, it is desirable to sample at a frequency that is at least twice the frequency of the subcarrier signal.
[0140]
Further, in the video conference terminal 13, the D / A conversion means of the image composition unit 10 can be omitted by making all the internal processing digital processing as digital signal input.
[0141]
As described above, according to the first embodiment of the present invention, the video camera for conference is provided on both sides of the conference display, and the shooting direction of the video camera is set to a predetermined angle at which the optical axes intersect with each other. Set up to prevent multiple participants from taking pictures from the side, and transmit two images from the video camera. On the receiver side, the two images are displayed side by side naturally. The face is displayed with a better angle of view.
[0142]
That is, two video cameras each having a predetermined angle optical axis are provided on both sides of the conference display, and the two images of the video camera are transmitted after being combined by the image combining means. After the images are transmitted, the images are combined, and the right camera image is displayed on the right of the display image and the left camera image is displayed on the left of the display image toward the conference display. As a result, when a conference is performed on a large display used for video conferencing, it is possible to make it possible to capture, transmit and display the facial expressions of many attendees well so that remote conference attendees can naturally It is possible to display an image on the conference display with an image facing each other, and an effective video conference is possible.
[0143]
[Second Embodiment]
In the above-described first embodiment of the present invention, the remaining area when the image of the first video camera 3 and the image of the second video camera 4 are synthesized in the image synthesis unit 10 of FIG. That is, the first half 320 pixel period from the first line of the effective scanning period of the odd field of the read image controlled by the memory readout control unit 305 of FIG. 8 and 120 lines from the first line of the even field effective scanning period. In the second half 320 pixel period, arbitrary color data such as blank data such as blue data, black data, or gray data is supplied from the ROM 312 to display a uniform image. In the second embodiment of the present invention, Is to display a third video or a video such as a character from the outside. The second embodiment of the present invention will be described below.
[0144]
FIG. 10 is a block diagram showing a configuration of a video conference display system with a video camera according to the second embodiment of the present invention. The video conference display system with a video camera according to the second embodiment of the present invention includes a display 2, a first video camera 3, a second video camera 4, an image composition unit 10, a microphone 11, a speaker 12, and a video signal. Display main body 1 having an input terminal (external image input terminal) 201, video conference terminal 13, codec 14, transmission line 15, microphone 101, video camera 102, display 103, speaker 104, video conference terminal 105, codec 106, transmission line 107.
[0145]
In FIG. 10, a video signal input terminal (external image input terminal) 201 is a terminal for inputting a third video. For example, a video signal of a video tape recorder device (hereinafter referred to as a VTR) is connected to the video signal input terminal 201, and the video signal of the VTR is input and supplied to the image composition unit 10.
[0146]
FIG. 11 is a block diagram showing a detailed configuration of the image composition unit 10 of the video conference display system with a video camera according to the second embodiment of the present invention. The image composition unit 10 of the video conference display system with a video camera according to the second embodiment of the present invention includes a first color decoder 301, a synchronization separation circuit and clock generation unit 302, a memory write control unit 303, a first Image frame memory 304, memory read control unit 305, data selector 306, NTSC encoder unit 307, second color decoder 308, synchronization separation circuit and clock generation unit 309, memory write control unit 310, second image frame memory 311, A ROM 312, a third color decoder 313, a sync separation circuit and clock generation unit 314, a memory write control unit 315, and a third image frame memory 316 are provided.
[0147]
11, in the second embodiment, in addition to the configuration of FIG. 8 of the first embodiment, a third color decoder 313, a sync separation circuit and clock generator 314, a memory write controller 315, A third image frame memory 316 is provided. The data selector 306 processes the selection of the third video with four inputs.
[0148]
The third external video signal input from the video signal input terminal 201 is input to the third color decoder 313 and demodulated into red, green and blue digital video signals as described above. In this embodiment, the data is output at a data rate of 640 pixels in the horizontal direction of the effective display screen. The sync separation circuit and clock generation unit 314 outputs a horizontal synchronization signal, a vertical synchronization signal, a frame signal, and a clock signal corresponding to the data rate of the output video signal of the third color decoder 313, and the memory write control unit 315. To be supplied.
[0149]
The memory write control unit 315 outputs a write control signal for the third image frame memory 316. The third image frame memory 316 uses a multiport memory similar to the first and second image frame memories 304 and 311. As described in the first embodiment, there is no problem even if other types of RAM are driven at appropriate timing. However, the third image frame memory 316 has a capacity of 240 lines per frame in the vertical direction and a capacity of 320 pixels in the horizontal direction.
[0150]
Next, the first image frame memory 304, the second image frame memory 311, and the third image frame memory 316 are respectively equivalent to 320 pixels in the horizontal direction and 240 lines in the vertical direction, as in the first embodiment. Write frame images sequentially.
[0151]
Next, the memory read control unit 305 reads the first image frame memory 304 and the second image frame memory 311. In the present embodiment, in this embodiment, the effective pixels of horizontal 640 dots and vertical 480 lines are assumed in accordance with the NTSC system, and the readout is sequentially performed with the vertical blanking period and the horizontal blanking period interposed therebetween.
[0152]
Here, the reading is performed by reading the third image frame memory 316 for the first 120 lines of one vertical period of the odd field. 320 pixels are read out in the horizontal direction, and the remaining 320 pixels are output as arbitrary color data such as dummy data such as blue data, black data, or gray data, as in the first embodiment. This dummy data is obtained from, for example, a ROM (Read Only Memory) 312 connected to the third input of the data selector 306. The ROM 312 is the same as that in the first embodiment. Similarly, the black level or setup level of the vertical blanking period and horizontal blanking period in the readout is stored in advance as another address in the ROM 312 and read out in the readout vertical blanking period and horizontal blanking period. .
[0153]
As described above, the third image is read out on the left side of the upper half of the reading screen of the frame memory reading by the memory reading control unit 305, and then the first embodiment from the latter 121 (241) lines. Similarly, 320 pixels for one line of the first line of the first image frame memory 304 are read out as 320 pixels in the horizontal direction. Subsequently, 320 pixels corresponding to one line of the first line of the second image frame memory 311 are read from 321 pixels to 640 pixels in the horizontal direction.
[0154]
With the above operation, image data for 640 pixels in the horizontal direction is read out, the first half of the image data is the first line of the image held in the first image frame memory 304, and the second half is the second image frame memory. The first line of the image held in 311 is read as data. Similarly, on the 122 (242) line, 320 pixels of data for one line of the second line of the first image frame memory 304 are read out as 320 pixels in the first half of the horizontal period. Subsequently, 320 pixels corresponding to one line of the second line in the second image frame memory 311 are read out as 320 pixels in the latter half of the 122 lines read out.
[0155]
As described above, the third line and the fourth line are sequentially read out in this order, the first image frame memory 304 is read out in the first half of the horizontal period, and the second image frame memory 311 is read out in the second half. 320 pixels of the second half of the 239 lines, 320 pixels of the 120th line of the second image frame memory 311, and then 320 pixels of the first half of the 239th line of the read image are 120 lines of the first image frame memory 304. Are read out to the 240th line of the image.
[0156]
Next, as the even field of the read image, the third image frame memory 316 is set from the 1 (241) line to the 120 (360) line of the even field with the vertical blanking interval in accordance with the reading of the odd field. read out. Due to the interlace, the first line of the odd-numbered field and effective display screen of the timing of the read image starts from the center of the screen. During this half horizontal period, the dummy image obtained from the ROM 312 is displayed, and the first half 320 pixels of the next second line is Read out 320 pixels of 121 lines of the third image frame memory 316. Thereafter, similarly, 320 pixels in the second half of the horizontal readout period are read out from the dummy image obtained from the ROM 312, and the third half of the horizontal period is read out from the third image frame memory 316.
[0157]
Next, from the odd field 121 (361) line, the first 320 pixels out of the 640 pixels of the 361 line of the read image is a dummy obtained from the ROM 312 in the reverse order to the reading of the field memory of the odd field. Is read in the same manner as the previous line. The 320 pixels in the second half of the 361 line read out 320 pixels in the 241 line of the second image frame memory 311. With respect to the first 320 pixels of the 362 line, which is the next readout line, 320 pixels of the 241 line of the first image frame memory 304 are read out. Subsequently, 320 pixels of 242 lines in the second image frame memory 311 are read out.
[0158]
As described above, the first image frame memory 304 and the second image frame memory 311 are alternately read, and the first half 320 pixels of the 240 lines of the even field of the read image are the 320 lines of the 240 lines of the first image frame memory 304. The 320 pixels in the second half of the 240th line of the even field read out the 320 pixels in the 240th line of the second image frame memory 311, and then the vertical blanking period is set to the black signal which is the second data in the ROM 312. Alternatively, the setup signal is read and the next frame is read.
[0159]
As described above, the third image frame memory 316, the first image frame memory 304, the second image frame memory 311, and the ROM (read only memory) 312 are alternately transferred from the memory read control unit 305. 10 and the data selector 306 select corresponding memories, and the subsequent processing is modulated in accordance with the NTSC system as in the first embodiment, and the video shown in FIG. The data is supplied to the conference terminal 13 and transmitted to the conference partner via the codec 14 and the transmission line 15 as in the first embodiment.
[0160]
The codec 14 compresses and modulates the signal as a transmission signal, the reception signal is decoded and decompressed, and the signal is transmitted to the transmission line 15 in transmission. In this case, as a general transmission signal compression format for video conferencing, the ITU H series standard, for example, H.264 is used. 320, H323, H324, etc., which are preferably compatible with at least one of them and compatible with the conference system.
[0161]
In the above processing, the third image input to the video signal input terminal (external image input terminal) 201 is displayed in the second quadrant of the four-divided image to be transmitted, and the third quadrant ( The video of the first video camera 3 can be displayed in the lower half of the screen (left) and the video of the second video camera can be displayed in the fourth quadrant (right of the lower half of the screen).
[0162]
Also in the second embodiment of the present invention, as in the first embodiment, the signal outputs of the first video camera 3, the second video camera 4, and the third video signal are converted into digital video signals. The present embodiment can also be realized as a serial interface or a parallel interface. In this case, the serial interface described in the first embodiment is, for example, P1394 or USB, and it is generally suitable for image transfer to transfer by an isochronous packet transfer method. In this case, more specifically, in the image synthesizing unit 10 of the first embodiment, serial image data is written in the image frame memory as frame image data. As described above, the image from the first video camera 3 is read as the left image, and the image from the second video camera 4 is read as the right image as described above.
[0163]
Next, for example, as a serial interface, data is transferred by RS422. In this case, specifically, the image composition unit 10 of the first embodiment writes serial image data as frame image data in the image frame memory. Since the A / D conversion process can be omitted in the image synthesizing unit 10, image quality deterioration is reduced, and the cost is advantageous. As described above, the first video camera 3 image is read as the left image and the second video camera 4 image is read as the right image as described above and supplied to the video conference terminal 13.
[0164]
The above camera means and image processing have been described in the NTSC system, but the basic concept is the same in the PAL system, SECAM system, HDTV system, etc., or in the video graphics format of a computer (eg, VGA, SVGA, XGA, etc.). is there.
[0165]
As color signal formats, composite color video signals such as NTSC, color difference signal formats such as Y, U, and V, and three primary color signal formats of red, green, and blue are decoded in each signal processing process. Realization is possible by encoding, matrix, and dematrix processing.
[0166]
Further, in the video conference terminal 13, the D / A conversion means of the image composition unit 10 can be omitted by making all the internal processing digital processing as digital signal input.
[0167]
As described above, according to the second embodiment of the present invention, as in the first embodiment, when a conference is performed particularly on a large display used in a video conference, the faces of many attendees By configuring the facial expression so that it can be captured, transmitted, and displayed well, remote conference attendees can display images on the conference display as if they were facing each other naturally, enabling effective video conferencing. There is an effect.
[0168]
[Third Embodiment]
In the display with a video camera of the present invention described in the first embodiment and the second embodiment of the present invention, the images of the first video camera 3 and the second video camera 4 are the same as those in the above embodiment. As described above, when the image of the first video camera 3 is displayed on the left side of the screen and the image of the second video camera 4 is displayed on the right side of the screen, in the third embodiment of the present invention, Character information is displayed superimposed on the image.
[0169]
FIG. 12 is a block diagram showing a configuration of a video conference display system with a video camera according to the third embodiment of the present invention. The video conference display system with a video camera according to the third embodiment of the present invention includes a display 2, a first video camera 3, a second video camera 4, an image composition unit 10, a microphone 11, a speaker 12, and an external character. A display main body 1 having a control terminal 501, a video conference terminal 13, a codec 14, a transmission line 15, a microphone 101, a video camera 102, a display 103, a speaker 104, a video conference terminal 105, a codec 106, and a transmission line 107 are provided.
[0170]
FIG. 13 is a block diagram showing a detailed configuration of the image composition unit 10 of the video conference display system with a video camera according to the third embodiment of the present invention. The image composition unit 10 of the video conference display system with a video camera according to the third embodiment of the present invention includes a first color decoder 301, a synchronization separation circuit and clock generation unit 302, a memory write control unit 303, a first Image frame memory 304, memory read control unit 305, data selector 306, NTSC encoder unit 307, second color decoder 308, synchronization separation circuit and clock generation unit 309, memory write control unit 310, second image frame memory 311, A ROM 312, an external computer connection interface 502, a character display control microcontroller 503, and a character signal generation unit (OSD signal generation unit) 504 are provided.
[0171]
In FIG. 12, for example, a control signal line of a personal computer (not shown) is connected to the external character control terminal 501 and connected to the external computer connection interface 502 of FIG. Next, it is connected to the character display control microcontroller 503 via the external computer connection interface 502.
[0172]
The character display control microcontroller 503 sends a character display control command from the externally connected computer and controls the character signal generator 504. From the character signal generation unit 504, the character signal in accordance with the command is displayed in the empty space of the frame memory read image or directly overlaid via the data selector 306, and the NTSC encoder unit 307 in the subsequent stage performs modulation processing. And sent to the video conference terminal 13 of FIG. 12 and sent to the conference partner via the codec 14 and the transmission line 15 as in the first and second embodiments.
[0173]
The codec 14 compresses and modulates the signal as a transmission signal, the reception signal is decoded and decompressed, and the signal is transmitted to the transmission line 15 in transmission. In this case, as a general transmission signal compression format for video conferencing, the ITU H series standard, for example, H.264. 320, H323, H324, etc., which are preferably compatible with at least one of them and compatible with the conference system.
[0174]
By the processing of the third embodiment described above, as shown in the display example of FIG. 14, for example, the image of the first video camera 3 is displayed on the left side of the screen as in the first and second embodiments. When the image of the second video camera 4 is displayed on the right side of the screen, the character information is displayed in an empty area of the display screen or superimposed on the image so that it can be transmitted to the conference partner.
[0175]
In the third embodiment of the present invention, the present embodiment can also be realized by using the outputs of the first video camera 3 and the second video camera 4 as a digital video serial interface or parallel interface. In this case, for example, P1394 or USB is used as a serial interface, and it is generally suitable for transferring an image that the packet is transferred by an isochronous packet transfer method. In this case, more specifically, in the image synthesizing unit 10 in the first and second embodiments, serial image data is written in the image frame memory as frame image data. As described above, the image from the first video camera 3 is read as the left image, and the image from the second video camera 4 is read as the right image as described above.
[0176]
Next, for example, as a serial interface, data is transferred by RS422. In this case, specifically, in the first and second embodiments, the image composition unit 10 writes serial image data as frame image data in the image frame memory. Since the A / D conversion process can be omitted in the image synthesizing unit 10, image quality deterioration is reduced, and the cost is advantageous. As described above, the first video camera 3 image is read as the left image and the second video camera 4 image is read as the right image as described above and supplied to the video conference terminal 13.
[0177]
Although the above camera means and image processing have been described in the NTSC system, the basic concept is the same in the PAL system, SECAM system, HDTV system, etc., or in the video graphics format of a computer (eg, VGA, SVGA, XGA, etc.). is there.
[0178]
As color signal formats, composite color video signals such as NTSC, color difference signal formats such as Y, U, and V, and three primary color signal formats of red, green, and blue are decoded in each signal processing process. Realization is possible by encoding, matrix, and dematrix processing.
[0179]
Further, in the video conference terminal 13, the D / A conversion means of the image composition unit 10 can be omitted by making all the internal processing digital processing as digital signal input.
[0180]
As described above, according to the third embodiment of the present invention, as in the first and second embodiments, a large number of participants are used when a conference is performed on a large display used for a video conference. By configuring the camera so that it can capture, transmit, and display the facial expression of a person's face, it is possible to display an image on the conference display with the image of a remote conference attendee facing the natural environment, enabling effective video conferencing. It has the effect of becoming.
[0181]
[Fourth Embodiment]
In the display with a video camera of the present invention described in the first embodiment and the second embodiment of the present invention, the images of the first video camera 3 and the second video camera 4 are displayed in the first embodiment of the present invention. In the fourth embodiment, the first compressed image and the second compressed image are subjected to image compression processing, respectively. The data is simultaneously transferred as video code data on 320 transmission protocols.
[0182]
FIG. 15 is a block diagram showing a configuration of a video conference display system with a video camera according to the fourth embodiment of the present invention. The video conference display system with a video camera according to the fourth embodiment of the present invention includes a display 2, a first video camera 3, a second video camera 4, an image composition unit 10, a microphone 11, a speaker 12, and an external character. A display main body 1 having a control terminal 501, a video conference terminal 13, a codec 14, a transmission line 15, a microphone 101, a video camera 102, a display 103, a speaker 104, a video conference terminal 105, a codec 106, and a transmission line 107 are provided.
[0183]
FIG. 17 is a block diagram showing a detailed configuration of the image composition unit 10 of the video conference display system with a video camera according to the fourth embodiment of the present invention. The image synthesizing unit 10 of the video conference display system with a video camera according to the fourth embodiment of the present invention includes a first image decoding unit 401, a synchronization separation circuit and clock generation unit 402, a memory write control unit 303, a first Image frame memory 304, memory read control unit 305, data selector 306, NTSC encoder unit 307, second image decoding unit 408, sync separation circuit and clock generation unit 409, memory write control unit 310, second image frame memory 311, ROM 312, data decoding unit 602, character display control microcontroller 503, and character signal generation unit (OSD signal generation unit) 504.
[0184]
In FIG. 15, the image signals of the first video camera 3 and the second video camera 4 are respectively supplied to the video conference terminal 13. In the video conference terminal 13, the image signals of the first video camera 3 and the second video camera 4 are, for example, H.264 in ITU-T. Image compression encoding is performed based on the H.261 image encoding standard. Similarly, voice is also subjected to voice compression coding according to voice coding standards such as G711, G722, and G728.
[0185]
These compression-encoded data have a communication protocol configuration as shown in FIG. In FIG. 15, these are performed by the codec 14 and sent to the transmission line 15. As in the first embodiment, the transmission line 15 is a communication line, generally an ISDN line or other wired or wireless, optical communication, satellite communication line, etc., alone or in combination. In the present embodiment, the communication line is connected to the transmission line 107 and supplied to the codec 106 via the communication medium.
[0186]
In the codec 106, for example, the transmission H.264 described above is performed. According to 320 transmission protocol, the first compressed image and the second compressed image, which are the image signals of the two first and second video cameras 3 and 4 shown in FIG. The data is separated and extracted together with the data, etc., decoded and supplied to the video conference terminal 105. Alternatively, in the video conference terminal 105, the respective compressed encoded signals are decoded, and regarding the image signal, the demodulated signal from the first compressed image is on the left of the screen, and further, the second compressed image is displayed. The demodulated signal from is synthesized on the right side of the screen. Here, as shown in FIG. 17, the image composition unit 10 conforms to the image composition unit 10 as shown in the first, second, and third embodiments.
[0187]
In FIG. 17, image data 1 and image data 2 obtained from the codec unit 106 are compressed in H.264 format. The image data 261 is supplied to the first image decoding unit 401 and the second image decoding unit 408, respectively, and decoded, for example, red, green, and blue color signals output from the first image decoding unit 401. Are supplied to the first image frame memory 304 and the data bus connected to the data selector 306.
[0188]
A basic synchronization signal is extracted from the first image decoding unit 401, and a synchronization signal and a clock signal are supplied from the synchronization separation circuit and clock generation unit 402 to the memory write control unit 303. The memory write control unit 303 supplies a write control signal for the first image frame memory 304 to the image frame memory 304.
[0189]
The first image frame memory 304 sequentially writes the image signal from the first image decoding unit 401 at a predetermined address for each frame. Similarly, the red, green, and blue color signals output from the first image decoding unit 401 are supplied to the second image frame memory 311 and the data selector 306.
[0190]
The basic synchronization signal is extracted from the second image decoding unit 408, and the synchronization signal and the clock signal are supplied from the synchronization separation circuit and clock generation unit 409 to the memory write control unit 310. The memory write control unit 310 supplies a write control signal for the second image frame memory 311 to the image frame memory 311.
[0191]
The second image frame memory 311 sequentially writes the image signal from the second image decoding unit 408 at a predetermined address for each frame.
[0192]
With the above operation, the first camera image and the second camera image are sequentially written in the two image frame memories 304 and 311.
[0193]
The data decoding unit 602 is standardized by ITU-T, for example, T.D. 120 and H.C. Information such as characters based on a format such as 281 is supplied and decoded. The data is supplied to the character signal generator 504 via the character display control microcontroller 503 and connected to the data selector 306.
[0194]
Next, in the memory read control unit 305, there are provisions such as the number of horizontal and vertical pixels specific to a specific compression format, and interlace or non-interlace. Here, as in the first embodiment, 640 dots in the horizontal direction are used. First, read out the first embodiment as an interlaced image signal of 30 frames per second, for example, in accordance with the odd field as vertical 240 lines, followed by 640 dots in the horizontal direction and the even field as 240 lines in the vertical direction. Similar to the timing, the first image frame memory 304 and the second image frame memory 311 are read, and the image by the first video camera 3 obtained from the image data 1 as shown in FIG. 2 shows the image obtained by the second video camera 4 Synthesized and displayed on the right.
[0195]
The character signal output from the character signal generation unit 504 is modulated by the NTSC encoder unit 307 via the data selector 306 based on the synchronization signal and clock signal obtained from the memory read control unit 305 and supplied to the display 103. As shown in FIG. 18, on the display screen of the display 103, character information is displayed in the C area shown in the figure other than the two images.
[0196]
By the above processing, the effects as shown in the first embodiment and the third embodiment can be obtained, and at the same time, the image signal obtained by extracting and demodulating the first compressed image and the second compressed image. Is separated into two as data and can be set and arranged at an arbitrary position on the display screen.
[0197]
FIG. 19 shows an example. For example, when the basic image is an XGA of a computer graphics format, as shown in FIG. 20, it is displayed in the left and right lower corner areas, and the remaining area is a computer image or the like. May be displayed. In this case, the electrical configuration in the present embodiment can be implemented by adapting the read frequencies and timings of the two image frame memories 304 and 311 and the character signal generator 504. In this case, the blanking ROM of the data selector 306 also functions at an appropriate timing in synchronization with the memory read control unit 305.
[0198]
As described above, according to the fourth embodiment of the present invention, as in the first, second, and third embodiments, when a conference is performed particularly on a large display used in a video conference, many By making it possible to capture, transmit, and display the facial expressions of the attendees in a good location, it is possible to display images on the conference display with natural images facing remote conference attendees. There is an effect that a meeting becomes possible.
[0199]
[Fifth Embodiment]
In the first to fourth embodiments of the present invention described above, the output of the image signals of the first video camera 3 and the second video camera 4 may be partially or entirely optically combined with the image combining unit 10. Alternatively, the same realization is possible even if it is connected to an interface of a personal computer (PC) and transmitted.
[0200]
[Sixth Embodiment]
In the first to fifth embodiments of the present invention described above, the output of the image signals of the first video camera 3 and the second video camera 4 is partly or entirely by wireless communication means using radio waves. The same realization is possible even if it is connected to the interface of the image composition unit 10 or a personal computer (PC) and transmitted.
[0201]
[Seventh Embodiment]
In the first to sixth embodiments of the present invention described above, the display is not only a plasma display device (PDP) but also a display using a cathode ray tube (CRT), a liquid crystal or a oscillating pixel mirror two-dimensional array display device, etc. Light valve rear projection display, light valve front projection display screen screen, LCD display flat display device, luminescence flat display device, LED array flat display device, FED (Field Emission Display), SED (Surface condition Electron) Of course, the same effect can be obtained with any of (Emitter Display).
[0202]
[Other embodiments]
In the first to fourth embodiments of the present invention described above, the case where two video conference terminals are connected by a transmission line and the facial expressions of conference attendees are photographed, transmitted, and displayed has been taken as an example. The present invention is not limited to this, and can also be applied to a case where three or more video conference terminals are connected by a transmission line to capture, transmit, and display facial expressions of conference attendees.
[0203]
In the first to fourth embodiments of the present invention described above, the case of video conferencing is given as an example. However, the present invention is not limited to this and can be applied to communication. is there.
[0204]
The present invention may be applied to a system composed of a plurality of devices or an apparatus composed of a single device. A storage medium storing software program codes for realizing the functions of the above-described embodiments is supplied to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus is stored in a medium such as a storage medium. Needless to say, this can also be achieved by reading and executing the program code.
[0205]
In this case, the program code itself read from the medium such as a storage medium realizes the functions of the above-described embodiments, and the medium such as the storage medium storing the program code constitutes the present invention. . As a medium such as a storage medium for supplying the program code, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, a download, or the like Can be used.
[0206]
In addition, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also the OS running on the computer based on the instruction of the program code performs the actual processing. Needless to say, a case where the function of the above-described embodiment is realized by performing part or all of the processing is included.
[0207]
Furthermore, after the program code read from a medium such as a storage medium is written in a memory provided in a function expansion board inserted in the computer or a function expansion unit connected to the computer, based on the instruction of the program code, It goes without saying that the CPU of the function expansion board or function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
[0208]
【The invention's effect】
As explained above, according to the present invention, The angle formed by the optical axis of the first imaging device and the straight line XX ′ connecting the left and right ends of the display screen parallel to the bottom of the display screen is set to 45 degrees, and the optical axis in the first imaging device The horizontal imaging range on the same horizontal plane with the center line as the center line is set to an angle range that captures the attendees of the video conference as subjects, and the display is parallel to the optical axis of the second imaging device and the bottom of the display screen. The angle formed by the straight line XX ′ connecting the left and right ends of the screen is set to 45 degrees, and the imaging range in the horizontal direction on the same horizontal plane with the optical axis as the center line in the second imaging device is set as a video conference. And the height of the first imaging device and the second imaging device are configured to be movable from the lower side to the upper side of the display screen, The imaging device and the second imaging device are connected to the display device. Detachably configured, the imaging direction of the first imaging device and the second imaging device, can be set at a predetermined angle to each other of the optical axis intersect In other words, when a conference is performed on a large display used in a video conference, it is possible to capture, transmit, and display the facial expressions of many attendees well so that remote conference attendance is possible. It is possible to display an image on the conference display with an image that the person faces naturally, and an effective video conference is possible.
[Brief description of the drawings]
FIG. 1 is a front view showing a configuration of a video conference display device with a video camera according to a first embodiment of the present invention.
FIG. 2 is a side view showing a layout example of a conference using the video conference display device with a video camera according to the first embodiment of the present invention.
FIG. 3 is a top view showing a layout example of a conference using the video conference display device with a video camera according to the first embodiment of the present invention.
FIG. 4 is an explanatory diagram illustrating a display example of an image received by the video conference display device with a video camera according to the first embodiment of the present invention.
FIG. 5 is an explanatory diagram illustrating an example of an image captured by the first video camera in the video conference display device with a video camera according to the first embodiment of the present invention.
FIG. 6 is an explanatory diagram showing an example of a captured image of the second video camera in the video conference display device with a video camera according to the first embodiment of the present invention.
FIG. 7 is a block diagram showing a configuration of a video conference display system with a video camera according to the first embodiment of the present invention.
FIG. 8 is a block diagram showing a detailed configuration of an image composition unit in the video conference display system with a video camera according to the first embodiment of the present invention.
FIG. 9 is a timing chart showing image frame memory reading in the video conferencing display system with a video camera according to the first embodiment of the present invention.
FIG. 10 is a block diagram showing a configuration of a video conference display system with a video camera according to a second embodiment of the present invention.
FIG. 11 is a block diagram showing a detailed configuration of an image composition unit in a video conference display system with a video camera according to a second embodiment of the present invention.
FIG. 12 is a block diagram showing a configuration of a video conference display system with a video camera according to a third embodiment of the present invention.
FIG. 13 is a block diagram showing a detailed configuration of an image composition unit in a video conference display system with a video camera according to a third embodiment of the present invention.
FIG. 14 is an explanatory diagram illustrating an example of an image according to a third embodiment of the present invention.
FIG. 15 is a block diagram showing a configuration of a video conference display system with a video camera according to a fourth embodiment of the present invention.
FIG. 16 is an explanatory diagram showing an example of a video conference communication protocol according to the fourth embodiment of the present invention;
FIG. 17 is a block diagram showing a detailed configuration of an image composition unit in a video conference display system with a video camera according to a fourth embodiment of the present invention;
FIG. 18 is an explanatory diagram showing an example of an received image display according to the fourth embodiment of the present invention.
FIG. 19 is an explanatory diagram showing a second received image display example according to the fourth embodiment of the invention.
FIG. 20 is an explanatory diagram showing a third received image display example according to the fourth embodiment of the invention.
FIG. 21 is an explanatory diagram illustrating a fourth received image display example according to the fourth embodiment of the invention.
FIG. 22 is an explanatory diagram showing a configuration example of storage contents of a storage medium storing a program and related data according to the first to fourth embodiments of the present invention.
FIG. 23 is an explanatory diagram showing a conceptual example in which a program and related data according to the first to fourth embodiments of the present invention are supplied from a storage medium to an apparatus.
FIG. 24 is a side view showing an arrangement example of a conference display, conference attendees, and a conference table according to a conventional example.
FIG. 25 is a top view showing an arrangement example of a conference display, conference attendees, and a conference table according to a conventional example.
FIG. 26 is an explanatory diagram showing an image of a camera image taken by a video camera according to a conventional example.
FIG. 27 is a side view showing another arrangement example of a conference display, conference attendees, and a conference table according to a conventional example.
FIG. 28 is a top view showing another arrangement example of a conference display, conference attendees, and a conference table according to a conventional example.
FIG. 29 is an explanatory diagram showing an image of another camera image captured by a video camera according to a conventional example.
FIG. 30 is a block diagram illustrating a configuration of a video conference display, a video camera, and the like according to a conventional example.
[Explanation of symbols]
1 Display body
2 Screen display frame
3 First video camera
4 Second video camera
10 Image composition part
11, 101 Microphone
12, 104 Speaker
13, 105 Video conference terminal
14, 106 codec
15, 107 Transmission line

Claims

A display device having a display screen; a first imaging device arranged outside the display screen range of the display device and on the left side of the display screen; and outside the display screen range of the display device and the display And a second imaging device arranged on the right side of the screen, and a video for displaying an image by inputting respective output video signals of the first imaging device and the second imaging device to the display device A conference imaging / display device,
The angle formed between the optical axis of the first imaging device and a straight line XX ′ connecting the left and right ends of the display screen parallel to the bottom of the display screen is set to 45 degrees, and the first imaging device Set the horizontal imaging range on the same horizontal plane with the optical axis at the center line as the range of angles that capture video conference attendees as subjects,
The angle formed by the optical axis of the second imaging device and a straight line XX ′ connecting the left and right ends of the display screen parallel to the bottom of the display screen is set to 45 degrees, and the second imaging device Set the horizontal imaging range on the same horizontal plane with the optical axis at the center line as the range of angles that capture video conference attendees as subjects,
The heights of the first imaging device and the second imaging device are configured to be movable from the lower side to the upper side of the display screen, and the first imaging device and the second imaging device are configured to be movable. , Configured to be detachable from the display device,
An image pickup / display device for video conference, wherein the shooting directions of the first image pickup device and the second image pickup device are set to a predetermined angle at which the optical axes intersect each other .

The first imaging device and the second imaging device is a video conferencing imaging / display apparatus according to claim 1, wherein the Ru video camera der.

The first imaging device and the second variable height means the height of the image pickup apparatus to vary, tilting means for varying the tilt setting of the first imaging device and the second imaging device, wherein the 3. The video conference imaging / display apparatus according to claim 1, further comprising or simultaneously with panning means that enables panning of the first imaging apparatus and the second imaging apparatus. 4.

Before machine according to the first of any one of claims 1 to 3, characterized by comprising image synthesizing means for synthesizing an output video signal as one screen of the imaging device and before Symbol second imaging device Imaging / display device for video conferencing.

Comprising image signal input means for inputting an image signal from the outside;
The image synthesizing means, the output video signal of the first imaging device and the second imaging device, and a benzalkonium be combined with the image signal input from the outside to the image signal input means as one screen 5. The video conference imaging / display device according to claim 4 ,