JP2005517331A - テレビ会議アプリケーションにおける電子画像操作を提供するための装置及び方法 - Google Patents

Abstract

本発明は、テレビ会議で使用される１つ以上の画像を処理及び操作するための装置と方法である。本発明の例示的な実施例は、画像を作る画像センサ（５０４）と、変換制御信号に応じて１つ以上の画素だけ画像の部分を変換するように構成されたコントローラ（５２８）とを有するテレビ会議端末である。コントローラは、ズームアウト制御信号に応じて画像の部分に関連する画素セルの数を増加させ、ズームイン制御信号に応じて画像の部分に関連する画素セルの数を減少させるように構成される。

Description

［関連特許］
本出願は、２００２年２月４日に出願された“ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＰＲＯＶＩＤＩＮＧ ＥＬＥＣＴＲＯＮＩＣ ＩＭＡＧＥ ＭＡＮＩＰＵＬＡＴＩＯＮ ＩＮ ＶＩＤＥＯ ＣＯＮＦＥＲＥＮＣＥ ＡＰＰＬＩＣＡＴＩＯＮＳ”という題名の米国仮特許出願第６０／３５４，５８７号の優先権と利益を主張する。
［技術分野］
本発明は、画像処理とその通信に関するものであり、特にテレビ会議で使用される１つ以上のビデオ画像を処理及び操作するための装置と方法に関するものである。

近年、電話会議装置とテレビ会議装置の使用は劇的に増加している。そのような装置（ここではひとまとめにして“会議端末”として示される）は、相互に遠隔にいる人又は人のグループの間で通信を容易にし、地理的に分散した企業活動を有する会社が異なる事務所にいる人又はグループの会議を実施することを可能にし、それによって高価で時間のかかる出張旅行の必要性を未然に防ぐ。

図１は、テレビ会議端末１００を示したものである。端末１００は、テーブル１１４の付近の周囲と会議の参加者自体のような所定の場面の音声と映像を受信するために、カメラ・ベース１０４に回転可能に接続されたカメラレンズシステム１０２を有する。カメラレンズシステム１０２が１つ以上の制御信号に応じて動くことができるように、カメラレンズシステム１０２は一般的にカメラ・ベース１０４に接続される。カメラレンズシステム１０２を動かすことにより、遠隔の会議の参加者に提示される場面の視界が、制御信号に従って変化する。特に、カメラレンズシステム１０２は、パン（ｐａｎ）、チルト（ｔｉｌｔ）並びにズームイン及びズームアウトすることがあり、それによりパン・チルト・ズーム（ｐａｎ−ｔｉｌｔ−ｚｏｏｍ）（“ＰＴＺ”）カメラと一般的に称される。“パン（ｐａｎ）”は、右から左又は左から右へのいずれかの軸（すなわちＸ軸）に従った水平のカメラ移動のことを言う。“チルト（ｔｉｌｔ）”は、上又は下のいずれかの軸（すなわちＹ軸）にしたがって垂直のカメラ移動のことを言う。“ズーム（ｚｏｏｍ）”は、目的物へのレンズの焦点距離を変化することにより、ビデオ画像の表示の奥行き又は視野（すなわちＺ軸）を制御する。

この例において、音声通信もまた、テレビ会議のマイクロフォン１１２により回線１１０を介して送受信される。地理的に遠隔の会議の参加者の１つ以上のビデオ画像が、ディスプレイモニタ１０６で動作するディスプレイ１０８に表示される。ディスプレイモニタ１０６は、テレビ、コンピュータ、独立型ディスプレイ（例えば液晶ディスプレイ“ＬＣＤ”）、又はそれと同様のものであることがあり、ユーザ入力を受信して、ディスプレイ１０８に表示される画像を操作するように構成され得る。

図２は、従来のテレビ会議アプリケーションで使用される従来のＰＴＺカメラ２００を表したものである。ＰＴＺカメラ２００は、レンズシステム２０２とベース２０４とを有する。レンズシステム２０２は、レンズモニタの制御下にあるレンズ機構２２２で構成される。レンズ機構２２２は、１つ以上の光学ガラスで構成された何らかの透明な光学構成要素であることがある。光学ガラスの表面は、通常は形状が湾曲しており、目的物２２０から発出する光を収束又は発散する機能を行い、それにより画像取り込みのために目的物２２０の実像又は仮想イメージを形成する。

目的物２２０の実像に関連する光は、像平面としての役割をする電荷結合素子（“ＣＣＤ”）の画像配列２２４に光学的に投影される。画像配列２２４は、場面の情報を取得し、画像を別個の素子（例えば画素）に分割し、その素子の数により場面と目的物が定められる。画像配列２２４は、画像信号プロセッサ２３０に結合され、画像プロセッサ２３０に電子信号を提供する。前記信号は、例えばそれぞれの個々の画素に関連する明度を表す電圧であり、アナログ値又は（アナログ・デジタル変換器によりデジタル化された）デジタル値に対応することがある。

レンズ・モータ２２６は、レンズ機構２２２に結合され、“ズームイン”と“ズームアウト”により視野を機械的に変化する。レンズ・モータ２２６は、レンズ・コントローラ２２８の制御下でズーム機能を実行する。カメラ２２０に関連するレンズ・モータ２２６とその他のモータ（すなわち、チルト（ｔｉｌｔ）モータ及び駆動部２３２と、パン（ｐａｎ）モータ及び駆動部２３４）は、例えば地理的に遠隔の参加者によって見られる画像を機械的に操作するために、電力を使用する電気機械装置である。チルト（ｔｉｌｔ）モータ及び駆動部２３２は、レンズシステム２０２に含まれており、遠隔の参加者によって見られる画像を垂直に動かす機械的手段を提供する。

ベース２０４は、電気機械装置を使用することだけでなく、画像の色彩、輝度、鮮明度等を変化させることにより、画像操作を制御するためのコントローラ２３６を有する。コントローラ２３６の例は、中央処理装置（ＣＰＵ）又はそれと同様のものであることがある。コントローラ２３６はまた、パン（ｐａｎ）モータ及び駆動部２３４に接続され、遠隔の参加者により見られる画像を水平に動かす機械的手段を制御する。コントローラ２３６は、遠隔の参加者と通信を行い、例えばカメラ２００のパン（ｐａｎ）、チルト（ｔｉｌｔ）及びズーム（ｚｏｏｍ）の形態を制御する制御信号を受信する。コントローラ２３６はまた、遠隔の参加者への目的物２２０の画像を表す映像信号の通信を管理及び提供する。電源装置２３８は、カメラ２００とその構成要素に、カメラ２００を動作する電力を提供する。

カメラ２００を含む、従来のテレビ会議アプリケーションで使用される従来のカメラに備わっている多数の欠点が存在する。電気機械式のパン（ｐａｎ）、チルト（ｔｉｌｔ）及びズーム（ｚｏｏｍ）装置は、カメラ２００の製造に有意なコストを加える。更に、前記装置はまた、カメラ２００の全体的な信頼性を減少させる。各要素はその特有の故障率を有するため、カメラ２００の全体的な信頼性は、それぞれ加えられる電気機械装置に不利益に影響を受ける。機械装置は、動かない電子的に等価なものより動きが引き起こす故障の傾向が大きいため、前記のことは本来的である。

更に、画像を取り込んで表示する所定のズームとサイズの設定に関連する事前設定された視野を切り替えることは、調整のために特定の期間がかかる。事前設定された視野を切り替えることに対応するために行われる機械装置の調整に関連する遅延時間のため、前記のことは本来的である。例えば、データ会議システムの電源入力時に、最大のズームアウトが事前設定されることがある。次の事前設定されたボタンが押されると、所定の“通常のズーム”機能での“右へのパン（ｐａｎ）”を有し得る。従来のカメラにおいて、水平方向のカメラ及びズームレンズの位置を変化させることに関連する機械装置は、新しい事前設定されたレベルに従って調整する時間がかかり、それにより遠隔の参加者に不便を感じさせる。

テレビ会議アプリケーションで使用される従来のカメラのその他の欠点は、カメラが本来的に１つの視野を遠隔の参加者に提供するように設計されていることである。例えば、３つの視野の表示が遠隔の参加者の場所で望まれる場合、独立して動作可能な３つのカメラが必要とされる。従って、従来のカメラとテレビ会議技術に関連する前述の欠点を克服する技術の必要性が存在する。

本発明の例示的な実施例によると、装置は、電気機械装置を使用せずに、又は更なる画像データの取り込みを必要とせずに、テレビ会議の遠隔の参加者が前記装置により処理された画像データを操作し、パン（ｐａｎ）、チルト（ｔｉｌｔ）及びズーム（ｚｏｏｍ）機能を実行することを可能にする。更に、本発明は、場面の複数の視野の生成を提供し、前記複数の視野のそれぞれがイメージャ（ｉｍａｇｅｒ）で取り込まれた同じ画像データに基づく。

本発明のその他の実施例によると、画像データを処理して操作するための例示的なシステムが提供され、前記システムは半導体チップに統合した画像回路である。前記画像回路は、電子的なパン（ｐａｎ）、チルト（ｔｉｌｔ）及びズーム（ｚｏｏｍ）機能と、場面の移動物の複数の視野とを提供するように設計される。前記画像回路とその配列は、高解像度の画像を作ることができるため、本発明に従って作られた画像データは、１６×９形式、高精細度テレビ（“ＨＤＴＶ”）形式、その他の同様の映像形式でのプレゼンテーション又はディスプレイに適している。有利には、例示的な画像回路は、７０−７５度の視野より大きい１２倍以上のズーム機能を提供する。

本発明の実施例によると、最小の移動部分を備えた画像装置又は移動部分を備えない画像装置は、事前設定されたパン（ｐａｎ）、チルト（ｔｉｌｔ）及びズーム（ｚｏｏｍ）特性による複数の視野を提示することに対して瞬時又はほぼ瞬時の応答を可能にする。

例示的な実施例の詳細な説明がここに提供される。しかし、当然のことながら、本発明は多様な形式で具体化されることがある。従って、ここで開示される特定の詳細は、限定するものとしてではなく、特許請求の範囲の基礎として、及び事実上何らかの適切な詳細なシステム、構成、方法、処理又は方式で本発明を使用する当業者を教示するための代表的な基礎として解釈されるべきである。

本発明は、ローカルの場面の画像を取り込み、画像を処理し、ローカルの参加者と遠隔の参加者とのデータ会議の間に１つ以上のビデオ画像を操作するための画像装置と方法を提供する。ローカルの参加者はまた、ここでは投影される場面の目的物としても称される。本発明はまた、１つ以上の画像を遠隔の参加者に通信することを提供する。遠隔の参加者は、ローカルの参加者と異なる地理的場所にあり、画像装置により取り込まれた画像を見るための受信手段を少なくとも有する。

本発明の特定の実施例によると、例示的な画像装置は、カメラの画像素子により光学的に作られた各フレームから対象物とその周囲の環境（すなわち場面）の１つ以上の視野を作るように設計されたカメラである。複数の視野のそれぞれは、表示のため遠隔の参加者に提供され、遠隔の参加者は、ズーム（ｚｏｏｍ）、パン（ｐａｎ）、チルト（ｔｉｌｔ）等のようなそれぞれの視野の視覚的態様を制御する機能を有する。本発明によると、遠隔の参加者の受信装置（例えば遠隔の参加者のデータ会議装置）で表示される複数の視野のそれぞれは、画像装置のイメージャ（ｉｍａｇｅｒ）により取り込まれた情報の１つのフレームから作られさえすれば良い。

フレームは、特定の時間ｔでの画像を規定するために使用される空間情報を有しており、その情報は選択された数の画素を含む。次のフレームもまた、その他の特定の時間ｔ＋１での空間情報を有しており、情報の違いが場面内で検出された動きを示す。フレームレートは、フレーム及び関連する空間情報がｔとｔ＋１の間のような時間間隔△ｔを通してイメージャ（ｉｍａｇｅｒ）により取り込まれる速度である。

空間情報は１つ以上の画素を有し、画素は画像を合わせて構成する複数の小さい別個の画像要素のうちの何らかの１つである。画素はまた、光学センサとして使用されるＣＣＤ又はＣＭＯＳイメージャ（ｉｍａｇｅｒ）のような、画像装置の何らかの検出要素（すなわち画素セル）のことを言う。

図３は、例示的なカメラの関連する態様を示す簡略化した機能ブロック図３００である。例示的なカメラ３００は、画像システム３０１と、任意的な音声システム３１３とを有する。本発明の特定の実施例によると、画像システム３０１は、画像の取り込み、処理、操作及び送信を提供する。１つの例示的な実施例において、画像システム３０１は、イメージャ（ｉｍａｇｅｒ）３０４の画像の光学表示を受信するように構成された回路であり、それはまた、イメージャ３０４に結合されたコントローラ３１０と、データストレージ３０６と、映像インタフェース３０８とを有する。一般的に、コントローラ３１０は、１つ以上のフレームのイメージャ（ｉｍａｇｅｒ）３０４での取り込みを制御するように設計され、前記１つ以上のフレームは場面を表すデータを有する。コントローラ３１０はまた、取り込まれた画像データを処理し、例えば場面の複数の視野を作る。更に、コントローラ３１０は、映像インタフェース３０８を介して、画像システム３０１から遠隔の参加者への複数の視野を表すデータの送信を管理する。

光学入力３０２は、光学的に焦点を合わされた画像をイメージャ（ｉｍａｇｅｒ）３０４に提供するように設計される。光学入力３０２は、好ましくはガラスのような１つ以上の光学的素材を有する何らかの透明な光学構成要素のレンズである。１つの例において、レンズは、機械的なズーム機構を備えずに、イメージャ（ｉｍａｇｅｒ）３０４への光の最適の焦点を提供することがあり、それによりデジタルズームを実現する。しかし、その他の例では、光学入力３０４は、技術的に周知な機械的なズーム機構を有し、カメラ３００のデジタルズーム機能を拡張し得る。

１つの実施例において、例示的なイメージャ（ｉｍａｇｅｒ）３０４は、ＣＭＯＳ（相補型金属酸化膜半導体）画像センサである。ＣＭＯＳ画像センサは、最初に光を電子電荷に変換し、次にその電荷をデジタル・ビットに変換することにより、入射光線（すなわち光子）を検出して変換する。ＣＭＯＳ画像センサは、一般的に可視光線を検出するように構成された光ダイオードの配列であり、配列を構成するそれぞれの光ダイオードに適したマイクロレンズとカラーフィルターを任意的に有することがある。そのようなＣＭＯＳ画像センサは、電荷結合素子（ＣＣＤ）と同様に動作する。ＣＭＯＳ画像センサは、ここでは光ダイオードを含むものとして説明されるが、その他の類似の半導体構成及び装置の使用についても、本発明の範囲内である。後述する通り、図４は、本発明の実施例によるセンサ配列と制御回路の一部を示している。更に、その他の画像センサ（すなわち非ＣＭＯＳ）も、本発明で利用されることがある。

例示的なＣＭＯＳ画素配列は、能動画素若しくは受動画素、又は技術的に周知のその他のＣＭＯＳ画素形式に基づくことがあり、そのいずれもがＣＭＯＳ画素配列により取り込まれた画像の最小の画像要素を表す。受動画素は、能動画素より簡単な内部構成であり、各画素に関連する光ダイオードの電荷を増幅しない。対照的に、能動画素センサ（ＡＰＳ）は、画素情報（例えば色に関するもの）に関する電荷を増幅する増幅器を有する。

図３に戻って参照すると、イメージャ（ｉｍａｇｅｒ）３０４は、それぞれの画素に関連する電荷をデジタル信号に変換する更なる回路を有する。すなわち、各画素の光ダイオードからの信号を選択して増幅して転送するために、各画素は少なくとも１つのＣＭＯＳトランジスタに関連付けられる。例えば、更なる回路は、タイミング発生器と、行セレクタと、列セレクタ回路とを有し、１つ以上の特定の光ダイオードから電荷を選択し得る。更なる回路はまた、増幅器と、アナログ・デジタル変換器（例えば１２ビットＡ／Ｄ変換器）と、マルチプレクサ等を含み得る。更に、更なる回路は、一般的にセンサ配列の周り又はその付近に物理的に配置され、光の状況に応じて動的に信号を増幅し、ランダムな空間ノイズを抑制し、デジタル映像ストリームを最適な形式に変換するための回路、及び同様の画像機能を実行するその他の画像回路を有する。

イメージャ（ｉｍａｇｅｒ）３０４を実現する適切な画像回路は、Ｒｏｃｋｗｅｌｌ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｍｐａｎｙ， ＬＬＣのＰｒｏＣａｍ−１（商標）ＣＭＯＳ画像センサに類似した集積回路である。そのようなセンサは、合計で２００８×１０９４の数の画素を提供することがあるが、何らかの数の画素を提供するセンサは、本発明の範囲内である。

本発明の例示的な実施例のストレージ３０６は、イメージャ（ｉｍａｇｅｒ）３０４に結合され、イメージャ（ｉｍａｇｅｒ）３０４の配列の各画素に関連する画素データを受信して保存する。ストレージ３０６は、ＲＡＭ、フレッシュメモリ、フロッピー（登録商標）ドライブ、又は技術的に周知のその他のメモリ装置であることがある。動作中に、例示的なストレージ３０６は、前の時からのフレーム情報を保存する。その他の実施例において、ストレージ３０６は、データ識別（例えば動き照合）回路を有し、時間△ｔを通してフレーム間で１つ以上の画素が変化したか否かを決定する。画素情報を表す特定の画素又はデータが△ｔを通じて同じ情報を有する場合、画素情報は転送される必要がなく、それにより帯域を節約し、最適伝送速度を確保する。更にその他の実施例において、ストレージ３０６は画像システム３０１回路を有しておらず、イメージャ（ｉｍａｇｅｒ）３０４からのデジタル化された画素データは映像インタフェース３０８に直接通信される。そのような実施例において、画像の処理は遠隔の参加者のコンピュータ装置で実行される。

映像インタフェース３０８は、ストレージ３０６から画像データを受信し、その画像データを適切な映像信号に形式化し、その映像信号を遠隔の参加者に通信するように設計される。ローカルの参加者と遠隔の参加者との通信媒体は、ＬＡＮ、ＷＡＮ、インターネット、ＰＯＴＳ若しくはその他の銅線ベースの電話線、無線ネットワーク、又は技術的に周知の何らかの同様の通信媒体であることがある。

コントローラ３１０は、１つ以上の遠隔の参加者からの制御信号３１２に対応して動作する。コントローラ３１０は、遠隔の参加者により定められた通りに遠隔の参加者に１つ以上の視野を提示するために、どの画素が必要であるかを決定するように機能する。例えば、遠隔の参加者がローカルの参加者に関連する３つの視野の場面を希望する場合、それぞれの遠隔の参加者は、何らかの制御される視野がズームイン又はアウト、左又は右へのパン（ｐａｎ）、上又は下へのチルト（ｔｉｌｔ）等をするべきか否かを、独立に選択して特定することができる。参加者により制御される視野は、全ての画素又はそのサブセットを含む個々のフレームに基づき得る。

更にその他の実施例において、画像システム３０１は、視覚映像に関連する聴覚の通信を取り込み、処理し、送信するために、音声システム３１３と動作するように設計されることがある。この実施例において、コントローラ３１０は、例えば音声入力３１４で取り込まれた音のデジタル化表示を作る。例示的な音声信号生成器３１６は、例えばアナログ音声信号を取り込まれた音声のデジタル化表示に十分に変換するように設計されたアナログ・デジタル変換器であることがある。コントローラ３１０はまた、音声インタフェース３１８を介した送信のために、デジタル化された音声を適合させる（すなわち形式化する）ように構成される。その他に、聴覚の通信は、映像信号と同じ手段で遠隔の宛先に送信されることがある。すなわち、それぞれシステム３０１と３１３で取り込まれた画像と音声の双方が、同じ通信チャネルを介して遠隔のユーザに送信される。更にその他の実施例において、システム３０１と３１３及びそれらの要素は、ハードウェア、ソフトウェア又はその組み合わせで実現されることがある。

図４Ａは、本発明のその他の実施例による画像配列の一部を表したものである（要素のサイズの実際の比率を表すために示されているのではない）。例示的な配列部分４００は、行８７１から８７９と列１３０１から１３０９の画素セルを含むように示されている。動作中に、画素に関連するデータの量が確定されると、画素制御信号がイメージャ（ｉｍａｇｅｒ）３０４（図３）に送信され、次に遠隔の参加者により定められた通りに視野を作るために必要な画素情報（すなわち画素データの集合）を取り出すように動作する。

本発明のその他の実施例によると、画像装置は、取り込まれた画像から表示される画像への一対一の画素マッピングを提供するように動作する。更に具体的には、表示される画像を形成するためにグラフィック・ディスプレイが使用され、表示画像を形成する表示画素の数が、画素データとしてデジタル化された取得された画素の数と等しく、それぞれの画素データの値が、対応する画素セルから形成される。従って、表示される画像は、光学センサで取り込まれた画像と同じ解像度を有する。

更にその他の実施例において、画像装置は、遠隔の参加者のコンピュータディスプレイでの１つ以上の視野の最適な表示のため、取り込まれた画像を適切な映像形式に適合させるように動作する。特に、イメージャ（ｉｍａｇｅｒ）３０４又は５０４（図５Ａ）で取り込まれた１つ以上の画素はグループ化されて、表示画素を形成する。ここに記載される表示画素は、例えばテレビモニタ又はコンピュータディスプレイの機能に従って利用可能なディスプレイ上の最小のアドレス可能な単位である。例えば、最大のズームアウトでの全視野において、対応する視野を作るために、必ずしも全ての画素が使用されるとは限らない。すなわち、画素セル８７１−８７８と１３０１−１３０８から作られた画素データは、特定の視野の表示画素４０２に変換され、その表示画素４０２は、テレビのようなグラフィック・ディスプレイへの提示のために、画素のブロック又はグループで構成される。一般的なテレビモニタは、４８０ドット（すなわち画素）の高さ×４４０ドットの幅の解像度又は画像の詳細の最大量のみを有することがある。４８０×４４０の解像度のテレビモニタは、２００８×１０９４画素に分解可能なイメージャ（ｉｍａｇｅｒ）からの各画素にマッピングすることができないため、表示される画像が正確に確実に遠隔の参加者により定められた画像を表すことを確保するために、周知の画素補間技術が適用され得る。

表示画素４０２は、例えば関連する画素の総数の平均の色彩、又は平均の輝度及び／又はクロミナンスにより表され得る。より小さい画素の上位集合から表示画素を決定するその他の技術も、本発明の範囲内である。その他の例として、通常の視野（すなわちズームなし）では、遠隔の参加者による使用のための鮮明且つズームインされた第２の視野を得るために、表示画素４０２ではなく、複数の画素４０８（すなわち“Ｘ”で示されている）が使用され得る。更なる例において、最大のズームインでの狭い視野は、視野として提示される定められた領域のために、画素セル８７１−８７９と１３０１−１３０８に関連するそれぞれの画素を含み得る。

従って、本発明は、視野ウィンドウの境界を受信し、境界により設定された定められた領域内での適切な数の画素を提供する技術を提供する。更に、本発明は、定められた数の画素セル４５０だけ画素を左又は右に移動（すなわち変換）することにより、パン（ｐａｎ）移動を提供する。チルト（ｔｉｌｔ）移動は、例えば定められた数の画素セル４６０だけ画素を上又は下に移動することにより、達成される。従って、本発明は、パン（ｐａｎ）、チルト（ｔｉｌｔ）、ズーム（ｚｏｏｍ）及びそれと同様の機能を実現するために、電気機械装置に依存する必要はない。

図４Ｂは、表示画素４８０に関連する画素セルから作られた画素データから構成された表示画素４８０を示したものである。パン（ｐａｎ）動作が開始される前に、表示画素４８０が示される。次に、表示画素４８０は、パン（ｐａｎ）が行われた表示画素４８２により表された位置に変換される。従って、パン（ｐａｎ）動作が終了した後に、パン（ｐａｎ）が行われた画素４８２は、画素セル４８１ではなく、画素セル４８３から作られた画素セルのデータを使用する。同様に、図４Ｃは、チルト（ｔｉｌｔ）動作の結果としてチルト（ｔｉｌｔ）が行われた画素４８６を構成するように操作された表示画素４８４を示したものである。図４Ｄは、ズームイン動作が実行される前の表示画素４９２を作るために使用される複数の画素セルに関連して、表示画素４９２を示したものである。ズームイン動作が完了した後に、ズームインの表示画素４９０が、表示画素４９２より少ない画素セルに関するように示される。１つの実施例において、特定のフレーム又は期間の同じ画素データの値が、表示画素４９２とズームインの表示画素４９０を作り、その画素の値は関連する画素セルから生じる。

図５Ａは、例示的な画像システム５００のその他の実施例を示したものである。時間ｔ−１とｔの画像フレームに関連する画像データを保存するために、少なくとも２つのメモリ回路５１８と５２０が使用される。保存データは、各画素によって定められる画像の特徴を表す。例えば、イメージャ（ｉｍａｇｅｒ）５０４が、行５９０と列８９９の画素で色“赤”を取り込むと、赤色が特定のメモリ位置にバイナリ数として保存される。いくつかの実施例において、画素を表すデータは、クロミナンス情報と輝度情報とを有する。

画像システム５００は、画素セルの配列を有するイメージャ（ｉｍａｇｅｒ）５０４に光学的に焦点を合わされた画像を提供するための光学入力５０２を有する。１つの実施例において、画像システム５００のイメージャ（ｉｍａｇｅｒ）５０４は、イメージャ（ｉｍａｇｅｒ）５０４の画素セルの１つ以上の特定の光ダイオードから電荷を選択する行選択５０６回路と列選択５１２回路とを有する。イメージャ（ｉｍａｇｅｒ）５０４を使用して画像をデジタル化するための他の更なる既知の回路はまた、アナログ・デジタル変換器５０８回路と、マルチプレクサ５１０回路とを有することがある。

画像システム５００のコントローラ５２８は、テレビ会議中にローカルの端末で取り込まれた場面の１つ以上の視野の生成を制御するように動作する。コントローラ５２８は、画素データとしてデジタル化された画像の取り込みを少なくとも管理し、画素データを処理し、デジタル化された画像に関連する１つ以上の表示を構成し、ローカルと遠隔の参加者に要求される通りにその表示を送信する。

動作中に、コントローラ５２８は、画像制御信号５１６を介した場面の画像のデジタル化表示の取り込みのため、イメージャ（ｉｍａｇｅｒ）５０４と通信する。１つの実施例において、イメージャ（ｉｍａｇｅｒ）５０４は、取り込まれた画像を表す画素データの値５１４をメモリ回路５１８と５２０に提供する。

コントローラ５２８はまた、メモリ制御信号５２５を介して、１つ以上の視野を表示する際に使用される画素データの量と、メモリ回路５２０の以前の画素データとメモリ回路５１８の現在の画素データとの間のデータ処理のタイミングと、その他のメモリに関する機能とを制御するように動作する。

コントローラ５２８はまた、以下に説明する通り、現在の画素データ５２１と以前の画素データ５２３とを、データ微分器５２２とエンコーダ５２４の双方に送信することを制御する。更に、コントローラ５２８は、エンコード制御信号５２７を介した遠隔の参加者への表示データのエンコードと送信を制御する。

図５Ｂは、本発明の例示的な実施例によるコントローラ５２８を示したものである。コントローラ５２８は、グラフィックモジュール５６２と、メモリコントローラ（“ＭＥＭ”）５７２と、エンコーダコントローラ（“ＥＮＣ”）５７４と、視野ウィンドウ生成器５９０と、視野コントローラ５８０と、任意的な音声モジュール５６０とを有し、そのすべてが１つ以上のバスを介して、コントローラ５２８の内部及び外部の要素と通信する。構造的に、コントローラ５２８は、ハードウェア若しくはソフトウェアのいずれか、又はその双方を有することがある。その他の実施例において、より多い又は少ない要素がコントローラ５２８に含まれることがあり、その他の要素が利用されることがある。

グラフィックモジュール５６２は、イメージャ（ｉｍａｇｅｒ）５０４（図５Ａ）の列と行を制御する。特に、水平コントローラ５５０と垂直コントローラ５５２は、イメージャ５０５の配列の１つ以上の行と１つ以上の列をそれぞれ選択するように動作する。従って、グラフィックモジュール５６２は、遠隔の参加者により定められた少なくとも１つの視野を作るために必要な画素情報（すなわち画素データの集合）の全て、又はそのいくつかのみを取り出すことを制御する。

制御信号５３０を介して要求に応答する視野コントローラ５８０は、遠隔の参加者に提示される１つ以上の視野を操作するように動作する。視野コントローラ５８０は、パン（ｐａｎ）モジュール５８２と、チルト（ｔｉｌｔ）モジュール５８４と、ズーム（ｚｏｏｍ）モジュール５８６とを有する。パン（ｐａｎ）モジュール５８２は、要求されたパン（ｐａｎ）の方向（すなわち右又は左）とその量を決定し、パン（ｐａｎ）動作が完了した後の更新表示を提供するために必要な画素データを選択する。チルト（ｔｉｌｔ）モジュール５８４は同様の機能を実行するが、垂直に視野を変換する。ズーム（ｚｏｏｍ）モジュール５８６は、ズームイン又はズームアウトするか否かと、その量を決定し、表示に必要な画素データの量を計算する。その後、ズーム（ｚｏｏｍ）モジュールは、対応する画素セルからの画素データを使用して、いかにそれぞれの表示画素を構成するかを計算する。

メモリコントローラ５７２は、視野を作るために必要なメモリ回路５１８と５２０の画素データを選択する。コントローラ５２８は、視野並びに必要に応じて表示ピクセルの数及び特徴のエンコードと、エンコードされたデータを遠隔の参加者に送信することとを管理する。コントローラ５２８は、画像データのエンコードを実行するために、エンコーダ５２４（図５Ａ）と通信する。

視野ウィンドウ生成器５９０は、制御信号５３０を介して遠隔の参加者により定められた通りに、視野の境界を決定する。視野の境界は、どの画素データ（及び画素セル）がパン（ｐａｎ）とチルト（ｔｉｌｔ）とズーム（ｚｏｏｍ）動作を実現するために必要であるかを選択するために使用される。更に、視野ウィンドウ生成器は、ディスプレイの基準点とウィンドウサイズを有しており、遠隔の参加者がテレビ会議中に表示される視野を変更することを可能にする。

本発明の１つの実施例の垂直コントローラ５５２と水平コントローラ５５０は、特定の視野を作るために必要な配列からの画素データのみを取り出すように構成される。１つ以上の視野が必要とされる場合、垂直コントローラ５５２と水平コントローラ５５０は、最適化された時間間隔で、それぞれの要求された視野に関する画素データのセットを取り出すように動作する。例えば、遠隔の参加者が３つの視野を要求した場合、垂直コントローラ５５２と水平コントローラ５５０は、第１の視野用、その次に第２の視野用、そして最後に第３の視野用のように、順に画素データのセットを取り出すように機能する。その後、いかに遠隔から見るための画素データを効率的に効果的に提供するかに基づいて、取り出される画素データの次のセットが、３つの視野のうちの何らかに関連することができる。当業者は、その他のタイミング及び制御構成が配列から画素データを取り出すことが可能であり、そのため、それは本発明の範囲内であることを認識するべきである。

図５Ａに戻って参照すると、データ微分器５５２は、特定のメモリ位置（例えば行と列によって定められるような特定の画素に関係する）に保存された色データが時間間隔Δｔで変化するか否かを決定する。データ微分器５５２は、データ圧縮の分野で既知の動き照合を実行することがある。１つの実施例において、変化した情報のみが送信される。エンコーダ５２４は、効率的なデータ送信のため、画像の変化（すなわち要求する視野ウィンドウの動き又は変化のため）を表すデータをエンコードする。１つの実施例において、データ微分器５２２又はエンコーダ５２４のうちのいずれか１つ、又はその双方は、ＭＰＥＧ規格、又はＨ．２６４のような技術的に既知のその他の映像圧縮規格に従って動作する。その他の実施例において、データ微分器５２２とエンコーダ５２４のそれぞれは、フレームデータの単一のセットから複数の視野を処理するように設計される。マルチプレクサ（“ＭＵＸ”）５２７は、画像データの１つ以上のサブセットを、遠隔の参加者への通信のための映像インタフェース５２６に圧縮し、その画像データの各サブセットは、（後述される通り）視野ウィンドウにより定められる画像の部分を表す。その他の実施例において、ＭＵＸ５２７は、それぞれの視野のための画像データのサブセットを結合し、遠隔の場所での表示のための寄せ集めた画像を作るように動作する。

図６は、例示的な場面の通常の視野（すなわちズームなし）を示したものであり、視野ウィンドウが境界ＡＢＤＣにより定められる。イメージャ（ｉｍａｇｅｒ）は全体の場面を表す光学的な光を受信するが、コントローラは、視野ウィンドウと例えば左下の角に関連した位置内に定められた画素のみを使用する。すなわち、ズーム機能によって定められた領域内の視野ウィンドウは、基準点としての点Ｃで２次元の空間で定められ、点Ａまでの画素の行を有する（それぞれの画素の行が使用される必要はない）。

図７は、３つの例示的な視野ウィンドウＦ１とＦ２とＦ３を示しており、前記それぞれの視野ウィンドウが異なるレベルのズームであり、対応する視野を定めるために取り込まれた画像データに関連する異なる画素の位置を使用する。１つの実施例において、それぞれの視野ウィンドウは、画像の配列に投影された同じ画像データに基づく。例えば、視野ウィンドウＦ１とＦ２とＦ３は、図８に示されるように３つの対応する視野を作るために必要な情報を有する。

図８は、対応する視野ウィンドウに基づいて、どのようにそれぞれの視野が遠隔の参加者のディスプレイに表示されるかの例を示したものである。その他の例において、視野は、図８に示されるような“タイル張り”の方法で示されるのではなく、画像内の画像のように遠隔の参加者に提示又は表示され得る。

本発明は特定の実施例に関連して説明されたが、３つの実施例は単に説明的であり、本発明を限定するものではないことを当業者は認識するであろう。例えば、前記の説明はテレビ会議で使用される例示的なカメラについて説明したが、当然のことながら、本発明は一般的に映像装置に関するものであり、テレビ会議での使用に限定される必要がない。本発明の範囲は、特許請求の範囲により単に決定されるべきである。

カメラを使用する従来のテレビ会議プラットフォームを示したものである。 テレビ会議で使用される従来のカメラの基本的な動作システムの機能ブロック図である。 本発明の例示的な実施例による基本的な画像システムの機能ブロック図である。 本発明の実施例による１つ以上の画素セルによって構成された例示的な表示画素を表したものである。 本発明の実施例によるパン（ｐａｎ）動作の例示的な表示画素を表したものである。 本発明の実施例によるチルト（ｔｉｌｔ）動作の例示的な表示画素を表したものである。 本発明の実施例によるズームイン動作の例示的な表示画素を表したものである。 本発明のその他の実施例による画像システムの機能ブロック図である。 本発明の例示的な実施例による画像システムコントローラの機能ブロック図である。 遠隔の会議端末に関連する遠隔のディスプレイでの表示のために、取り込まれた画像が操作され得る方法を示したものである。 対応する視野を作るために使用される特定の画像データを定める３つの例示的な視野ウィンドウを示したものである。 本発明の例示的な実施例に従って、図７の遠隔の参加者に提示される３つの視野の表示を表したものである。

Claims (21)

1. テレビ会議中に、遠隔の場面からの複数の視野を操作するためのローカルの端末で、パン（ｐａｎ）、チルト（ｔｉｌｔ）及びズーム（ｚｏｏｍ）機能を提供するための方法であって、
   遠隔の端末から前記複数の視野を有する画像を受信し、前記画像が画素セルの配列を有し、
   視野ウィンドウにより前記複数の視野のそれぞれを定め、前記視野ウィンドウが、前記場面の部分を表示するための複数の表示画素を特定し、前記表示画素のそれぞれが、前記画素セルの配列のサブセットにより作られた画素データから定められ、
   パン（ｐａｎ）制御信号が受信された場合に、前記画素の配列の１つ以上の列だけ、前記複数の視野のうちの少なくとも１つを移動し、
   チルト（ｔｉｌｔ）制御信号が受信された場合に、前記画素の配列の１つ以上の行だけ、前記複数の視野のうちの少なくとも１つを移動し、
   ズーム（ｚｏｏｍ）制御信号が受信された場合に、前記画素の配列のサブセットを構成する画素セルの数を変更することを有する方法。
2. 請求項１に記載の方法であって、
   前記１つ以上の画素セルの数を変化することが、ズームアウト制御信号が受信された場合に、前記表示画素の少なくとも１つを決定する画素セルの数を増加させることを有する方法。
3. 請求項１に記載の方法であって、
   前記１つ以上の画素セルの数を変化することが、ズームイン制御信号が受信された場合に、前記表示画素の少なくとも１つを決定する画素セルの数を減少させることを有する方法。
4. 請求項１に記載の方法であって、
   前記視野ウィンドウが、
   少なくとも１つの画素セルに関連する基準表示画素に近い基準点を確立し、
   前記基準点を有する視野ウィンドウの境界を作り、
   前記基準点に関して前記視野ウィンドウを位置付けること
   によって定められる方法。
5. 請求項１に記載の方法であって、
   前記複数の視野ウィンドウのうちの少なくとも１つの視野ウィンドウが、遠隔の端末から生じるユーザ入力に応じて構成可能である方法。
6. 請求項１に記載の方法であって、
   前記画像センサがＣＭＯＳ画像センサである方法。
7. 請求項１に記載の方法であって、
   前記複数の視野のそれぞれが、１つのフレームの間の前記画素セルの配列により作られた画素データから定められる方法。
8. 複数の表示画素を有する場面の画像を表すデータを受信するためのメモリと、
   制御信号が受信された場合に、前記画素データを操作することにより、前記場面の複数の要求された視野を作り、表示するように構成されたコントローラと
   を有するテレビ会議端末。
9. 請求項８に記載の端末であって、
   前記制御信号が、パン（ｐａｎ）制御信号であり、
   前記コントローラが、配列の少なくとも１つの列だけ、前記画素セルを移動するように構成された端末。
10. 請求項８に記載の端末であって、
    前記制御信号が、チルト（ｔｉｌｔ）制御信号であり、
    前記コントローラが、配列の少なくとも１つの行だけ、前記画素セルを移動するように構成された端末。
11. 請求項８に記載の端末であって、
    前記制御信号が、ズーム（ｚｏｏｍ）制御信号であり、
    前記コントローラが、前記視野の少なくとも１つの表示画素を決定する画素セルの配列の数を変化するように構成された端末。
12. テレビ会議中に、場面からの複数の視野を操作するためのローカルの端末で、パン（ｐａｎ）、チルト（ｔｉｌｔ）及びズーム（ｚｏｏｍ）機能を提供するためのテレビ会議システムであって、
    画像を取り込むための手段と、
    前記画像の前記複数の視野のそれぞれを定めるための手段と、
    少なくとも１つの視野を構成する画素セルの配列のサブセットを変化することにより、前記複数の視野のうちの少なくとも１つの視野を操作するための手段と
    を有するテレビ会議システム。
13. 請求項１２に記載のテレビ会議システムであって、
    前記少なくとも１つの視野を操作するための手段が、
    パン（ｐａｎ）制御信号が受信された場合に、前記画素の配列のサブセットに関連する１つ以上の列だけ、前記１つの視野を移動するための手段と、
    チルト（ｔｉｌｔ）制御信号が受信された場合に、前記画素の配列のサブセットに関連する１つ以上の行だけ、前記１つの視野を移動するための手段と、
    ズーム（ｚｏｏｍ）制御信号が受信された場合に、前記１つの視野を構成する表示画素の数を決定する前記１つ以上の画素セルの数を変化するための手段と
    のうちの少なくとも１つを少なくとも有するテレビ会議システム。
14. 複数の端末を有するテレビ会議において、複数の視野を提供するための方法であって、
    第１の端末で、第２の端末での場面の取り込まれた画像を受信することを有し、前記画像が複数の取り込まれた画素を有し、
    前記受信された画像を操作して、前記場面の１つ以上の視野を定めることを有し、それぞれの視野が、前記複数の取り込まれた画素のサブセットに対応する複数の表示画素を有する方法。
15. 請求項１４に記載の方法であって、
    前記画像を操作して、１つ以上の視野を定めるステップが、前記視野に対応する前記複数の取り込まれた画素のサブセットを特定する視野ウィンドウにより、それぞれの視野を定めることを有する方法。
16. 請求項１４に記載の方法であって、
    それぞれの表示画素が１つ以上の取り込まれた画素に対応するように、前記複数の取り込まれた画素のサブセットが表示画素の数より大きい方法。
17. 請求項１４に記載の方法であって、
    前記受信された画像を操作するステップが、前記視野の調整を実行するように、前記複数の表示画素に対応する前記複数の取り込まれた画素のサブセットを変化することを有し、
    前記調整が、パン（ｐａｎ）、チルト（ｔｉｌｔ）及びズーム（ｚｏｏｍ）のうちの１つ以上を有する方法。
18. 複数の端末を有するテレビ会議において、複数の視野を提供するための方法であって、
    第１の端末で場面の画像を取り込み、前記画像が複数の取り込まれた画素を有し、
    第２の端末から、前記場面の１つ以上の視野の生成のための１つ以上の命令を受信し、それぞれの視野が、前記複数の取り込まれた画素のサブセットに対応する複数の表示画素を有し、
    前記取り込まれた画像を操作して、前記１つ以上の視野を定め、
    前記１つ以上の視野のそれぞれを前記第２の端末に送信することを有する方法。
19. 請求項１８に記載の方法であって、
    前記命令が、前記視野に対応する前記複数の取り込まれた画像のサブセットを特定する視野ウィンドウにより、それぞれの視野を定める第２の端末で、ユーザにより作られる方法。
20. 請求項１８に記載の方法であって、
    それぞれの表示画素が１つ以上の取り込まれた画素に対応するように、前記複数の取り込まれた画素のサブセットが、表示画素の数より大きい方法。
21. 請求項１８に記載の方法であって、
    前記受信された画像を操作するステップが、前記第２の端末からの命令に応じて、前記視野の調整を実行するように、前記複数の表示画素に対応する前記複数の取り込まれた画像のサブセットを変化することを有し、
    前記調整が、パン（ｐａｎ）、チルト（ｔｉｌｔ）及びズーム（ｚｏｏｍ）のうちの１つ以上を有する方法。

Images