JP2003179895A - コンピュータ援用ミーティングキャプチャシステム、コンピュータ援用ミーティングキャプチャ方法、コントロールプログラム、及びコンピュータ読み取り可能プログラムコード - Google Patents

コンピュータ援用ミーティングキャプチャシステム、コンピュータ援用ミーティングキャプチャ方法、コントロールプログラム、及びコンピュータ読み取り可能プログラムコード

Info

Publication number
JP2003179895A
JP2003179895A JP2002303783A JP2002303783A JP2003179895A JP 2003179895 A JP2003179895 A JP 2003179895A JP 2002303783 A JP2002303783 A JP 2002303783A JP 2002303783 A JP2002303783 A JP 2002303783A JP 2003179895 A JP2003179895 A JP 2003179895A
Authority
JP
Japan
Prior art keywords
information
camera
computer
meeting
meeting capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002303783A
Other languages
English (en)
Other versions
JP4396092B2 (ja
Inventor
Shingo Uchihashi
真吾 内橋
John Boreczky
ボレッキー ジョン
Jonathan Foote
フート ジョナサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/981,735 external-priority patent/US7358985B2/en
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of JP2003179895A publication Critical patent/JP2003179895A/ja
Application granted granted Critical
Publication of JP4396092B2 publication Critical patent/JP4396092B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 直覚的インターフェースと埋め込まれたシス
テムインテリジェンスを用いることによって熟練してい
ない出席者でもミーティングを容易にキャプチャできる
コンピュータ援用ミーティングキャプチャシステムの提
供。 【解決手段】 ミーティングキャプチャコントローラと
カメラと検知されたアクティビティ情報を決定するセン
サと記憶されたオブジェクト位置情報と記憶されたルー
ル情報とを有し、ミーティングキャプチャコントローラ
が、検知されたアクティビティ情報、記憶されたオブジ
ェクト位置情報、及び記憶されたルール情報に基づい
て、提示されたカメラと提示されたカメラアングル選択
の少なくとも一つをディスプレイする、コンピュータ援
用ミーティングキャプチャシステムである。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ミーティング又は
プレゼンテーション事象(イベント)のコンピュータ援
用及びコンピュータ媒介による記録又はキャプチャに関
する。
【0002】
【従来の技術】従来のビデオ会議システムは、単一の固
定焦点を有する単一のカメラを使用してミーティング又
はプレゼンテーションをキャプチャする。これには、カ
メラや設備にかかるコストを低く抑えられるという利点
があるが、静的なプレゼンテーションが退屈なものとし
て認識されるという欠点がある。キャプチャされたプレ
ゼンテーションは、会議又はミーティングのスピーカ
(発言者)やプレゼンテーションのアクティビティ(活
動)の流れに追従しない。
【0003】会議システムの業者はこれらのシステムに
複数のカメラを付け加えることによってこれらの問題に
取り組もうと試みた。複数のカメラシステムは複数のビ
ュー(視界)を可能とするが、システムの操作に多大な
る注意を払わなければならない。複数のビデオカメラ会
議システムでは、複数のカメラから供給されるビデオの
選択、ズームするカメラの選択、室内の他のアクティビ
ティをフォーカスするためにカメラをいつ切換えるかの
決定、及びどのアクティビティに切換えるかの正確な決
定を専用のオペレータが行うことが要求される。
【0004】従って、従来のマルチカメラシステムは、
これらの機能を果たすために熟練したオペレータを必要
とする。これによって、キャプチャされるミーティング
又はプレゼンテーションの計画及び実行に更なるリソー
ス(資源)上の制約が課せされることになる。例えば、
オペレータのスケジュールが合わないときや病気のとき
には、ミーティングは再度予定を組みなおす必要があっ
た。同様に、ミーティング又はプレゼンテーションの議
題の秘密を守りたいときには、ミーティングは、オペレ
ータをほぼお抱え状態で使用可能な範囲でスケジュール
を立てる必要があるが、そのようなオペレータはなかな
か見つからない。
【0005】ビアンキ(Bianchi)及びマクホパ
ドヒャイ(Mukhopadhyay)は、非特許文献
1、及び非特許文献2に記載されているような実験的会
議システムを開発した。しかしながら、これらのシステ
ムは、一人のスピーカがプレゼンテーションを行うとい
う限定された条件下でしか効果がなかった。
【0006】他の従来技術も上述の課題を解決していな
い。
【0007】
【非特許文献1】ビアンキ(Bianchi,M.)
著、「自動オーディトリアム:オーディトリアムプレゼ
ンテーションをテレバイズするための完全自動マルチカ
メラシステム(AutoAuditorium:a f
ully Automatic,Multi−Came
ra System to televise Aud
itorium Presentation)」DAR
PA/NIST共同のスマート空間技術ワークショップ
(Joint.DARPA/NIST Smart S
paces Technology Worksho
p),ガイサーブルグ(Gaithersburg),
メリーランド州(MD),1998年6月
【非特許文献2】マクホパドヒャイ(Mukhopad
hyay,S)等著、「講義の受動キャプチャと構造
(Passive Capture and Stru
cturing of Lectures)」ACMマ
ルチメディア1989予稿集(Proc.ACM Mu
ltimedia 1989), 1999年, p.4
77−487
【非特許文献3】ベルニエ(Bernier,O.),
コロベルト(Collobert,M.),フェラウド
(Feraud,R.),ルメール(Lemaire,
V.),ビアレー(Viallet,J.E.),コロ
ベルト(Collobert,D.)著 「MULTR
AK:自動多人数位置決め及びリアルタイムでの追跡シ
ステム(A System for Automati
c Multiperson Localizatio
n andTracing in Real−Tim
e)」ICIP‘98予稿集,1998年,p.136
−139
【非特許文献4】チウ(Chiu,P.),カプスカー
ル(Kapuskar,A.),ライトマイヤー(Re
itmeier,S.),ウィルコックス(Wilco
x,L)著「ノートルック(NoteLook):会議
でのデジタルビデオ及びインクによるノート(Taki
ng Notes in Meetings with
Digital Video and Ink)」A
CMマルチメディア‘99予稿集(Proc.ACM
Multimedia‘99), 1999年, p.1
49−158
【非特許文献5】クルツ(Cruz,G.),ヒル(H
ill,R.)著「STREAMSによるマルチメディ
アイベントのキャプチャ及び利用(Capturing
and Playing Mutimedia Eve
nts with STREAMS)」ACMマルチメ
ディア‘94予稿集(Proc.ACM Multim
edia‘94), 1994年, p.193−200
【0008】
【発明が解決しようとする課題】従って、熟練していな
いミーティングの出席者でも複数のアクティブスピーカ
によるミーティング及びプレゼンテーションをキャプチ
ャすることができる、コンピュータ援用ミーティングキ
ャプチャのためのシステム及び方法は有用である。
【0009】
【課題を解決するための手段】本発明によるコンピュー
タ援用ミーティングキャプチャのための種々のシステム
及び方法は、直覚的インターフェースと埋め込まれたシ
ステムインテリジェンスを使用することによって熟練し
ていない出席者によるミーティングのキャプチャを容易
にする。
【0010】本発明の第1の態様は、ミーティングキャ
プチャコントローラと、カメラと、検知されたアクティ
ビティ情報を決定するセンサと、記憶されたオブジェク
ト位置情報と、記憶されたルール情報と、を有する、コ
ンピュータ援用ミーティングキャプチャシステムであっ
て、ミーティングキャプチャコントローラが検知された
アクティビティ情報、記憶されたオブジェクト位置情
報、及び記憶されたルール情報に基づいて、提示された
カメラ及び提示されたカメラアングルの少なくとも一つ
をディスプレイする、コンピュータ援用ミーティングキ
ャプチャシステムである。
【0011】本発明の第2の態様は、ミーティングキャ
プチャコントローラが、検知されたアクティビティ情報
を記録するために提示されたカメラ及び提示されたカメ
ラアングルの少なくとも一つを自動的に選択する、本発
明の第1の態様に記載のシステムである。
【0012】本発明の第3の態様は、センサにより決定
されたアクティビティ情報が、サウンド情報、動作情
報、及び存在情報の少なくとも一つを有する、本発明の
第1の態様に記載のシステムである。
【0013】本発明の第4の態様は、サウンド情報が、
マイクロフォンから得られる、本発明の第1の態様に記
載のシステムである。
【0014】本発明の第5の態様は、動作情報が、赤外
受動検出器、マイクロ波検出器、光検出器、及び超音波
検出器の少なくとも一つから得られる、本発明の第3の
態様に記載のシステムである。
【0015】本発明の第6の態様は、存在情報が、赤外
受動検出器、マイクロ波検出器、光検出器、圧力検出
器、及び超音波検出器の少なくとも一つから得られる、
本発明の第3の態様に記載のシステムである。
【0016】本発明の第7の態様は、記憶されたオブジ
ェクト位置情報が、ジオ−ポジショニングシステム信号
及びモバイルロケータサービス信号の少なくとも一つに
よって自動的に得られる、本発明の第1の態様に記載の
システムである。
【0017】本発明の第8の態様は、コンピュータ援用
ミーティングキャプチャ方法であって、センサからアク
ティビティ情報を決定するステップと、記憶されたオブ
ジェクト位置情報と記憶されたルール情報に基づいて決
定された検知されたアクティビティ情報に基づいて、提
示されたカメラ及び提示されたカメラアングル選択の少
なくとも一つをディスプレイするステップとを有する、
コンピュータ援用ミーティングキャプチャ方法である。
【0018】本発明の第9の態様は、提示されたカメラ
及び提示されたカメラアングルが検知されたアクティビ
ティ情報を記録するために選択される、本発明の第8の
態様に記載の方法である。
【0019】本発明の第10の態様は、センサからアク
ティビティ情報を決定するステップがサウンド情報、動
作情報、及び存在情報の少なくとも一つを検知すること
からなる、本発明の第8の態様に記載の方法である。
【0020】本発明の第11の態様は、センサからアク
ティビティ情報を決定するステップが、マイクロフォン
からサウンド情報を検知することからなる、本発明の第
8の態様に記載の方法である。
【0021】本発明の第12の態様は、センサからアク
ティビティ情報を決定するステップが、赤外受動検出
器、マイクロ波検出器、光検出器、及び超音波検出器の
少なくとも一つから得られる動作情報を検知することか
らなる、本発明の第8の態様に記載の方法である。
【0022】本発明の第13の態様は、センサからアク
ティビティ情報を決定するステップが、赤外受動検出
器、マイクロ波検出器、光検出器、圧力検出器、及び超
音波検出器の少なくとも一つから得られる存在情報を検
知することからなる、本発明の第8の態様に記載の方法
である。
【0023】本発明の第14の態様は、記憶されたオブ
ジェクト位置情報が、ジオ−ポジショニングシステム信
号及びモバイルロケータサービス信号の少なくとも一つ
によって自動的に得られる、本発明の第8の態様に記載
の方法である。
【0024】本発明の第15の態様は、コンピュータ援
用ミーティングキャプチャに使用可能なコントロールプ
ログラムであって、該コントロールプログラムは符号化
された搬送波により該コントロールプログラムを実施す
るデバイスへ転送され、前記コントロールプログラム
は、センサからアクティビティ情報を決定する命令と、
記憶されたオブジェクト位置情報と記憶されたルール情
報に基づいて決定された検知されたアクティビティ情報
に基づいて、提示されたカメラ及び提示されたカメラア
ングルの選択の少なくとも一つをディスプレイする命令
と、を有する、コントロールプログラムである。
【0025】本発明の第16の態様は、コンピュータ援
用ミーティングキャプチャを実行するコンピュータをプ
ログラムするために使用可能なコンピュータ読み取り可
能プログラムコードであって、該プログラムコードはコ
ンピュータ読み取り可能記憶媒体に記憶され、前記コン
ピュータ読み取り可能プログラムコードが、センサから
アクティブティ情報を決定する命令と、記憶されたオブ
ジェクト位置情報と記憶されたルール情報に基づいて決
定された検知されたアクティビティ情報に基づいて、提
示されたカメラ及び提示されたカメラアングル選択の少
なくとも一つをディスプレイする命令と、を有する、コ
ンピュータ読み取り可能プログラムコードである。
【0026】本発明の第17の態様は、赤外受動検出
器、マイクロ波検出器、光検出器、及び超音波検出器の
少なくとも一つから得られる動作情報を検知するセンサ
から、アクティビティ情報を決定するステップと、記憶
されたオブジェクト位置情報と記憶されたルール情報に
基づいて決定された検知されたアクティビティ情報に基
づいて、提示されたカメラ及び提示されたカメラアング
ル選択の少なくとも一つをディスプレイするステップ
と、を有するコンピュータ援用ミーティングキャプチャ
方法である。
【0027】本発明の第18の態様は、ミーティングキ
ャプチャコントローラと、カメラと、検知されたアクテ
ィビティ情報を決定するセンサと、記憶されたオブジェ
クト位置情報と、記憶されたルール情報と、を有する、
コンピュータ援用ミーティングキャプチャシステムであ
って、ミーティングキャプチャコントローラが、検知さ
れたアクティビティ情報、記憶されたオブジェクト位置
情報、及び記憶されたルール情報に基づいて、提示され
たカメラ及び提示されたカメラアングル選択の少なくと
も一つをディスプレイし、センサにより決定されたアク
ティビティ情報が、サウンド情報、動作情報、及び存在
情報の少なくとも一つを有し、記憶されたオブジェクト
位置情報がジオ−ポジショニングシステム信号及びモバ
イルロケータサービス信号の少なくとも一つによって自
動的に得られる、コンピュータ援用ミーティングキャプ
チャシステムである。
【0028】
【発明の実施の形態】図1は、本発明によるコンピュー
タ援用ミーティングキャプチャシステムの実施の形態を
例示的に示す。図1に示されるように、コンピュータ援
用ミーティングキャプチャシステム1は、通信リンク5
に接続された、ミーティングキャプチャコントローラ1
0とインテリジェントカメラコントローラ20を有す
る。インテリジェントカメラコントローラ20は、一つ
又は複数のルームカメラ22、24及び26及びコンピ
ュータディスプレイ28の様々な局面をコントロールす
る。コンピュータ援用ミーティングキャプチャシステム
1は、一つ又は複数のセンサ32、34及び36に接続
されたソースアナライザコントローラ30も有する。ミ
ーティングキャプチャコントローラ10、インテリジェ
ントカメラコントローラ20、ソースアナライザコント
ローラ30、及び更なるセンサ35は、通信リンク5に
それぞれ接続されている。
【0029】通信リンク5は、直接ケーブル接続、ワイ
ドエリアネットワーク又はローカルエリアネットワーク
を介した接続、イントラネットを介した接続、インター
ネットを介した接続、任意の他の分散型処理ネットワー
ク又はシステムを介した接続を含む、ミーティングキャ
プチャコントローラ10、インテリジェントカメラコン
トローラ20、ソースアナライザコントローラ30、及
び更なるセンサ35を接続するための任意の知られてい
る又は後に開発されるデバイス又はシステムであっても
よい。一般に、リンク5は、ミーティングキャプチャコ
ントローラ10、インテリジェントカメラコントローラ
20、及びソースアナライザコントローラ30を接続す
るために使用可能な、任意の知られている又は後に開発
される接続システム又は構造であってもよい。
【0030】ミーティングキャプチャコントローラ10
は、図2に示されるように、コンピュータ援用ミーティ
ングキャプチャシステムを用いて、直感的カメラコント
ロール及びビデオシステムスイッチを提供する。図2に
示されるように、グラフィカルミーティングキャプチャ
コントローラ・ユーザインターフェース40は、一つ又
は複数のルームカメラ22乃至26と他の画像ソースか
らの画像をディスプレイする。他の画像ソースは、コン
ピュータディスプレイ28、ビデオテープレコーダ/プ
レーヤー、衛星からの供給又は任意の知られているか又
は後に開発されるタイプの画像ソースを含むが、これら
に限定されない。グラフィカルミーティングキャプチャ
コントローラ・ユーザインターフェース40は、一つ又
は複数のカメラ22乃至26の状態や会議室で発生する
任意の事象をディスプレイし、ソースアナライザコント
ローラ30と更なるセンサ35から受け取った種々の通
知、及び任意のシステムの通知もディスプレイする。
【0031】インテリジェントカメラコントローラ20
は、コンピュータ援用ミーティングキャプチャシステム
からのハイレベルコマンドを解釈して、カメラをコント
ロールする。インテリジェントカメラコントローラ20
は、カメラの自律的なコントロールのためにミーティン
グキャプチャコントローラ10からハイレベルコマンド
を受け取る。例えば、ミーティングキャプチャコントロ
ーラ10は、ハイレベルコマンドを、選択されたオブジ
ェクト又は人物を追跡することを要求するインテリジェ
ントカメラコントローラ20へ、送ってもよい。インテ
リジェントカメラコントローラ20は、次に、選択され
た人物又はオブジェクトの焦点合わせ、適切な枠付け、
中心位置合わせなどに必要なローレベルのカメラ調整コ
マンドを提供する。このようなコマンドは、オブジェク
トを追跡するカメラのパン及びチルト角の調整と、人物
又はオブジェクトの適切なアスペクト比を維持するズー
ムコントロールと、を含む。人物又はオブジェクトの最
初の選択は、グラフィカルミーティングキャプチャコン
トローラ・ユーザインターフェース40を介して行われ
てもよい。
【0032】ソースアナライザコントローラ30は、会
議室のレイアウトによって分散された一つ又は複数のイ
ンテリジェントルームセンサ32、34及び36から情
報を受け取り、解析する。インテリジェントルームセン
サ32乃至36は、通信リンク5を介して、ソースアナ
ライザコントローラ30に接続される。インテリジェン
トルームセンサ32乃至36は、要求されるダウンスト
リームプロセッシングを低減させると共に通信リンク5
への要求を低減するために生のセンサ情報を処理するこ
ともある。本発明の種々の他の実施の形態において、処
理のためにセンサを中心位置へ移送してもよい。
【0033】ソースアナライザコントローラ30は、候
補となるアクティブティ事象情報を得るのに一つ又は複
数のインテリジェントセンサ32乃至36からの情報を
統合してもよい。インテリジェントセンサからの情報
は、第2スピーカ(話し手)の声のサウンドなどの候補
となる事象アクティビティの位置を決定するために使用
されてもよい。候補となる事象アクティビティは、次
に、第2スピーカをキャプチャすることが可能な適切な
カメラの選択を容易にする直覚的フォーマットで、オペ
レータへ提供される。コンピュータ援用ミーティングキ
ャプチャシステム1の種々の実施の形態において、イン
テリジェントマイクロフォンなどのインテリジェントセ
ンサは、候補事象アクティビティを立体的に位置付ける
ために使用され得る。同様に、インテリジェント画像セ
ンサは、二つの連続画像フレーム(コマ)を比較するこ
とによって物理的なモーション(動作)を決定し得る。
【0034】ソースアナライザコントローラ30は、セ
ンサ32乃至36からの情報を統合して、ミーティング
キャプチャコントローラ10のコンピュータ援用ミーテ
ィングキャプチャ40を眺めるオペレータへ、候補とな
るサウンド事象又は物理的モーション事象のディスプレ
イを提供する。一つの例示的な実施の形態においては、
インテリジェントマイクロフォンセンサとインテリジェ
ント画像キャプチャセンサが使用される。しかしなが
ら、いかなるタイプのインテリジェントセンサでも本発
明のシステムに使用可能であることが理解されよう。例
えば、候補となるアクティビティ事象情報を検知するた
めに使用可能な、座席占有センサ、フロア圧力センサ、
超音波範囲ファインダ、又は任意の他の知られている又
は後に開発されるセンサを、本発明の精神又は範囲を逸
脱することなく、使用することができる。
【0035】上述のように、図2は、本発明のグラフィ
カルミーティングキャプチャコントローラ・ユーザイン
ターフェース40の例示的な実施の形態を示す。グラフ
ィカルミーティングキャプチャコントローラ・ユーザイ
ンターフェース40は、三つのカメラと一つのコンピュ
ータディスプレイ45からの画像情報をディスプレイす
る。グラフィカルミーティングキャプチャコントローラ
・ユーザインターフェース40は、ルームレイアウト部
41、一つ又は複数のカメラ選択ボタン42、ズーム情
報入力フィールド43、及び画像をディスプレイするた
めに使用可能なモニタ部44を含む。現在記録中のカメ
ラ情報に関連付けられるアクティブ画像データディスプ
レイ46には人が感知できるインジケータが設けられて
いる。人が感知できるインジケータは、オペレータへ、
別のカメラ又は別のカメラアングルを選択すべきときに
それを示す情報を伝える。
【0036】本発明のシステム及び方法の種々の例示的
な実施の形態において、人が感知できるインジケータ
は、選択されたディスプレイを囲む着色されたボーダ4
6によって提供される。ミーティングキャプチャコント
ロールシステムは、選択されたミーティングの種類に基
づいてユーザを誘導する。例えば、「講義方式の会議」
の設定であれば、ヘッドショットなどのカメラ画像タイ
プに対する最大カメラ保持時間が示される。最小カメラ
画像保持時間などのシステム全体のデフォルトが示され
てもよい。「タウンミーティング」タイプの会議には異な
る設定が適用される。「タウンミーティング」タイプの会
議は、似通った最小保持時間パラメータを含むこともで
きるが、より長い最大保持時間パラメータを含むことに
よって、カメラオペレータが、他のカメラ画像データデ
ィスプレイが提示される前に、カメラをより長くスピー
カに保持することができる。
【0037】例えば、種々の例示的な実施の形態におい
て、ミーティングキャプチャコントローラ10は、メモ
リに記憶された設定を、ある一定のタイプのミーティン
グ事象に関する情報によって、符号化する。例えば、あ
る設定は、アクティブ画像データが30秒未満の間しか
保持できないことを示すことがある。次に、カメラの切
換えが行われるべきことをオペレータに知らせる。この
設定は、1)電話会議、2)講義、3)法廷又は他の任
意のミーティングなどのオプションから選択することに
よって、オペレータが、最初にプログラムをスタートす
るときにロードされてもよい。
【0038】カメラ切換え又は焦点の変更に適した時間
は、例えば、最大カメラ保持時間が近づくにつれて、デ
ィスプレイを囲むボーダカラーを明るいグレーから赤み
がかったグレーへ徐々に変化させることによって、直覚
的にオペレータへ付与される。或いは、カメラ経験の豊
富なオペレータは、画像データディスプレイスイッチよ
りもむしろ、経過時間を示すタイマーや残り時間を示す
カウントダウンタイマーの形式で情報がディスプレイさ
れるのを好むこともある。情報伝達に有用な人が感知で
きる任意の特徴が、提示される最大及び最小画像保持時
間を含む本発明によるシステム及び方法に使用され得る
が、これらに限定されないことを理解されたい。
【0039】グラフィカルミーティングキャプチャコン
トローラ・ユーザインターフェース40のルームレイア
ウト部41は、直覚的且つ認知度の低いオーバーヘッド
で位置情報をユーザへ伝えるために使用される。これに
よってシステムへの位置情報の入力が容易になる。ルー
ムレイアウト部41は、部屋の表示をディスプレイす
る。ソースアナライザコントローラ30によってインテ
リジェントセンサ32乃至36から受け取られるアクテ
ィビティ事象情報は、新しいカメラの選択、又は現在選
択されているカメラのパン、チルト角、又はズーム変更
のいずれかによって、ルームレイアウト部41内のキャ
プチャされ得る候補となるアクティビティ事象を位置付
けるために使用される。
【0040】例えば、ルームレイアウト部41のある領
域は、一つのカラー48で着色され、検出されたサウン
ドアクティビティを示してもよい。ルームレイアウト部
41の他の領域は、第2のカラーで着色され、検出され
た物理的動作(図示せず)を示してもよい。ソースアナ
ライザコントローラ30は次にオペレータにディスプレ
イされる、候補となるアクティビティ事象を選択するこ
とができる。候補となるアクティビティ事象は、次にル
ームレイアウト部41にディスプレイされ、これによっ
て、オペレータが、次のカメラを選択することや現在選
択されているカメラの焦点、パン、及びチルト角を変更
することが容易になる。
【0041】オペレータは、対象となる候補的アクティ
ビティ事象がどこに位置するかによって、ルームレイア
ウト部41の周りに配置された一つ又は複数のボタン4
2を用いて、カメラを直接選択することができる。ボタ
ン42と関連付けられたカメラは、カメラの視界を示す
ルームレイアウト部41に表示される。
【0042】オペレータは、マウスや他の入力デバイス
を用いて特定の事象をクリックすることによって又は触
覚ディスプレイにタッチすることによって、候補となる
アクティビティ事象を選択することができる。本発明に
よるシステム及び方法の種々の例示的な実施の形態にお
いて、ルームレイアウト部41は部屋の二次元空間を示
す。ミーティングキャプチャコントローラ10は、会議
室内部の識別されたオブジェクトについての位置情報及
びタイプ情報を記憶する。識別されたオブジェクトの位
置情報及びタイプ情報は、適切なパン、チルト角及び/
又は、ズームパラメータ及び/又は選択すべき適切なカ
メラを決定するために使用され、識別された(位置)関
係やルールに基づいて候補となるアクティビティ事象を
キャプチャすることができる。例えば、ミーティングル
ーム内のテーブルや椅子についての位置、向き、及び高
さの情報が、ミーティングキャプチャコントローラ10
内に記憶される。センサ情報は、候補となるアクティビ
ティ事象が、テーブルの手前近く又は椅子の近くで発生
することを示す。シートセンサは、座席がふさがったこ
とを示す。ミーティングキャプチャコントローラは、セ
ンサ情報に基づいたルールを適用して、着席されたヘッ
ドショットが候補となるアクティビティ事象をキャプチ
ャするために適切な高さであるとともにズームパラメー
タであると推測する。ルール情報が、ミーティングのキ
ャプチャを円滑にするために有用な適切なカメラ選択、
適切なマイクロフォン選択、適切な室内照明、又は任意
の他のパラメータを推測するためにも使用できることは
明らかである。テキスト入力などの更なる情報を提供す
る任意の技術が使用されてもよい。
【0043】オペレータは、高さ及びズーム情報入力フ
ィールド43を用いて、提示された高さ及びズーム情報
をオーバーライドして、他の高さパラメータ及び/又は
ズームパラメータを選択するための決定をする。高さ及
びズーム情報入力フィールド43は、ミーティングキャ
プチャコントローラ10によって決定された設定をオー
バーライドするために使用され得るルームレイアウトに
ついてのデフォルトパラメータと、関連付けられる。こ
れらのフィールドは、プルダウンメニュー又は任意の他
の知られている又は後に開発される方法を介してアクセ
スされ、ルームレイアウト表示へ、高さ情報を、提供す
ることができる。オペレータは、メニュー内の「起立
(standing)」又は「着席(seated)」
などの所定のメニューアイテムの一つ、及びズームパラ
メータを選択することができる。ズームパラメータは、
放送業界の人々にとって広く用いられている用語によっ
て指定され、他の人々にも簡単に理解されるものであ
る。このような用語の例としては、「頭部(hea
d)」、「肩部(shoulder)」又は「胸部(c
hest)」等が挙げられ、それぞれ、人物の頭部、肩
部又は胸部のショットをキャプチャすることと同時に人
物の頭部、肩部又は胸部を意味する。これらの用語を使
用する利点は、オペレータがズームパラメータを調整す
ることを心配せずに、比較的簡単にズームパラメータを
指定することができることである。「人物を追跡せよ
(track a person)」などの他の情報は
ミーティングキャプチャコントローラ10へ送られても
よい。
【0044】選択されたアクティビティ情報は、次に、
選択されたカメラ22に必要とされるチルト角及びズー
ムの量を計算するためにミーティングキャプチャコント
ローラ10によってインテリジェントカメラコントロー
ラ20へ渡される。オペレータが、関心のある領域を、
コントロール表示あるいは選択を示すルームレイアウト
部41のある領域上のジェスチャ、すなわち、マウスあ
るいはスタイラスジェスチャ又はルームレイアウト部4
1上の関心のある領域を示す他の任意の方法によって示
すと、xy座標平面内のアクティビティ位置がキャプチ
ャされ、記憶されたルールに基づいて提示されるz座標
情報と連結される。オペレータが、パラメータを高さ及
びズーム情報入力フィールド43へ入力した場合、これ
らのパラメータがルールにより決定されたパラメータの
代わりに使用される。この連結された情報は次にインテ
リジェントカメラコントローラ20へ転送される。連結
されたxy及びz座標情報は、選択されたカメラを駆動
し選択されたアクティブティ事象をカバーするために使
用される。示されていない種々の他の実施の形態におい
て、候補となるアクティビティ情報はまた、インテリジ
ェントカメラコントローラ20によって維持されるルー
ムレイアウトの知見に基づいてカメラを選択するために
使用され、これにより、オペレータにかかる負担も軽減
される。
【0045】オペレータは、位置47を丸で囲むなどの
コントロール表示又はジェスチャにより、ルームレイア
ウト部41上の関心のあるアクティビティ事象を示すこ
とによって、アクティビティ事象を選択することができ
る。サイズ及び位置情報及びジェスチャの種類は、イン
テリジェントカメラコントローラ20によって解釈され
る。インテリジェントカメラコントローラ20は、選択
されたカメラを駆動し、コントロール表示又はジェスチ
ャによって指定されたエリアを撮影するためにローレベ
ルコマンドを生成する。カメラコントロール及びカメラ
コントロールジェスチャについては、同時係願中の本明
細書中に参照することによって組み込まれている199
9年9月7日に出願された米国出願番号第09/39
1,141号にもその全体が記載されている。
【0046】モニタ部44を用いることによって、オペ
レータは、各モニタビューに隣接するボタン49を用い
て、モニタビューのための異なるカメラを選択すること
ができる。モニタ部44は、選択されたカメラにインク
リメンタルなコントロールを付与するために使用されて
もよい。例えば、モニタ部44の選択されたモニタビュ
ー46の右下コーナーをタッピングするなどのコントロ
ール表示又はジェスチャをコントロール表示又はジェス
チャの方向にカメラをインクリメンタルに動かすために
使用してもよい。選択されたモニタビュー46上に直線
を引くことによって、引かれた長さに応じて、カメラを
コントロール表示又はジェスチャの方向にインクリメン
タルに動かすこともできる。
【0047】ミーティングキャプチャコントローラ・ユ
ーザインターフェース40のルームレイアウト部41及
びビデオモニタ部44は、カメラを向ける位置を直接指
定する直覚的な方法を提供すると共に、完璧なカメラコ
ントロールを提供するための統合システムにおいてイン
クリメンタルな命令を認知度の低いオーバーヘッドでカ
メラへ送る方法を提供する。
【0048】図3は、画像がディスプレイされる期間を
示すために動的に調整される人が感知可能な要素を示
す。ウィンドウの境界は、色相カラーを、低保持時間の
明るい色相から、最大保持時間に達成して次に超過する
と、赤色に変化させる。
【0049】図4は、カメラ座標変換システムを例示的
に示す。上述のように、インテリジェントカメラコント
ローラ20は、ミーティングキャプチャコントローラ1
0からのハイレベルコマンドを解釈して、ローレベルコ
マンドを生成し、カメラを駆動させる。インテリジェン
トカメラコントローラ20は、ルームカメラを駆動する
パラメータだけでなく、会議室又はミーティングルーム
の幾何学情報を保持する。カメラのパン及び/又はチル
ト角については、回転の中心(x0,y0,z0)は、幾
何学的に画定され得る。カメラを所望される角度に方向
付けるパラメータが分かっている場合は、カメラは、任
意の方向へ駆動されてモーション範囲内の室内での任意
のポイントをねらう(ここで、θはz軸を中心とした角
度であり、(θ,φ)はx−y平面となす角度であ
る)。ズーム可能カメラは、焦点長さfをコントロール
するためのパラメータも必要とする。適切なパラメータ
を付与することによって、カメラは任意のビューアング
ル(視界角度)のピクチャをキャプチャすることでき
る。従って、パン/チルト/ズーム可能カメラは、一般
に、三つの変数vp、vt、vzを必要とする。各変数
は、パン、チルト、及びズームの量をそれぞれ指定す
る。これらの変数と実際のカメラパラメータ間の対応
は、以下の三つの等式(1)〜(3)によって記述され
得る。対応が線形であれば、等式(1)〜(3)は、等
式(4)と書換えられる(式中、αp、αt、αf、βp
βt、及びβfは、カメラ依存定数である)。
【0050】
【数1】
【0051】ミーティングキャプチャコントローラ10
からルームレイアウト部41へのコマンドは、xy位
置、高さ、及び視界角度情報を含む。コマンドが、上述
のように、コントロール表示又はジェスチャによって生
成された場合、視界角度情報は、「頭部(head)」
や「胸部(chest)」等の抽象的形式で付与され
る。ミーティングキャプチャコントローラ10は情報を
結合して、通信リンク5を介してインテリジェントカメ
ラコントローラへ転送する。インテリジェントカメラコ
ントローラ20は、適切な所定の値dで抽象情報を置き
換える。丸を描くジェスチャによるコマンドについて
は、ミーティングキャプチャコントローラ・ユーザイン
ターフェース40のルームレイアウト部41に描かれた
円のサイズがdとして使用される。ルームレイアウト部
41又はモニタビュー44上のコントロール表示又はジ
ェスチャは、プリセットされた高さの抽象値の一つをイ
ンテリジェントカメラコントローラ20へ転送する。こ
のプリセットされた高さの値もインテリジェントカメラ
コントローラ20によって適切な所定値hに置き換えら
れる。オペレータが高さやズーム情報を入力しない場合
は、アクティブルールの適用によって決定されたパラメ
ータが高さ及びズーム情報を決定するために使用され
る。
【0052】すべての抽象値を実数値と置き換えた後、
インテリジェントカメラコントローラ20は、ねらうべ
き位置(x,y,z)と、カバーされたエリア(d)を
有する。実数値とカメラパラメータ値に基づいて、イン
テリジェントカメラコントローラ20は、選択されたカ
メラを駆動して選択されたアクティビティ事象の画像を
キャプチャするために必要とされる変数vp、vt、vz
を求める。
【0053】最初のステップでは、θ、φ、及びfは、
ポイント(x0,y0,z0)及び(x,y,h)から等
式(5)、(6)、及び(7)に基づいて求められる。
第2のステップでは、変数vp、vt、vzを求めるため
に等式(1)、(2)、及び(3)の逆関数が使用され
る。
【数2】
【0054】ミーティングキャプチャコントローラ10
によって付与される抽象値を置き換えるために使用され
るプリセットされた値は、最初の見積もりのためだけに
適している。インテリジェントカメラコントローラ20
は、ミーティングキャプチャコントローラ10によって
送られたオリジナルのハイレベルコマンドに合わせるた
めに発行されたローレベルのカメラコマンドを自主的に
調整する。例えば、キャプチャされた画像は、モーショ
ン、エッジ、カラー、又はこれらのパラメータの組み合
わせなどの種々の特徴を用いて人物を検知するために処
理されてもよい。人物が検知されない場合は、インテリ
ジェントカメラコントローラ20は、カメラの位置を自
律的に調整するのを止める。カメラの向きは、従って、
検知された人物の実際の位置とハイレベルコマンドによ
って指定された人物の理想的な位置との間のギャップを
取り除くように調整される。
【0055】調整が行われると、カメラは人物を所望の
サイズでキャプチャする。人物をキャプチャされた画像
内に維持するためにカメラの方向を連続的に調整するこ
とによって、カメラはこの人物を自律的に追跡すること
ができる。この追跡の特徴はミーティングキャプチャコ
ントローラ10からのコマンドによってターンオン及び
ターンオフされ得る。
【0056】一つ又は複数のインテリジェントセンサ3
2、34、及び36は、センサ信号情報のプリプロセッ
シング(前処理)を提供することもある。インテリジェ
ントセンサ出力は、上述のように、ソーサアナライザコ
ントローラ30によって解析される。ミーティングキャ
プチャコントローラ10は、統合されたセンサ情報を基
づいて、ミーティングキャプチャコントローラ10内に
記憶されたルール情報及び設定情報に基づくオペレータ
のカメラ選択とビデオ画像情報のオペレータのスイッチ
ングを容易にする。設定情報は、ビデオ画像を保持する
時間と、他のビデオ画像へのスイッチングを提示するタ
イミングを含む。このルール情報は、室内に現れるオブ
ジェクトについての知見及びセンサ情報に基づいて、カ
メラ機能を提示するためのルールを含む。一つ又は複数
のインテリジェントセンサ32、34、及び36からの
出力は、グラフィカルミーティングキャプチャコントロ
ーラ・ユーザインターフェース40上に視覚的に存在
し、これによって、ユーザは使用すべき適切なカメラを
容易に決定して、アクティビティ事象をキャプチャする
ことができる。
【0057】マイクロフォンの配列は、インテリジェン
トセンサの一つの例である。会議室内に設置された複数
のマイクロフォンがスピーカを位置付けるために使用さ
れ得る。グラフィカルミーティングキャプチャコントロ
ーラ・ユーザインターフェース40は、着色されたブロ
ーブ(斑点)を識別されたアクティビティ事象に置くこ
とによって、室内ビューにおける識別されたアクティビ
ティ事象の位置情報を示す。ユーザは、ブローブをタッ
プしてブローブの周りに円を描き、ルームカメラの一つ
を駆動して、スピーカ又はアクティビティ事象をキャプ
チャすることができる。
【0058】室内の物理的なモーションのアクティビテ
ィは、広角カメラを用いて視覚的ににキャプチャされ得
る。ミーティングキャプチャで広角カメラを使用するこ
とは、本明細書中に参照することによって組み込まれる
1999年8月9日に出願された同時係願中の米国出願
番号第09/370,406号にもその全体が詳細に記
載されている。最も動作が集中する室内の位置は、カメ
ラからひとコマ置きに差を取ることによって容易に決定
され得る。検出されたモーション位置は、次に、グラフ
ィカルミーティングキャプチャコントローラ・ユーザイ
ンターフェース40上に着色されたエリアをディスプレ
イすることによって事象候補として識別される。異なる
色が、異なる度合のアクティビティ又は異なるタイプの
アクティビティを示すために使用され得る。例えば、モ
ーション事象アクティビティが第一のカラーでディスプ
レイされてもよいし、サウンド事象アクティビティが第
2のカラーでディスプレイされてもよい。
【0059】図5は、本発明によるミーティングを自動
的にキャプチャする方法の例示的な実施の形態を概略的
に示すフローチャートである。ステップ10に始まっ
て、コントロールは、ステップ20へ進み、オペレータ
がシステムのシャットダウンを要求したかを判断する。
シャットダウンは、メニューを選択して、コンロトール
キーを組み合わせることによって、又はシステムをシャ
ットダウンする他の知られている又は後に開発される技
術を実行することによって、要求される。ステップ20
において、オペレータがシステムのシャットダウンを選
択したと判断されると、コントロールは、ステップ11
0へジャンプし、処理が終了する。
【0060】ステップ20において、オペレータがシス
テムをシャットダウンステップすることを選択しなかっ
たと判断された場合、コントロールはステップ30へ進
み、カメラが選択される。カメラは、ミーティングルー
ム表示のカメラの位置に隣接するエリアを選択すること
によって選択され得る。コントロールは次にステップ4
0へ進む。
【0061】ステップ40において、選択されたカメラ
のモニタビューに人が感知できるインジケータが付け加
えられる。人が感知できるインジケータは、カメラ保持
時間に関する予め記憶された情報に基づいてカラーを変
更するモニタの周囲のウィンドウの境界を含んでもよ
い。或いは、カメラの保持時間は、ゆっくり大きくなる
サウンド又は着実に大きくなるボーダのフラッシュ等の
人が感知できる特徴によって示されてもよい。コントロ
ールは次にステップ50へ進む。
【0062】次に、ステップ50において、候補となる
アクティビティ事象がディスプレイされる。候補となる
アクティビティ事象は、ミーティングにおいて潜在的に
関心がもたれる事象である。例えば、電話会議中、スピ
ーカは、討議において意見表明を行うであろう。誰かが
壁にかかったチャートを指し示すなどの画像アクティビ
ティが意見に対する無言の応答を示す。この画像アクテ
ィビティは、ユーザインターフェース上に候補となるア
クティビティを示すセンサによって、検知される。候補
となるアクティビティ事象は、インテリジェントセンサ
情報の処理に基づいて決定される。他の候補となるアク
ティビティ事象としては、インテリジェント立体マイク
ロフォンセンサを通して位置決めされるサウンドと、モ
ーションを検知するインターフレーム画像解析によって
検知される物理的モーションとを含むことができるが、
これらに限定されない。アクティビティ事象は、ミーテ
ィングのレイアウト表示を組み込む直覚的なユーザイン
ターフェースにディスプレイされる。ディスプレイは、
モーションなどの第1のアクティビティを反映するため
に一つの色だけを使用することもできる。アイコンはサ
ウンドなどの第2のタイプのアクティビティを表すため
に使用され得る。ユーザインターフェースは、オペレー
タの情報入力に対する接触感知スクリーンを含むことが
できる。コントロールは次にステップ60へ進む。
【0063】ステップ60において、アクティビティ事
象が選択される。オペレータは、接触感知スクリーン上
にディスプレイされたアクティビティ事象にタッチする
ことによって或いはマウス又は他のユーザ入力デバイス
でそれを選択することによってディスプレイされたアク
ティビティ事象を選択することができる。本発明の種々
の実施の形態において、アクティビティ事象はプログラ
ムコントロール下で選択されてもよい。次に、ステップ
70において、ステップ60で選択されたアクティビテ
ィ事象に対して高さ及びズーム情報が指定される。オブ
ジェクトの位置、オブジェクトのタイプ情報、及びオブ
ジェクトを感知されたアクティビティ事象に関連付ける
ルールを用いることによって、高さ及びズーム情報が指
定される。例えば、テーブル上の候補となるアクティビ
ティ事象は、高さが少なくともテーブルの上面以上であ
ることが分かっているので、フロアのショット又はスタ
ンディングショット(立ち位置のショット)が必要とさ
れることはありそうにない。オペレータは、提示された
高さ及びズーム情報をオーバーライドして、ヘッドショ
ット(頭部のショット)やフェイスショット(顔のショ
ット)などのオペレータ指定のオーバーライドパラメー
タを使用することによってカメラがカバーすべきアクテ
ィビティ事象を示すこともできる。本発明の種々の他の
実施の形態においては、高さ及びズーム情報はインテリ
ジェントセンサをコンスタントにモニタすることによっ
て動的に提供されてもよい。
【0064】次に、ステップ80においては、高さ及び
ズーム情報が結合される。選択されたカメラのパン/チ
ルト/及び/又はズーム操作を駆動するために必要とさ
れる適切な値が求められ、カメラが起動され所望される
アクティビティ事象をキャプチャする。コントロールは
次にステップ90へ進む。
【0065】ステップ90においては、カメラ、カメラ
アングル及び/又はズームアングルが変更されているの
で、人が感知できるインジケータが更新される。画像が
ディスプレイされると、人が感知できるインジケータ
は、変化し、カメラの最小保持時間や更なる画像変更が
望ましいと思われる時間等のミーティングコントロール
情報をあまり周りに影響を与えない態様で提供する。コ
ントロールは次にステップ100へ進む。
【0066】ステップ100において、オペレータがカ
メラを変えたかどうかが判断される。オペレータがカメ
ラを変えた場合、コントロールはジャンプしてステップ
40へ戻り、処理が繰り返される。オペレータがカメラ
を変えてない場合、コントロールはジャンプしてステッ
プ20へ戻り、ステップ20において、システムをシャ
ットダウンすべきであることをオペレータが示すまで処
理が続行される。オペレータがシステムをシャットダウ
ンすべきであることを示した場合、コントロールはステ
ップ110へ進み、処理が終了する。
【0067】図6は、例示的な設定データ構造50を示
す。設定データ構造50は、最小及び最大のカメラ保持
時間、自動トラッキング設定、及びシステム設定情報を
記憶する好適な記憶機構を提供する。オペレータはシス
テムが最初にスタートしたとき全ての設定を示すことが
できるので、例示的な設定データ構造50は、オペレー
タが、選択されたミーティングのタイプに基づいて、適
切な保持時間及びトラッキングの設定を選択するのを可
能にする。設定データ構造部60は、ミーティングのタ
イプを指定する。ミーティングのタイプは「タウンミー
ティング(Town Meeting)」、「電話会議
ミーティング(Teleconference Mee
ting)」、又はミーティングのタイプを定義づける
任意の名前であってもよい。設定データ構造部70は、
オブジェクトタイプを指定する。オブジェクトタイプ
は、どのオブジェクトがセットされるかを識別し、さら
に、最小及び最大のカメラ保持時間、自動トラッキング
及びマイクロフォンの設定を含むことができるが、これ
らに限定されない。任意の制御可能なオブジェクトが指
定され得る。設定データ構造部80は、設定データ構造
部70によって示されるオブジェクトが初期化されると
きに実行されるアクション(動作)を識別する。アクシ
ョンは、カメラの自動トラッキング設定、及びカメラの
最小及び最大の保持時間の指定を含むことができるが、
これらに限定されない。
【0068】図7は、ルール情報を記憶するための例示
的なルールデータ構造90を示す。例示的な実施の形態
において、会議室のオブジェクト情報及びオブジェクト
タイプ情報をセンサ情報と関連付けるルールが符号化さ
れる。例えば、ルールデータ構造90での最初の入力
は、アクティビティ事象ターゲット1の位置が「テーブ
ルの手前(front of table)」と呼ばれ
るエリア又はゾーンの近傍にある場合は、ターゲット1
の高さの設定は着席(SITTING)にセットされる
ことを示す。ターゲット1の位置は、限定されないが、
センサ情報、直接テキスト入力、及びマウス選択を含む
任意の手段によって決定され得る。ルール起動の結果と
して、オペレータは、使用すべき適切な高さパラメータ
に対する提示を受け取り、事象をキャプチャする。
【0069】同様に、第2の入力はターゲット1が「テ
ーブルの手前(front of table)」のゾー
ンから離れて位置付けられる時にターゲット高さ情報
は、正確に事象をキャプチャするため、起立(STAN
DING)に設定されることを示す。
【0070】第3の入力は、数値15を用いてカメラ3
を指定することによって高さ情報の選択を示す。ターゲ
ット1が「演壇の手前(front of podiu
m)」と呼ばれるゾーンの近くにあるためにカメラ3が
選択される。
【0071】第4の入力は、ターゲット1が「テーブル
の手前(back of table)」として画定さ
れるゾーンから離れて位置付けされる場合、ターゲット
1がテーブルゾーンの手前から遠く離れており座ってい
そうもないので、ターゲット情報は起立(STANDI
NG)に設定されることを指定する。
【0072】上記に概略的に示された種々の実施の形態
において、コンピュータ援用ミーティングキャプチャシ
ステム1は、プログラムされた汎用コンピュータを用い
て実施され得る。しかしながら、本発明によるコンピュ
ータ援用ミーティングキャプチャシステム1は、専用コ
ンピュータ、プログラムされたマイクロプロセッサ又は
マイクロ・コントローラ、及び周辺集積回路素子、AS
IC又は他の集積回路、ディジタル信号プロセッサ、離
散素子回路などのハードワイヤード電子又はロジック回
路、PLD、PLA、FPGA、又はPALなどのプロ
グラム可能ロジックデバイス等で実施されてもよい。一
般に、図5に示されたフローチャートを実施することを
可能とする有限状態マシンを実施することが可能な任意
のデバイスが、本発明のシステム及び方法を実施するた
めに使用され得る。
【0073】上記に概略的に示されたコンピュータ援用
ミーティングキャプチャシステム1の種々の例示的な実
施の形態の回路、ソフトウェアルーチン又は要素は、適
切にプログラミングされた汎用コンピュータの部分とし
て実施され得る。或いは、上記に概略的に示されたコン
ピュータ援用ミーティングキャプチャシステム1の種々
の例示的な実施の形態の回路、ソフトウェアルーチン又
は要素の各々は、ASIC内の物理的に別個のハードウ
ェア回路として又はPLD、PLA、FPGA、又はP
ALを用いて、又は離散論理素子又は離散回路素子を用
いて実施され得る。上記に概略的に示されたコンピュー
タ援用ミーティングキャプチャシステム1の種々の例示
的な実施の形態の回路、ソフトウェアルーチン又は要素
の各々が取る特別な形態は、設計上の選択であり、当業
者にとって明白であり予測可能なものである。
【0074】さらに、上記に概略的に示されたコンピュ
ータ援用ミーティングキャプチャシステム1及び/又は
種々の回路、ソフトウェアルーチン又は要素の種々の例
示的な実施の形態は、それぞれ、プログラムされた汎用
コンピュータ、専用コンピュータ、マイクロプロセッサ
などで実施されるソフトウェアルーチン、マネージャ
ー、またはオブジェクトとして実施され得る。この場
合、上記に概略的に示されたコンピュータ援用ミーティ
ングキャプチャシステム1及び/又は種々の回路、ソフ
トウェアルーチン又は素子の種々の例示的な実施の形態
は、それぞれ、通信ネットワークに埋め込まれた一つ又
は複数のルーチン、サーバ上にあるリソース、その他と
して、実施され得る。上記に概略的に示されたコンピュ
ータ援用ミーティングキャプチャシステム1及び/又は
種々の回路、ソフトウェアルーチン又は素子の種々の例
示的な実施の形態は、ウェブサーバやクライアントデバ
イスのハードウェア及びソフトウェアデバイス等のハー
ドウェア及び/又はソフトウェアシステムに、コンピュ
ータ援用ミーティングキャプチャシステム1を物理的に
組み込むことによって、実施されてもよい。
【0075】図1に示されているように、メモリは、可
変、揮発性又は不揮発性のメモリ、又は変更不能若しく
は固定されたメモリを任意に適当に組み合わせたものを
用いて実施され得る。可変メモリは、揮発性又は不揮発
性のいずれでもよく、静的又は動的RAM、フロッピィ
(商標)ディスク及びディスクドライブ、書込み可能又
は書換え可能な光ディスク及びディクスドライブ、ハー
ドドライブ、フラッシュメモリなどの任意の一つ以上を
用いることによって実施され得る。同様に、変更不可能
又は固定メモリは、ROM、PROM、EPROM、E
EPROM、CD−ROM又はDVD−ROMディスク
などの光ROMディスク、及びディスクドライブなどの
任意の一つ以上を用いて実施されていもよい。
【0076】図1に示される通信リンク5は、通信デバ
イスをコンピュータ援用ミーティングキャプチャシステ
ム1に接続する、直接ケーブル接続、ワイドエリアネッ
トワーク又はローカルエリアネットワークを介した接
続、イントラネットを介した接続、インターネットを介
した接続、又は任意の他の分散処理ネットワーク又はシ
ステムを介した接続を含む、任意に知られている又は後
に開発されるデバイス又はシステムであってもよい。概
して、通信リンク5は、任意の知られている、又は後
に、開発される接続システムであってもよい。
【0077】また、通信リンク5は、ネットワークにワ
イヤード又はワイヤレスでリンクされ得ることを理解さ
れたい。ネットワークは、ローカルエリアネットワー
ク、ワイドエリアネットワーク、イントラネット、イン
ターネット、又は任意の他の知られている又は後に開発
される分散処理及び記憶ネットワークであってもよい。
【0078】本発明は、概略的に上述された例示的な実
施の形態に関して説明されてきたが、当業者にとって多
数の変形、改良及び変更が明白であることが明らかであ
る。従って、本発明の例示的な実施の形態は、説明のみ
を目的としており、これらに限定されるものではない。
本発明の精神及び範囲を逸脱することなく種々の変更が
行われてもよい。
【図面の簡単な説明】
【図1】本発明によるコンピュータ援用ミーティングキ
ャプチャシステムの例示的な実施の形態を示す図であ
る。
【図2】本発明によるミーティングキャプチャコントロ
ーラユーザインターフェースの例示的な実施の形態を示
す図である。
【図3】本発明によるストリームモニタのフレームカラ
ー変換の例示的な実施の形態を示す図である。
【図4】本発明によるカメラ座標の例示的な実施の形態
を示す図である。
【図5】本発明によるミーティングをキャプチャする方
法の例示的な実施の形態を概略的に示すフローチャート
である。
【図6】本発明による設定情報を記憶するために使用可
能なデータ構造の例示的な実施の形態を示す図である。
【図7】本発明によるルール情報を記憶するために使用
可能なデータ構造の例示的な実施の形態を示す図であ
る。
【符号の説明】
1:コンピュータ援用ミーティングキャプチャシステム 5: 通信リンク 10: ミーティングキャプチャコントローラ 20: インテリジェントカメラコントローラ 22、24、26: ルームカメラ 28: コンピュータディスプレイ 30: ソースアナライザコントローラ 32、34、36: センサ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジョン ボレッキー アメリカ合衆国 94304 カリフォルニア 州 パロ アルト ヒルビュー アベニュ ー 3400 ビルディング 4 エフエック ス パロ アルト ラボラトリー インコ ーポレイテッド内 (72)発明者 ジョナサン フート アメリカ合衆国 94304 カリフォルニア 州 パロ アルト ヒルビュー アベニュ ー 3400 ビルディング 4 エフエック ス パロ アルト ラボラトリー インコ ーポレイテッド内 Fターム(参考) 5C022 AA12 AB66 AC27 5C064 AA02 AC04 AC06 AC08 AD06

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 ミーティングキャプチャコントローラ
    と、 カメラと、 検知されたアクティビティ情報を決定するセンサと、 記憶されたオブジェクト位置情報と、 記憶されたルール情報と、を有する、 コンピュータ援用ミーティングキャプチャシステムであ
    って、 前記ミーティングキャプチャコントローラが、前記検知
    されたアクティビティ情報、前記記憶されたオブジェク
    ト位置情報、及び前記記憶されたルール情報に基づい
    て、提示されたカメラと提示されたカメラアングル選択
    の少なくとも一つをディスプレイする、 コンピュータ援用ミーティングキャプチャシステム。
  2. 【請求項2】 前記ミーティングキャプチャコントロー
    ラが、前記検知されたアクティビティ情報を記録するた
    めに前記提示されたカメラ及び提示されたカメラアング
    ルの少なくとも一つを自動的に選択する、請求項1に記
    載のシステム。
  3. 【請求項3】 前記記憶されたオブジェクト位置情報
    が、ジオ−ポジショニングシステム信号及びモバイルロ
    ケータサービス信号の少なくとも一つによって自動的に
    得られる、請求項1に記載のシステム。
  4. 【請求項4】 コンピュータ援用ミーティングキャプチ
    ャ方法であって、 センサからアクティビティ情報を決定するステップと、 記憶されたオブジェクト位置情報と記憶されたルール情
    報に基づいて決定された検知されたアクティビティ情報
    に基づいて、提示されたカメラ及び提示されたカメラア
    ングル選択の少なくとも一つをディスプレイするステッ
    プとを有する、 コンピュータ援用ミーティングキャプチャ方法。
  5. 【請求項5】 前記提示されたカメラと前記提示された
    カメラアングルが、前記検知されたアクティビティ情報
    を記録するために選択される、請求項4に記載の方法。
  6. 【請求項6】 前記記憶されたオブジェクト位置情報
    が、ジオ−ポジショニングシステム信号、及びモバイル
    ロケータサービス信号の少なくとも一つによって自動的
    に得られる、請求項4に記載の方法。
  7. 【請求項7】 コンピュータ援用ミーティングキャプチ
    ャに使用可能なコントロールプログラムであって、該コ
    ントロールプログラムは符号化された搬送波により該コ
    ントロールプログラムを実施するデバイスへ転送され、
    前記コントロールプログラムは、 センサからアクティビティ情報を決定する命令と、 記憶されたオブジェクト位置情報と記憶されたルール情
    報に基づいて決定された検知されたアクティビティ情報
    に基づいて、提示されたカメラ及び提示されたカメラア
    ングルの選択の少なくとも一つをディスプレイする命令
    と、 を有する、コントロールプログラム。
  8. 【請求項8】 コンピュータ援用ミーティングキャプチ
    ャを実行するコンピュータをプログラムするために使用
    可能なコンピュータ読み取り可能プログラムコードであ
    って、該プログラムコードはコンピュータ読み取り可能
    記憶媒体に記憶され、前記コンピュータ読み取り可能プ
    ログラムコードが、 センサからアクティブティ情報を決定する命令と、 記憶されたオブジェクト位置情報と記憶されたルール情
    報に基づいて決定された検知されたアクティビティ情報
    に基づいて、提示されたカメラ及び提示されたカメラア
    ングル選択の少なくとも一つをディスプレイする命令
    と、 を有する、 コンピュータ読み取り可能プログラムコード。
  9. 【請求項9】 赤外受動検出器、マイクロ波検出器、光
    検出器、及び超音波検出器の少なくとも一つから得られ
    る動作情報を検知するセンサから、アクティビティ情報
    を決定するステップと、 記憶されたオブジェクト位置情報と記憶されたルール情
    報に基づいて決定された検知されたアクティビティ情報
    に基づいて、提示されたカメラ及び提示されたカメラア
    ングル選択の少なくとも一つをディスプレイするステッ
    プと、 を有するコンピュータ援用ミーティングキャプチャ方
    法。
  10. 【請求項10】 ミーティングキャプチャコントローラ
    と、 カメラと、 検知されたアクティビティ情報を決定するセンサと、 記憶されたオブジェクト位置情報と、 記憶されたルール情報と、を有する、 コンピュータ援用ミーティングキャプチャシステムであ
    って、 前記ミーティングキャプチャコントローラが、前記検知
    されたアクティビティ情報、前記記憶されたオブジェク
    ト位置情報、及び前記記憶されたルール情報に基づい
    て、提示されたカメラ及び提示されたカメラアングル選
    択の少なくとも一つをディスプレイし、 前記センサにより決定されたアクティビティ情報が、サ
    ウンド情報、動作情報、及び存在情報の少なくとも一つ
    を有し、 前記記憶されたオブジェクト位置情報がジオ−ポジショ
    ニングシステム信号及びモバイルロケータサービス信号
    の少なくとも一つによって自動的に得られる、 コンピュータ援用ミーティングキャプチャシステム。
JP2002303783A 2001-10-19 2002-10-18 コンピュータ援用ミーティングキャプチャシステム、コンピュータ援用ミーティングキャプチャ方法、及びコントロールプログラム Expired - Fee Related JP4396092B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/981,735 US7358985B2 (en) 2001-02-16 2001-10-19 Systems and methods for computer-assisted meeting capture
US981735 2001-10-19

Publications (2)

Publication Number Publication Date
JP2003179895A true JP2003179895A (ja) 2003-06-27
JP4396092B2 JP4396092B2 (ja) 2010-01-13

Family

ID=25528614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002303783A Expired - Fee Related JP4396092B2 (ja) 2001-10-19 2002-10-18 コンピュータ援用ミーティングキャプチャシステム、コンピュータ援用ミーティングキャプチャ方法、及びコントロールプログラム

Country Status (1)

Country Link
JP (1) JP4396092B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1671220A2 (en) * 2003-10-09 2006-06-21 Hewlett-Packard Development Company, L.P. Communication and collaboration system using rich media environments
CN105144693A (zh) * 2013-03-15 2015-12-09 高通股份有限公司 常开式相机取样策略
JP2020088489A (ja) * 2018-11-19 2020-06-04 株式会社リコー 通信システム、プログラム、端末装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1671220A2 (en) * 2003-10-09 2006-06-21 Hewlett-Packard Development Company, L.P. Communication and collaboration system using rich media environments
EP1671220A4 (en) * 2003-10-09 2006-10-18 Hewlett Packard Development Co COMMUNICATION AND COLLABORATION SYSTEM USING RICH MULTIMEDIA ENVIRONMENTS
CN105144693A (zh) * 2013-03-15 2015-12-09 高通股份有限公司 常开式相机取样策略
JP2016512409A (ja) * 2013-03-15 2016-04-25 クアルコム,インコーポレイテッド 常時オンカメラサンプリング法
JP2020088489A (ja) * 2018-11-19 2020-06-04 株式会社リコー 通信システム、プログラム、端末装置
JP7135766B2 (ja) 2018-11-19 2022-09-13 株式会社リコー 通信システム、プログラム、端末装置

Also Published As

Publication number Publication date
JP4396092B2 (ja) 2010-01-13

Similar Documents

Publication Publication Date Title
US7358985B2 (en) Systems and methods for computer-assisted meeting capture
US11112949B2 (en) Personal control apparatus and method for sharing information in a collaborative workspace
US9986206B2 (en) User experience for conferencing with a touch screen display
US6992702B1 (en) System for controlling video and motion picture cameras
US8340258B2 (en) System, method and apparatus for controlling image access in a video collaboration system
CN105683867B (zh) 将触摸屏显示器配置用于会议
EP2489182B1 (en) Device and method for camera control
US20140040781A1 (en) Egalitarian Control Apparatus and Method for Sharing Information in a Collaborative Workspace
KR101573646B1 (ko) 공간 북마킹
US20040179121A1 (en) System and method for displaying captured images according to imaging device position
US20130024819A1 (en) Systems and methods for gesture-based creation of interactive hotspots in a real world environment
KR102644782B1 (ko) 모니터링 장치 및 시스템
KR20140147059A (ko) 사용자 단말 장치 및 그 홈 네트워크 관리 방법
WO2015114289A1 (en) Orbital touch control user interface
US10158805B2 (en) Method of simultaneously displaying images from a plurality of cameras and electronic device adapted thereto
US10791258B2 (en) Monitoring apparatus and system
US20240107150A1 (en) Zone-adaptive video generation
US20200106967A1 (en) System and method of configuring a virtual camera
JP2006048644A (ja) 映像表示装置及び視聴意志判定装置
JPWO2019198381A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20170136904A (ko) 모니터링 장치 및 모니터링 시스템
JP4396092B2 (ja) コンピュータ援用ミーティングキャプチャシステム、コンピュータ援用ミーティングキャプチャ方法、及びコントロールプログラム
WO2022266998A1 (zh) 一种智能交互平板及其亮度调节方法
KR20180011608A (ko) 검색 장치
US10884607B1 (en) Personal control apparatus and method for sharing information in a collaborative workspace

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090929

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091012

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4396092

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131030

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees