JP2002529975A - 自動カメラ選択システムのための方法および装置 - Google Patents
自動カメラ選択システムのための方法および装置Info
- Publication number
- JP2002529975A JP2002529975A JP2000580385A JP2000580385A JP2002529975A JP 2002529975 A JP2002529975 A JP 2002529975A JP 2000580385 A JP2000580385 A JP 2000580385A JP 2000580385 A JP2000580385 A JP 2000580385A JP 2002529975 A JP2002529975 A JP 2002529975A
- Authority
- JP
- Japan
- Prior art keywords
- image
- slide
- video
- motion
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- 239000002131 composite material Substances 0.000 claims abstract description 8
- 230000033001 locomotion Effects 0.000 claims description 108
- 238000004458 analytical method Methods 0.000 claims description 19
- 230000007704 transition Effects 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims 2
- 238000012986 modification Methods 0.000 claims 2
- 238000010191 image analysis Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005923 long-lasting effect Effects 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- 101100000419 Autographa californica nuclear polyhedrosis virus AC41 gene Proteins 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Abstract
(57)【要約】
自動カメラ選択システムは、１つ以上の使用可能なビデオソースからのビデオ信号のイメージ解析に基づいて、異なるビデオソースの中から選択する。このシステムは、ビデオソースの選択をコントロールする際、いくつかのソースを組み合わせ、これらいくつかのソースからの要素を使用してイメージを作成することができる。さらに、このシステムは、このシステムの他の要素に対して、適正なビデオ信号の収集を補助するために異なって動作するように命令することができる。このシステムのすべての動作は、システムソフトウェアによってコントロールされ、オペレータの介在はいっさい不要である。ビデオ選択システムが、記録または伝送を介してオーディトリアムタイプのプレゼンテーションを遠隔の視聴者に対して表示するために記録する。このシステムは、オーディトリアムのステージ上にいる人を追いかける自動トラッキングカメラを含むいくつかのビデオカメラから選択する。さらに、このシステムは、プレゼンタと視覚教具の合成イメージや投影されるスライドイメージなど、単独または他のイメージと組み合わせて用いるのに好適なイメージを生成するために、このトラッキングカメラに対して異なるモードで動作するように命令する。
Description
【０００１】 （発明の分野） 本発明は、自動カメラ選択システムに関する。具体的には、本発明は、話し手
および視覚教具を含むオーディトリアムタイプのプレゼンテーションを記録する
ビデオ用の自動システムに関する。
および視覚教具を含むオーディトリアムタイプのプレゼンテーションを記録する
ビデオ用の自動システムに関する。
【０００２】 （発明の背景） 自動カメラコントロールソフトウェアは、１９９４年、オーディトリアムタイ
プの環境でプレゼンテーションを行う話し手を自動的にトラッキングするもので
あり、Bellcoreで開発された。これは、当初、I-See-You（商標）と呼ばれてい
たが、現在では、AutoAuditorium（商標）トラッキングカメラと呼ばれている。
その後分かったことであるが、幾つかの同じソフトウェアアルゴリズムを使用し
ているコンピュータプログラムは、視覚教具投影スクリーン上のテレビジョンイ
メージ（以下、「スライドイメージ」という）を解析できる。この投影スクリー
ンは話し手の話を補助するため、話し手が教具を示すものである。このソフトウ
ェア解析によれば、投影スクリーン上に興味深いスライドイメージが存在するか
否か（すなわち、スクリーンがブランクでないこと）を判定することができる。
興味深いスライドイメージが存在すると判定すると、「I-See-Youディレクタ」
というプログラムは、I-See-Youカメラコントロールソフトウェアに命令して、
当該トラッキングモードを次のようなモードに切り換える。すなわち、I-See-Yo
uトラッキングカメラが、動く話し手をコーナ（corner）モード（たとえば、ト
ラッキングカメライメージの左下隅）で保持するモードに切り換える。ついで、
ビデオミキサの特殊エフェクト機能を用いて、スライドのイメージと話し手のイ
メージとを電子的に混合し、遠隔の視聴者に、彼らが要求すると思われる両方の
イメージを表示することができる。
プの環境でプレゼンテーションを行う話し手を自動的にトラッキングするもので
あり、Bellcoreで開発された。これは、当初、I-See-You（商標）と呼ばれてい
たが、現在では、AutoAuditorium（商標）トラッキングカメラと呼ばれている。
その後分かったことであるが、幾つかの同じソフトウェアアルゴリズムを使用し
ているコンピュータプログラムは、視覚教具投影スクリーン上のテレビジョンイ
メージ（以下、「スライドイメージ」という）を解析できる。この投影スクリー
ンは話し手の話を補助するため、話し手が教具を示すものである。このソフトウ
ェア解析によれば、投影スクリーン上に興味深いスライドイメージが存在するか
否か（すなわち、スクリーンがブランクでないこと）を判定することができる。
興味深いスライドイメージが存在すると判定すると、「I-See-Youディレクタ」
というプログラムは、I-See-Youカメラコントロールソフトウェアに命令して、
当該トラッキングモードを次のようなモードに切り換える。すなわち、I-See-Yo
uトラッキングカメラが、動く話し手をコーナ（corner）モード（たとえば、ト
ラッキングカメライメージの左下隅）で保持するモードに切り換える。ついで、
ビデオミキサの特殊エフェクト機能を用いて、スライドのイメージと話し手のイ
メージとを電子的に混合し、遠隔の視聴者に、彼らが要求すると思われる両方の
イメージを表示することができる。
【０００３】 スライドイメージがブランクであると、I-See-Youディレクタのソフトウェア
はI-See-Youカメラコントロールソフトウェアに命令して、通常モード、すなわ
ち動く話し手をトラッキングカメライメージの中央部に位置させるモードに、再
度、切り換えさせ、ビデオミキサに命令して、遠隔の視聴者のためのプログラム
として、トラッキングカメライメージを選択させる。
はI-See-Youカメラコントロールソフトウェアに命令して、通常モード、すなわ
ち動く話し手をトラッキングカメライメージの中央部に位置させるモードに、再
度、切り換えさせ、ビデオミキサに命令して、遠隔の視聴者のためのプログラム
として、トラッキングカメライメージを選択させる。
【０００４】 １９９４年２月、３月、４月に、Bellcoreで実験を行なったが、その結果によ
れば、これら２つのソフトウェアシステム、すなわち、I-See-Youカメラコント
ロールとI-See-Youディレクタは、同じコンピュータハードウェアを共用し、個
別のアルゴリズムを、互いに著しく干渉せずに、パフォームすることができた。
さらに、I-See-Youディレクタソフトウェアはビデオミキサに命令して、適時に
、幾つかのビデオ入力から選択できる能力があり、得られたプログラムは視聴者
に受け入れられることが分かった。
れば、これら２つのソフトウェアシステム、すなわち、I-See-Youカメラコント
ロールとI-See-Youディレクタは、同じコンピュータハードウェアを共用し、個
別のアルゴリズムを、互いに著しく干渉せずに、パフォームすることができた。
さらに、I-See-Youディレクタソフトウェアはビデオミキサに命令して、適時に
、幾つかのビデオ入力から選択できる能力があり、得られたプログラムは視聴者
に受け入れられることが分かった。
【０００５】 Electric Vehicles - At Current Report（Michael Bianchi, 4/25/94）とい
うタイトルのビデオテープが、I-See-YouカメラコントロールソフトウェアとI-S
ee-Youディレクタソフトウェアの両方を用いて作成された。このビデオテープが
示すものは、I-See-Youカメラコントロールソフトウェアが、話をしている話し
手を通常モードとコーナモードの両方で追いかけ、他方、I-See-Youディレクタ
ソフトウェアが、話し手イメージとスライドイメージの両方か、話し手イメージ
のみかいずれかの特殊エフェクトを選択する様子であった。
うタイトルのビデオテープが、I-See-YouカメラコントロールソフトウェアとI-S
ee-Youディレクタソフトウェアの両方を用いて作成された。このビデオテープが
示すものは、I-See-Youカメラコントロールソフトウェアが、話をしている話し
手を通常モードとコーナモードの両方で追いかけ、他方、I-See-Youディレクタ
ソフトウェアが、話し手イメージとスライドイメージの両方か、話し手イメージ
のみかいずれかの特殊エフェクトを選択する様子であった。
【０００６】 I-See-YouカメラコントロールソフトウェアとI-See-Youディレクタソフトウェ
アを、典型的なオーディトリアムスピーチのため、すなわち、１人の話し手がス
テージに立ち、投影された視覚教具を用いて視聴者に話をするため、さらに開発
するために、設計目標、すなわち、 ａ）当該システムは比較的低価格にすべきである。 ｂ）当該システムは、ほとんどの場合、人が介在せずに、結果的に許容できるも
のにすべきである。 ｃ）当該システムは、話し手の動作を制限するとしても、その制限は少なくすべ
きである。 を確立した。
アを、典型的なオーディトリアムスピーチのため、すなわち、１人の話し手がス
テージに立ち、投影された視覚教具を用いて視聴者に話をするため、さらに開発
するために、設計目標、すなわち、 ａ）当該システムは比較的低価格にすべきである。 ｂ）当該システムは、ほとんどの場合、人が介在せずに、結果的に許容できるも
のにすべきである。 ｃ）当該システムは、話し手の動作を制限するとしても、その制限は少なくすべ
きである。 を確立した。
【０００７】 そこで、本発明の目的は、前述の目的を達成する自動カメラコントロール方法
および装置を提供することにある。
および装置を提供することにある。
【０００８】 （発明の概要） 本発明の実施形態によれば、自動カメラ選択システムは、遠隔の視聴者に対し
て表示するためのオーディトリアムタイプのプレゼンテーションを記録する。視
聴者は空間的または時間的に遠隔である可能性があることに留意されたい。表示
されるプレゼンテーションには、プレゼンタと、投影されるスライドイメージな
どの視覚教具との合成イメージが含まれる。本発明のシステムはコンピュータに
よってコントロールされ、 ａ）予め定めた初期設定設定パラメータを設定するステップ。 ｂ）視覚教具に向けられたカメラ（以下、「スライドカメラ」という）から得
られるビデオフレームであるスライドイメージを収集するステップ。このスライ
ドカメラからのイメージを、以下、「スライドイメージ」という。 ｃ）現在のビデオノイズ閾値を決定するステップ。 ｄ）スライドイメージにモーションがあるかどうかを判定するステップ。 ｅ）スライドイメージがブランクであるか否かを判定するステップ。 ｆ）プレゼンタイメージを収集するステップであって、このプレゼンタイメー
ジがトラッキングカメラから得られるビデオフレームであるステップ。 ｇ）遠隔の視聴者に対して適正なイメージを選択し表示するステップ。 をパフォームする。
て表示するためのオーディトリアムタイプのプレゼンテーションを記録する。視
聴者は空間的または時間的に遠隔である可能性があることに留意されたい。表示
されるプレゼンテーションには、プレゼンタと、投影されるスライドイメージな
どの視覚教具との合成イメージが含まれる。本発明のシステムはコンピュータに
よってコントロールされ、 ａ）予め定めた初期設定設定パラメータを設定するステップ。 ｂ）視覚教具に向けられたカメラ（以下、「スライドカメラ」という）から得
られるビデオフレームであるスライドイメージを収集するステップ。このスライ
ドカメラからのイメージを、以下、「スライドイメージ」という。 ｃ）現在のビデオノイズ閾値を決定するステップ。 ｄ）スライドイメージにモーションがあるかどうかを判定するステップ。 ｅ）スライドイメージがブランクであるか否かを判定するステップ。 ｆ）プレゼンタイメージを収集するステップであって、このプレゼンタイメー
ジがトラッキングカメラから得られるビデオフレームであるステップ。 ｇ）遠隔の視聴者に対して適正なイメージを選択し表示するステップ。 をパフォームする。
【０００９】 前記ステップｇ）で表示されるイメージは、次のようなガイドラインに従って
、本発明のソフトウェアによって選択される。 スライドイメージはモーションが検出されたときに選択される。 適正であれば、プレゼンタイメージとスライドイメージを組み合せたものを含
む合成イメージが選択される。 静止スライドイメージかブランクのスライドイメージは避ける。 トラッキングカメラの構えを変えている間は、プレゼンタイメージは表示され
ない。
、本発明のソフトウェアによって選択される。 スライドイメージはモーションが検出されたときに選択される。 適正であれば、プレゼンタイメージとスライドイメージを組み合せたものを含
む合成イメージが選択される。 静止スライドイメージかブランクのスライドイメージは避ける。 トラッキングカメラの構えを変えている間は、プレゼンタイメージは表示され
ない。
【００１０】 前記の手順をパフォームするため、システムコンピュータはトラッキングカメ
ラとスライドカメラの両方をコントロールするが、トラッキングカメラはプレゼ
ンタと視覚教具の両方を表示することが可能であり、同様に、必要であれば、ス
ライドカメラが視覚教具を表示するためにセットアップされている間、オーディ
トリアムの環境も表示することが可能である。さらに、システムカメラのビデオ
信号は必要に応じて、 ａ）ストレージおよびイメージ解析のための、コントロールコンピュータ内のビ
デオデジタイザおよびバッファ、 ｂ）遠隔の視聴者に表示するための、個別か組み合わるかのいずれかで、ビデ
オ信号が選択されるビデオミキサ に転送される。
ラとスライドカメラの両方をコントロールするが、トラッキングカメラはプレゼ
ンタと視覚教具の両方を表示することが可能であり、同様に、必要であれば、ス
ライドカメラが視覚教具を表示するためにセットアップされている間、オーディ
トリアムの環境も表示することが可能である。さらに、システムカメラのビデオ
信号は必要に応じて、 ａ）ストレージおよびイメージ解析のための、コントロールコンピュータ内のビ
デオデジタイザおよびバッファ、 ｂ）遠隔の視聴者に表示するための、個別か組み合わるかのいずれかで、ビデ
オ信号が選択されるビデオミキサ に転送される。
【００１１】 さらに、ビデオ信号転送を補助するものとしてビデオ分配増幅器を使用するこ
とができる。前述のガイドラインに従って、この選択プロセスは例示的にシステ
ムソフトウェアによってコントロールされる。
とができる。前述のガイドラインに従って、この選択プロセスは例示的にシステ
ムソフトウェアによってコントロールされる。
【００１２】 さらに、ビデオミキサはトラッキングカメラおよびスライドカメラの入力に加
えて、他のカメラソースからの追加のビデオ信号入力を受信することも可能であ
り、システムソフトウェアがこれを選択することもできる。
えて、他のカメラソースからの追加のビデオ信号入力を受信することも可能であ
り、システムソフトウェアがこれを選択することもできる。
【００１３】 （発明の詳細な説明） 本発明の一実施形態は、以下、「AutoAuditorium」システムと呼ぶものである
。これは、記録またはブロードキャストのいずれかか、両方のためにプレゼンテ
ーションをキャプチャするのに用いられる環境およびカメラシステムである。さ
らに、AutoAuditoriumシステム内のトラッキングカメラを自動的にコントロール
するソフトウェアを、以下、「AutoAuditoriumトラッキングカメラ」という。一
方、AutoAuditoriumシステム内のトラッキングカメラおよびスライドカメラの両
方と通信する付加的なソフトウェアシステムを、以下、「AutoAuditoriumディレ
クタ」ソフトウェアという。米国特許第5,434,617号の番号をここに記載して本
明細書の一部とする。米国特許第5,434,617号は、発明の名称がAutomatic Track
ing Camera Control Systemであって、本出願の発明人が取得し、本出願の譲受
人が譲り受けた特許であり、前記AutoAuditoriumトラッキングカメラについて記
載したものである。
。これは、記録またはブロードキャストのいずれかか、両方のためにプレゼンテ
ーションをキャプチャするのに用いられる環境およびカメラシステムである。さ
らに、AutoAuditoriumシステム内のトラッキングカメラを自動的にコントロール
するソフトウェアを、以下、「AutoAuditoriumトラッキングカメラ」という。一
方、AutoAuditoriumシステム内のトラッキングカメラおよびスライドカメラの両
方と通信する付加的なソフトウェアシステムを、以下、「AutoAuditoriumディレ
クタ」ソフトウェアという。米国特許第5,434,617号の番号をここに記載して本
明細書の一部とする。米国特許第5,434,617号は、発明の名称がAutomatic Track
ing Camera Control Systemであって、本出願の発明人が取得し、本出願の譲受
人が譲り受けた特許であり、前記AutoAuditoriumトラッキングカメラについて記
載したものである。
【００１４】 図１は典型的なオートオーディオ動作環境を示す。この環境は本発明のAutoAu
ditoriumシステムのベースとして使用されるものである。この環境は本質的には
会議室であって、プレゼンテーション中、話し手が立つ明白な場所が設けてある
。プレゼンテーションに用いる視覚教具が表示されることになる明白な場所も存
在する。以下の説明では、視覚教具を「スライド」とし、プレゼンテーションを
行う話し手を常に「人物」とする。
ditoriumシステムのベースとして使用されるものである。この環境は本質的には
会議室であって、プレゼンテーション中、話し手が立つ明白な場所が設けてある
。プレゼンテーションに用いる視覚教具が表示されることになる明白な場所も存
在する。以下の説明では、視覚教具を「スライド」とし、プレゼンテーションを
行う話し手を常に「人物」とする。
【００１５】 図２は本発明のシステムに不可欠な２つのカメラの配置と、会議室に設けたス
テージとそれらの関係を示す。スライドカメラは視覚教具（例えば、スライド）
を見るのに使用され、トラッキングカメラは人物の動きを自動的に追うのに使用
されるAutoAuditoriumトラッキングカメラである。スクリーン上にスライドがな
ければ、AutoAuditoriumディレクタソフトウェアは、トラッキングカメラに命令
して、通常のAutoAuditoriumトラッキングカメラアルゴリズムを用いて、人物の
普通のピクチャを撮らせる。このピクチャは、AutoAuditoriumディレクタソフト
ウェアシステムがAutoAuditoriumトラッキングカメラを使用して生成することが
可能なイメージの１つである。
テージとそれらの関係を示す。スライドカメラは視覚教具（例えば、スライド）
を見るのに使用され、トラッキングカメラは人物の動きを自動的に追うのに使用
されるAutoAuditoriumトラッキングカメラである。スクリーン上にスライドがな
ければ、AutoAuditoriumディレクタソフトウェアは、トラッキングカメラに命令
して、通常のAutoAuditoriumトラッキングカメラアルゴリズムを用いて、人物の
普通のピクチャを撮らせる。このピクチャは、AutoAuditoriumディレクタソフト
ウェアシステムがAutoAuditoriumトラッキングカメラを使用して生成することが
可能なイメージの１つである。
【００１６】 一例として、次のような図はAutoAuditoriumディレクタシステムが作成する他
のイメージを示す。すなわち、スクリーン上にスライドがある場合は、本発明の
システムはスライドと人物の両方を表示する組合せイメージを構成する。
のイメージを示す。すなわち、スクリーン上にスライドがある場合は、本発明の
システムはスライドと人物の両方を表示する組合せイメージを構成する。
【００１７】 図３は、AutoAuditoriumトラッキングカメラソフトウェアに命令して、トラッ
キングされている人物を、トラッキングカメラのイメージの左下隅（lower-left
corner）に配置させる組み合わせイメージの一部である。これを「コーナショ
ット（corner shot）」と呼ぶ。
キングされている人物を、トラッキングカメラのイメージの左下隅（lower-left
corner）に配置させる組み合わせイメージの一部である。これを「コーナショ
ット（corner shot）」と呼ぶ。
【００１８】 図４は、スライドカメラによって撮影され、「スライドイメージ」と呼ばれる
組合せイメージの他の部分を示す。ここで、スライド自体がテレビイメージの中
心部を占めたり、フレームを満たすものではないことに注意されたい。
組合せイメージの他の部分を示す。ここで、スライド自体がテレビイメージの中
心部を占めたり、フレームを満たすものではないことに注意されたい。
【００１９】 図５はビデオミキサの特殊エフェクト機能を用いて先の２つのイメージを組み
合わせた結果を示す。これを「組合せショット」と呼ぶ。この具体的なケースで
は、スライドの一部がコーナショットの一部に見えることに注意されたい。この
例におけるコーナショットはイメージ領域の約２０％を占め、実際のスライドイ
メージは約５０％を占める。
合わせた結果を示す。これを「組合せショット」と呼ぶ。この具体的なケースで
は、スライドの一部がコーナショットの一部に見えることに注意されたい。この
例におけるコーナショットはイメージ領域の約２０％を占め、実際のスライドイ
メージは約５０％を占める。
【００２０】 前記の設計目標に従って本発明のシステムをインプリメントするため、ある仮
定を行なった。これらの仮定を要約すると次のようになる。すなわち、 ａ）解析される視覚教具はスライドイメージ内の周知のポジションにある。この
周知のポジションはシステムインストール時か、システムセットアップ時に規定
することができる（これらの要件は、いくつかの特殊なケースでは、緩和できる
。）この周知の場所を「探索ボックス」と呼ぶ。 ｂ）スクリーンの前を歩く人物の頭をスライドイメージ内の探索ボックス内にお
さめることができれば、 探索ボックスのどの部分が含まれるかを判定し、当該部分上に「ブロックボッ
クス」を規定し、ブロックボックス内の当該モーションを無視できるようにする
か、 このアルゴリズムは、スクリーン上のスライドイメージとスクリーンの前に立
つ人物のイメージとを区別することができないため、ときにはスライドイメージ
に切り換えることもあり得るという前提を受け入れるか のいずれかが可能になる。 ｄ）組合せショットでは、人物のイメージ部が常時表示される。これは、カメラ
を向ける確定領域内に人物が存在していることが期待できること、またはAutoAu
ditoriumトラッキングカメラコントロールソフトウェアなどのトラッキングシス
テムによってほとんどいつも人物が視界の中におさめられることを意味する。 ｅ）遠隔の視聴者に適したイメージが選択されなくても、そのようなことが頻繁
に発生しなければ、さほど深刻な問題にならない。
定を行なった。これらの仮定を要約すると次のようになる。すなわち、 ａ）解析される視覚教具はスライドイメージ内の周知のポジションにある。この
周知のポジションはシステムインストール時か、システムセットアップ時に規定
することができる（これらの要件は、いくつかの特殊なケースでは、緩和できる
。）この周知の場所を「探索ボックス」と呼ぶ。 ｂ）スクリーンの前を歩く人物の頭をスライドイメージ内の探索ボックス内にお
さめることができれば、 探索ボックスのどの部分が含まれるかを判定し、当該部分上に「ブロックボッ
クス」を規定し、ブロックボックス内の当該モーションを無視できるようにする
か、 このアルゴリズムは、スクリーン上のスライドイメージとスクリーンの前に立
つ人物のイメージとを区別することができないため、ときにはスライドイメージ
に切り換えることもあり得るという前提を受け入れるか のいずれかが可能になる。 ｄ）組合せショットでは、人物のイメージ部が常時表示される。これは、カメラ
を向ける確定領域内に人物が存在していることが期待できること、またはAutoAu
ditoriumトラッキングカメラコントロールソフトウェアなどのトラッキングシス
テムによってほとんどいつも人物が視界の中におさめられることを意味する。 ｅ）遠隔の視聴者に適したイメージが選択されなくても、そのようなことが頻繁
に発生しなければ、さほど深刻な問題にならない。
【００２１】 図６は本発明のAutoAuditoriumシステムのシステムアーキテクチャを示す。こ
のシステムは、 AutoAuditoriumディレクタをランするプロセッサであって、（後述する）スラ
イド解析アルゴリズムと、ビデオミキサコントロールプロトコルと、他の支援ソ
フトウェア機能をインプリメントするプロセッサと、 必要に応じてビデオイメージをデジタルデータとしてストアするためのオプシ
ョンとしてのフレームバッファと、 必要に応じてビデオイメージ信号をデジタルイメージデータに変換するための
ビデオＡ／Ｄ（analog-to-digital）コンバータと を有するＰＣタイプのコンピュータ上でラン（run）させることができる。
のシステムは、 AutoAuditoriumディレクタをランするプロセッサであって、（後述する）スラ
イド解析アルゴリズムと、ビデオミキサコントロールプロトコルと、他の支援ソ
フトウェア機能をインプリメントするプロセッサと、 必要に応じてビデオイメージをデジタルデータとしてストアするためのオプシ
ョンとしてのフレームバッファと、 必要に応じてビデオイメージ信号をデジタルイメージデータに変換するための
ビデオＡ／Ｄ（analog-to-digital）コンバータと を有するＰＣタイプのコンピュータ上でラン（run）させることができる。
【００２２】 AutoAuditoriumトラッキングカメラコントロールシステムの個々のコンポーネ
ントは、説明を簡単にするため、図６に示していない。しかし、同じコンピュー
タが同じプロセッサを使用してAutoAuditoriumディレクタアルゴリズムと同時に
AutoAuditoriumトラッキングカメラアルゴリズムをランする。例を挙げると、こ
のシステムのAutoAuditoriumトラッキングカメラ部とシステムのAutoAuditorium
ディレクタ部は、各々、独自のビデオＡ／ＤコンバータＳフレームバッファを有
する。
ントは、説明を簡単にするため、図６に示していない。しかし、同じコンピュー
タが同じプロセッサを使用してAutoAuditoriumディレクタアルゴリズムと同時に
AutoAuditoriumトラッキングカメラアルゴリズムをランする。例を挙げると、こ
のシステムのAutoAuditoriumトラッキングカメラ部とシステムのAutoAuditorium
ディレクタ部は、各々、独自のビデオＡ／ＤコンバータＳフレームバッファを有
する。
【００２３】 図６を説明する。本発明のシステムの基本オペレーションは次の通りである。
すなわち、 １）スライドカメラ（図６Ａ）からのビデオ信号は、ビデオ分配増幅器によって
複製される。２つの同じビデオ信号（ＶＳ１およびＶＳ２）がビデオ分配増幅器
から、それぞれ、コンピュータとビデオミキサに出力される。あるいはまた、同
じビデオ信号を得る他の方法を利用することも可能である。 ２）ビデオ信号ＶＳ１はビデオＡ／Ｄコンバータによってキャプチャされ、フレ
ームバッファ内のデジタルイメージデータとしてストアされる。 ３）このプロセッサはスライド解析アルゴリズムを利用してフレームバッファか
らのデジタルイメージデータを解析し、ビデオミキサと、AutoAuditoriumトラッ
キングカメラコントロールソフトウェアへの命令を計算する。 ４）副次的な作用であるが、このプロセッサはスライド解析アルゴリズムに関連
する情報を表示するイメージを展開することもできる。このイメージをコンピュ
ータコンソールに表示することが可能である（図６Ｂ）。 ５）このビデオミキサと通信されるプロセッサ命令は、ASCII RS-232コマンドの
形をとる。しかし、他の通信プロトコルを用いて他のタイプのビデオミキサと通
信することも可能である。 ６）このビデオミキサはこれらのコマンドを受け取ることによって、ビデオ信号
を個別的または組合せて選択する。その結果、選択ビデオ出力（図６Ｃ）となる
、すなわち、記録され、および／または、ブロードキャストされるプログラムに
なる。 ７）選択ビデオを生成するのに用いることのできるビデオ信号は、スライドカメ
ラ（図６Ａ）か、AutoAuditoriumトラッキングカメラ（図６Ｄ）か、他のカメラ
から得ることができる。これらのカメラは全てビデオ信号をビデオミキサに出力
する。
すなわち、 １）スライドカメラ（図６Ａ）からのビデオ信号は、ビデオ分配増幅器によって
複製される。２つの同じビデオ信号（ＶＳ１およびＶＳ２）がビデオ分配増幅器
から、それぞれ、コンピュータとビデオミキサに出力される。あるいはまた、同
じビデオ信号を得る他の方法を利用することも可能である。 ２）ビデオ信号ＶＳ１はビデオＡ／Ｄコンバータによってキャプチャされ、フレ
ームバッファ内のデジタルイメージデータとしてストアされる。 ３）このプロセッサはスライド解析アルゴリズムを利用してフレームバッファか
らのデジタルイメージデータを解析し、ビデオミキサと、AutoAuditoriumトラッ
キングカメラコントロールソフトウェアへの命令を計算する。 ４）副次的な作用であるが、このプロセッサはスライド解析アルゴリズムに関連
する情報を表示するイメージを展開することもできる。このイメージをコンピュ
ータコンソールに表示することが可能である（図６Ｂ）。 ５）このビデオミキサと通信されるプロセッサ命令は、ASCII RS-232コマンドの
形をとる。しかし、他の通信プロトコルを用いて他のタイプのビデオミキサと通
信することも可能である。 ６）このビデオミキサはこれらのコマンドを受け取ることによって、ビデオ信号
を個別的または組合せて選択する。その結果、選択ビデオ出力（図６Ｃ）となる
、すなわち、記録され、および／または、ブロードキャストされるプログラムに
なる。 ７）選択ビデオを生成するのに用いることのできるビデオ信号は、スライドカメ
ラ（図６Ａ）か、AutoAuditoriumトラッキングカメラ（図６Ｄ）か、他のカメラ
から得ることができる。これらのカメラは全てビデオ信号をビデオミキサに出力
する。
【００２４】 AutoAuditoriumディレクタソフトウェアの全体的なアウトラインを要約すると
次のようになる。すなわち、 １）アルゴリズムを初期設定する。 ２）スライドカメラからスライドイメージ（ビデオイメージ）を収集する。 ３）現行のビデオノイズ閾値を決定する。 ４）スライドイメージの中にモーションがあるか否かを判定する。 ５）投影（イメージ）スクリーンがブランクであるか否かを判定する。 ６）遠隔の視聴者に適正なイメージを示す。 6．1）スライドイメージにモーションがある場合のスライドイメージを選択す
る。 6．2）可能ならば、トラッキングカメライメージとスライドイメージを組み合
わせる。 6．3）長時間持続する静止スライドイメージを避ける。 6．4）ブランクのスライドイメージを避ける。 6．5）トラッキングカメラが元の状態に戻るのを待ってからそのイメージを表
示する。 ７）トラッキングカメラの該当ショットがノーマルショットであるか、コーナシ
ョットであるかを判定する。 7．1）該当ショットが変更された場合、トラッキングカメラに該当ショットを
生成するよう命令する。 ８）次のスライドイメージを収集する。
次のようになる。すなわち、 １）アルゴリズムを初期設定する。 ２）スライドカメラからスライドイメージ（ビデオイメージ）を収集する。 ３）現行のビデオノイズ閾値を決定する。 ４）スライドイメージの中にモーションがあるか否かを判定する。 ５）投影（イメージ）スクリーンがブランクであるか否かを判定する。 ６）遠隔の視聴者に適正なイメージを示す。 6．1）スライドイメージにモーションがある場合のスライドイメージを選択す
る。 6．2）可能ならば、トラッキングカメライメージとスライドイメージを組み合
わせる。 6．3）長時間持続する静止スライドイメージを避ける。 6．4）ブランクのスライドイメージを避ける。 6．5）トラッキングカメラが元の状態に戻るのを待ってからそのイメージを表
示する。 ７）トラッキングカメラの該当ショットがノーマルショットであるか、コーナシ
ョットであるかを判定する。 7．1）該当ショットが変更された場合、トラッキングカメラに該当ショットを
生成するよう命令する。 ８）次のスライドイメージを収集する。
【００２５】 AutoAuditoriumディレクタアルゴリズムと、それによるスライド解析アルゴリ
ズムの実施態様を詳細に説明するため、まず、次の図に関していくつかの用語お
よび定義を確立する必要がある。
ズムの実施態様を詳細に説明するため、まず、次の図に関していくつかの用語お
よび定義を確立する必要がある。
【００２６】 図７はスライドカメラによって撮影される、「スライドイメージ」と呼ばれる
典型的なイメージを示す。この例では、映像を含む投影スクリーンがスライドイ
メージ全体を占めていないことに注意されたい。しかし、ビデオエフェクトをズ
ームすることができるビデオミキサを用いれば、投影スクリーンがスライドイメ
ージ全体を占めることが可能である。
典型的なイメージを示す。この例では、映像を含む投影スクリーンがスライドイ
メージ全体を占めていないことに注意されたい。しかし、ビデオエフェクトをズ
ームすることができるビデオミキサを用いれば、投影スクリーンがスライドイメ
ージ全体を占めることが可能である。
【００２７】 図８は「ボックス」と呼ばれるスライドイメージ内の対象領域を規定したもの
を示す。これはAutoAuditoriumディレクタが使用する。普通、スライドカメラが
会議室に導入された後に、各ボックスがアルゴリズムに従って規定され、これら
のボックス規定が一定に保たれるものと期待される。しかし、状態によっては、
いくつかのボックスの集合を規定して、各用途に向けた適正な集合を選択したり
、特定の用途に向けたボックスの特定の集合を規定したりすることが必要になる
場合もある。
を示す。これはAutoAuditoriumディレクタが使用する。普通、スライドカメラが
会議室に導入された後に、各ボックスがアルゴリズムに従って規定され、これら
のボックス規定が一定に保たれるものと期待される。しかし、状態によっては、
いくつかのボックスの集合を規定して、各用途に向けた適正な集合を選択したり
、特定の用途に向けたボックスの特定の集合を規定したりすることが必要になる
場合もある。
【００２８】 図８では、この閾値ボックスは、モーションを見る可能性のないスライドイメ
ージのある領域、例えば、投影スクリーンの外側領域と、人物の頭の高さより上
の領域を占めるように配置されている。この閾値ボックス内の領域は充分に照明
されていなくてもよい。AutoAuditoriumディレクタアルゴリズムはこの閾値ボッ
クスを用いてスライドイメージにおけるビデオノイズを評価するので、ビデオノ
イズには不感になる。
ージのある領域、例えば、投影スクリーンの外側領域と、人物の頭の高さより上
の領域を占めるように配置されている。この閾値ボックス内の領域は充分に照明
されていなくてもよい。AutoAuditoriumディレクタアルゴリズムはこの閾値ボッ
クスを用いてスライドイメージにおけるビデオノイズを評価するので、ビデオノ
イズには不感になる。
【００２９】 探索ボックスは、スライド解析アルゴリズムがスライドの有無を探索すること
になる領域を規定するとともに、スライドイメージ内の投影スクリーンの領域に
おおよそ対応している。
になる領域を規定するとともに、スライドイメージ内の投影スクリーンの領域に
おおよそ対応している。
【００３０】 このブロックボックスは、探索ボックス内の領域であって、モーションが存在
する可能性があるが、普通は無視するのが望ましい領域を規定する。例えば、図
７ないし図１１は本発明のシステムが導入される部屋を示す。人物が不用意に投
影スクリーンの前を歩いた場合に、当該イメージは探索ボックス内に入るため、
スライドまたは有効モーションとして投影スクリーン上に現れることになる。ス
ライド解析アルゴリズムは、探索ボックス内の他のモーションがブロックボック
ス内のモーションに近接する場合を除いて、ブロックボックス内のモーションを
無視する。したがって、「有意（significant）モーション」という用語は、探
索ボックスに含まれブロックボックスに含まれないモーションと定義され、「無
意（insignificant）モーション」という用語は、探索ボックスに含まれ全面的
にブロックボックスにも含まれるモーションと定義される。
する可能性があるが、普通は無視するのが望ましい領域を規定する。例えば、図
７ないし図１１は本発明のシステムが導入される部屋を示す。人物が不用意に投
影スクリーンの前を歩いた場合に、当該イメージは探索ボックス内に入るため、
スライドまたは有効モーションとして投影スクリーン上に現れることになる。ス
ライド解析アルゴリズムは、探索ボックス内の他のモーションがブロックボック
ス内のモーションに近接する場合を除いて、ブロックボックス内のモーションを
無視する。したがって、「有意（significant）モーション」という用語は、探
索ボックスに含まれブロックボックスに含まれないモーションと定義され、「無
意（insignificant）モーション」という用語は、探索ボックスに含まれ全面的
にブロックボックスにも含まれるモーションと定義される。
【００３１】 「モーション境界ボックス」という用語は、探索ボックス内のすべての「ピク
セル差」（後に定義する）であって、閾値ボックスにおいて検出されるビデオノ
イズレベルを上回るピクセル差を含む最少サイズの長方形と定義される。この閾
値を上回るピクセル差の数を長方形に関連づけて後の参考とする。図９はモーシ
ョン境界ボックスが全面的にブロックボックス内に包括され、無意モーションと
見なされる場合を示す。
セル差」（後に定義する）であって、閾値ボックスにおいて検出されるビデオノ
イズレベルを上回るピクセル差を含む最少サイズの長方形と定義される。この閾
値を上回るピクセル差の数を長方形に関連づけて後の参考とする。図９はモーシ
ョン境界ボックスが全面的にブロックボックス内に包括され、無意モーションと
見なされる場合を示す。
【００３２】 図１０には、ブロックボックス内のモーション境界ボックスとブロックボック
ス外のモーション境界ボックスの両方を示す。図１１は図１０の２つのモーショ
ン境界ボックスを結合してできた単一のモーション境界ボックスを示す。これは
、有意モーションに関係付けをしたモーション境界ボックスである。
ス外のモーション境界ボックスの両方を示す。図１１は図１０の２つのモーショ
ン境界ボックスを結合してできた単一のモーション境界ボックスを示す。これは
、有意モーションに関係付けをしたモーション境界ボックスである。
【００３３】 AutoAuditoriumディレクタシステムの本インプリメントでは、前記ボックスが
それぞれ長方形であり、タイプは１種類である。しかし、一般には、各領域の形
状は任意であり、スライドイメージ内のこれらの各ボックスが複数の形状をとる
ことがありうる。
それぞれ長方形であり、タイプは１種類である。しかし、一般には、各領域の形
状は任意であり、スライドイメージ内のこれらの各ボックスが複数の形状をとる
ことがありうる。
【００３４】 これらのボックスの役割については、スライド解析アルゴリズムについての次
の説明においてより詳細に説明する。
の説明においてより詳細に説明する。
【００３５】 スライド解析アルゴリズムを詳細に説明するため、次の用語の定義を行なう。
すなわち、 ａ）ピクセル値．．．各ピクセルの輝度（ブライトネス）。一般に、０は黒に相
当し、最大ピクセル値（すなわち、２５５）は白に相当する。本発明の実施形態
は色彩情報を使用していないが、そうすることも可能であることに注意されたい
。 ｂ）ピクセル差．．．２つのピクセル値の差の絶対値。一般に、ピクセル差は同
じ位置にある２つのピクセルの間で計算されるが、ビデオフレーム上では異なっ
た時間に取り込まれる。 ｃ）閾値．．．有効であると見なされる最小ピクセル差。これは、一般に、ビデ
オノイズによって生じるピクセル差をちょうど上回るように設定される。ビデオ
ノイズのレベルを決定するための他のアルゴリズムを使用できることに注意され
たい。 ｄ）長方形．．．ビデオフレームからのxmin、xmax、ymin、ymax座標によって定
められるスライドイメージの長方形領域。本発明のシステムにおいて、「ｘ」は
、xminを左端としxmaxを右端とする走査ラインに沿うピクセルの数に対応する。
「ｙ」は、yminを上端としymaxを下端とする走査ラインにおける数に相当する。
ｅ）スクリーン状態．．．投影スクリーンの現行の状態。可能値はブランクか、
偽（not）ブランクである。偽ブランクスクリーンでは、スクリーン状態は「モ
ーションを伴わない偽ブランク」または「有意モーションを伴う偽ブランク」の
いずれかになる。
すなわち、 ａ）ピクセル値．．．各ピクセルの輝度（ブライトネス）。一般に、０は黒に相
当し、最大ピクセル値（すなわち、２５５）は白に相当する。本発明の実施形態
は色彩情報を使用していないが、そうすることも可能であることに注意されたい
。 ｂ）ピクセル差．．．２つのピクセル値の差の絶対値。一般に、ピクセル差は同
じ位置にある２つのピクセルの間で計算されるが、ビデオフレーム上では異なっ
た時間に取り込まれる。 ｃ）閾値．．．有効であると見なされる最小ピクセル差。これは、一般に、ビデ
オノイズによって生じるピクセル差をちょうど上回るように設定される。ビデオ
ノイズのレベルを決定するための他のアルゴリズムを使用できることに注意され
たい。 ｄ）長方形．．．ビデオフレームからのxmin、xmax、ymin、ymax座標によって定
められるスライドイメージの長方形領域。本発明のシステムにおいて、「ｘ」は
、xminを左端としxmaxを右端とする走査ラインに沿うピクセルの数に対応する。
「ｙ」は、yminを上端としymaxを下端とする走査ラインにおける数に相当する。
ｅ）スクリーン状態．．．投影スクリーンの現行の状態。可能値はブランクか、
偽（not）ブランクである。偽ブランクスクリーンでは、スクリーン状態は「モ
ーションを伴わない偽ブランク」または「有意モーションを伴う偽ブランク」の
いずれかになる。
【００３６】 以下のステップはスライド解析アルゴリズムの予め定めた設定を行うもので、
一度だけ実行すればアルゴリズムが開始する。 ａ）システム導入時に以下の予め定めたシステムパラメータを設定する。
一度だけ実行すればアルゴリズムが開始する。 ａ）システム導入時に以下の予め定めたシステムパラメータを設定する。
【００３７】 閾値バイアス 測定されたビデオノイズにこの値を加えて閾値を生成する。
これにより、モーションによって生じるピクセル差のみを使用してモーション境
界ボックスを探索することができる。閾値バイアスの値は実験によって決定され
る。例として、３０に設定する。
これにより、モーションによって生じるピクセル差のみを使用してモーション境
界ボックスを探索することができる。閾値バイアスの値は実験によって決定され
る。例として、３０に設定する。
【００３８】 最小モーション これは、「有意」モーションと見なされるモーションに対
して認識すべき閾値を上回るピクセル差の数である。その数は例えば実験によっ
て決定することができる。例として、５０に設定する。
して認識すべき閾値を上回るピクセル差の数である。その数は例えば実験によっ
て決定することができる。例として、５０に設定する。
【００３９】 ブランクスクリーン時間 これは、他のショットを選択するまでスクリーン
をブランクにしておかなければならない時間（秒数）である。例として、５秒間
に設定する。
をブランクにしておかなければならない時間（秒数）である。例として、５秒間
に設定する。
【００４０】 モーションなし時間 これは、他のショットを選択するまで偽ブランクスク
リーンがモーションを示すことができない時間（秒数）である。例として、９０
に設定する。
リーンがモーションを示すことができない時間（秒数）である。例として、９０
に設定する。
【００４１】 遷移ショット時間 これは、トラッキングカメラが新しいパラメータにリセ
ットするまでに要する時間（秒数）である。 ｂ）投影スクリーンのスクリーンステートを「ブランク」に設定する。 ｃ）ビデオＡ／Ｄコンバータによってスライドカメラからのビデオイメージをデ
ジタル化し、フレームバッファにストアする。 ｄ）デジタル化したイメージをフレームバッファからプロセッサメモリにコピー
し、現行のクロックタイムをそのイメージに関係付けをする。このコピーを「前
イメージ」と呼ぶ。
ットするまでに要する時間（秒数）である。 ｂ）投影スクリーンのスクリーンステートを「ブランク」に設定する。 ｃ）ビデオＡ／Ｄコンバータによってスライドカメラからのビデオイメージをデ
ジタル化し、フレームバッファにストアする。 ｄ）デジタル化したイメージをフレームバッファからプロセッサメモリにコピー
し、現行のクロックタイムをそのイメージに関係付けをする。このコピーを「前
イメージ」と呼ぶ。
【００４２】 続いて、スライド解析アルゴリズムは次のステップに進む。アルゴリズムの各
部について、まず、その部分の目的を記載し、次に、それを遂行するステップに
ついて記載する。各ステップは、Ａのような太文字で表示する。
部について、まず、その部分の目的を記載し、次に、それを遂行するステップに
ついて記載する。各ステップは、Ａのような太文字で表示する。
【００４３】 １）AutoAuditoriumディレクタアルゴリズムは前イメージと比較するためのイ
メージを必要とする。 Ａ ビデオＡ／Ｄコンバータによってスライドカメラからのイメージをデジ
タル化し、フレームバッファにストアする。 Ｂ プロセッサはデジタル化したイメージをフレームバッファから自分のメ
モリにコピーし、現行のクロックタイムをそのイメージに関係付けをする。この
コピーを「現在イメージ」と呼ぶ。
メージを必要とする。 Ａ ビデオＡ／Ｄコンバータによってスライドカメラからのイメージをデジ
タル化し、フレームバッファにストアする。 Ｂ プロセッサはデジタル化したイメージをフレームバッファから自分のメ
モリにコピーし、現行のクロックタイムをそのイメージに関係付けをする。この
コピーを「現在イメージ」と呼ぶ。
【００４４】 ２）静止ビデオイメージでは、前イメージにおける各ピクセル値を現在イメー
ジにおける対応するピクセル値から引くと、その差は常に０になるはずである。
しかし、その差は、現実には、 −カメラのイメージ作成部におけるノイズ、 −カメラのイメージ作成回路におけるノイズ、 −配線におけるノイズ、 −ビデオＡ／Ｄコンバータの回路におけるノイズ、 の要因によってほぼ必ず以外の値になる。 AutoAuditoriumディレクタアルゴリズムは、ノイズを無視し、前イメージと現
在イメージとの有意差のみに注意を向ける必要がある。 Ｃ AutoAuditoriumディレクタアルゴリズムは、閾値ボックス内のすべての
ピクセル差の最大ピクセル差を計算する。ついで近似的な現行ビデオノイズレベ
ルに閾値バイアスを加算し、その値を閾値に指定する。閾値を上回るピクセル差
を有意差と見なすことになる。ビデオノイズのレベルを決定するための他のアル
ゴリズムを使用できることに注意されたい。
ジにおける対応するピクセル値から引くと、その差は常に０になるはずである。
しかし、その差は、現実には、 −カメラのイメージ作成部におけるノイズ、 −カメラのイメージ作成回路におけるノイズ、 −配線におけるノイズ、 −ビデオＡ／Ｄコンバータの回路におけるノイズ、 の要因によってほぼ必ず以外の値になる。 AutoAuditoriumディレクタアルゴリズムは、ノイズを無視し、前イメージと現
在イメージとの有意差のみに注意を向ける必要がある。 Ｃ AutoAuditoriumディレクタアルゴリズムは、閾値ボックス内のすべての
ピクセル差の最大ピクセル差を計算する。ついで近似的な現行ビデオノイズレベ
ルに閾値バイアスを加算し、その値を閾値に指定する。閾値を上回るピクセル差
を有意差と見なすことになる。ビデオノイズのレベルを決定するための他のアル
ゴリズムを使用できることに注意されたい。
【００４５】 ３）これらのステップにおいて、スライド解析アルゴリズムは投影スクリーンに
関係付けをしたモーションが存在するか否かを判定する。 Ｄ 探索ボックス内において、スライド解析アルゴリズムは現在イメージと
前イメージの間で閾値を上回るピクセル差を探索する。 Ｅ ついで、ブロックボックス内のピクセル差とブロックボックス外のピク
セル差について、個別的なモーション境界ボックスが生成される。 Ｆ ブロックボックス内にただ１つのモーション境界ボックスが存在する場
合は、スクリーン状態を「モーションなし」に設定する。 Ｇ ブロックボックスの外側にモーション境界ボックスが存在し、それがブ
ロックボックスの内側のモーション境界ボックスに隣接している場合は、これら
２つのモーション境界ボックスを結合して単一のボックスにする。 Ｈ 結合したモーション境界ボックス内の閾値を上回るピクセル差の数が最
小モーション値より大きい場合は、「有意モーション」を検出し、現在イメージ
の時間をモーション時間として記録する。
関係付けをしたモーションが存在するか否かを判定する。 Ｄ 探索ボックス内において、スライド解析アルゴリズムは現在イメージと
前イメージの間で閾値を上回るピクセル差を探索する。 Ｅ ついで、ブロックボックス内のピクセル差とブロックボックス外のピク
セル差について、個別的なモーション境界ボックスが生成される。 Ｆ ブロックボックス内にただ１つのモーション境界ボックスが存在する場
合は、スクリーン状態を「モーションなし」に設定する。 Ｇ ブロックボックスの外側にモーション境界ボックスが存在し、それがブ
ロックボックスの内側のモーション境界ボックスに隣接している場合は、これら
２つのモーション境界ボックスを結合して単一のボックスにする。 Ｈ 結合したモーション境界ボックス内の閾値を上回るピクセル差の数が最
小モーション値より大きい場合は、「有意モーション」を検出し、現在イメージ
の時間をモーション時間として記録する。
【００４６】 ４）スライド解析アルゴリズムは、次にスライドイメージを調べて、スライド提
示があるか否かを判定する。すなわち、投影スクリーンが偽ブランクであるか否
かを確認する。
示があるか否かを判定する。すなわち、投影スクリーンが偽ブランクであるか否
かを確認する。
【００４７】 所与のピクセルの周囲のピクセルを調査し、ピクセル値の大きな変化を探索す
ることによって、そのアルゴリズムはスライドイメージを、スライド提示を有す
るものか（偽ブランク）、ブランク投影スクリーンに分類できるほどの可視エッ
ジがイメージ内に存在するか否かを判定することができる。
ることによって、そのアルゴリズムはスライドイメージを、スライド提示を有す
るものか（偽ブランク）、ブランク投影スクリーンに分類できるほどの可視エッ
ジがイメージ内に存在するか否かを判定することができる。
【００４８】 次のステップにおいて、スライド解析アルゴリズムは、投影スクリーンが偽ブ
ランクであるかブランクであるかを判定するために探索ボックス内の現在イメー
ジを調査する。
ランクであるかブランクであるかを判定するために探索ボックス内の現在イメー
ジを調査する。
【００４９】 Ｉ 探索ボックス内の走査ラインに沿って鮮鋭エッジ、すなわち輝度値の急
激な変化を探索する。全面的にブロックボックスの内側にあるモーション境界ボ
ックス内のピクセルを無視する。 Ｊ ある特定の走査ライン上で「最少エッジカウント」値よりも多くの鮮鋭
エッジが見つかった場合は、その投影スクリーンを偽ブランクにして指定する。
そうでない場合は、その投影スクリーンをブランクにして指定する。 Ｋ 投影スクリーンが指定状態を変えた場合は、現在イメージの時間をモー
ション時間および変更時間として記録する。 Ｌ 現在イメージの時間を「現時点（now）」として、前回の変更時間から
の経過時間と前回のモーション時間からの経過時間を計算する。
激な変化を探索する。全面的にブロックボックスの内側にあるモーション境界ボ
ックス内のピクセルを無視する。 Ｊ ある特定の走査ライン上で「最少エッジカウント」値よりも多くの鮮鋭
エッジが見つかった場合は、その投影スクリーンを偽ブランクにして指定する。
そうでない場合は、その投影スクリーンをブランクにして指定する。 Ｋ 投影スクリーンが指定状態を変えた場合は、現在イメージの時間をモー
ション時間および変更時間として記録する。 Ｌ 現在イメージの時間を「現時点（now）」として、前回の変更時間から
の経過時間と前回のモーション時間からの経過時間を計算する。
【００５０】 ５）スライドイメージにおけるスライドの有無と、スライドイメージ内のモーシ
ョンの有無に基づいて、AutoAuditoriumディレクタアルゴリズムは、人物と、ス
ライドと、他の任意のイメージソースとのイメージから選択された適正なイメー
ジを遠隔の視聴者に表示する。このことを、ビデオミキサに次のような命令、す
なわち、 −スライドイメージが変わるか、人物がスライドイメージを指したとき、迅速
にスライドイメージを表示する。
ョンの有無に基づいて、AutoAuditoriumディレクタアルゴリズムは、人物と、ス
ライドと、他の任意のイメージソースとのイメージから選択された適正なイメー
ジを遠隔の視聴者に表示する。このことを、ビデオミキサに次のような命令、す
なわち、 −スライドイメージが変わるか、人物がスライドイメージを指したとき、迅速
にスライドイメージを表示する。
【００５１】 −スライドイメージが適度な時間の間、ブランクの状態にあるとき、スライド
イメージを表示しない。 −投影スクリーンが偽ブランクであり、長時間、有意モーションをとらえなか
ったときは、スライドイメージの表示と表示なしを周期的に繰り返す。 を送ることによって実行する。
イメージを表示しない。 −投影スクリーンが偽ブランクであり、長時間、有意モーションをとらえなか
ったときは、スライドイメージの表示と表示なしを周期的に繰り返す。 を送ることによって実行する。
【００５２】 その目的は、スライドイメージが「なにか関心を引くもの」を含むか否かに基
づいて、遠隔の視聴者に適正なイメージを表示することである。すなわち、「な
にか関心を引くもの」とは、 −スライドイメージにおける最近の変化。 −スライドイメージ内の有意モーション。 −話を提供する人物。 −その他のショット。 と定義することができる。
づいて、遠隔の視聴者に適正なイメージを表示することである。すなわち、「な
にか関心を引くもの」とは、 −スライドイメージにおける最近の変化。 −スライドイメージ内の有意モーション。 −話を提供する人物。 −その他のショット。 と定義することができる。
【００５３】 次の「規則」およびコメントはこれらの定義に適応する。すなわち、 5.1）スライドイメージにモーションがあるとき、そのスライドイメージを選
択する。 Ｍ スライドイメージが変化するか、ブロックボックスの外側に存在する探
索領域の部分の中にモーションがあるとき、常に、遠隔の視聴者に対してスライ
ドイメージを表示する。
択する。 Ｍ スライドイメージが変化するか、ブロックボックスの外側に存在する探
索領域の部分の中にモーションがあるとき、常に、遠隔の視聴者に対してスライ
ドイメージを表示する。
【００５４】 5.2）可能であれば、トラッキングカメライメージとスライドイメージを組み
合わせる。
合わせる。
【００５５】 図１２は本発明のシステムがそれらを組み合わせる方法を示す。これにより、
遠隔の視聴者が人物のイメージとスライドのイメージの両方を同時にビューする
ことができる。
遠隔の視聴者が人物のイメージとスライドのイメージの両方を同時にビューする
ことができる。
【００５６】 5.3）長時間持続する静止スライドイメージを避ける。
【００５７】 モーションなし時間の間（本実施形態では、９０秒間）、スライドイメージの
探索ボックス内にモーションがなければ、それは、人物が積極的にスライドを参
照していないことを示唆するものである。さらに、遠隔の視聴者はスライドイメ
ージを吟味する時間が充分にあり、おそらくそれをよく覚えているため、スライ
ドイメージを取り除いても彼らにとって不都合なことはないものと考えられる。
探索ボックス内にモーションがなければ、それは、人物が積極的にスライドを参
照していないことを示唆するものである。さらに、遠隔の視聴者はスライドイメ
ージを吟味する時間が充分にあり、おそらくそれをよく覚えているため、スライ
ドイメージを取り除いても彼らにとって不都合なことはないものと考えられる。
【００５８】 Ｎ スクリーン状態がモーションなし時間の間（本実施形態では、９０秒間
）モーションのない状態であった場合は、話をしている人物のイメージなどの他
のイメージを選択する。
）モーションのない状態であった場合は、話をしている人物のイメージなどの他
のイメージを選択する。
【００５９】 5.4）ブランクスライドイメージを避ける。
【００６０】 Ｏ スクリーン状態がブランクスクリーン時間の間（本実施形態では、５秒
間）、ブランクになっている場合は、常に、話をしている人物のイメージなどの
他のイメージを選択する。
間）、ブランクになっている場合は、常に、話をしている人物のイメージなどの
他のイメージを選択する。
【００６１】 5.5）トラッキングカメラが元の状態に戻るのを待ってからそのイメージを表
示する。
示する。
【００６２】 本発明のシステムでは、図１２のコーナに人物を表示しているのと同じAutoAu
ditoriumトラッキングカメラを使用してその人物をとらえる。前のショットから
後のショットか、あるいはその逆に遷移するときは、前のコーナモードからノー
マルモードと、その逆に変化するトラッキングカメラのモーションは示されない
。
ditoriumトラッキングカメラを使用してその人物をとらえる。前のショットから
後のショットか、あるいはその逆に遷移するときは、前のコーナモードからノー
マルモードと、その逆に変化するトラッキングカメラのモーションは示されない
。
【００６３】 図１２の組合せショットから人物だけのショットに遷移する場合は、本発明の
システムは、トラッキングカメラまたはスライドカメラ以外の異なるカメラを用
いて撮影することができるステージ領域全体のワイドショットなどの他のイメー
ジを表示する。このショットを表示しながら、AutoAuditoriumディレクタソフト
ウェアはトラッキングカメラに対して、コーナショットからノーマルショットに
切り換えるよう命令する。トラッキングカメラがその新しいパラメータに適応す
るための遷移ショット時間の間（本実施形態では、８秒間）待機してから、ビデ
オミキサに対してトラッキングカメラを選択するよう命令する。
システムは、トラッキングカメラまたはスライドカメラ以外の異なるカメラを用
いて撮影することができるステージ領域全体のワイドショットなどの他のイメー
ジを表示する。このショットを表示しながら、AutoAuditoriumディレクタソフト
ウェアはトラッキングカメラに対して、コーナショットからノーマルショットに
切り換えるよう命令する。トラッキングカメラがその新しいパラメータに適応す
るための遷移ショット時間の間（本実施形態では、８秒間）待機してから、ビデ
オミキサに対してトラッキングカメラを選択するよう命令する。
【００６４】 Ｐ 組合せスライドおよびトラッキングカメラショットからトラッキングカ
メラショットに切り換えるよう命令されたら、AutoAuditoriumディレクタアルゴ
リズムが最初にビデオミキサに対して、遷移ショットと呼ばれる他のカメラショ
ットを選択するよう命令する。ついで、トラッキングカメラサブシステムに対し
て、コーナモード（人物がトラッキングカメライメージのコーナに表示される）
からノーマルモード（人物がトラッキングカメライメージの中央に表示される）
に切り換えるよう命令する。遷移ショット時間が経過したら、AutoAuditoriumデ
ィレクタアルゴリズムはトラッキングカメラショットを選択する。
メラショットに切り換えるよう命令されたら、AutoAuditoriumディレクタアルゴ
リズムが最初にビデオミキサに対して、遷移ショットと呼ばれる他のカメラショ
ットを選択するよう命令する。ついで、トラッキングカメラサブシステムに対し
て、コーナモード（人物がトラッキングカメライメージのコーナに表示される）
からノーマルモード（人物がトラッキングカメライメージの中央に表示される）
に切り換えるよう命令する。遷移ショット時間が経過したら、AutoAuditoriumデ
ィレクタアルゴリズムはトラッキングカメラショットを選択する。
【００６５】 組合せショットに戻ることが望まれる場合は、本発明のシステムは即座にスラ
イドイメージのみを表示する（人物がコーナに表示されない）。ついで、トラッ
キングカメラに対して、コーナショットに切り換えるよう命令する。
イドイメージのみを表示する（人物がコーナに表示されない）。ついで、トラッ
キングカメラに対して、コーナショットに切り換えるよう命令する。
【００６６】 ついで、トラッキングカメラがその新しいパラメータに適応した後に、システ
ムは組合せショットを表示する。
ムは組合せショットを表示する。
【００６７】 Ｑ トラッキングカメラショットから組合せショットに切り換えるよう命令
されたら、AutoAuditoriumディレクタアルゴリズムは最初にビデオミキサに対し
て、スライドイメージのみを選択するよう命令する。ついで、トラッキングカメ
ラサブシステムに対して、ノーマルモードからコーナモードに切り換えるよう命
令する。遷移ショット時間が経過したら、AutoAuditoriumディレクタアルゴリズ
ムは組合せショットを選択する。
されたら、AutoAuditoriumディレクタアルゴリズムは最初にビデオミキサに対し
て、スライドイメージのみを選択するよう命令する。ついで、トラッキングカメ
ラサブシステムに対して、ノーマルモードからコーナモードに切り換えるよう命
令する。遷移ショット時間が経過したら、AutoAuditoriumディレクタアルゴリズ
ムは組合せショットを選択する。
【００６８】 ６）次のスライドイメージを収集する。 Ｒ ステップＡに戻る。
【００６９】 要約すれば、話し手および視覚教具を含むオーディトリアムタイプのプレゼン
テーションを記録し、遠隔の視聴者に表示するための自動カメラコントロール方
法および装置を開示するものである。さらに、開示の発明は完全に自動化されて
おり、オペレータを必要としない。
テーションを記録し、遠隔の視聴者に表示するための自動カメラコントロール方
法および装置を開示するものである。さらに、開示の発明は完全に自動化されて
おり、オペレータを必要としない。
【００７０】 本発明の上述の実施形態は例示にすぎない。当業者は、本発明の精神および範
囲から逸脱することなく、数多くの代替実施形態を考えることができる。
囲から逸脱することなく、数多くの代替実施形態を考えることができる。
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【図１】 本発明による典型的なオペレーティング環境を示す図である。
【図２】 図１の典型的なオペレーティング環境を上方から見た図である。
【図３】 AutoAuditoriumトラッキングカメラを用いて例示的に撮影した、スライドイメ
ージと組み合わせるのに好適なコーナショットを示す図である。
ージと組み合わせるのに好適なコーナショットを示す図である。
【図４】 話し手のイメージと組み合わせるのに好適なスライドイメージを示す図である
。
。
【図５】 コーナショットおよびスライドイメージの一部を構成した組合せショットを示
す図である。
す図である。
【図６Ａ】 本発明のシステムアーキテクチャを示す構成図である。
【図６Ｂ】 コンピュータコンソールのスライド解析アルゴリズムのビデオ表示を示す図で
ある。
ある。
【図６Ｃ】 プログラムとＶＣＲに対する選択ビデオを示す図である。
【図６Ｄ】 トラッキングカメラからのビデオを示す図である。
【図７】 図４からのショットを組み込んだ、スライドカメラで撮影したスライドイメー
ジを示す図である。
ジを示す図である。
【図８】 本発明による、スライドイメージの主要領域を画定する「ボックス」を示す図
である。
である。
【図９】 本発明による、ブロックボックス内にモーション境界ボックス全体を表示する
図である。
図である。
【図１０】 本発明による、ブロックボックスと探索ボックスとの間を分割するモーション
境界ボックスを示す図である。
境界ボックスを示す図である。
【図１１】 本発明による、組み合わされたモーション境界ボックスを示す図である。
【図１２】 本発明による、図５からのショットを組み込む話し手のコーナイメージと組み
合わされたスライドイメージ（組合せショット）を示す図である。
合わされたスライドイメージ（組合せショット）を示す図である。
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C022 AA01 AB63 AB65 AC41 AC69 5C054 AA01 AA05 CA04 CC02 CD03 CE01 CE16 CF05 CG02 CH01 DA08 EA01 EA07 FC11 FF03 GB02 GB11 HA00 【要約の続き】 好適なイメージを生成するために、このトラッキングカ メラに対して異なるモードで動作するように命令する。
Claims (24)
- 【請求項１】 プレゼンタと視覚教具との複合イメージであって投影される
スライドイメージのような複合イメージを含み、遠隔位置に表示するためのプレ
ゼンテーションを自動的にビデオ記録する方法であって、 ａ）予め定めた初期設定パラメータおよびスライド解析基準を設定するステッ
プと、 ｂ）スライドカメラから獲得されるビデオフレームであるスライドイメージを
収集するステップと、 ｃ）現在のビデオノイズ閾値を決定するステップと、 ｄ）前記スライドイメージにモーションがあるかどうかを判定するステップと
、 ｅ）前記スライドイメージがブランクであるか否かを判定するステップと、 ｆ）前記遠隔の視聴者に適正なイメージを選択し表示するステップと を含み、 前記スライドイメージは、モーションがあるときに選択される ことを特徴とする方法。 - 【請求項２】 請求項１において、 ｇ）トラッキングカメラから獲得されるビデオフレームであるプレゼンタイメ
ージを収集するステップをさらに含み、 前記合成イメージは、前記プレゼンタイメージと前記スライドイメージの組合
せを含み、 前記プレゼンタイメージは、前記トラッキングカメラが位置を変更している間
、表示されない ことを特徴とする方法。 - 【請求項３】 請求項１において、前記ステップａ）の初期設定パラメータ
は、閾値バイアスと、最小モーションと、ブランクスクリーン時間と、モーショ
ンなし時間と、遷移ショット時間とを含むことを特徴とする方法。 - 【請求項４】 請求項１において、前記ステップｂ）は、 前記スライドカメラからの第１のビデオイメージをデジタル化してフレームバ
ッファに記憶するステップと、 前記デジタル化された第１のビデオイメージを前記フレームバッファからプロ
セッサメモリにコピーし、前記コピーされた第１のイメージを対応する第１のク
ロックタイムに関係付けをし、前記コピーされた第１のイメージが前イメージと
して指定されるステップと、 前記スライドカメラからの第２のビデオイメージをデジタル化して前記フレー
ムバッファに記憶するステップと、 前記デジタル化された第２のビデオイメージを前記フレームバッファから前記
プロセッサメモリにコピーし、前記コピーされた第２のイメージを対応する第２
のクロックタイムに関係付けをし、前記コピーされた第２のイメージが現在のイ
メージとして指定されるステップと をさらに含むことを特徴とする方法。 - 【請求項５】 請求項１において、前記ステップｃ）は、 前イメージおよび現在イメージの対応する閾値ボックス領域内にある、前記前
イメージと前記現在イメージとの間のすべてのピクセルの差である最大ピクセル
差を計算するステップであって、前記閾値ボックス内にモーションがないことが
予想されるステップと、 閾値と呼ばれる現在のビデオノイズレベルを判定するために、前記閾値バイア
スを前記最大ピクセル差に追加するステップと をさらに含むことを特徴とする方法。 - 【請求項６】 請求項１において、前記ステップｄ）は、 前記前イメージおよび前記現在イメージの対応する検索ボックス領域内で、前
記検索ボックスがモーションを評価されるイメージ領域を含み、それぞれのピク
セル差が前記閾値を超えるかどうかを判定するステップと、 前記検索ボックス内にある他のモーションが前記ブロックボックスに隣接して
いる場合を除き、モーションが無視される領域を含む前記現在イメージ内で、前
記ブロックボックスがブロックボックス領域を指定するステップと、 前記ブロックボックス領域内および前記ブロックボックス領域外で、１つ以上
のモーション境界ボックス領域を指定するステップと をさらに含み、 前記モーション境界ボックスは、前記閾値を超える前記検索ボックス内にある
すべてのピクセル差を含む最少サイズ矩形領域を含み、 前記ブロックボックス内にモーション境界ボックスが１つしかないときに、前
記検索ボックスはモーションがないとみなされ、 モーション境界ボックスが前記ブロックボックス外にあり、前記ブロックボッ
クス内にあるモーション境界ボックスに隣接しているときに、前記モーション境
界ボックスを単一の結合されたモーション境界ボックスに結合し、 前記結合されたモーション境界ボックス内にある前記閾値より上のピクセル差
数が、前記最小モーション値よりも大きい場合に、前記スライドイメージにモー
ションがあるとみなされ、前記現在イメージの時間がモーション時間として指定
される ことを特徴とする方法。 - 【請求項７】 請求項１において、前記ステップｅ）は、 前記モーション境界ボックス内のピクセルが無視される場合を除き、前記検索
ボックス内にある前記現在イメージの複数の各ピクセル走査ラインに沿って、ピ
クセル輝度値が突然変化した数をカウントするステップであって、 前記モーション境界ボックス外にある任意の前記ピクセル走査ライン上で輝度
が突然変化した前記数が、所定の最少エッジカウントを超える場合に、前記スラ
イドイメージがブランク状態でないとみなされ、 そうでない場合には、前記スライドイメージがブランク状態であるとみなされ
、 前記現在イメージが一方の状態から他方の状態に変わるときに、前記変化の時
間をモーション時間および変更時間の両方として指定するステップと、 現時点の現在イメージと以前のモーション時間および変更時間との間で経過し
た時間の差を計算するステップと をさらに含むことを特徴とする方法。 - 【請求項８】 請求項１において、前記ステップｆ）は、 前記モーションなし時間の所定の値を超えた時間間隔で前記スライドイメージ
がモーションなしの状態である場合に、前記スライドイメージを表示しないステ
ップと、 前記ブランクスクリーン時間の所定の値を超えた時間間隔で前記スライドイメ
ージがブランク状態である場合に、前記スライドイメージを表示しないステップ
と、 前記スライドイメージが表示されないときに、前記プレゼンタイメージのよう
な別のイメージを表示用に選択するステップと をさらに含むことを特徴とする方法。 - 【請求項９】 プレゼンタと視覚教具との複合イメージであって投影される
スライドイメージのような複合イメージを含み、遠隔位置に表示するためのプレ
ゼンテーションを自動的にビデオ記録する装置であって、 前記プレゼンタおよび前記視覚教具の両方ならびに前記オーディトリアム環境
を表示することが可能であり、対応するトラッキングビデオ信号をそれから生成
することが可能なトラッキングカメラと、 前記視覚教具を表示することが可能であり、対応するスライドビデオ信号をそ
れから生成することが可能なスライドカメラと、 前記トラッキングカメラの出力に接続されたビデオミキサと、 システムコンピュータであって、前記ビデオ記録装置をコントロールするプロ
セッサと、スライドフレームバッファと、スライドビデオアナログデジタルコン
バータとを備えたシステムコンピュータと をさらに備え、 前記トラッキングカメラは、スライドビデオ信号を生成し、前記ビデオミキサ
と、前記スライドビデオアナログデジタルコンバータに出力し 前記トラッキングおよびスライドビデオアナログデジタルコンバータは、前記
スライドビデオ信号をデジタル化し、前記デジタル化されたビデオ信号を前記ス
ライドフレームバッファにストアし、 前記プロセッサは、前記スライドフレームバッファにストアされた前記デジタ
ル化されたビデオ信号を解析し、前記ビデオミキサに対してイメージ選択命令を
生成し、前記トラッキングカメラへのコントロール命令も生成し、 前記ビデオミキサは、前記トラッキングカメラおよびスライドカメラから受け
取った前記トラッキングイメージおよびスライドビデオイメージを、前記イメー
ジ選択命令に従って前記遠隔の視聴者に表示するために個別または組み合わせて
選択し、 前記トラッキングカメラは、前記コントロール命令に従って前記プレゼンタを
表示するために任意選択で位置決めされ、 本装置は、完全に自動化され、オペレータを必要としない ことを特徴とする装置。 - 【請求項１０】 請求項９において、 前記トラッキングカメラのトラッキングビデオ信号出力に接続されたトラッキ
ングビデオ分配増幅器と、 前記スライドカメラのスライドビデオ信号出力に接続されたスライドビデオ分
配増幅器と をさらに備え、 前記ビデオミキサは、前記トラッキングビデオ分配増幅器の出力および前記ス
ライドビデオ分配増幅器の出力に接続され、 前記システムコンピュータは、トラッキングフレームバッファと、トラッキン
グビデオアナログデジタルコンバータとをさらに備え、 前記トラッキングカメラは、前記トラッキングビデオ信号を前記トラッキング
ビデオ分配増幅器に出力し、 前記スライドカメラは前記スライドビデオ信号を前記スライドビデオ分配増幅
器に出力する ことを特徴とする装置。 - 【請求項１１】 請求項９において、前記ビデオミキサは、前記トラッキン
グカメラおよびスライドカメラ以外のカメラソースから追加のビデオ信号入力を
受け取ることができることを特徴とする装置。 - 【請求項１２】 請求項９において、前記プロセッサからの前記イメージ選
択命令は、前記トラッキングカメラが位置を変更している間に、前記コントロー
ル命令に従って、前記ビデオミキサに対して前記トラッキングカメラビデオイメ
ージの選択を遅らせるように命令することを特徴とする装置。 - 【請求項１３】 請求項９において、 前記コンピュータは表示スクリーンをさらに備え、 前記プロセッサは、前記デジタル化されたビデオ信号の前記解析に関する情報
を、前記コンピュータ表示スクリーン上に表示するために展開する ことを特徴とする装置。 - 【請求項１４】 投影されるスライドイメージのような１つ以上の視覚教具
を含み、遠隔位置に表示するためのプレゼンテーションを自動的にビデオ記録す
る方法であって、 ａ）予め定めた初期設定パラメータおよびスライド解析基準を設定するステッ
プと、 ｂ）スライドカメラから得られるビデオフレームであるスライドイメージを収
集するステップと、 ｃ）現在のビデオノイズ閾値を決定するステップと、 ｄ）前記スライドイメージにモーションがあるかどうかを判定するステップと
、 ｅ）前記スライドイメージがブランクであるかどうかを判定するステップと、 ｆ）前記遠隔の視聴者に適正なイメージを選択し表示するステップと を含み、 前記スライドイメージは、モーションがあるときに選択され、 静止またはブランクのスライドイメージが避けられ、 本方法は、完全に自動化され、オペレータを必要としない ことを特徴とする方法。 - 【請求項１５】 請求項１４において、前記ステップａ）の初期設定パラメ
ータは、閾値バイアスと、最小モーションと、ブランクスクリーン時間と、モー
ションなし時間と、遷移ショット時間を含むことを特徴とする方法。 - 【請求項１６】 請求項１４において、前記ステップｂ）は、 前記スライドカメラからの第１のビデオイメージをデジタル化してフレームバ
ッファにストアするステップと、 前記デジタル化された第１のビデオイメージを前記フレームバッファからプロ
セッサメモリにコピーし、前記コピーされた第１のイメージを対応する第１のク
ロックタイムに関係付けをし、前記コピーされた第１のイメージが前イメージと
して指定されるステップと、 前記スライドカメラからの第２のビデオイメージをデジタル化して前記フレー
ムバッファにストアするステップと、 前記デジタル化された第２のビデオイメージを前記フレームバッファから前記
プロセッサメモリにコピーし、前記コピーされた第２のイメージを対応する第２
のクロックタイムに関係付けをし、前記コピーされた第２のイメージが現在イメ
ージとして指定されるステップと をさらに含むことを特徴とする方法。 - 【請求項１７】 請求項１４において、前記ステップｃ）は、 前イメージおよび現在イメージの対応する閾値ボックス領域内にある、前記前
イメージと前記現在イメージとの間のすべてのピクセルの差である最大ピクセル
差を計算するステップであって、前記閾値ボックス内にモーションがないことが
予想されるステップと、 閾値と呼ばれる現在のビデオノイズレベルを判定するために、前記閾値バイア
スを前記最大ピクセル差に追加するステップと をさらに含むことを特徴とする方法。 - 【請求項１８】 請求項１４において、前記ステップｄ）は、 前記前イメージおよび前記現在イメージの対応する検索ボックス領域内で、前
記検索ボックスがモーションを評価されるイメージ領域を含み、それぞれのピク
セル差が前記閾値を超えるかどうかの判定を、 前記検索ボックス内にある他のモーションが前記ブロックボックスに隣接して
いる場合を除き、前記ブロックボックスが、モーションが無視される領域を含む
前記現在イメージ内でブロックボックス領域を指定し、 前記ブロックボックス領域内および前記ブロックボックス領域外で、１つ以上
のモーション境界ボックス領域であって、前記閾値を超える前記検索ボックス内
にあるすべてのピクセル差を含む最少サイズ矩形領域を含むモーション境界ボッ
クスを指定する ことにより決定するステップを含み、 前記検索ボックスは、前記ブロックボックス内にモーション境界ボックスが１
つしかないときに、モーションがないとみなされ、 モーション境界ボックスが前記ブロックボックス外にあり、前記ブロックボッ
クス内にあるモーション境界ボックスに隣接しているときに、前記モーション境
界ボックスを単一の結合されたモーション境界ボックスに結合し、 前記結合されたモーション境界ボックス内にある前記閾値より上のピクセル差
数が、前記最小モーション値よりも大きい場合に、前記スライドイメージにモー
ションがあるとみなされ、前記現在イメージの時間がモーション時間として指定
される ことを特徴とする方法。 - 【請求項１９】 請求項１４において、前記ステップｅ）は、 前記モーション境界ボックス内のピクセルが無視される場合を除き、前記検索
ボックス内にある前記現在イメージの複数の各ピクセル走査ラインに沿って、ピ
クセル輝度値が突然変化した数をカウントするステップであって、 前記モーション境界ボックス外にある任意の前記ピクセル走査ライン上で輝度
が突然変化した前記数が、所定の最少エッジカウントを超える場合に、前記スラ
イドイメージがブランク状態でないとみなされ、 そうでない場合には、前記スライドイメージがブランク状態であるとみなされ
、 前記現在イメージが一方の状態から他方の状態に変わるときに、前記変化の時
間をモーション時間および変更時間の両方として指定するステップと、 現時点の現在イメージと以前のモーション時間および変更時間との間で経過し
た時間の差を計算するステップと をさらに含むことを特徴とする方法。 - 【請求項２０】 請求項１４において、前記ステップｆ）は、 前記モーションなし時間の所定の値を超えた時間間隔で前記スライドイメージ
がモーションなしの状態である場合に、前記スライドイメージを表示しないステ
ップと、 前記ブランクスクリーン時間の所定の値を超えた時間間隔で前記スライドイメ
ージがブランク状態である場合に、前記スライドイメージを表示しないステップ
と、 前記スライドイメージが表示されないときに、別のイメージを表示用に選択す
るステップとをさらに含む ことを特徴とする方法。 - 【請求項２１】 投影されるスライドイメージなどの１つ以上の視覚教具イ
メージが含まれ、遠隔位置に表示されるプレゼンテーションを自動的にビデオ記
録する装置であって、 前記視覚教具を表示することが可能であり、対応するスライドビデオ信号をそ
れから生成することが可能なスライドカメラと、 システムコンピューであって、前記ビデオ記録装置をコントロールするための
プロセッサと、スライドフレームバッファと、スライドビデオアナログデジタル
コンバータとを備えたシステムコンピュータと をさらに備え、 前記スライドカメラは、スライドビデオ信号を生成しテ、前記ビデオミキサに
出力し、前記スライドビデオアナログデジタルコンバータにも出力し、 前記スライドビデオアナログデジタルコンバータは、前記スライドビデオ信号
をデジタル化し、前記デジタル化されたビデオ信号を前記スライドフレームバッ
ファにストアし、 前記プロセッサは、前記スライドフレームバッファにストアされた前記デジタ
ル化されたビデオ信号を解析し、前記ビデオミキサへのイメージ選択命令を生成
し、 前記ビデオミキサは、前記スライドカメラから受け取った前記スライドビデオ
イメージを、前記イメージ選択命令に従って、前記遠隔の視聴者に表示するため
に選択し、 本装置は、完全に自動化され、オペレータを必要としない ことを特徴とする装置。 - 【請求項２２】 請求項２１において、前記スライドカメラのスライドビデ
オ信号出力に接続されたスライドビデオ分配増幅器と、 前記スライドビデオ分配増幅器の出力に接続されたビデオミキサと を備え、 前記スライドカメラは、前記スライドビデオ信号を前記スライドビデオ分配増
幅器に出力する ことを特徴とする装置。 - 【請求項２３】 請求項２１において、前記ビデオミキサは、前記スライド
カメラ以外のカメラソースから追加のビデオ信号入力を受け取ることができるこ
とを特徴とする装置。 - 【請求項２４】 請求項２１において、前記コンピュータは、表示スクリー
ンをさらに備え、 前記プロセッサは、前記デジタル化されたビデオ信号の前記解析に関する情報
を、前記コンピュータ表示スクリーン上に表示するために展開する ことを特徴とする装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/185,053 US6392694B1 (en) | 1998-11-03 | 1998-11-03 | Method and apparatus for an automatic camera selection system |
| US09/185,053 | 1998-11-03 | ||
| PCT/US1999/024084 WO2000027125A1 (en) | 1998-11-03 | 1999-10-14 | A method and apparatus for an automatic camera selection system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002529975A true JP2002529975A (ja) | 2002-09-10 |
| JP3619455B2 JP3619455B2 (ja) | 2005-02-09 |
Family
ID=22679371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000580385A Expired - Fee Related JP3619455B2 (ja) | 1998-11-03 | 1999-10-14 | 自動カメラ選択システムのための方法および装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6392694B1 (ja) |
| EP (1) | EP1051847A4 (ja) |
| JP (1) | JP3619455B2 (ja) |
| CA (1) | CA2316167C (ja) |
| WO (1) | WO2000027125A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004080750A (ja) * | 2002-06-19 | 2004-03-11 | Microsoft Corp | ホワイトボードおよび音声のキャプチャのためのシステムおよび方法 |
Families Citing this family (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4157234B2 (ja) * | 1999-09-02 | 2008-10-01 | 株式会社東芝 | 動画像内の移動物体検出装置 |
| US7299405B1 (en) * | 2000-03-08 | 2007-11-20 | Ricoh Company, Ltd. | Method and system for information management to facilitate the exchange of ideas during a collaborative effort |
| US7653925B2 (en) * | 1999-11-17 | 2010-01-26 | Ricoh Company, Ltd. | Techniques for receiving information during multimedia presentations and communicating the information |
| GR20000100267A (el) * | 2000-08-01 | 2002-05-24 | Θεοδωρου Χρηστος Μαγκος | Αμφιδρομη επικοινωνια εικονικου χαρακτηρα με τους θεατες |
| US6894714B2 (en) * | 2000-12-05 | 2005-05-17 | Koninklijke Philips Electronics N.V. | Method and apparatus for predicting events in video conferencing and other applications |
| US20030200553A1 (en) * | 2002-04-18 | 2003-10-23 | Cole James R | Method and system for showing a presentation to a local and a remote audience |
| US7349008B2 (en) * | 2002-11-30 | 2008-03-25 | Microsoft Corporation | Automated camera management system and method for capturing presentations using videography rules |
| US6789903B2 (en) * | 2003-02-18 | 2004-09-14 | Imatte, Inc. | Generating an inhibit signal by pattern displacement |
| US20050134685A1 (en) * | 2003-12-22 | 2005-06-23 | Objectvideo, Inc. | Master-slave automated video-based surveillance system |
| US7643055B2 (en) * | 2003-04-25 | 2010-01-05 | Aptina Imaging Corporation | Motion detecting camera system |
| GB2404297B (en) * | 2003-07-24 | 2007-12-05 | Hewlett Packard Development Co | Editing multiple camera outputs |
| US20100013917A1 (en) * | 2003-08-12 | 2010-01-21 | Keith Hanna | Method and system for performing surveillance |
| US20050104958A1 (en) * | 2003-11-13 | 2005-05-19 | Geoffrey Egnal | Active camera video-based surveillance systems and methods |
| US7689712B2 (en) | 2003-11-26 | 2010-03-30 | Ricoh Company, Ltd. | Techniques for integrating note-taking and multimedia information |
| US7512883B2 (en) * | 2004-06-30 | 2009-03-31 | Microsoft Corporation | Portable solution for automatic camera management |
| US7643056B2 (en) * | 2005-03-14 | 2010-01-05 | Aptina Imaging Corporation | Motion detecting camera system |
| US7554576B2 (en) * | 2005-06-20 | 2009-06-30 | Ricoh Company, Ltd. | Information capture and recording system for controlling capture devices |
| US8805929B2 (en) * | 2005-06-20 | 2014-08-12 | Ricoh Company, Ltd. | Event-driven annotation techniques |
| US9363487B2 (en) * | 2005-09-08 | 2016-06-07 | Avigilon Fortress Corporation | Scanning camera-based video surveillance system |
| US20070058717A1 (en) * | 2005-09-09 | 2007-03-15 | Objectvideo, Inc. | Enhanced processing for scanning video |
| JP4770493B2 (ja) * | 2006-02-02 | 2011-09-14 | 富士ゼロックス株式会社 | 遠隔指示システム及び遠隔指示方法 |
| US7733367B2 (en) * | 2006-02-21 | 2010-06-08 | Lynn Kenneth Packer | Method and system for audio/video capturing, streaming, recording and playback |
| JP5200341B2 (ja) * | 2006-06-28 | 2013-06-05 | 富士ゼロックス株式会社 | 遠隔指示システム及び遠隔指示方法 |
| JP2009094867A (ja) * | 2007-10-10 | 2009-04-30 | Fuji Xerox Co Ltd | 情報処理装置、遠隔指示システム及び制御プログラム |
| EP2107798B1 (en) * | 2008-04-04 | 2010-12-08 | Sony Corporation | Imaging apparatus, image processing apparatus, and exposure control method |
| US8144241B2 (en) | 2008-04-04 | 2012-03-27 | Sony Corporation | Imaging apparatus, image processing apparatus, and exposure control method |
| US10831093B1 (en) * | 2008-05-19 | 2020-11-10 | Spatial Cam Llc | Focus control for a plurality of cameras in a smartphone |
| US9171221B2 (en) * | 2010-07-18 | 2015-10-27 | Spatial Cam Llc | Camera to track an object |
| US20110098083A1 (en) * | 2008-05-19 | 2011-04-28 | Peter Lablans | Large, Ultra-Thin And Ultra-Light Connectable Display For A Computing Device |
| JP2010124120A (ja) * | 2008-11-18 | 2010-06-03 | Fujinon Corp | オートフォーカスシステム |
| US8380866B2 (en) * | 2009-03-20 | 2013-02-19 | Ricoh Company, Ltd. | Techniques for facilitating annotations |
| WO2012053002A1 (en) * | 2010-10-18 | 2012-04-26 | Tata Consultancy Services Limited | Multimedia presentation content synthesis |
| US9716858B2 (en) * | 2011-03-07 | 2017-07-25 | Ricoh Company, Ltd. | Automated selection and switching of displayed information |
| GB2511668A (en) * | 2012-04-12 | 2014-09-10 | Supercell Oy | System and method for controlling technical processes |
| US20150304571A1 (en) * | 2012-11-26 | 2015-10-22 | Golden Boy Technology & Innovation S.R.L. | Automated filming process for sport events |
| US9270941B1 (en) * | 2015-03-16 | 2016-02-23 | Logitech Europe S.A. | Smart video conferencing system |
| WO2017065503A1 (ko) * | 2015-10-15 | 2017-04-20 | (주)노바빈 | 분산형 멀티미디어 편집 시스템 및 편집방법 |
| US10637933B2 (en) | 2016-05-26 | 2020-04-28 | Logitech Europe S.A. | Method and apparatus for transferring information between electronic devices |
| US9549153B1 (en) | 2016-05-26 | 2017-01-17 | Logitech Europe, S.A. | Method and apparatus for facilitating setup, discovery of capabilites and interaction of electronic devices |
| KR102472801B1 (ko) | 2016-10-12 | 2022-12-01 | 천종윤 | 분산형 멀티미디어 편집 시스템 및 편집방법 |
| US9798933B1 (en) | 2016-12-12 | 2017-10-24 | Logitech Europe, S.A. | Video conferencing system and related methods |
| US10115396B2 (en) | 2017-01-03 | 2018-10-30 | Logitech Europe, S.A. | Content streaming system |
| US10789038B2 (en) | 2018-07-20 | 2020-09-29 | Logitech Europe S.A. | Content streaming apparatus and method |
| US11088861B2 (en) | 2019-08-16 | 2021-08-10 | Logitech Europe S.A. | Video conference system |
| US11038704B2 (en) | 2019-08-16 | 2021-06-15 | Logitech Europe S.A. | Video conference system |
| US11095467B2 (en) | 2019-08-16 | 2021-08-17 | Logitech Europe S.A. | Video conference system |
| US11258982B2 (en) | 2019-08-16 | 2022-02-22 | Logitech Europe S.A. | Video conference system |
| US11218632B2 (en) * | 2019-11-01 | 2022-01-04 | Qualcomm Incorporated | Retractable panoramic camera module |
| US10972655B1 (en) | 2020-03-30 | 2021-04-06 | Logitech Europe S.A. | Advanced video conferencing systems and methods |
| US10965908B1 (en) | 2020-03-30 | 2021-03-30 | Logitech Europe S.A. | Advanced video conferencing systems and methods |
| US10904446B1 (en) | 2020-03-30 | 2021-01-26 | Logitech Europe S.A. | Advanced video conferencing systems and methods |
| US10951858B1 (en) | 2020-03-30 | 2021-03-16 | Logitech Europe S.A. | Advanced video conferencing systems and methods |
| US11562638B2 (en) | 2020-08-24 | 2023-01-24 | Logitech Europe S.A. | Electronic system and method for improving human interaction and activities |
| US11418559B2 (en) | 2020-09-21 | 2022-08-16 | Logitech Europe S.A. | Content distribution system |
| US11445457B2 (en) | 2020-09-21 | 2022-09-13 | Logitech Europe S.A. | Content distribution system |
| US11350029B1 (en) | 2021-03-29 | 2022-05-31 | Logitech Europe S.A. | Apparatus and method of detecting and displaying video conferencing groups |
| NL2029537B1 (en) | 2021-10-28 | 2023-05-26 | Avivest Holding B V | A system, method, and controller for providing an output video signal for recording and/or streaming of a presentation given by a presenter in front of an audience |
| CN114359265B (zh) * | 2022-03-04 | 2022-05-24 | 广东顺德富意德智能包装科技有限公司 | 一种基于目标跟踪的螺丝计数方法及系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4516156A (en) * | 1982-03-15 | 1985-05-07 | Satellite Business Systems | Teleconferencing method and system |
| US5610653A (en) | 1992-02-07 | 1997-03-11 | Abecassis; Max | Method and system for automatically tracking a zoomed video image |
| WO1994017636A1 (en) | 1993-01-29 | 1994-08-04 | Bell Communications Research, Inc. | Automatic tracking camera control system |
| US5767897A (en) * | 1994-10-31 | 1998-06-16 | Picturetel Corporation | Video conferencing system |
| US5990931A (en) * | 1996-04-10 | 1999-11-23 | Vtel Corporation | Automatic display update of still frame images for videoconferencing |
| US5859623A (en) | 1996-05-14 | 1999-01-12 | Proxima Corporation | Intelligent display system presentation projection arrangement and method of using same |
| US5828769A (en) | 1996-10-23 | 1998-10-27 | Autodesk, Inc. | Method and apparatus for recognition of objects via position and orientation consensus of local image encoding |
| US5845009A (en) | 1997-03-21 | 1998-12-01 | Autodesk, Inc. | Object tracking system using statistical modeling and geometric relationship |
| US5898459A (en) | 1997-03-26 | 1999-04-27 | Lectrolarm Custom Systems, Inc. | Multi-camera programmable pan-and-tilt apparatus |
-
1998
- 1998-11-03 US US09/185,053 patent/US6392694B1/en not_active Expired - Lifetime
-
1999
- 1999-10-14 EP EP99956564A patent/EP1051847A4/en not_active Ceased
- 1999-10-14 CA CA002316167A patent/CA2316167C/en not_active Expired - Fee Related
- 1999-10-14 WO PCT/US1999/024084 patent/WO2000027125A1/en not_active Application Discontinuation
- 1999-10-14 JP JP2000580385A patent/JP3619455B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004080750A (ja) * | 2002-06-19 | 2004-03-11 | Microsoft Corp | ホワイトボードおよび音声のキャプチャのためのシステムおよび方法 |
| JP4499380B2 (ja) * | 2002-06-19 | 2010-07-07 | マイクロソフト コーポレーション | ホワイトボードおよび音声のキャプチャのためのシステムおよび方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3619455B2 (ja) | 2005-02-09 |
| WO2000027125A1 (en) | 2000-05-11 |
| US6392694B1 (en) | 2002-05-21 |
| CA2316167C (en) | 2003-09-30 |
| EP1051847A1 (en) | 2000-11-15 |
| EP1051847A4 (en) | 2004-12-22 |
| CA2316167A1 (en) | 2000-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3619455B2 (ja) | 自動カメラ選択システムのための方法および装置 | |
| US5434617A (en) | Automatic tracking camera control system | |
| US5444476A (en) | System and method for teleinteraction | |
| US6331848B1 (en) | Projection display system | |
| JP3909554B2 (ja) | プレゼンテーション制御システム及びその制御方法 | |
| KR100452413B1 (ko) | 컴퓨터-생성 투사 영상의 캘리브레이션을 위한 방법 및 장치 | |
| US6431711B1 (en) | Multiple-surface display projector with interactive input capability | |
| US7248294B2 (en) | Intelligent feature selection and pan zoom control | |
| US20060005136A1 (en) | Portable solution for automatic camera management | |
| KR20020077449A (ko) | 비디오 컨텐츠 분석에 기초한 픽쳐 인 픽쳐 위치 이동및/또는 크기 변경 | |
| US6563528B2 (en) | Video conference system | |
| US20060082663A1 (en) | Video camera | |
| US20130162518A1 (en) | Interactive Video System | |
| KR101287019B1 (ko) | 판서 내용도 함께 촬영하여 제공하는 판서 기반 강의촬영 시스템 | |
| US11831974B2 (en) | Zone-adaptive video generation | |
| US11003062B2 (en) | Information processing device, method of information processing, and image display system | |
| JP3784964B2 (ja) | 書画カメラ付きデータプロジェクタ | |
| JP2004289779A (ja) | 移動体撮像方法、移動体撮像システム | |
| Zhang et al. | Hybrid speaker tracking in an automated lecture room | |
| JPH0962444A (ja) | 指示情報入力装置 | |
| JP4195844B2 (ja) | 移動可能な移動体撮像装置 | |
| JP4396092B2 (ja) | コンピュータ援用ミーティングキャプチャシステム、コンピュータ援用ミーティングキャプチャ方法、及びコントロールプログラム | |
| JP4595322B2 (ja) | 画像処理システム、リモートコントローラおよび方法、画像処理装置および方法、記録媒体、並びにプログラム | |
| JPS6231272A (ja) | 雲台制御装置 | |
| JP3033619B2 (ja) | テレビ会議システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040402 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20040702 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20040722 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041004 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041004 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041029 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041112 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |