JP2000232642A - 画像処理装置および方法、撮像システム、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 照明の状態または画像内の対象物の見え方が
変化しても、対象物を追従できるようにする。 【解決手段】 対象物を追従して撮像するビデオカメラ
を制御するパーソナルコンピュータは、所定の枠１３２
内の、入力された画像の画素の画素値を基に、対象物の
画像１３１の位置を検出し、検出された対象物の画像１
３１の位置を基に、枠１３２の位置を修正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び方法、撮像システム、並びに提供媒体に関し、特に、
所定の対象物を追尾して撮像し、または撮像させる画像
処理装置および方法、撮像システム、並びに提供媒体に
関する。

【０００２】

【従来の技術】遠隔施設の警備またはプラントの保守な
どを目的とし、選択した人物または設備などの所定の対
象物を追尾して撮像するビデオカメラが利用されてい
る。このビデオカメラは、選択した対象物の画像の画素
の画素値と撮像した画像内の画素の画素値のマッチング
により、画像内の対象物の位置を算出し、対象物が撮像
した画像の中央に位置するように、撮像の視点を変更す
る。

【０００３】

【発明が解決しようとする課題】日射若しくは照明の状
態の変化、または対象物の移動により、ビデオカメラが
撮像する画像内の対象物の見え方が変化し、ビデオカメ
ラが設定した対象物を追従できなくなることがあった。

【０００４】本発明はこのような状況に鑑みてなされた
ものであり、日射若しくは照明の状態、または画像内の
対象物の見え方が変化しても、設定した対象物を追従で
きるようにすることを目的とする。

【０００５】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、所定の検出範囲の、入力された画像の画素の
画素値を基に、対象物の画像の位置を検出する検出手段
と、検出された対象物の画像の位置を基に、検出手段の
検出範囲を修正する検出範囲修正手段とを含むことを特
徴とする。

【０００６】請求項４に記載の画像処理方法は、所定の
検出範囲の、入力された画像の画素の画素値を基に、対
象物の画像の位置を検出する検出ステップと、検出され
た対象物の画像の位置を基に、検出ステップでの検出範
囲を修正する検出範囲修正ステップとを含むことを特徴
とする。

【０００７】請求項５に記載の提供媒体は、画像処理装
置に、所定の検出範囲の、入力された画像の画素の画素
値を基に、対象物の画像の位置を検出する検出ステップ
と、検出された対象物の画像の位置を基に、検出ステッ
プでの検出範囲を修正する検出範囲修正ステップとを含
む処理を実行させるコンピュータが読み取り可能なプロ
グラムを提供することを特徴とする。

【０００８】請求項６に記載の撮像システムは、撮像手
段が、対象物を撮像する撮像手段と、撮像手段を所定の
方向に指向させる指向手段とを含み、画像処理装置が、
所定の検出範囲の、入力された画像の画素の画素値を基
に、対象物の画像の位置を検出する検出手段と、検出さ
れた対象物の画像の位置を基に、検出手段の検出範囲を
修正する検出範囲修正手段と、検出手段が検出した対象
物の画像の位置を基に、撮像装置に撮像する位置を指示
する指示手段とを含むことを特徴とする。

【０００９】請求項７に記載の撮像システムは、撮像手
段が、対象物を撮像する撮像手段と、撮像手段を所定の
方向に指向させる指向手段とを含み、第１の情報処理装
置が、所定の検出範囲の、入力された画像の画素の画素
値を基に、対象物の画像の位置を検出する検出手段と、
検出された対象物の画像の位置を基に、検出手段の検出
範囲を修正する検出範囲修正手段と、検出手段が検出し
た対象物の画像の位置を基に、撮像装置に撮像する位置
を指示する指示手段と、第２の情報処理装置に対象物の
画像を送信し、第２の情報処理装置から検出範囲を受信
する第１の通信手段とを含み、第２の情報処理装置が、
第１の情報処理装置から対象物の画像を受信し、第１の
情報処理装置に検出範囲を送信する第２の通信手段を含
むことを特徴とする。

【００１０】請求項１に記載の画像処理装置、請求項４
に記載の画像処理方法、および請求項５に記載の提供媒
体においては、所定の検出範囲の、入力された画像の画
素の画素値を基に、対象物の画像の位置が検出され、検
出された対象物の画像の位置を基に、検出範囲が修正さ
れる。

【００１１】請求項６に記載の撮像システムにおいて
は、対象物が撮像され、撮像手段が所定の方向に指向さ
れ、所定の検出範囲の、入力された画像の画素の画素値
を基に、対象物の画像の位置が検出され、検出された対
象物の画像の位置を基に、検出範囲が修正され、検出し
た対象物の画像の位置を基に、撮像する位置が指示され
る。

【００１２】請求項７に記載の撮像システムにおいて
は、対象物が撮像され、撮像手段が所定の方向に指向さ
れ、所定の検出範囲の、入力された画像の画素の画素値
を基に、対象物の画像の位置が検出され、検出された対
象物の画像の位置を基に、検出範囲が修正され、検出し
た対象物の画像の位置を基に、撮像する位置が指示さ
れ、第２の情報処理装置に対象物の画像が送信され、第
２の情報処理装置から検出範囲が受信され、第１の情報
処理装置から対象物の画像が受信され、第１の情報処理
装置に検出範囲が送信される。

【００１３】

【発明の実施の形態】図１は、本発明に係る自動追尾撮
像システムの一実施の形態を示す図である。ビデオカメ
ラ１は、所定の対象物の画像を常にモニタ３の中央に表
示させるように、パーソナルコンピュータ２から供給さ
れる制御信号により制御され、ビデオカメラ１の状態を
示す制御信号およびビデオカメラ１が撮像した画像に対
応するビデオ信号をパーソナルコンピュータ２に供給す
る。

【００１４】パーソナルコンピュータ２は、ビデオカメ
ラ１から供給されたビデオ信号を基に、撮像の対象とし
て選択されている人物または機械などの対象物の位置を
算出し、ビデオカメラ１に撮像する位置を指示する制御
信号を供給する。また、パーソナルコンピュータ２は、
ビデオカメラ１が撮像した画像を含む画像をモニタ３に
表示させるビデオ信号を供給する。

【００１５】モニタ３は、パーソナルコンピュータ２か
ら供給されたビデオ信号を基に、ビデオカメラ１が撮像
した、追従する対象物の画像を含む画像を表示する。

【００１６】図２は、ビデオカメラ１の構成を説明する
ブロック図である。ビデオカメラ１は、被写体（対象物
を含む）の画像を撮像し、撮像した被写体の画像に対応
するビデオ信号を出力するカメラ部１１、並びにカメラ
部１１の画角、およびカメラ部１１の光軸とビデオカメ
ラ１の据え付けられている位置を基準とする基準線との
角度を変化させ、カメラ部１１の光軸を被写体に追従さ
せるパンチルタ部１２から構成されている。

【００１７】カメラ部１１は、レンズブロック２１、Ｃ
ＣＤ(Charge Coupled Device)２２、信号分離／自動利
得調整回路（ＳＨ／ＡＧＣ）２３、Ａ／Ｄ(Analog/digi
tal)変換回路２４、および信号処理回路２５から構成さ
れ、被写体からの光を撮像し、入射した光に対応するビ
デオ信号を出力する。

【００１８】レンズブロック２１は、ズームレンズ３
１、アイリス３２、およびズーム用モータ３３などから
構成されている。ズームレンズ３１は、ズーム用モータ
３３に駆動され、図中の左右方向の位置が変化し、カメ
ラ部１１の画角を変更させる。アイリス３２は、いわゆ
るオートアイリス（ＡＥ）機構を構成し、ＣＣＤ２２が
受光する光量を適切な値に調整する。ズーム用モータ３
３は、パンチルタ部１２のカメラコントローラ４４から
供給される信号に基づき、ズームレンズ３１を図中の左
右方向に駆動する。

【００１９】ＣＣＤ２２は、レンズブロック２１を介し
て、ＣＣＤ２２上に結像した被写体からの光に対応した
画像信号を信号分離／自動利得調整回路２３に供給す
る。信号分離／自動利得調整回路２３は、ＣＣＤ２２か
ら供給された画像信号を、サンプルホールドし、レンズ
ブロック２１のオートアイリス機構からの信号によっ
て、所定の利得ゲインを持つように利得制御し、Ａ／Ｄ
変換回路２４に出力する。

【００２０】Ａ／Ｄ変換回路２４は、信号分離／自動利
得調整回路２３から供給されたアナログの画像信号を、
所定のクロック信号に従って、Ａ／Ｄ変換し、入力され
たアナログの画像信号に対応するデジタルビデオデータ
を出力する。なお、Ａ／Ｄ変換回路２４がＡ／Ｄ変換を
行うために用いる基準電圧は、図示せぬオートホワイト
バランス機構から供給され、これにより、ホワイトバラ
ンスが適正に調整される。

【００２１】信号処理回路２５は、Ａ／Ｄ変換回路２４
から供給されたデジタルビデオデータを基に、そのデジ
タルビデオデータに対応する輝度信号Ｙ、およびクロマ
信号Ｃから構成される、所定の方式のビデオ信号を生成
し、パーソナルコンピュータ２に出力する。

【００２２】パンチルタ部１２は、パンチルタ４１、パ
ン用モータ４２、チルト用モータ４３、カメラコントロ
ーラ４４、パンチルタコントローラ４５、およびモード
コントローラ４６から構成され、カメラ部１１を、所定
の角度の範囲で、ビデオカメラ１の所定の位置を軸に、
カメラ部１１が出力するビデオ信号に対応する画像に対
し左右の方向に回動させ（いわゆる、パンさせ）、若し
くはカメラ部１１が出力するビデオ信号に対応する画像
に対し上下の方向に回動させ（いわゆる、チルトさ
せ）、またはカメラ部１１の画角を制御する。

【００２３】パンチルタ４１は、カメラ部１１が固定さ
れ、パン用モータ４２の回転に対応し、カメラ部１１を
パンする。また、パンチルタ４１は、チルト用モータ４
３の回転に対応し、カメラ部１１をチルトする。

【００２４】パン用モータ４２は、ステッピングモータ
またはサーボモータなどで構成され、パンチルタコント
ローラ４５から供給される信号に基づき、所定の回転数
および角度で、正転または逆転し、パンチルタ４１をパ
ンさせる。チルト用モータ４３は、ステッピングモータ
またはサーボモータなどで構成され、パンチルタコント
ローラ４５から供給される信号に基づき、所定の回転数
および角度で、正転または逆転し、パンチルタ４１をチ
ルトさせる。

【００２５】カメラコントローラ４４は、モードコント
ローラ４６から供給される制御信号に基づき、レンズブ
ロック２１に、ズームおよびオートアイリス機構を制御
する信号を供給し、レンズブロック２１の状態を示す信
号をモードコントローラ４６に供給する。パンチルタコ
ントローラ４５は、モードコントローラから供給される
制御信号に基づき、パン用モータ４２およびチルト用モ
ータ４３に駆動用の信号を供給し、パンチルタ４１の状
態を示す信号をモードコントローラ４６に供給する。

【００２６】モードコントローラ４６は、パーソナルコ
ンピュータ２から供給された制御信号を基に、カメラコ
ントローラ４４に、レンズブロック２１を制御するため
の制御信号を供給し、パンチルタコントローラ４５に、
パンチルタ４１のパンまたはチルトを制御するための制
御信号を供給する。また、モードコントローラ４６は、
カメラコントローラ４４から供給された、レンズブロッ
ク２１の状態を示す状態を示す信号、およびパンチルタ
コントローラ４５から供給された、パンチルタ４１のパ
ンまたはチルトの状態を示す信号を基に、ビデオカメラ
１の状態を示す信号をパーソナルコンピュータ２に供給
する。

【００２７】図３は、パーソナルコンピュータ２の構成
を示すブロック図である。ＣＰＵ（central processing
unit）６１は、各種アプリケーションプログラムや、
基本的なＯＳ（operating system)を実際に実行する。
ＲＯＭ（read-only memory）６２は、一般的には、ＣＰ
Ｕ６１が使用するプログラムや演算用のパラメータのう
ちの基本的に固定のデータを格納する。ＲＡＭ（random
-access memory）６３は、ＣＰＵ６１の実行において使
用するプログラムや、その実行において適宜変化するパ
ラメータを格納する。これらはバス６４により相互に接
続されている。

【００２８】キーボード６６は、ＣＰＵ６１に各種の指
令を入力するとき、ユーザにより操作される。マウス６
７は、モニタ３の画面上のポイントの指示や選択を行う
とき、ユーザにより操作される。ＨＤＤ（hard disk dr
ive）６８とＦＤＤ（floppydisk drive）６９は、それ
ぞれハードディスクまたはフロッピーディスクを駆動
し、それらにＣＰＵ６１によって実行するプログラムや
情報を記録または再生させる。

【００２９】ビデオキャプチャボード７０は、ビデオカ
メラ１から供給されたビデオ信号に対応する所定の静止
画像のデジタルデータを生成し、ＲＡＭ６３に供給す
る。ＲＡＭ６３は、所定の領域に、画素単位で静止画像
のデジタルデータを記憶する。

【００３０】これらのキーボード６６乃至ＲＳ２３２Ｃ
ポート７１は、インターフェース６５に接続されてお
り、インターフェース６５はバス６４を介してＣＰＵ６
１に接続されている。インターフェース６５は、モニタ
３に所定の画像を表示させるビデオ信号を供給する。

【００３１】図４は、モニタ３の画面の表示例を示す図
である。ウィンドウ１０１は、人物または機械などの対
象物の画像を含んだ、ビデオカメラ１が撮像した画像を
表示する。チルトバー１０２のボタンが図中の上にドラ
ッグされると、ビデオカメラ１のパンチルタ４１が上に
チルトされ、ビデオカメラ１は、より上方の画像を撮像
し、チルトバー１０２のボタンが図中の下にドラッグさ
れると、ビデオカメラ１のパンチルタ４１が下にチルト
され、ビデオカメラ１は、より下方の画像を撮像する。

【００３２】パンバー１０３のボタンが図中の右にドラ
ッグされると、ビデオカメラ１のパンチルタ４１が所定
の方向にパンされ、例えば、ビデオカメラ１は、ウィン
ドウ１０１に表示される画像に対し、より右側の画像を
撮像し、パンバー１０３のボタンが図中の左にドラッグ
されると、ビデオカメラ１のパンチルタ４１が他の方向
にパンされ、ビデオカメラ１は、ウィンドウ１０１に表
示される画像に対し、より左側の画像を撮像する。

【００３３】ズームバー１０４のボタンが図中の上にド
ラッグされると、ビデオカメラ１のズームレンズ３１が
所定の方向に駆動され、ビデオカメラ１は、より画角の
狭い画像を撮像し（いわゆる望遠になる）、ズームバー
１０４のボタンが図中の下にドラッグされると、ビデオ
カメラ１のズームレンズ３１が他の方向に駆動され、ビ
デオカメラ１は、より画角の広い画像を撮像する（いわ
ゆる広角になる）。

【００３４】方向ボタン１０５または方向ボタン１０６
をクリックすると、ビデオカメラ１は、チルトバー１０
２のボタンを上または下にドラッグさせたときと、同じ
動作を実行する。方向ボタン１０７または方向ボタン１
０８をクリックすると、ビデオカメラ１は、パンバー１
０３のボタンを左または右にドラッグさせたときと、同
じ動作を実行する。ホームボタン１０９をクリックする
と、ビデオカメラ１のパンチルタ４１は、予め設定され
た角度（ホームポジション）に設定される。

【００３５】フレームレートバー１１０のボタンが図中
の右または左にドラッグされると、パーソナルコンピュ
ータ２のビデオキャプチャボード７０が所定の時間に生
成する静止画像の枚数の設定が変更され、ウィンドウ１
０１に表示されるビデオカメラ１が撮像した画像を更新
するタイミングが変化する。フレームレートバー１１０
に代えて、ビデオキャプチャボード７０が所定の時間に
生成する静止画像の所定の枚数に、それぞれ対応する所
定の数のボタンを表示するようにしてもよい。

【００３６】自動追尾ＯＮボタン１１１がクリックされ
ると、パーソナルコンピュータ２は、ビデオカメラ１に
パンチルタ４１の移動量を示すデータおよび自動追尾コ
マンドを送信する。自動追尾ＯＦＦボタン１１２がクリ
ックされると、パーソナルコンピュータ２は、自動追尾
コマンドの送信を停止する。

【００３７】図５は、自動追尾する人物または機械など
の対象物を設定するときの、モニタ３が表示するウィン
ドウ１０１の画面の例を説明する図である。対象物の画
像１３１をクリックして、自動追尾する対象物を選択す
ると、対象物の画像１３１を囲む枠１３２（予め、幅お
よび高さが設定されている）がモニタ３に表示される。
パーソナルコンピュータ２は、枠１３２内部の対象物の
画像１３１の輪郭を抽出し、対象物の画像１３１の重心
を算出する。

【００３８】図６は、自動追尾する人物または機械など
の対象物を設定したときの、モニタ３が表示するウィン
ドウ１０１の画面の例を説明する図である。パーソナル
コンピュータ２が、枠１３２内部の対象物の画像１３１
の輪郭を抽出したとき、対象物の画像１３１の輪郭を指
示する輪郭線１５１がモニタ３に表示される。

【００３９】対象物の画像１３１の輪郭を指示する輪郭
線１５１がモニタ３に表示されている場合、自動追尾Ｏ
Ｎボタン１１１がクリックされたとき、パーソナルコン
ピュータ２は、ビデオカメラ１から供給されたビデオ信
号を基に、所定の数の静止画像（所定の数のフレームま
たはフィールドに対応している）を生成し、それぞれの
静止画像内の対象物の画像１３１の重心の位置を示す追
尾データを算出する。パーソナルコンピュータ２は、画
像内の対象物の画像１３１の重心の位置から、ビデオカ
メラ１をパンまたはチルトさせる量を示すデータを演算
し、自動追尾コマンドと共にビデオカメラ１に送信す
る。

【００４０】ビデオカメラ１は、パーソナルコンピュー
タ２から供給されたパンまたはチルトさせる量を示すデ
ータを基に、パンまたはチルトすることにより、対象物
を追尾し、対象物の画像１３１が中央に位置する画像を
表示させるビデオ信号をパーソナルコンピュータ２に供
給する。

【００４１】次に、パーソナルコンピュータ２の自動追
尾の処理を図７のフローチャートを参照に説明する。ス
テップＳ１１において、パーソナルコンピュータ２のＣ
ＰＵ６１は、ＨＤＤ６８に記憶されているカメラ制御プ
ログラムを起動し、初期化する。ステップＳ１２におい
て、パーソナルコンピュータ２のＣＰＵ６１は、ＨＤＤ
６８に記憶されている輪郭抽出プログラムを起動し、初
期化する。

【００４２】ステップＳ１３において、パーソナルコン
ピュータ２のＣＰＵ６１は、ビデオキャプチャボード７
０に、ビデオカメラ１から供給されたビデオ信号に対応
する静止画像のデジタルデータを生成させ、インターフ
ェース６５を介して、所定のビデオ信号をモニタ３に供
給し、モニタ３の画像のウィンドウ１０１にデジタルデ
ータに対応する画像を表示させる。

【００４３】ステップＳ１４において、パーソナルコン
ピュータ２のＣＰＵ６１は、マウス６７から供給された
データを基に、モニタ３の画像のウィンドウ１０１に表
示されている画像に含まれる所定の対象物の画像１３１
が選択されたか否かを判定し、ウィンドウ１０１に表示
されている画像に含まれる所定の対象物の画像１３１が
選択されたと判定された場合、ステップＳ１５に進み、
ＲＡＭ６３の所定の記憶領域に記憶されている、ビデオ
キャプチャボード７０に生成させた静止画像のフレーム
番号をクリアする。

【００４４】ステップＳ１６において、パーソナルコン
ピュータ２のＣＰＵ６１は、マウス６７に指定された所
定の位置を中心とした、予め設定された大きさを有する
枠１３２を設定する。

【００４５】ステップＳ１７において、パーソナルコン
ピュータ２のＣＰＵ６１は、ステップＳ１６で設定した
枠１３２の内部の対象物の画像１３１の画素値に、平滑
化および２値化などの前処理を実行した後、画像１３１
の輪郭を抽出し、モニタ３に輪郭線１５１を表示させ
る。

【００４６】ステップＳ１８において、パーソナルコン
ピュータ２のＣＰＵ６１は、ＲＡＭ６３の所定の記憶領
域に記憶されている、ビデオキャプチャボード７０に生
成させた静止画像のフレーム番号をインクリメントす
る。ステップＳ１９において、パーソナルコンピュータ
２のＣＰＵ６１は、枠１３２内部の対象物の画像１３１
の重心の位置を示すデータである追尾データを算出す
る。

【００４７】ステップＳ２０において、パーソナルコン
ピュータ２のＣＰＵ６１は、ＲＡＭ６３の所定の記憶領
域に、ステップＳ１９で算出された追尾データおよびス
テップＳ１９でインクリメントされたフレーム番号を記
憶させる。

【００４８】ステップＳ２１において、パーソナルコン
ピュータ２のＣＰＵ６１は、ＲＡＭ６３の所定の記憶領
域に記憶されているフレーム番号と予め記憶されている
設定値が等しいか否かを判定し、ＲＡＭ６３の所定の記
憶領域に記憶されているフレーム番号と予め記憶されて
いる設定値が等しいと判定された場合、所定の数のフレ
ームに対して、追尾データが算出されたので、ステップ
Ｓ２２に進み、追尾データの平均値を求める。

【００４９】ステップＳ２１において、ＲＡＭ６３の所
定の記憶領域に記憶されているフレーム番号と予め記憶
されている設定値が等しくないと判定された場合、所定
の数のフレームに対して、追尾データが算出されていな
いので、ステップＳ１６に戻り、新たな静止画像を基に
した追尾データを作成する処理が繰り返される。このと
き、ステップＳ１６における、ＣＰＵ６１の枠１３２を
設定する処理は、ステップＳ１９で算出された枠１３２
内部の対象物の画像１３１の重心が基準とされる。

【００５０】ステップＳ２３において、パーソナルコン
ピュータ２のＣＰＵ６１は、ステップＳ２２で算出され
た追尾データの平均値を基に、パンチルタ４１の移動量
を算出する。ステップＳ２４において、パーソナルコン
ピュータ２のＣＰＵ６１は、ＲＳ２３２Ｃポート７１を
介して、ステップＳ２３で算出されたパンチルタ４１の
移動量をビデオカメラ１に送信する。

【００５１】ステップＳ２５において、パーソナルコン
ピュータ２のＣＰＵ６１は、図４で説明した自動追尾Ｏ
Ｎボタン１１１がクリックされたかを基に、ビデオカメ
ラ１に追尾を実行させるか否かを判定し、ビデオカメラ
１に追尾を実行させると判定された場合、ステップＳ２
６に進み、ＲＳ２３２Ｃポート７１を介して、ビデオカ
メラ１に、自動追尾コマンドを送信する。

【００５２】ステップＳ２７において、パーソナルコン
ピュータ２のＣＰＵ６１は、図４で説明した自動追尾Ｏ
ＦＦボタン１１２がクリックされたかを基に、ビデオカ
メラ１の追尾を終了させるか否かを判定し、ビデオカメ
ラ１の追尾を終了させると判定された場合、ステップＳ
２８に進み、枠１３２をクリアする。ステップＳ２９に
おいて、パーソナルコンピュータ２のＣＰＵ６１は、対
象物の画像１３１の輪郭１５１をクリアする。

【００５３】ステップＳ３０において、パーソナルコン
ピュータ２のＣＰＵ６１は、マウス６７またはキーボー
ド６６からの入力を基に、アプリケーションを終了する
か否かを判定し、アプリケーションを終了すると判定さ
れた場合、処理は終了する。

【００５４】ステップＳ２５において、ビデオカメラ１
に追尾を実行させないと判定された場合、ステップＳ３
１に進み、パーソナルコンピュータ２のＣＰＵ６１は、
マウス６７からのデータを基に、ウィンドウ１０１に表
示されている新たな対象物が選択されたか否かを判定
し、新たな対象物が選択されたされたと判定された場
合、ステップＳ３２に進み、枠１３２をクリアする。ス
テップＳ３３において、パーソナルコンピュータ２のＣ
ＰＵ６１は、対象物の画像１３１の輪郭１５１をクリア
し、ステップＳ１５に戻り、新たな対象物を追尾する処
理を実行する。

【００５５】ステップＳ３１において、新たな対象物が
選択されたされてないと判定された場合、ステップＳ１
５に戻り、対象物の追尾の処理を繰り返す。

【００５６】ステップＳ２７において、ビデオカメラ１
の追尾を終了させないと判定された場合、および、ステ
ップＳ３０において、アプリケーションを終了しないと
判定された場合、対象物の追尾の処理を繰り返すので、
ステップＳ１３に戻り、ビデオカメラ１が撮像した画像
をモニタ３に表示させる処理から、対象物を追従する処
理を繰り返す。

【００５７】以上のように、パーソナルコンピュータ２
は、対象物の画像１３１を検出する枠１３２の位置を、
新たに生成された静止画像を基に、随時更新するので、
対象物を照らす照明が発する光が変化し、または、ビデ
オカメラ１に対する対象物の角度が変化しても、ビデオ
カメラ１は、安定して対象物を追従することができる。

【００５８】また、パーソナルコンピュータ２は、静止
画像内の対象物の画像１３１の位置を、時間の経過に対
応させ、記録することができる。

【００５９】図８は、本発明に係る自動追尾撮像システ
ムの他の実施の形態を説明する図である。ビデオカメラ
１は、パーソナルコンピュータ２から供給される制御信
号により制御され、ビデオカメラ１の状態を示す制御信
号およびビデオカメラ１が撮像した画像に対応するビデ
オ信号をパーソナルコンピュータ２に供給する。

【００６０】パーソナルコンピュータ２およびパーソナ
ルコンピュータ２０１は、ネットワーク２０２で接続さ
れている。パーソナルコンピュータ２は、パーソナルコ
ンピュータ２０１にビデオカメラ１が撮像した画像を提
供するサーバとして動作し、パーソナルコンピュータ２
０１は、パーソナルコンピュータ２から画像を受信する
クライアントとして動作する。

【００６１】パーソナルコンピュータ２０１は、図４に
示した画像をモニタ３−２に表示させ、利用者の操作に
より、撮像の対象となる人物または機械などの対象物を
指定し、パーソナルコンピュータ２に送信する。パーソ
ナルコンピュータ２は、ビデオカメラ１から供給された
ビデオ信号を基に、パーソナルコンピュータ２０１で選
択された人物または機械などの対象物の位置を算出し、
ビデオカメラ１に撮像する位置を指示する制御信号を供
給する。また、パーソナルコンピュータ２は、モニタ３
−１にビデオカメラ１が撮像した画像を含むビデオ信号
を供給し、パーソナルコンピュータ２０１は、モニタ３
−２にビデオカメラ１が撮像した画像を含むビデオ信号
を供給する。

【００６２】モニタ３−１は、パーソナルコンピュータ
２から供給されたビデオ信号を基に、ビデオカメラ１が
撮像した、所定の対象物の画像を含む画像を表示する。
モニタ３−２は、パーソナルコンピュータ２０１から供
給されたビデオ信号を基に、ビデオカメラ１が撮像し
た、所定の対象物の画像を含む画像を表示する。

【００６３】図９は、図８に示す自動追尾撮像システム
のパーソナルコンピュータ２の構成を説明するブロック
図である。図３の場合と同様な部分には、同一の番号を
付してあり、その説明は省略する。ネットワークボード
２１１は、ネットワーク２０２と接続するための装置で
あり、具体的にはイーサネット（Ethernet）ボード等で
構成される。

【００６４】図１０は、パーソナルコンピュータ２０１
の構成を説明するブロック図である。ＣＰＵ２２１乃至
ＦＤＤ２２９は、図３に示すＣＰＵ６１乃至ＦＤＤ６９
に、それぞれの番号の下一桁が同一であるものとそれぞ
れ対応するので、その説明は省略する。ネットワークボ
ード２３０は、ネットワーク２０２と接続するための装
置であり、具体的にはイーサネットボード等で構成され
る。

【００６５】図８に示す自動追尾撮像システムにおける
パーソナルコンピュータ２の処理を、図１１のフローチ
ャートを参照して説明する。ステップＳ５１において、
パーソナルコンピュータ２のＣＰＵ６１は、ネットワー
クボード２１１から供給された信号を基に、パーソナル
コンピュータ２０１からアクセスがあるか否かを判定
し、パーソナルコンピュータ２０１からアクセスがない
と判定された場合、パーソナルコンピュータ２０１から
アクセスされるまで、ステップＳ５１の処理を繰り返
す。

【００６６】ステップＳ５１において、パーソナルコン
ピュータ２０１からアクセスがあると判定された場合、
ステップＳ５２に進み、パーソナルコンピュータ２のＣ
ＰＵ６１は、ネットワークボード２１１に、ネットワー
クボード２１１を介して、カメラ制御アプレットをパー
ソナルコンピュータ２０１へ送信させる。

【００６７】ステップＳ５３において、パーソナルコン
ピュータ２のＣＰＵ６１は、ビデオキャプチャボード７
０に、ビデオカメラ１から供給されたビデオ信号に基づ
く、静止画像のデータを生成させ、ネットワークボード
２１１を介して、パーソナルコンピュータ２０１に送信
する。ステップＳ５４において、パーソナルコンピュー
タ２のＣＰＵ６１は、キーボード６６若しくはマウス６
７から供給された信号、またはパーソナルコンピュータ
２０１から供給されたコマンドを基に、クライアントで
あるパーソナルコンピュータ２０１へのサービスを終了
するか否かを判定し、パーソナルコンピュータ２０１へ
のサービスを終了しないと判定された場合、ステップＳ
５５に進み、ネットワークボード２１１から供給される
信号を基に、パーソナルコンピュータ２０１から対象物
を囲む枠１３２のデータを受信したか否かを判定する。

【００６８】ステップＳ５５において、パーソナルコン
ピュータ２０１から対象物を囲む枠１３２のデータを受
信したと判定された場合、ステップＳ５６に進み、パー
ソナルコンピュータ２のＣＰＵ６１は、ＲＡＭ６３の所
定の記憶領域に記憶されている、ビデオキャプチャボー
ド７０に生成させた静止画像のフレーム番号をクリアす
る。

【００６９】ステップＳ５５において、パーソナルコン
ピュータ２０１から対象物を囲む枠１３２のデータを受
信していないと判定された場合、追尾する対象物が選択
されていないので、ステップＳ５３に戻り、静止画像の
データの送信から処理を繰り返す。

【００７０】ステップＳ５７において、パーソナルコン
ピュータ２のＣＰＵ６１は、ＲＡＭ６３の所定の記憶領
域に記憶されている、ビデオキャプチャボード７０に生
成された静止画像のフレーム番号をインクリメントす
る。ステップＳ５８において、パーソナルコンピュータ
２のＣＰＵ６１は、枠１３２内部の対象物の画像１３１
の輪郭を求め、対象物の画像１３１の重心の位置を示す
追尾データを算出する。ステップＳ５９において、パー
ソナルコンピュータ２のＣＰＵ６１は、ＲＡＭ６３の所
定の記憶領域に、ステップＳ５８で算出された追尾デー
タおよびステップＳ５７でインクリメントされたフレー
ム番号を記憶させる。

【００７１】ステップＳ６０において、パーソナルコン
ピュータ２のＣＰＵ６１は、ＲＡＭ６３の所定の記憶領
域に記憶されているフレーム番号と予め記憶されている
設定値とが等しいか否かを判定し、ＲＡＭ６３の所定の
記憶領域に記憶されているフレーム番号と予め記憶され
ている設定値とが等しいと判定された場合、所定の数の
フレームに対して、追尾データが算出されたので、ステ
ップＳ６１に進み、追尾データの平均値を求める。ステ
ップＳ６２において、パーソナルコンピュータ２のＣＰ
Ｕ６１は、追尾データの平均値を基に、パンチルタ４１
の移動量を算出する。

【００７２】ステップＳ６０において、ＲＡＭ６３の所
定の記憶領域に記憶されているフレーム番号と予め記憶
されている設定値が等しくないと判定された場合、所定
の数のフレームに対して、追尾データが算出されていな
いので、ステップＳ５７に戻り、新たな静止画像を基に
した追尾データを作成する処理が繰り返される。このと
き、ステップＳ５７における、ＣＰＵ６１の枠１３２を
設定する処理は、ステップＳ５８で算出された対象物の
画像１３１の重心の位置を基準とする。

【００７３】ステップＳ６３において、パーソナルコン
ピュータ２のＣＰＵ６１は、ＲＳ２３２Ｃポート７１を
介して、ステップＳ６２で算出されたパンチルタ４１の
移動量をビデオカメラ１に送信する。

【００７４】ステップＳ６４において、パーソナルコン
ピュータ２のＣＰＵ６１は、ネットワークボード２１１
から供給されるデータを基に、ネットワーク２０２を介
して、パーソナルコンピュータ２０１から追尾命令を受
信したか否かを判定し、パーソナルコンピュータ２０１
から追尾命令を受信したと判定された場合、ステップＳ
６５に進み、ＲＳ２３２Ｃポート７１を介して、ビデオ
カメラ１に、自動追尾コマンドを送信し、対象物を追尾
する処理を繰り返す為、ステップＳ５３からの処理を繰
り返す。

【００７５】ステップＳ６４において、パーソナルコン
ピュータ２０１から追尾命令を受信していないと判定さ
れた場合、ステップＳ６６に進み、パーソナルコンピュ
ータ２のＣＰＵ６１は、ネットワークボード２１１から
供給されるデータを基に、ネットワーク２０２を介し
て、パーソナルコンピュータ２０１から追尾ストップの
命令を受信したか否かを判定する。ステップＳ６６にお
いて、パーソナルコンピュータ２０１から追尾ストップ
の命令を受信したと判定された場合、パーソナルコンピ
ュータ２のＣＰＵ６１は、ステップＳ６７に進み、ＲＳ
２３２Ｃポート７１を介して、ビデオカメラ１に、自動
追尾コマンドを送信し、ステップＳ５３からの処理を繰
り返す。

【００７６】ステップＳ６６において、パーソナルコン
ピュータ２０１から追尾ストップの命令を受信していな
いと判定された場合、パーソナルコンピュータ２のＣＰ
Ｕ６１は、ビデオカメラ１に、コマンドを送信しない
で、ステップＳ５３からの処理を繰り返す。

【００７７】ステップＳ５４において、パーソナルコン
ピュータ２０１へのサービスを終了すると判定された場
合、ステップＳ６７に進み、パーソナルコンピュータ２
のＣＰＵ６１は、所定のアプリケーションプログラムを
停止するなどの終了処理を実行し、処理は終了する。

【００７８】次に、図８に示す自動追尾撮像システムに
おけるパーソナルコンピュータ２０１の処理を、図１２
のフローチャートを参照に説明する。ステップＳ８１に
おいて、パーソナルコンピュータ２０１のＣＰＵ２２１
は、ＨＤＤ２２８に記録されている所定のブラウザのプ
ログラムを起動させる。ステップＳ８２において、パー
ソナルコンピュータ２０１のＣＰＵ２２１は、ネットワ
ーク２０２を介して、パーソナルコンピュータ２にアク
セスする。

【００７９】ステップＳ８３において、パーソナルコン
ピュータ２０１のＣＰＵ２２１は、ネットワーク２０２
を介して、パーソナルコンピュータ２から送信されたア
プレットを、ネットワークボード２３０に受信させ、ア
プレットを起動させる。ステップＳ８４において、パー
ソナルコンピュータ２０１のＣＰＵ２２１は、ネットワ
ーク２０２を介してパーソナルコンピュータ２から送信
された、ビデオカメラ１が撮像した静止画像を、ネット
ワークボード２３０に受信させ、モニタ３−２に表示さ
せる。

【００８０】ステップＳ８５において、パーソナルコン
ピュータ２０１のＣＰＵ２２１は、キーボード２２６ま
たはマウス２２７から供給された信号を基に、アプリケ
ーションを終了するか否かを判定し、アプリケーション
を終了しないと判定された場合、ステップＳ８６に進
み、マウス２２７から供給された、ウィンドウ１０１内
の特定の位置を指定する信号を基に、モニタ３−２の画
像のウィンドウ１０１に表示されている画像に含まれる
所定の対象物の画像１３１がクリックされ、選択された
か否かを判定する。

【００８１】ステップＳ８６において、モニタ３−２の
画像のウィンドウ１０１に表示されている画像に含まれ
る所定の対象物の画像１３１が選択されたと判定された
場合、ステップＳ８７に進み、ステップＳ８７に進み、
パーソナルコンピュータ２０１のＣＰＵ２２１は、マウ
ス２２７に指定された所定の位置を中心とした、予め設
定された大きさを有する枠１３２を設定する。

【００８２】ステップＳ８８において、パーソナルコン
ピュータ２０１のＣＰＵ２２１は、ステップＳ８７で設
定した枠１３２内部の対象物の画像１３１の画素値に、
平滑化および２値化などの前処理を実行した後、画像１
３１の輪郭を抽出し、モニタ３−２に輪郭線１５１を表
示させる。ステップＳ８９において、パーソナルコンピ
ュータ２０１のＣＰＵ２２１は、ネットワーク２０２を
介して、パーソナルコンピュータ２に、ステップ８７で
設定した枠１３２を送信する。

【００８３】ステップＳ９０において、パーソナルコン
ピュータ２０１のＣＰＵ２２１は、図４で説明した自動
追尾ＯＮボタン１１１がクリックされたかを基に、ビデ
オカメラ１に追尾を実行させるか否かを判定し、ビデオ
カメラ１に追尾を実行させると判定された場合、ステッ
プＳ９１に進み、ネットワーク２０２を介して、追尾命
令をパーソナルコンピュータ２に送信し、ステップＳ８
４に戻り、ビデオカメラ１が撮像した画像を受信する処
理から繰り返す。

【００８４】ステップＳ９０において、ビデオカメラ１
に追尾を実行させないと判定された場合、ステップＳ９
２に進み、パーソナルコンピュータ２０１のＣＰＵ６１
は、図４で説明した自動追尾ＯＦＦボタン１１２がクリ
ックされたかを基に、ビデオカメラ１の追尾を終了させ
るか否かを判定する。ステップＳ９２において、ビデオ
カメラ１の追尾を終了させると判定された場合、ステッ
プＳ９３に進み、パーソナルコンピュータ２０１のＣＰ
Ｕ６１は、ネットワーク２０２を介して、追尾ストップ
の命令をパーソナルコンピュータ２に送信し、ステップ
Ｓ８４に戻り、ビデオカメラ１が撮像した画像を受信す
る処理から繰り返す。

【００８５】ステップＳ９２において、ビデオカメラ１
の追尾を終了させないと判定された場合、ステップＳ８
４に戻り、ビデオカメラ１が撮像した画像を受信する処
理から繰り返す。

【００８６】ステップＳ８５において、アプリケーショ
ンを終了すると判定された場合、ステップＳ９４に進
み、パーソナルコンピュータ２０１のＣＰＵ２２１は、
所定のアプリケーションプログラムを停止するなどの終
了処理を実行し、処理は終了する。

【００８７】以上のように、パーソナルコンピュータ２
は、パーソナルコンピュータ２０１に指定された枠１３
２の位置を、新たに生成された静止画像を基に、随時更
新するので、対象物を照らす照明が発する光が変化し、
または、ビデオカメラ１に対する対象物の角度が変化し
ても、ビデオカメラ１は、安定して対象物を追従でき、
パーソナルコンピュータ２０１は、モニタ３−２に対象
物の画像１３１を表示させることができる。

【００８８】なお、モニタ３に対象物の画像１３１を囲
む枠１３２が表示されると説明したが、枠１３２は、モ
ニタ３に表示されないようにしてもよい。

【００８９】また、図７のステップＳ１７において、Ｃ
ＰＵ６１は、対象物の画像１３１の輪郭を、対象物の画
像１３１を構成する画素の輝度または色が近似であるこ
とを利用して求めるようにしてもよい。あるいは、ＣＰ
Ｕ６１は、複数の静止画像のデジタルデータを参照し、
所定の以上の動きのある画素が、対象物の画像１３１を
構成するとしてもよい。

【００９０】なお、図７に示すフローチャートおよび図
１１に示すフローチャートにおいて、パーソナルコンピ
ュータ２が、パンチルタ４１の移動量を算出するとして
説明したが、パーソナルコンピュータ２は、ビデオカメ
ラ１に、追尾データを送信し、ビデオカメラ１のモード
コントローラ４６が、受信した追尾データを基に、パン
チルタ４１の移動量を算出するようにしてもよい。図８
に示す自動追尾撮像システムにおいても、同様である。

【００９１】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものとす
る。

【００９２】なお、上記したような処理を行うコンピュ
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。

【００９３】

【発明の効果】請求項１に記載の画像処理装置、請求項
４に記載の画像処理方法、および請求項５に記載の提供
媒体によれば、所定の検出範囲の、入力された画像の画
素の画素値を基に、対象物の画像の位置が検出され、検
出された対象物の画像の位置を基に、検出範囲が修正さ
れるようにしたので、日射若しくは照明の状態、または
画像内の対象物の見え方が変化しても、設定した対象物
を追従できるようになる。

【００９４】請求項６に記載の撮像システムによれば、
対象物が撮像され、撮像手段が所定の方向に指向され、
所定の検出範囲の、入力された画像の画素の画素値を基
に、対象物の画像の位置が検出され、検出された対象物
の画像の位置を基に、検出範囲が修正され、検出した対
象物の画像の位置を基に、撮像する位置が指示されるよ
うにしたので、日射若しくは照明の状態、または画像内
の対象物の見え方が変化しても、設定した対象物を追従
できるようになる。

【００９５】請求項７に記載の撮像システムによれば、
対象物が撮像され、撮像手段が所定の方向に指向され、
所定の検出範囲の、入力された画像の画素の画素値を基
に、対象物の画像の位置が検出され、検出された対象物
の画像の位置を基に、検出範囲が修正され、検出した対
象物の画像の位置を基に、撮像する位置が指示され、第
２の情報処理装置に対象物の画像が送信され、第２の情
報処理装置から検出範囲が受信され、第１の情報処理装
置から対象物の画像が受信され、第１の情報処理装置に
検出範囲が送信されるようにしたので、日射若しくは照
明の状態、または画像内の対象物の見え方が変化して
も、設定した対象物を追従できるようになる。

【図面の簡単な説明】

【図１】本発明に係る自動追尾撮像システムの一実施の
形態を示す図である。

【図２】ビデオカメラ１の構成を説明するブロック図で
ある。

【図３】パーソナルコンピュータ２の構成を説明するブ
ロック図である。

【図４】モニタ３の画面の表示例を示す図である。

【図５】モニタ３が表示するウィンドウ１０１の画面の
例を説明する図である。

【図６】モニタ３が表示するウィンドウ１０１の画面の
例を説明する図である。

【図７】パーソナルコンピュータ２の自動追尾の処理を
説明するフローチャートである。

【図８】本発明に係る自動追尾撮像システムの他の実施
の形態を説明する図である。

【図９】パーソナルコンピュータ２の他の構成を説明す
るブロック図である。

【図１０】パーソナルコンピュータ２０１の構成を説明
するブロック図である。

【図１１】図８に示す自動追尾撮像システムにおけるパ
ーソナルコンピュータ２の処理を説明するフローチャー
トである。

【図１２】パーソナルコンピュータ２０１の処理を説明
するフローチャートである。

【符号の説明】

１ ビデオカメラ， ２ パーソナルコンピュータ，
３，３−１，３−２モニタ， １１ カメラ部， １２
パンチルタ部， ６１ ＣＰＵ， ６３ＲＡＭ， ７
０ ビデオキャプチャボード， ７１ ＲＳ２３２Ｃポ
ート， ２１１ ネットワークボード， ２２１ ＣＰ
Ｕ， ２２３ ＲＡＭ， ２３０ネットワークボード

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高橋 行雄 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5B057 AA20 DA07 DB08 DC06 DC16 5C022 AA03 AB02 AB20 AB62 AB63 AB65 AB66 AC01 AC27 AC42 AC74 5C054 AA02 AA05 CA04 CC05 CF06 CG03 CG06 DA09 EA01 EA03 EA07 EE04 EJ01 FA09 FB03 FC14 FF02 GB02 GC03 HA02 HA18

Claims (7)

【特許請求の範囲】
1. 【請求項１】 入力された画像の中の所定の対象物の画
   像の位置を検出する画像処理装置において、 所定の検出範囲の、前記入力された画像の画素の画素値
   を基に、前記対象物の画像の位置を検出する検出手段
   と、 検出された前記対象物の画像の位置を基に、前記検出手
   段の前記検出範囲を修正する検出範囲修正手段とを含む
   ことを特徴とする画像処理装置。
2. 【請求項２】 前記画像処理装置は、撮像装置が接続さ
   れ、 前記検出手段が検出した前記対象物の画像の位置を基
   に、前記撮像装置に撮像する位置を指示する指示手段を
   更に含むことを特徴とする請求項１に記載の画像処理装
   置。
3. 【請求項３】 所定の機器に前記対象物の画像を送信
   し、前記所定の機器から前記検出範囲を受信する通信手
   段を更に含むことを特徴とする請求項１に記載の画像処
   理装置。
4. 【請求項４】 入力された画像の中の所定の対象物の画
   像の位置を検出する画像処理装置の画像処理方法におい
   て、 所定の検出範囲の、前記入力された画像の画素の画素値
   を基に、前記対象物の画像の位置を検出する検出ステッ
   プと、 検出された前記対象物の画像の位置を基に、前記検出ス
   テップでの前記検出範囲を修正する検出範囲修正ステッ
   プとを含むことを特徴とする画像処理方法。
5. 【請求項５】 入力された画像の中の所定の対象物の画
   像の位置を検出する画像処理装置に、 所定の検出範囲の、前記入力された画像の画素の画素値
   を基に、前記対象物の画像の位置を検出する検出ステッ
   プと、 検出された前記対象物の画像の位置を基に、前記検出ス
   テップでの前記検出範囲を修正する検出範囲修正ステッ
   プとを含む処理を実行させるコンピュータが読み取り可
   能なプログラムを提供することを特徴とする提供媒体。
6. 【請求項６】 所定の対象物を追尾して撮像する撮像装
   置、および前記撮像装置から供給された画像を基に、前
   記撮像装置の撮像の位置を指示する画像処理装置からな
   る撮像システムにおいて、 前記撮像手段は、 前記対象物を撮像する撮像手段と、 前記撮像手段を所定の方向に指向させる指向手段とを含
   み、 前記画像処理装置は、 所定の検出範囲の、前記入力された画像の画素の画素値
   を基に、前記対象物の画像の位置を検出する検出手段
   と、 検出された前記対象物の画像の位置を基に、前記検出手
   段の前記検出範囲を修正する検出範囲修正手段と、 前記検出手段が検出した前記対象物の画像の位置を基
   に、前記撮像装置に撮像する位置を指示する指示手段と
   を含むことを特徴とする撮像システム。
7. 【請求項７】 所定の対象物を追尾して撮像する撮像装
   置、前記撮像装置から供給された画像を基に、前記撮像
   装置の撮像の位置を指示する第１の情報処理装置、およ
   び前記撮像装置が追尾する前記対象物を指定する第２の
   情報処理装置からなる撮像システムにおいて、 前記撮像手段は、 前記対象物を撮像する撮像手段と、 前記撮像手段を所定の方向に指向させる指向手段とを含
   み、 前記第１の情報処理装置は、 所定の検出範囲の、前記入力された画像の画素の画素値
   を基に、前記対象物の画像の位置を検出する検出手段
   と、 検出された前記対象物の画像の位置を基に、前記検出手
   段の前記検出範囲を修正する検出範囲修正手段と、 前記検出手段が検出した前記対象物の画像の位置を基
   に、前記撮像装置に撮像する位置を指示する指示手段
   と、 前記第２の情報処理装置に前記対象物の画像を送信し、
   前記第２の情報処理装置から前記検出範囲を受信する第
   １の通信手段とを含み、 前記第２の情報処理装置は、 前記第１の情報処理装置から前記対象物の画像を受信
   し、前記第１の情報処理装置に前記検出範囲を送信する
   第２の通信手段を含むことを特徴とする撮像システム。