JP2014216694A - 高解像度化処理付き追尾雲台装置 - Google Patents

Abstract

【課題】追尾撮影対象の動きを判断し、高解像度化処理を必要な場所に適用することで、効果的に自動追尾することが可能な追尾機能付き撮影装置を提供すること。
【解決手段】映像内の特定被写体を検出して追尾する機能を備える撮影装置において、画像処理による追尾対象位置識別手段と、画面内における追尾対象物の移動速度を判定する手段とを備え、その移動速度を予め設定された閾値と比較し、その結果によって高解像度化処理の適用範囲及び適用レベルを設定する高解像度化処理自動適用手段を具備することを特徴とする。
【選択図】図４

Description

本発明は、高解像度化処理機能を備え、被写体の動きに追従して映像を撮影するための追尾機能付き撮影装置及び制御方法に関するものである。

特定の被写体を追従して撮影する所謂追尾撮影機能は、デジタルカメラにおける人物の撮影パラメータ最適化調整機能や、監視カメラにおける不審人物の自動追尾撮影用途などに使われている。対象被写体の検出には、映像信号を画像処理し被写体の特徴を抽出してテンプレート化し、撮影した画像とテンプレートとを照合することで、特定の被写体の画像内での位置を検出する手法が知られている。また、撮影した追尾対象被写体の認識率向上のために、撮影映像信号に対して高解像化処理を行い解像度を上げるということも行われている。

しかしながら、高解像度化処理を追尾に用いる撮影装置に適用した場合、画質が改善され認識率が上がる場合と、適用すると逆効果となる認識率が下がる場合がある。

例えば、遠方の静止している追尾撮影対象をズームして拡大表示する場合は鮮鋭度を上げる高解像度化処理が効果的である。一方、パンニングしている場合や動きの激しい被写体を撮影している場合などの映像は解像度を上げるとギラギラしたり、後段の圧縮処理において高周波成分が増え、情報量圧縮に不利に働いたりして、画質悪化の原因となるため、追尾対象に対する認識率が下がる場合があった。このような映像信号に対する高解像度化処理の画質悪化の問題に対する従来例としては、特許文献1のように特定の色領域を検出して、不要な高解像度化処理を低減または行わないことで不自然な画像にならないようにしている例がある。

特開2010-152518号公報

上述の文献では、適用したくない映像エリアを検出して、高解像度化処理が逆効果とならないよう当該検出エリアで鮮鋭化処理を低減または無効とするなどの特別な処理を行っているため、特定エリアでの高解像度化処理の適用可否判断には、特定色の検出の検出を行う必要があり、処理判断まで画像データを蓄積するためのメモリが必要であったり、適用境界の処理が必要になったりとハード規模が増加する問題がある。

そこで、本発明の目的は、追尾撮影対象の動きを判断し、高解像度化処理を必要な場所に適用することで、ハード規模を増加させずに効果的に自動追尾することが可能な、
追尾機能付き撮影装置を提供することにある。

上記目的を達成するために、本発明は、映像内の特定被写体を検出して追尾する機能を備える撮影装置において、画像処理による追尾対象位置識別手段と、画面内における追尾対象物の移動速度を判定する手段と、その移動速度を予め設定された閾値と比較し、その結果によって追尾対象に対して高解像度化処理の適用範囲及び適用レベルを設定する高解像度化処理自動適用手段を具備することを特徴とする。

本発明によれば、高解像度化処理を必要な場所に適用することで、効果的に自動追尾撮影をすることが可能な、
追尾機能付き撮影装置を提供すること
ができる。

実施例１のカメラ雲台システムを示す図である。 実施例１におけるカメラ雲台の映像出力のモニター表示例である。 実施例１における顔検出機能を動作させたときのモニター表示例である。 実施例１におけるフローチャートである。 実施例2における顔検出機能を動作させたときのモニター表示例である。 (a)(b) 実施例2におけるフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例１］
図１は、本発明の実施形態にかかわる追尾機能付き撮影装置の実施例１におけるシステム図である。図１を参照してシステム概要を説明する。

図１において、1は遠隔操作されるカメラ雲台、2は光学系である。3は光束を受光し光電変換するCCDである。 8はカメラで撮像した映像を表示する映像モニター、10はカメラ雲台1を操作するための遠隔操作器である。

光学系2を経由して撮像した被写体は、CCD3上に結像し、画像信号処理部4において画素単位に処理され、画像データとしてメモリ6に一旦書き込まれ、被写体検出や動き検出、高解像度化処理のため必要に応じて読み出しが行われる。演算処理回路(CPU) 5はメモリ制御や画像信号処理部の制御も行う。メモリ6から読み出された画像データは、画像信号処理部4において映像モニターで表示可能な出力フォーマットに変換され、映像出力端子7から出力される。また、CPU5はさらにパン(P)・チルト(T)駆動回路や光学系2のズーム(Z)・フォーカス(F)駆動回路の制御も行う。カメラ雲台の遠隔操作器10から送られてくるP/T/Z/F制御データを通信端子9経由で受信し、パン(P)・チルト(T)モータを駆動するようパン・チルト駆動部13に対しP/T制御信号を、光学系2に対しZ/F制御信号を送出する。

P/T/Z/F 駆動部はP/T/Z/Fの位置検出手段であるロータリーエンコーダ等の位置センサ（図示せず）を備え、CPU5は各位置センサーの出力を受信する。

画像信号処理部4からの出力映像信号はCPU5内部のパターン認識部12に入力される。パターン認識部12では顔検出のためのテンプレートを予め備えており、全画面の領域で顔の目、鼻、口といった特徴部位を抽出し、拡大または縮小したテンプレートとの照合を行い、顔と推定された領域の検出を行っている。

なお、本実施例では、画像信号を用いた追尾対象位置識別方法として、顔認識によるパターン認識で人物の位置特定を行うようにしているが、輪郭、動体認識等の他の認識技術を使用しても支障はない。

図２は被写体として2人の人物を撮影したカメラの映像出力を映像モニター8に表示した例である。図２の左側の人物を追尾撮影する場合の動作を説明する。

初期値として高解像度化処理を画面全体で行う。

図３における画面上の座標Pを表すx及びyの座標は、画面中心をゼロとして画面両端を±100とした場合に対応する比の値で与えられている。

パターン認識部12にて検出した顔推定領域を枠線13、14で示し、初期値として左の人物を追尾対象と設定し太い枠線13で表示している。

図３における十字線Pnは表示位置目標である。これらの表示枠及び十字線はCPU5からの画面上の表示座標を指示された画像信号処理部4において、画像データに多重される。枠多重は、画像信号処理部4において、画像データを枠データに入れ替えて行ってもよいし、画像データはそのままにして、補助データとして画像データに付加して送り、表示装置で多重表示処理を行っても良い。 CPU5は、太い枠線13の中心座標Psを追尾被写体のパターン認識から求めた中心位置として保持し、枠線14の中心座標Prを非追尾被写体のパターン認識から求めた中心位置として保持し、十字線座標Pnを表示位置目標として保持する。

なお、複数の検出人物から追尾対象を選ぶ指令信号と表示位置目標を移動させる信号は遠隔操作器10から送られる。

カメラ雲台のCPU5では追尾開始命令を受け、追尾被写体の中心位置の座標Psが表示位置目標の十字線座標Pnに一致するように、パン・チルト駆動部11に対しP/T制御信号を出力する。

ここで、画面上での追尾被写体座標Psの速度V(Ps)、非追尾被写体座標Prの速度V(Pr)は、CPU5にて演算される。座標Psが座標Pnと一致している場合は、速度V(Ps)は0である。パン・チルト駆動部の動作が、座標Psの動きの速さに追従できない場合、速度V(Ps)は0以外の値となる。CPU5は予め設定された閾値と速度V(Ps)を比較し、速度V(Ps)が閾値以上であれば枠線31内の高解像度化処理を行わない。速度V(Ps)が閾値未満の場合、高解像度化処理を行う。同様に、速度V(Pr)も予め設定された閾値と比較され、閾値以上であれば枠線32内の高解像度化処理を行わず、閾値未満の場合、高解像度化処理を行う。こうすることで、動きの激しい部分の画質悪化を防ぎ、被写体の認識率の低下を防ぐことが出来る。

このように動作することを本実施例での自動追尾方法としている。

追尾撮影を開始してからの本実施例の動作を図４のフローチャートを用いて説明する。

ステップＳ１００において、追尾対象を撮影しパターン認識部12によって顔の検出を行う。

続いてステップＳ１０１では、パターン認識した対象に枠を設定する。

続いてステップＳ１０２では、遠隔操作器10から送られてきた信号に基づき、CPU5は表示位置目標位置（座標Pn）と各枠の中から追尾対象（座標Ps）を決定し、追尾動作の開始を行う。

続いてステップＳ１０３では、パターン認識部12による画像１フレーム分のパターン認識動作が完了し追尾対象枠内の追尾対象座標Psが決定したかどうか判断する。完了していればステップＳ１０４に進み、未完了であれば再度ステップＳ１０３に戻る。

ステップＳ１０４では、追尾対象座標Psが表示位置目標座標Pnに一致するようにP/T制御を行い、ステップＳ１０５に進む。

ステップＳ１０５では、CPU5にて画面上での追尾被写体座標Psの速度V(Ps)、非追尾被写体座標Prの速度V(Pr)が算出され、ステップＳ１０６に進む。

ステップＳ１０６では、追尾被写体座標Psの速度V(Ps)と、非追尾被写体座標Prの速度V(Pr)がそれぞれ予め設定された閾値以上かどうか判断する。閾値以上であればステップＳ１０７に進み、閾値未満であればステップＳ１０８に進む。

ステップＳ１０７では、認識枠内の高解像度化処理を無効とし、ステップＳ１０３に戻る。

ステップＳ１０８では、認識枠内の高解像度化処理を有効とし、ステップＳ１０３に戻る。

以上の構成により、動きの激しい部分の画質悪化を防ぎ、被写体の認識率の低下を防ぐことが出来、効果的に自動追尾撮影を行うことが出来るという効果が得られる。

［実施例２］
実施例２の構成は、実施例1のシステム図である図１と同じである。

図５を用いて動作を説明する。

実施例１と同様の部分の説明は省略する。追尾対象枠15に対してカメラ雲台のCPU5では追尾開始命令を受け、追尾被写体の中心位置の座標Psが表示位置目標の十字線座標Pnに一致するように、パン・チルト駆動部11に対しP/T制御信号を出力する。ここで、追尾対象人物が矢印16の方向に移動した場合でも、十分にパン・チルト駆動部11は中心位置の座標Psが表示位置目標の十字線座標Pnと一致することができたとする。その場合、実施例１で説明したように全画面において高解像度化処理が有効となっている。但し、背景が速度を持って移動するため、ある程度以上の速度の場合、背景がギラギラし画質劣化してしまう。それを防ぐため、実施例２では、パン(P)・チルト(T)モータのセンサーから算出した移動の速度値と予め設定された閾値を比較し、閾値以上であれば追尾対象枠内のみを高解像度化処理が有効とし、それ以外の画面上の部分は高解像度化処理を無効とする。

本実施例２の動作フローチャートを図６(a)と図６(b)を用いて説明する。実施例1の図４と同様である部分の図６(a)の詳細説明は省略する。

図６(a)(b)は、実施例１の図４のステップＳ１０８とステップＳ１０３の間に処理を挟んだものである。

ステップＳ２０９では、パン、チルトモータのセンサからの信号をＣＰＵ５が演算することで駆動速度を算出し、ステップＳ２１０に進む。

ステップＳ２１０では、駆動速度が予め設定された閾値以上かどうか判断する。閾値以上であればステップＳ２１１に進み、閾値未満であればステップＳ２１２に進む。

ステップＳ１０７では、認識枠外の高解像度化処理を無効とし、ステップＳ２０３に戻る。

ステップＳ１０８では、認識枠外の高解像度化処理を有効とし、ステップＳ２０３に戻る。

以上の構成により、追尾中にパン、チルトモーター駆動の速度が閾値より早い場合、背景の画質悪化を防ぐことが出来るという効果が得られる。

以上、本発明の好ましい実施形態について、平易に説明するため具体的に数値を記載したり、追尾対象を人の顔としてテンプレート比較による検出方法を示して説明したが、本発明はこれらの値や実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形及び変更をすることができる。

1…カメラ雲台
2…レンズ系
3…CCD
4…画像信号処理部
5…演算処理回路（CPU）
8…映像モニター
11…パン・チルト駆動部
12…パターン認識部

Claims (2)

1. 映像内の特定被写体を検出して追尾する機能を備える撮影装置において、画像処理による追尾対象位置識別手段と、画面内における追尾対象物の移動速度を判定する手段とを備え、その移動速度を予め設定された閾値と比較し、その結果によって高解像度化処理の適用範囲及び適用レベルを設定する高解像度化処理自動適用手段を具備することを特徴とする追尾機能付き撮影装置。
2. パン、チルトのモーター速度を検知する手段を持ち、その速度が予め設定された閾値以上になると、追尾対象物及びその周り（追尾枠の中）のみを高解像度処理を行うことを特徴とする請求項１に記載の撮影装置。