JP2006135799A - ターゲット監視装置 - Google Patents

Abstract

【課題】動きの早いターゲットを追跡できるようにする。
【解決手段】ターゲットをビジョンカメラ１０１で撮影する。ビジョンカメラ１０１は、重心取得部を備える。重心取得部は、行列配置された複数の処理要素を備えたセンサ部と演算処理部とを備える。各処理要素は、光電変換素子を備えるだけでなく、行加算機能も備える。そして、センサ部は、０次モーメント量と１次モーメント量とを示す信号を出力し、演算処理部は、センサ部の出力信号に基づいて重心位置を求める。このため、重心取得部は、より高速にターゲット画像の重心位置を取得する。追跡制御装置１０６は、重心取得部から、ターゲット画像の重心位置を取得して、ターゲット画像の重心位置が変化すると、ターゲットに追従するように、ビジョンカメラ１０１、ビデオカメラ１０２、旋回台制御装置１０５を制御する。
【選択図】図１

Description

本発明は、ターゲット監視装置に関するものである。

従来より、監視カメラを用いて、侵入者をターゲットとして監視し、侵入者の動きに追従して、監視カメラの撮影方向を制御するようにしたターゲット監視装置がある（例えば、特許文献１参照）。

また、跳躍競技において、ビデオカメラで踏切板をターゲットとして監視するようにしたターゲット監視装置もある（例えば、特許文献２参照）。このターゲット監視装置は、圧力センサを踏切板に組み込み、ビデオカメラと圧力センサとの信号をモニタして画像を監視し、踏み切り時のファールの有無を判定する。
特開平１０−１８８１４５号公報（第４頁、図１） 特開平８−２２９１７８号公報（第３−４頁、図１）

しかし、このようなターゲット監視装置が備える監視カメラには、ＣＣＤ（Charge Coupled Device;電荷結合素子）が用いられている。

近年、監視カメラに用いられる撮像素子の能力は向上し、ビデオカメラとして、２００万画素の撮像素子を備えたものもある。このように高解像度を有するビデオカメラになると、画像処理時間も増大する。

画像処理時間が増大すると、上記特許文献１のものでは、ターゲットの動きに追従できなくなり、ターゲットを見失う可能性も出てくる。また、特許文献２のものでも、画像処理時間が増大すると、踏み切り時のファールの有無判定を即座に行えなくなってしまう。

本発明は、このような従来の問題点に鑑みてなされたもので、どのようなターゲットにも追従可能なターゲット監視装置を提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係るターゲット監視装置は、
監視対象物としてのターゲットを撮影する撮影部と、
前記撮影部によって撮影された前記ターゲットの画像の重心位置を取得する重心取得部と、
前記重心取得部が取得した前記重心位置の変化を監視する重心位置変化監視部と、を備え、
前記重心取得部は、
受光した光の強度に対応する信号レベルの光検出信号に変換する複数の光電変換素子が行列配置されて、前記ターゲットからの光を、前記光電変換素子で受光して前記画像を生成するとともに、前記光電変換素子が出力した光検出信号を２値化して加算演算するセンサ部と、
前記センサ部の前記光電変換素子を選択し、選択した前記光電変換素子の光検出信号の２値化信号を前記センサ部が加算演算して前記画像の０次モーメント量と１次モーメント量とを示す信号を出力するように前記センサ部を制御して、前記センサ部の出力信号に基づいて前記ターゲット画像の重心位置を取得する演算処理部と、備えたものであることを特徴とする。

前記重心位置変化監視部は、前記重心位置が変化したと判定した場合に、前記重心取得部が取得した前記重心位置に基づいて前記ターゲット画像を追跡するようにしてもよい。

供給された撮影方向制御情報に基づいて前記撮影部の撮影方向を制御する撮影制御部を備え、
前記重心位置変化監視部は、前記画像の監視領域を設定し、前記重心取得部が取得した前記重心位置が前記監視領域外になった場合、前記重心位置の変化方向に基づいて前記重心位置を予測し、予測した位置の情報を前記撮影方向制御情報として前記撮影制御部に供給するようにしてもよい。

画像を表示する表示部を備え、
前記重心位置変化監視部は、前記重心取得部が取得した前記重心位置に基づいて前記画像の切り出し領域を設定して、前記表示部に前記切り出し領域の前記画像を表示させるようにしてもよい。

前記撮影部は、前記ターゲットとして、競技における競技線を撮影し、
前記重心取得部は、前記撮影部によって撮影された前記競技線の画像の重心位置を取得し、
前記重心位置変化監視部は、前記重心取得部が取得した前記競技線画像の重心位置が変化したと判定した場合に前記競技線への競技者による踏み込み有りと判定するようにしてもよい。

前記重心位置変化監視部は、前記競技者による前記競技線の踏み込み有りと判定した場合に、前記競技線の画像の重心位置の変化量に基づいて踏み込み位置を特定し、前記競技者による前記競技線の踏み込み位置を拡大撮影するように、前記撮影部を制御するようにしてもよい。

本発明によれば、短時間で画像処理を行うことができ、どのようなターゲットにも追従できる。

以下、本発明の実施の形態に係る装置を図面を参照して説明する。
（実施形態１）
実施形態１に係るターゲット監視装置の構成を図１に示す。
実施形態１に係るターゲット監視装置は、ターゲットＡを追跡するものであり、ビジョンカメラ１０１と、ビデオカメラ１０２と、映像モニタ１０３と、旋回台１０４と、旋回台制御装置１０５と、追跡制御装置１０６と、を備える。

ビジョンカメラ１０１は、監視対象物としてのターゲットＡを一定の撮影間隔で撮影するものであり、図２に示すように、光学部１１１と、重心取得部１１２を備える。このビジョンカメラ１０１は、撮影部に対応するものである。光学部１１１は、ターゲットＡからの光を重心取得部１１２に導くためのものである。

重心取得部１１２は、ターゲットＡからの光を受光して、受光した光によるターゲット画像の重心位置を取得するものである。重心取得部１１２は、０次モーメント量と１次モーメント量とを取得し、取得した０次モーメント量と１次モーメント量とに基づいて、画像の重心位置を取得する。

この原理について説明する。一般に、モーメント量ｍ_ijは、次の数１によって表される。

０次モーメント量ｍ₀₀は、次の数２によって表される。

０次モーメント量ｍ₀₀は、この数２に示すように、画像データＩ(x,y)の総和を示す。

また、１次モーメント量ｍ₁₀，ｍ₀₁は、次の数３によって表される。

画像データＩ(x,y)の重心位置を（xg,yg）として、重心位置（xg,yg）は、０次モーメント量ｍ₀₀と１次モーメント量ｍ₁₀，ｍ₀₁とから、次の数４に従って求められる。

ここで、整数ｘを２進数で表すと、整数ｘは、次の数５によって表される。

１次モーメント量ｍ₁₀は、この数５を用いて、数６によって求められる。

重心取得部１１２は、この数４，数６に従って重心位置を取得するため、センサ部１１３と、演算処理部１１４と、を備える。センサ部１１３は、ターゲットＡからの光を受光し、受光した光の強度に対応する光検出信号を２値化し、２値化した２値画像の０次モーメント量と１次モーメント量とを示す信号を出力するものである。

センサ部１１３は、図３に示すように、画像処理部１と、列加算部２と、ロウデコーダ３と、カラムデコーダ４と、を備える。

画像処理部１は、Ｎ×Ｎ個の画像検出処理要素（以後、単に「処理要素」と記す。）1_xyからなる。本実施形態では、Ｎ＝８とする（ｘ＝１〜８，ｙ＝１〜８）。

ロウデコーダ３は、演算処理部１１４から信号ROW(y)が供給され、信号ROW(y)に従って処理要素1_xyのいずれかの列を選択するものである。ロウデコーダ３は、供給された信号ROW(y)を、処理要素1_xyの列を選択するため列選択信号ｙj（j＝１〜８）に変換して処理要素1_xyに出力し、処理要素1_xyのいずれかの列を選択する。

カラムデコーダ４は、演算処理部１１４から信号COL(x)が供給され、信号COL(x)に従って処理要素1_xyのいずれかの行を選択するものである。カラムデコーダ４は、供給された信号COL(x)を、処理要素1_xyの行を選択するための行選択信号ｘi（i＝１〜８）に変換して処理要素1_xyに出力し、処理要素1_xyのいずれかの行を選択する。

各処理要素1_xyは、取得した画像からの反射光を受光して光検出信号に変換し、変換した光検出信号に対して、それぞれ、画像処理を行うものである。各処理要素1_xyは、図４に示すように、光電変換器（図中、「ＰＤ」と記す。）１１と、トラッキング部１２と、マスク部１３と、行加算部１４と、を備える。

光電変換器１１は、受光した光を、その光強度に対応する信号レベルの光検出信号Ｓ１に変換するものである。

トラッキング部１２は、演算処理部１１４から輝度閾値が供給されて光電変換器１１からの光検出信号Ｓ１を２値画像に変換し、セルフウィンドウ法に基づいてターゲットトラッキングを行うものである。セルフウィンドウ法は、隣接する処理要素と自らの処理要素において、ターゲットとした前フレームのトラッキング画像からウィンドウ画像を生成し、生成したウィンドウ画像の領域内の２値画像を新たなトラッキング画像として生成する方法である。

即ち、前回のトラッキング画像が図５（ａ）に示すような画像２１１である場合に、トラッキング部１２は、隣接する処理要素と自らの処理要素において生成したトラッキング画像から、図５（ｂ）に示すようなウィンドウ画像２１２を生成する。今回の２値画像が図５（ｃ）に示すような画像２１３であった場合、トラッキング部１２は、図５（ｂ）に示すウィンドウ画像２１２と図５（ｃ）に示す２値画像２１３との論理和を演算して、図５（ｄ）に示すような今回のトラッキング画像２１４を生成する。

言い換えれば、トラッキング部１２は、生成したウィンドウ画像の領域外の画像を除外してトラッキング画像を生成する。

トラッキング部１２は、このようなターゲットトラッキングを行うため、光電変換器１１によって変換された光検出信号Ｓ１の信号レベルと輝度閾値とを比較することにより、２値信号に変換する。

トラッキング部１２は、隣接する処理要素1_(x-1)y,1_(x+1)y,1_x(y-1),1_x(y+1)のトラッキング部１２から、それぞれ、トラッキング信号Ｓ２が供給される。トラッキング部１２は、変換した２値信号と隣接する処理要素1_(x-1)y,1_(x+1)y,1_x(y-1),1_x(y+1)のトラッキング部１２から供給されたトラッキング信号Ｓ２との論理積を演算することにより、トラッキング画像信号Ｓ３を生成する。
新たにウィンドウ画像信号Ｓ２を生成する。

トラッキング部１２は、生成したトラッキング画像信号Ｓ３をマスク部１３に出力する。尚、トラッキング部１２は、生成したトラッキング画像信号Ｓ３を新たなウィンドウ画像信号Ｓ２として、隣接する処理要素1_(x-1)y,1_(x+1)y,1_x(y-1),1_x(y+1)のトラッキング部１２に供給するとともに、自らのトラッキング部１２にも出力する。

マスク部１３は、トラッキング部１２と行加算部１４とを初期化するとともに、トラッキング画像信号Ｓ３をビットマスクするためのものである。マスク部１３は、カラムデコーダ４から行選択信号ｘi及びロウデコーダ３から列選択信号ｙjが供給された場合に、トラッキング画像信号Ｓ３をビットマスクする。

行加算部１４は、行方向のＳＵＭ信号を累積加算するためのものであり、トラッキング画像信号Ｓ３と、隣接する処理要素1_(x-1)yの行加算部から出力されたＳＵＭ信号と、を加算する。

列加算部２は、処理要素1_18〜1_88からそれぞれ出力されたＳＵＭ信号を、順次、列方向に加算するものであり、加算部2_1〜2_8からなる。

列加算部２は、加算部2_8が出力したＳＵＭ信号を、列加算部２の信号SOUTとして、図２の演算処理部１１４に出力する。演算処理部１１４が座標選択を行うことにより、この信号SOUTが０次モーメント量又は１次モーメント量を示す信号になる。

演算処理部１１４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備え、前述のようにセンサ部１１３に、各種信号を出力してセンサ部１１３を制御する。

演算処理部１１４は、まず、センサ部１１３に初期化のための信号を出力してセンサ部１１３を初期化する。

初期化後、演算処理部１１４は、センサ部１１３に、処理要素1_xyを１行毎又は１列毎に選択するような信号ROW(y)，COL(x)を出力して、センサ部１１３から、取得した画像の０次モーメント量と１次モーメント量を示す信号SOUTを出力させる。

そして、演算処理部１１４は、信号SOUTに基づいて取得した０次モーメント量と１次モーメント量から数４に従い、取得した画像の重心位置（ｘg，ｙg）を行毎又は列毎に取得する。演算処理部１１４は、取得した重心位置（ｘg,ｙg）を追跡制御装置１０６に出力する。

次に、従来のＣＣＤの処理時間とセンサ部１１３の処理時間とを比較する。従来のＣＣＤの処理時間は、通常、３０ｍｓ程度である。これに対して、センサ部１１３が重心位置を取得する場合、（４ｎ²＋２ｎ＋１）サイクルを要する。

具体的に、Ｎ＝６４として０次モーメント量を取得する場合、センサ部１１３は、１３サイクル数を要し、信号CLOCK2のクロック周波数を約８ＭＨｚとして、処理時間は、１．６μｓ程度である。また、１次モーメント量を取得する場合、センサ部１１３は、７２サイクルを要し、処理時間は、９．２μｓ程度である。

そして、重心を取得する場合、センサ部１１３は、１５７サイクルを要し、処理時間は、２０μｓである。このようにＣＣＤと比較して、重心取得部１１２は、短時間でターゲット画像ａの重心位置を検出することができる。

図１に戻り、ビデオカメラ１０２は、ターゲットＡを撮影するものである。尚、ビジョンカメラ１０１とビデオカメラ１０２とは、図６に示すように、監視エリアArea2が同じになるように、旋回台１０４に載置される。

ビデオカメラ１０２は、追跡制御装置１０６から、ターゲット画像ａを囲む切り出しエリアArea1の情報が供給されて、切り出しエリアArea1の画像の取り込み処理を行う。映像モニタ１０３は、ビデオカメラ１０２の撮影によって得られた切り出しエリアArea1内の画像を表示するためのものである。映像モニタ１０３は、表示部に対応する。

旋回台１０４と旋回台制御装置１０５とは、供給された撮影方向制御情報に基づいてビジョンカメラ１０１の撮影方向を制御するものであり、撮影制御部に対応する。旋回台１０４は、ビデオカメラ１０２とビジョンカメラ１０１とを載置する。この旋回台１０４は、地面に対して垂直な線と水平な線とを軸として一定の旋回範囲内で回転可能なものである。

旋回台制御装置１０５は、追跡制御装置１０６からターゲットＡの予測位置が供給されて旋回台１０４を回転制御するものである。旋回台制御装置１０５は、図６に示す追跡可能旋回エリアArea3をカバーするように、旋回台１０４を回転制御する。

追跡制御装置１０６は、ビジョンカメラ１０１の重心取得部１１２が取得したターゲット画像ａの重心位置の変化を監視するものである。そして、追跡制御装置１０６は、ターゲット画像ａの重心位置が変化したと判定した場合に、重心取得部１１２が取得したターゲット画像ａの重心位置に基づいてターゲット画像ａを追跡する。この追跡制御装置１０６は、重心位置変化監視部に対応する。追跡制御装置１０６は、重心取得部１１２の演算処理部１１４と同様に、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備える。

追跡制御装置１０６は、重心取得部１１２が取得したターゲット画像ａの重心位置に基づいてターゲット画像ａの切り出しエリアArea1を設定して、映像モニタ１０３に切り出しエリアArea1の画像を表示させる。

追跡制御装置１０６は、ターゲット画像ａの重心位置が切り出しエリアArea1の中心となるように切り出しエリアArea1を設定する。追跡制御装置１０６は、このように設定した切り出しエリアArea1の情報をビデオカメラ１０２に供給して、切り出しエリアArea1の画像取り込み処理を行わせる。

また、追跡制御装置１０６は、ビジョンカメラ１０１の重心取得部１１２から取得したターゲット画像ａの重心位置の情報に基づいて重心位置の変化を判定する。重心位置の変化を判定するため、追跡制御装置１０６は、ＲＡＭにビジョンカメラ１０１の重心取得部１１２から取得したターゲット画像ａの重心位置を記憶する。

追跡制御装置１０６は、記憶した重心位置を前回値として、前回値と新たに取得した重心位置とを比較し、一致すれば、重心位置に変化はないと判定し、不一致であれば、重心位置は変化したと判定する。

重心位置が変化したと判定した場合、ターゲット画像ａの重心位置が監視エリアArea2内であれば、追跡制御装置１０６は、切り出しエリアArea1だけを補正する。追跡制御装置１０６は、補正した切り出しエリアArea1の情報をビジョンカメラ１０１とビデオカメラ１０２とに供給する。

追跡制御装置１０６は、ターゲット画像ａの監視エリアArea2を設定し、重心取得部１１２が取得したターゲット画像ａの重心位置が監視エリアArea2外になった場合、ターゲット画像ａの重心位置の変化方向に基づいてターゲット画像ａの重心位置を予測し、予測した位置の情報を撮影方向制御情報として旋回台制御装置１０５に供給する。

即ち、ターゲット画像ａの重心位置が監視エリアArea2外になった場合、追跡制御装置１０６は、追跡可能旋回エリアArea3内であれば、旋回台１０４を回転するように旋回台制御装置１０５を制御する。

この場合、ＲＡＭに記憶した前回値と新たな重心位置とから、次のターゲットＡの位置を予測する。追跡制御装置１０６は、このような旋回台１０４の予測制御を行って、ターゲットＡの予測位置の情報を旋回台制御装置１０５に供給する。

さらに、ターゲット画像ａの重心位置が追跡可能旋回エリアArea3外になった場合、追跡制御装置１０６は、ターゲット画像ａの重心位置が追跡可能旋回エリアArea3内になるまで待機する。そして、予め設定された時間が経過しても、ターゲット画像ａの重心位置が追跡可能旋回エリアArea3内にならなければ、追跡制御装置１０６は、画像追跡処理を終了させる。

予め設定された時間が経過したか否かを判定するため、追跡制御装置１０６は、タイマを備え、ＲＡＭにタイマのカウント値を記憶する。

次に実施形態１に係るターゲット監視装置の動作を説明する。
追跡制御装置１０６は、図７に示すフローチャートに従って、画像追跡処理を実行する。
追跡制御装置１０６は、重心取得部１１２から、ターゲット画像ａの重心位置を取得する（ステップＳ１１）。

追跡制御装置１０６は、取得した重心位置をＲＡＭに記憶する（ステップＳ１２）。

追跡制御装置１０６は、新たに取得した重心位置とＲＡＭに既に記憶した前回値とを比較して、比較結果に基づいて、ターゲット画像ａの重心位置が変化したか否かを判定する（ステップＳ１３）。

ターゲット画像ａの重心位置が変化していないと判定した場合（ステップＳ１３においてＮｏ）、追跡制御装置１０６は、ビデオカメラ１０２に監視エリアArea2内の画像の取り込み処理を行わせる（ステップＳ１４）。

一方、画像の重心位置が変化したと判定した場合（ステップＳ１３においてＹｅｓ）、追跡制御装置１０６は、画像の重心位置がビデオカメラ１０２の監視エリアArea2内か否かを判定する（ステップＳ１５）。

ターゲット画像ａの重心位置がビデオカメラ１０２の監視エリアArea2内と判定した場合（ステップＳ１５においてＹｅｓ）、追跡制御装置１０６は、切り出しエリアArea1の補正を行う（ステップＳ１６）。そして、追跡制御装置１０６は、補正した切り出しエリアArea1の情報をビデオカメラ１０２に供給し、ビデオカメラ１０２に監視エリアArea2内の画像の取り込み処理を行わせる（ステップＳ１４）。

画像の重心位置がビデオカメラ１０２の監視エリアArea2外と判定した場合（ステップＳ１５においてＮｏ）、追跡制御装置１０６は、タイマを起動する（ステップＳ１７）。追跡制御装置１０６は、旋回台１０４の予測制御を行う（ステップＳ１８）。

追跡制御装置１０６は、重心取得部１１２が取得した重心位置に基づいて、ターゲット画像ａが監視エリアArea2内か否かを判定する（ステップＳ１９）。ターゲット画像ａが監視エリアArea2内と判定した場合（ステップＳ１９においてＹｅｓ）、追跡制御装置１０６は、ステップＳ１１〜Ｓ１６の処理を実行する。

ターゲット画像ａが監視エリアArea2外と判定した場合（ステップＳ１９においてＮｏ）、追跡制御装置１０６は、タイマをカウントアップ又はカウントダウンする（ステップＳ２０）。

追跡制御装置１０６は、タイマがタイムアウトしたか否かを判定する（ステップＳ２１）。

タイムアウトしていないと判定した場合（ステップＳ２１においてＮｏ）、ステップＳ１８〜Ｓ２０の処理を実行する。

タイムアウトしたと判定した場合（ステップＳ２１においてＹｅｓ）、追跡制御装置１０６は、この画像追跡処理を終了させる。

次に、ターゲット監視装置の具体的な動作について説明する。
図１に示すように、ターゲット監視装置のビジョンカメラ１０１とビデオカメラ１０２とは、監視エリアArea2内のターゲットＡを撮影する。

図８（ａ）に示すように、ターゲット画像ａが監視エリアArea2内に位置している場合、ビジョンカメラ１０１の重心取得部１１２は、ターゲット画像ａの重心位置を取得する。追跡制御装置１０６は、その重心位置を重心取得部１１２から取得する（ステップＳ１１の処理）

ターゲット画像ａが移動しなければ、ＲＡＭに記憶した前回値と新たに取得した重心位置とは、一致する。このため、追跡制御装置１０６は、重心位置に変化はないと判定し、ビデオカメラ１０２に切り出しエリアArea1内のターゲット画像ａの取り込み処理を行わせる（ステップＳ１４の処理）。

図８（ｂ）に示すように、ターゲット画像ａが左上に移動した場合、その重心位置も変化する。ターゲット画像ａの重心位置が監視エリアArea2内であれば、追跡制御装置１０６は、ターゲット画像ａを囲むように切り出しエリアArea1を補正して、補正した切り出しエリアArea1の情報をビデオカメラ１０２に供給する。そして、追跡制御装置１０６は、ビデオカメラ１０２に切り出しエリアArea1の画像の取り込み処理を行わせる（ステップＳ１６の処理）。

同様に、ターゲット画像ａが、図８（ｃ）に示すように右下に移動した場合、ターゲット画像ａの重心位置が監視エリアArea2内であれば、追跡制御装置１０６は、ターゲット画像ａを囲むように切り出しエリアArea1を右下に補正して、補正した切り出しエリアArea1の情報をビデオカメラ１０２に供給する。

ターゲット画像ａが図９（ａ）に示す位置から、図９（ｂ）に示す位置に移動して、ターゲット画像ａの重心位置が監視エリアArea2外に移動した場合、追跡制御装置１０６は、旋回台１０４の予測制御を行い、旋回台制御装置１０５に予測位置の情報を供給する（ステップＳ１８の処理）。

予測制御の結果、図９（ｃ）に示すように監視エリアArea2が変化した場合、追跡制御装置１０６は、再び、ターゲット画像ａの重心位置を取得する（ステップＳ１１の処理）。追跡制御装置１０６は、ターゲット画像ａを囲むように、監視エリアArea2内の切り出しエリアArea1を補正して、補正した切り出しエリアArea1の情報をビデオカメラ１０２に供給する。

ターゲット画像ａが図９（ｄ）に示す位置に移動した場合、追跡制御装置１０６は、ターゲット画像ａを囲むように、監視エリアArea2内の切り出しエリアArea1を補正して、補正した切り出しエリアArea1の情報をビデオカメラ１０２に供給する。

次に、ターゲット画像ａが図９（ｅ）に示すように監視エリアArea2外に移動した場合、ターゲット画像ａの重心位置も監視エリアArea2外になる。この場合、追跡制御装置１０６は、旋回台１０４の予測制御を行い、旋回台制御装置１０５に予測位置の情報を供給する（ステップＳ１８の処理）。

監視エリアArea2が図９（ｆ）に示す位置に変化した場合、追跡制御装置１０６は、再び、ターゲット画像ａの重心位置を取得する（ステップＳ１１の処理）。追跡制御装置１０６は、ターゲット画像ａを囲むように、監視エリアArea2内の切り出しエリアArea1を補正して、補正した切り出しエリアArea1の情報をビデオカメラ１０２に供給する。

このように追跡制御装置１０６は、ターゲットＡを追跡し、切り出したターゲット画像ａを映像モニタ１０３に出力する。映像モニタ１０３は、ビデオカメラ１０２が撮影した監視エリアArea2の画像を表示する。映像モニタ１０３には、ターゲットＡが移動しても、ターゲット画像ａの重心がモニタ中心となるように切り出されたターゲット画像ａが表示される。

以上説明したように、本実施形態１によれば、ビジョンカメラ１０１の重心取得部１１２は、ターゲット画像ａの重心位置を取得し、追跡制御装置１０６が重心取得部１１２からターゲット画像ａの重心位置を取得して、この重心位置に基づいて、ターゲット画像ａを追跡するようにした。

従って、重心取得部１１２がターゲット画像ａの重心位置を短時間で取得できるので、動きの早いターゲットＡを追跡することができ、高速でターゲット画像ａのみを取り出すことができる。

（実施形態２）
実施形態２に係るターゲット監視装置は、陸上競技におけるスタートライン（競技線）をターゲットとして監視し、このスタートラインにおける踏み越し判定を行うようにしたものである。

実施形態２に係るターゲット監視装置は、図１０に示すように、ビジョンカメラ１０１と、ハンドフリーマイク２０１と、スタートピストル２０２と、スタート信号発生装置２０３と、ヘッドセット２０４と、信号灯２０５と、画像判定装置２０６と、を備える。

ビジョンカメラ１０１は、実施形態１と同様のものである。但し、実施形態２におけるビジョンカメラ１０１は、陸上競技におけるスタートラインＢをターゲットとして撮影する。

例えば、スタンディングスタートによる１５００ｍ走、１００００ｍ走のように、オープンコースを走る陸上競技では、スタート地点のスタートラインＢが曲線になっている。

陸上競技が、例えば、１５００ｍ競争の場合、スタートラインＢは、図１１に示すように１〜８レーンまでを横切るように、地面に描かれている。この場合、ビジョンカメラ１０１は、インからの４レーンと、アウトからの４レーンと、に分けて撮影を行い、重心取得部１１２は、それぞれのスタートライン画像ｂの重心位置を取得する。

また、陸上競技が、１００００ｍ競争の場合、スタートラインＢは、図１２に示すように、インからの４レーンと、アウトからの４レーンと、に分かれている。この場合、ビジョンカメラ１０１は、インからの４レーンと、アウトからの４レーンと、に分けて撮影を行い、重心取得部１１２は、そのスタートライン画像ｂの重心位置を取得する。

ハンドフリーマイク２０１は、スタータ２１０の「位置について」といった音声を集音するものであり、スタータ２１０の口の近傍に配置されて音声を集音する。ハンドフリーマイク２０１は、スタータ２１０の音声を集音すると、集音した音声を音声信号に変換して画像判定装置２０６に供給する。

スタートピストル２０２は、競技者に対して音等を発してスタートの合図を行うものであり、スタータ２１０によって操作される。スタートピストル２０２は、スタート信号発生装置２０３に接続され、スタートの合図を行ったときの発射信号をスタート信号発生装置２０３に出力する。

スタート信号発生装置２０３は、スタートピストル２０２から発射信号が供給されて、スタート信号を発生させるものであり、発生させたスタート信号を画像判定装置２０６に供給する。

ヘッドセット２０４は、スタータ２１０に音声で踏み越しがあった旨の通知を行うためのものであり、画像判定装置２０６に接続される。信号灯２０５は、踏み越しがあったときに点灯して踏み越しがあったことを知らせるためのものであり、画像判定装置２０６に接続される。

画像判定装置２０６は、重心取得部１１２が取得したスタートライン画像ｂの重心位置が変化したと判定した場合にスタートラインＢへの競技者による踏み込み有りと判定するものである。

画像判定装置２０６は、ハンドフリーマイク２０１から、スタータ２１０の音声「位置について」を示す音声信号が供給される前に、後述する踏越判定処理を実行し、スタート信号発生装置２０３からスタート信号が供給されて踏越判定処理を終了させる。

画像判定装置２０６は、踏越判定処理において、ハンドフリーマイク２０１から、スタータ２１０の音声「位置について」を示す音声信号が供給されると、ビジョンカメラ１０１の重心取得部１１２からスタートライン画像ｂの重心位置の初期値を取得する。

１５００ｍ走、１００００ｍ走のような陸上競技においては、少しでもスタートラインＢに競技者の靴がかかると、フライングとなる。位置につく前、競技者がスタートラインＢを踏むことはなく、ビジョンカメラ１０１で撮影したスタートライン画像ｂは、図１３（ａ）に示すような形状を有する。このときのスタートライン画像ｂの重心位置を初期値（ｘg0、ｙg0）とする。

初期値を取得した後、競技者の靴がスタートラインＢを踏み越えた場合、スタートライン画像ｂは、図１３（ｂ）に示すように、競技者の踏み越えた靴跡ｆの分だけ変化し、重心位置も（ｘg0、ｙg0）から（ｘg1、ｙg1）に変化する。

画像判定装置２０６は、スタートライン画像ｂの重心位置がこのように変化すると、踏み越しありと判定し、ヘッドセット２０４に音声で踏み越しがあった旨の通知を行い、信号灯２０５を点灯する。

次に実施形態２に係るターゲット監視装置の動作を説明する。
画像判定装置２０６は、図１４に示すフローチャートに従って、踏越判定処理を実行する。
画像判定装置２０６は、初期値を入力する（ステップＳ３１）。

画像判定装置２０６は、スタート信号が供給されたか否かを判定する（ステップＳ３２）。スタート信号が供給されなかったと判定した場合（ステップＳ３２においてＮｏ）、画像判定装置２０６は、ビジョンカメラ１０１の重心取得部１１２から、スタートライン画像ｂの重心位置を取得する（ステップＳ３３）。

画像判定装置２０６は、取得した重心位置とその初期値とを比較して、重心位置に変化があるか否かを判定する（ステップＳ３４）。

重心位置に変化がないと判定した場合（ステップＳ３４においてＮｏ）、画像判定装置２０６は、再度、スタート信号が供給されたか否かを判定する（ステップＳ３２）。

重心位置に変化があったと判定した場合（ステップＳ３４においてＹｅｓ）、画像判定装置２０６は、踏み越しがあった旨の通知を音声でヘッドセット２０４に行い、信号灯２０５を点灯する（ステップＳ３５）。

一方、スタート信号が供給されたと判定した場合（ステップＳ３２においてＹｅｓ）、画像判定装置２０６は、この踏越判定処理を終了させる。

次に、この踏越判定処理を具体的に説明する。
図１５（ａ）に示すように、時刻ｔ１０において、スタータ２１０の「位置について」の合図があると、画像判定装置２０６は、スタートライン画像ｂの初期値をビジョンカメラ１０１の重心取得部１１２から取得する（ステップＳ３１の処理）。

初期値を取得した後、競技者の靴がスタートラインＢを踏み越えずに、時刻ｔ１１になった場合、画像判定装置２０６は、この踏越判定処理を終了させる。

図１５（ｂ）に示すように、時刻ｔ１２において、競技者の靴がスタートラインＢを踏み越えた場合、画像判定装置２０６は、重心位置に変化があったと判定し、踏み越しがあった旨の通知を音声でヘッドセット２０４に行い、信号灯２０５を点灯する（ステップＳ３５の処理）。

以上説明したように、本実施形態２によれば、ビジョンカメラ１０１は、スタートラインＢを撮影し、重心取得部１１２は、スタートライン画像ｂの重心位置を取得する。そして、画像判定装置２０６がスタートライン画像ｂの重心位置が変化したと判定した場合、踏み越しがあった旨の通知を行うようにした。

従って、高速で踏越判定を行うことができる。また、スタンディングスタートによる１５００ｍ走、１００００ｍ走のように、オープンコースを走る陸上競技のように、スタートラインＢが曲線になっている場合でも、正確に踏越判定を行うことができる。

（実施形態３）
実施形態３に係るターゲット監視装置は、跳躍競技における踏み切り板をターゲットとして監視し、この踏み切り板における踏み切り判定を行うようにしたものである。

実施形態３に係るターゲット監視装置の構成を図１６に示す。
実施形態３に係るターゲット監視装置はビジョンカメラ１０１と、ビデオカメラ１０２と、映像モニタ１０３と、ビデオレコーダ２０７と、を備える。

ビジョンカメラ１０１とビデオカメラ１０２と映像モニタ１０３とは、実施形態１のものと同様のものである。但し、実施形態２におけるビジョンカメラ１０１とビデオカメラ１０２とは、跳躍競技における踏切板Ｃをターゲットとして撮影する。

ビデオレコーダ２０７は、ビデオカメラ１０２で撮影された画像を判定用として記録するためのものである。

実施形態３の画像判定装置２０６は、重心取得部１１２が取得した踏切板画像ｃの重心位置が変化したと判定した場合に踏切板Ｃへの競技者による踏み切り有りと判定する。

画像判定装置２０６は、競技が始まる直前から、後述する踏み切り判定処理の実行を開始し、予め設定された時間が経過すると、この踏み切り判定処理を終了させる。画像判定装置２０６は、踏み切り判定処理において、競技者の跳躍前に、重心取得部１１２から、踏切板画像ｃの重心位置の初期値を取得する。

跳躍競技においては、実施形態２と同様、少しでも競技者の靴が踏切板Ｃをはみ出して踏み切ると、ファールとなる。競技者の跳躍前であれば、競技者の靴は、踏切板Ｃには入らず、踏切板画像ｃは、図１７（ａ）に示すような画像になる。このときの踏切板画像ｃの重心位置を（ｘg0，ｙg0）とする。

初期値を取得した後、競技者の靴が踏切板Ｃに足がかかった場合、スタートライン画像ｂは、図１７（ｂ）に示すように、競技者の踏み越えた靴跡ｆの分だけ変化し、重心位置も（ｘg0、ｙg0）から（ｘg0+Δｘ、ｙg1＋Δｙ）に変化する。

また、画像判定装置２０６は、競技者による踏切板Ｃの踏み込み有りと判定した場合に、踏切板画像ｃの重心位置の変化量に基づいて踏み込み位置を特定し、競技者による踏切板Ｃの踏み込み位置を拡大撮影するように、ビデオカメラ１０２を制御する。

即ち、画像判定装置２０６は、踏切板画像ｃの重心位置がこのように変化すると、踏み切りありと判定し、取得した重心位置に基づいて競技者の靴ｆが認識された位置を算出し、監視エリアを算出する。画像判定装置２０６は、ビデオカメラ１０２を制御して、図１８に示すように、踏切時に撮影された映像から踏切判定を行うために、算出した監視エリアを撮影させ、競技者の靴Ｆを拡大撮影させる。

次に実施形態３に係るターゲット監視装置の動作を説明する。
画像判定装置２０６は、図１９に示すフローチャートに従って踏切判定処理を実行する。

画像判定装置２０６は、競技者が跳躍する前の踏切板画像ｃの重心位置の初期値を重心取得部１１２から取得する（ステップＳ４１）。

画像判定装置２０６は、予め設定された判定時間が経過したか否かを判定する（ステップＳ４２）。

判定時間が経過していないと判定した場合（ステップＳ４２においてＮｏ）、画像判定装置２０６は、踏切板画像ｃの重心位置を重心取得部１１２から取得する（ステップＳ４３）。

画像判定装置２０６は、取得した踏切板画像ｃの重心位置とその初期値とを比較して重心位置が変化したか否かを判定する（ステップＳ４４）。

重心位置が変化していないと判定した場合（ステップＳ４４においてＮｏ）、画像判定装置２０６は、再び、判定時間が経過したか否かを判定し、判定時間が経過していないと判定した場合、踏切板画像ｃの重心位置を取得する（ステップＳ４２〜Ｓ４３）。

重心位置が変化したと判定した場合（ステップＳ４４においてＹｅｓ）、画像判定装置２０６は、取得した重心位置に基づいて競技者の靴ｆが認識された位置を算出し、監視エリアを算出する。そして、画像判定装置２０６は、切り出し領域を設定する（ステップＳ４５）。

画像判定装置２０６は、設定した切り出し領域の撮影対象を拡大撮影するようにビデオカメラ１０２を制御して、映像モニタ１０３にその画像を表示させる（ステップＳ４６）。

そして、判定時間が経過したと判定した場合（ステップＳ４２においてＹｅｓ）、画像判定装置２０６は、この処理を終了させる。

画像判定装置２０６がこのような踏切判定処理を実行することにより、踏み切り板に競技者の靴がかかった場合、ビデオカメラ１０２は、図１８に示すように、競技者の靴Ｆを拡大撮影する。そして、映像モニタ１０３は、この競技者の靴の画像ｆを拡大表示し、踏切板Ｃに競技者の靴Ｆがかかったことが視認される。

以上説明したように、本実施形態３によれば、ビジョンカメラ１０１は、踏切板Ｃを撮影し、重心取得部１１２は、踏切板画像ｃの重心位置を取得する。そして、画像判定装置２０６が踏切板画像ｃの重心位置が変化したと判定した場合、競技者の靴の画像ｆを拡大撮影するように制御した。

従って、高速で踏切判定を行うことができる。また、踏切板画像ｃの重心位置に基づいて監視エリアを算出し、その監視エリアを撮影するようにビデオカメラ１０２を制御することによって、この踏切の有無を分かり易く表示させることができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。
例えば、上記実施形態１，３では、ビジョンカメラ１０１とビデオカメラ１０２とを備えるようにした。しかし、カメラを１つにして、カメラ内で光軸を２つに分けて、一方の光を、センサ部１１３に導き、もう一方の光を映像モニタ１０３への表示用にしてもよい。

また、上記実施形態２においても、ビデオカメラ１０２を備えるようにしてもよい。

上記実施形態２では、スタートラインＢが曲線になっている場合について説明した。しかし、これに限られるものではなく、スタートラインＢが直線の場合でも、実施形態２を適用できる。

本発明の実施形態１に係るターゲット監視装置の構成を示すブロック図である。 図１に示すビジョンカメラの構成を示す図である。 図２に示すセンサ部の構成を示す図である。 図３に示す処理要素の構成を示す図である。 図４に示すトラッキング部の動作を示す図である。 切り出しエリアと監視エリアと追跡可能旋回エリアを示す図である。 図１に示す追跡制御装置が実行する画像追跡処理を示すフローチャートである。 実施形態１に係るターゲット監視装置の具体的な動作（１）を示す図である。 実施形態１に係るターゲット監視装置の具体的な動作（２）を示す図である。 本発明の実施形態２に係るターゲット監視装置の構成を示すブロック図である。 実施形態２に係るスタートラインの例として、１５００ｍ走のスタートラインを示す図である。 実施形態２に係るスタートラインの例として、１００００ｍ走のスタートラインを示す図である。 図１０に示す画像判定装置の踏越判定の方法を示す図である。 図１０に示す画像判定装置が実行する踏越判定処理を示すフローチャートである。 図１０に示す画像判定装置が実行する踏越判定処理を示すタイミングチャートである。 本発明の実施形態３に係るターゲット監視装置の構成を示すブロック図である。 図１６に示す画像判定装置が実行する踏み切り判定の方法を示す図である。 図１６に示す画像判定装置の踏み切り判定後のビデオカメラの撮影エリアを示す図である。 図１６に示す画像判定装置が実行する踏み切り判定処理を示すフローチャートである。

符号の説明

１０１ ビジョンカメラ
１０２ ビデオカメラ
１０３ 映像モニタ
１０４ 旋回台
１０５ 旋回台制御装置
１０６ 追跡制御装置
１１２ 重心取得部
１１３ センサ部
１１４ 演算処理部
２０６ 画像判定装置

Claims (6)

1. 監視対象物としてのターゲットを撮影する撮影部と、
   前記撮影部によって撮影された前記ターゲットの画像の重心位置を取得する重心取得部と、
   前記重心取得部が取得した前記重心位置の変化を監視する重心位置変化監視部と、を備え、
   前記重心取得部は、
   受光した光の強度に対応する信号レベルの光検出信号に変換する複数の光電変換素子が行列配置されて、前記ターゲットからの光を、前記光電変換素子で受光して前記画像を生成するとともに、前記光電変換素子が出力した光検出信号を２値化して加算演算するセンサ部と、
   前記センサ部の前記光電変換素子を選択し、選択した前記光電変換素子の光検出信号の２値化信号を前記センサ部が加算演算して前記画像の０次モーメント量と１次モーメント量とを示す信号を出力するように前記センサ部を制御して、前記センサ部の出力信号に基づいて前記ターゲット画像の重心位置を取得する演算処理部と、備えたものである、
   ことを特徴とするターゲット監視装置。
2. 前記重心位置変化監視部は、前記重心位置が変化したと判定した場合に、前記重心取得部が取得した前記重心位置に基づいて前記ターゲット画像を追跡する、
   ことを特徴とする請求項１に記載のターゲット監視装置。
3. 供給された撮影方向制御情報に基づいて前記撮影部の撮影方向を制御する撮影制御部を備え、
   前記重心位置変化監視部は、前記画像の監視領域を設定し、前記重心取得部が取得した前記重心位置が前記監視領域外になった場合、前記重心位置の変化方向に基づいて前記重心位置を予測し、予測した位置の情報を前記撮影方向制御情報として前記撮影制御部に供給する、
   ことを特徴とする請求項２に記載のターゲット監視装置。
4. 画像を表示する表示部を備え、
   前記重心位置変化監視部は、前記重心取得部が取得した前記重心位置に基づいて前記画像の切り出し領域を設定して、前記表示部に前記切り出し領域の前記画像を表示させる、
   ことを特徴とする請求項２又は３に記載のターゲット監視装置。
5. 前記撮影部は、前記ターゲットとして、競技における競技線を撮影し、
   前記重心取得部は、前記撮影部によって撮影された前記競技線の画像の重心位置を取得し、
   前記重心位置変化監視部は、前記重心取得部が取得した前記競技線画像の重心位置が変化したと判定した場合に前記競技線への競技者による踏み込み有りと判定する、
   ことを特徴とする請求項１に記載のターゲット監視装置。
6. 前記重心位置変化監視部は、前記競技者による前記競技線の踏み込み有りと判定した場合に、前記競技線の画像の重心位置の変化量に基づいて踏み込み位置を特定し、前記競技者による前記競技線の踏み込み位置を拡大撮影するように、前記撮影部を制御する、
   ことを特徴とする請求項５に記載のターゲット監視装置。
   

Images