JP2008134150A - 画像目標識別装置 - Google Patents

Abstract

【課題】目標の形状がはっきりしない場合や目標が遠方に位置するような場合でも精度の高い目標識別を行うことのできる画像目標識別装置を得る。
【解決手段】目標検出処理部２は、撮像映像信号１０からランプを点滅させた目標を検出する。点滅周期測定部４は、ランプ点滅周期を測定し、第１の目標識別部５は、この点滅周期に基づいて目標識別を行う。点滅立ち上がり測定部６は、ランプの立ち上がり特性を測定し、第２の目標識別部７は、ランプの立ち上がり特性に基づいて目標識別を行う。
【選択図】図１

Description

この発明は、船舶や航空機といった目標に搭載されているランプの点滅周期や点滅立ち上がり特性を画像情報から測定し、その測定結果に基づいて目標を識別する画像目標識別装置に関するものである。

従来、目標の画像を用いた目標識別装置としては、例えば特許文献１に示すように、予め目標の形状をデータベースとして設け、このデータベースの形状と識別対象となる目標の形状とを比較することで目標識別を行っていた。

特許第３５１０１４０号公報

従来の画像目標識別装置では、目標の形状に基づいて目標識別を行っていたため、例えば、夜間時に取得した画像（目標の形状がはっきりしない画像）や、目標が遠方に位置する画像（画像上で目標が非常に微小な画像）では、目標識別が困難であったり、誤識別の恐れがあるといった問題点があった。

この発明は上記のような課題を解決するためになされたもので、目標の形状がはっきりしない場合や目標が遠方に位置するような場合でも精度の高い目標識別を行うことのできる画像目標識別装置を得ることを目的とする。

この発明に係る画像目標識別装置は、目標のランプ点滅周期を測定し、測定周期情報を送出する点滅周期測定部と、複数の目標のランプ点滅の測定周期情報の値をデータベースとして有し、測定周期情報とデータベースの値とを比較して目標識別結果を出力する第１の目標識別部とを備えたものである。

この発明の画像目標識別装置は、目標のランプの点滅周期に基づいて目標を識別するようにしたので、目標の形状がはっきりしない場合や目標が遠方に位置するような場合でも精度の高い目標識別を行うことができる。

実施の形態１．
図１は、この発明の実施の形態１による画像目標識別装置を示す構成図である。
図において、画像目標識別装置は、カメラシステム部１、目標検出処理部２、オペレーティングシステム部３、点滅周期測定部４、第１の目標識別部５、点滅立ち上がり測定部６、第２の目標識別部７、モニタシステム部８を備えている。

カメラシステム部１は、例えば、潜水艦の潜望鏡等の可視カメラや赤外カメラで構成されている。このカメラシステム部１は、可視光または赤外光が入力光９が入力され、その入力光９を、ＣＣＤ、ＣＭＯＳ等で光／電気変換し、撮像映像信号１０として、目標検出処理部２、点滅周期測定部４及び点滅立ち上がり測定部６に出力する。目標検出処理部２は、撮像映像信号１０からランプを点滅させた目標を検出し、その位置座標を検出するよう構成されている。即ち、目標検出処理部２は、カメラシステム部１から出力された撮像映像信号１０を入力し、その入力映像の中から目標と考えられる領域を検出し、その検出結果を位置座標信号１１として、点滅周期測定部４及び点滅立ち上がり測定部６に出力する。

オペレーティングシステム部３は、図示しないマンマシンインタフェースからオペレータの操作意思（目標識別を点滅周期測定部４あるいは点滅立ち上がり測定部６のどちらで実施するのか）が入力され、その操作意思をトリガ信号１２として、点滅周期測定部４及び点滅立ち上がり測定部６に出力する機能部である。点滅周期測定部４は、カメラシステム部１から出力された撮像映像信号１０、目標検出処理部２から出力された位置座標信号１１及びオペレーティングシステム部３から出力されたトリガ信号１２を入力し、トリガ信号１２がＯＮの場合のみ点滅周期を測定し、測定情報を点滅周期特性解析情報１３として、第１の目標識別部５に出力するよう構成されている。第１の目標識別部５は、点滅周期測定部４から出力された点滅周期特性解析情報１３を入力し、第１の目標識別部５内の図示省略したデータベースと比較処理を実施し、マッチする目標情報を検索し、検索結果を第１の目標識別結果１４として、モニタシステム部８に出力する機能部である。

点滅立ち上がり測定部６は、カメラシステム部１から出力された撮像映像信号１０、目標検出処理部２からの位置座標信号１１及びオペレーティングシステム部３からのトリガ信号１２を入力し、トリガ信号１２がＯＮの場合のみ点滅立ち上がり測定を実施し、測定情報を立ち上がり特性解析情報１５として第２の目標識別部７に出力するよう構成されている。第２の目標識別部７は、点滅立ち上がり測定部６から入力した立ち上がり特性解析情報１５を第２の目標識別部７内の図示省略したデータベースの点滅立ち上がり特性と比較処理を行い、マッチする目標情報を検索し、検索結果を第２の目標識別結果１６として、モニタシステム部８に出力する機能部である。モニタシステム部８は、ディスプレイ等を備え、第１の目標識別部５から出力された第１の目標識別結果１４及び第２の目標識別部７から出力された第２の目標識別結果１６を入力し、それらを目標識別結果として表示する。

図２は、目標検出処理部２の詳細を示す構成図であり、これは、目標検出処理部２をスポークフィルタで構成したものである。
目標検出処理部２は、エッジ検出部２１、スポーク発生部２２及び閾値判定部２３からなる。エッジ検出部２１は、ラプラシアンフィルタなどからなり、入力された赤外画像等の撮像映像信号１０の濃淡変化に基づいて画像のエッジを検出し、エッジ画像をスポーク発生部２２へ出力する。スポーク発生部２２は、エッジ検出部２１でエッジとして検出された画素からスポークという線分をエッジ方向へ発生させる。そして、画素毎にスポークが交差している交差数をカウントし、交差数をカウントし、交差数を閾値判定部２３に出力する。閾値判定部２３では、予め定められた閾値と入力された交差数を比較し、閾値以上のスポーク交差数をもつ画素を選択する。そして、この検出した領域の座標を求め位置座標信号１１として出力する。

図３は、目標検出処理部２における他の例を示す構成図であり、これは、統計的２値化による背景差分から目標抽出を行うよう構成したものである。
この目標検出処理部２では、フレームバッファ２４、過去フレーム計算部２５及び背景差分部２６からなる。フレームバッファ２４は、現在フレームより前の過去フレームを数フレーム記憶するバッファである。現在フレームをＩ_t+N（ｘ、ｙ）とすると、過去フレームはＩ_t+N-1（ｘ、ｙ）、Ｉ_t+N-2（ｘ、ｙ）、・・・、Ｉ_t（ｘ、ｙ）と表せる。図４は、このフレームの関係を示したものである。

過去フレーム計算部２５は、全領域の画素（ｘ、ｙ）についての平均ｍ（ｘ、ｙ）、分散Ｖ（ｘ、ｙ）と標準偏差Ｓ（ｘ、ｙ）を、以下に示す式（１）、式（２）、式（３）により求める。

図４中における画像４Ａは、式（１）で計算された平均画像を示している。平均を取るため、動いていない対象は濃度が高く、早く動く対象ほど濃度が低い画像となる。次に、背景差分部２６は、過去フレーム計算部２５で計算された０〜Ｎ−１までの平均ｍ（ｘ、ｙ）と標準偏差Ｓ（ｘ、ｙ）を用いて現在フレームＩ_t+N（ｘ、ｙ）を差分２値化する。
例えば、２値化の条件を下記のようにすれば、
Ｉｆ Ｉ_t+N（ｘ、ｙ）−ｍ（ｘ、ｙ）＞２．５Ｓ（ｘ、ｙ）
⇒Ｏ_t+N＝２５５
ｅｌｓｅ ⇒Ｏ_t+N＝０
となり、上記Ｏ_t+Nが現フレームの出力２値化画素となる。つまり、分散Ｓ（ｓ、ｙ）が大きい（ノイジーな部分）ほど閾値が高く、分散Ｓ（ｘ、ｙ）が小さいほど閾値が低くなる。このようにすることにより、変化がない場所に目標が出現、または移動してくるとノイズとは区別して目標として検出することができる。図４中の画像４Ｂが目標検出画像である。
そして、この検出した領域の座標を位置座標信号１１として出力する。

次に、点滅周期測定部４について説明する。
一般に、船舶、航空機等に搭載されているランプの点滅特性、即ち点滅周期には個体差がある。そこで、点滅周期測定部４及び第１の目標識別部５では、その個体差を用いて目標識別を行う。

図５は、点滅周期測定部４の詳細を示す構成図である。
点滅周期測定部４は、ＲＧＢ成分抽出部４１、Ｒ成分輝度ピーク検出部４２、Ｒ成分周期測定部４３、Ｇ成分輝度ピーク検出部４４、Ｇ成分周期測定部４５、Ｂ成分輝度ピーク検出部４６、Ｂ成分周期測定部４７、周期平均算出部４８からなる。
ＲＧＢ成分抽出部４１は、オペレーティングシステム部３から入力されるトリガ信号１２がＯＮの場合のみカメラシステム部１から入力された撮像映像信号１０をＲＧＢ成分に分け、Ｒ成分映像をＲ成分輝度ピーク検出部４２に、Ｇ成分映像をＧ成分輝度ピーク検出部４４に、Ｂ成分映像をＢ成分輝度ピーク検出部４６に出力する。入力される撮像映像信号１０が、ＹＰｂＰｒの場合、以下に示す式（４）〜（６）を用いて、ＲＧＢ成分に変換し、出力する。

Ｒ＝Ｙ＋１．５７４８・Ｐｒ （４）
Ｇ＝Ｙ−０．４６８・Ｐｒ−０．１８７３・Ｐｂ （５）
Ｂ＝Ｙ＋１．８５５６・Ｐｂ （６）

Ｒ成分輝度ピーク検出部４２は、ＲＧＢ成分抽出部４１から入力されるＲ成分映像内の位置座標信号１１にあたる画素の輝度値を継続的に測定し、輝度値のピーク値を検出し、検出したタイミングでＲ成分周期測定部４３にタイミング信号を出力する。ランプの点滅周期を正確に測定するために、これは、一度のみならず、複数回繰り返し、タイミング信号を出力する。Ｒ成分周期測定部４３は、繰り返し入力されるタイミング信号間の周期を測定し、複数測定されたＲ成分周期平均値を算出し、Ｒ成分周期平均値信号として、周期平均算出部４８に出力する。図６は、これらの輝度ピークの検出と周期を示す説明図であり、図中のＲ成分の波形がＲ成分輝度ピーク検出部４２及びＲ成分周期測定部４３の処理に対応している。

Ｇ成分輝度ピーク検出部４４は、Ｒ成分と同様に、ＲＧＢ成分抽出部４１から入力されるＧ成分映像内の位置座標信号１１にあたる画素の輝度値を継続的に測定し、輝度値のピーク値を検出し、検出したタイミングでＧ成分周期測定部４５にタイミング信号を出力する。ランプの点滅周期を正確に測定するために、これも、一度のみならず、複数回繰り返し、タイミング信号を出力する。Ｇ成分周期測定部４５では、繰り返し入力されるタイミング信号間の周期を測定し、複数測定されたＧ成分周期平均値を算出し、Ｇ成分周期平均値信号として、周期平均算出部４８に出力する。これらＧ成分輝度ピーク検出部４４及びＧ成分周期測定部４５の処理が図６中のＧ成分の波形に対応するものである。

Ｂ成分輝度ピーク検出部４６は、Ｒ、Ｇ成分と同様に、ＲＧＢ成分抽出部４１から入力されるＢ成分映像内の位置座標信号１１にあたる画素の輝度値を継続的に測定し、輝度値のピーク値を検出し、検出したタイミングでＢ成分周期測定部４７にタイミング信号を出力する。ランプの点滅周期を正確に測定するために、これも、一度のみならず、複数回繰り返し、タイミング信号を出力する。Ｂ成分周期測定部４７では、繰り返し入力されるタイミング信号間の周期を測定し、複数測定されたＲ成分周期平均値を算出し、Ｂ成分周期平均値信号として、周期平均算出部４８に出力する。これらＢ成分輝度ピーク検出部４６及びＢ成分周期測定部４７の処理が図６中のＢ成分の波形に対応している。

第１の目標識別部５では、点滅周期測定部４から入力された点滅周期特性解析情報１３と、内部で保持している各種のランプの点滅周期のデータベースと比較処理を行い、目標識別を実施する。合致度の高い目標から任意の目標数を第１の目標識別結果１４としてモニタシステム部８に出力する。

次に、点滅立ち上がり測定部６について説明する。
船舶、航空機等に搭載されているランプは、図７に示すように、消灯から点灯へ変化するとき、輝度の立ち上がり特性に個体差がある。そこで、点滅立ち上がり測定部６では、その個体差を検出し、第２の目標識別部７は個体差に基づいて目標識別を行う。

図８は、点滅立ち上がり測定部６の詳細を示す構成図である。
点滅立ち上がり測定部６は、ＲＧＢ成分抽出部６１、Ｒ成分ＦＦＴ算出部６２、Ｇ成分ＦＦＴ算出部６３、Ｂ成分ＦＦＴ算出部６４、パケット部６５からなる。ＲＧＢ成分抽出部６１は、オペレーティングシステム部３から入力されるトリガ信号１２がＯＮの場合のみカメラシステム部１から入力された撮像映像信号１０をＲＧＢ成分に分け、Ｒ成分映像をＲ成分ＦＦＴ算出部６２に、Ｇ成分映像をＧ成分ＦＦＴ算出部６３に、Ｂ成分映像をＢ成分ＦＦＴ算出部６４に出力する。入力される撮像映像信号１０がＹＰｂＰｒの場合、上述した式（４）〜（６）を用いて、ＲＧＢ成分に変換し、出力する。

Ｒ成分ＦＦＴ算出部６２では、目標検出処理部２から入力された位置座標信号１１で指定されたＲＧＢ成分抽出部６１から入力されたＲ成分映像の画素の輝度を点灯開始から消灯までを時間系列で測定し、横軸時間に対し、下式（７）のフーリエ変換を実施する。算出結果であるＦ（ｗ）から振幅が最大となる周波数成分のみをパケット部６５にＲ成分ＦＦＴ算出結果として出力する。但し、このときより高精度な目標検出を実施する場合には、算出結果Ｆ（ｗ）をそのままパケット部６５にＲ成分ＦＦＴ算出結果として出力する。そうすることにより、後段での第２の目標識別部７の識別の際に、複数の周波数成分を用いることができるため、高精度な識別が可能となるためである。Ｒ成分と同様に、Ｇ、Ｂ成分でもＧ成分ＦＦＴ算出部６３及びＢ成分ＦＦＴ算出部６４によって同様の処理を実施し、パケット部６５にＧ、Ｂ成分ＦＦＴ算出結果を出力する。パケット部６５では、Ｒ、Ｇ、Ｂ成分ＦＦＴ算出部６２〜６４から入力されたＲ、Ｇ、Ｂ成分ＦＦＴ算出結果を第２の目標識別部７に送出できるようにパケット化する。

第２の目標識別部７では、点滅立ち上がり測定部６から入力された立ち上がり特性解析情報１５から第２の目標識別部７内で持っている各種のランプの点滅立ち上がり特性のデータベースと比較処理を行い、目標識別を実施する。立ち上がり特性解析情報１５が振幅最大となる周波数成分のみである場合は、その振幅成分をデータベースと比較処理を行い、合致度が高い任意の目標数を第２の目標識別結果１６としてモニタシステム部８に出力する。立ち上がり特性解析情報１５がＦ（ｗ）の場合、周波数毎に合致度を算出する。その後、周波数の振幅の大きさに合わせて、最終合致度を下式（８）に基づいて算出する。そして、最終合致度が高い任意の目標数を第２の目標識別結果１６としてモニタシステム部８に出力する。

モニタシステム部８では、入力された第１の目標識別結果１４または第２の目標識別結果１６をディスプレイで表示し、目標識別結果をオペレータに提供する。
尚、上記実施の形態では、点滅周期か点滅立ち上がり特性のいずれか一方で目標識別を行うようにしたが、これら点滅周期と点滅立ち上がり特定の両方の識別を行い、これらの結果をモニタシステム部８で表示するようにしてもよい。

以上のように、実施の形態１の画像目標識別装置によれば、撮像画像からランプを点滅させた目標を検出する目標検出処理部と、目標のランプ点滅周期を測定し、測定周期情報を送出する点滅周期測定部と、複数の目標のランプ点滅の測定周期情報の値をデータベースとして有し、測定周期情報と、データベースの値とを比較し、目標識別結果を出力する第１の目標識別部とを備えたので、目標の形状がはっきりしない場合や目標が遠方に位置するような場合でも精度の高い目標識別を行うことができる。

また、実施の形態１の画像目標識別装置によれば、撮像画像からランプを点滅させた目標を検出する目標検出処理部と、目標のランプ点滅の立ち上がり特性を解析し、その立ち上がり特性解析情報を送出する点滅立ち上がり測定部と、複数の目標のランプ点滅の立ち上がり特性解析情報の値をデータベースとして有し、立ち上がり特性解析情報と、データベースの値とを比較し、目標識別結果を出力する第２の目標識別部とを備えたので、目標の形状がはっきりしない場合や目標が遠方に位置するような場合でも精度の高い目標識別を行うことができる。

また、実施の形態１の画像目標識別装置によれば、撮像画像からランプを点滅させた目標を検出する目標検出処理部と、目標のランプ点滅周期を測定し、測定周期情報を送出する点滅周期測定部と、複数の目標のランプ点滅の測定周期情報の値をデータベースとして有し、測定周期情報とデータベースの値とを比較し、目標識別結果を出力する第１の目標識別部と、目標のランプの点滅の立ち上がり特性を解析し、その立ち上がり特性解析情報を送出する点滅立ち上がり測定部と、複数の目標のランプ点滅の立ち上がり特性解析情報の値をデータベースとして有し、立ち上がり特性解析情報とデータベースの値とを比較し、目標識別結果を出力する第２の目標識別部と、第１の目標識別部及び第２の目標識別部の出力のうち、少なくともいずれか一方の出力を目標識別結果として表示するモニタシステム部とを備えたので、点滅周期と点滅立ち上がり特性の双方の目標識別結果を得ることができる。

この発明の実施の形態１による画像目標識別装置を示す構成図である。 この発明の実施の形態１による画像目標識別装置の目標検出処理部の詳細を示す構成図である。 この発明の実施の形態１による画像目標識別装置の目標検出処理部の他の例の詳細を示す構成図である。 この発明の実施の形態１による画像目標識別装置の画像フレームの関係を示す説明図である。 この発明の実施の形態１による画像目標識別装置の点滅周期測定部の詳細を示す構成図である。 この発明の実施の形態１による画像目標識別装置の点滅周期を示す説明図である。 この発明の実施の形態１による画像目標識別装置に関する点滅立ち上がり特性の説明図である。 この発明の実施の形態１による画像目標識別装置の点滅立ち上がり測定部の詳細を示す構成図である。

符号の説明

２ 目標検出処理部、４ 点滅周期測定部、５ 第１の目標識別部、６ 点滅立ち上がり測定部、７ 第２の目標識別部、８ モニタシステム部、１０ 撮像映像信号、１１ 位置座標信号、１３ 点滅周期特性解析情報、１４ 第１の目標識別結果、１５ 立ち上がり特性解析情報、１６ 第２の目標識別結果。

Claims (3)

1. 撮像画像からランプを点滅させた目標を検出する目標検出処理部と、
   前記目標のランプ点滅周期を測定し、測定周期情報を送出する点滅周期測定部と、
   複数の目標のランプ点滅の測定周期情報の値をデータベースとして有し、前記測定周期情報と、前記データベースの値とを比較し、目標識別結果を出力する第１の目標識別部とを備えた画像目標識別装置。
2. 撮像画像からランプを点滅させた目標を検出する目標検出処理部と、
   前記目標のランプ点滅の立ち上がり特性を解析し、その立ち上がり特性解析情報を送出する点滅立ち上がり測定部と、
   複数の目標のランプ点滅の立ち上がり特性解析情報の値をデータベースとして有し、前記立ち上がり特性解析情報と、前記データベースの値とを比較し、目標識別結果を出力する第２の目標識別部とを備えた画像目標識別装置。
3. 目標のランプの点滅の立ち上がり特性を解析し、その立ち上がり特性解析情報を送出する点滅立ち上がり測定部と、
   複数の目標のランプ点滅の立ち上がり特性解析情報の値をデータベースとして有し、前記立ち上がり特性解析情報と、前記データベースの値とを比較し、目標識別結果を出力する第２の目標識別部と、
   第１の目標識別部及び前記第２の目標識別部の出力のうち、少なくともいずれか一方の出力を目標識別結果として表示するモニタシステム部とを備えた請求項１記載の画像目標識別装置。

Images