JP2018046427A - 目標捜索装置、目標捜索方法及び目標捜索プログラム - Google Patents

Abstract

【課題】撮影手段を用いた探知目標の捜索において、探知目標の識別を容易に行えるようにする。【解決手段】航空機１は、光学カメラ１４を用いて所定の探知目標を捜索するものであり、光学カメラ１４が撮影した画像を表示するディスプレイ１５と、制御部１８とを備える。制御部１８は、ディスプレイ１５に表示された表示画像から、探知目標と思われる識別対象Ｔを含む注視領域ＷＡを抽出し、表示画像のうちの注視領域ＷＡの内外それぞれにおける画像特徴量の代表値Ｐin，Ｐoutと、注視領域ＷＡを分割した複数の小領域ＳＡそれぞれにおける画像特徴量の代表値Ｐiとを算出し、複数の小領域ＳＡのうち、その画像特徴量の代表値Ｐiが注視領域ＷＡ外の画像特徴量の代表値Ｐoutよりも注視領域ＷＡ内の画像特徴量の代表値Ｐinに近いものを、識別対象Ｔが存在する対象存在領域ＴＡとして抽出する。【選択図】図２

Description

本発明は、高所からのカメラ映像に基づいて所定の探知目標を捜索する技術に関する。

航空機などに設置された光学カメラを使用し、その操作員が高所からのカメラ映像（画像）を見ながら地上（または海上）の所定の探知目標の捜索を行う場合がある（例えば、特許文献１参照）。

このような捜索活動では、操作員が広画角のカメラ映像を見ながら広範囲での捜索を行い、疑わしい対象を発見したらその方向にカメラの視軸を向けて狭画角に切り替えて（ズームアップ）、それが探知目標か否かを確認する。そして、この対象が探知目標でなかった場合には再び広画角に戻して捜索を継続し、探知目標であった場合には当該探知目標の画像中の位置からその実際の位置（座標）を標定する。
このように、操作員は広画角での捜索と狭画角での識別とを、探知目標を発見するまで繰り返し行う必要があり、その操作負荷が極めて大きかった。

特許第４１７０４８８号公報

このような操作負荷の軽減策として、例えば操作員の視線の検知などによって広画角画像のなかから対象を含む領域を自動的に抽出し、この領域をズームアップする手法が考えられる。
しかしながら、視線検知などによる領域抽出方法では対象の大きさまでは検出できないため、領域をズームアップする際に適切な画角（拡大範囲）を設定することが難しい。その結果、画面に対して対象が過小または過大なサイズとなってしまい、対象の全容を捉えつつ具体形状を把握可能な拡大画像を得ることができず、この対象が探知目標であるか否かの識別が困難となってしまう。

本発明は、上記課題を鑑みてなされたもので、撮影手段を用いた探知目標の捜索において、探知目標の識別を容易に行えるようにすることを目的とする。

上記目的を達成するために、請求項１に記載の発明は、高所に設置された撮影手段を用いて所定の探知目標を捜索する目標捜索装置であって、
前記撮影手段が撮影した画像を表示する表示手段と、
前記表示手段に表示された表示画像から、前記探知目標と思われる識別対象を含む対象領域を抽出する対象領域抽出手段と、
前記表示画像のうちの前記対象領域の内外それぞれにおける画像特徴量の代表値を算出する特徴量算出手段と、
前記対象領域を複数の小領域に分割し、当該複数の小領域それぞれにおける画像特徴量の代表値を算出する第二特徴量算出手段と、
前記複数の小領域のうち、その画像特徴量の代表値が前記対象領域外の画像特徴量の代表値よりも前記対象領域内の画像特徴量の代表値に近いものを、前記識別対象が存在する対象存在領域として抽出する対象存在領域抽出手段と、
を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の目標捜索装置において、
前記対象存在領域の図心を中心とし、かつ、当該対象存在領域を所定の面積割合で含む拡大領域を算出する拡大領域算出手段と、
前記拡大領域を拡大範囲として、前記撮影手段の画角を調整する画角調整手段と、
を備えることを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の目標捜索装置において、
前記画像特徴量は、前記表示画像の輝度、コントラスト及び色のうちの少なくとも１つに基づくものであることを特徴とする。

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の目標捜索装置において、
前記対象領域抽出手段は、
前記表示手段に表示された表示画像上での操作員の視線軌跡を検出し、
検出された前記視線軌跡に基づいて、前記表示画像のうち前記操作員が注視した注視領域を、前記対象領域として抽出することを特徴とする。

請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の目標捜索装置において、
前記撮影手段が航空機に搭載されていることを特徴とする。

請求項６及び請求項７に記載の発明は、請求項１に記載の目標捜索装置と同様の特徴を具備する目標捜索方法及び目標捜索プログラムである。

本発明によれば、撮影手段により撮影されてディスプレイなどの表示手段に表示された表示画像から、探知目標と思われる識別対象を含む対象領域が抽出され、この表示画像のうち対象領域の内外それぞれにおける画像特徴量の代表値と、対象領域を分割した複数の小領域それぞれにおける画像特徴量の代表値とが算出される。そして、複数の小領域のうち、その画像特徴量の代表値が対象領域外よりも対象領域内の画像特徴量の代表値に近いものが、識別対象が存在する対象存在領域として抽出される。
これにより、対象領域のうち識別対象が存在する対象存在領域を、画像特徴量に基づいて好適に抽出することができる。したがって、抽出された対象存在領域を確認することにより、識別対象が探知目標であるか否かの識別を容易に行うことができる。

本実施形態における航空機の概略構成を示すブロック図である。 目標捜索処理でのデータの流れを示すデータフロー図である。 目標捜索処理を説明するための図である。 目標捜索処理を説明するための図である。

以下、本発明に係る目標捜索装置を航空機１に適用した場合の実施形態について、図面を参照して説明する。

［構成］
まず、本実施形態における航空機１の構成について、図１を参照して説明する。
図１は、航空機１の概略構成を示すブロック図である。
航空機１は、所定の探知目標の捜索を行うためのものであり、本実施形態においては、搭載された光学カメラ１４を用いてその操作員（搭乗員）が行う探知目標の捜索を支援可能に構成されたものである。
具体的には、図１に示すように、航空機１は、飛行機構１１と、操作部１２と、記憶部１３と、光学カメラ１４と、ディスプレイ１５と、カメラ操作部１６と、視線検出用カメラ１７と、制御部１８とを備えて構成されている。

このうち、飛行機構１１は、航空機１を飛行させるための機構であり、推進力を発生させる内燃機関（例えばジェットエンジン）や舵面駆動用のアクチュエータ等から構成されている。
操作部１２は、パイロットに操作される操縦桿や各種操作キー等を備えており、これら操縦桿や各種操作キー等の操作状態に対応する信号を制御部１８に出力する。

記憶部１３は、航空機１の各種機能を実現するためのプログラムやデータを記憶するとともに、作業領域としても機能するメモリである。本実施形態においては、記憶部１３は、目標捜索プログラム１３０を記憶している。
目標捜索プログラム１３０は、後述の目標捜索処理を制御部１８に実行させるためのプログラムである。

光学カメラ１４は、航空機１の機外を撮影するためのものであり、図示しないジンバルに載置されて向きを変えられるように航空機１の機体に設けられている。この光学カメラ１４は、航空機１の機体下方を動画または静止画で撮影し、取得した画像情報を制御部１８に出力する。

ディスプレイ１５は、制御部１８から入力される表示信号に基づいて、光学カメラ１４が撮影した画像を表示する。
カメラ操作部１６は、光学カメラ１４を操作するためのものであり、光学カメラ１４の向きやズームアップ・ズームバックなどの操作が可能となっている。このカメラ操作部１６は、本実施形態においては、パイロットとは異なる専用の操作員によって操作される。操作員は、ディスプレイ１５に表示された光学カメラ１４の撮影画像を見ながら、カメラ操作部１６を操作する。

視線検出用カメラ１７は、ディスプレイ１５を見る操作員の視線（目の動き）を検出するためのものであり、操作員の顔に対向するように設けられている。この視線検出用カメラ１７は、操作員の目の動きを撮影し、その画像情報を制御部１８に出力する。
なお、視線検出用カメラ１７は、ディスプレイ１５と一体的に構成されていてもよい。

制御部１８は、航空機１の各部を中央制御する。具体的に、制御部１８は、飛行機構１１を駆動制御して航空機１の飛行を制御したり、記憶部１３に記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行したりする。
また、制御部１８は、後述するように、目標捜索処理における各種の機能部として、視線軌跡検出器１８１と、注視領域抽出器１８２と、画像特徴量算出器１８３と、対象存在領域抽出器１８４と、拡大領域算出器１８５とを備えている（図２参照）。

［動作］
続いて、目標捜索処理を実行する際の航空機１の動作について説明する。
図２は、目標捜索処理でのデータの流れを示すデータフロー図であり、図３及び図４は、目標捜索処理を説明するための図である。

目標捜索処理は、光学カメラ１４による撮影画像に基づいて探知目標を捜索する処理であり、本実施形態においては、操作員が光学カメラ１４の撮影画像を見ながら行う探知目標の捜索を支援する処理である。この目標捜索処理は、例えば操作員の操作等により当該目標捜索処理の実行指示が入力されたときに、制御部１８が記憶部１３から目標捜索プログラム１３０を読み出して展開することで実行される。
なお、ここでは、飛行中の航空機１から光学カメラ１４により機体下方の地上（または海上）が撮影されて、その撮影画像がディスプレイ１５に表示されているものとする。また、この光学カメラ１４の広画角での撮影により、探知目標であると思われてその識別を要する識別対象Ｔが、ディスプレイ１５の表示画像中に含まれているものとする（図３（ａ）等参照）。

図２に示すように、目標捜索処理が実行されると、まず制御部１８は、ディスプレイ１５を見る操作員の目Ｅの動きを視線検出用カメラ１７により撮影し、その画像情報に基づいて、視線軌跡検出器１８１により操作員の視線軌跡ＬＳを検出する。
具体的に、視線軌跡検出器１８１は、例えば基準点を角膜反射、動点を瞳孔とし、或いは基準点を目頭、動点を虹彩にしてこれらの位置関係を用いることで、操作員の視線を検出する。そして、視線軌跡検出器１８１は、所定の時間間隔（例えば数秒間）に亘る当該視線の移動を記憶することにより、ディスプレイ１５に表示された表示画像上での操作員の視線軌跡ＬＳを検出する。
これにより、操作員が識別対象Ｔをディスプレイ１５の表示画像上で捉えて、当該識別対象Ｔの周辺を行き来している視線軌跡ＬＳが得られる（図３（ａ））。

次に、制御部１８は、検出された視線軌跡ＬＳに基づいて、ディスプレイ１５の表示画像のうち操作員が注視した注視領域ＷＡを、注視領域抽出器１８２により抽出する。
具体的に、注視領域抽出器１８２は、視線軌跡ＬＳの平均位置を中心とし、当該視線軌跡ＬＳの存在確率が所定値以上となる円形領域を、注視領域ＷＡと判定する（図３（ｂ））。例えば、視線軌跡ＬＳの存在確率が５０％以上となる領域を求める場合には、ＣＥＰ（平均誤差半径）値を半径とする円形領域が注視領域ＷＡとなる。
これにより、操作員が注視した注視領域ＷＡが、識別対象Ｔを含む対象領域としてディスプレイ１５の表示画像から抽出される。

次に、制御部１８は、画像特徴量算出器１８３により、ディスプレイ１５の表示画像の画像特徴量を、光学カメラ１４からの画像情報に基づいて算出する。
具体的に、まず画像特徴量算出器１８３は、ディスプレイ１５の表示画像のうち、注視領域ＷＡの内外それぞれにおける画像特徴量の代表値Ｐin，Ｐoutを、当該注視領域ＷＡの内外全域それぞれでの面積平均値として算出する（図３（ｃ））。
ここで、画像特徴量とは、ディスプレイ１５に表示された表示画像の輝度、コントラスト、色（色相）等の画像パラメータのうちの少なくとも１つに基づくものであり、本実施形態においては、これらの画像パラメータを個別に重み付けして合算した値である。但し、この画像特徴量は、識別対象Ｔの存在を判定するうえでは、輝度やコントラストよりも色（色相）を重視して算出されることが好ましい。色は、輝度やコントラストよりも天候等による影響が少ないためである。
なお、図３（ｃ）及び図４（ａ），（ｂ）では、画像特徴量の代表値の大小をドットの濃淡で表している。

それから、画像特徴量算出器１８３は、注視領域ＷＡを複数の小領域ＳＡに分割し、当該複数の小領域ＳＡそれぞれにおける画像特徴量の代表値Ｐiを算出する（図４（ａ））。
より詳しくは、画像特徴量算出器１８３は、まず、各辺が表示画像の縦横に平行で且つ注視領域ＷＡを内接円とする正方形の領域を、注視領域ＷＡを含む分割対象領域ＤＡとして設定する。そして、画像特徴量算出器１８３は、この分割対象領域ＤＡを、各辺が表示画像の縦横に平行な正方格子状の複数の小領域ＳＡに格子分割し、各小領域ＳＡにおける画像特徴量の代表値Ｐiを、当該小領域ＳＡの面積平均値として算出する。
なお、分割対象領域ＤＡは、注視領域ＷＡを含む領域であれば、その大きさや形状は特に限定されない。
また、小領域ＳＡは、注視領域ＷＡを複数に分割できる領域であれば、その大きさや形状は特に限定されない（例えば表示画像の１画素などであってもよい）が、表示画像中の識別対象Ｔのサイズよりも小さいことが好ましい。

次に、制御部１８は、対象存在領域抽出器１８４により、複数の小領域ＳＡのうち、その画像特徴量の代表値Ｐiが注視領域ＷＡ外の画像特徴量の代表値Ｐoutよりも注視領域ＷＡ内の画像特徴量の代表値Ｐinに近いものを、識別対象Ｔが存在する対象存在領域ＴＡとして抽出する（図４（ｂ））。
具体的に、対象存在領域抽出器１８４は、分割対象領域ＤＡ内の全ての小領域ＳＡのうち、以下の式（１）を満たす画像特徴量の代表値Ｐiを有するものを抽出する。
｜Ｐi−Ｐin｜＜｜Ｐi−Ｐout｜ ・・・（１）
そして、対象存在領域抽出器１８４は、抽出された全ての小領域ＳＡからなる領域を、対象存在領域ＴＡとして設定する。

ディスプレイ１５に表示された表示画像上では、識別対象Ｔの存在する部分が高い画像特徴量を有すると推定できる。そのため、注視領域ＷＡ内の代表値Ｐinは注視領域ＷＡ外の代表値Ｐoutよりも高くなり、識別対象Ｔの存在する小領域ＳＡの代表値Ｐiは、ＰoutよりもＰinに近い値となる。
したがって、上述の式（１）を満たすＰiを有する小領域ＳＡを抽出することにより、識別対象Ｔが存在する領域を特定することができる。

次に、制御部１８は、拡大領域算出器１８５により、対象存在領域ＴＡの図心Ｃを算出するとともに、当該図心Ｃを中心とし、かつ対象存在領域ＴＡ全域を所定の面積割合で含む円形の拡大領域ＺＡを算出する（図４（ｃ））。
そして、制御部１８は、光学カメラ１４の動作を制御し、図心Ｃをカメラ視軸とするとともに拡大領域ＺＡを拡大範囲として、当該光学カメラ１４のカメラ視軸及び画角を調整する。
これにより、拡大領域ＺＡがディスプレイ１５の全面に大きく拡大表示される。つまり、操作員が注視した注視領域ＷＡのうち、高い画像特徴量をもつ対象存在領域ＴＡ（すなわち識別対象Ｔ）が、ディスプレイ１５に自動的に拡大表示されることとなる。

次に、操作員は、ディスプレイ１５に表示された拡大領域ＺＡの画像を見て、拡大表示された識別対象Ｔが所定の探知目標であるか否かを識別する。
そして、識別対象Ｔが探知目標であった場合には、制御部１８は、操作員の操作に基づいて当該識別対象Ｔの位置（座標）を標定し、目標捜索処理を終了する。
また、識別対象Ｔが探知目標でなかった場合には、操作員は、カメラ操作部１６を操作して光学カメラ１４の画角を元の広画角に戻す。その後、制御部１８は、注視領域ＷＡの抽出、画像特徴量の代表値Ｐin，Ｐout，Ｐiの算出、対象存在領域ＴＡの抽出、拡大領域ＺＡの算出、光学カメラ１４の画角調整及び探知目標の識別を、探知目標の位置を標定できるまで連続的に繰り返す。

［効果］
以上のように、本実施形態によれば、光学カメラ１４により撮影されてディスプレイ１５に表示された表示画像から、探知目標と思われる識別対象Ｔを含む注視領域ＷＡが抽出され、この表示画像のうち注視領域ＷＡの内外それぞれにおける画像特徴量の代表値Ｐin，Ｐoutと、注視領域ＷＡを分割した複数の小領域ＳＡそれぞれにおける画像特徴量の代表値Ｐiとが算出される。そして、複数の小領域ＳＡのうち、その画像特徴量の代表値Ｐiが注視領域ＷＡ外の画像特徴量の代表値Ｐoutよりも注視領域ＷＡ内の画像特徴量の代表値Ｐinに近いものが、識別対象Ｔが存在する対象存在領域ＴＡとして抽出される。
これにより、注視領域ＷＡのうち識別対象Ｔが存在する対象存在領域ＴＡを、画像特徴量に基づいて好適に抽出することができる。したがって、抽出された対象存在領域ＴＡを確認することにより、識別対象Ｔが探知目標であるか否かの識別を容易に行うことができる。

また、対象存在領域ＴＡの図心Ｃを中心とし、かつ当該対象存在領域ＴＡを所定の面積割合で含む拡大領域ＺＡが算出されて、この拡大領域ＺＡが拡大範囲となるように光学カメラ１４の画角が調整される。
したがって、識別対象Ｔの全容を捉えつつ具体形状を把握可能な拡大画像がディスプレイ１５に自動的に表示されるため、この識別対象Ｔが探知目標であるか否かの識別をさらに容易に行うことができる。

また、ディスプレイ１５に表示された表示画像上での操作員の視線軌跡ＬＳに基づいて、当該表示画像のうち操作員が注視した注視領域ＷＡが、識別対象Ｔを含む対象領域として抽出される。
したがって、操作員はディスプレイ１５の表示画像上で探知目標と思われる識別対象Ｔを目で捉えるだけで、この識別対象Ｔを含む領域が自動的に抽出されるため、操作員の操作負荷を軽減することができる。

［変形例］
なお、本発明を適用可能な実施形態は、上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

例えば、上記実施形態では、拡大領域ＺＡが、対象存在領域ＴＡを所定の面積割合で含む円形の領域であることとしたが、この拡大領域ＺＡの形状は円形に限定されず、例えば対象存在領域ＴＡの形状等に対応したものであってもよい。また、このときの面積割合の値も、対象存在領域ＴＡの形状等に対応したものとしてよい。

また、識別対象Ｔを含む対象領域として、操作員が注視した注視領域ＷＡを抽出することとしたが、操作員の動作に基づくものでなく、例えば画像処理などによって当該対象領域を抽出することとしてもよい。

また、識別対象Ｔが探知目標であるか否かの識別も、操作員による目視の識別でなくともよい。この場合、例えば画像処理によって当該識別を行うこととしてもよいし、或いは、光学センサーやレーダーなどの測距手段で取得した光学カメラ１４（航空機１）からの距離（またはこの距離から求めた高度）に基づいて行うこととしてもよい。

また、操作員が航空機１に搭乗して探知目標の捜索を行うこととしたが、撮影手段（光学カメラ１４）が航空機１に搭載されて高所からの画像を撮影可能であれば、操作員は、撮影手段以外の他の機器（ディスプレイ１５、カメラ操作部１６及び視線検出用カメラ１７）とともに他の場所（例えば地上設備）にいることとしてもよい。つまり、機上の撮影手段から送信されてくる画像情報を用いて、操作員が地上設備などで捜索を行うこととしてもよい。
さらに、撮影手段は高所に設置されて地上または海上の画像を撮影可能であれば、航空機１に搭載されたものでなくともよく、例えば高い建造物の上部に設置されたものなどであってもよい。

１ 航空機
１３ 記憶部
１３０ 目標捜索プログラム
１４ 光学カメラ
１５ ディスプレイ
１６ カメラ操作部
１７ 視線検出用カメラ
１８ 制御部
Ｔ 識別対象
ＬＳ 視線軌跡
ＷＡ 注視領域
ＤＡ 分割対象領域
ＳＡ 小領域
ＴＡ 対象存在領域
ＺＡ 拡大領域

Claims (7)

1. 高所に設置された撮影手段を用いて所定の探知目標を捜索する目標捜索装置であって、
   前記撮影手段が撮影した画像を表示する表示手段と、
   前記表示手段に表示された表示画像から、前記探知目標と思われる識別対象を含む対象領域を抽出する対象領域抽出手段と、
   前記表示画像のうちの前記対象領域の内外それぞれにおける画像特徴量の代表値を算出する特徴量算出手段と、
   前記対象領域を複数の小領域に分割し、当該複数の小領域それぞれにおける画像特徴量の代表値を算出する第二特徴量算出手段と、
   前記複数の小領域のうち、その画像特徴量の代表値が前記対象領域外の画像特徴量の代表値よりも前記対象領域内の画像特徴量の代表値に近いものを、前記識別対象が存在する対象存在領域として抽出する対象存在領域抽出手段と、
   を備えることを特徴とする目標捜索装置。
2. 前記対象存在領域の図心を中心とし、かつ、当該対象存在領域を所定の面積割合で含む拡大領域を算出する拡大領域算出手段と、
   前記拡大領域を拡大範囲として、前記撮影手段の画角を調整する画角調整手段と、
   を備えることを特徴とする請求項１に記載の目標捜索装置。
3. 前記画像特徴量は、前記表示画像の輝度、コントラスト及び色のうちの少なくとも１つに基づくものであることを特徴とする請求項１または２に記載の目標捜索装置。
4. 前記対象領域抽出手段は、
   前記表示手段に表示された表示画像上での操作員の視線軌跡を検出し、
   検出された前記視線軌跡に基づいて、前記表示画像のうち前記操作員が注視した注視領域を、前記対象領域として抽出することを特徴とする請求項１〜３のいずれか一項に記載の目標捜索装置。
5. 前記撮影手段が航空機に搭載されていることを特徴とする請求項１〜４のいずれか一項に記載の目標捜索装置。
6. 高所に設置された撮影手段を用いて所定の探知目標を捜索する目標捜索方法であって、
   前記撮影手段が撮影した画像を表示する表示手段を備える目標捜索装置が、
   前記表示手段に表示された表示画像から、前記探知目標と思われる識別対象を含む対象領域を抽出する対象領域抽出工程と、
   前記表示画像のうちの前記対象領域の内外それぞれにおける画像特徴量の代表値を算出する特徴量算出工程と、
   前記対象領域を複数の小領域に分割し、当該複数の小領域それぞれにおける画像特徴量の代表値を算出する第二特徴量算出工程と、
   前記複数の小領域のうち、その画像特徴量の代表値が前記対象領域外の画像特徴量の代表値よりも前記対象領域内の画像特徴量の代表値に近いものを、前記識別対象が存在する対象存在領域として抽出する対象存在領域抽出工程と、
   を実行することを特徴とする目標捜索方法。
7. 高所に設置された撮影手段が撮影した画像を用いて所定の探知目標を捜索する目標捜索プログラムであって、
   前記撮影手段が撮影した画像を表示する表示手段を備える目標捜索装置を、
   前記表示手段に表示された表示画像から、前記探知目標と思われる識別対象を含む対象領域を抽出する対象領域抽出手段、
   前記表示画像のうちの前記対象領域の内外それぞれにおける画像特徴量の代表値を算出する特徴量算出手段、
   前記対象領域を複数の小領域に分割し、当該複数の小領域それぞれにおける画像特徴量の代表値を算出する第二特徴量算出手段、
   前記複数の小領域のうち、その画像特徴量の代表値が前記対象領域外の画像特徴量の代表値よりも前記対象領域内の画像特徴量の代表値に近いものを、前記識別対象が存在する対象存在領域として抽出する対象存在領域抽出手段、
   として機能させることを特徴とする目標捜索プログラム。

Images