JP2023170826A - 探索システム、探索装置、および探索方法 - Google Patents

Abstract

【課題】処理負荷が増大することを抑えつつ、探索領域から恒温動物である探索対象を探索可能とする。
【解決手段】探索システム（１）は、探索領域（８０）に向けて前記飛行体に配置される赤外線カメラ（１１）および可視光カメラ（２１）と、赤外線カメラにより撮影された赤外線画像（１１０）と可視光カメラにより撮影された可視光画像（２１０）とに基づいて探索対象（８１）を探索する探索装置（１００）とを備え、探索装置（１００）は、基準温度を満たす第１領域として赤外線画像の一部を抽出した後、第１領域に対応する可視光画像の第２領域から探索対象を検出する。
【選択図】図１

Description

本開示は、飛行体より俯瞰される探索領域から恒温動物である探索対象を探索する探索システム、探索装置、および探索方法に関する。

ヘリコプターおよびドローンなどの飛行体より俯瞰される探索領域から、人などの探索対象をコンピュータによって自動的に探索する技術が知られている。特許文献１では、空撮画像から人を含む標的物体を検出するためのシステムが提案されている。

特開２０２０－１４４９２２号公報

空撮画像を用いる場合、地上で撮影された画像を用いる場合と比べて、広い探索領域から探索対象を探索することができる。しかしながら、空撮画像を撮影したときの飛行体の高度が高くなるにつれて、空撮画像に含まれる探索対象が小さく、不鮮明となる。その結果、コンピュータを用いた場合であっても、空撮画像から探索対象を判別することが困難になる。この問題を解消するために、より高解像度のカメラで探索領域を撮影することが考えられる。しかし、その場合、高解像度で撮影された広範囲の画像領域の中から小さく映り込んだ探索対象を探索する必要がある。この探索は、コンピュータの処理負荷を増大させてしまう。

本開示の目的は、処理負荷が増大することを抑えつつ、探索領域から恒温動物である探索対象を探索可能にすることである。

本開示に関わる探索システムは、飛行体より俯瞰される探索領域から恒温動物である探索対象を探索する探索システムであって、探索領域に向けて飛行体に配置される赤外線カメラおよび可視光カメラと、赤外線カメラにより撮影された赤外線画像と可視光カメラにより撮影された可視光画像とに基づいて探索対象を探索する探索装置とを備え、探索装置は、基準温度を満たす第１領域として赤外線画像の一部を抽出した後、第１領域に対応する可視光画像の第２領域から探索対象を検出する。

本開示に関わる探索装置は、飛行体より俯瞰される探索領域から恒温動物である探索対象を検出する探索装置であって、飛行体には探索領域に向けて赤外線カメラおよび可視光カメラが配置され、赤外線カメラおよび可視光カメラの各々により撮影された画像を受信する通信インターフェイスと、通信インターフェイスにより受信された画像に基づいて探索対象を検出するプロセッサとを備え、通信インターフェイスは、赤外線カメラにより撮影された赤外線画像と可視光カメラにより撮影された可視光画像とを受信し、プロセッサは、基準温度を満たす第１領域として赤外線画像の一部を抽出した後、第１領域に対応する可視光画像の第２領域から探索対象を検出する。

本開示に関わる方法は、飛行体より俯瞰される探索領域からコンピュータを用いて恒温動物である探索対象を検出する探索方法であって、コンピュータは、探索領域に向けて飛行体に配置される赤外線カメラおよび可視光カメラの各々により撮影された画像を受信するステップと、受信するステップにより受信された画像に基づいて探索対象を検出するステップとを含み、受信するステップは、赤外線カメラにより撮影された赤外線画像と可視光カメラにより撮影された可視光画像とを受信するステップを含み、検出するステップは、基準温度を満たす第１領域として赤外線画像の一部を抽出した後、第１領域に対応する可視光画像の第２領域から探索対象を検出するステップを含む。

本開示によれば、処理負荷が増大することを抑えつつ、探索領域から恒温動物である探索対象を探索可能にすることができる。

ヘリコプターに搭載された探索システムを用いて探索領域を探索する様子を示す図である。 探索システムの構成を示すブロック図である（実施の形態１）。 探索対象を検出するための学習済みモデルを作成する手順を説明するためのブロック図である。 探索領域を含む遠赤外線画像および可視光画像を示す図である。 遠赤外線画像から基準温度を満たす第１領域を抽出する手順を示す図である。 遠赤外線画像から基準温度および基準サイズを満たす第１領域を抽出する手順を示す図である。 可視光画像から第１領域に対応する第２領域を抽出する手順を示す図である。 探索領域から探索対象を探索する処理の手順を示すフローチャートである（実施の形態１）。 探索システムの構成を示すブロック図である（実施の形態２）。 探索領域から第１領域に対応する第２領域を望遠撮影する手順を示す図である。 探索領域から探索対象を探索する処理の手順を示すフローチャートである（実施の形態２）。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

＜実施の形態１＞
図１は、ヘリコプター９０に搭載された探索システム１を用いて探索領域８０を探索する様子を示す図である。図１に示されるように、探索システム１は、探索装置１００と、遠赤外線カメラ１１と、可視光カメラ２１と、表示装置３０とを含む。

遠赤外線カメラ１１および可視光カメラ２１は、飛行体の一例となるヘリコプター９０の前面側に探索領域８０に向けて前記飛行体に配置される。探索装置１００および表示装置３０は、ヘリコプター９０の機内に配置される。遠赤外線カメラ１１および可視光カメラ２１は、探索装置１００と通信可能に接続される。表示装置３０は、探索装置１００から出力される映像信号に基づいた画像を表示する。

ヘリコプター９０は、探索領域８０の上空を飛行する。探索領域８０には、たとえば、人間である探索対象８１が存在する。人間は、恒温動物である探索対象の一例である。

探索領域８０には、探索対象８１の他、牛８２、工場８３、車８４、樹木８５、覆い茂る草８６など、様々なオブジェクトが存在する。これらの多数のオブジェクトの存在は、ヘリコプター９０の乗員が上空から探索対象８１を発見することを困難にする。

遠赤外線カメラ１１および可視光カメラ２１は、定期的に、あるいは、ヘリコプター９０の乗員の指示に従うタイミングで、探索領域８０の全域を撮影する。遠赤外線カメラ１１の撮像範囲と可視光カメラ２１との撮像範囲とは、完全に一致していなくてもよく、双方の撮影範囲に重複する範囲が存在すればよい。遠赤外線カメラ１１および可視光カメラ２１は、撮影した画像を探索装置１００に送信する。以下、遠赤外線カメラ１１で撮影された画像を「遠赤外線画像１１０」と称し、可視光カメラ２１で撮影された画像を「可視光画像２１０」と称することがある。

探索装置１００は、遠赤外線カメラ１１から受信した遠赤外線画像１１０と、可視光カメラ２１から受信した可視光画像２１０とを利用することにより、探索対象８１を検出する。ここで、遠赤外線画像１１０と可視光画像２１０とを利用して探索対象８１を検出する利点を説明する。

探索システム１では、可視光カメラ２１として、解像度の高いカメラが採用されている。このため、コンピュータを用いて可視光画像２１０を解析することにより、探索領域８０の中から探索対象８１を検出できる可能性がある。しかし、高解像度の可視光画像２１０の中に小さく映り込んだ探索対象８１を検出するためには、演算性能の高いコンピュータが必要とされる。

撮影位置を次々と変更しながら撮影した多数の画像で探索対象８１を上空から探索するようなケースでは、一つの画像から探索対象８１を検出する処理に長時間を費やすことは好ましくない。このことを考慮すると、システムには、より高性能のコンピュータが求められることになる。検索処理に要求される演算性能に満たないコンピュータを採用した場合、リソース不足のため、コンピュータは、演算自体ができないという状態に陥るかもしれない。

したがって、可視光画像２１０のみを利用して探索対象８１を探索するという手法は、システムに採用することのできるコンピュータの選択肢を少なくし、システムのコストを押し上げる。

コンピュータの演算性能を考慮して、解像度の低い可視光画像２１０を利用することも考えられる。その場合、広範囲を撮影した可視光画像２１０では、探索対象８１が画像中で不鮮明になるため、探索対象８１の検出性能が極めて劣化するであろう。解像度の低い可視光画像２１０に写り込む探索対象８１の明瞭性を担保するためには、撮影範囲を狭くする必要がある。しかし、それでは、広い探索範囲をカバーすることができないという問題が生じる。

したがって、広い探索範囲をカバーしつつ、探索対象８１の検出性能を担保するためには、広範囲を所定以上の解像度で撮影した可視光画像２１０を利用しつつ、コンピュータの演算性能を補完する技術が必要とされる。そこで、本実施の形態では、コンピュータの演算性能を補完するために、遠赤外線カメラ１１を利用する。

遠赤外線カメラ１１を用いることにより、撮影対象の温度分布を画像化することができる。探索領域８０を遠赤外線カメラ１１で撮影した場合、遠赤外線画像１１０の温度分布に基づいて、探索領域８０に存在する様々なオブジェクトを分類することができる。たとえば、探索対象８１である人間が存在する部分は、人間の体温に特徴的な温度分布を示す。

したがって、遠赤外線画像１１０を利用することにより、オブジェクトの形状を明確に判別することはできないものの、探索対象８１に特徴的な温度分布が認められる場所を探索領域８０の中から特定することができる。たとえば、探索対象８１が人間である場合、人間の体温に相当する温度分布が認められる領域を遠赤外線画像１１０の中から特定することができる。本手法は、たとえば、人などの恒温動物の探索に好適である。

本実施の形態に関わる探索装置１００は、遠赤外線画像１１０のうちに探索用遠赤外線画像３１０を設定する。探索用遠赤外線画像３１０は、図１に示されるように、赤外線画像１１０の一部である。探索装置１００は、赤外線画像１１０のすべてを探索用遠赤外線画像３１０として設定してもよい。探索装置１００は、少なくとも、探索用遠赤外線画像３１０が可視光カメラ２１の撮像範囲に包含されるように、探索用遠赤外線画像３１０を設定する。探索装置１００は、探索用遠赤外線画像３１０の温度分布に基づいて、探索領域８０に存在する様々なオブジェクトを分類することができる。探索装置１００は、探索用遠赤外線画像３１０の領域に対応する可視光画像２１０の領域を特定する。ここで、探索用遠赤外線画像３１０の領域に対応する可視光画像２１０の領域は、可視光画像２１０のうち、探索用遠赤外線画像３１０の撮影場所と同じ場所（位置、範囲）が撮影されている領域を意味する。探索装置１００は、そのようにして特定した領域を可視光画像２１０の解析対象とする。その結果、広範囲を撮影した可視光画像２１０のうちから、解析対象の部分を絞り込むことができる。

より好ましくは、探索装置１００は、探索対象８１に特徴的な温度分布が認められる領域のうち、探索対象８１に特徴的なサイズに合致した領域を可視光画像２１０の解析対象とする。たとえば、探索対象８１が人間の場合、探索装置１００は、人間に特徴的な温度分布が認められる領域のうち、人間のサイズでその温度分布が認められる領域を可視光画像２１０の解析対象とする。探索装置１００は、探索対象８１に特徴的なサイズに合致した領域よりも内側の領域を可視光画像２１０の解析対象としてもよい。

これにより、探索対象８１に特徴的な温度を有する、探索対象８１以外のオブジェクトが解析対象として選択されてしまうことを防止できる。換言すると、より一層、可視光画像２１０の解析範囲を絞り込むことができる。

探索装置１００は、可視光画像２１０のうち、解析対象とした領域のみを探索し、探索対象８１を検出する。探索対象８１の検出には、パターン認識の技術を利用してもよく、機械学習の技術を利用してもよい。可視光画像２１０は、探索領域８０の全域が高解像度で撮影された画像である。しかし、探索装置１００は、可視光画像２１０のすべてを対象にして探索の演算をする必要がないため、比較的、短時間でその演算を終えることができる。このため、探索装置１００には、可視光画像２１０のすべてを対象にして探索の演算をするために必要とされる高い演算性能までは求められない。したがって、本実施の形態によれば、探索装置１００の処理負荷が増大することを抑えつつ、探索領域８０から探索対象８１を探索することができる。

図２は、探索システム１の構成を示すブロック図である（実施の形態１）。図１を用いて説明済みのとおり、探索システム１は、探索装置１００と、遠赤外線カメラ１１と、可視光カメラ２１と、表示装置３０とを含む。探索装置１００は、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信インターフェイス１０４と、表示インターフェイス１０５とを備える。探索装置１００は、典型的には、コンピュータにより構成される。

プロセッサ１０１は、典型的には、ＣＰＵ（Central Processing Unit）またはＭＰＵ（Multi-Processing Unit）などの演算処理部である。プロセッサ１０１は、演算回路（Processing Circuitry）で構成されてもよい。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読み出して実行することで、各種の処理を実現する。

メモリ１０２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、およびフラッシュメモリなどを含む。メモリ１０２は、プロセッサ１０１の演算処理に必要なプログラムなどを格納する。プログラムには、探索対象８１を検出するために用いられる探索用プログラムが含まれる。

ストレージ１０３は、ハードディスクドライブなどにより構成される。ストレージ１０３には、遠赤外線画像１１０から探索対象８１の存在する領域を特定するための基準温度および基準サイズに関する情報、探索対象８１を検出するために用いられる各種のデータなどが格納されている。

遠赤外線カメラ１１および可視光カメラ２１は、探索領域８０に向かうようにヘリコプター９０の前面側に配置されている。遠赤外線カメラ１１および可視光カメラ２１の撮影範囲が重なり合うように、遠赤外線カメラ１１および可視光カメラ２１の向きが調整されている。

遠赤外線カメラ１１および可視光カメラ２１は、通信インターフェイス１０４を介してプロセッサ１０１と接続されている。プロセッサ１０１は、通信インターフェイス１０４介して、遠赤外線カメラ１１および可視光カメラ２１に対して撮影の指令を送信する。

遠赤外線カメラ１１および可視光カメラ２１は、撮影の指令に応じて探索領域８０を撮影する。プロセッサ１０１は、たとえば、遠赤外線カメラ１１および可視光カメラ２１の撮影タイミングが連動するように、一定周期で撮影の指令を遠赤外線カメラ１１および可視光カメラ２１へ送信する。プロセッサ１０１は、ヘリコプター９０の乗員の指示を受けて撮影の指令を遠赤外線カメラ１１および可視光カメラ２１へ送信してもよい。

遠赤外線カメラ１１および可視光カメラ２１は、撮影した画像を、通信インターフェイス１０４を介してプロセッサ１０１に送信する。プロセッサ１０１は、遠赤外線カメラ１１から遠赤外線画像１１０を受信し、可視光カメラ２１から可視光画像２１０を受信する。プロセッサ１０１は、遠赤外線画像１１０と可視光画像２１０との視差のずれを補正するための処理、その他の必要な画像処理を実行する。

表示装置３０は、表示インターフェイス１０５を介してプロセッサ１０１と接続されている。プロセッサ１０１は、表示装置３０に映像信号を出力する。表示装置３０は、たとえば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどにより構成されている。表示装置３０は、操作部として機能するタッチパネルを有していてもよい。表示装置３０は、遠赤外線カメラ１１および可視光カメラ２１が撮影した画像を表示する。表示装置３０は、探索装置１００が検出した探索対象８１を可視光画像２１０上に表示する。

図３は、探索対象８１を検出するための学習済みモデルを作成する手順を説明するためのブロック図である。本実施の形態では、可視光画像２１０から探索対象８１を検出するために機械学習の技術を利用している。

ストレージ１０３には、可視光画像２１０から探索対象８１を検出するために用いられる推定モデル５０が格納されている。ストレージ１０３に格納された推定モデル５０は、学習装置２００によって学習される。推定モデル５０は、学習装置２００によって、可視光画像２１０から探索対象８１を検出するように学習されている。探索装置１００は、学習装置２００によって学習された推定モデル５０をストレージ１０３に格納する。以下では、学習装置２００によって学習済みの推定モデル５０を「学習済みモデル５０」とも称する。

学習装置２００は、入力部２０１と、判定部２０２と、学習部２０３とを備える。学習装置２００は、典型的には、プロセッサおよびメモリを備えるコンピュータである。探索装置１００が学習装置２００として機能し、ストレージ１０３に格納された推定モデル５０を学習用データで学習させてもよい。

推定モデル５０を学習させるため、たとえば、教師あり学習のアルゴリズムが用いられる。学習装置２００は、多数の学習用データを用いた教師あり学習によって、推定モデル５０を学習させる。学習用データは、学習用可視光画像７１と、学習用可視光画像７１に対応する正解データ７２とから構成される。

学習用可視光画像７１は、推定モデル５０の学習のために予め準備されている。学習用可視光画像７１は、探索領域８０の全域が撮影された画像であってもよい。学習用可視光画像７１は、探索領域８０の全域が撮影された画像のうち、探索対象８１に特徴的な要素が含まれる領域を抽出した画像であってもよい。なお、探索対象８１に特徴的な要素が含まれる領域とは、探索対象８１に対応する温度およびサイズによって遠赤外線画像１１０から特定された領域に対応する部分のことである。正解データ７２は、学習用可視光画像７１に対応する検出結果の正解を示すデータである。

入力部２０１には、学習用可視光画像７１が入力される、学習部２０３には、正解データ７２が入力される、設計者は、学習用データを学習装置２００に入力することで、推定モデル５０を学習させる。

推定モデル５０は、ニューラルネットワーク５１と、ニューラルネットワーク５１によって用いられるパラメータ５２とを含む。ニューラルネットワーク５１は、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）（ＲＮＮ：Recurrent Neural Network）、またはＬＳＴＭネットワーク（Long Short Term Memory Network）など、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークが適用される。推定モデル５０は、ニューラルネットワーク５１を用いることで、ディープラーニングを行う。パラメータ５２は、ニューラルネットワーク５１による計算に用いられる重み付け係数などを含む。

判定部２０２は、推定モデル５０に基づいて、学習用可視光画像７１に探索対象８１が含まれるか否かを判定する。判定部２０２は、推定モデル５０によって得られた判定結果を判定結果の確度と共に取得する。

学習部２０３は、判定部２０２によって得られた判定結果と、正解データ７２とに基づき、推定モデル５０を学習させる。具体的には、学習部２０３は、推定モデル５０によって得られた判定結果が、正解データ７２に近づくように、パラメータ５２を調整する。

探索装置１００は、学習装置２００によって学習された推定モデル５０を学習済みモデルとして５０としてストレージ１０３に格納する。探索装置１００は、学習装置２００と通信することによって学習済みモデル５０を取得してもよい。

図４は、探索領域８０を含む遠赤外線画像１１０および可視光画像２１０を示す図である。探索装置１００は、遠赤外線カメラ１１から遠赤外線画像１１０を取得し、可視光カメラ２１から可視光画像２１０を取得する。遠赤外線画像１１０では、撮影対象の温度分布が画像化されている。

図４の遠赤外線画像１１０では、多数のオブジェクトのうち、温度の高いオブジェクトの色が相対的に濃く、温度の低いオブジェクトの色が相対的に薄くなっている。たとえば、遠赤外線画像１１０において、人である探索対象８１、牛８２、および工場８３は、温度が高いオブジェクトとして、車８４、樹木８５、および草８６は、温度が低いオブジェクトとして、それぞれ示されている。

工場８３は、物の製造に燃焼工程を伴うような製鉄工場などである。車８４の温度は、エンジンの駆動の有無で異なる。ここでは、遠赤外線画像１１０が撮影される前から車８４のエンジンの駆動が停止している状態が継続していたものとする。このため、図４の遠赤外線画像１１０では、車８４の色が薄くなっている。なお、図４では、遠赤外線画像１１０が示す温度分布を単純化して表現している。実際には、遠赤外線画像１１０は、より高い精度で細やかな温度分布を示す。

探索対象８１に特徴的な温度およびサイズが予めわかっていれば、遠赤外線画像１１０を利用することにより、探索対象８１が存在する可能性が高い領域を遠赤外線画像１１０の中から抽出することができる。しかし、遠赤外線画像１１０は、探索対象８１、牛８２、工場８３、車８４、樹木８５、および草８６などのオブジェクトの輪郭を明瞭に再現できない。このため、遠赤外線画像１１０から探索対象８１を精度良く検出することは難しい。たとえば、探索対象８１に特徴的な温度およびサイズに一致または近似する小動物が探索領域８０に存在する場合、そのオブジェクトが探索対象８１である人なのか、そうでないのかを遠赤外線画像１１０のみから探索装置１００に判別させることは困難である。

高解像度で撮影された可視光画像２１０は、図４に示されるように、それらのオブジェクトの輪郭を明確に再現する。探索装置１００は、遠赤外線画像１１０および可視光画像２１０のこれらの特徴を踏まえ、以下に詳細に説明する手法により、探索対象８１を効率的に探索する。

図５は、遠赤外線画像１１０から基準温度を満たす第１領域を抽出する手順を示す図である。探索装置１００は、遠赤外線画像１１０に探索用遠赤外線画像３１０を設定する。探索装置１００は、探索用遠赤外線画像３１０から温度分布が基準温度を満たす領域を抽出する。たとえば、探索装置１００は、範囲を異ならせて探索用遠赤外線画像３１０を繰り返し設定し、温度分布が基準温度を満たす第１領域を抽出する。基準温度は、たとえば、Ｔ１～Ｔ２（Ｔ１≦基準温度≦Ｔ２）である。探索対象８１が人間である場合、人間の標準的な体温を含む範囲を基準温度として設定することができる。探索状況に応じてオペレータが基準温度を設定できる機能を探索装置１００に設けてもよい。そのような機能を探索装置１００に設けることにより、オペレータは、探索領域８０の気温に応じて、基準温度を補正することができる。

図５では、温度分布が基準温度を満たす第１領域として、探索対象８１を含む領域１１１、牛８２を含む領域１１２、および工場８３を含む領域１１３が抽出される例が示されている。探索装置１００は、遠赤外線画像１１０から抽出された領域１１１～１１３の各々に対応する可視光画像２１０の領域を学習済みの推定モデル５０に入力し、探索対象８１を検出してもよい。

しかし、図５に示される例では、探索対象８１と明らかにサイズの異なる工場８３の領域１１３も抽出されている。また、画像の輪郭が不鮮明な遠赤外線画像１１０からでも、探索対象８１である人間と、牛８２とは、そのサイズによって識別できる。遠赤外線画像１１０から抽出する対象に牛８２および工場８３を含めないことによって、可視光画像２１０から探索対象８１を検出する処理の負荷をより一層軽減することができる。

そこで、図６を用いて、遠赤外線画像１１０から抽出する対象に牛８２および工場８３を含めないようにする例を説明する。図６は、遠赤外線画像１１０から基準温度および基準サイズを満たす第１領域を抽出する手順を示す図である。

図６に示されるように、探索装置１００は、探索用遠赤外線画像３１０から、温度分布が基準温度および基準サイズを満たす領域を抽出する。基準温度は、図５を用いて説明したとおりである。基準サイズは、探索対象８１の標準的なサイズを考慮して、適宜、設定することができる。たとえば、探索対象８１が人間である場合、人間の標準的な高さ（Ｈ１≦基準高さ≦Ｈ２）および幅（Ｗ１≦基準幅≦Ｗ２）のサイズを含む範囲を基準サイズとして設定することができる。

探索装置１００は、探索用遠赤外線画像３１０から温度分布が基準温度および基準サイズを満たす領域を抽出する。遠赤外線画像１１０の１つの画素に対応する実寸大のサイズは、遠赤外線画像１１０の撮影高度などによって変化する。探索装置１００は、撮影時のヘリコプター９０の高度、撮影方向、撮影角度、遠赤外線カメラ１１の画角、および遠赤外線画像１１０の解像度などの情報を用いることにより、遠赤外線画像１１０の任意の部分を構成する画素の実寸大のサイズを特定することができる。したがって、探索装置１００は、基準サイズを満たす「画素の集合体」の縦の画素数と横の画素数とを算出することができる。探索装置１００は、算出された画素の集合体のサイズを利用して、遠赤外線画像１１０のうちから温度分布が基準温度および基準サイズを満たす領域を抽出する。なお、各画素の値は温度を示す。

このようにして遠赤外線画像１１０のうちから温度分布が基準温度および基準サイズを満たす領域を抽出する処理は、探索装置１００に大きな負荷をかけない。このような処理は、学習済みモデルを用いた処理を行う前段階の処理として有効である。

図６では、温度分布が基準温度および基準サイズを満たす第１領域として、探索対象８１を含む領域１１１のみが抽出される例が示されている。このように、図６の例では、図５の例と異なり、抽出対象が少なくなっている。その結果、探索装置１００の次の処理（可視光画像２１０から探索対象８１を検出する処理）の負荷をより一層軽減することができる。なお、探索対象８１を探索する範囲を広げるために、図５を用いて説明した手順で遠赤外線画像１１０から第１領域を抽出してもよい。

図７は、可視光画像２１０から第１領域に対応する第２領域を抽出する手順を示す図である。ここでは、第１領域は、図６を用いて説明した手法で抽出されているものとする。すなわち、第１領域は、温度分布が基準温度および基準サイズを満たすものとして遠赤外線画像１１０から抽出された領域１１１である。

探索装置１００は、遠赤外線画像１１０から抽出された第１領域（領域１１１）に対応する第２領域を可視光画像２１０から抽出する。遠赤外線画像１１０と可視光画像２１０とでは、撮影位置の関係上、視差が存在する。このため、探索装置１００は、はじめに、遠赤外線画像１１０と可視光画像２１０との視差によるずれを補正する。

探索装置１００は、視差によるずれを補正した後、遠赤外線画像１１０から抽出された領域１１１に対応する可視光画像２１０の第２領域を特定する。たとえば、探索装置１００は、図７に示されるように、可視光画像２１０をマトリックス状に分割し、分割した領域を順に検索することによって遠赤外線画像１１０から抽出された領域１１１に対応する可視光画像２１０の第２領域を特定してもよい。

探索装置１００は、遠赤外線画像１１０から抽出された領域１１１に対応する可視光画像２１０の第２領域として、領域２１１を特定する。探索装置１００は、第１領域（領域１１１）に撮影されている探索領域８０の範囲と、第２領域（領域１１１）に撮影されている探索領域８０の範囲とが完全に一致するように、第２領域（領域２１１）を特定してもよい。この場合、第２領域（領域２１１）は、可視光画像２１０のうち、第１領域（領域１１１）に撮影されている探索領域８０に該当する。あるいは、探索装置１００は、第１領域（領域１１１）に撮影されている探索領域８０の範囲に、第２領域（領域１１１）に撮影されている探索領域８０の範囲が含まれるように、第２領域（領域２１１）を特定してもよい。すなわち、第１領域には、第２領域に含まれる探索領域８０の範囲よりも、より多くの探索領域８０の範囲が含まれていてもよい。この場合、第２領域（領域２１１）は、可視光画像２１０のうち、第１領域（領域１１１）に含まれる探索領域８０が撮影されている領域に該当する。

探索装置１００は、特定した領域２１１の画像を可視光画像２１０から抽出し、抽出した画像を学習済みモデル５０（学習済みの推定モデル５０）に入力する。これにより、学習済みモデル５０は、領域２１１の画像を対象として、探索対象８１を検出する。探索装置１００は、探索対象８１の検出結果を表示装置３０に表示する。

なお、図５を用いて説明した手法で第１領域を抽出した場合、可視光画像２１０のうち、領域１１１～１１３の各々に対応する画像が学習済みモデル５０へ入力される。

図６に示される例では、温度分布が基準温度および基準サイズを満たす第１領域として、１つの領域１１１のみが抽出されている。しかしながら、温度分布が基準温度および基準サイズを満たす第１領域が複数存在する場合も当然に想定される。その場合には、複数の第１領域が探索装置１００によって抽出される。この場合、複数の第１領域の各々に対応する第２領域が可視光画像２１０から抽出される。抽出された複数の第２領域の画像は、学習済みモデル５０へ入力される。

図８は、探索領域８０から探索対象８１を探索する処理の手順を示すフローチャートである（実施の形態１）。以下では、図４～図７を用いて説明した探索装置１００の処理をフローチャートで説明する。

はじめに、探索装置１００は、探索領域８０の全域を撮影するための指令を遠赤外線カメラ１１および可視光カメラ２１に出力する（ステップＳ１０）。遠赤外線カメラ１１および可視光カメラ２１は、この指令に基づいて連動して探索領域８０を撮影する。次に、探索装置１００は、遠赤外線カメラ１１から遠赤外線画像１１０を受信し、可視光カメラ２１から可視光画像２１０を受信する（ステップＳ１１）。

次に、探索装置１００は、遠赤外線画像１１０のうちに探索用遠赤外線画像３１０を設定する（ステップＳ１２）。次に、探索装置１００は、探索用遠赤外線画像３１０から温度分布が基準温度および基準サイズを満たす第１領域を抽出する（ステップＳ１３）。これにより、図６を用いて説明したとおり、第１領域として、たとえば、領域１１１が抽出される。なお、抽出される第１領域の数は１つに限られない。探索装置１００は、ステップＳ１３の処理の後、範囲を異ならせて探索用遠赤外線画像３１０を設定し（ステップＳ１２）、第１領域を抽出する処理（ステップＳ１３）を実行することを繰り返してもよい。

次に、探索装置１００は、第１領域に対応する可視光画像２１０の第２領域を特定する（ステップＳ１４）。これにより、図７を用いて説明したとおり、第２領域として、たとえば、可視光画像２１０の領域２１１が特定される。次に、探索装置１００は、第２領域の画像を抽出する（ステップＳ１５）。

次に、探索装置１００は、抽出した第２領域の画像を学習済みモデル５０に入力し、探索対象８１を検出する（ステップＳ１６）。次に、探索装置１００は、検出結果を表示装置２０に表示し（ステップＳ１７）、本フローチャートに基づく処理を終える。表示装置２０は、たとえば、探索対象８１が存在すると推定される位置を可視光画像２１０上に表示する。

なお、図５を用いて説明した手法で第１領域を抽出する場合、探索装置１００は、本フローチャートのステップＳ１３において、遠赤外線画像１１０から温度分布が基準温度を満たす第１領域を抽出する。

＜実施の形態２＞
次に、実施の形態２を説明する。図９は、探索システム２の構成を示すブロック図である（実施の形態２）。実施の形態２に関わる探索システム２は、可視光画像２１０を撮影するカメラとして、可視光カメラ２１に変えて、望遠機能を備える可視光カメラ２２を備える。

探索システム２は、可視光カメラ２２の撮影角度を３軸方向に自在に変更するためのジンバル機構４０を備える。探索装置１００のプロセッサ１０１は、ジンバル機構４０を制御し、可視光カメラ２２の撮影角度を３軸方向に自在に変更する。可視光カメラ２２は、通信インターフェイス１０４を介してプロセッサ１０１と接続されている。プロセッサ１０１は、可視光カメラ２２の望遠レンズの倍率およびジンバル機構４０を制御することにより、探索領域８０の任意の場所を拡大して撮影する。

探索システム２は、望遠機能を備える可視光カメラ２２が設けられ、かつ、可視光カメラ２２に対するジンバル機構４０が設けられる点で、探索システム１のハードウェア構成と異なる。その他の点では、探索システム１と探索システム２とでハードウェア構成は共通する。したがって、探索システム２も探索システム１と同様、遠赤外線カメラ１１を備える。探索システム２において、可視光カメラ２２は、遠赤外線カメラ１１の撮像範囲の任意の部分を望遠撮影する。

実施の形態１では、（１）遠赤外線カメラ１１と可視光カメラ２１とで探索領域８０の全域を撮影し、遠赤外線画像１１０と可視光画像２１０とを取得する、（２）遠赤外線画像１１０から探索用遠赤外線画像３１０を設定する、（３）探索用遠赤外線画像３１０から第１領域を抽出する、（４）第１領域に対応する第２領域を可視光画像２１０から抽出する、（５）第２領域の画像を学習済みモデル５０に入力する、という手順で探索対象８１の探索処理を進めた。

実施の形態２では、（１’）遠赤外線カメラ１１のみで探索領域８０の全域を撮影し、遠赤外線画像１１０を取得する、（２）遠赤外線画像１１０から探索用遠赤外線画像３１０を設定する、（３）探索用遠赤外線画像３１０ら第１領域を抽出する、（４’）第１領域に対応する第２領域を可視光カメラ２２で望遠撮影する、（５）第２領域の画像を学習済みモデル５０に入力する、という手順で探索対象８１の探索処理を進める。赤外線カメラ１１で撮像された第１領域に対応する第２領域を可視光カメラ２２で望遠撮影する際、遠赤外線カメラ１１で撮像された第１領域の範囲と可視光カメラ２１で撮像する第２領域の範囲とは、完全に一致していなくてもよく、双方の撮影範囲に重複する範囲が存在すればよい。

実施の形態２は、このように、上記（１’）および上記（４’）の手順の点で、実施の形態１と異なる。上記（４’）に関して、図１０を用いて説明する。図１０は、探索領域８０から第１領域に対応する第２領域を望遠撮影する手順を示す図である。図１０には、第２領域として、探索領域８０のうちの領域２２１が撮影される例が示されている。第１領域は、たとえば、図７に示される遠赤外線画像１１０の領域１１１である。

実施の形態１では、遠赤外線画像１１０の領域１１１に対応する第２領域を、予め撮影した可視光画像２１０から抽出した（図７参照）。これに対して、実施の形態２では、図１０に示されるように、遠赤外線画像１１０の領域１１１に対応する第２領域（領域２２１）を可視光カメラ２２で望遠撮影する。これにより、探索装置１００は、学習済みモデル５０に入力する領域２２１の画像を取得する。

可視光カメラ２２は、望遠撮影する機能を備えるため、撮影すべき場所が定まれば、上記（４’）のとおり、その場所を上空から拡大して撮影することができる。したがって、可視光カメラ２２には、可視光カメラ２１のような高い解像度は求められない。

このため、実施の形態２によれば、実施の形態２に比較して、低解像度の可視光カメラを活用することができる。一方、実施の形態１の場合、同時またはほぼ同時に撮影した遠赤外線画像１１０および可視光画像２１０を利用している。このため、赤外線画像と可視光画像２１０とに写り込んだ各オブジェクトの位置および状態が共通している。その結果、実施の形態１では、より精度良く、探索対象８１を検出することができる。

次に、図１１を用いて、実施の形態２に関わる探索の処理手順を説明する。図１１は、探索領域８０から探索対象８１を探索する処理の手順を示すフローチャートである（実施の形態２）。

はじめに、探索装置１００は、探索領域８０の全域を撮影するための指令を遠赤外線カメラ１１に出力する（ステップＳ２０）。遠赤外線カメラ１１は、この指令に基づいて探索領域８０を撮影する。次に、探索装置１００は、遠赤外線カメラ１１から遠赤外線画像１１０を受信する（ステップＳ２１）。

次に、探索装置１００は、遠赤外線画像１１０のうちに探索用遠赤外線画像３１０を設定する（ステップＳ２２）。探索用遠赤外線画像３１０は、実施の形態１と同様に、赤外線画像１１０の一部である。実施の形態１と同様、探索装置１００は、赤外線画像１１０のすべてを探索用遠赤外線画像３１０として設定してもよい。実施の形態１と同様、探索装置１００は、探索用遠赤外線画像３１０の温度分布に基づいて、探索領域８０に存在する様々なオブジェクトを分類することができる。次に、探索装置１００は、探索用遠赤外線画像３１０から温度分布が基準温度および基準サイズを満たす第１領域を抽出する（ステップＳ２３）。この処理は、実施の形態１として説明したステップＳ１３と同様である。これにより、第１領域として、たとえば、領域１１１（図６参照）が抽出される。

次に、探索装置１００は、第１領域に対応する場所を探索領域８０から特定する（ステップＳ２４）。ここで特定される場所が可視光カメラ２２により望遠撮影される第２領域に該当する。次に、探索装置１００は、特定した場所の望遠撮影を可視光カメラ２２に指令する（ステップＳ２５）。可視光カメラ２２は、探索領域８０のうち、指令に基づいた場所を望遠撮影する。

次に、探索装置１００は、可視光カメラ２２から、望遠撮影された可視光画像２１０を受信する（ステップＳ２６）。これにより、探索装置１００は、第２領域の画像を取得する。

次に、探索装置１００は、望遠撮影された画像（取得した第２領域の画像）を学習済みモデル５０に入力し、探索対象８１を検出する（ステップＳ２７）。次に、探索装置１００は、検出結果を表示装置２０に表示し（ステップＳ２８）、本フローチャートに基づく処理を終える。表示装置２０は、実施の形態１と同様に、探索対象８１が存在すると推定される位置を可視光画像２１０上に表示する。

以上に説明した各実施の形態によれば、広い撮影範囲から探索対象８１が映っている可能性のある領域を遠赤外線画像１１０によって絞り込むことで、可視光画像２１０から探索対象８１を検出する際の計算負荷を減らすことができる。その結果、リアルタイムに近い速度で探索処理をすることが可能になる。各実施の形態は、上空を飛行し続ける飛行体から広範囲を撮影しつつ探索対象８１を探索する場合に、極めて有用である。

＜変形例＞
以下、本実施の形態の変形例を説明する。

本実施の形態では、遠赤外線画像１１０から抽出する第１領域として矩形の領域１１１を例に挙げて説明した。しかし、遠赤外線画像１１０から抽出する第１領域は、探索対象８１などのオブジェクトに近い形状であってもよい。この場合、抽出される第１領域の形状は、遠赤外線画像１１０に表示される温度分布の形状に依存する。

本実施の形態では、恒温動物である探索対象８１の一例として人間を挙げた。探索対象８１の他の例としては、犬および猫などのペット、馬および羊などの家畜を挙げることができる。

本実施の形態では、飛行体の一例としてヘリコプター９０を挙げた。飛行体の他の例としては、人間が搭乗しないドローンなどを挙げることができる。

本実施の形態では、ヘリコプター９０に表示装置３０を設置した。しかし、ヘリコプター９０に表示装置３０を設置するのではなく、地上の管制塔などに表示装置３０を設置してもよい。この場合、探索装置１００は、無線通信によって地上の表示装置３０へ映像信号を送信する。

本実施の形態では、遠赤外線カメラ１１および可視光カメラ２１が設けられたヘリコプター９０に探索装置１００が搭載される。しかし、探索装置１００をヘリコプター９０とは別の飛行体または地上に設置してもよい。たとえば、探索装置１００を管制塔に設けてもよい。この場合、ヘリコプター９０には、探索装置１００と通信する通信装置を設ける。通信装置は、探索装置１００の指令に応じて、遠赤外線カメラ１１および可視光カメラ２１が撮影した画像を探索装置１００へ送信する。

［態様］
上記した実施の形態およびその変形例は、以下の態様の具体例であることが当業者により理解される。

（第１項）一態様に係る探索システムは、飛行体より俯瞰される探索領域から恒温動物である探索対象を探索する探索システムであって、探索領域に向けて飛行体に配置される赤外線カメラおよび可視光カメラと、赤外線カメラにより撮影された赤外線画像と可視光カメラにより撮影された可視光画像とに基づいて探索対象を探索する探索装置とを備え、探索装置は、基準温度を満たす第１領域として赤外線画像の一部を抽出した後、第１領域に対応する可視光画像の第２領域から探索対象を検出する。

第１項に記載の探索システムによれば、処理負荷が増大することを抑えつつ、探索領域から探索対象を探索可能となる。

（第２項）第１項に記載の探索システムにおいて、探索装置は、基準温度によって識別される赤外線画像の領域のうち基準サイズを満たす領域を第１領域として抽出する。

第２項に記載の探索システムによれば、基準温度によって識別される赤外線画像の領域のうち基準サイズを満たす領域が第１領域として抽出されるため、より一層、検出処理の負担を軽減できる。

（第３項）第１項または第２項に記載の探索システムにおいて、探索装置は、赤外線カメラおよび可視光カメラを連動させて探索領域を撮影し、第１領域として赤外線画像の一部を抽出した後、可視光画像から第２領域を抽出する。

第３項に記載の探索システムによれば、赤外線カメラおよび可視光カメラを連動させて撮影された探索領域の画像が用いられるため、赤外線画像と可視光画像とを対応付ける処理をより単純化することができる。

（第４項）第１項または第２項に記載の探索システムにおいて、可視光カメラは望遠機能を有し、探索装置は、第１領域として赤外線画像の一部を抽出した後、第１領域に対応する場所を可視光カメラで望遠撮影することにより、第２領域を含む可視光画像を取得する。

第４項に記載の探索システムによれば、望遠機能を有する可視光カメラを用いることにより、低解像度の安価な可視光カメラを採用することができる。

（第５項）第１項～第４項のいずれか１項に記載の探索システムにおいて、探索装置は、第２領域に探索対象が存在することを推論するための学習済みモデルを用いて、第２領域から探索対象を検出する。

第５項に記載の探索システムによれば、学習済みモデルを用いて精度よく探索対象を検出することができる。

（第６項）第５項に記載の探索システムにおいて、学習済みモデルは、第２領域の画像と、前第２領域に探索対象が存在するか否かを示す結果とを含む学習用データに基づき、第２領域から探索対象を検出するように学習されている。

第６項に記載の探索システムによれば、学習用データに基づいた学習により、より精度の高い検出が可能な学習済みモデルを生成することができる。

（第７項）第１項～第６項のいずれか１項に記載の探索システムにおいて、第２領域は、可視光画像のうち、第１領域に含まれる探索領域が撮影されている領域である。

第７項に記載の探索システムによれば、可視光画像の処理範囲を第１領域に含まれる探索領域が撮影されている領域に絞り込めるため、検出処理の負担を軽減できる。

（第８項）第１項～第６項のいずれか１項に記載の探索システムにおいて、第２領域は、可視光画像のうち、第１領域に撮影されている探索領域である。

第８項に記載の探索システムによれば、可視光画像の処理範囲を第１領域に撮影されている探索領域に絞り込めるため、検出処理の負担を軽減できる。

（第９項）他の態様に係る探索装置は、飛行体より俯瞰される探索領域から恒温動物である探索対象を検出する探索装置であって、飛行体には探索領域に向けて赤外線カメラおよび可視光カメラが配置され、赤外線カメラおよび可視光カメラの各々により撮影された画像を受信する通信インターフェイスと、通信インターフェイスにより受信された画像に基づいて探索対象を検出するプロセッサとを備え、通信インターフェイスは、赤外線カメラにより撮影された赤外線画像と可視光カメラにより撮影された可視光画像とを受信し、プロセッサは、基準温度を満たす第１領域として赤外線画像の一部を抽出した後、第１領域に対応する可視光画像の第２領域から探索対象を検出する。

第９項に記載の探索装置によれば、処理負荷が増大することを抑えつつ、探索領域から探索対象を探索可能となる。

（第１０項）他の態様に係る探索方法は、飛行体より俯瞰される探索領域からコンピュータを用いて恒温動物である探索対象を検出する探索方法であって、コンピュータは、探索領域に向けて飛行体に配置される赤外線カメラおよび可視光カメラの各々により撮影された画像を受信するステップと、受信するステップにより受信された画像に基づいて探索対象を検出するステップとを含み、受信するステップは、赤外線カメラにより撮影された赤外線画像と可視光カメラにより撮影された可視光画像とを受信するステップを含み、検出するステップは、基準温度を満たす第１領域として赤外線画像の一部を抽出した後、第１領域に対応する可視光画像の第２領域から探索対象を検出するステップを含む。

第１０項に記載の探索方法によれば、処理負荷が増大することを抑えつつ、探索領域から探索対象を探索可能となる。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１，２ 探索システム、１１ 遠赤外線カメラ、２１ 可視光カメラ（高解像度）、２２ 可視光カメラ（望遠）、３０ 表示装置、４０ ジンバル機構、５０ 推定モデル、５１ ニューラルネットワーク、５２ パラメータ、７１ 学習用可視光画像、７２ 正解データ、８０ 探索領域、８１ 人、８２ 牛、８３ 工場、８４ 車、８５ 樹木、８６ 草、９０ ヘリコプター、１００ 制御装置（探索装置）、１０１ プロセッサ、１０２ メモリ、１０３ ストレージ、１０４ 通信インターフェイス、１０５ 表示インターフェイス、１１０ 遠赤外線画像、１１１ 領域、１１２ 領域、１１３ 領域、２００ 学習装置、２０１ 入力部、２０２ 判定部、２０３ 学習部、２１０ 可視光画像、２１１ 領域、２２１ 領域、３１０ 探索用遠赤外線画像。

Claims (10)

1. 飛行体より俯瞰される探索領域から恒温動物である探索対象を探索する探索システムであって、
   前記探索領域に向けて前記飛行体に配置される赤外線カメラおよび可視光カメラと、
   前記赤外線カメラにより撮影された赤外線画像と前記可視光カメラにより撮影された可視光画像とに基づいて前記探索対象を探索する探索装置とを備え、
   前記探索装置は、基準温度を満たす第１領域として前記赤外線画像の一部を抽出した後、前記第１領域に対応する前記可視光画像の第２領域から前記探索対象を検出する、探索システム。
2. 前記探索装置は、前記基準温度によって識別される前記赤外線画像の領域のうち基準サイズを満たす領域を前記第１領域として抽出する、請求項１に記載の探索システム。
3. 前記探索装置は、前記赤外線カメラおよび前記可視光カメラを連動させて前記探索領域を撮影し、前記第１領域として前記赤外線画像の一部を抽出した後、前記可視光画像から前記第２領域を抽出する、請求項１または請求項２に記載の探索システム。
4. 前記可視光カメラは望遠機能を有し、
   前記探索装置は、前記第１領域として前記赤外線画像の一部を抽出した後、前記第１領域に対応する場所を前記可視光カメラで望遠撮影することにより、前記第２領域を含む前記可視光画像を取得する、請求項１または請求項２に記載の探索システム。
5. 前記探索装置は、前記第２領域に前記探索対象が存在することを推論するための学習済みモデルを用いて、前記第２領域から前記探索対象を検出する、請求項１または請求項２に記載の探索システム。
6. 前記学習済みモデルは、前記第２領域の画像と、前前記第２領域に前記探索対象が存在するか否かを示す結果とを含む学習用データに基づき、前記第２領域から前記探索対象を検出するように学習されている、請求項５に記載の探索システム。
7. 前記第２領域は、前記可視光画像のうち、前記第１領域に含まれる前記探索領域が撮影されている領域である、請求項１または請求項２に記載の探索システム。
8. 前記第２領域は、前記可視光画像のうち、前記第１領域に撮影されている前記探索領域である、請求項１または請求項２に記載の探索システム。
9. 飛行体より俯瞰される探索領域から恒温動物である探索対象を検出する探索装置であって、
   前記飛行体には前記探索領域に向けて赤外線カメラおよび可視光カメラが配置され、
   前記赤外線カメラおよび前記可視光カメラの各々により撮影された画像を受信する通信インターフェイスと、
   前記通信インターフェイスにより受信された画像に基づいて前記探索対象を検出するプロセッサとを備え、
   前記通信インターフェイスは、前記赤外線カメラにより撮影された赤外線画像と前記可視光カメラにより撮影された可視光画像とを受信し、
   前記プロセッサは、基準温度を満たす第１領域として前記赤外線画像の一部を抽出した後、前記第１領域に対応する前記可視光画像の第２領域から前記探索対象を検出する、探索装置。
10. 飛行体より俯瞰される探索領域からコンピュータを用いて恒温動物である探索対象を検出する探索方法であって、
    前記コンピュータは、
    前記探索領域に向けて前記飛行体に配置される赤外線カメラおよび可視光カメラの各々により撮影された画像を受信するステップと、
    前記受信するステップにより受信された画像に基づいて前記探索対象を検出するステップとを含み、
    前記受信するステップは、前記赤外線カメラにより撮影された赤外線画像と前記可視光カメラにより撮影された可視光画像とを受信するステップを含み、
    前記検出するステップは、基準温度を満たす第１領域として前記赤外線画像の一部を抽出した後、前記第１領域に対応する前記可視光画像の第２領域から前記探索対象を検出するステップを含む、探索方法。
    

Images