JP2023042205A - 対象物検出装置 - Google Patents

Abstract

【課題】空撮画像から対象物を発見するために有用な画像を提供可能な対象物検出装置を提供する。【解決手段】空撮画像から対象物を検出する対象物検出装置（１）は、第１空撮画像を撮像する撮像装置（１０、２０）と、制御装置（４０）と、表示装置（３０）とを備える。制御装置は、第１空撮画像を複数の第１画像に分割し、複数の第１画像毎に対象物が含まれる確度を算出し、確度の程度と確度に対応する第１空撮画像の部分とを判別可能な第１判別用画像を表示装置に表示させる。【選択図】図１

Description

本開示は、空撮画像から対象物を検出する対象物検出装置に関する。

ヘリコプターおよびドローンなどの飛行体から撮像された空撮画像を用いて、遭難者などの対象物を自動的に検索する技術が知られている。特許文献１では、空撮画像から標的物体を迅速かつ精密に検出するためのシステムが提案されている。

特開２０２０－１４４９２２号公報

空撮画像を用いる場合、地上で撮像された画像を用いる場合と比べて、広い領域から対象物を検索することできる。このため、対象物を検出するために撮影方向を変更した上で画像を撮像する回数を減らすことができる。その結果、対象物を検出する効率を上げることできる。

しかしながら、空撮画像を撮像したときの飛行体の高度が高くなるに連れて、空撮画像に含まれる対象物の大きさが小さくなる。このため、空撮画像をそのまま用いて対象物を検出する場合、対象物の検出精度が悪くなり、誤った検出結果がシステムから出力される可能性がある。

本開示の目的は、空撮画像から対象物を発見するために有用な画像を提供可能な対象物検出装置を提供することである。

本開示に関わる対象物検出装置は、空撮画像から対象物を検出する対象物検出装置であって、第１空撮画像を撮像する撮像装置と、制御装置と、表示装置とを備える。制御装置は、第１空撮画像を複数の第１画像に分割し、複数の第１画像毎に対象物が含まれる確度を算出し、確度の程度と確度に対応する第１空撮画像の部分とを判別可能な第１判別用画像を表示装置に表示させる。

本開示によれば、空撮画像から対象物を発見するために有用な画像を提供可能となる。

対象物検出装置の概略構成を示すブロック図である。 対象物検出装置の処理の概要を示す図である。 対象物検出装置が実行する設定処理の内容を示すフローチャートである。 対象物検出装置が実行する対象物検出処理の内容を示すフローチャートである。 撮像距離に応じて空撮画像の分割数を設定する例を示す図である。 対象物検出装置によって撮像される空撮画像の一例を示す図である。 対象物検出装置が表示する判別用画像の一例を示す図である。 判別用画像の様々な例を示す図である。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

図１は、対象物検出装置１の概略構成を示すブロック図である。対象物検出装置１は、ヘリコプター２００などの飛行体に搭載される。ドローンに対象物検出装置１を搭載してもよい。対象物検出装置１は、第１カメラ１０と、第２カメラ２０と、表示装置３０と、制御装置４０とを備える。

第１カメラ１０は広角カメラにより構成されており、第２カメラ２０は望遠カメラにより構成されている。第１カメラ１０および第２カメラ２０は、ヘリコプター２００の前方において空撮画像を撮像する。第１カメラ１０および第２カメラ２０をサーマルカメラにより構成してもよい。

表示装置３０は、たとえば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどにより構成されている。表示装置３０は、操作部３１として機能するタッチパネルを備える。表示装置３０は、第１カメラ１０または第２カメラ２０が撮像した空撮画像を表示する。さらに、表示装置３０は、空撮画像に基づいて制御装置４０が生成した判別用画像を表示する。判別用画像は空撮画像から遭難者などの対象物を発見するために用いられる。

制御装置４０は、第１カメラ１０、第２カメラ２０、および表示装置３０と接続されている。制御装置４０は、第１カメラ１０および第２カメラ２０から空撮画像を取得する。制御装置４０は、第１カメラ１０および第２カメラ２０に対して撮像方向および撮像倍率を指示する。制御装置４０は、表示装置３０に映像信号を出力する。制御装置４０には、表示装置３０の操作部３１が出力した操作信号が入力される。

制御装置４０は、プロセッサ５０とメモリ６０とを備える。プロセッサ５０は、典型的には、ＣＰＵ（Central Processing Unit）またはＭＰＵ（Multi-Processing Unit）などの演算処理部である。プロセッサ５０は、演算回路（Processing Circuitry）で構成されてもよい。プロセッサ５０は、メモリ６０に格納されたプログラムを読み出して実行することで、各種の処理を実現する。

メモリ６０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、およびフラッシュメモリなどの不揮発性メモリによって実現される。メモリ６０には、空撮画像から遭難者などの対象物を検出するために用いられる推定モデル６１が格納されている。さらに、メモリ６０には、プロセッサ６０が実行するプログラムの他、制御装置４０が第１カメラ１０、第２カメラ２０、および表示装置３０を制御するために必要な様々なデータが格納されている。

なお、メモリ６０は、プロセッサ５０が可読可能な形式で非一時的にプログラムを記録することができれば、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk - Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリ、メモリーカード、ＦＤ（Flexible Disk）、ハードディスク、ＳＳＤ（Solid State Drive）、磁気テープ、カセットテープ、ＭＯ（Magnetic Optical Disc）、ＭＤ（Mini Disc）、ＩＣ（Integrated Circuit）カード（メモリーカードを除く）、光カード、マスクＲＯＭ、またはＥＰＲＯＭであってもよい。

プロセッサ５０は、入出力部５１、受付部５２、分割部５３、判定部５４、および出力部５５として機能する。入出力部５１は、第１カメラ１０および第２カメラ２０と接続される。この接続は、有線または無線により実現される。入出力部５１には、第１カメラ１０および第２カメラ２０で撮像された空撮画像が入力される。受付部５２は、操作部３１の操作に基づいた指令を受け付ける。受付部５２は、操作部３１の操作に基づいた指令を、入出力部５１を介して第１カメラ１０または第２カメラ２０に出力する。

メモリ６０に格納された推定モデル６１は、学習装置１００によって学習される。制御装置４０は、学習装置１００によって学習された推定モデル６１をメモリ６０に格納する。

ここで、推定モデル６１を学習する学習フェーズについて説明する。推定モデル６１は、学習装置１００によって学習される。学習装置１００は、入力部１０１と、判定部１０２と、学習部１０３とを備える。学習装置１００は、典型的には、プロセッサおよびメモリを備えるコンピュータである。

推定モデル６１は、学習装置１００によって、空撮画像１１１から対象物を検出するように学習されている。

推定モデル６１を学習させるため、たとえば、教師あり学習のアルゴリズムが用いられる。学習装置１００は、多数の学習用データを用いた教師あり学習によって、推定モデル６１を学習させる。学習用データは、空撮画像１１１と、空撮画像１１１に対応する正解データ１１２とから構成される。

空撮画像１１１は、推定モデル６１の学習のために予め準備されている。空撮画像１１１には、たとえば、人などの捜索すべき対象物が含まれている。正解データ１１２は、空撮画像１１１に対応する判定結果を含む。正解データ１１２は、たとえば、空撮画像１１１に含まれる対象物の位置を示すデータである。

学習装置１００の入力部１０１には、空撮画像１１１が入力される、設計者は、このような空撮画像１１１を予め複数用意する。設計者は、学習用データを学習装置１００に入力することで、推定モデル６１を学習させる。

推定モデル６１は、ニューラルネットワーク６２と、ニューラルネットワーク６２によって用いられるパラメータ６３とを含む。ニューラルネットワーク６２は、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）（ＲＮＮ：Recurrent Neural Network）、またはＬＳＴＭネットワーク（Long Short Term Memory Network）など、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークが適用される。推定モデル６１は、ニューラルネットワーク６２を用いることで、ディープラーニングを行う。パラメータ６３は、ニューラルネットワーク６２による計算に用いられる重み付け係数などを含む。

入力部１０１には、１つの空撮画像１１１がそのまま入力されるのではなく、予め複数の画像に分割された空撮画像１１１が入力される。入力部１０１には、たとえば、５行８列のマトリックス状に分割された空撮画像１１１が入力される。判定部１０２は、入力部１０１から入力される画像と、ニューラルネットワーク６２を含む推定モデル６１とに基づき、空撮画像１１１に対象物が含まれるか否かを分割された画像毎に判定する。

判定部１０２は、空撮画像１１１に対して事前にコントラストあるいはエッジを強調するなどの各種の画像処理を施してもよい。判定部１０２は、推定モデル６１によって得られた判定結果を判定結果の確度と共に取得する。

学習部１０３は、判定部１０２によって得られた判定結果と、判定対象の空撮画像１１１に対応する正解データとに基づき、推定モデル６１を学習させる。具体的には、学習部１０３は、推定モデル６１によって得られた判定結果が、正解データに近づくように、パラメータ６３（たとえば、重み付け係数）を調整することで、推定モデル６１を学習させる。

このように、推定モデル６１は、空撮画像１１１を分割した画像と分割した画像に対象物が存在する結果とを含む学習用データに基づき、分割した画像毎に対象物が含まれる確度を算出するように学習されている。

空撮画像１１１を分割するときの分割数は様々に設定することができる。空撮画像１１１を分割するときの画像のサイズおよび形状も様々に設定することができる。様々な態様で分割した空撮画像１１１を入力部１０１に入力することにより、様々な態様で分割された画像に基づいて推定モデル６１を学習させることができる。また、様々な態様で画像を分割すると、画像を切り取る部分が様々にシフトする。このため、画像の学習結果を記憶するデータベースの量を増加させることができる。その結果、推定モデル６１に基づいて得られる判定結果の正解率を高めることができる。

たとえば、２行８列のマトリックス状に分割された空撮画像１１１、５行８列のマトリックス状に分割された空撮画像１１１、および５行１６列のマトリックス状に分割された空撮画像１１１などを用いて、推定モデル６１を学習させてもよい。

対象物検出装置１は、学習装置１００によって学習された推定モデル６１をメモリ６０に格納する。対象物検出装置１は、学習装置１００から推定モデル６１をダウンロードし、取得した推定モデル６１をメモリ６０に格納してもよい。

図２は、対象物検出装置１の処理の概要を示す図である。図２を参照して、運用フェーズにおける対象物検出装置１の制御装置４０の処理の概要を説明する。

ヘリコプター２００などに搭載された対象物検出装置１は、第１カメラ１０と第２カメラ２０とによって空撮画像１５１を撮像する。第１カメラ１０および第２カメラ２０は、制御装置４０から指示を受けたタイミングで撮像した空撮画像１５１を制御装置４０に出力してもよい。

たとえば、広角カメラである第１カメラ１０によって空撮画像１５１が撮像されたものとする。この場合、分割部５３は、空撮画像１５１を複数の画像１５２に分割する。判定部５４は、推定モデル６１を用いて、対象物が含まれるか否かを分割された画像１５２毎に判定する。この判定結果には判定の確度が含まれる。

出力部５５は、判定部５４の判定結果を含む判別用画像１５３を生成し、表示装置３０に判別用画像１５３を出力する。判別用画像１５３には、分割された複数の画像１５２と、複数の画像１５２のそれぞれを仕切る枠とが含まれている、判別用画像１５３に含まれる複数の画像１５２のそれぞれには、対象物が存在する確度が表示されている。さらに、判別用画像１５３では、確度が閾値を超える画像１５２を囲む枠が太枠で描かれている。これにより、確度が閾値を超える画像１５２の部分が強調して表示される。

対象物を捜索する捜索者は、判別用画像１５３に含まれる確度を見ることによって、対象物が存在する可能性が高い部分を特定することができる。捜索者は、判別用画像１５３のうち、対象物が存在する可能性が高い領域をさらに詳細に確認したい場合、その領域に対応するディスプレイの部分に指で触れる。タッチパネルにより構成される操作部３１がその操作を検出する。操作部３１は、操作信号を受付部５２に出力する。

受付部５２は、操作信号によって指定される空撮画像１５１の領域が拡大して撮像されるよう、撮像方向およびレンズ倍率を指定する信号を第１カメラ１０または第２カメラ２０に出力する。

たとえば、受付部５２は、判別用画像１５３が第１カメラ１０によって撮像された画像である場合、第２カメラ２０に対して撮像方向およびレンズ倍率を指定する信号を出力してもよい。

第１カメラ１０または第２カメラ２０は、受付部５２の指示に従い、新たな空撮画像１５１を撮像する。分割部５３は、新たに撮像された空撮画像１５１を複数の画像に分割する。以降、判定部５４、出力部５５、および受付部５２は、上述した処理を繰り返す。

これにより、表示装置３０には、対象物の存在する可能性の高い領域を拡大した判別用画像１５３が表示される。その結果、捜索者は、対象物をより発見し易くなる。

図３は、対象物検出装置１が実行する設定処理の内容を示すフローチャートである。このフローチャートに基づく設定処理は、対象物検出装置１が備える制御装置４０により実行される。

はじめに、制御装置４０は、分割数の設定を選択する操作を検出したか否かを判定する（ステップＳ１）。本実施の形態に関わる対象物検出装置１は、空撮画像を分割部５３によって分割するときの数の設定をマニュアル設定とするか、オート設定とするかを選択可能に構成されている。

分割数の設定を選択する操作が検出されない場合、制御装置４０は、ステップＳ６に処理を進める。分割数の設定を選択する操作が検出された場合、制御装置４０は、マニュアル設定が選択されたか否かを判定する（ステップＳ２）。マニュアル設定が選択された場合、制御装置４０は、分割数が入力されるまで待機する（ステップＳ３）。分割数が入力された場合、制御装置４０は、入力に従う分割数をメモリ６０に格納する（ステップＳ４）。

制御装置４０は、ステップＳ２においてマニュアル設定が選択されず、オート設定が選択された場合（ステップＳ２にてＮＯ）、オート設定フラグをメモリ６０に格納する（ステップＳ５）。この場合、制御装置４０は、撮像距離に応じて分割数を自動的に決定する。

ここで、図５を用いて、オート設定フラグが設定された場合に制御装置４０が分割数を決定する手順を説明する。

図５は、撮像距離に応じて空撮画像の分割数を設定する例を示す図である。図５に示されるように、制御装置４０は、分割数の設定がオート設定の場合、空撮画像１５１を撮像したときの撮像距離に応じて空撮画像１５１の分割数を決定する。制御装置４０のメモリ６０には、分割数の決定に関わる閾値Ｌ１およびＬ２が予め格納されている（Ｌ１＜Ｌ２）。

空撮画像１５１を撮像したときの飛行高度を撮像距離として採用してもよく、空撮画像１５１を撮像したときの第１カメラ１０または第２カメラ２０のレンズ中心軸を地表に伸ばしたときのレンズから地表までの距離を撮像距離として採用してもよい。たとえば、対象物検出装置１を搭載する飛行体が備える高度計のデータに基づいて飛行高度を特定してもよい。

制御装置４０は、撮像距離ＨがＬ１≦Ｈ≦Ｌ２を満たす場合、空撮画像１５１を５行８列のマトリックス状に分割する。制御装置４０は、撮像距離ＨがＨ＜Ｌ１を満たす場合、空撮画像を２行８列のマトリックス状に分割する。制御装置４０は、撮像距離ＨがＬ２＜Ｈを満たす場合、空撮画像１５１を５行１６列のマトリックス状に分割する。

このように、撮像距離が長い場合、撮像距離が短い場合に比べて分割数が多くなるように設定されるため、空撮画像１５１に映り込む対象物が小さくなる場合には、より細かい分割領域で対象物を検索することができる。

図３に戻り、設定処理のフローチャートの説明を続ける。制御装置４０は、ステップＳ６において、強調表示をする確度の閾値Ｐを設定する操作が検出されたか否かを判定する（ステップＳ６）。強調表示とは、図２に示す判別用画像１５３において、確度が閾値Ｐよりも高い画像の部分を太枠で囲む表示のことである。制御装置４０は、閾値Ｐを設定する操作が検出されない場合、処理を終える。この場合、閾値Ｐとして、過去に入力済みの値が用いられる。

制御装置４０は、閾値Ｐを設定する操作が検出された場合、閾値Ｐの入力があるまで待機する（ステップＳ７）。制御装置４０は、閾値Ｐを設定する操作が検出された場合、入力に従う閾値Ｐをメモリ６０に格納し（ステップＳ８）、処理を終える。

以上、説明したフローチャートにおける各種の操作は、たとえば、表示装置３０の操作部３１によって受け付けられる。

本フローチャートに基づく設定処理によれば、分割数の設定をマニュアル設定とオート設定との間で変更できる。マニュアル設定によれば、捜索者は、希望に応じた分割数で分割された判別用画像を用いて対象物を捜索できる。オート設定によれば、捜索者は、撮像距離に応じて適切に分割された判別用画像を用いて対象物を捜索できる。

また、本フローチャートに基づく設定処理によれば、強調表示をする確度の閾値Ｐを捜索者の任意の値に設定することができる。このため、捜索者は捜索状況に応じて適切な閾値Ｐを設定することができる。

図４は、対象物検出装置１の対象物検出処理の内容を示すフローチャートである。図６は、対象物検出装置１によって撮像される空撮画像の一例を示す図である。図７は、対象物検出装置１が表示する判別用画像の一例を示す図である。ここでは、図６および図７に示す画像を適宜参照しつつ、図４に示すフローチャートを説明する。なお、このフローチャートに基づく処理は、対象物検出装置１が備える制御装置４０により実行される。

はじめに、制御装置４０は、第１カメラ１０から空撮画像を取得する（ステップＳ２１）。図６には、第１カメラ１０によって撮像された空撮画像１５１の一例が示されている。空撮画像１５１は上空から撮像された画像であるため、遭難者のような対象物が画像内に小さく表示される。

次に、制御装置４０は、分割数の設定がオート設定であるか否かを判定する（ステップＳ２２）。より具体的には、メモリ６０にオート設定フラグが格納されているか否かを判定する。

制御装置４０は、分割数の設定がオート設定になっている場合、撮像距離Ｈに基づいて分割数を決定する（ステップＳ２３）。この決定手法は、すでに図５を用いて説明したとおりである。制御装置４０は、決定した分割数に基づいて空撮画像を分割する（ステップＳ２５）。

制御装置４０は、分割数の設定がオート設定になっていない場合、メモリ６０から分割数を読み出す（ステップＳ２４）。制御装置４０は、読出した分割数に基づいて空撮画像を分割する（ステップＳ２５）。

次に、制御装置４０は、分割された画像を順次、推定モデル６１に基づいて判定し、確度を算出する（ステップＳ２６）。次に、制御装置４０は、判定した画像のうち、確度が閾値Ｐよりも大きい画像を特定する（ステップＳ２７）。閾値Ｐは、メモリ６０に格納されている。ここでは、たとえば、閾値Ｐが８０％に設定されているものとする。

次に、制御装置４０は、判定結果に基づいて、判別用画像を生成する（ステップＳ２８。次に、制御装置４０は、生成された判別用画像を表示装置３０に出力する（ステップＳ２９）。図７には、判別用画像１５３の一例が示されている。

図７を参照して、判別用画像１５３は、枠によって複数の画像に仕切られている。枠によって仕切られた画像は、それぞれ、ステップＳ２５の処理によって分割された画像に対応する。判別用画像１５３には、対象物が存在する確度（％）が枠で仕切られた画像毎に表示されている。確度が閾値Ｐ（８０％）を超える画像は、太枠１６１で囲まれている。このため、捜索者は、確度が閾値Ｐを超える部分を容易に特定することができる。なお、図７において、８０％以下の確度については、一律にｘ％と表記しているが、実際には、画像の部分に応じた確度が表示される。

捜索者は、表示装置３０の画面に指で触れることによって、判別用画像１５３のうちから、さらに詳細に確認したい部分を選択することができる。

再び、図４に戻り、フローチャートの説明を続ける。制御装置４０は、判別用画像のいずれかの部分を選択する操作が検出されたか否かを判定する（ステップＳ３０）。制御装置４０は、待機時間Ｔが経過するまでにそのような操作が検出された場合、選択された画像に対応する地上の位置を特定する（ステップＳ３１）。

制御装置４０は、ステップＳ３１に対応する位置が撮像されるよう、望遠カメラである第２カメラ２０に対して、撮像方向およびレンズ倍率を指定する指令を出力する（ステップＳ３２）。第２カメラ２０は、この指令に応じた新たな空撮画像を撮像する。

制御装置４０は、第２カメラ２０から空撮画像を取得する（ステップＳ３３）。次に、制御装置４０は、ステップＳ２２に戻る。以降、制御装置４０は、空撮画像の分割、画像の判定、判別用画像の生成、および判別用画像の出力に関わる処理を繰り返す（ステップＳ２２～ステップＳ２９）。その結果、表示装置３０には、第２カメラ２０で撮像された空撮画像に基づいた判定用画像が表示される。

ここで、先に第１カメラ１０で撮像された空撮画像を第１空撮画像と称する場合、第２カメラ２０で撮像された空撮画像を第２空撮画像と称することができる。また、第１空撮画像に基づいて生成された判定用画像を第１判定用画像と称する場合、第２空撮画像に基づいて生成された判定用画像を第２判定用画像と称することができる。

捜索者は、必要に応じて、第２判定用画像の中から拡大して確認したい部分を指定することも可能である。この場合、捜索者の操作がステップＳ３０で検出される。

このように、捜索者は、第１判定用画像、第２判定用画像、および必要に応じて第３判定用画像を確認することによって、対象物を容易に発見することができる。

制御装置４０は、待機時間Ｔが経過するまでの間に判別用画像のいずれかの部分を選択する操作が検出されなかったと判定したとき（ステップＳ３４にてＹＥＳ）、処理を終了させるための操作が検出されたか否かを判定する（ステップＳ３５）。処理を終了させるための操作が検出されない場合、制御装置４０は、処理をステップＳ２１に戻す。これにより、新たに第１カメラ１０で撮像された空撮画像に基づいた処理が実行される。

このため、１回目に第１カメラ１０で撮像された空撮画像では対象物を発見できない場合、第１カメラ１０で撮像し直した新たな空撮画像に基づいて、繰り返し本フローチャートに基づくステップＳ２１～ステップＳ３３の処理が実行される。

図８は、判別用画像１５３の様々な例を示す図である。これまでに説明したように、判別用画像１５３において、確度が閾値を超える画像を太枠１６１で囲んでもよい。このとき、枠で囲まれる画像のうち、確度が閾値を超える画像のみを対象として、確度を表示してもよい（（Ａ））。このようにすれば、確度の表示が空撮画像の視認性を阻害することを防止できる。

確度が閾値を超える画像の部分のみを太枠１６１で囲み、その他の画像については枠で囲まないようにしてもよい（（Ｂ））。このとき、判別用画像１５３に確度を表示しないように構成してもよい。

閾値を超える確度の大きさに応じて、その確度に対応する画像を囲む枠の色を異ならせてもよい（（Ｃ））。たとえば、（Ｃ）に示されるように、閾値が８０％以上～９０％未満の場合には青枠１７１を採用し、閾値が９０％以上～９５％未満の場合には青枠１７１を採用し、閾値が９５％以上～１００％未満の場合には青枠１７１を採用してもよい。

〈変形例〉
以下、本実施の形態の変形例を説明する。

本実施の形態においては、判定部５４は、教師あり学習によって学習された推定モデル６１を用いて対象物の存在を判定する。しかし、分割された画像からパターンマッチングの技術を用いて対象物を特定するようにしてもよい。

第１カメラ１０および第２カメラ２０として、赤外線を利用したサーマルカメラなどを採用してもよい。サーマルカメラを用いた場合、温度を画面上で可視化することができる。このため、たとえば、夜間の海上に漂流する遭難者を水温と体温との温度差を利用して識別することができる。この場合、学習用データとしても、サーマルカメラで撮像された空撮画像を用いるとよい。また、静止画を撮影するカメラと、赤外線を利用したカメラとを組み合わせてもよい。この場合、学習用データは、両方のカメラで撮像された空撮画像を用いたものとなる。また、拡大して撮像したい場所が存在する場合、静止画を撮像するカメラと赤外線を利用したカメラとで共にその場所を拡大して撮像してもよく、両カメラの一方でその場所を拡大して撮像してもよい。

空撮画像の撮像距離が短い場合、遭難者などの対象物が空撮画像に大きく表示される。このときに判別用画像で分割して表示される画像の数が多いと見づらいおそれがある。このため、対象物検出装置１は、撮像距離が長い場合に空撮画像の分割数を増やし、撮像距離が短い場合に空撮画像の分割数を減らす。また、表示装置３０は、その分割数に応じた判別用画像を表示装置３０に表示する。しかし、逆に、対象物検出装置１は、撮像距離が短い場合に空撮画像の分割数を増やし、撮像距離が長い場合に空撮画像の分割数を減らすようにしてもよい。撮像距離が短くなると、対象物に近づくことになり、このとき、対象物が存在する場所をより詳細に確認するためには、分割数を増やすことが有効となる場合がある。

制御装置４０は、判別用画像１５３を捜索者が装着したヘッドマウントディスプレイに表示してもよい。

第１カメラ１０および第２カメラ２０は、動画像を撮像するカメラであってもよい。第１カメラ１０および第２カメラ２０が撮像している動画像を表示装置３０に表示し続けてもよい。この場合、表示装置３０は、制御装置４０から判別用画像を受信したときに画面の表示を判別用画像に切り替えてもよい。

以上、説明したように、対象物検出装置１は、空撮画像の全体を用いて対象物を検出するのでなく、空撮画像を複数に分割し、分割された画像のそれぞれを用いて対象物を検出する。さらに、対象物検出装置１は、分割された画像毎に確度を算出し、その確度を含む判別用画像を表示装置３０に表示する。このため、対象物検出装置１によれば、空撮画像から対象物を発見するために有用な画像を提供可能となる。

なお、判別用画像には確度の程度を判別できる情報を表示することで十分である。たとえば、図８を用いて説明したとおり、判別用画像に確度を表示してもよく、判別用画像に確度を表示せずに確度の大小を判別できる情報（たとえば、太枠１６１、青枠１７１、黄枠１７２、赤枠１７３）を表示してもよい。

［態様］
上記した実施の形態およびその変形例は、以下の態様の具体例であることが当業者により理解される。

（第１項）一態様に係る対象物検出装置は、空撮画像から対象物を検出する対象物検出装置であって、第１空撮画像を撮像する撮像装置と、制御装置と、表示装置とを備え、制御装置は、第１空撮画像を複数の第１画像に分割し、複数の第１画像毎に、対象物が含まれる確度を算出し、確度の程度と確度に対応する第１空撮画像の部分とを判別可能な第１判別用画像を表示装置に表示させる。

第１項に記載の対象物検出装置によれば、空撮画像から対象物を発見するために有用な画像を提供可能となる。

（第２項）第１項に記載の対象物検出装置において、第１判別用画像は、複数の第１画像と、複数の第１画像の各々に対応する確度の表示とを含む。

第２項に記載の対象物検出装置によれば、捜索者は、複数の第１画像のそれぞれに対応する確度を確認することができる。

（第３項）第１項または第２項に記載の対象物検出装置において、第１判別用画像は、確度が閾値を超える第１空撮画像の部分を強調して表示するための画像を含む。

第３項に記載の対象物検出装置によれば、捜索者は、第１空撮画像のうち、確度が閾値を超える部分を容易に特定できる。

（第４項）第３項に記載の対象物検出装置において、制御装置は、所定操作に応じて閾値を変更する。

第４項に記載の対象物検出装置によれば、捜索者が希望する閾値に基づいて第１空撮画像の部分を強調して表示させることが可能になる。

（第５項）第１項～第４項のいずれか１項に記載の対象物検出装置において、制御装置は、第１判別用画像のうちのいずれかの部分を指定する操作を受付けた場合、指定された部分に対応する場所を撮像する指示を、撮像装置に出力する。

第５項に記載の対象物検出装置によれば、捜索者は、対象物が存在すると思われる場所に対応する空撮画像を確認することができる。

（第６項）第５項に記載の対象物検出装置において、撮像装置は、第１撮像装置と、第１撮像装置よりも高倍率で被写体を撮像可能な第２撮像装置とを含み、制御装置は、指定された部分に対応する場所を撮像する指示を、第２撮像装置に出力する。

第６項に記載の対象物検出装置によれば、対象物が存在すると思われる場所を拡大した詳細な空撮画像を確認することができる。

（第７項）第６項に記載の対象物検出装置において、制御装置は、撮像する指示に応じて撮像された第２空撮画像を複数の第２画像に分割し、第２画像毎に対象物が含まれる確度を算出し、確度の程度と確度の程度に対応する第２空撮画像の部分とを判別可能な第２判別用画像を表示装置に表示させる。

第７項に記載の対象物検出装置によれば、対象物が存在すると思われる場所を対象とした空撮画像から対象物を発見するために有用な画像を提供可能となる。

（第８項）第１項～第７項のいずれか１項に記載の対象物検出装置において、制御装置は、第１空撮画像を複数の第１画像に分割するときの分割数を指定する操作を受け付ける。

第８項に記載の対象物検出装置によれば、捜索者が希望する分割数に基づいて第１空撮画像を分割することが可能になる。

（第９項）第１項～第８項のいずれか１項に記載の対象物検出装置において、制御装置は、複数の第１画像毎に対象物の存在を推論するための学習済みモデルを用いて、複数の第１画像毎に対象物が含まれる確度を算出する。

第９項に記載の対象物検出装置によれば、精度の高い学習済みモデルを使用することによって、対象物を検出する精度を高めることができる。

（第１０項）第９項に記載の対象物検出装置において、学習済みモデルは、空撮画像を分割した画像と分割した画像に対象物が存在する結果とを含む学習用データに基づき、分割した画像毎に対象物が含まれる確度を算出するように学習されている。

第１０項に記載の対象物検出装置によれば、分割した画像に基づいて対象物の存在を判定する精度を高めることができる。

今回開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

１ 対象物検出装置、１０ 第１カメラ、２０ 第２カメラ、３０ 表示装置、３１ 操作部、４０ 制御装置、５０ プロセッサ、５１ 入出力部、５２ 受付部、５３ 分割部、５４，１０２ 判定部、５５ 出力部、６０ メモリ、６１ 推定モデル、６２ ニューラルネットワーク、６３ パラメータ、１００ 学習装置、１０１ 入力部、１０３ 学習部、１１１，１５１ 空撮画像、１１２ 正解データ、１５２ 画像、１５３ 判別用画像、１６１ 太枠、１７１ 青枠、１７２ 黄枠、１７３ 赤枠、２００ ヘリコプター。

Claims (10)

1. 空撮画像から対象物を検出する対象物検出装置であって、
   第１空撮画像を撮像する撮像装置と、
   制御装置と、
   表示装置とを備え、
   前記制御装置は、
   前記第１空撮画像を複数の第１画像に分割し、
   前記複数の第１画像毎に、前記対象物が含まれる確度を算出し、
   確度の程度と確度に対応する前記第１空撮画像の部分とを判別可能な第１判別用画像を前記表示装置に表示させる、対象物検出装置。
2. 前記第１判別用画像は、前記複数の第１画像と、前記複数の第１画像の各々に対応する確度の表示とを含む、請求項１に記載の対象物検出装置。
3. 前記第１判別用画像は、確度が閾値を超える前記第１空撮画像の部分を強調して表示するための画像を含む、請求項１または請求項２に記載の対象物検出装置。
4. 前記制御装置は、所定操作に応じて前記閾値を変更する、請求項３に記載の対象物検出装置。
5. 前記制御装置は、前記第１判別用画像のうちのいずれかの部分を指定する操作を受付けた場合、指定された部分に対応する場所を撮像する指示を、前記撮像装置に出力する、請求項１～請求項４のいずれか１項に記載の対象物検出装置。
6. 前記撮像装置は、第１撮像装置と、前記第１撮像装置よりも高倍率で被写体を撮像可能な第２撮像装置とを含み、
   前記制御装置は、前記指定された部分に対応する場所を撮像する指示を、前記第２撮像装置に出力する、請求項５に記載の対象物検出装置。
7. 前記制御装置は、
   前記撮像する指示に応じて撮像された第２空撮画像を複数の第２画像に分割し、
   前記第２画像毎に、前記対象物が含まれる確度を算出し、
   確度の程度と確度の程度に対応する前記第２空撮画像の部分とを判別可能な第２判別用画像を前記表示装置に表示させる、請求項６に記載の対象物検出装置。
8. 前記制御装置は、前記第１空撮画像を前記複数の第１画像に分割するときの分割数を指定する操作を受け付ける、請求項１～請求項７のいずれか１項に記載の対象物検出装置。
9. 前記制御装置は、前記複数の第１画像毎に前記対象物の存在を推論するための学習済みモデルを用いて、前記複数の第１画像毎に前記対象物が含まれる確度を算出する、請求項１～請求項８のいずれか１項に記載の対象物検出装置。
10. 前記学習済みモデルは、前記空撮画像を分割した画像と前記分割した画像に前記対象物が存在する結果とを含む学習用データに基づき、前記分割した画像毎に前記対象物が含まれる確度を算出するように学習されている、請求項９に記載の対象物検出装置。
    

Images