JP2022100358A - 捜索支援システムにおける探索方法および装置 - Google Patents

Abstract

【課題】山岳地帯や海上など広範囲での行方不明者の捜索を容易かつ迅速に行いながらも行方不明者の発見の確率を向上させることができる探索方法および装置を提供する。【解決手段】探索装置（１０）は、予め撮影された捜索対象者又は捜索対象物の画像（２０）から捜索対象となる目標カラー情報を所定カラー空間の数値として抽出する分析手段（１０１，１０２）と、捜索場所を空撮により撮影した撮像画像（３０）と数値化された目標カラー情報とを照合することで撮像画像から目標カラー情報を示すカラー領域を識別する照合手段（１０４）と、カラー領域と所定しきい値とを比較することで前記カラー領域の適否を判定する判定手段（１０４）と、適合と判定されたカラー領域を検知領域として記録する記録手段（１０５）と、を有する。【選択図】図２

Description

本発明は、遭難者、行方不明者や行方不明物などの捜索を支援するシステムに係り、特に画像を用いた探索方法および装置に関する。

日本では、近年の登山ブームなどによって登山者は増加傾向にあり、年間７５０万人の登山者がいるが、２０１７年度には３，１１１名が遭難し、その捜索に約４０億円の捜索費用がかかったという統計がある。また、遭難者のうち死者・行方不明者は３５０名にものぼる。そして、遭難事故の件数は年々増加の一途をたどっている。

また、大地震による津波や台風による河川の氾濫、火山の噴火などの自然災害が発生すると、それにより多くの行方不明者が出る可能性があり、これらの行方不明者は、災害の発生後、出来るだけ早期に発見する必要がある。しかしながら、特に自然災害での捜索範囲は海上や河川の周囲など広範囲にわたるために、行方不明者の早期発見には大きな困難がある。

また、通常、遭難や海難事故などによる行方不明者は、行方不明後７年が経過しないと死亡認定がされない。そのため、警察、消防等の捜索が打ち切られた後にも、近親者が早期の発見を願って独自に捜索を続ける場合も多い。しかしながら、そのような独自の捜索には多額の費用がかかる上に、効果的な捜索を行うことは極めて難しいのが現状である。

このような現状に鑑み、効率的に行方不明者の捜索を行う技術が種々提案されている。たとえば、特許文献１に開示された山岳救助支援システムは、携帯端末のＧＰＳ機能を利用し遭難者および救助隊の位置情報を管理することで、救助の効率化を図っている。また、特許文献２に開示された救援システムでは、移動体に搭載されたカメラの映像を解析して映像に含まれる人物の顔、衣服や所持品の特徴を検出し、これらの特徴と捜索対象者の顔、衣服や所持品の特徴とを比較することで、映像の人物が捜索対象者であるか否かの判定を行っている。

一方、近年、ドローンと呼ばれる小型の無人航空機の開発及び実用化が進んでおり、ドローンによる空撮は、従来のヘリコプターや小型飛行機などによる空撮と比較して遙かに安価かつ簡易であり、また低空飛行により高精細な写真や動画の撮影が可能になる、という利点がある。このために、ドローンを災害調査や災害救助に利用する技術が近年いくつか提案されている。たとえば、特許文献３には、ドローンに生体情報を検出するセンサを取り付け、瓦礫等に埋まって視認できない遭難者の捜索を可能にする生体探索システムが開示されている。

特開２０１８－２０６２２９号公報 特開２０１９－０９１１６０号公報 特開２０１９－０５９４５２号公報

しかしながら、特許文献１に記載のシステムでは、遭難者がＧＰＳ機能を備えた携帯電話を所持し、かつＧＰＳ機能により位置の特定ができる必要がある。したがって、ＧＰＳによる追跡が不能となった場合には行方不明者の捜索を行うことができない。

特許文献２に記載の救援システムでは、カメラの映像から人物の顔、衣服や所持品の特徴あるいは行動パターンの特徴を抽出して捜索対象者の特徴と比較する必要がある。このために、高解像度の映像を用いるとサーバ負荷の増大により判定処理が遅延し、迅速な捜索ができなくなる。

また、特許文献３に記載されたドローンを利用したシステムでは、ドローンに生体検出センサをカメラとは別個に搭載する必要があり、生体検出センサの管理が必要となるだけでなくドローン自体の重量を増加させる。さらに、視認できない状況を前提としており、そもそもドローンに搭載したカメラの映像を生体検出に活用しようとする問題意識がない。

そこで、本発明は上記の点に鑑みてなされたものであり、その目的は、山岳地帯や海上など広範囲での行方不明者の捜索を容易かつ迅速に行いながらも行方不明者の発見の確率を向上させることができる探索方法および装置を提供することにある。

上記目的を達成するために、本発明の第１態様による探索装置は、画像を用いて捜索対象者又は捜索対象物の捜索を支援するシステムにおける探索装置であって、予め撮影された捜索対象者又は捜索対象物の画像から、捜索対象となる目標カラー情報を所定カラー空間の数値として抽出する分析手段と、捜索場所を空撮により撮影した撮像画像と数値化された目標カラー情報とを照合し、前記撮像画像から前記目標カラー情報を示すカラー領域を識別する照合手段と、前記カラー領域と所定しきい値とを比較することで前記カラー領域の適否を判定する判定手段と、前記判定手段により適合と判定されたカラー領域を検知領域として記録する記録手段と、を有することを特徴とする。これにより、目標カラー情報を数値化して撮像画像と照合することで、捜索対象の手がかりとなる検知領域を高速で探索可能となる。
前記分析手段は、前記所定カラー空間において前記目標カラー情報と同じ色とみなす所定の数値範囲を前記数値化された目標カラー情報として設定することができる。これにより、目標カラー情報をある程度の範囲広げることができ、自然条件を考慮した色彩判定を行うことができる。
前記判定手段は、前記カラー領域の面積あるいは面積の割合と前記所定しきい値とを比較し、前記カラー領域の面積あるいは面積の割合が前記所定しきい値以上である場合に前記カラー領域を適合と判定することができ、更に、前記適合と判定されたカラー領域が前記捜索対象者又は捜索対象物を示していない場合、前記所定しきい値を大きく調整することができる。これにより、捜査対象以外の検知を抑制でき、色彩判定の精度を向上させることができる。
本発明の第２態様による探索装置は、画像を用いて捜索対象者又は捜索対象物の捜索を支援するシステムにおける探索装置であって、予め撮影された捜索地域の特徴的画像を機械学習させることで、前記捜索地域の特徴的画像とは異なる人工物を識別するように構築された機械学習モデルと、捜索場所を空撮により撮影した撮像画像を入力し、前記機械学習モデルを用いて前記撮像画像から前記人工物を識別し、前記人工物を含む画像領域を検知領域として記録手段に記録する処理手段と、を有する。
また、画像を用いて捜索対象者又は捜索対象動物の捜索を支援するシステムにおける探索装置であって、予め撮影された人あるいは大型動物の身体的特徴を示す特徴的画像を機械学習させることで捜索対象者又は捜索対象動物を識別するように構築された機械学習モデルと、捜索場所を空撮により撮影した撮像画像を入力し、前記機械学習モデルを用いて前記撮像画像から前記捜索対象者又は捜索対象動物を識別し、前記捜索対象者又は捜索対象動物を含む画像領域を検知領域として記録手段に記録する処理手段と、を有することを特徴とする。
機械学習モデルを利用することで、より簡単な構成で、より高精度の探索が可能となる。

上述したように、本発明によれば、山岳地帯や海上など広範囲での行方不明者の捜索を容易かつ迅速に行いながらも高精度な捜索で行方不明者の発見の確率を向上させることができる。

図１は本発明の第１実施形態による捜索支援システム全体の概略的構成を示す図である。 図２は第１実施形態による捜索支援システムの機能構成を示すブロック図である。 図３は第１実施形態で用いられるＨＳＶ分析および設定動作を示すフローチャートである。 図４は第１実施形態による捜索支援システムの全体的動作を示すフローチャートである。 図５は第１実施形態で論理区域分割された撮像画像の一例を示す図である。 図６は第１実施形態による捜索支援システムのカラー照合動作を示すフローチャートである。 図７（Ａ）は第１実施形態による捜索支援システムの識別カラー領域の適否判定動作の一例を示すフローチャート、図７（Ｂ）はしきい値調整動作を示すフローチャートである。 図８は本発明の第２実施形態による捜索支援システム全体の概略的構成を示す図である。 図９は第２実施形態による捜索支援システムの機能構成を示すブロック図である。 図１０は第２実施形態で用いられる機械学習モデルの構成動作を示すフローチャートである。 図１１は第２実施形態による捜索支援システムの全体的動作を示すフローチャートである。 図１２は第２実施形態による捜索支援システムにより出力される検知画面および検知領域の一例を示す図である。 図１３は本発明の第３実施形態による捜索支援システム全体の概略的構成を示す図である。 図１４は第３実施形態による捜索支援システムの機能構成を示すブロック図である。 図１５は第３実施形態で用いられる機械学習モデルの構成動作を示すフローチャートである。 図１６は第３実施形態による捜索支援システムの全体的動作を示すフローチャートである。 図１７は第３実施形態による捜索支援システムにより出力される検知画面および検知領域の一例を示す図である。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

１．第１実施形態
１．１）概要
本発明の第１実施形態によれば、捜索対象者発見の手がかりとして色彩に着目し、遭難したと思われる地域の空撮画像から目標とする色彩を検索する。これにより、検索を実行するコンピュータの負荷が大幅に軽減し、高速サーチにより捜索対象者の早期発見が可能となる。

図１に例示するように、本発明の第１実施形態による探索装置１０は、捜索対象者の手がかりとなる色彩を含む示す照合用データ２０を用いて撮像データ３０の各画像データを検索する。探索装置１０は撮像データ３０を飛行体４０から受信する。撮像データ３０には複数の画像データＩ１～Ｉｎと撮像位置データＬ１～Ｌｎとが含まれる。飛行体４０には通信機能の他に、高解像度撮影が可能なカメラ（画像撮影装置）４１および撮影位置を検出するＧＰＳ等の位置検出器４２が搭載されている。位置検出器４２はカメラ４１に内蔵されていてもよい。

以下、一例として、撮像データ３０はカメラ４１で空撮した山岳地帯のカラー画像であるとする。空撮画像の撮影においては、遭難者が携帯電話又は発振器などを所持していて、ＧＰＳ軌跡などにより登山ルートの途中まで追跡できる場合には、ＧＰＳ軌跡の途切れた地点から飛行体４０の空撮を開始することもできる。空撮画像は、予め定めた領域内の全範囲を撮影することで通常、数千枚程度となる。

照合用データ２０は過去に捜索対象者を撮影したカラー写真のデジタルデータであり、そこから抽出したカラー情報を探索キーとして使用する。照合用のカラー情報は、捜索の手がかりになる色彩、たとえば遭難者の所持品、バッグあるいは服装のカラー情報であることが望ましい。遭難者が遭難当日に所持していたと思われる所持品や着用していたと思われる衣服などが写っている写真をできるだけ多く用いることで、発見の可能性を高めることができる。

探索装置１０は、飛行体４０から受信した撮像データ３０の画像を順次読み出し、その画像に照合用データ２０が含まれているか否かを照合判定する。以下、本実施形態による探索装置１０の構成および動作について詳細に説明する。

１．２）探索装置
図２に例示するように、探索装置１０は汎用サーバあるいはパーソナルコンピュータに構築可能である。探索装置１０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）等のプロセッサ１１、画像表示可能な表示部１２、キーボードやポインティングデバイス等の入力部１３、ネットワークＮＷを通して飛行体４０からデータを受信するための通信部１４、探索プログラムを保持する記憶部１５、プロセッサ１１が使用する記憶装置その他（図示せず）を有する。

ネットワークＮＷは移動体通信網であってもよいし、インターネットであってもよい。通信部１４はネットワークＮＷを通して飛行体４０から撮像データ３０を受信することができる。また、写真等の照合用データ２０もネットワークＮＷを通して取得することができる。

記憶部１５は、たとえばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等、あるいは、ハードディスクドライブもしくは半導体記憶装置等の記録媒体である。記憶部１５には探索プログラムが予めインストールされている。探索プログラムは記録媒体に格納されて提供されても良いし、ネットワークを通して提供されても良い。

探索プログラムにはカラー分析アプリが含まれる。本実施形態では、人の色知覚に類似していると言われるＨＳＶ（Hue（色相），Saturation(彩度），Value（明度）)色空間の分析を採用するが、他の色空間（ＲＧＢ、ＣＭＹ、ＹＵＶ、ＨＬＳ）での分析であってもよい。

探索プログラムが実行されることで、プロセッサ１１上にＨＳＶ分析部１０１およびＨＳＶ設定部１０２の機能と、論理区域分割部１０３およびカラー照合部１０４の機能とが構成される。

ＨＳＶ分析部１０１およびＨＳＶ設定部１０２は、ＨＳＶアプリにより実現される機能であり、捜索対象者の過去の写真データ（照合用データ２０）における服装や所持品の色を目標カラーとして抽出し、その目標カラーを所定のカラー空間（ここではＨＳＶ空間）で数値化する。さらに、多数の写真から自然条件を考慮して、目標カラーのＨＳＶ空間での範囲を設定する。詳しくは後述する。

論理区域分割部１０３は、撮像データ３０の画像（１フレーム）を所定サイズの区域（矩形）に論理的に分割し、各区域の画像データをカラー照合部１０４へ順次出力する。

カラー照合部１０４は、論理区域分割部１０３から入力した区域のカラー画像データと目標カラーのＨＳＶ設定範囲とをＨＳＶ空間で照合し、画像データ内に目標カラーとマッチしたカラー領域が存在すれば、その検知領域の情報を検知領域記録部１０５に保持する。こうして検知領域を含む画像およびその位置情報がリストアップされることで、捜索の手がかりを含む画像を表示部１２に表示することができる。詳しくは後述する。

１．３）ＨＳＶ分析
図３に例示するように、ＨＳＶ分析部１０１は、捜索対象者の写真等の照合用データ２０から目標カラーを抽出し、色相（Ｈ値）０°～３６５°、彩度（Ｓ値）０～２５５、明度（Ｖ値）０～２５５の範囲の数値で特定する（動作２０１）。すなわち、分析可能な全ての色はこれらの範囲内のＨＳＶ値として数値化できる。続いて、ＨＳＶ設定部１０２は、このＨＳＶの各値の範囲を自然条件を考慮して設定する（動作２０２）。たとえば、写真の目標カラーがＨＳＶ＝（３２２，１５８，２０８）であれば、Ｈ値を３１８～３２７；Ｓ値を１３０～２５５；Ｖ値を１９０～２５５というように範囲を決定する。このようなＨＳＶ値の範囲はＨＳＶ色編集アプリケーションにより容易に設定可能である。ＨＳＶ値の範囲は、目標ＨＳＶ範囲としてカラー照合部１０４へ出力される。

１．４）探索動作
図４に例示するように、まず、論理区域分割部１０３は、飛行体４０から受信した撮像データ３０の画像を所定サイズの区域画像に分割し、画像データを区域毎に順次カラー照合部１０４へ出力する（動作３０１）。論理区域分割の一例を図５に示す。撮像データ３０の１フレーム相当する画像Ｉｉは、区域画像Ｓ（１，１）、Ｓ（１，２）・・・Ｓ（１，ｍ）、Ｓ（２，１）、Ｓ（２，２）・・・というように論理的に分割され、それらが順に読み出されカラー照合部１０４へ出力される。

続いて、図４において、カラー照合部１０４によりカラー照合（動作３０２）および識別カラー領域の適否判定を行われる（動作３０３）。動作３０１～３０３の処理が全画像について完了するまで繰り返され（動作３０４のＮＯ）、全画像の処理が終了すると（動作３０４のＹＥＳ）、後述するように検知されたカラー領域を含む画像が表示部１２に表示される（動作３０５）。以下、カラー照合部１０４の動作３０２および３０３について、図６～図７を参照しながら説明する。

＜カラー照合動作３０２＞
図６に示すように、カラー照合部１０４は、まず論理区域分割部１０３から論理区域を一つずつ入力し（動作４０１）、その論理区域内のカラー情報とＨＳＶ設定部１０２から入力した目標ＨＳＶ範囲とをＨＳＶ空間で比較する（動作４０２）。目標ＨＳＶ範囲内のカラー情報がなければ（動作４０３のＮＯ）、動作４０１へ戻り、次の論理区域を選択して同様の比較を行う。その論理区域内に目標ＨＳＶ範囲のカラー情報があれば（動作４０３のＹＥＳ）、その識別されたカラー領域（一定区角）の位置を記録し（動作４０４）、全論理区域の照合が終了するまで動作４０１～４０４を繰り返す（動作４０５のＮＯ）。

こうして、一つの画像について、目標ＨＳＶ範囲内にある目標カラーと同様の色彩を有する領域（以下、識別カラー領域という。）がリストアップされる。全論理区域のカラー照合が終了すると（動作４０５のＹＥＳ）、リストアップされた識別カラー領域に対して適否判定（動作３０３）が行われる。

＜識別カラー領域の適否判定動作３０３＞
カラー照合によりリストアップされた一画像における識別カラー領域は、捜索対象者の手がかりとなる目標カラーを示しているが、空撮された山岳写真には山の草木や山肌などがほとんどであり、その中に目標カラーに近い色彩の自然物（草木、花など）が含まれる可能性が高い。そこで、リストアップされた識別カラー領域から自然物の領域を除外するために、適否判定を行うことが望ましい。

図７（Ａ）に例示するように、カラー照合部１０４は、リストアップされた識別カラー領域を順次読み出し（動作５０１）、識別カラー領域の面積を算出する。面積は、識別カラー領域におけるドット数あるいは微少区域の数をカウントして求めることができる。また、一定の矩形画像領域における識別カラー領域の割合で表すこともできる。一般に、捜索対象者が身につけている衣服、リュック、バッグ、ベルト等の空撮写真上の面積は１つの草花よりも大きいことが多い。したがって、空撮写真において捜索対象者が横たわっている場合、識別カラー領域の面積は、ほぼ同色の草花の面積より大きいと考えられる。この性質を利用して、面積比較により適否判定を行うことができる。

カラー照合部１０４は、自然物か否かを判定するためのしきい値Ｓｔｈを用意し、識別カラー領域の面積（あるいは面積の割合）がしきい値Ｓｔｈより小さいか否かを判断する（動作５０２）。識別カラー領域の面積（あるいは面積の割合）がしきい値Ｓｔｈ以上である場合（動作５０２のＮＯ）、当該識別カラー領域を検知領域として、その位置を権利領域記録部１０５に記録する（動作５０３）。識別カラー領域の面積（あるいは面積の割合）がしきい値Ｓｔｈより小さい場合（動作５０２のＹＥＳ）、自然物と判断され、検知領域記録部への記録されない。こうして全ての識別カラー領域について適否判定が終了する（動作３０６のＹＥＳ）まで、動作５０１～５０３が繰り返される。

図７（Ｂ）に例示するように、しきい値Ｓｔｈは自然物か否かを適切に判定するために調整される。まず、識別カラー領域を含む画像を表示部１２に表示し（動作５１０）、当該識別カラー領域が自然物かどうかを確認することが望ましい。当該識別カラー領域が自然物であれば（動作５１１のＹＥＳ）、しきい値Ｓｔｈによる面積判定結果は適切ではないと判断され、しきい値Ｓｔｈを上げて、当該識別カラー領域を除外するように調整する（動作５１２）。当該識別カラー領域が自然物でないと確認されれば（動作５１１のＮＯ）、しきい値Ｓｔｈは適切であるから、そのまましきい値調整を終了する。

なお、自然物かどうかの確認（動作５１１）は、ユーザが視認により直接確認することができる。あるいは、後述する機械学習モデルにより形状も考慮して自然物か否かを判定してもよい。この場合、機械学習モデルは、自然物の形状（例えば花の形状）を教師データとしてディープラーニングを実行することで構築できる。

以上述べたカラー照合動作３０２および適否判定動作３０３が全ての画像に対して実行されることで、捜索対象者の手がかりが高い確度で含まれる検知領域を検知領域記録部１０５に記録することができる。

１．５）効果
上述したように、本実施形態によれば、目標カラー情報は、照合用データ２０に含まれる捜索対象者自身又は捜索対象者が身に着けている所持品、あるいは捜索対象物が有する色彩を数値化したデータである。したがって、自然条件等を考慮して、目標カラー情報からカラー空間の値（ここではＨＳＶ値）の範囲を適切に設定することで、撮像データ３０である空撮写真に当該目標カラー情報が含まれているか否かを迅速にかつ高い精度で判定することができる。撮像データ３０には画像データと撮像した時点の位置データとが保存されているので、捜索対象者の手がかりが存在する可能性の高い検知領域をモニタ上に表示でき、捜索すべき場所を特定できる。

また、カラー情報に基づく判定処理であるために、処理負荷が軽減され、パーソナルコンピュータ程度の処理能力であっても高速探索が可能となる。パーソナルコンピュータの能力により異なるが、概算として、画素数２０００万のカメラ４１を上空１００ｍで空撮した場合、写真一枚の画像データは約１０ＭＢであり、これを上記探索処理した場合、検索時間は約１．３～１．４秒、１０００枚の写真を検索しても所要時間は２２～２３分程度である。

２．第２実施形態
２．１）概要
山岳地帯等の自然環境の中で遭難した人を画像を用いて探索する上で最も困難なことは、山や登山道等の自然環境の画像から遭難者を高い確率でかつ高速で識別することである。そこで、本発明の第２実施形態では、ディープラーニングにより構築された学習モデルの画像認識能力に着目した。

ディープラーニング技術は、自然環境の中に特定の対象物あるいは対象者が不完全に写っている画像であっても、適切な教師データを与えてニューロンパラメータを調整することで、誤差の十分小さい学習モデルを構築できる。したがって、このような学習モデルを用いることで、自然環境からそれ以外のもの（捜索対象者の手がかりとなる人工物）を効率的に且つ高速で識別することが可能となる。

図８に例示するように、本発明の第２実施形態によるＡＩ探索装置６０は、捜索地域の特徴的画像データ２１を教師データとしてＡＩ探索装置６０に学習させ、それにより得られた学習モデルを用いて、撮像データ３０の各画像データから自然環境以外の人工物あるいは捜索対象者を検索する。撮像データ３０、飛行体４０およびカメラ４１や位置検出器４２については、上記第１実施形態で説明した通りであるから詳細は省略する。また、第１実施形態と同様の構成および機能については、同じ参照番号を付して説明は適宜簡略化する。

捜索地域の特徴的画像データ２１は、山の特徴的な写真（草木、沢、野花、人工の階段や登山道）のデジタルデータである。このような写真を用いて当該地域の特徴的な画像を学習したモデルは、そのような特徴的な画像とは異なるもの（捜索対象者やその手がかりとなる人工物など）を識別することができる。したがって、ＡＩ探索装置６０は、飛行体４０から受信した撮像データ３０の画像を順次読み出し、その画像に人工物等が含まれているか否かを判定することができる。以下、本実施形態によるＡＩ探索装置６０の構成および動作について詳細に説明する。

２．２）ＡＩ探索装置
図９に例示するように、ＡＩ探索装置６０は汎用サーバあるいはパーソナルコンピュータに構築可能であるが、ディープラーニングの演算を行うにはＧＰＵ(Graphics Processing Unit)を搭載したものが望ましい。ただし、ＣＰＵだけのコンピュータであっても、クラウドコンピューティング環境を利用してディープラーニングの演算を行うこともできる。

ＡＩ探索装置６０は、ＣＰＵおよびＧＰＵ等のプロセッサ６１、画像表示可能な表示部１２、キーボードやポインティングデバイス等の入力部１３、ネットワークＮＷを通して飛行体４０からデータを受信するための通信部１４、探索プログラムおよび機械学習済みのモデルを保持する記憶部６２、プロセッサ６１が使用する記憶装置その他（図示せず）を有する。

ネットワークＮＷは移動体通信網であってもよいし、インターネットであってもよい。通信部１４はネットワークＮＷを通して飛行体４０から撮像データ３０を受信することができる。また教師データとしての捜索地域の特徴的画像データ２１もネットワークＮＷを通して取得することができる。また、クラウドコンピューティング環境でディープラーニングのトレーニングを実行する場合にも通信部１４およびネットワークＮＷを通した通信が必要である。

記憶部６２には探索プログラムが予めインストールされ、学習済みの人工物探知モデル６０１も格納される。探索プログラムは記録媒体に格納されて提供されても良いし、ネットワークを通して提供されても良い。探索プログラムが実行されると、ディープラーニングにより学習済みの人工物探知モデル６０１を利用して探索が実行され、検知された画像領域を含む画像およびその位置情報が検知領域記録部６０２にリストアップされる。これにより、捜索の手がかりを含む画像を表示部１２に表示することができる。詳しくは後述する。

２．３）ディープラーニング実行
図１０に例示するように、まず、プロセッサ６１は、草木、沢、野花、人工の階段や登山道など山岳地帯に特徴的な画像データ２１を入力する（動作７０１）。それを教師データとしてディープラーニングを実行し、山岳地域の特徴的画像を学習した人工物探知モデルを構築し、記憶部６２に格納する（動作７０２）。この人工物探知モデルは、学習した特徴的な画像とは異なるもの、たとえば直線や直角など自然界では極めて希な辺を有する人工物などを識別することができる。

２．４）探索動作
図１１に例示するように、撮像データ３０を入力すると、プロセッサ６１は、フレーム毎の画像データを順次読み出し（動作８０１）、人工物探知モデル６０１を用いて当該画像内に人工物があるかどうか探索する（動作８０２）。人工物がなければ（動作８０３のＮＯ）、次の画像を読み出し、人工物があれば（動作８０３のＹＥＳ）、当該人工物を含む箇所を検知領域として検知領域記録部６０２に保持する（動作８０４）。以下、動作８０１～８０５を全画像について完了するまで繰り返し（動作８０５のＮＯ）、全画像の処理が終了すると（動作８０５のＹＥＳ）、検知領域を含む画像を表示部１２に表示する（動作８０６）。

図１２に例示するように、ある画像に人工物が検知されると、表示部１２には当該画像に重ねて検知領域８０７等がマーキング表示される。撮像データ３０は位置情報も含まれているので、表示された画像がどの場所であるか特定でき、捜索範囲を効果的に絞ることができる。

上述したディープラーニングにより構築されたモデルは、上述した第１実施形態のカラー照合と組み合わせて用いることもできる。

３．第３実施形態
３．１）概要
津波による広範囲の被害現場や海難事故での遭難者の捜索では、瓦礫や海上の大量の流出物などで、遭難者を発見することが極めて困難である。そこで、本発明の第３実施形態によれば、ディープラーニングにより構築された学習モデルの画像認識能力に着目し、人の身体的な特徴を学習することで瓦礫の中の人を高い確率で識別することが可能になる。

図１３に例示するように、本発明の第３実施形態によるＡＩ探索装置９０は、人あるいは大型動物等の身体的な特徴を示すサンプルデータ２２を教師データとしてＡＩ探索装置９０に学習させ、それにより得られた学習モデルを用いて、撮像データ３０の各画像データから捜索対象者あるいは大型動物を検索する。撮像データ３０、飛行体４０およびカメラ４１や位置検出器４２については、上記第１実施形態で説明した通りであるから詳細は省略する。また、第１実施形態と同様の構成および機能については、同じ参照番号を付して説明は適宜簡略化する。

身体的な特徴を示すサンプルデータ２２は、人あるいは大型動物の頭、手／腕や脚／足の様々な形状、全身の形状、さらに必要に応じてそれらの色彩、を示すデジタルデータである。このようなサンプルあるいはそれがが写った写真等を用いて学習したモデルは、そのような特徴的な形状（腕／手、脚／足、頭など）および色彩を識別することができる。したがって、ＡＩ探索装置９０は、飛行体４０から受信した撮像データ３０の画像を順次読み出し、その画像に人あるいは大型動物が含まれているか否かを判定することができる。以下、本実施形態によるＡＩ探索装置９０の構成および動作について詳細に説明する。

３．２）ＡＩ探索装置
図１４に例示するように、ＡＩ探索装置９０は汎用サーバあるいはパーソナルコンピュータに構築可能であるが、既に述べたように、ディープラーニングの演算にはＧＰＵ(Graphics Processing Unit)あるいはクラウドコンピューティング環境を利用することができる。

ＡＩ探索装置９０は、ＣＰＵおよびＧＰＵ等のプロセッサ９１、画像表示可能な表示部１２、キーボードやポインティングデバイス等の入力部１３、ネットワークＮＷを通して飛行体４０からデータを受信するための通信部１４、探索プログラムおよび機械学習済みのモデルを保持する記憶部９２、プロセッサ９１が使用する記憶装置その他（図示せず）を有する。教師データとしての身体的な特徴を示すサンプルデータ２２は、ネットワークＮＷを通して取得することも可能である。

記憶部９２には探索プログラムが予めインストールされ、学習済みの人／大型動物探知モデル９０１も格納される。探索プログラムは記録媒体に格納されて提供されても良いし、ネットワークを通して提供されても良い。探索プログラムが実行されると、ディープラーニングにより学習済みの人／大型動物探知モデル９０１を利用して探索が実行され、検知された画像領域を含む画像およびその位置情報が検知領域記録部９０２にリストアップされる。これにより、捜索の手がかりを含む画像を表示部１２に表示することができる。詳しくは後述する。

３．３）ディープラーニング実行
図１５に例示するように、まず、プロセッサ９１は、人あるいは大型動物の頭、手／腕や脚／足の様々な形状、全身の形状、色彩等のサンプル画像データ２２を入力する（動作１００１）。それを教師データとしてディープラーニングを実行し、人あるいは大型動物の身体的特徴を学習した人／大型動物探知モデル９０１を構築し、記録部９２に格納する（動作１００２）。この人／大型動物探知モデル９０１は、学習した特徴的な画像と同じもの、すなわち人あるいは大型動物の頭、手／腕や脚／足、全身の形状などを（必要ならば色彩も含めて）識別することができ、それによって人／大型動物の存在を知ることができる。

３．４）探索動作
図１６に例示するように、撮像データ３０を入力すると、プロセッサ９１は、フレーム毎の画像データを順次読み出し（動作１１０１）、人／大型動物探知モデル９０１を用いて当該画像内に人／大型動物が存在するかどうか探索する（動作１１０２）。人／大型動物がいなければ（動作１１０３のＮＯ）、次の画像を読み出し、人／大型動物がいれば（動作１１０３のＹＥＳ）、当該人／大型動物の画像箇所を検知領域として検知領域記録部９０２に保持する（動作１１０４）。以下、動作１１０１～１１０５を全画像について完了するまで繰り返し（動作１１０５のＮＯ）、全画像の処理が終了すると（動作１１０５のＹＥＳ）、検知領域を含む画像を表示部１２に表示する（動作１１０６）。

図１７に例示するように、ある画像に人の身体の一部が検知されると、表示部１２には当該画像に重ねて検知領域１１０７（足部分）、検知領域１１０８（手部分）がマーキング表示される。撮像データ３０は位置情報も含まれているので、表示された画像がどの場所であるか特定でき、捜索範囲を効果的に絞ることができる。

本発明は、以上説明した実施の形態に適用が限定されるものではなく、特許請求の範囲および明細書と図面に記載された技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、本発明における捜索の対象となる場所及び捜索対象者として、山岳地帯で遭難した遭難者を例に説明をしたが、本発明は、これ以外にも、海上で遭難した遭難者や津波で行方不明となった者の捜索にも適用が可能であるし、また、河川の氾濫など自然災害で行方不明となった者の捜索など山岳地帯以外を操作対象となる場所とするものであってもよい。また、捜索の対象は人物には限定されず、人物以外の所持品など物品の捜索を行うことも含めてよい。

また、上記実施形態では、撮像データ３０、照合用データ２０、捜索地域の特徴的画像データ２１および身体的な特徴を示すサンプルデータ２２は、動画データであっても静止画データであってもよい。

１０ 探索装置
１１ プロセッサ
１２ 表示部
１３ 入力部
１４ 通信部
１５ 記憶部
１０１ ＨＳＶ分析部
１０２ ＨＳＶ設定部
１０３ 論理区域分割部
１０４ カラー照合部
１０５、６０２、９０２ 検知領域記録部
２０ 照合用データ
２１ 捜索地域の特徴的画像データ
２２ 身体的な特徴を示すサンプルデータ
３０ 撮像データ
４０ 飛行体
４１ カメラ
４２ 位置検出器
６０ ＡＩ探索装置
６１ プロセッサ
６２ 記憶部
６０１ 人工物探知モデル
９０ ＡＩ探索装置
９０１ 人／大型動物探知モデル

Claims (13)

1. 画像を用いて捜索対象者又は捜索対象物の捜索を支援するシステムにおける探索装置であって、
   予め撮影された捜索対象者又は捜索対象物の画像から、捜索対象となる目標カラー情報を所定カラー空間の数値として抽出する分析手段と、
   捜索場所を空撮により撮影した撮像画像と数値化された目標カラー情報とを照合し、前記撮像画像から前記目標カラー情報を示すカラー領域を識別する照合手段と、
   前記カラー領域と所定しきい値とを比較することで前記カラー領域の適否を判定する判定手段と、
   前記判定手段により適合と判定されたカラー領域を検知領域として記録する記録手段と、
   を有することを特徴とする探索装置。
2. 前記分析手段は、前記所定カラー空間において前記目標カラー情報と同じ色とみなす所定の数値範囲を前記数値化された目標カラー情報として設定する、ことを特徴とする請求項１に記載の探索装置。
3. 前記判定手段は、前記カラー領域の面積あるいは面積の割合と前記所定しきい値とを比較し、前記カラー領域の面積あるいは面積の割合が前記所定しきい値以上である場合に前記カラー領域を適合と判定する、ことを特徴とする請求項１または２に記載の探索装置。
4. 前記判定手段は、前記適合と判定されたカラー領域が前記捜索対象者又は捜索対象物を示していない場合、前記所定しきい値を大きくする、ことを特徴とする請求項１－３のいずれか１項に記載の探索装置。
5. 画像を用いて捜索対象者又は捜索対象物の捜索を支援するシステムにおける探索装置であって、
   予め撮影された捜索地域の特徴的画像を機械学習させることで、前記捜索地域の特徴的画像とは異なる人工物を識別するように構築された機械学習モデルと、
   捜索場所を空撮により撮影した撮像画像を入力し、前記機械学習モデルを用いて前記撮像画像から前記人工物を識別し、前記人工物を含む画像領域を検知領域として記録手段に記録する処理手段と、
   を有することを特徴とする探索装置。
6. 画像を用いて捜索対象者又は捜索対象動物の捜索を支援するシステムにおける探索装置であって、
   予め撮影された人あるいは大型動物の身体的特徴を示す特徴的画像を機械学習させることで捜索対象者又は捜索対象動物を識別するように構築された機械学習モデルと、
   捜索場所を空撮により撮影した撮像画像を入力し、前記機械学習モデルを用いて前記撮像画像から前記捜索対象者又は捜索対象動物を識別し、前記捜索対象者又は捜索対象動物を含む画像領域を検知領域として記録手段に記録する処理手段と、
   を有することを特徴とする探索装置。
7. 前記撮像画像は無人飛行体から撮影した撮像データおよびその撮像位置データを含むことを特徴とする請求項１－６のいずれか１項に記載の探索装置。
8. 画像を用いて捜索対象者又は捜索対象物の捜索を支援するシステムにおける探索方法であって、
   分析手段が、予め撮影された捜索対象者又は捜索対象物の画像から、捜索対象となる目標カラー情報を所定カラー空間の数値として抽出し、
   照合手段が、捜索場所を空撮により撮影した撮像画像と数値化された目標カラー情報とを照合し、前記撮像画像から前記目標カラー情報を示すカラー領域を識別し、
   判定手段が、前記カラー領域と所定しきい値とを比較することで前記カラー領域の適否を判定し、
   記録手段が、前記判定手段により適合と判定されたカラー領域を検知領域として記録する、
   ことを特徴とする探索方法。
9. 画像を用いて捜索対象者又は捜索対象物の捜索を支援するシステムにおける探索方法であって、
   予め撮影された捜索地域の特徴的画像の機械学習により前記捜索地域の特徴的画像とは異なる人工物を識別するように構築された機械学習モデルを記憶手段に格納し、
   処理手段が、捜索場所を空撮により撮影した撮像画像を入力し、前記機械学習モデルを用いて前記撮像画像から前記人工物を識別し、前記人工物を含む画像領域を検知領域として記録手段に記録する、
   ことを特徴とする探索方法。
10. 画像を用いて捜索対象者又は捜索対象動物の捜索を支援するシステムにおける探索方法であって、
    予め撮影された人あるいは大型動物の身体的特徴を示す特徴的画像の機械学習により、捜索対象者又は捜索対象動物を識別するように構築された機械学習モデルを記憶手段に格納し、
    処理手段が、捜索場所を空撮により撮影した撮像画像を入力し、前記機械学習モデルを用いて前記撮像画像から前記捜索対象者又は捜索対象動物を識別し、前記捜索対象者又は捜索対象動物を含む画像領域を検知領域として記録手段に記録する、
    ことを特徴とする探索方法。
11. 画像を用いて捜索対象者又は捜索対象物の捜索を支援するシステムにおける探索装置としてコンピュータを機能させるプログラムであって、
    予め撮影された捜索対象者又は捜索対象物の画像から、捜索対象となる目標カラー情報を所定カラー空間の数値として抽出する分析手段と、
    捜索場所を空撮により撮影した撮像画像と数値化された目標カラー情報とを照合し、前記撮像画像から前記目標カラー情報を示すカラー領域を識別する照合手段と、
    前記カラー領域と所定しきい値とを比較することで前記カラー領域の適否を判定する判定手段と、
    前記判定手段により適合と判定されたカラー領域を検知領域として記録する記録手段と、
    を前記コンピュータに実現することを特徴とするプログラム。
12. 画像を用いて捜索対象者又は捜索対象物の捜索を支援するシステムにおける探索装置としてコンピュータを機能させるプログラムであって、
    予め撮影された捜索地域の特徴的画像を機械学習させることで、前記捜索地域の特徴的画像とは異なる人工物を識別するように構築された機械学習モデルと、
    捜索場所を空撮により撮影した撮像画像を入力し、前記機械学習モデルを用いて前記撮像画像から前記人工物を識別し、前記人工物を含む画像領域を検知領域として記録手段に記録する処理手段と、
    を前記コンピュータに実現することを特徴とするプログラム。
13. 画像を用いて捜索対象者又は捜索対象動物の捜索を支援するシステムにおける探索装置としてコンピュータを機能させるプログラムであって、
    予め撮影された人あるいは大型動物の身体的特徴を示す特徴的画像を機械学習させることで捜索対象者又は捜索対象動物を識別するように構築された機械学習モデルと、
    捜索場所を空撮により撮影した撮像画像を入力し、前記機械学習モデルを用いて前記撮像画像から前記捜索対象者又は捜索対象動物を識別し、前記捜索対象者又は捜索対象動物を含む画像領域を検知領域として記録手段に記録する処理手段と、
    を前記コンピュータに実現することを特徴とするプログラム。

Images