JP2021531806A - 昆虫を位置特定および排除するためのシステムと方法 - Google Patents

Abstract

空間内の昆虫の位置を特定し、昆虫の位置をユーザに示すため、および／または昆虫を排除するためのシステムおよび方法が提供される。このシステムは、空間の画像を取得するためのカメラと、空間の少なくとも２つの画像を比較することによって物体を検出し、空間の画像内の物体の特性に基づいて物体が昆虫であると決定するためのプロセッサとを含む。いくつかの実施形態では、独立の移動装置は、空間内の昆虫の位置において昆虫を排除するように制御されてもよい。【選択図】図４Ｃ

Description

本発明は、特に、飛翔昆虫などの害虫を検出、位置特定、および排除するためにコンピュータビジョンを使用する、害虫駆除の分野に関する。

家またはその他の都市空間では、人間と環境を共有する飛翔昆虫などの害虫が病気を蔓延させ、食料を台無しにし、一般的に迷惑をかける。これらの害虫の防除は、通常、排除、撃退、物理的除去、または化学的手段によって試みられる。

拡大鏡付きの画像センサを使用するシステムは、一般的な農業環境で害虫を検出するために使用され、この場合、広い面積の監視を可能にするために、画像センサが移動させられるか、または画像センサの視野において対象物が移動させられる。

移動カメラを必要とするこのようなシステムは、屋内での使用には適していない。なぜならば、人々は、自分の生活空間および／または作業空間において常に移動するカメラに興味がないからである。

画像センサを使用する別のシステムは、カメラと、カメラから離れた再帰反射面とによって画定された対象領域において飛翔昆虫を追跡する。カメラに加えて再帰反射面を使用する必要があるため、このシステムは、邪魔で扱いにくく、家庭、オフィス、その他の都市空間に広く設置される可能性が低い。

本発明の実施形態は、典型的には閉鎖環境において、害虫に対する楽でかつ正確な行動を可能にするために、典型的には屋内環境において飛翔昆虫などの害虫を検出および位置特定するためのシステムおよび方法を提供する。

本発明の実施形態によるシステムは、カメラによって取得された画像から害虫を検出および位置特定するためのカメラおよびプロセッサを含む。システムは、カメラを含む単一のハウジングから動作してもよく、害虫を位置特定するために単一のハウジングとは別に追加の要素を必要としない。さらに、システムのカメラは、使用可能な画像をキャプチャするために、可動なプラットフォームに取り付けたり、埋め込んだりする必要がない。したがって、システムは、簡単にセットアップでき、家もしくはオフィスの部屋などのスペース、または劇場、美術館などの公共スペースに目立たないように配置されてもよい。

本発明の実施形態は、昆虫をノイズおよび／または非昆虫物体から区別することができる。

一実施形態では、システムは、さらなる行動のために、部屋の中の昆虫の位置を示すために、人間に見えるマークを提供することができる。

本発明の実施形態は、空間の画像から検出および位置特定された害虫に対して作用するための様々なタイプの解決策を提供する。

本発明は、より完全に理解されることができるように、以下の例示的な図面を参照して、特定の例および実施形態に関連して説明される。図において、

本発明の一実施形態による、空間内の昆虫を位置特定するためのシステムの概略図である。 本発明の一実施形態による、空間内の昆虫を検出および位置特定するための方法の概略図である。 本発明の別の実施形態による、空間内の昆虫を位置特定するためのシステムの概略図である。 本発明の別の実施形態による、空間内の昆虫を検出および位置特定するための方法の概略図である。 本発明の一実施形態による、視覚マークのプロジェクタを含むシステムの概略図である。 本発明の実施形態による、昆虫を処理するための補助装置を含むシステムの概略図である。 本発明の一実施形態による、昆虫を処理するための補助装置を制御するための方法の概略図である。 本発明の一実施形態による、昆虫を処理するための補助装置の概略図である。 本発明の一実施形態による、空間の画像において昆虫を検出する方法の概略図である。 本発明の一実施形態による、画像内の物体が昆虫であるかどうかを決定する方法の概略図である。 本発明の一実施形態による、以前の画像に基づいて画像内の物体が昆虫であるかどうかを決定する方法の概略図である。

本発明の実施形態は、部屋などの閉鎖空間において１つまたは複数の昆虫の位置を検出し、空間内の昆虫の検出された位置を示すためのシステムおよび方法を提供する。

本明細書に記載の例は、主に害虫、特に蚊などの飛翔昆虫を指すが、本発明の実施形態は、その他の害虫を位置特定するために使用されてもよい。

以下の説明では、本発明の様々な態様が説明される。説明の目的のために、本発明の完全な理解を提供するために、特定の構成および詳細が記載される。しかしながら、本明細書に提示される特定の詳細なしに本発明が実施され得ることも当業者には明らかであろう。さらに、本発明を不明瞭にしないために、周知の特徴は省略または簡略化され得る。

特に別段の定めがないかぎり、以下の説明から明らかなように、明細書の説明を通して、「分析」、「処理」、「計算」、「算出」、「決定」、「検出」、「識別」、「推定」、「理解」などの用語を利用することは、コンピュータシステムのレジスタおよび／またはメモリ内の電子量などの物理として表されるデータを、計算システムのメモリ、レジスタ、またはその他のこのような情報ストレージ、送信またはディスプレイ装置内の物理量として同様に表されるその他のデータに操作および／または変換する、コンピュータまたは計算システム、または類似の電子計算装置の動作および／またはプロセスを意味する。

図１Ａに概略的に示されている一実施形態では、昆虫を検出および位置特定するためのシステム１００は、部屋１０４または部屋１０４の一部などの空間の画像を取得するためのカメラ１０３を含む。１つまたは複数の蚊などの昆虫１０５が、部屋１０４にいることがある。

画像センサおよび適切な光学系を含むカメラ１０３は、プロセッサ１０２と通信している。プロセッサ１０２は、カメラ１０３によって取得された部屋または部屋１０４の一部の画像を受信し、部屋の画像内の昆虫１０５の位置を検出する。画像内の昆虫１０５の位置に基づいて、プロセッサ１０２は、部屋１０４内の昆虫１０５の位置を示すために、人間の目に見える位置インジケータの作成を可能にする信号を生成する。

プロセッサ１０２は、空間の画像に基づいて空間（例えば、部屋１０４）内の昆虫１０５の位置を決定してもよく、空間内の昆虫の位置の近くの人間の目に見える表示を作成するように光源を向けるためにプロジェクタ装置を制御してもよい。

図１Ａに示された例では、位置インジケータは、部屋１０４内の昆虫１０５の位置における視覚的マーク１１５である。視覚的マーク１１５は、一実施形態では、レーザーまたは他のビームを部屋１０４内の昆虫１０５の近くに投影するプロジェクタ１０８を介して作成され、部屋内の昆虫の位置の近くに視覚的マーク１１５を形成する。

システム１００の構成要素のいくつかまたはすべては、ハウジング１０１に取り付けられているか、またはハウジング１０１内に封入されている。したがって、例えば、カメラ１０３およびプロセッサ１０２は、両方とも単一のハウジング１０１内に含まれてもよい。その他の実施形態では、システムのいくつかの構成要素（例えば、プロセッサ１０２）は、遠隔に配置されている。

プラスチックおよび／または金属などの、実用的でかつ安全に使用できる材料から形成されていてもよいハウジング１０１は、ヒンジ、回転可能なジョイントまたはボールジョイントなどの１つまたは複数のピボット要素を含んでもよく、ハウジング１０１の様々な動きを可能にする。例えば、ハウジング１０１は、部屋１０４内の１つの場所に配置することができるが、ハウジング１０１を回転および／または傾斜させることによって、ハウジング１０１内に封入されたカメラ１０３への複数の視野（ＦＯＶ）を可能にすることができる。しかしながら、ハウジング１０１は、通常、画像を取得している間、カメラが動かされないように、カメラ１０３に安定性を提供する。

いくつかの実施形態では、カメラ１０３は、その焦点面が部屋１０４内の面に対して平行になるように配置される。例えば、部屋における面は、部屋の床または天井、あるいは部屋の家具の壁または面などを含んでもよい。

一実施形態では、プロセッサ１０２は、部屋の面（例えば、壁、天井、部屋の家具の面など）における画像内の昆虫１０５の位置を検出し、その面における昆虫１０５の位置に視覚的マーク１１５を生成することを可能にするために信号を生成する。

いくつかの実施形態では、プロセッサ１０２は、部屋の画像内の静止した（例えば、飛んでいない）昆虫を検出し、視覚的マーク１１５が、静止した昆虫の位置に形成されるかまたは向けられる。

いくつかの実施形態では、プロセッサ１０２は、止まる昆虫を検出する。例えば、プロセッサは、飛んでおり、次いで、着地する昆虫を検出する。次に、プロセッサ１０２は、止まった後、例えば、着地後の昆虫の位置を検出し、視覚的マーク１１５が止まった後の昆虫の位置に形成されるかまたは向けられる。

カメラ１０３は、画像センサ、例えば、ＣＣＤまたはＣＭＯＳチップなどの適切なチップを含んでもよく、２Ｄまたは３Ｄカメラであってもよい。カメラ１０３は、部屋（または部屋の一部）１０４の画像を取得することを可能にするためのレンズおよび／またはその他の光学系を含んでもよい。

いくつかの実施形態では、カメラ１０３は、赤外線（ＩＲ）高感度センサを含み、および／または特別な照明条件で部屋１０４の画像を取得できるようにするためにノイズを排除するためにその他の波長をフィルタリングするためのレンズおよび／またはフィルターを含んでもよい。例えば、システム１００は、ＩＲ照明源１０６を含んでもよい。ＩＲ照明源１０６は、約７５０〜９５０ｎｍの範囲で発光するＬＥＤまたはその他の照明源を含んでもよい。一例では、照明源１０６は、約８５０ｎｍで照明する。ＩＲ照明源１０６は、人間の目には見えないおよび／または刺激性ではないが、カメラ１０３が暗い部屋の意味のある画像を取得することを可能にする照明を提供することによって、暗い部屋でもシステム１００の使用を可能にすることができる。

プロセッサ１０２は、例えば、１つまたは複数のプロセッサを含んでもよく、中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、マイクロプロセッサ、コントローラ、チップ、マイクロチップ、集積回路（ＩＣ）またはその他の適切な多目的または特定のプロセッサまたはコントローラであってもよい。

いくつかの実施形態では、システム１００は、警告装置、例えば、音放出装置および／または専用ＬＥＤなどの光源を含んでもよく、プロセッサ１０２は、昆虫の位置の検出に基づいて音または光を発出させるなどのために、警告信号を生成してもよい。

いくつかの実施形態では、プロセッサ１０２は、１つまたは複数のメモリユニット１１２と通信している。メモリユニット１１２は、例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、フラッシュメモリ、揮発性メモリ、不揮発性メモリ、キャッシュメモリ、バッファ、ショートタームメモリユニット、ロングタームメモリユニット、またはその他の適切なメモリユニットまたは記憶装置を含んでもよい。

システム１００の構成要素は、無線で、例えば、適切なネットワークハブを介して、または適切なケーブルまたはＵＳＢなどの適切なポートを介して互いに接続されてもよい。

いくつかの実施形態によれば、カメラ１０３によって取得された画像のうちの少なくともいくつかは、メモリ１１２に記憶される。メモリ１１２は、実行可能な命令をさらに記憶してもよく、実行可能な命令は、プロセッサ１０２によって実行されると、本明細書に記載の方法を容易にする。

方法の一例が図１Ｂに概略的に示されており、この方法のいくつかのステップはプロセッサ１０２によって実行される。閉鎖空間内の昆虫を検出および位置特定するための方法は、空間、例えば部屋１０４の画像を取得するステップ（１００１）と、画像内の昆虫の位置を検出するステップ（１００３）とを含む。画像内の昆虫の位置は、実世界座標に変換され（１００５）、実世界座標を示すために位置インジケータが作成される（１００７）。

いくつかの実施形態では、昆虫の位置が検出されると、ユーザに通知するために信号が生成される。信号は、（例えば、ブルートゥース（登録商標）、無線などを介して）ユーザのモバイル装置（ユーザの携帯電話または専用装置など）に送信されてもよい。

一実施形態では、この方法は、空間の画像内の静止昆虫（例えば、飛行していない、および／または空間における位置を変えていない昆虫）を検出すること、および静止昆虫の位置を検出することを含む。静止した昆虫の実世界座標を示すために、位置インジケータが作成される。

別の実施形態では、この方法は、空間の画像において止まる昆虫を検出し、止まった後の昆虫の位置を検出することを含む。止まった後の昆虫の実世界座標を示すために位置インジケータが作成される。

一実施形態では、この方法は、位置インジケータ（例えば、可視光レーザービームなどの人間の目に見える光のビーム）を、空間内の実世界座標の位置に投影することを含み（１００９）、目に見えるマークは空間内の位置に作成される。例えば、昆虫（例えば、静止昆虫および／または止まった後の昆虫）が空間内の表面上の位置で検出されると、表面上の光の円（またはその他の形状）が昆虫の位置をマークするように、光線が表面上の位置へ向けられる。

画像内の昆虫の位置は、例えば、画像を取得するカメラの焦点面が、昆虫が位置特定される空間の表面に対して平行である場合、射影幾何学を使用することによって実世界座標に変換することができる（１００５）。

別の実施形態では、イメージャ（例えば、カメラ１０３）およびプロジェクタ（例えば、プロジェクタ１０８）を含むシステムは、事前に較正されてもよい。例えば、プロジェクタは、カメラのすぐ近くに配置されてもよい（例えば、以下の図３を参照して説明される距離Ｄを参照されたい）。較正中に、カメラに見える光線は、プロジェクタから空間内のいくつかの位置へ投影されてもよく、それらの位置においてカメラによって画像化されてもよい。このように、補間を使用することにより、画像内の各位置（例えば、各ピクセルまたはピクセルのグループ）を、空間内のｘ，ｙ座標へリアルタイムに相関させることができ、これにより、画像において検出された位置に基づいてプロジェクタを空間内の位置へ向けることができる。あるいは、またはさらに、カメラに見える光線を使用すると、目に見える表示に基づいてリアルタイムでプロジェクタの方向を修正することができる。

一実施形態では、プロジェクタは、異なる角度で位置インジケータの投影を可能にするための１つまたは複数のローターを含む。この場合、画像内の各位置は、事前キャリブレーションに基づいて、ローターのα，β座標に相関させることができる。

一例では、ローターは、角度の変化が各ステップについて分かるように、ステップモーターを含んでもよい。その動きの限界におけるローターの角度が分かるように、１つまたは複数の物理的停止が使用されてもよい。公知のカメラの光学系の場合、各ピクセルを既知の角度に関連付けることができる。したがって、各角度にローターを方向付けるために必要なステップ数を計算することができる。通常、プロジェクタはカメラと同じ位置に配置されていないため、計算にはプロジェクタとカメラの間の距離の調整が必要になることがある。

画像内の昆虫の位置を実世界位置に変換するためにその他の方法が使用されてもよい。

図２Ａに概略的に示されている別の実施形態では、システム２００は、例えば本明細書で説明するように昆虫を検出し、部屋の画像において見える位置インジケータを作成する。この実施形態では、プロセッサ２０２は、部屋の画像２２３において昆虫２０５を位置特定し、昆虫の位置において画像２２３に位置インジケータ２２５を作成するために信号を生成する。一例では、部屋の画像２２３は、位置インジケータ２２５とともに表示され、これは、画像２２３に重ね合わされたアイコンまたはその他のグラフィック表示であってもよい。

部屋の画像２２３の例が図２Ｂに示されている。部屋の一部を含む画像２２３は、昆虫が位置する表面、すなわち部屋の天井２２６を示している。位置インジケータ２２５は、画像２２３を見るユーザに、天井２２６上の昆虫の位置を示すために、画像２２３に重ね合わされる。

一実施形態では、カメラ２０３によって得られた画像は、ローカル（例えば、メモリユニット２１２）および／または遠隔で記憶することができる（例えば、画像は、インターネットを介して、または別の適切な無線通信を使用して、例えば、クラウド上の遠隔記憶装置に送信される）。次に、画像は、個人用および／またはモバイル装置（例えば、スマートフォン、タブレットなど）などの装置２０９上、または専用の、典型的にはモバイルの装置上で検索および表示されてもよい。

一実施形態では、部屋の画像２２３は、リアルタイムでの部屋の画像であり、位置インジケータ２２５は、昆虫２０５の位置が検出される同じ画像に重ね合わされる。

いくつかの実施形態では、部屋の画像２２３は、特定の詳細（個人情報、プライベート情報、および／または機密情報など）が隠されるか、または画像から削除されるように操作される。したがって、プライバシーおよび／または機密性を損なうことなく、リアルタイム画像（昆虫２０５が検出されたのと同じ画像）を表示することができる。画像２２３は、プロセッサ２０２または異なるプロセッサ（例えば、装置２０９内のプロセッサ）によってプライバシーおよび／または機密性を保護するように操作することができる。

別の実施形態では、部屋の画像のセットが、カメラ２０３によって取得される。すべての画像が同じ視野をキャプチャするように、画像のセットを取得している間、カメラ２０３は移動または再配置されない。第１の画像は、居住者がいない、部屋２０４のみの画像であってもよいのに対し、部屋２０４の第２の画像は、昆虫２０５が検出された部屋（おそらく居住者がいる）のリアルタイム画像であってもよい。いくつかの実施形態では、居住者のプライバシーを保護するために、第１の画像のみが装置２０９に送信されて表示され、第２の画像における昆虫２０５の位置は、ユーザに表示されている画像である第１の画像に示されかつ表示される。

いくつかの実施形態では、第１の画像（通常、個人情報を含まない）は、部屋の画像のセットからユーザによって選択された画像であってもよい。その他の実施形態では、第１の画像は、画像内の個人情報を変更することによって個人情報が隠されている部屋の変更または操作された画像であってもよい。

いくつかの実施形態では、第１の画像は、ユーザが画像化されている空間のレイアウトを理解することを可能にする代表的な画像であってもよいが、必ずしも空間の実像であるわけではない。例えば、代表的な画像は、典型的にはカメラ２０３によって取得される、空間のいくつかの画像の組み合わせから作成されてもよい。例えば、代表的な画像は、空間の画像のセットからのいくつかの画像の平均であってもよい。別の例では、代表的な画像は、空間のグラフィック表現を含んでもよいが、空間の実際に画像化された構成要素を含まなくてもよい。個人情報の保護に役立つことに加えて、平均画像（またはその他の代表的な画像）を第１の画像として使用することは、カメラ（例えば、カメラ２０３）が画像間で再配置され、画像がすべてまったく同じ視野のものではないような場合に有用である場合がある。

一実施形態では、プロセッサ２０２によって実行される、昆虫を検出および位置特定するための方法は、空間の画像上に、空間内の昆虫の位置を視覚的にマークすることを含む。図２Ｃに概略的に示されている例示的な方法は、空間の第１の画像を取得すること（２００１）および第１の画像を格納すること（２００３）を含む。通常、第１の画像には、居住者がいないスペースおよび／または個人情報が隠されているスペースが含まれる。

空間の第２の画像が取得される（２００５）。第２の画像は、第１の画像とほぼ同じ視野であるが、第１の画像よりも後で取得される。第２の画像には、空間内の昆虫が含まれている。第２の画像の昆虫の位置が決定され（２００７）、空間の画像内のその位置をマークするために、位置インジケータ（例えば、グラフィックマーク）が作成される（２００９）。

一実施形態では、位置インジケータは、昆虫が検出されたのと同じ画像上の位置をマークする。その他の実施形態では、位置インジケータは、部屋の異なる画像上の位置をマークする。部屋の異なる画像は、以前にキャプチャされた画像、例えば、部屋の第１の画像であってもよい。

いくつかの実施形態では、この方法は、ユーザからの入力を受け入れ、ユーザからの入力に基づいて、第１の画像として使用する画像（すなわち、位置インジケータと一緒に表示する画像）を決定することを含む。したがって、ユーザは、ストレージおよび／またはディスプレイに送信する画像を選択することができ、これには、ユーザが個人的またはプライベートと見なす情報は含まれない。

その他のまたは追加の実施形態では、この方法は、空間の代表的な画像（例えば、平均的な画像）を作成し、代表的な画像を第１の画像として使用するステップを含む。

いくつかの実施形態では、第１の画像は、ストレージから検索され、第２の画像と同じ場所で、例えば、ユーザの個人用モバイル装置または専用装置上に、位置インジケータが重ね合わされて、ユーザに表示される（２０１１）。

したがって、例えば、グリッドが、同じ視野（またはほぼ同じ視野）である空間のすべての画像において使用されてもよく、これにより、１つの画像内の昆虫の位置に、同じ視野のその他のすべての画像において同じｘ，ｙ座標である、グリッドのｘ，ｙ座標を与えることができる。

上で論じたように、そして図３にさらに例示したように、位置インジケータを実世界空間、例えば、部屋１０４内の昆虫の位置に投影するまたは向けるために、プロジェクタ３０８はプロセッサ３０２によって制御されてもよい。

一実施形態では、プロジェクタ３０８およびカメラ３０３は、ハウジング３０１内に近接して配置されている。プロジェクタ３０８は、インジケータソース、例えば、レーザー３１６などの光源と、光を光源から所望の方向または角度へ向けるレンズおよび／またはミラーまたはその他の光学部品を含む光学系などのインジケータ方向付け装置３１２とを含む。一実施形態では、インジケータ方向付け装置３１２は、単一の軸を中心に回転するように配置されたミラー支持ジンバルなどの回転光学要素を含む。直交するピボット軸を有するように一方が他方の上に取り付けられた２つまたは３つのそのようなジンバルのセットが、レーザー３１６の光をあらゆる所望のピッチ、ロールおよびヨーへ方向付けるために使用されてもよい。

カメラ３０３によって取得された画像における昆虫３０５の検出された位置に基づいて、プロセッサ３０２は、インジケータ、例えば、レーザー３１６が昆虫の実世界位置へ方向付けられるように、インジケータ方向付け装置３１２を制御する。例えば、インジケータ方向付け装置３１２のジンバルのヨーおよびピッチの制御は、レーザー３１６などのインジケータを実世界位置へ方向付けることを可能にする。

典型的には、カメラ３０３は、インジケータの正確な狙いを可能にするために、プロジェクタ３０８から（または、レーザーおよび／またはインジケータ方向付け装置などのプロジェクタの構成要素から）最小距離Ｄに配置される。一例では、カメラ３０３およびレーザー３１６またはインジケータ方向付け装置３１２は、互いから２０ｃｍ未満に配置される。別の例では、カメラ３０３およびレーザー３１６またはインジケータ方向付け装置３１２は、互いから１０ｃｍ未満に配置される。

レーザー３１６は、可視光を含んでもよく、これにより、昆虫の検出された位置においてレーザーによって作成されたマークが見え、カメラ３０３によって画像化され、例えば装置２０９上でユーザに表示することができる。したがって、一実施形態では、ユーザは、部屋の画像内で、レーザー３１６によって作成された昆虫の位置の視覚的指示を有する部屋の画像を受け取ってもよい。

一実施形態では、プロジェクタ３０８は、昆虫３０５を排除または無力化するように構成されている。例えば、レーザー３１６は、十分に高い出力のＵＶまたはＩＲまたはその他の光であってもよく、これにより、室内の表面上の昆虫３０５、または静止昆虫、または止まった後の昆虫に方向付けられると、レーザー３１６は、昆虫３０５を無効化するおよび／または殺す場合がある。

いくつかの実施形態では、インジケータソース、例えば、レーザー３１６などの光源と、プロセッサによって制御されるインジケータ方向付け装置３１２とを含むプロジェクタ３０８が、害虫駆除以外の分野で使用されてもよい。例えば、プロジェクタ３０８は、アニメーションなどの視覚効果を生み出すために使用されてもよい。例えば、プロジェクタ３０８は、おもちゃの一部であってもよい。いくつかの実施形態では、方向付け装置を制御するプロセッサは、画像センサから、および／または画像処理に基づいて入力を受け取り、仮想現実ゲームまたはその他のアプリケーションにおいて使用することができる。

別の実施形態では、プロジェクタ３０８は、例えば、閉鎖された空間またはその他の空間内の特定の地点へユーザを案内するための案内装置として使用されてもよい。いくつかの例は、以下を含む：

−セキュリティカメラによって識別された位置へ警備員を案内する；

−アーカイブ、店舗、倉庫などの広いスペースにおける所望の位置へユーザを案内する；

−問題が検出された特定の場所へ建設または保守スタッフを案内する（おそらく、問題は画像処理によって検出される）；および

−画像処理に基づくレーザー切断機の操作。

本発明のいくつかの実施形態は、昆虫を排除または無力化するなど、昆虫を処理するための装置を提供する。そのような装置はまた、昆虫の確認、例えば、画像内の昆虫の存在および／またはタイプの確認を支援するために、追加のカメラおよび／または照明源などの装置を含んでもよい。通常は移動可能な装置は、密閉空間などの空間内の昆虫の位置に近づくように制御され、昆虫を近距離で処理し、それによって周囲の空間に危険を及ぼすことがある影響を制限する。

以下に説明する昆虫を処理するための装置のいくつかの例は、本発明の実施形態による、昆虫を位置特定するためのシステムによって制御される装置であるが、いくつかの実施形態では、昆虫を処理するための装置は、その他のシステムによって制御されてもよい。

上記のようなシステムは、いくつかの実施形態では、本発明の実施形態による、画像において検出された昆虫を排除および／またはその他の方法で処理するために、本明細書において説明されるシステムとともに使用される補助装置を含んでもよい。

図４Ａおよび４Ｂに概略的に示される例示的な実施形態では、部屋内の昆虫の位置を検出するためのシステムは、ハウジング４０１を含み、ハウジング４０１は、空間（家の中の部屋、オフィススペースおよびその他の公共または私用屋内スペース）の画像を取得するために使用されるカメラ４０３を収容している。カメラ４０３は、例えば、上記のように、プロセッサ４０２およびメモリ４１２と通信している。システムは、プロセッサ４０２と通信する補助装置をさらに含む。

図４Ａでは、補助装置は、独立の移動装置４１５であり、これは、昆虫を排除するために、または図５でさらに説明されるように、昆虫を除去、捕獲または分析するなどのその他の目的のために使用されてもよい。

図４Ａに記載されたシステムはまた、独立の移動装置４１５に電力を供給および／またはロードするためのドッキングステーションまたはその他のターミナルなどの、典型的にはハウジング４０１上にあるポート４１３を含んでもよい。

一実施形態では、独立の移動装置４１５は、ドローンなどの飛行装置である。

独立の移動装置４１５は、プロセッサ４０２によって遠隔制御されてもよい。例えば、独立の移動装置４１５は、（例えば、ブルートゥース（登録商標）、無線などを介して）プロセッサ４０２と無線通信してもよい。

図４Ａに概略的に示されているシステムは、空間の画像を取得するためのカメラ４０３と、カメラ４０３とは別個に移動可能なモバイル装置４１５とを含む。プロセッサ４０２は、カメラ４０３によって取得された空間の画像のうちの少なくとも１つにおいて昆虫を検出してもよく、空間の画像の分析に基づいて、昆虫の近くへ移動するように装置４１５を制御してもよい。

一実施形態では、プロセッサ４０２は、単一のフレーム内に昆虫およびモバイル装置４１５を有する空間の画像の分析に基づいて、昆虫の近くへ移動するようにモバイル装置４１５を制御する。プロセッサ４０２は、カメラ４０３から昆虫の方向への直接経路において移動するようにモバイル装置４１５を制御してもよく、昆虫への方向は、フレーム内の昆虫の画像の位置から推定することができる。昆虫およびモバイル装置４１５が同じフレーム内にあるならば、プロセッサ４０２は、カメラから離れて昆虫に向かうようにモバイル装置を案内しながらモバイル装置が画像内の昆虫の近くにとどまるように、モバイル装置４１５の移動をさらに制御する。例えば、プロセッサ４０２は、フレーム内の２つの物体間のピクセルにおける距離を使用して推定されてもよいフレームにおける昆虫からのモバイル装置４１５の角距離を周期的に決定してもよい。決定された角距離が所定の値を超える場合、プロセッサ４０２は、モバイル装置４１５を昆虫から所定の角距離内に移動させるためにモバイル装置４１５を移動させるのに必要な距離および方向を計算し、計算された方向へ計算された距離だけモバイル装置４１５を移動させてもよい。

このプロセスは、モバイル装置４１５が昆虫から所定の距離、例えば、除去距離内になるまで繰り返されてもよい。例えば、除去距離は、装置が昆虫を効果的に処理することができる距離、例えば、殺虫剤を昆虫に効果的に噴霧することができる距離であってもよい。所定の距離（除去距離）に達すると、装置４１５および／または部材４２６（以下に記載）は、例えば、化学的、機械的、または電気的方法を使用することによって、昆虫を除去するように制御されてもよい。

したがって、プロセッサ４０２は、カメラ４０３から昆虫の方向を推定し、ほぼその方向に移動するように装置を制御する。

一実施形態では、除去距離に到達したかどうかを決定することは、昆虫の画像を取得するためにモバイル装置４１５上の追加のカメラを利用することによって行うことができる。（例えば、画像内の昆虫のサイズを、所望の距離からのこのタイプの昆虫の予想されるサイズと比較することによって）昆虫の画像が分析されてもよい。別の実施形態では、プロセッサ（例えば、モバイル装置４１５に取り付けられてもよいプロセッサ４０２または別のプロセッサ）は、距離計からの入力に基づいて、除去距離に到達したかどうかを決定するために、（モバイル装置４１５に取り付けられてもよいまたはシステム内の別の位置に取り付けられてもよい）距離計または同様のシステムと通信してもよい。別の実施形態では、除去距離に到達したかどうかの決定は、光点を取得するために（例えば、レーザーポインタまたはその他のプロジェクタを使用して）既知の方向に光を放射し、カメラ４０３からの画像における光点（例えば、レーザーポインタによって作成された壁または天井上の点）の位置を分析する、モバイル装置４１５によって行うことができる。（本明細書に記載されているように）カメラ４０３に対するモバイル装置４１５の位置は既知である。したがって、モバイル装置４１５から光点の位置までの角度が分かる。カメラ４０３から光点の位置までの角度は、画像内の点のピクセル（またはピクセルのグループ）を検出することによって計算することができる。昆虫はしばしば光点と同じ表面上にいるので、光点までの距離を三角測量することができ、そこから、昆虫までのモバイル装置４１５の距離を推定することができる。

いくつかの実施形態では、モバイル装置４１５は、エネルギーの形態のビームを昆虫の近くに投影し、光点を作成しかつ／または昆虫を処理するための、プロジェクタを含んでもよい。さらに、モバイル装置４１５は、追加のカメラ（例えば、図５のカメラ５０３）を含んでもよい。昆虫からのモバイル装置４１５の方向および／または距離は、モバイル装置４１５のプロジェクタおよび／または追加のカメラを使用して（例えば、上記のように）計算されてもよい。

所定の距離内に入ると、モバイル装置４１５は、例えば、以下に説明するように、昆虫を処理するために、場合によっては装置から昆虫の近くまで延伸可能な部材を使用してもよい。

図４Ｂでは、補助装置は、取り付け点４１１においてハウジング４０１に取り付けられており、取り付け点４１１を介して、ハウジング４０１内の電源および／またはリザーバと通信してもよい。補助装置は、伸縮アームなどの、移動可能で典型的には延伸可能な部材４２６などの、処理ツールを含んでもよい。部材４２６は、ハウジング４０１から延伸し、昆虫の位置へ移動し、これにより、その位置において昆虫を処理し、例えば、以下に説明するように昆虫を捕獲しかつ殺すために、プロセッサ４０２によって制御されてもよい。

いくつかの実施形態では、部材４２６は、例えば、形状記憶材料から形成された伸縮式および／または変形可能なアームまたはばねであり、部材４２６は、通常は折り畳まれたまたはコイル状の形態であり、プロセッサ４０２からの信号に応じて、昆虫の位置において昆虫と相互作用するように延伸および移動させることができる。

昆虫の処理は、機械的および／または化学的方法の使用を含んでもよい。場合によっては、昆虫を処理するために機械的および化学的手段または方法の両方が使用される。

いくつかの実施形態では、部材４２６は、昆虫を使用するために使用される器具または薬剤のための導管として機能する。例えば、部材４２６は、（例えば、気体、液体、または粉末の形態の）化学物質を含むチャンバーを含んでもよい、またはこのチャンバーと連通していてもよく、化学物質は、比較的近い範囲から昆虫に対して噴霧または滴下することができ、これにより、化学物質の効果を昆虫自体に限定し、周囲空間に影響を与えない。一例では、チャンバーは農薬を含んでもよい。別の例では、チャンバーは、植物ベースの防虫剤であるシトロネラ油などの防虫剤を含んでもよい。

いくつかの実施形態では、ハウジング４０１は、化学物質のリザーバを含む。その他の実施形態では、ハウジング４０１は、部材４２６に装填することができる化学物質のカプセル（またはその他の容器）を格納している。

一実施形態では、部材４２６は、部材４２６の遠位端４２７に取り付けられたノズルを含んでもよい。ノズルを備える部材４２６は、昆虫の位置に向けられてもよく、（例えば、上記のように）化学物質のパルスまたはスプレーが、ノズルを介して近距離で昆虫に向けられてもよい。

一実施形態では、部材４２６は、昆虫を引き込みかつ捕獲する（および／または殺す）ための吸引チャンバーを含んでもよいまたはこの吸引チャンバーと連通していてもよい。

別の実施形態では、部材４２６は、昆虫を感電死させるための感電要素を含んでもよい。別の実施形態では、部材４２６は、昆虫を捕獲（および／または殺す）するための接着要素を含んでもよい。

その他の電気的および／または機械的および／または化学的ソリューションが、部材４２６を介して使用されてもよい。

部材４２６は、人間またはその他の捕食者の特性を持たないため、通常、昆虫（蚊など）によって人間または捕食者として識別されず、昆虫を怖がらせることなく昆虫に近づき、昆虫の近距離に入ることができる。

いくつかの実施形態では、補助装置は、例えば、昆虫に有害または致命的なあらゆる形態のエネルギーのビームを昆虫の位置に投影するためのプロジェクタを（例えば、プロジェクタ１０８に加えて）を含んでもよい。いくつかの実施形態では、昆虫の位置を示し、昆虫を処理する（例えば、無力化する）ためにビームを投影するために、単一のプロジェクタ（例えば、プロジェクタ１０８）が使用されてもよい。したがって、プロジェクタは、光、熱などのエネルギーの形態のビームを昆虫の位置に投影して、昆虫を処理するために、プロセッサ１０２から生成された信号によって制御されてもよい。

いくつかの実施形態では、その場所の画像または複数の画像から昆虫の詳細を検出および識別するために、畳み込みニューラルネットワークなどのニューラルネットワーク、またはその他のコンピュータビジョンソフトウェアおよびアルゴリズムが使用される。例えば、昆虫の形状および／または色および／または移動パターンおよび／またはその他の詳細を決定するために、形状および／または動きおよび／または色検出アルゴリズムが使用されてもよい。移動パターンは、例えば、移動方向、移動の大きさ、移動速度などを含んでもよい。昆虫のこれらの詳細は、画像化される昆虫のタイプを決定するため、および／または異なる昆虫を区別するためおよび／または昆虫と、画像化されることがあるほこりの粒子またはその他のノイズなどの非昆虫物体とを区別するために使用されてもよい。

いくつかの実施形態では、プロセッサ１０２は、昆虫のタイプの決定に基づいて補助装置を制御する。例えば、それが特定の種類の昆虫である場合にのみ昆虫を処理するようにプロジェクタが制御されてもよい。

その他の実施形態では、補助装置は、例えば、昆虫の位置において部屋の画像を強調するためのツールを含んでもよい。例えば、システム（例えば、１００）は、例えば、その位置の拡大された画像に基づいて、その位置における昆虫の存在および／またはタイプを確認するために昆虫の位置を強調することができる工学系を備えるカメラを（例えば、カメラ１０３に加えて）含んでもよい。

一実施形態では、昆虫の位置を拡大して、昆虫の形状または他の詳細をより詳細にかつ焦点を合わせて見ることを可能にするために、長焦点レンズ（例えば、望遠レンズ）が使用されてもよい。

一実施形態では、カメラ１０３が疑わしい昆虫の位置を検出すると、例えば、昆虫の存在および／またはタイプを確認するために、追加のカメラが疑わしい昆虫の位置に向けられかつ／または移動させられてもよい。一実施形態では、長焦点レンズ（またはその他の拡大光学系）を備えたカメラは、インジケータ方向付け装置３１２、例えばジンバルに取り付けられるか、または配置されてもよく、これにより、拡大光学系をインジケータ方向付け装置に対して平行に移動させ、疑わしい昆虫の位置へ光学系を自動的に方向付けることができる。

一実施形態では、疑わしい昆虫を確認し、および／または昆虫を検出するために、差分解析が使用されてもよい。例えば、疑わしい昆虫を検出するためにある領域を低解像度でスキャンされてもよく、次に、疑わしい昆虫の領域が、例えば、昆虫の存在および／またはタイプを確認するために高解像度で分析されてもよい。画像の差分解析を使用すると、処理を減らすことができ、それによって費用効果の高いソリューションが提供される。

したがって、一実施形態では、カメラ１０３は、部屋の広いＦＯＶ画像を取得してもよく、拡大を可能にする追加のカメラなどの補助装置は、部屋の一部の詳細な画像を取得する。プロセッサ１０２は、部屋の広いＦＯＶ画像内の疑わしい昆虫の位置を検出し、（例えば、ジンバルの動きを制御することによって）追加のカメラを疑わしい昆虫の位置に向け、部屋の一部（疑わしい昆虫の位置）の詳細画像における昆虫を確認する（例えば、昆虫の存在および／またはタイプを確認する）ことができる。

一実施形態では、システム１００などの昆虫を処理するためのシステムは、疑わしい昆虫の位置のより高い解像度の画像化を可能にし、昆虫の確認を支援するための、補助照明源を含んでもよい。選択的に、例えば、より明るい画像を得るために、インジケータ方向付け装置に対して平行に移動させられるようにジンバルに取り付けられてもよい照明源が使用されてもよい。照明源は、回折限界を低減し、疑わしい昆虫のより高解像度の画像化を可能にするために、比較的短い波長（例えば、青色光）を有してもよい。いくつかの実施形態では、照明源および位置インジケータは同じ要素である。

疑わしい昆虫が確認されると、プロセッサ１０２はプロジェクタ１０８を制御することができ、これにより、確認された昆虫の位置を示し、場合によっては別の補助装置を制御して、確認された昆虫を排除またはその他の態様で処理する。

追加のカメラおよび／または追加の照明源などの補助装置を使用することにより、光学および／または照明を介して強化された画像を取得し、電力を消費するコンピュータビジョンアルゴリズムにあまり依存しないことが可能になる。したがって、より強力でないＣＰＵがカメラ１０３とともに使用されてもよく、それにより、費用効果の高い解決策を提供する。

いくつかの実施形態では、昆虫または疑わしい昆虫の位置を検出するための画像を提供し、検出された位置において画像を拡大するまたはその他の方法で強調するために、単一のカメラ（例えば、カメラ１０３）が使用されてもよい。例えば、広い領域（例えば、部屋）を画像化するために１つの光学要素が使用されてもよく、大きな領域内の小さな領域（例えば、部屋内の検出された位置）を画像化するために別の光学要素が使用されてもよい。あるいは、またはさらに、例えば、昆虫の識別を支援するために、広い領域の画像内の領域を局所的に強調するために差分解析が使用されてもよい。昆虫の位置における部屋の画像を強調するためのツールは、プロセッサ１０２によって制御されてもよい。

図４Ｃに概略的に示されている一実施形態では、昆虫を排除、無力化、またはその他の方法で処理するための方法は、空間の画像を取得し（４００１）、画像内の昆虫の位置検出すること（４００３）を含み、この方法のいくつかのステップは、プロセッサ４０２によって行われてもよい。画像内の昆虫の位置は、実世界座標に変換される（４００５）。次に、プロセッサ４０２（または別のプロセッサ）は、実世界座標に基づいて補助装置（独立の移動装置４１５または部材４２６など）を制御する。例えば、補助装置を実世界座標へ方向付けることができる（４００７）。

いくつかの実施形態では、補助装置は、補助装置の作用によって害を受ける可能性のあるその他の影響を受けやすい物体がないと決定された場合にのみ、昆虫を排除するまたはその他の態様で処理するために使用される。影響を受けやすい物体は、例えば、生物（例えば、人間、ペットなど）および／またはその他の物体または材料、例えば紙または布、または補助装置の作用によって害を受ける可能性のあるそのような材料を含む物体を含むことがある。

したがって、昆虫を駆除する方法は、昆虫の位置の近くに生物（または補助装置の作用によって害を受けることがある物体または材料）が存在するかどうかを決定し、昆虫の近くに生物（または物体または材料）が検出されない場合にのみ補助装置をステップ（４００５）において検出された実世界座標に方向付けるするステップを含んでもよい。昆虫の位置の近くにおける生物の存在は、例えば、空間内の動きを検出することによって決定されてもよい。所定の大きさを超える動きは、その空間にいる人またはその他の生物を示すことがある。一実施形態では、動きまたは動きの大きさは、空間の画像の経時変化を検出することによって決定される。

その他の実施形態では、空間内の人またはその他の生物（または特定の物体または材料）の存在は、例えば、画像（例えば、カメラ１０３または追加のカメラによって取得された画像）から、人または物体または材料の形状、色またはその他の属性を検出するために、コンピュータビジョン技術を使用することによって決定されてもよい。

したがって、いくつかの実施形態では、部屋内の昆虫を排除するためのシステムは、部屋の画像を取得するためのカメラと、部屋の画像内の昆虫の位置を検出するためのプロセッサとを含む。例えば、プロセッサは、部屋の画像から、止まった後の昆虫および／または空間の表面上の昆虫を検出する。次に、プロセッサは、画像内の昆虫（例えば、止まった後の昆虫）の位置を、実世界座標に変換し、昆虫を排除またはその他の態様で処理するために、実世界座標に基づいて補助装置を制御する。

あるいは、またはさらに、プロセッサは、昆虫の近くに人（またはその他の生物）または特定の影響を受けやすい物体または材料が存在するかどうかを決定してもよく、その決定に基づいて昆虫を排除またはその他の方法で処理するように補助装置を制御してもよい。

あるいは、またはさらに、プロセッサは、その位置における昆虫の存在および／またはタイプを確認してもよく、その位置における昆虫の存在および／またはタイプの確認に基づいて、昆虫を排除またはその他の方法で処理するように補助装置を制御してもよい。一例では、プロセッサは、その位置における昆虫の存在および／またはタイプを確認するために昆虫の拡大画像またはより詳細な画像を取得するようにカメラまたは追加のカメラを制御してもよい。

無線通信を介してもよい補助装置の制御は、例えば、補助装置の推進機構の制御および／または補助装置の処理ツールの制御であることができる。

独立して移動可能な補助装置の一例が、図５に概略的に示されている。

一実施形態では、装置５１５は、補助なしに装置を移動させるための推進機構５２５および昆虫処理ツール５２６を含む飛行装置（例えば、ドローン）であり、または、あるいは、またはさらに、処理ツールを装置５１５に解放可能に収容および固定するように構成された取り付け箇所を含む。

処理ツール５２６は、昆虫を処理するための機械的および／または化学的および／または電気的方法を適用してもよい。いくつかの実施形態では、処理ツール５２６は、昆虫を処理するための機械的および化学的手段または方法の両方を適用する。

一実施形態では、処理ツール５２６は、昆虫を引き込みかつ捕獲する（および／または殺す）ための吸引チャンバーを含んでもよい。別の実施形態では、処理ツール５２６は、昆虫を感電死させるための感電要素を含んでもよい。別の実施形態では、処理ツール５２６は、昆虫を捕獲する（および／または殺す）ための接着要素を含んでもよい。その他の電気的および／または機械的解決策は、処理ツール５２６によって使用されてもよい。

一実施形態では、処理ツール５２６は、装置５１５の輸送中に折り畳まれたまたはコイル状にされた状態になることができかつプロセッサ４０２からの信号に基づいて昆虫と相互作用するように延長させられることができる、例えば、形状記憶材料から形成された伸縮アームまたは変形可能アームまたはばねを含むことができる。

別の実施形態では、処理ツール５２６は、（例えば、上述のような）化学物質を含むチャンバーを含んでもよく、化学物質は、比較的近い範囲から昆虫に対して噴霧または滴下させられることができ、これにより、化学物質の効果を昆虫事態に限定し、周囲空間に影響を与えない。

いくつかの実施形態では、ポート４１３は、装置５１５がポートにドッキングし、処理ツール５２６に化学物質を再充填および貯蔵することを可能にするための化学物質のリザーバを含む。その他の実施形態では、ポート４１３は、化学物質のカプセル（またはその他の容器）を保管する。装置５１５がポート４１３にドッキングしている間に、カプセルを処理ツール５２６に装填することができる。カプセルは、枯渇する前に昆虫を処理するいくつかのイベントに耐えてもよく、枯渇したときにポート４１３で交換されてもよい。

いくつかの実施形態では、装置５１５は、異なる処理ツールの組み合わせを含んでもよく、昆虫を処理するための方法（例えば、化学的および／または機械的）の組み合わせを使用してもよい。

装置５１５は、人間またはその他の捕食者の特徴を持たないため、通常、昆虫（蚊など）によって人間または捕食者として識別されず、したがって、昆虫に近づき、昆虫を怖がらせることなく昆虫の近距離に入ることができる。

図５の例では、装置５１５は空中ドローンであり、推進機構５２５は、空中飛行に適したプロペラ機構を含む。異なるタイプの独立して移動する装置は、異なるタイプの推進メカニズム、または複数のタイプの推進メカニズムを有してもよい。例えば、地上のドローンは、モーター、トランスミッション、ホイールを含む推進メカニズムを有してもよい。

装置５１５は、通常、プロセッサ（例えば、プロセッサ４０２）と通信する制御回路（図示せず）を含み、昆虫の位置に関する入力を受信するように構成される。

いくつかの実施形態では、装置５１５（および／または部材４２６）は、画像センサ（例えば、カメラ５０３）および／または距離センサ（距離計など）などの１つまたは複数のセンサをさらに含んでもよい。

一実施形態では、装置５１５（および／または部材４２６）は、静止昆虫または止まった後の昆虫（例えば、空間内の表面上の昆虫）を処理するように制御される。装置５１５または部材４２６は、静止昆虫の検出された位置に基づいて、プロセッサ４０２から方向情報（例えば、ベクトル）を受信し、受信した情報に従って推進される。装置５１５（または部材４２６）内の距離センサは、昆虫（および／または表面）からの装置５１５（または部材４２６）の距離を検出し、昆虫から所定の距離で推進を停止することができる。

一実施形態では、装置５１５（および／または部材４２６）は、信号を発するための信号源（光源またはオーディオトランスミッタなど）を含んでもよく、信号は、プロセッサ４０２によって受信および分析することができ、昆虫（および／または表面）からの装置５１５または部材４２６の距離を推定または計算するために使用されてもよい。例えば、装置５１５は、昆虫の近くに目に見えるマークを投影するためのプロジェクタを含んでもよい。次に、プロセッサ４０２は、計算された距離に基づいて、装置５１５（例えば、処理ツール５２６を制御するため）または部材４２６を制御することができる。

いくつかの実施形態では、昆虫（および場合によっては、装置５１５のプロジェクタから投影された視覚的マーク）の画像を捕捉するために、ハウジング４０１に取り付けられたまたはハウジング４０１内に設けられた専用の画像センサを使用することができ、画像は、装置５１５または部材４２６を昆虫へ方向付けるために使用されてもよい。視覚的マークは、カメラ４０３または専用のカメラおよび装置５１５または部材４２６によって取得された画像から検出することができ、これにより、画像化された視覚的マークの位置へ方向付けることができる。

本発明の実施形態によれば、画像内の昆虫の位置に基づいてプロセッサによって制御される装置および／または拡張可能な部材を使用することにより、飛んでいる昆虫などの害虫を除去または排除するための正確で環境に優しい行動が可能になる。

上記のように、本発明の実施形態は、昆虫を、ノイズ、例えば、画像センサにおける電子ノイズおよび／または周囲ノイズ、例えば、空間におけるほこり粒子、周囲照明における変化、反射などを区別することができる。加えて、特定の昆虫タイプ（例えば、蚊）を別の昆虫タイプ（例えば、ハエ）と区別することができる。

一実施形態では、空間の画像から標的昆虫と非標的昆虫物体とを区別するための方法が提供される。例えば、標的昆虫は、非昆虫物体（例えば、ノイズまたはその他の物体）に対する昆虫、および／または異なるタイプの昆虫に対する、特定のタイプの昆虫であってもよい。

システム１００などのシステムによって実行されてもよい方法は、画像内の物体が標的昆虫であるかどうかを決定するために複数の画像を使用することを含む。

一実施形態では、プロセッサ１０２は、空間の２つ（またはそれ以上）の画像を比較することによって物体を検出し、空間の画像内の物体の特性に基づいて、物体が標的昆虫であると決定してもよい。いくつかの実施形態では、物体は、所定の基準を満たす場合に検出される。

一実施形態では、カメラ１０３は、昆虫が空間に存在するかどうかを決定することが望ましい画像（「現在の画像」とも呼ばれる）をキャプチャしてもよい。プロセッサ１０２は、空間の異なる第２の画像から空間の現在の画像を減算することによって減算画像を取得してもよい。減算画像は、空間における変化を強調する。なぜならば、画像間で変更されていない（例えば、移動していない、または位置を変更していない）物体は通常、減算画像に表示されないからである。

プロセッサ１０２は、減算画像において、所定の基準を有する物体を検出し、その物体が標的昆虫であると決定してもよい。

上記のように、装置は、物体が標的昆虫であるという決定に基づいて制御されてもよい。

本発明の一実施形態では、所定の基準を満たす物体を検出するために、空間の２つ以上の画像が比較される。例えば、現在の画像には存在するが前の画像には存在しない物体を検出するために、現在の画像が、以前にキャプチャされた第２の画像と比較されてもよい。いくつかの実施形態では、第２の画像は、空間の複数の画像の表現を含んでもよい。例えば、第２の画像は、空間の複数の画像の平均（またはその他の適切な統計的表現）であり得る。別の例では、第２の画像は、空間の画像における一定かつ一時的な要素を理解しかつ一定の要素（例えば、人およびペットではなく、壁および家具）の画像を構築することによって、時間の経過とともにキャプチャされた空間の画像を使用して構築された背景画像を含んでもよい。

この実施形態の例は、図６に概略的に示されている。空間の２つの画像が取得される（ステップ６０２）。一例では、画像は減算によって比較され、例えば、現在の画像が空間の別の画像から減算され、減算画像が得られる（ステップ６０４）。

ステップ６０６において、所定の基準を満たす物体が減算画像において検出される。所定の基準は、物体の１つまたは複数の特性に関連してもよい。例えば、物体の特性は、減算画像におけるサイズ、形状、位置、減算画像における物体の色、透明度およびその他のこのような属性を含んでもよい。したがって、所定の基準は、例えば、サイズ範囲（例えば、ピクセル単位）、特定の形状（例えば、減算画像に適用される形状検出アルゴリズムによって決定される）、減算画像内の物体の特定の位置または位置の範囲、特定の色（例えば、減算画像に色検出アルゴリズムを適用することによって決定される）などであってもよい。

プロセッサ１０２は、所定の基準を満たす物体が標的昆虫であるかどうかを決定する。例えば、物体の１つまたは複数の特性（例えば、移動パターン、形状、色または透明度）が決定されてもよく、決定された特性に基づいて、物体が標的昆虫であると決定されてもよい。例えば、蚊は、他の一般的な昆虫よりも透明で明るい色であるため、標的昆虫が蚊である１つの例では、物体に関連したがその色が、蚊の典型的な色であるならば、その物体は蚊であると決定される。別の実施形態では、物体が特定のレベルの透明性を有するまたは透明領域の所定のパターンを有すると決定される場合、物体は蚊であると決定されてもよい。物体の透明度は、例えば、空間内の背景の既知の色に基づいて決定されてもよい。物体が背景の色を有すると決定された場合（例えば、背景色が標的昆虫に典型的な色でない場合）、物体は部分的に透明であると決定されてもよい。別の例では、異なる昆虫は異なる形状を有し、したがって、標的昆虫は、減算画像におけるその形状に基づいて決定されてもよい。

いくつかの実施形態では、物体は複数の画像から検出されてもよいが、物体が所定の基準を満たしているかどうかを検出し、物体が標的昆虫であると決定することは、単一の画像から行われる。一実施形態では、第１の画像において、所定の基準を満たす物体を検出し、同じ画像または第２の画像において、その物体が標的昆虫であるかどうかを決定するために、物体の同じ特性が使用されてもよい。その他の実施形態では、第１の画像において、所定の基準を満たす物体を検出し、同じ画像または第２の画像においてその物体が標的昆虫であるかどうかを決定するために、異なる特性が使用されてもよい。

例えば、減算画像は、いくつかの物体を含んでもよいが、２つの物体のみが所定のサイズ範囲にある。したがって、減算画像では２つの物体が検出される。サイズ以外の１つまたは複数の特性が２つの物体について決定されてもよく、例えば、２つの物体の色および／または透明度および／または移動パターンが決定されてもよく、物体は、それらの色および／または透明度および／または移動パターンに基づいて、標的昆虫であるかどうかが決定されてもよい。

いくつかの実施形態では、物体の高解像度画像が取得されてもよく、物体は、高解像度画像に基づいて標的昆虫であると決定することができる。例えば、物体は、第１の画像において、例えば、減算画像において、場合によってはそのサイズまたはその他の特性に基づいて検出されてもよく、次いで、第１の画像より高い解像度の第２の画像から、標的昆虫である（またはそうではない）と決定されてもよい。

いくつかの実施形態では、色および／または動きなどの特性は、空間的に相関させられてもよい。例えば、互いに近い複数のピクセルが、標的昆虫を示す特性を有するならば、これらのピクセルは、同じ特性を有するが、近くでグループ化されていない複数のピクセルよりも、標的昆虫の存在を決定する際により大きな重みが与えられてもよい。別の例では、画像における複数の位置において検出された、複数の相関させられた特性またはピクセル特性、例えば、同じ移動パターンおよび／または照明の変化は、より大きな物体の動きおよび／または反射に向けられてもよく、１つの相関させられていない特性よりも、標的昆虫の存在を決定する際により小さな重みが割り当てられてもよい。

複数の画像における特徴の挙動に基づいて、特徴（またはこれらの特徴を表すピクセル）に異なる重みが割り当てられてもよい。例えば、時間の経過とともに持続する特性は、ノイズである可能性が低いため、より高い重みが割り当てられてもよい。

空間の画像（例えば、減算画像）内の物体を検出し、物体に関連するピクセルを決定するために、物体検出アルゴリズム、セグメンテーションなどのマシンビジョン技術が使用されてもよい。いくつかの実施形態では、物体が標的昆虫であることを決定するために、学習モデルが空間の画像に適用されてもよい。学習モデルは、例えば、減算画像において所定の基準を有する物体を検出するためにおよび／または現在の画像において物体が標的昆虫であることを決定するために、適用されてもよい。学習モデルは、様々な入力（色、透明度、サイズ、移動パターンなど）を、物体が標的昆虫であるかどうかを決定する単一の決定に統合するなど、他のステップにおいて適用されてもよい。

物体が標的昆虫であると決定された場合（ステップ６０８）、プロセッサ１０２は、装置を制御するための信号を生成する（ステップ６１０）。物体が標的昆虫であると決定されない場合は、別の現在の画像が取得されて処理される。

物体が標的昆虫であるという決定に基づいて制御される装置は、例えば、上記のように、補助装置を含んでもよい。一例では、装置（光源のプロジェクタなど）は、人間の目に見える位置インジケータ（例えば、視覚的マーク１１５）を作成してもよい。したがって、方法は、空間の画像から標的昆虫の実世界位置を決定し、人間の目に見える、標的昆虫の実世界位置を示す位置インジケータを作成するように装置を制御することを含んでもよい。

別の実施形態では、標的昆虫を排除および／またはその他の方法で処理するために装置が使用されてもよい。したがって、方法は、空間の画像から標的昆虫の実世界位置を決定し、実世界の位置で標的昆虫を排除する（またはその他の方法で処理する）ために装置を制御することを含んでもよい。この装置は、例えば上記のように、昆虫を処理するための補助装置を含んでもよい。例えば、装置は、標的昆虫の実世界位置にある形態のエネルギーを投影するためのプロジェクタを含んでもよい。あるいは、またはさらに、装置は、遠隔制御される独立のモバイル装置および／または伸縮アームおよび／またはノズルを含んでもよい。

一実施形態では、物体（例えば、減算画像において検出された物体）は、空間の複数の画像において、空間内の複数の場所まで追跡され、物体は、追跡に基づいて標的昆虫である（またはそうでない）と決定されてもよい。

図７に概略的に示されている一実施形態では、物体の移動パターンが検出され、移動パターンに基づいて、物体が標的昆虫である（またはそうでない）と決定される。

空間の画像において物体が検出され（ステップ７０２）、物体の移動パターンが決定される（ステップ７０４）。移動パターンが所定のパターンに類似している場合（ステップ７０６）、物体が標的昆虫であると決定される（ステップ７０８）。移動パターンが所定の移動パターン（ステップ７０６）と類似していない場合、対象は標的昆虫であると決定されない（ステップ（７１０）。

典型的には、所定の移動パターンは、標的の昆虫から予想されるパターンと一致するパターンである。例えば、所定の移動パターンは、蚊に典型的な止まるパターン（例えば、飛んでいて、次いで着地する）を含むことができる。別の例では、主に反復運動は、意図しない運動（扇風機の動き、風に吹かれた物体および／または電子ノイズなど）の特徴であるため、所定の移動パターンは、主に非反復移動を含むことができる。さらに別の例では、移動パターンは方向の変化を含むことができ、所定の移動は特定の角度または角度の範囲での方向の変化を含む。例えば、蚊はしばしば、ハエよりも鋭くない角度で方向を変化する。したがって、所定の移動パターンは、所定の範囲内の角度での方向の変化を含んでもよい。別の例では、蚊はハエよりもゆっくりと移動するため、所定の移動パターンは、特定の速度（または速度範囲）を含むことができる。

さらに、色および透明度などの物体の特性を決定することは、複数の画像を使用するおよび／または時間の経過とともに画像を比較する場合、より正確であることがある。場合によっては、時間の経過とともに、移動する物体（昆虫など）が様々な背景を通過することがあり、（上記のように）物体の色および／または透明度を決定するのに役立つ。例えば、完全に不透明な物体は、異なる背景を通過するときに色または強度を変更させないが、半透明の物体は変更させる。

いくつかの実施形態では、履歴データは、物体が標的昆虫であるかどうかを決定する際に使用されてもよい。例えば、後でキャプチャされた画像における物体が標的昆虫であるかどうかを決定することは、前にキャプチャされた画像のピクセルに割り当てられた重みに基づくことができる。

図８に概略的に示されている一例では、物体は、空間の第１の画像（例えば、第１の現在の画像）内の位置で検出される（ステップ８０２）。物体が標的昆虫ではないと決定された場合（ステップ８０４）、第１の重みがその位置のピクセルに割り当てられる（ステップ８０６）。物体が標的昆虫であると決定された場合（ステップ８０４）、第２の重みがその位置のピクセルに割り当てられる（ステップ８０８）。

物体が第２の画像（例えば、第２の現在の画像）内の位置で検出され（ステップ８１０）、ステップ８０６および８０８からの重みが、第２の画像内のそれらの位置に基づいて第２の画像のピクセルに割り当てられる。次に、第２の画像内の物体は、第２の画像内の物体に関連付けられた重み付けされたピクセルに基づいて、標的昆虫である（またはそうでない）と決定されてもよい（ステップ８１２）。

例えば、空間（部屋など）の画像は、窓、テレビ画面、扇風機、反射などを含むことがあり、これらは、画像に「ノイズの多い」領域を生じることがある。このようなノイズは、例えば、時間の経過に伴うピクセル値の大きな変動によって、多くの誤検知（例えば、誤って検出された標的昆虫）によって、またはノイズを生じる可能性のある物体（例えば、窓、テレビなど）を識別するための物体検出アルゴリズムを適用することによって、検出されてもよい。いくつかの実施形態では、画像の比較的「ノイズの多い」領域において検出された物体の特性（またはこれらの特性を表すピクセル）は、画像の他の領域において検出された物体の特性（またはピクセル）よりも少ない重みが割り当てられてもよい。別の例では、過去のケースにおいて標的昆虫が誤って決定された画像の領域において検出された物体の特性（またはピクセル）は、画像の他の領域において検出された特性（またはピクセル）よりも少ない重みが割り当てられてもよい。

Claims (37)

1. 空間内の標的昆虫を検出するための方法であって、
   前記空間の少なくとも２つの画像を比較することによって物体を検出することと、
   前記空間の画像内の前記物体の特性に基づいて、前記物体が標的昆虫であると決定することと、
   前記物体が標的昆虫であるという決定に基づいて装置を制御することと、を含む、方法。
2. 前記物体が所定の基準を満たす、請求項１に記載の方法。
3. 前記少なくとも２つの画像のうちの１つが、前記空間の複数の画像の表現を含む、請求項１に記載の方法。
4. 前記空間の前記少なくとも２つの画像を比較することが、前記空間の第２の画像から前記空間の現在の画像を減算することによって減算画像を取得することを含み、かつ
   前記減算画像において、所定の基準を満たす物体を検出することを含む、請求項１に記載の方法。
5. 前記第２の画像が、前記現在の画像の前にキャプチャされた前記空間の画像を含む、請求項４に記載の方法。
6. 前記所定の基準が、前記物体の１つまたは複数の特性に関連し、前記特性は、サイズ、形状、画像内の位置、色、および透明度のうちの１つを含む、請求項２に記載の方法。
7. 前記物体の１つまたは複数の特性を決定することであって、前記特性が、移動パターン、形状、色および透明度のうちの１つを含む、決定することと、
   決定された前記特性に基づいて、前記物体が標的昆虫であると決定することと、を含む、請求項１に記載の方法。
8. 前記空間の画像内の前記物体を追跡することと、
   前記追跡に基づいて、前記物体が標的昆虫であると決定することと、を含む、請求項１に記載の方法。
9. 前記物体の前記追跡に基づいて、前記物体の移動パターンを検出することと、
   前記移動パターンが所定の移動パターンに類似している場合、前記物体が標的昆虫であると決定することと、を含む、請求項８に記載の方法。
10. 前記所定の移動パターンが、止まるパターン、主に非反復運動、および前記所定の範囲の角度での方向の変化のうちの１つまたは複数を含む、請求項９に記載の方法。
11. 前記物体の高解像度画像を取得することと、
    前記高解像度画像に基づいて、前記物体が標的昆虫であると決定することと、を含む、請求項１に記載の方法。
12. 前記物体の空間的に相関する特性を検出することと、
    前記空間的に相関する特性に基づいて前記物体が標的昆虫であるかどうかを決定することと、を含む、請求項１に記載の方法。
13. 前記物体が標的昆虫であるという決定に基づいて、前記空間の第１の画像内の前記物体の位置にあるピクセルに重みを割り当てることと、
    第２の画像内の物体の位置にあるピクセルに前記重みを割り当てることにより、前記空間の前記第２の画像内の前記物体が標的昆虫であると決定することと、を含む、請求項１に記載の方法。
14. 前記空間の画像から前記標的昆虫の実世界位置を決定することと、
    人間の目に見える、前記標的昆虫の前記実世界位置を示す位置インジケータを生成するように前記装置を制御することと、を含む、請求項１に記載の方法。
15. 前記装置が、光源のプロジェクタを含む、請求項１４に記載の方法。
16. 前記空間の画像から前記標的昆虫の実世界位置を決定することと、
    前記実世界位置において前記標的昆虫を排除するように装置を制御することと、を含む、請求項１に記載の方法。
17. 前記装置が、前記標的昆虫の前記実世界位置に、ある形態のエネルギーを投影するためのプロジェクタを含む、請求項１６に記載の方法。
18. 前記装置が、遠隔制御される独立の移動装置を含む、請求項１６に記載の方法。
19. 前記装置が、伸縮アームを含む、請求項１６に記載の方法。
20. 前記装置が、ノズルを含む、請求項１６に記載の方法。
21. 前記標的昆虫の近くに生物がいるかどうかを前記空間の前記画像から決定することと、
    前記標的昆虫の近くに生物が存在するかどうかの前記決定に基づいて、前記標的昆虫の前記実世界位置において前記標的昆虫を排除するように前記装置を制御することと、を含む、請求項１６に記載の方法。
22. 前記装置が、自律移動装置であり、前記方法が、
    前記空間の画像から前記標的昆虫の実世界位置を決定することと、
    前記標的昆虫の前記実世界位置の近くに移動するように前記装置を制御することと、を含む、請求項１に記載の方法。
23. 前記物体が標的昆虫であることを決定するために前記空間の画像に学習モデルを適用することを含む、請求項１に記載の方法。
24. 空間内の標的昆虫を検出するためのシステムであって、
    前記空間の画像を取得するためのカメラと、
    前記カメラと通信するプロセッサと、を含み、前記プロセッサが、
    前記空間の前記画像のうちの少なくとも２つを比較することによって物体を検出し、
    前記空間の画像内の前記物体の特性に基づいて、前記物体が標的昆虫であることを決定する、システム。
25. 空間内の昆虫を処理するためのシステムであって、
    前記空間の画像を取得するためのカメラと、
    前記カメラとは別個に移動可能な装置と、
    前記空間の前記画像のうちの少なくとも１つにおいて前記昆虫を検出し、かつ
    前記空間の前記画像の分析に基づいて、前記昆虫の近くに移動するように前記装置を制御するためのプロセッサと、を含む、システム。
26. 前記プロセッサが、同じフレーム内に前記昆虫および前記装置を有する前記空間の画像の分析に基づいて、前記昆虫の近くに移動するように前記装置を制御する、請求項２５に記載のシステム。
27. 前記プロセッサが、前記カメラから前記昆虫の方向を推定し、前記プロセッサが、ほぼ前記方向へ移動するように前記装置を制御する、請求項２６に記載のシステム。
28. 前記プロセッサが、前記昆虫からの前記装置の距離を推定し、前記プロセッサが、前記昆虫から所定の距離に移動するように前記装置を制御する、請求項２７に記載のシステム。
29. 前記昆虫からの前記装置の前記距離を推定するために前記プロセッサと通信する距離計を含む、請求項２８に記載のシステム。
30. 前記プロセッサが、前記空間の画像からの前記昆虫のサイズを前記昆虫の予想されるサイズと比較することによって、前記昆虫からの前記装置の前記距離を推定する、請求項２８に記載のシステム。
31. 前記プロセッサが、前記フレーム内の光点の位置を分析することによって前記昆虫からの前記装置の距離を推定し、前記光点が前記装置から投影される、請求項２８に記載のシステム。
32. 前記装置が前記昆虫から前記所定の距離にあるときに、前記プロセッサが、前記昆虫を排除するように前記装置を制御する、請求項２８に記載のシステム。
33. 前記装置が、前記装置から延長可能な部材を含み、前記プロセッサが、前記部材を介して前記昆虫を排除するように前記装置を制御する、請求項３２に記載のシステム。
34. 前記装置が、前記昆虫の画像を取得するための追加のカメラを含む、請求項２５に記載のシステム。
35. 前記装置が、ある形態のエネルギーのビームを前記昆虫の近くに投影するためのプロジェクタを含む、請求項２５に記載のシステム。
36. 前記装置に電力を供給および／またはロードするためのドッキングステーションを含む、請求項２５に記載のシステム。
37. 前記装置が、前記昆虫を電気的、機械的、または化学的に排除するように構成されている、請求項２５に記載のシステム。
    
    

Images