JP2020042528A

JP2020042528A - オブジェクト識別システム、モデル学習システム、オブジェクト識別方法、モデル学習方法、プログラム

Info

Publication number: JP2020042528A
Application number: JP2018169183A
Authority: JP
Inventors: 橋本　和幸; Kazuyuki Hashimoto; 和幸橋本; 三好堀川; Mitsuyoshi Horikawa; 東岡本; Azuma Okamoto
Original assignee: Iwate Prefectural University
Current assignee: Iwate Prefectural University
Priority date: 2018-09-10
Filing date: 2018-09-10
Publication date: 2020-03-19
Anticipated expiration: 2038-09-10
Also published as: JP7222519B2

Abstract

【課題】撮像画像に含まれるオブジェクト自体を識別することの可能なオブジェクト識別システム、モデル学習システム、オブジェクト識別方法、モデル学習方法、プログラムを提供する。【解決手段】オブジェクト識別システムは、所定空間内に存在する複数のオブジェクトのうち何れかのオブジェクトの撮像画像を取得する第１取得手段４１と、何れかのオブジェクトを撮像した位置における環境情報を取得する第２取得手段４２と、撮像画像及び環境情報を取得した場合に、取得した撮像画像及び環境情報と、撮像画像及び環境情報を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて、撮像されたオブジェクトが複数のオブジェクトのうち何れのオブジェクトであるかを識別する識別手段４３と、を備える。【選択図】図４

Description

本発明は、オブジェクト識別システム、モデル学習システム、オブジェクト識別方法、モデル学習方法、プログラムに関する。

従来、撮像画像に含まれるオブジェクト（例えば、人、動物、物体等）を対象とした画像認識技術が知られている（例えば、特許文献１）。特許文献１に記載された技術では、画像内の画素の画素値の勾配と当該画素の座標との積である勾配モーメントを要素として含む特徴ベクトルを算出する特徴量抽出部と、特徴量抽出部で算出された特徴ベクトルの類似性に基づいて画像を分類する分類部と、を備えており、画像の特徴に基づいて、画像を「車両画像」と「非車両画像」とに分類するように構成されている。

特開２０１５−０１１５５２号公報

従来技術では、画像に含まれるオブジェクトが属するクラス（「車両」又は「非車両」）しか認識（クラス認識）することができず、例えば、同じクラス（例えば、「車両」）に属する複数のオブジェクトの各々の撮像画像が存在する場合に、各撮像画像に含まれるオブジェクト自体を認識（インスタンス認識）することが困難であった。

本発明は上記課題に鑑みてなされたものであり、撮像画像に含まれるオブジェクト自体を識別することの可能なオブジェクト識別システム、モデル学習システム、オブジェクト識別方法、モデル学習方法、プログラムを提供することを目的とする。

上記課題を解決するために、第一に本発明は、所定空間内に存在する複数のオブジェクトのうち何れかのオブジェクトの撮像画像を取得する第１取得手段と、前記何れかのオブジェクトを撮像した位置における環境情報を取得する第２取得手段と、前記撮像画像及び前記環境情報を取得した場合に、取得した前記撮像画像及び前記環境情報と、前記撮像画像及び前記環境情報を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて、撮像されたオブジェクトが前記複数のオブジェクトのうち何れのオブジェクトであるかを識別する識別手段と、を備えるオブジェクト識別システムを提供する（発明１）。

かかる発明（発明１）によれば、撮像画像及び環境情報を取得すると、取得した撮像画像及び環境情報と、撮像画像及び環境情報を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて、撮像されたオブジェクトが複数のオブジェクトのうち何れのオブジェクトであるかが識別されるので、例えば、オブジェクトの撮像画像のみを用いて当該オブジェクトが属するクラスを識別するのではなく、当該オブジェクトの撮像画像とともに当該オブジェクトの撮像位置における環境情報をさらに用いることによって、撮像画像に含まれるオブジェクト自体を識別することが可能になる。これにより、撮像されたオブジェクトの個体認識性能を向上させることができる。

上記発明（発明１）においては、前記第２取得手段は、前記所定空間内の複数の位置に設けられた通信装置と、前記何れかのオブジェクトを撮像した位置に存在する端末装置と、の何れか一方から送信された無線信号を他方が受信したときの受信信号強度を前記環境情報として取得してもよい（発明２）。

かかる発明（発明２）によれば、複数の通信装置と端末装置との何れか一方から送信された無線信号を他方が受信したときの受信信号強度を、何れかのオブジェクトが撮像されたときの端末装置の位置（つまり、当該何れかのオブジェクトの撮像位置）を表す環境情報として取得することができる。

上記発明（発明２）においては、前記学習用データとして用いられる環境情報は、各通信装置に対応する受信信号強度が、撮像されたオブジェクト毎及び通信装置毎に異なるガウス分布に従うと仮定して、前記複数のオブジェクトのうち所定のオブジェクトに対応する各通信装置の受信信号強度のガウス分布に従って抽出された各通信装置の受信信号強度の複数の組み合わせを含んでもよい（発明３）。

かかる発明（発明３）によれば、例えば、複数のオブジェクトのうち所定のオブジェクトが撮像されたと想定して、当該所定のオブジェクトに対応する各通信装置の受信信号強度のガウス分布に従って受信信号強度を通信装置毎に抽出することによって、当該所定のオブジェクトに対応する受信信号強度の複数の組み合わせを容易に生成することができる。これにより、学習用データに含まれる環境情報の量を増やすこと（データオーギュメンテーション）が可能になるので、機械学習を効率良く進めることができる。

第二に本発明は、所定空間内に存在する複数のオブジェクトのうち何れかのオブジェクトの撮像画像と、前記何れかのオブジェクトを撮像した位置における環境情報とを取得する取得手段と、取得した前記撮像画像及び前記環境情報を学習用データとして用いた機械学習によって、撮像されたオブジェクトが前記複数のオブジェクトのうち何れのオブジェクトであるかを識別するのに用いられるモデルを学習する学習手段と、を備えるモデル学習システムを提供する（発明４）。

かかる発明（発明４）によれば、撮像画像及び環境情報を学習用データとして用いた機械学習によって、撮像されたオブジェクトが複数のオブジェクトのうち何れのオブジェクトであるかを識別するのに用いられるモデルを学習することが可能になるので、このモデルを用いることによって、撮像画像に含まれるオブジェクト自体を識別することができる。

第三に本発明は、コンピュータに、所定空間内に存在する複数のオブジェクトのうち何れかのオブジェクトの撮像画像を取得するステップと、前記何れかのオブジェクトを撮像した位置における環境情報を取得するステップと、前記撮像画像及び前記環境情報を取得した場合に、取得した前記撮像画像及び前記環境情報と、前記撮像画像及び前記環境情報を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて、撮像されたオブジェクトが前記複数のオブジェクトのうち何れのオブジェクトであるかを識別するステップと、の各ステップを実行させる、オブジェクト識別方法を提供する（発明５）。

第四に本発明は、コンピュータに、所定空間内に存在する複数のオブジェクトのうち何れかのオブジェクトの撮像画像と、前記何れかのオブジェクトを撮像した位置における環境情報とを取得するステップと、取得した前記撮像画像及び前記環境情報を学習用データとして用いて、撮像されたオブジェクトが前記複数のオブジェクトのうち何れのオブジェクトであるかを識別するのに用いられるモデルを学習するステップと、の各ステップを実行させる、モデル学習方法を提供する（発明６）。

第五に本発明は、コンピュータに、所定空間内に存在する複数のオブジェクトのうち何れかのオブジェクトの撮像画像を取得する機能と、前記何れかのオブジェクトを撮像した位置における環境情報を取得する機能と、前記撮像画像及び前記環境情報を取得した場合に、取得した前記撮像画像及び前記環境情報と、前記撮像画像及び前記環境情報を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて、撮像されたオブジェクトが前記複数のオブジェクトのうち何れのオブジェクトであるかを識別する機能と、を実現させるためのプログラムを提供する（発明７）。

第六に本発明は、コンピュータに、所定空間内に存在する複数のオブジェクトのうち何れかのオブジェクトの撮像画像と、前記何れかのオブジェクトを撮像した位置における環境情報とを取得する機能と、取得した前記撮像画像及び前記環境情報を学習用データとして用いて、撮像されたオブジェクトが前記複数のオブジェクトのうち何れのオブジェクトであるかを識別するのに用いられるモデルを学習する機能と、を実現させるためのプログラムを提供する（発明８）。

本発明のオブジェクト識別システム、モデル学習システム、オブジェクト識別方法、モデル学習方法、プログラムによれば、撮像画像に含まれるオブジェクト自体を識別することができる。

本発明の一実施形態に係るオブジェクト識別システム及びモデル学習システムの基本構成を概略的に示す図である。端末装置の構成を示すブロック図である。識別装置の構成を示すブロック図である。オブジェクト識別システム及びモデル学習システムで主要な役割を果たす機能を説明するための機能ブロック図である。取得データの構成例を示す図である。通信装置及び端末装置間の距離と、受信信号強度との関係を示す図である。学習用データの構成例を示す図である。（ａ）〜（ｃ）は、機械学習の対象となるモデルの構造の一例を示す図である。（ａ）〜（ｃ）は、撮像対象毎及び通信装置毎の受信信号強度の分布の一例を示す図である。本発明の一実施形態に係るモデル学習システムの主要な処理の一例を示すフローチャートである。本発明の一実施形態に係るオブジェクト識別システムの主要な処理の一例を示すフローチャートである。オブジェクト識別システム及びモデル学習システムの各機能について、識別装置と、学習装置との間の分担例を示す図である。

以下、本発明の一実施形態について添付図面を参照して詳細に説明する。ただし、この実施形態は例示であり、本発明はこれに限定されるものではない。

（１）オブジェクト識別システム及びモデル学習システムの基本構成
図１は、本発明の一実施形態に係るオブジェクト識別システム及びモデル学習システムの基本構成を概略的に示す図である。図１に示すように、本実施形態に係るオブジェクト識別システムは、例えば屋内等の所定空間Ｓ内に設けられた複数（図１の例では、「Ａ」〜「Ｄ」と表記された４つ）の通信装置１０の各々と無線通信を行う端末装置２０が空間Ｓ内に存在する場合に、空間Ｓ内に存在する複数（図１の例では、「ａ」〜「ｄ」と表記された４つ）のオブジェクト（例えば、ゴミ箱や消火器等の物体等）ＯＢのうち何れかのオブジェクトＯＢを端末装置２０を用いて撮像した撮像画像と、当該何れかのオブジェクトＯＢを撮像したときの端末装置２０の位置における環境情報（本実施形態では、受信信号強度（ＲＳＳＩ））と、を識別装置３０が取得すると、識別装置３０が、取得した撮像画像及び環境情報と、撮像画像及び環境情報を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて、撮像されたオブジェクトＯＢが複数のオブジェクトＯＢのうち何れのオブジェクトＯＢであるかを識別するようになっている。ここで、端末装置２０と、識別装置３０とは、例えばインターネットやＬＡＮ（Local Area Network）等の通信網ＮＷ（ネットワーク）に接続されている。

また、本実施形態に係るモデル学習システムでは、識別装置３０が、撮像画像及び環境情報を取得すると、取得した撮像画像及び環境情報を学習用データとして用いた機械学習によって、撮像されたオブジェクトＯＢが複数のオブジェクトＯＢのうち何れのオブジェクトＯＢであるかを識別するのに用いられるモデルを学習するようになっている。

本実施形態では、複数のオブジェクトＯＢが同じ種類（クラス）のオブジェクトである場合を一例として説明するが、各オブジェクトＯＢは異なる種類のオブジェクトであってもよい。

各通信装置１０は、空間Ｓ内で無線ＬＡＮ（例えばＷｉ−Ｆｉ（登録商標））を用いて端末装置２０と無線通信を行うことが可能な位置に設けられている。各通信装置１０は、例えば、２つ以上の端末装置２０間の無線通信を中継する装置であってもよいし、端末装置２０と空間Ｓ内に存在する他の端末装置（図示省略）との間の無線通信を中継する装置であってもよいし、端末装置２０と、通信網ＮＷを介して接続された他の装置との間の通信を中継する装置であってもよい。また、各通信装置１０は、パケットキャプチャであってもよい。

なお、ここでは、Ｗｉ−Ｆｉ（登録商標）を用いて無線通信を行う場合を一例として説明しているが、通信方式は、この場合に限られない。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ、光無線通信（例えば赤外線）等の無線通信方式が用いられてもよいし、ＵＳＢ等の有線通信方式が用いられてもよい。

端末装置２０は、空間Ｓ内に存在する場合に、無線ＬＡＮを用いて各通信装置１０と無線通信を行うことができるように構成されている。また、端末装置２０は、各通信装置１０との間で無線通信を行うために、自身の識別情報（例えばＭＡＣアドレス等）を含む無線信号（例えばプローブ要求等）を所定間隔（例えば数秒）で送信するように構成されてもよい。さらに、端末装置２０は、何れかのオブジェクトＯＢを撮像した場合に、撮像位置における環境情報（本実施形態では、無線信号の受信信号強度）を測定するように構成されてもよい。端末装置２０は、例えば、携帯端末、スマートフォン、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、双方向の通信機能を備えたテレビジョン受像機（いわゆる多機能型のスマートテレビも含む。）等のように、個々のユーザによって操作される端末装置であってもよい。

識別装置３０は、通信網ＮＷを介して端末装置２０と通信を行い、撮像画像及び環境情報を端末装置２０から取得するように構成されている。なお、識別装置３０は、複数の通信装置１０を介して端末装置２０と通信可能に構成されている場合には、通信網ＮＷを介して端末装置２０と接続されていなくてもよい。識別装置３０は、例えば、汎用のパーソナルコンピュータであってもよい。

（２）端末装置の構成
図２を参照して端末装置２０の構成について説明する。図２は、端末装置２０の内部構成を示すブロック図である。図２に示すように、端末装置２０は、ＣＰＵ（Central Processing Unit）２１と、ＲＯＭ（Read Only Memory）２２と、ＲＡＭ（Random Access Memory）２３と、記憶装置２４と、表示処理部２５と、表示部２６と、入力部２７と、撮像部２８と、通信インタフェース部２９と、を備えており、各部間の制御信号又はデータ信号を伝送するためのバス２０ａが設けられている。

ＣＰＵ２１は、電源が端末装置２０に投入されると、ＲＯＭ２２又は記憶装置２４に記憶された各種のプログラムをＲＡＭ２３にロードして実行する。また、ＣＰＵ２１は、複数のオブジェクトＯＢのうち何れかのオブジェクトＯＢを含む画像が撮像部２８を用いて撮像される毎に、撮像画像と、撮像位置における環境情報とを、通信インタフェース部２９を介して端末装置２０に送信するように構成されている。

記憶装置２４は、例えば、フラッシュメモリ、ＳＳＤ（Solid State Drive）、磁気記憶装置（例えばＨＤＤ（Hard Disk Drive）、フロッピーディスク（登録商標）、磁気テープ等）、光ディスク等の不揮発性の記憶装置であってもよいし、ＲＡＭ等の揮発性の記憶装置であってもよく、ＣＰＵ２１が実行するプログラムやＣＰＵ２１が参照するデータを格納する。

表示処理部２５は、ＣＰＵ２１から与えられる表示用データを表示部２６に表示する。表示部２６は、例えば、マトリクス状に画素単位で配置された薄膜トランジスタを含むＬＣＤ（Liquid Crystal Display）モニタであり、表示用データに基づいて薄膜トランジスタを駆動することで、表示されるデータを表示画面に表示する。

端末装置２０が釦入力方式の通信端末である場合には、入力部２７は、ユーザの操作入力を受け入れるための方向指示釦及び決定釦等の複数の指示入力釦を含む釦群と、テンキー等の複数の指示入力釦を含む釦群とを備え、各釦の押下（操作）入力を認識してＣＰＵ２１へ出力するためのインタフェース回路を含む。

端末装置２０がタッチパネル入力方式の通信端末である場合には、入力部２７は、主として表示画面に指先又はペンで触れることによるタッチパネル方式の入力を受け付ける。タッチパネル入力方式は、静電容量方式等の公知の方式でよい。

また、端末装置２０が音声入力可能な端末装置である場合には、入力部２７は、音声入力用のマイクを含むように構成されてもよいし、外付けのマイクを介して入力された音声データをＣＰＵ２１へ出力するためのインタフェース回路を備えてもよい。

撮像部２８は、動画像及び／又は静止画像を撮像する撮像装置（例えば、デジタルカメラやデジタルビデオカメラ等）であってもよく、所定の撮像指示が入力部２７を用いて入力されると撮像処理を行い、撮像画像を例えばＲＡＭ２３又は記憶装置２４に記憶するように構成されている。なお、撮像部２８は、端末装置２０に内蔵されていてもよいし、端末装置２０の外部に設けられていてもよい。

通信インタフェース部２９は、各通信装置１０と無線通信を行うためのインタフェース回路と、通信網ＮＷを介して通信を行うためのインタフェース回路と、を含む。また、通信インタフェース部２９には、各通信装置１０から送信された無線信号を受信したときの受信信号強度を検出するＲＳＳＩ回路が設けられている。

なお、各通信装置１０から送信された無線信号には、無線信号を送信した通信装置１０の識別情報（例えば、ＭＡＣ（Media Access Control）アドレス等）が含まれていてもよく、通信装置１０から送信された無線信号の受信信号強度がＲＳＳＩ回路によって検出されると、検出された受信信号強度と当該通信装置１０の識別情報とが互いに対応付けられた状態で例えばＲＡＭ２３又は記憶装置２４に記憶されてもよい。

（３）識別装置の構成
図３を参照して識別装置３０の構成について説明する。図３は、識別装置３０の内部構成を示すブロック図である。図３に示すように、識別装置３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、記憶装置３４と、表示処理部３５と、表示部３６と、入力部３７と、通信インタフェース部３８と、を備えており、各部間の制御信号又はデータ信号を伝送するためのバス３０ａが設けられている。

ＣＰＵ３１は、電源が識別装置３０に投入されると、ＲＯＭ３２又は記憶装置３４に記憶された各種のプログラムをＲＡＭ３３にロードして実行する。本実施形態では、ＣＰＵ３１は、ＲＯＭ３２又は記憶装置３４に記憶されたプログラムを読み出して実行することにより、後述する第１取得手段４１、第２取得手段４２、識別手段４３、取得手段４４及び学習手段４５（図４に示す）の機能を実現する。

記憶装置３４は、例えば、フラッシュメモリ、ＳＳＤ、磁気記憶装置（例えばＨＤＤ、フロッピーディスク（登録商標）、磁気テープ等）、光ディスク等の不揮発性の記憶装置であってもよいし、ＲＡＭ等の揮発性の記憶装置であってもよく、ＣＰＵ３１が実行するプログラムやＣＰＵ３１が参照するデータを格納する。また、記憶装置３４には、後述する取得データ（図５に示す）及び学習用データ（図７に示す）が記憶されている。

入力部３７は、例えばマウスやキーボード等の情報入力デバイスであってもよいし、音声入力用のマイクを含むように構成されてもよいし、画像入力用のデジタルカメラやデジタルビデオカメラを含むように構成されてもよいし、外付けのデジタルカメラやデジタルビデオカメラで撮像された画像データを受け付けてＣＰＵ３１へ出力するためのインタフェース回路を備えてもよい。

通信インタフェース部３８は、通信網ＮＷを介して通信を行うためのインタフェース回路を含む。識別装置３０内の他の各部の詳細は、端末装置２０と同様であってもよい。

（４）オブジェクト識別システム及びモデル学習システムにおける各機能の概要
本実施形態のオブジェクト識別システム及びモデル学習システムで実現される機能について、図４を参照して説明する。図４は、本実施形態のオブジェクト識別システム及びモデル学習システムで主要な役割を果たす機能を説明するための機能ブロック図である。図４の機能ブロック図では、第１取得手段４１、第２取得手段４２及び識別手段４３が本発明のオブジェクト識別システムの主要な構成に対応しており、取得手段４４及び学習手段４５が本発明のモデル学習システムの主要な構成に対応している。

第１取得手段４１は、所定空間Ｓ内に存在する複数のオブジェクトＯＢのうち何れかのオブジェクトＯＢの撮像画像を取得する機能を備える。

第１取得手段４１の機能は、例えば以下のように実現される。先ず、端末装置２０のＣＰＵ２１は、複数のオブジェクトＯＢのうち何れかのオブジェクトＯＢ（例えば、「ａ」のオブジェクトＯＢ）が撮像部２８の撮像範囲内に存在する場合に、所定の撮像指示が入力部２７を用いて入力されると、撮像部２８に対して撮像処理を行わせる。撮像部２８によって撮像された画像（ここでは、「ａ」のオブジェクトＯＢの撮像画像）のデータは、例えばＲＡＭ２３又は記憶装置２４に記憶される。そして、ＣＰＵ２１は、例えばＲＡＭ２３又は記憶装置２４に記憶された撮像画像のデータを、通信インタフェース部２９及び通信網ＮＷを介して識別装置３０に送信する。

一方、識別装置３０のＣＰＵ３１は、撮像画像のデータを、通信インタフェース部３８を介して受信（取得）すると、受信した撮像画像のデータを例えばＲＡＭ３３又は記憶装置３４に記憶する。なお、ＣＰＵ３１は、撮像画像が動画で構成されている場合には、撮像画像をいくつかのフレームに分割して、分割された各フレームを撮像画像として例えばＲＡＭ３３又は記憶装置３４に記憶してもよい。このようにして、空間Ｓ内に存在する複数のオブジェクトＯＢのうち何れかのオブジェクトＯＢ（ここでは、「ａ」のオブジェクトＯＢ）の撮像画像を取得することができる。

第２取得手段４２は、複数のオブジェクトＯＢのうち何れかのオブジェクトＯＢを撮像した位置における環境情報を取得する機能を備える。

また、第２取得手段４２は、所定空間Ｓ内の複数の位置に設けられた通信装置１０と、何れかのオブジェクトＯＢを撮像した位置に存在する端末装置２０と、の何れか一方から送信された無線信号を他方が受信したときの受信信号強度を環境情報として取得してもよい。これにより、複数の通信装置１０と端末装置２０との何れか一方から送信された無線信号を他方が受信したときの受信信号強度を、何れかのオブジェクトＯＢが撮像されたときの端末装置２０の位置（つまり、当該何れかのオブジェクトＯＢの撮像位置）を表す環境情報として取得することができる。

ここで、第２取得手段４２によって取得される受信信号強度は、例えば、受信信号強度の値そのものであってもよいし、受信信号強度の値を所定の計算式に代入することによって得られた値であってもよいし、受信信号強度の度合いを表す情報であってもよい。

第２取得手段４２の機能は、例えば以下のように実現される。なお、ここでは、第２取得手段４２が、各通信装置１０から送信された無線信号を端末装置２０が受信したときの受信信号強度を、複数のオブジェクトＯＢのうち何れかのオブジェクトＯＢを撮像した位置における環境情報として取得する場合を一例として説明する。先ず、端末装置２０のＣＰＵ２１は、各通信装置１０から送信された無線信号を受信する毎に、ＲＳＳＩ回路によって検出された当該無線信号の受信信号強度の値を例えばＲＡＭ２３又は記憶装置２４に記憶する。また、ＣＰＵ２１は、上述したように撮像部２８に対して撮像処理を行わせた場合に、例えばＲＡＭ２３又は記憶装置２４に記憶された受信信号強度の値のうち最新の受信信号強度の値を複数の通信装置１０毎に抽出し、抽出した受信信号強度の値を、通信インタフェース部２９及び通信網ＮＷを介して識別装置３０に送信する。ここで、ＣＰＵ２１は、抽出した受信信号強度の値を、撮像画像とともに送信してもよい。

一方、識別装置３０のＣＰＵ３１は、各通信装置１０に対応する受信信号強度の値を通信インタフェース部３８を介して受信（取得）すると、第１取得手段４１の機能に基づいて取得した撮像画像のデータと、各通信装置１０に対応する受信信号強度の値と、を対応付けた状態で例えば図５に示す取得データに記憶する。取得データは、撮像画像毎に、各通信装置１０（図の例では、通信装置Ａ〜Ｄ）に対応する受信信号強度の値が対応付けられた状態で記述されているデータである。このようにして、各通信装置１０から送信された無線信号を端末装置２０が受信したときの受信信号強度を、複数のオブジェクトＯＢのうち何れかのオブジェクトＯＢを撮像した位置における環境情報として取得することができる。

なお、通信装置１０から送信された無線信号を端末装置２０が受信したときの受信信号強度に基づいて、通信装置１０と端末装置２０との距離をもとめることができる。具体的に説明すると、１つの通信装置１０と端末装置２０との距離は、例えば、以下の式（１）及び（２）を用いることによって算出することができる。
Ｐ_ｒ＝Ｐ_ｔ＋Ｇ_ｒ＋Ｇ_ｔ−Ｌ …（１）

式（１）中、Ｐ_ｒは受信信号強度（ｄＢｍ）を示し、Ｐ_ｔは電波発信装置（ここでは、通信装置１０）の送信電力（ｄＢｍ）を示し、Ｇ_ｒは端末装置２０の受信アンテナの利得（ｄＢｉ）を示し、Ｇ_ｔは通信装置１０の送信アンテナの利得（ｄＢｉ）を示し、Ｌは自由空間損失（ｄＢｍ）を示している。このＬは式（２）でもとめられ、式（２）中、ｄは通信装置１０と端末装置２０との距離（ｍ）を示し、ｆは電波の周波数（Ｈｚ）を示し、ｃは光速（＝２．９９７９２４５８×１０^８）（ｍ／ｓ）を示している。式（１）及び式（２）によってもとめられる距離と受信信号強度の値との関係は、例えば図６に示す対数関数で表される。図６に示すように、通信装置１０と端末装置２０との距離が短いほど、受信信号強度の値が大きいことがわかる。

このようにして、何れかのオブジェクトＯＢが撮像されたときの複数の通信装置１０の各々と端末装置２０との距離をもとめることによって、当該何れかのオブジェクトＯＢが撮像されたときの空間Ｓ内の端末装置２０の位置（つまり、当該何れかのオブジェクトＯＢの撮像位置）を推定することができる。なお、空間Ｓ内に設けられる通信装置１０の数が３つ以上の場合には、空間Ｓ内の所定の平面上の端末装置２０の位置を推定することができ、通信装置１０の数が４つ以上の場合には、空間Ｓ内の端末装置２０の３次元の位置を推定することができる。

識別手段４３は、撮像画像及び環境情報を取得した場合に、取得した撮像画像及び環境情報と、撮像画像及び環境情報を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて、撮像されたオブジェクトＯＢが複数のオブジェクトＯＢのうち何れのオブジェクトＯＢであるかを識別する機能を備える。

識別手段４３の機能は、例えば以下のように実現される。識別装置３０のＣＰＵ３１は、第１取得手段４１及び第２取得手段４２の機能に基づいて撮像画像及び環境情報を取得すると、取得した撮像画像及び環境情報を、撮像画像及び環境情報を学習用データとして用いた機械学習に基づく学習済モデル（後述する）に入力することによって、撮像されたオブジェクトＯＢが複数のオブジェクトＯＢのうち何れのオブジェクトＯＢであるかを識別する。学習用データの一例を図７に示す。図７に示す学習用データは、撮像画像毎に、撮像位置における環境情報（図７の例では、撮像位置における各通信装置１０（図の例では、通信装置Ａ〜Ｄ）に対応する受信信号強度の値）と、（正解データである）撮像されたオブジェクトＯＢ（図７の例では、「ａ」、「ｂ」、「ｃ」及び「ｄ」の何れか）と、が対応付けられた状態で記述されているデータである。これにより、機械学習の結果として、撮像画像及び環境情報（ここでは、各通信装置１０に対応する受信信号強度）と、撮像されたオブジェクトＯＢとの関係を示す学習済モデルが構成される。

なお、ＣＰＵ３１は、撮像されたオブジェクトＯＢが何れのオブジェクトＯＢ（例えば、「ａ」のオブジェクトＯＢ）であるかを識別すると、例えば、識別されたオブジェクトＯＢ（ここでは、「ａ」のオブジェクトＯＢ）に関する情報を提示してもよいし（例えば、表示部３６に表示することであってもよいし、スピーカ等の音声出力装置から出力すること等であってもよい）、第１取得手段４１及び第２取得手段４２の機能に基づいて取得した撮像画像及び環境情報と、識別されたオブジェクトＯＢに関する情報とを対応付けた状態で例えばＲＡＭ３３又は記憶装置３４に記憶してもよい。

取得手段４４は、所定空間Ｓ内に存在する複数のオブジェクトＯＢのうち何れかのオブジェクトＯＢの撮像画像と、当該何れかのオブジェクトを撮像した位置における環境情報とを取得する機能を備える。

取得手段４４の機能は、例えば以下のように実現される。なお、ここでは、取得手段４４が、各通信装置１０から送信された無線信号を端末装置２０が受信したときの受信信号強度を、何れかのオブジェクトＯＢを撮像した位置における環境情報として取得する場合を一例として説明する。識別装置３０のＣＰＵ３１は、第１取得手段４１及び第２取得手段４２の機能と同様に、撮像画像のデータと、各通信装置１０に対応する受信信号強度の値とを通信インタフェース部３８を介して端末装置２０から受信（取得）すると、受信した撮像画像のデータと、各通信装置１０に対応する受信信号強度の値と、を対応付けた状態で例えば図７に示す学習用データに記憶する。また、ＣＰＵ３１は、学習用データに記憶された撮像画像毎に、複数のオブジェクトＯＢ（図７の例では、「ａ」、「ｂ」、「ｃ」及び「ｄ」）のうち何れのオブジェクトＯＢが撮像されたかを示す正解データが入力部３７を用いて入力されると、入力された正解データを、撮像画像に対応する「オブジェクト」の項目に記憶する。

学習手段４５は、取得した撮像画像及び環境情報を学習用データとして用いた機械学習によって、撮像されたオブジェクトＯＢが複数のオブジェクトＯＢのうち何れのオブジェクトＯＢであるかを識別するのに用いられるモデルを学習する機能を備える。

学習手段４５の機能は、例えば以下のように実現される。識別装置３０のＣＰＵ３１は、例えば、所定のモデル学習指示が入力部３７を用いて入力されると、図７に示す学習用データを用いてモデルの学習を行う。ここで、ＣＰＵ３１は、図８（ａ）〜（ｃ）に示す３種類のモデルのうち何れかのモデルを用いて学習してもよい。各モデルについて以下に説明する。

図８（ａ）に示すモデルは、先ず、入力層で複数の環境情報（ここでは、複数の通信装置１０の各々に対応する受信信号強度）を画像と同じ縦横比に整形する。これにより、複数の環境情報と画像の特徴を同時に抽出することができると考えられる。そして、このモデルは、整形後の各環境情報と画像とを連結（concatenate）した後のテンソルを学習するようになっている。なお、図８（ａ）には３つの画像が示されているが、これらは、撮像画像のＲＧＢの各々のピクセルからなるテンソルである。ここで、画像を表すテンソルをｘ_ｉｊｋ（ｉは縦の画素数、ｊは横の画素数、ｋはチャンネル数）とし、環境情報を表すテンソルをｓ_ｌ（ｌは環境情報を測定する装置の数（ここでは、端末装置２０の数））とし、ｘ_ｉｊｋ及びｓ_ｌの各々を操作して得られるテンソルをＸとし、ｆ，ｆ´をニューラルネットワークとすると、入力に対して各クラス（ここでは、「ａ」、「ｂ」、「ｃ」及び「ｄ」の各オブジェクト）に属する確率ｆ_θ（ｘ_ｉｊｋ，ｓ_ｌ）を、以下の式（３）及び（４）を用いることによって算出することができる。

式（３）において、Ｐ_ｉｊはｘ_ｉｊｋと同じ縦横比であって全ての要素が１のテンソルであり、式（３）において、｜｜は各テンソルの連結を表す。θは、確率的勾配降下法を用いて決定される。入力層で連結を行うことから、本実施形態では、このモデルをｍＣＮＮ−ｃ（multimodal Convolutional Neural Network concatenate）と称することとする。

図８（ｂ）に示すモデルは、入力層で複数の環境情報（ここでは、複数の通信装置１０の各々に対応する受信信号強度）に重みを付け、画像との和を学習するようになっている。これにより、各環境情報の影響度を表現することができると考えられる。ｓ_ｌに対する重みをｗ_ｌとした場合、入力に対して各クラス（ここでは、「ａ」、「ｂ」、「ｃ」及び「ｄ」の各オブジェクト）に属する確率ｆ_θ（ｘ_ｉｊｋ，ｓ_ｌ）を、以下の式（５）及び（６）を用いることによって算出することができる。

θ及びｗは、確率的勾配降下法を用いて決定される。入力層で重みを付けることから、本実施形態では、このモデルをｍＣＮＮ−ｗ（multimodal Convolutional Neural Network weighted）と称することとする。

一般に、畳み込みニューラルネットワーク（ＣＮＮ）では、出力層の前でテンソルを変形してランクを１とし、全結合層を用いる。図８（ｃ）に示すモデルは、画像に対してＣＮＮを用いた後にランク１にしたテンソルと、環境情報に対して複数の全結合層を重ねたランク１のテンソルとを連結し、再び全結合層を重ねるようになっている。これにより、画像の特徴がＣＮＮによって抽出可能であり、環境情報の特徴がＦＮＮ（Forward Neural Network）によって抽出可能であると考えられる。中間層をｆ´´，ｆ´´´とした場合、入力に対して各クラス（ここでは、「ａ」、「ｂ」、「ｃ」及び「ｄ」の各オブジェクト）に属する確率ｆ_θ（ｘ，ｓ）を、以下の式（７）を用いることによって算出することができる。

θは、確率的勾配降下法を用いて決定される。全結合層の前の連結を行うことから、本実施形態では、このモデルをｍＣＮＮ−ｆ（multimodal Convolutional Neural Network fully-connected）と称することとする。なお、発明者は、上述した３つのモデルのうちｍＣＮＮ−ｆを用いた場合に、少ない学習回数で高精度の識別結果が得られることを見出した。

なお、学習用データとして用いられる環境情報は、各通信装置１０に対応する受信信号強度が、撮像されたオブジェクトＯＢ毎及び通信装置１０毎に異なるガウス分布に従うと仮定して、複数のオブジェクトＯＢのうち所定のオブジェクトＯＢに対応する各通信装置１０の受信信号強度のガウス分布に従って抽出された各通信装置１０の受信信号強度の複数の組み合わせを含んでもよい。これにより、例えば、複数のオブジェクトＯＢのうち所定のオブジェクトＯＢが撮像されたと想定して、当該所定のオブジェクトＯＢに対応する各通信装置１０の受信信号強度のガウス分布に従って受信信号強度を通信装置１０毎に抽出することによって、当該所定のオブジェクトＯＢに対応する受信信号強度の複数の組み合わせを容易に生成することができる。これにより、学習用データに含まれる環境情報の量を増やすこと（データオーギュメンテーション）が可能になるので、機械学習を効率良く進めることができる。

この場合における取得手段４４又は学習手段４５の機能は、例えば以下のように実現される。識別装置３０のＣＰＵ３１は、例えば、所定のタイミング毎（例えば、所定時間が経過する毎であってもよいし、撮像画像及び環境情報を所定数記憶する毎等であってもよい）に、学習用データを用いて、以下に示す環境情報（ここでは、各通信装置１０に対応する受信信号強度）のデータオーギュメンテーション処理を行ってもよい。

ここで、複数のオブジェクトＯＢのうち何れかのオブジェクトＯＢを撮像したときの各通信装置１０に対応する受信信号強度の分布の一例を図９（ａ）〜（ｃ）に示す。図９（ａ）は、「ａ」のオブジェクトＯＢが撮像された場合の通信装置Ａに対応する受信信号強度の分布の一例を示しており、図９（ｂ）は、「ｂ」のオブジェクトＯＢが撮像された場合の通信装置Ａに対応する受信信号強度の分布の一例を示しており、図９（ｃ）は、「ａ」のオブジェクトＯＢが撮像された場合の通信装置Ｂに対応する受信信号強度の分布の一例を示している。これらの分布は、例えば学習用データを用いて生成され得る。

図９（ａ）〜（ｃ）に示すように、各々の分布は、受信信号強度の平均値を略中心として左右対称な釣鐘型の分布（ガウス分布）に近似している。したがって、各通信装置１０に対応する受信信号強度が、撮像されたオブジェクトＯＢ毎（「ａ」、「ｂ」、「ｃ」及び「ｄ」のオブジェクトＯＢ毎）及び通信装置毎（通信装置Ａ〜Ｄ毎）に異なるガウス分布に従うと仮定することができる。そこで、識別装置３０のＣＰＵ３１は、環境情報のデータオーギュメンテーション処理として、複数のオブジェクトＯＢのうち所定のオブジェクトＯＢ（例えば、「ａ」のオブジェクトＯＢ）が撮像されたときの各通信装置１０（通信装置Ａ〜Ｄ）の受信信号強度のガウス分布に従って、当該所定のオブジェクトＯＢに対応する各通信装置１０（通信装置Ａ〜Ｄ）の受信信号強度の複数の組み合わせを抽出してもよい。そして、ＣＰＵ３１は、抽出した各通信装置１０（通信装置Ａ〜Ｄ）の受信信号強度の複数の組み合わせを、所定のオブジェクトＯＢ（ここでは、「ａ」のオブジェクトＯＢ）に対応付けた状態で学習用データに記憶してもよい。

（５）本実施形態のモデル学習システムの主要な処理のフロー
次に、本実施形態のモデル学習システムにより行われる主要な処理のフローの一例について、図１０のフローチャートを参照して説明する。

先ず、端末装置２０のＣＰＵ２１は、複数のオブジェクトＯＢのうち何れかのオブジェクトＯＢ（例えば、「ａ」のオブジェクトＯＢ）が撮像部２８の撮像範囲内に存在する場合に、所定の撮像指示が入力部２７を用いて入力されると、撮像部２８に対して撮像処理を行わせる。撮像部２８によって撮像された画像（ここでは、「ａ」のオブジェクトＯＢの撮像画像）のデータは、例えばＲＡＭ２３又は記憶装置２４に記憶される。また、端末装置２０のＣＰＵ２１は、各通信装置１０から送信された無線信号を受信する毎に、ＲＳＳＩ回路によって検出された当該無線信号の受信信号強度の値を例えばＲＡＭ２３又は記憶装置２４に記憶する。そして、ＣＰＵ２１は、撮像部２８に対して撮像処理を行わせた場合に、例えばＲＡＭ２３又は記憶装置２４に記憶された受信信号強度の値のうち最新の受信信号強度の値を複数の通信装置１０毎に抽出し、抽出した受信信号強度の値と、例えばＲＡＭ２３又は記憶装置２４に記憶された撮像画像のデータとを、通信インタフェース部２９及び通信網ＮＷを介して識別装置３０に送信する。

一方、識別装置３０のＣＰＵ３１は、何れかのオブジェクトＯＢの撮像画像のデータと、撮像した位置における環境情報（ここでは、各通信装置１０に対応する受信信号強度の値）とを通信インタフェース部３８を介して端末装置２０から受信（取得）すると（ステップＳ１００）、受信した撮像画像のデータと、各通信装置１０に対応する受信信号強度の値と、を対応付けた状態で学習用データに記憶する。また、ＣＰＵ３１は、学習用データに記憶された撮像画像毎に、複数のオブジェクトＯＢのうち何れのオブジェクトＯＢが撮像されたかを示す正解データが入力部３７を用いて入力されると、入力された正解データを、撮像画像に対応する「オブジェクト」の項目に記憶する。

次に、識別装置３０のＣＰＵ３１は、取得した撮像画像及び環境情報を学習用データとして用いた機械学習によって、撮像されたオブジェクトＯＢが複数のオブジェクトＯＢのうち何れのオブジェクトＯＢであるかを識別するのに用いられるモデルを学習する（ステップＳ１０２）。具体的に説明すると、ＣＰＵ３１は、例えば、所定のモデル学習指示が入力部３７を用いて入力されると、学習用データを用いてモデルの学習を行う。ここで、ＣＰＵ３１は、上述したｍＣＮＮ−ｃ、ｍＣＮＮ−ｗ、ｍＣＮＮ−ｆの３つのモデルのうち何れかのモデルを用いて学習してもよい。

このようにして、撮像画像及び環境情報を学習用データとして用いた機械学習によって、撮像されたオブジェクトＯＢが複数のオブジェクトＯＢのうち何れのオブジェクトＯＢであるかを識別するのに用いられるモデルを学習することが可能になる。

（６）本実施形態のオブジェクト識別システムの主要な処理のフロー
次に、本実施形態のオブジェクト識別システムにより行われる主要な処理のフローの一例について、図１１のフローチャートを参照して説明する。

先ず、識別装置３０のＣＰＵ３１は、端末装置２０から送信された撮像画像のデータを、通信インタフェース部３８を介して受信（取得）すると（ステップＳ２００）、受信した撮像画像のデータを例えばＲＡＭ３３又は記憶装置３４に記憶する。

次に、識別装置３０のＣＰＵ３１は、端末装置２０から送信された各通信装置１０に対応する受信信号強度の値を通信インタフェース部３８を介して受信（取得）すると（ステップＳ２０２）、ステップＳ２００の処理において取得した撮像画像のデータと、各通信装置１０に対応する受信信号強度の値と、を対応付けた状態で取得データに記憶する。

そして、識別装置３０のＣＰＵ３１は、撮像画像及び環境情報を取得した場合に、ステップＳ２００及びステップＳ２０２の処理において取得した撮像画像及び環境情報と、撮像画像及び環境情報を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて、撮像されたオブジェクトＯＢが複数のオブジェクトＯＢのうち何れのオブジェクトＯＢであるかを識別する（ステップＳ２０４）。

このようにして、撮像画像及び環境情報が取得されると、取得された撮像画像及び環境情報と、撮像画像及び環境情報を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて、撮像されたオブジェクトＯＢが複数のオブジェクトＯＢのうち何れのオブジェクトＯＢであるかを識別することが可能になる。

上述したように、本実施形態のオブジェクト識別システム、オブジェクト識別方法、プログラムによれば、撮像画像及び環境情報を取得すると、取得した撮像画像及び環境情報と、撮像画像及び環境情報を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて、撮像されたオブジェクトＯＢが複数のオブジェクトＯＢのうち何れのオブジェクトＯＢであるかが識別されるので、例えば、オブジェクトＯＢの撮像画像のみを用いて当該オブジェクトＯＢが属するクラスを識別するのではなく、当該オブジェクトＯＢの撮像画像とともに当該オブジェクトＯＢの撮像位置における環境情報をさらに用いることによって、撮像画像に含まれるオブジェクトＯＢ自体を識別することが可能になる。これにより、撮像されたオブジェクトＯＢの個体認識性能を向上させることができる。

また、本実施形態のモデル学習システム、モデル学習方法、プログラムによれば、撮像画像及び環境情報を学習用データとして用いた機械学習によって、撮像されたオブジェクトＯＢが複数のオブジェクトＯＢのうち何れのオブジェクトＯＢであるかを識別するのに用いられるモデルを学習することが可能になるので、このモデルを用いることによって、撮像画像に含まれるオブジェクトＯＢ自体を識別することができる。

以下、上述した実施形態の変形例について説明する。
（変形例１）
上記実施形態では、第２取得手段４２が、各通信装置１０から送信された無線信号を端末装置２０が受信したときの受信信号強度を取得する場合を一例として説明したが、この場合に限られない。例えば、第２取得手段４２は、端末装置２０から送信された無線信号を各通信装置１０が受信したときの受信信号強度を取得してもよい。ここで、各通信装置１０には、端末装置２０から送信された無線信号を受信したときの受信信号強度を検出するＲＳＳＩ回路が設けられていてもよい。

この場合、端末装置２０のＣＰＵ２１は、各通信装置１０に対して、無線信号の受信信号強度の値を端末装置２０に送信するように要求してもよい。そして、識別装置３０のＣＰＵ３１は、第２取得手段４２の機能として、端末装置２０から送信された各通信装置１０の受信信号強度の値を通信インタフェース部３８を介して受信（取得）すると、受信した情報を取得データに記憶してもよい。

このように、本変形例にかかるオブジェクト識別システム、モデル学習システム、オブジェクト識別方法、モデル学習方法、プログラムによれば、上述した実施形態と同様の作用効果を発揮することが可能である。

（変形例２）
上記実施形態では、第２取得手段４２が、空間Ｓ内の複数の位置に設けられた通信装置１０と、何れかのオブジェクトＯＢを撮像した位置に存在する端末装置２０と、の何れか一方から送信された無線信号を他方が受信したときの受信信号強度を環境情報として取得する場合を一例として説明したが、この場合に限られない。例えば、第２取得手段４２は、何れかのオブジェクトＯＢを撮像した位置における温度、湿度、気圧、照度、地磁気、緯度、経度、高度等を環境情報として取得してもよい。この場合、端末装置２０には、例えば、何れかのオブジェクトＯＢが撮像されたときに測定を行う温度センサ、湿度センサ、気圧センサ、照度センサ、地磁気センサ、ＧＰＳ（Global Positioning System）センサ等のセンサ装置が設けられていてもよい。

なお、本発明のプログラムは、コンピュータで読み取り可能な記憶媒体に記憶されていてもよい。このプログラムを記録した記憶媒体は、図２に示された端末装置２０のＲＯＭ２２、ＲＡＭ２３又は記憶装置２４であってもよいし、図３に示された識別装置３０のＲＯＭ３２、ＲＡＭ３３又は記憶装置３４であってもよい。また、例えばＣＤ−ＲＯＭドライブ等のプログラム読取装置に挿入されることで読み取り可能なＣＤ−ＲＯＭ等であってもよい。さらに、記憶媒体は、磁気テープ、カセットテープ、フレキシブルディスク、ＭＯ／ＭＤ／ＤＶＤ等であってもよいし、半導体メモリであってもよい。

以上説明した実施形態及び変形例は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施形態及び変形例に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

例えば、上述した実施形態では、環境情報のデータオーギュメンテーションを行う場合を一例として説明したが、撮像画像のデータオーギュメンテーションを行ってもよい。この場合、撮像画像に対して回転、クリッピング、左右反転等を行うことにより、学習用データに含まれる画像のデータ量を増やしてもよい。

また、上述した実施形態では、識別装置３０によって、第１取得手段４１、第２取得手段４２、識別手段４３、取得手段４４及び学習手段４５の各機能を実現する構成としたが、この構成に限られない。例えば、インターネットやＬＡＮ等の通信網を介して識別装置３０と通信可能に接続されたコンピュータ等（例えば、汎用のパーソナルコンピュータやサーバコンピュータ等）から構成された学習装置５０（図１２に示す）であって、撮像されたオブジェクトＯＢが複数のオブジェクトＯＢのうち何れのオブジェクトＯＢであるかを識別するのに用いられるモデルを学習するための学習装置５０が設けられてもよい。この場合、識別装置３０及び学習装置５０は、実質的に同一のハードウェア構成を採ることができるので、上記実施形態において説明した各手段４１〜４５のうち少なくとも１つの手段の機能を学習装置５０によって実現することが可能になる。例えば、図４に示した機能ブロック図の各機能は、図１２（ａ），（ｂ）に示すように、識別装置３０と学習装置５０との間で任意に分担されてもよい。

上述したような本発明のオブジェクト識別システム、モデル学習システム、オブジェクト識別方法、モデル学習方法、プログラムは、撮像画像に含まれるオブジェクト自体を識別することができ、例えば、画像認識システム等に好適に利用することができるので、その産業上の利用可能性は極めて大きい。

１０…通信装置
２０…端末装置
３０…識別装置
４１…第１取得手段
４２…第２取得手段
４３…識別手段
４４…取得手段
４５…学習手段
５０…学習装置
ＯＢ…オブジェクト
Ｓ…空間

Claims

所定空間内に存在する複数のオブジェクトのうち何れかのオブジェクトの撮像画像を取得する第１取得手段と、
前記何れかのオブジェクトを撮像した位置における環境情報を取得する第２取得手段と、
前記撮像画像及び前記環境情報を取得した場合に、取得した前記撮像画像及び前記環境情報と、前記撮像画像及び前記環境情報を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて、撮像されたオブジェクトが前記複数のオブジェクトのうち何れのオブジェクトであるかを識別する識別手段と、
を備えるオブジェクト識別システム。
前記第２取得手段は、前記所定空間内の複数の位置に設けられた通信装置と、前記何れかのオブジェクトを撮像した位置に存在する端末装置と、の何れか一方から送信された無線信号を他方が受信したときの受信信号強度を前記環境情報として取得する、請求項１に記載のオブジェクト識別システム。
前記学習用データとして用いられる環境情報は、各通信装置に対応する受信信号強度が、撮像されたオブジェクト毎及び通信装置毎に異なるガウス分布に従うと仮定して、前記複数のオブジェクトのうち所定のオブジェクトに対応する各通信装置の受信信号強度のガウス分布に従って抽出された各通信装置の受信信号強度の複数の組み合わせを含む、請求項２に記載のオブジェクト識別システム。
所定空間内に存在する複数のオブジェクトのうち何れかのオブジェクトの撮像画像と、前記何れかのオブジェクトを撮像した位置における環境情報とを取得する取得手段と、
取得した前記撮像画像及び前記環境情報を学習用データとして用いた機械学習によって、撮像されたオブジェクトが前記複数のオブジェクトのうち何れのオブジェクトであるかを識別するのに用いられるモデルを学習する学習手段と、
を備えるモデル学習システム。
コンピュータに、
所定空間内に存在する複数のオブジェクトのうち何れかのオブジェクトの撮像画像を取得するステップと、
前記何れかのオブジェクトを撮像した位置における環境情報を取得するステップと、
前記撮像画像及び前記環境情報を取得した場合に、取得した前記撮像画像及び前記環境情報と、前記撮像画像及び前記環境情報を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて、撮像されたオブジェクトが前記複数のオブジェクトのうち何れのオブジェクトであるかを識別するステップと、
の各ステップを実行させる、オブジェクト識別方法。
コンピュータに、
所定空間内に存在する複数のオブジェクトのうち何れかのオブジェクトの撮像画像と、前記何れかのオブジェクトを撮像した位置における環境情報とを取得するステップと、
取得した前記撮像画像及び前記環境情報を学習用データとして用いて、撮像されたオブジェクトが前記複数のオブジェクトのうち何れのオブジェクトであるかを識別するのに用いられるモデルを学習するステップと、
の各ステップを実行させる、モデル学習方法。
コンピュータに、
所定空間内に存在する複数のオブジェクトのうち何れかのオブジェクトの撮像画像を取得する機能と、
前記何れかのオブジェクトを撮像した位置における環境情報を取得する機能と、
前記撮像画像及び前記環境情報を取得した場合に、取得した前記撮像画像及び前記環境情報と、前記撮像画像及び前記環境情報を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて、撮像されたオブジェクトが前記複数のオブジェクトのうち何れのオブジェクトであるかを識別する機能と、
を実現させるためのプログラム。
コンピュータに、
所定空間内に存在する複数のオブジェクトのうち何れかのオブジェクトの撮像画像と、前記何れかのオブジェクトを撮像した位置における環境情報とを取得する機能と、
取得した前記撮像画像及び前記環境情報を学習用データとして用いて、撮像されたオブジェクトが前記複数のオブジェクトのうち何れのオブジェクトであるかを識別するのに用いられるモデルを学習する機能と、
を実現させるためのプログラム。