JP2018194950A - 対象物識別装置を構築する構築方法、記憶装置、設定装置、及び対象物識別方法 - Google Patents

Abstract

【課題】膨大なデータ量の画像データ群から、特定の対象物の画像情報を高精度及び高確度に識別する構築方法、記憶装置及び、設定装置対象物識別方法を提供する。
【解決手段】構築方法は、抽出ステップＳ１、設定ステップＳ２、及び調整ステップＳ３を備える。抽出ステップＳ１は、位置情報付き画像データ群の一部から、所定の特徴を有する対象物に関連するルールベースに基づいて画像を抽出する。設定ステップＳ２は、抽出された画像に、所定の特徴を有する対象物が写し出されている場合に、ラベルを設定する。調整ステップＳ３は、ラベルが設定された画像を機械学習装置に入力し、入力に対する出力結果に基づいて、ラベルに対応させて設定条件を調整する。
【選択図】図８

Description

従来、室外に設置されている対象物の画像情報を入手して、その画像情報に基づいて有用情報を提供することが検討されている。例えば、特許文献１（特許第５７３５０７１号）には、店舗に備えられているマットの画像情報に基づいて、マットが設置された施設の情報をユーザに提供する情報検索装置が開示されている。

ところで、室外に設置されている対象物の画像情報は、オンラインマップサービスを利用して入手することもできる。オンラインマップサービスでは、個別の画像情報に位置情報が関連付けられた位置情報付き画像データ群が提供される。

しかしながら、オンラインマップサービスにより提供される画像データ群には、対象物以外の多くの物体が写し出される。そのため、このような画像データ群からは、対象物を高精度及び高確度に抽出できないことがある。

本発明の課題は、膨大なデータ量の画像データ群から、特定の対象物の画像情報を高精度及び高確度に識別することである。

本発明の第１観点に係る構築方法は、機械学習を実行する機械学習装置の設定条件を調整し、個別の画像情報に位置情報が関連付けられた位置情報付き画像データ群から、所定の特徴を有する所定の対象物を識別する対象物識別装置を構築する。具体的に、この構築方法では、抽出ステップと、設定ステップと、調整ステップと、を備える。抽出ステップでは、位置情報付き画像データ群の一部から、所定の特徴を有する対象物に関連するルールベースに基づいて画像を抽出する。設定ステップでは、抽出ステップにより抽出された画像に、所定の特徴を有する対象物が写し出されている場合に、所定の特徴を有する対象物であることを示すラベルを設定する。調整ステップでは、設定ステップによりラベルが設定された画像を機械学習装置に入力し、入力に対する出力結果に基づいて、前記ラベルに対応させて設定条件を調整する。

第１観点に係る構築方法では、上述した各ステップを実行して、機械学習装置の設定条件を調整するので、膨大なデータ量の位置情報付き画像データ群から、所定の特徴を有する対象物の画像に識別し得る対象物識別装置を構築できる。換言すると、この構築方法により構築される対象物識別装置を用いることで、膨大なデータ量の画像データ群から、特定の対象物の画像情報を高精度及び高確度に識別することができる。

本発明の第２観点に係る構築方法は、第１観点の構築方法において、調整ステップにより設定条件が調整された機械学習装置に、位置情報付き画像データを入力することにより、設定条件を再調整する再調整ステップをさらに備える。

第２観点に係る方法では、設定条件が調整された機械学習装置を用いて、設定条件を再調整するので、機械学習装置の設定条件をさらに最適化することができる。結果として、対象物の画像情報をさらに高精度及び高確度に抽出できる。

本発明の第３観点に係る構築方法は、第１観点又は第２観点の構築方法において、対象物が、冷媒回路内で冷媒を循環させる冷凍装置の少なくとも一部を構成する機器である。したがって、この構築方法によれば、冷凍装置の少なくとも一部を構成する機器を識別する対象物識別装置を構築することができる。

なお、本発明でいう「冷凍装置」とは、ヒートポンプの原理で熱を移動させる任意の熱源機械を意味する。例えば、冷凍装置としては空調機などが挙げられる。

本発明の第４観点に係る構築方法は、第３観点の構築方法において、対象物の有する特徴が、冷媒の種類の情報を示すものである。したがって、この構築方法によれば、冷媒の種類の情報を有する機器を識別する対象物識別装置を構築することができる。

本発明の第５観点に係る構築方法は、第１観点から第４観点の構築方法において、対象物の有する特徴が、メーカー、機種、年式のいずれか又は任意の組み合わせに関する情報を示すものである。したがって、この構築方法によれば、メーカー、機種、年式のいずれか又は任意の組み合わせに関する特徴を有する対象物を識別する対象物識別装置を構築することができる。換言すると、この構築方法により構築される対象物識別装置によれば、空調機のメーカー、機種、年式のいずれか又は任意の組み合わせを識別することができる。

本発明の第６観点に係る構築方法は、第１観点から第５観点の構築方法において、対象物の有する特徴が、劣化に関するものである。したがって、この構築方法によれば、劣化に関する特徴を有する空調機を識別する対象物識別装置を構築することができる。換言すると、この構築方法により構築される対象物識別装置により、空調機の劣化に関する特徴を識別することができる。

なお、「劣化に関する特徴」とは、例えば、対象物の劣化度合い、及び／又は、対象物の劣化種類を示す特徴である。また、「劣化種類」としては、摩耗、亀裂、破損、断線、（ネジ等の）緩み、（ネジ等の）脱落、変形、傷、接触不良、部品欠品、錆、腐食、汚れ等が挙げられる。

本発明の第７観点に係る構築方法は、第１観点から第６観点の構築方法において、位置情報付き画像データ群は、横方向から景観が撮影された画像、及び／又は、上方から景観が撮影された画像から構成されるものである。したがって、この構築方法によれば、ストリートビュー型の写真、地上写真、航空写真、及び衛星写真等から構成される位置情報付き画像データ群に基づいて、対象物識別装置を構築できる。

本発明の第８観点に係る構築方法は、第１観点から第７観点の構築方法において、調整ステップが、機械学習装置に位置情報付き画像データ群の一部を入力する際に、個々の位置情報付き画像データに設定された座標情報を用いて対象物が写し出された部分を特定する。

第８観点に係る構築方法では、座標情報を用いて対象物が写し出された部分を指定するので、事前に、位置情報付き画像データから対象物が写し出された部分を切り出して保存しておく必要がない。換言すると、この構築方法では、データを加工後に保存することが禁止されている位置情報付き画像データ群を利用して、機械学習装置の学習を実行することができる。

本発明の第９観点に係る記憶装置は、第８観点の構築方法に用いられるものであり、個々の位置情報付き画像データに設定された座標情報を、位置情報付き画像データに関連付けて記憶する。

第９観点に係る記憶装置が座標情報を記憶するので、位置情報付き画像データ群を加工後に保存することなく、機械学習装置から対象物識別装置を構築することが可能となる。

本発明の第１０観点に係る設定装置は、機械学習を実行する機械学習装置の設定条件を調整し、個別の画像情報に位置情報が関連付けられた位置情報付き画像データ群から、所定の特徴を有する対象物を識別する対象物識別装置を構築するために用いられるものである。具体的に、設定装置は、抽出部と、設定部と、調整部と、を備える。抽出部では、位置情報付き画像データ群の一部から、所定の特徴を有する対象物に関連するルールベースに基づいて画像を抽出する。設定部では、抽出部により抽出された画像に、所定の特徴を有する対象物が写し出されている場合に、当該所定の特徴を有する対象物であることを示すラベルを設定する。調整部では、設定部によりラベルが設定された画像を機械学習装置に入力し、入力に対する出力結果に基づいて、前記ラベルに対応させて設定条件を調整する。

第１０観点に係る設定装置では、機械学習装置の設定条件を調整して対象物識別装置を構築できる。そして、このような対象物識別装置を用いることで、膨大なデータ量の位置情報付き画像データ群から、特定の特徴を有する対象物の画像情報を高精度及び高確度に抽出できる。

本発明の第１１観点に係る対象物識別方法は、第１観点から第８観点のいずれかの構築方法を用いて、第１位置情報付き画像データ群から第１対象物識別装置を構築し、第１観点から第８観点のいずれか１項に記載の構築方法を用いて、第１位置情報付き画像データ群とは異なる第２位置情報付き画像データ群から第２対象物識別装置を構築する。そして、この対象物識別方法は、第１対象物識別装置及び第２対象物識別装置を用いて、対象物を識別する。

第１１観点に係る対象物識別方法では、異なる位置情報付き画像データ群に基づいて構築された対象物識別装置のそれぞれの結果に基づいて対象物を認識するので、対象物を識別する確度及び精度を高めることができる。

本発明の第１２観点に係る対象物識別方法は、第１１観点の対象物識別方法において、第１位置情報付き画像データ群又は第２位置情報付き画像データ群のいずれかの一方が、位置情報が個別に関連付けられた、横方向から景観が撮影された画像データ群であり、他方が、位置情報が個別に関連付けられた、上方から景観が撮影された画像データ群である。したがって、このような対象物識別方法によれば、ストリートビュー型の写真、地上写真、航空写真、及び衛星写真等から構成される位置情報付き画像データ群の組み合わせに基づいて対象物を識別することができ、所定の場所における対象物を識別する精度及び確度を高めることができる。

第１観点に係る構築方法では、機械学習装置から、膨大なデータ量の位置情報付き画像データ群から、所定の特徴を有する対象物の画像に識別し得る対象物識別装置を構築できる。

第２観点に係る構築方法では、機械学習装置の設定条件をさらに最適化することができる。

第３観点に係る構築方法では、冷凍装置の少なくとも一部を構成する機器を識別する対象物識別装置を構築することができる。

第４観点に係る構築方法では、冷媒の種類の情報を有する機器を識別する対象物識別装置を構築することができる。

第５観点に係る構築方法では、メーカー、機種、年式のいずれか又は任意の組み合わせに関する特徴を有する対象物を識別する対象物識別装置を構築することができる。

第６観点に係る構築方法では、劣化に関する特徴を有する空調機を識別する対象物識別装置を構築することができる。

第７観点に係る構築方法では、ストリートビュー型の写真、地上写真、航空写真、及び衛星写真等から生成される位置情報付き画像データ群に基づいて、対象物識別装置を構築できる。

第８観点に係る構築方法では、データを加工後に保存することが禁止されている位置情報付き画像データ群を利用して、機械学習装置の学習を実行することができる。

第９観点に係る記憶装置を用いることで、位置情報付き画像データ群を加工後に保存することなく、機械学習装置から対象物識別装置を構築することが可能となる。

第１０観点に係る設定装置を用いることで、機械学習装置から、膨大なデータ量の位置情報付き画像データ群から、所定の特徴を有する対象物の画像に識別し得る対象物識別装置を構築できる。

第１１観点に係る対象物識別方法では、対象物を識別する確度及び精度を高めることができる。

第１２観点に係る対象物識別方法では、所定の場所における対象物を識別する精度及び確度を高めることができる。

本発明の一実施形態に係る機械学習装置１と対象物識別装置１０との関係を説明するための図である。 同実施形態に係る機械学習装置１の概念を示す模式図である。 同実施形態に係る機械学習装置１の概念を説明するための図である。 同実施形態に係る機械学習装置１の概念を説明するための図である。 同実施形態に係る対象物識別装置１０の出力結果の一例を示す図である。 同実施形態に係る設定装置２０の構成を示す模式図である。 同実施形態に係る教師データを説明するための図である。 同実施形態に係る対象物識別装置１０を構築する構築方法を説明するための図である。 同実施形態の変形例を説明するための図である。 同実施形態の応用例に係る対象物識別システムの概念を示す模式図である。

（１）対象物識別装置の概要
本発明の一実施形態に係る対象物識別装置１０は、図１に概念を示すように、機械学習装置１から構築される。そこで、まず、機械学習装置１の設定条件の調整について説明する。

（１−１）機械学習装置
図２は本発明の一実施形態に係る機械学習装置１の概念を示す模式図である。

機械学習装置１は、多層構造のニューラルネットワークにより機械学習を実行するものであり、いわゆるディープラーニング機として機能するものである。多層構造のニューラルネットワークは、入力層Ｌ１、隠れ層Ｌ２、出力層Ｌ３から形成される。各層は複数のユニットＵ１１，Ｕ１２，・・・Ｕｍｎ（ｍ，ｎは自然数）を含み、前の層に属するユニットの出力値ｘに重みｗとしてパラメータａｐｑ（ｐ，ｑは自然数）が掛け合わされ、バイアスｂｐが加えられてから後の層に属するユニットの入力値ｚとして入力される。例えば、図３に示す例では、前の層Ｌａと後の層Ｌｂとの間には、以下の関係式（式１，式２）が成立する。

また、後の層Ｌｂでは、入力値ｚが活性化関数ｆにより変換される。活性化関数fは目的に応じて適宜選択される。

そして、機械学習装置１では、図４に概念を示すように、入力データの入力により得た出力データと、その入力データに対する正解を示す「教師データ」とから、損失関数を用いて誤差Ｅを算出し、算出した誤差Ｅに基づいて上述した重みｗを調整する。このような重みｗの調整を、以下の説明では「学習」とも言う。

なお、上述した各層のユニット数及び隠れ層の数は単なる例示であり、これらは任意の個数を採り得るものである。また、ここでは全結合ニューラルネットワークを示しているが、本実施形態に係る機械学習装置１はこれに限らず、畳み込みニューラルネットワーク等であってもよい。

（１−２）対象物識別装置
対象物識別装置１０は、個別の画像情報に位置情報が関連付けられた「位置情報付き画像データ群」から、所定の特徴を有する対象物が写し出された画像を識別するものである。ここでは、対象物識別装置１０は、対象物の一例として「空調機」を識別する。具体的には、対象物識別装置１０は、個々の画像において、多数の候補領域を切り出し、各候補領域における対象物の存在確率を算出することで、空調機が写し出された画像を識別する。このような対象物識別装置１０は、上述の機械学習装置１に対して、種々の空調機が写し出された画像データを入力して学習させることで構築される。

なお、位置情報付き画像データ群は、横方向から景観が撮影された画像データ、又は、上方から景観が撮影された画像データ等から構成される。ここで、横方向から景観が撮影された画像データは、水平方向から景観を撮影した画像だけでなく、斜め上方及び斜め下方に向かう視点で景観を撮影した画像を含むものである。また、上方から景観が撮影された画像データは、上方から真下の景観を撮影した画像だけでなく、高所から斜め下向きに景観を撮影した画像を含むものである。例えば、位置情報付き画像データ群は、地上写真、航空写真及び衛星写真等から構成される。さらに具体的には、位置情報付き画像データ群は、地域毎の位置情報と、その位置情報に対応する景観画像とを含むストリートビュー型の画像データ群から構成される。

また、対象物識別装置１０は、メーカー、機種、年式のいずれか又は任意の組み合わせの特徴に応じて空調機を識別するように構築される。具体的に、このような対象物識別装置１０は、外観上の特徴（全体のデザインや部品のデザイン、ロゴ及びファンの形状及び色彩等）を区別可能な空調機が写し出された画像データを機械学習装置１に入力して学習させることで構築される。

また、対象物識別装置１０は、冷媒の種類の情報を有する空調機を識別するように構築される。具体的に、このような対象物識別装置１０は、冷媒の種類を示すシール（Ｒ４１０Ａ、Ｒ４０７Ｃ、Ｒ３２等の文字が印字されたシール）が付された空調機が写し出された画像データを機械学習装置１に入力して学習させることで構築される。

また、対象物識別装置１０は、劣化に関する特徴を有する空調機を識別するように構築される。具体的に、このような対象物識別装置１０は、劣化に関するパターンを区別し得る空調機が写し出された画像データを機械学習装置１に入力して学習させることで構築される。なお、劣化に関する特徴は、劣化度合い、及び／又は、劣化種類を示す特徴を含むものである。また、「劣化種類」は、摩耗、亀裂、破損、断線、（ネジ等の）緩み、（ネジ等の）脱落、変形、傷、接触不良、部品欠品、錆、腐食、汚れ等に細分化される。また、劣化種類は、対象物の経年劣化（長期間にわたる緩やかな変化）に起因するものと、対象物に生じた異常（短期間に起こる変化）に起因するものとに細分化してもよい。例えば、対象物に生じた異常としては、発火、過熱、事故による物理的衝撃等が挙げられる。

そして、対象物識別装置１０は、空調機の写し出された画像データが入力されると、それをクラス分類することで、所定の特徴を有する空調機であるか否かを識別する。

さらに、対象物識別装置１０は、所定の特徴を有する空調機が写し出された画像データに関連付けられた位置情報を地図情報に反映させることもできる。例えば、対象物識別装置１０は、図５に示すように、「メーカー」別に空調機の位置情報を地図に示すことができる。これにより、空調機のメンテナンス業者等に有用情報（リコール機の存在、空調関連機器の販売提案等）を提供することができる。

なお、機械学習装置１を学習させるための情報は、記憶装置５に記憶される。記憶装置５は、位置情報付き画像データにおいて対象物が写し出されている部分の座標情報を、当該位置情報付き画像データに関連付けて記憶する。

（２）対象物識別装置を構築するための設定装置及び構築方法
本実施形態では、上述した対象物識別装置１０を構築するために、設定装置２０を用いて機械学習装置１の設定条件を調整する。

（２−１）設定装置
図６は本実施形態に係る設定装置２０の構成を示す模式図である。

設定装置２０は、「位置情報付き画像データ群」を用いて機械学習装置１の設定条件を設定し、所定の特徴を有する対象物を識別する対象物識別装置１０を構築する。ここでは、設定装置２０は、入力部２１、出力部２２、取得部２３、記憶部２４、及び処理部２５を有する。

入力部２１は、設定装置２０に情報を入力するものである。例えば入力部２１は、キーボード、マウス、及び／又はタッチスクリーン等により構成される。この入力部２１を介して、設定装置２０に各種命令が入力され、処理部２５において命令に応じた処理が実行される。

出力部２２は、設定装置２０からの各種情報を出力するものである。例えば出力部２２は、ディスプレイ及びスピーカー等により構成される。

取得部２３は、位置情報付き画像データ群を取得するものである。例えば、取得部２３は、外部のサーバ装置２からネットワークを経由して位置情報付き画像データ群を取得する。ただし、取得部２３は、ネットワーク経由ではなく、記憶媒体等を読み込むことにより、その記憶媒体に記憶された位置情報付き画像データ群を取得するものでもよい。

記憶部２４は、設定装置２０に入力される情報、及び、設定装置２０で計算される情報等を記憶するものである。例えば記憶部２４は、メモリ及びハードディスク装置等により構成される。また記憶部２４は、後述する処理部２５の各機能を実現するためのプログラムを記憶する。

また、記憶部２４は、対象物の特徴をルールベースで分類するための「ルール情報」を記憶する。例えば、対象物が空調機である場合、ルール情報は、当該空調機が有する所定に特徴に関連付けて、『全体形状が「四角い」ものであり、一部の形状に「円がある」ものであり、全体の色彩が「白い」ものであり、「ファン部分に所定の模様」があるものである』等の内容を示す情報である。そして、このルール情報を用いることで、多数の画像データ群から、これらの内容に一致する物体が写し出されている画像を抽出することが可能となる。

処理部２５は、設定装置２０における情報処理を実行するものである。具体的には、処理部２５は、ＣＰＵ、ＧＰＵ及びキャッシュメモリ等により構成される。処理部２５は、記憶部２４に組み込まれたプログラムが実行されることで、抽出部２５１、設定部２５２、調整部２５３として機能する。

抽出部２５１は、取得部２３により取得された位置情報付き画像データ群の一部から、対象物に関連するルール情報に一致する画像を「学習データ」として抽出する。例えば、抽出部２５１は、大量の画像データ群の中から、『「四角い」「円がある」「白い」「ファン部分に所定の模様がある」』等のルール情報に一致する物体が写し出されている画像を抽出する。

設定部２５２は、「学習データ」の画像に、対象物の特徴を含む物体が写し出されているか否かを分類する。そして、設定部２５２は、抽出部２５１により抽出された画像に、対象物の特徴を含む物体が写し出されていると分類する場合は、その画像に対して、分類された特徴を有することを示す「教師ラベル」を設定する。なお、設定部２５２は、抽出部２５１により抽出された画像に対象物の特徴を含む物体が写されていない場合は、その画像に対して、対象物の特徴を含む物体を写すものではないと設定する。

具体的には、設定部２５２は、『「四角い」「円がある」「白い」「ファン部分に所定の模様がある」』等のルール情報に一致する空調機の画像に対して、『「メーカーがＤ社」である「２０１０年の年式」の「Ｖ型の機種」の特徴を有する空調機である』ことを示す教師ラベルを設定する。なお、教師ラベルとルール情報との対応関係は記憶部２４に記憶される。

調整部２５３は、設定部２５２により教師ラベルが設定された対象物の画像を「教師データ」として機械学習装置１に入力し、入力に対する出力結果に基づいて、教師ラベルに対応させて設定条件を調整する。具体的には、調整部２５３により、誤差逆伝播法などに基づいて設定条件が調整される。

なお、調整部２５３は、教師データとしての位置情報付き画像データにおいて、対象物が写し出されている部分を座標情報を用いて特定する。例えば、図７に示す例では、位置情報付き画像データＧにおいて、空調機の部分Ａは、座標情報Ｐ１（ｘ１，ｙ１），Ｐ２（ｘ２，ｙ１），Ｐ３（ｘ２，ｙ２），Ｐ４（ｘ１，ｙ２）を用いて特定される。これらの座標情報Ｐ１〜Ｐ４は、対応する位置情報付き画像データＧとともに記憶装置５に記憶される。

（２−２）構築方法
図８は本実施形態に係る対象物識別装置１０を構築する構築方法を説明するための図である。

対象物識別装置１０は、所定の特徴を有する対象物を識別するものである。ここでは、一例として、所定の特徴を有する対象物が、『「メーカーがＤ社」である「２０１０年の年式」の「Ｖ型の機種」の特徴を有する空調機である』とする。以下、このような対象物を識別し得る対象物識別装置１０を構築するため構築方法について説明する。

まず、識別対象の対象物及びその特徴が決定される。例えば、識別対象の対象物として「空調機」であることが決定され、その特徴として『「メーカーがＤ社」である「２０１０年の年式」の「Ｖ型の機種」』であることが決定される。

これに応じて、設定装置２０の抽出部２５１の動作により、上述の特徴を有する対象物に関連するルール情報に基づいて、位置情報付き画像データ群の一部からルールベースで画像が抽出される（ステップＳ１）。例えば、抽出部２５１により、大量の位置情報付き画像データ群の中から、『「四角い」「円がある」「白い」「ファン部分に所定の模様がある」』等のルール情報に一致する物体が写し出されている画像が抽出される。

次に、作業者３により設定部２５２を介して、抽出部２５１により抽出された画像に、上述の特徴を有する対象物が写し出されているか否かが分類される。そして、上述の特徴を有する対象物が写し出されていると分類された画像に対して、設定部２５２を介して、上述の特徴を有することを示す「教師ラベル」が設定される（ステップＳ２）。すなわち、『「四角い」「円がある」「白い」「ファン部分に所定の模様がある」』のルール情報に一致する物体が写し出されている画像に対して、『「メーカーがＤ社」である「２０１０年の年式」の「Ｖ型の機種」の特徴を有する空調機である』ことを示す教師ラベルが設定される。

続いて、設定部２５２により教師ラベルが設定された対象物の画像が「教師データ」として機械学習装置１に入力される。ここで、教師データは、対象物が写し出されている位置情報付き画像データと、その位置情報付き画像データにおける対象物が写し出されている領域の座標情報とにより構成される。要するに、機械学習装置１に学習させる際には、位置情報付き画像データから、座標情報に基づいて、対象物が写し出されている部分が都度切り出される。これにより、位置情報付き画像データを加工して保管せずに、機械学習装置１の調整が可能となる。

そして、調整部２５３により、機械学習装置１への入力及び出力に基づいて、教師ラベルに対応する設定条件が調整される。具体的には、機械学習装置１における各層の重みｗが調整される（ステップＳ３）。

これにより、機械学習装置１から、上述の特徴を有する対象物を識別し得る対象物識別装置１０が構築される。換言すると、外観上の特徴（『「四角い」「円がある」「白い」「ファン部分に所定の模様がある」』）を区別可能な空調機が写し出された画像データを機械学習装置１に入力して学習させることで、『メーカー（Ｄ社）、機種（Ｖ型）、年式（２０１０年）の特徴を有する空調機』を識別し得る対象物識別装置１０が構築される。

なお、ここでは、便宜上、一種類の特徴を有する空調機を識別する例について説明したが、同様の手法で機械学習装置１の設定条件を調整することにより、異なる特徴を有する複数の対象物を識別し得る対象物識別装置１０を構築することが可能である。

（３）特徴
（３−１）
以上説明したように、本実施形態に係る対象物識別装置を構築する構築方法は、機械学習を実行する機械学習装置１の設定条件を調整し、個別の画像情報に位置情報が関連付けられた位置情報付き画像データ群から、所定の特徴を有する対象物を識別する対象物識別装置１０を構築する。具体的に、この構築方法では、抽出ステップと、設定ステップと、調整ステップと、を備える。抽出ステップでは、位置情報付き画像データ群の一部から、所定の特徴を有する対象物に関連するルールベースに基づいて画像を抽出する。設定ステップでは、抽出ステップにより抽出された画像に所定の特徴を有する対象物が写し出されている場合に、所定の特徴を有する対象物であることを示す教師ラベルを設定する。調整ステップでは、設定ステップにより教師ラベルが設定された画像を機械学習装置１に入力し、入力に対する出力結果に基づいて、教師ラベルに対応させて設定条件を調整する。

したがって、この構築方法では、上述した各ステップを実行して、機械学習装置１の設定条件を調整するので、膨大なデータ量の位置情報付き画像データ群から、所定の特徴を有する対象物の画像情報を高精度及び高確度に抽出し得る対象物識別装置を構築できる。

特に、本実施形態に係る対象物識別装置１０は、対象物として「空調機」を検出し得るものである。ここで、室外に設置されている空調機は、数百万台以上であり膨大な個数である。そのため、対象物が空調機である場合には、仮に対象物の検出率が低い場合（５０％に満たない場合）であったとしても、依然として膨大な個数の対象物を検出できる。したがって、対象物が空調機である場合には、このような対象物識別装置１０を用いることで、膨大な個数の対象物の画像に基づいて有用情報を生成することが可能となる。なお、対象物の検出漏れが生じても利用価値の高い有用情報としては、代理店経由で販売した製品の位置情報などが挙げられる。

なお、上述した効果に関しては、識別対象の対象物が空調機ではなく自動販売機等でも同様の議論が成立する。

（３−２）
また、本実施形態に係る構築方法により、位置情報付き画像データから、メーカー、機種、年式のいずれか又は任意の組み合わせに関する特徴を有する空調機が写し出された画像を識別し得る対象物識別装置１０を構築できる。換言すると、本実施形態に係る構築方法により構築される対象物識別装置１０によれば、空調機のメーカー、機種、年式のいずれか又は任意の組み合わせを識別することができる。

同様に、本実施形態に係る構築方法により構築される対象物識別装置１０によれば、冷媒の種類の情報を有する空調機を識別することができる。

同様に、本実施形態に係る構築方法により構築される対象物識別装置１０によれば、空調機の劣化に関する特徴を識別することができる。なお、劣化に関する特徴とは、劣化度合い、及び／又は、劣化種類を示す特徴である。「劣化種類」は、対象物の経年劣化に起因するものや、対象物に生じた異常に起因するものなどがある。具体的には、劣化の種類としては、摩耗、亀裂、破損、断線、（ネジ等の）緩み、（ネジ等の）脱落、変形、傷、接触不良、部品欠品、錆、腐食、汚れ等が挙げられる。

なお、本実施形態に係る構築方法では、複数の特徴を一組として取り扱い、組毎に各特徴をクラス分類する対象物識別装置１０を構築することができる。

（３−３）
また、本実施形態に係る構築方法では、位置情報付き画像データ群は、横方向から景観が撮影された画像、及び／又は、上方から景観が撮影された画像から生成される。したがって、この方法によれば、一般的に利用されているストリートビュー型の写真、地上写真、航空写真、及び衛星写真等から構成される位置情報付き画像データ群に基づいて対象物識別装置１０を構築できる。

（３−４）
また、本実施形態に係る構築方法では、機械学習装置１を学習する際に、位置情報付き画像データに設定された座標情報に基づいて対象物が写し出された部分を特定する。そのため、データを加工して保存することが禁止されている画像データ群を利用して対象物識別装置１０を構築することができる。補足すると、一般的に利用されているストリートビュー型の写真、地上写真、航空写真、及び衛星写真等から生成されている位置情報付き画像データ群は、データを加工後に保存することが禁止されている場合がある。このような場合でも、本実施形態に係る構築方法であれば、座標情報を用いて対象物が写し出された部分を指定するので、事前に、位置情報付き画像データから対象物が写し出された部分を切り出して保存しておく必要がない。換言すると、本実施形態に係る構築方法では、データを加工後に保存することが禁止されている位置情報付き画像データ群を利用して、機械学習装置１の学習を実行することができる。

なお、これらの座標情報と、学習データである位置情報付き画像データとは記憶装置５に記憶される。ただし、これに限らず、これらの情報は、設定装置２０又は機械学習装置１に格納されていてもよいものである。

（３−５）
また、本実施形態に係る設定装置２０は、機械学習を実行する機械学習装置１の設定条件を調整し、個別の画像情報に位置情報が関連付けられた位置情報付き画像データ群から、所定の特徴を有する対象物を識別する対象物識別装置１０を構築する。具体的に、設定装置２０は、抽出部２５１と、設定部２５２と、調整部２５３と、を備える。抽出部２５１では、位置情報付き画像データ群の一部から、所定の特徴に対応するルールベースに基づいて画像を抽出する。設定部２５２では、抽出部２５１により抽出された画像に所定の特徴を有する対象物が写し出されている場合に、所定の特徴を有することを示すラベルを設定する。調整部２５３では、設定部２５２により教師ラベルが設定された画像を機械学習装置１に入力し、入力に対する出力結果に基づいて、教師ラベルに対応させて設定条件を調整する。

したがって、本実施形態に係る設定装置２０では、上記構成を具備するので、機械学習装置１の設定条件を調整して対象物識別装置１０を構築できる。そして、このような対象物識別装置１０を用いることで、膨大なデータ量の位置情報付き画像データ群から、特定の特徴を有する対象物の画像情報を高精度及び高確度に抽出できる。

（４）変形例
（４−１）
本実施形態に係る設定装置２０において、調整部２５３は、設定条件が調整された機械学習装置１に位置情報付き画像データを入力することで、設定条件を再調整できるものでもよい。

具体的には、図９に示すように、対象物識別装置１０から検出された画像データを作業者３が選別して（Ｔ１）、新たな教師データとして追加する（Ｔ２）。そして、これらの新たな教師データを含めて、改めて機械学習装置１の学習を行い、各層のユニット間の重みｗを調整する（Ｔ３）。

これにより、設定条件が調整された機械学習装置１を用いて条件を再調整するので、機械学習装置１の設定条件をさらに最適化することができる。結果として、対象物の画像情報をさらに高精度及び高確度に抽出し得る対象物識別装置１０を構築できる。

（４−２）
なお、上記実施形態では、対象物として「空調機」を例に挙げたが、これに限定されるものではない。すわなち、本発明に係る構築方法により構築される対象物識別装置は、位置情報付き画像データ群から取得される任意の対象物を識別するものである。例えば、対象物として、冷媒を冷媒回路で循環させる冷凍装置の一部を構成する任意の機器を識別することができる。具体的には、冷暖房用の空調装置の他、冷房専用又は暖房専用の空調装置、床暖房装置、給湯装置、及び除湿装置などが挙げられる。さらに、対象物として、冷凍装置に限らず、路上に設置される自動販売機等の装置や、建物の屋上やベランダ等に設置される衛星アンテナ等を識別することができる。

（５）応用例
本実施形態に係る対象物識別装置の構築方法を用いることで、更なる対象物識別方法への応用が可能である。具体的には、本実施形態に係る構築方法を用いて、複数の対象物識別装置からなる対象物識別システムを構築し、この対象物識別システムを用いて対象物を識別する対象物識別方法を提供できる。

図１０は本実施形態の応用例に係る対象物識別システムの概念を示す模式図である。

第１対象物識別装置１０Ａは、上述した構築方法を用いて、第１位置情報付き画像データ群を機械学習装置１に学習させることで構築される。ここで、「第１位置情報付き画像データ群」は、位置情報が個別に関連付けられた横方向から景観が撮影された画像データ群である。そして、第１対象物識別装置１０Ａは、任意の第１位置情報付き画像データ群を取得して、対象物の画像が写し出された位置情報付き画像データを識別する。第１対象物識別装置１０Ａによる識別結果は、後述する判定装置１５に送出される。

第２対象物識別装置１０Ｂは、上述した構築方法を用いて、第２位置情報付き画像データ群を機械学習装置１に学習させることで構築される。ここで、「第２位置情報付き画像データ群」は、位置情報が個別に関連付けられた上方向から景観が撮影された画像データ群である。そして、第２対象物識別装置１０Ｂは、任意の第２位置情報付き画像データ群を取得して、対象物の画像が写し出された位置情報付き画像データを識別する。第２対象物識別装置１０Ｂによる識別結果は、後述する判定装置１５に送出される。

判定装置１５は、第１対象物識別装置１０Ａから受け取った識別結果と、第２対象物識別装置１０Ｂから受け取った識別結果とを照合し、それらに含まれる位置情報付き画像データの位置情報が一致する場合、一致した位置情報に当該対象物が存在すると判定する。すなわち、判定装置１５は、第１対象物識別装置１０Ａの識別結果と、第２対象物識別装置１０Ｂの識別結果との論理積に基づいて対象物を識別する。また、判定装置１５は、一致した位置情報を地図情報に反映させて、対象物の存在する場所を地図上に表示する（図５参照）。

上述した対象物識別システムを用いた対象物識別方法であれば、異なる位置情報付き画像データ群に基づいて構築された第１対象物識別装置１０Ａ及び第２対象物識別装置１０Ｂのそれぞれの識別結果に基づいて対象物を識別するので、対象物を識別する確度及び精度を高めることができる。さらに、ここでは、第１位置情報付き画像データ群として横方向から景観が撮像された画像データ群、及び、第２位置情報付き画像データ群として上方から景観が撮像された画像データ群の両方を用いて対象物を識別するので、対象物を識別する精度及び確度を高めることができる。

なお、判定装置１５は、第１対象物識別装置１０Ａの識別結果と、第２対象物識別装置１０Ｂの識別結果との論理積ではなく、論理和に基づいて対象物を識別してもよい。すなわち、判定装置１５は、第１対象物識別装置１０Ａから受け取った識別結果と、第２対象物識別装置１０Ｂから受け取った識別結果とを照合し、それらのいずれかの識別結果に対応する位置情報を地図情報に反映させて、対象物の存在する場所を地図上に表示するものでもよい。この場合、対象物の検出位置の網羅性を高めることができる。

＜付記＞
なお、本発明は、上記各実施形態そのままに限定されるものではない。本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、本発明は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。

１ 機械学習装置
２ サーバ装置
３ 作業者
５ 記憶装置
１０ 対象物識別装置
１０Ａ 第１対象物識別装置
１０Ｂ 第２対象物識別装置
１５ 判定装置
２０ 設定装置
２１ 入力部
２２ 出力部
２３ 取得部
２４ 記憶部
２５ 処理部
２５１ 抽出部
２５２ 設定部
２５３ 調整部

特許第５７３５０７１号

Claims (12)

1. 機械学習を実行する機械学習装置（１）の設定条件を調整し、個別の画像情報に位置情報が関連付けられた位置情報付き画像データ群から、所定の特徴を有する対象物を識別する対象物識別装置（１０）を構築する構築方法であって、
   前記位置情報付き画像データ群の一部から、前記所定の特徴を有する対象物に関連するルールベースに基づいて画像を抽出する抽出ステップと、
   前記抽出ステップにより抽出された画像に、前記所定の特徴を有する対象物が写し出されている場合に、前記所定の特徴を有する対象物であることを示すラベルを設定する設定ステップと、
   前記設定ステップによりラベルが設定された画像を前記機械学習装置に入力し、入力に対する出力結果に基づいて、前記ラベルに対応させて前記設定条件を調整する調整ステップと、
   を備える、構築方法。
2. 前記調整ステップにより前記設定条件が調整された機械学習装置に、位置情報付き画像データを入力することにより、前記設定条件を再調整する再調整ステップ、
   をさらに備える請求項１に記載の構築方法。
3. 前記対象物は、冷媒回路内で冷媒を循環させる冷凍装置の少なくとも一部を構成する機器である、
   請求項１又は２に記載の構築方法。
4. 前記特徴は、冷媒の種類の情報を示すものである、
   請求項３に記載の構築方法。
5. 前記特徴は、メーカー、機種、年式のいずれか又は任意の組み合わせの情報を示すものである、
   請求項１から４のいずれか１項に記載の構築方法。
6. 前記特徴は、劣化に関するものである、
   請求項１から５のいずれか１項に記載の構築方法。
7. 前記位置情報付き画像データ群は、横方向から景観が撮影された画像、及び／又は、上方から景観が撮影された画像から構成される、
   請求項１から６のいずれか１項に記載の構築方法。
8. 前記調整ステップは、前記機械学習装置に前記位置情報付き画像データ群の一部を入力する際に、個々の位置情報付き画像データに設定された座標情報を用いて前記対象物が写し出された部分を特定する、
   請求項１から７のいずれか１項に記載の構築方法。
9. 請求項８に記載の構築方法に用いられる記憶装置（５）であって、
   個々の位置情報付き画像データに設定された座標情報を、前記位置情報付き画像データに関連付けて記憶する、記憶装置。
10. 機械学習を実行する機械学習装置（１）の設定条件を調整し、個別の画像情報に位置情報が関連付けられた位置情報付き画像データ群から、所定の特徴を有する対象物を識別する対象物識別装置（１０）を構築するために用いる設定装置（２０）であって、
    前記位置情報付き画像データ群の一部から、前記所定の特徴を有する対象物に関連するルールベースに基づいて画像を抽出する抽出部（２５１）と、
    前記抽出部により抽出された画像に、前記所定の特徴を有する対象物が写し出されている場合に、前記所定の特徴を有する対象物であることを示すラベルを設定する設定部（２５２）と、
    前記設定部によりラベルが設定された画像を前記機械学習装置に入力し、入力に対する出力結果に基づいて、前記ラベルに対応させて前記設定条件を調整する調整部（２５３）と、
    を備える、設定装置。
11. 請求項１から８のいずれか１項に記載の構築方法を用いて、第１位置情報付き画像データ群から第１対象物識別装置（１０Ａ）を構築し、
    請求項１から８のいずれか１項に記載の構築方法を用いて、前記第１位置情報付き画像データ群とは異なる第２位置情報付き画像データ群から第２対象物識別装置（１０Ｂ）を構築し、
    前記第１対象物識別装置及び前記第２対象物識別装置を用いて、前記対象物を識別する対象物識別方法。
12. 前記第１位置情報付き画像データ群又は前記第２位置情報付き画像データ群のいずれかの一方が、位置情報が個別に関連付けられた横方向から景観が撮影された画像データ群であり、他方が、位置情報が個別に関連付けられた上方から景観が撮影された画像データ群である、
    請求項１１に記載の対象物識別方法。

Images