JP2021168206A - 製品の情報生成システム - Google Patents
製品の情報生成システム Download PDFInfo
- Publication number
- JP2021168206A JP2021168206A JP2021121296A JP2021121296A JP2021168206A JP 2021168206 A JP2021168206 A JP 2021168206A JP 2021121296 A JP2021121296 A JP 2021121296A JP 2021121296 A JP2021121296 A JP 2021121296A JP 2021168206 A JP2021168206 A JP 2021168206A
- Authority
- JP
- Japan
- Prior art keywords
- image
- product
- target product
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003507 refrigerant Substances 0.000 claims abstract description 55
- 238000009434 installation Methods 0.000 claims description 97
- 238000012423 maintenance Methods 0.000 abstract description 58
- 238000005057 refrigeration Methods 0.000 abstract description 2
- 239000002826 coolant Substances 0.000 abstract 1
- 239000000047 product Substances 0.000 description 506
- 230000006866 deterioration Effects 0.000 description 82
- 238000000034 method Methods 0.000 description 24
- 238000001514 detection method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
- G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Abstract
【課題】予め管理を委託されている製品ではなくても、製品の所在を把握し、これらの製品に対する保守提案等を行うことが容易な、製品の情報生成システムを提供する。
【解決手段】情報生成システム100は、取得部64と、識別部66と、生成部68と、を備える。取得部は、景観の画像データであって、画像データ中の景観の位置情報と関連付けられている画像データを取得する。識別部は、取得部により取得された画像データ中の、冷媒を冷媒回路内で循環させる冷凍装置の少なくとも一部を構成する対象製品の画像を識別する。生成部は、識別部により識別された対象製品の設置されている地理的位置を、識別部により対象製品として識別された画像データ中の画素の位置と、画像データと関連付けられている位置情報と、に基づいて特定し、対象製品について、地理的位置に関する情報を含む製品情報を生成する。
【選択図】図1
【解決手段】情報生成システム100は、取得部64と、識別部66と、生成部68と、を備える。取得部は、景観の画像データであって、画像データ中の景観の位置情報と関連付けられている画像データを取得する。識別部は、取得部により取得された画像データ中の、冷媒を冷媒回路内で循環させる冷凍装置の少なくとも一部を構成する対象製品の画像を識別する。生成部は、識別部により識別された対象製品の設置されている地理的位置を、識別部により対象製品として識別された画像データ中の画素の位置と、画像データと関連付けられている位置情報と、に基づいて特定し、対象製品について、地理的位置に関する情報を含む製品情報を生成する。
【選択図】図1
Description
本発明は、対象となる製品に関し、設置位置に関する情報付きの製品情報を生成する情報生成システムに関する。
従来、特許文献1(特開2005−196341号公報)のように、ネットワークで接続された製品の運転状況や異常発生に関する情報を収集する遠隔管理システムが知られている。
製品の保守事業者は、例えば、このようなシステムを用いて、管理を委託されている(システムに登録されている)製品についての保守提案を適宜行うことができる。
しかし、保守事業者は、予め管理を委託されている製品、言い換えればシステムに登録されている製品についての保守提案はできるものの、委託外の製品、言い換えれば、システムに登録されておらず存在を認識していない製品についての保守提案はできない。人が現地調査等を行い、製品の使用場所を特定できれば、システムに登録されていない製品についても保守提案を行うことが可能であるが、このような方法では、製品の使用場所を効率よく特定することは難しく、調査漏れも発生しやすい。
本発明の課題は、予め管理を委託されている製品ではなくても、製品の所在を把握し、これらの製品に対する保守提案等を行うことが容易な、製品の情報生成システムを提供することにある。
本発明の第1観点に係る製品の情報生成システムは、取得部と、識別部と、生成部と、を備える。取得部は、景観の画像データであって、画像データ中の景観の位置情報と関連付けられている画像データを取得する。識別部は、取得部により取得された画像データ中の、冷媒を冷媒回路内で循環させる冷凍装置の少なくとも一部を構成する対象製品の画像を識別する。生成部は、識別部により識別された対象製品が設置されている地理的位置を、識別部により前記対象製品として識別された画像データ中の画素の位置と、画素と関連付けられている位置情報と、に基づいて特定し、対象製品について、地理的位置に関する情報を含む製品情報を生成する。
ここでは、人が現地調査を行わなくても、画像データに基づいて生成された設置位置に関する情報付きの製品情報を利用して、予め保守サービス等に加入していない(登録されていない)製品(冷凍装置の少なくとも一部を構成する機器)に対しても保守提案等を行うことが可能である。そのため、本情報生成システムを利用することで、保守サービスの潜在顧客の取り込みを図ることができる。また、製品の利用者にとっても、予め保守サービス等に加入することなく保守提案を受けることが可能であり、使用している対象製品を適切な状態に維持することが容易で、利便性が高い。
本発明の第2観点に係る製品の情報生成システムは、第1観点に係る製品の情報生成システムであって、画像データは、上方から景観が撮影された画像、及び/又は、横方向から景観が撮影された画像を含む。
ここでは、例えば、航空写真、衛星写真等の上方から景観が撮影された画像や、地上写真、ストリートビュー型の写真等の横方向から景観が撮影された画像に基づいて、製品情報を生成することができる。
なお、画像データには、上方から景観が撮影された画像及び横方向から景観が撮影された画像の両方が含まれることがより好ましい。撮影視点の異なる画像を画像データに含むことで、1種類の撮影視点の画像からは識別できない又は識別しにくい製品を他方の撮影視点の画像から見つけ出し、製品の所在調査を、抜けを少なく行うことができる。
本発明の第3観点に係る製品の情報生成システムは、第1観点又は第2観点に係る製品の情報生成システムであって、識別部は、対象製品の外観及び対象製品に付された識別表示の少なくとも一方に基づいて、画像データ中の対象製品の画像を識別する。
対象製品に付された識別表示には、限定するものではないが、例えば、ロゴや、製品の仕様に関する情報が記載されたシールやプレート等を含む。
ここでは、対象製品の外観や、対象製品に付された識別表示に基づき画像データ中の対象製品の画像が識別されるので、画像データ中に存在する対象製品の画像を誤りなく見つけ出すことが容易である。
本発明の第4観点に係る製品の情報生成システムは、第1観点から第3観点のいずれかに係る製品の情報生成システムであって、生成部は、設置位置に関する情報付きの製品情報として、製品設置位置分布図を生成する。
ここでは、システムにより、製品設置位置分布図、すなわち製品の設置位置を示した地図が生成される。製品設置位置分布図を用いることで、対象製品の設置位置を視覚的に容易に把握することができる。そのため、保守提案の営業担当者は、営業活動に製品設置位置分布図を活用しやすい。
本発明の第5観点に係る製品の情報生成システムは、第1観点から第4観点のいずれかに係る製品の情報生成システムであって、識別部は、画像データ中の対象製品の画像を、メーカー、機種、及び年式の少なくとも1つの項目に関し区別して識別する。生成部は、項目に関し対象製品が分類された製品情報を生成する。
ここでは、単に対象製品の存在が識別されるだけではなく、メーカー、機種、及び年式の少なくとも1つの項目に関して区別して対象製品が識別され、項目により対象製品が分類された製品情報が生成される。そのため、保守サービスの提案者は、適切な保守提案や更新提案を行うことが容易である。
本発明の第6観点に係る製品の情報生成システムは、第3観点の製品の情報生成システムであって、学習部を更に備える。学習部は、対象製品の画像における、対象製品の外観及び対象製品に付された識別表示の少なくとも一方の特徴を予め学習済みである。識別部は、学習部の学習結果を用いて、画像データ中の対象製品の画像を識別する。
本発明の第7観点に係る製品の情報生成システムは、第6観点の製品の情報生成システムであって、学習部を更に備える。学習部は、メーカー、機種、及び年式の少なくとも1つの項目が互いに異なる複数種類の対象製品の画像について、対象製品の種類毎に、対象製品の画像の特徴を予め学習済みである。識別部は、識別部は、学習部の学習結果を用いて、画像データ中の対象製品の画像を、メーカー、機種、及び年式の少なくとも1つの項目に関し区別して識別する。
他の観点に係る製品の情報生成システムは、第1観点から第5観点のいずれかに係る製品の情報生成システムであって、対象製品は、冷媒を冷媒回路内で循環させる冷凍装置の少なくとも一部を構成する機器である。識別部は、画像データ中の対象製品の画像を、対象製品の使用する冷媒に関し区別して識別する。生成部は、冷媒に関し対象製品が分類された製品情報を生成する。
ここでの冷凍装置には、例えば、空調機や、ヒートポンプを利用する給湯装置を含む。対象製品としての機器には、例えば、空調機の室外ユニットや、給湯装置の熱源ユニットを含む。
ここでは、単に対象製品としての冷凍装置の構成機器の存在が識別されるだけではなく、使用される冷媒に関して区別して構成機器が識別され、使用冷媒に関し対象製品が分類された状態で製品情報が生成される。そのため、保守サービスの提案者は、適切な保守提案や更新提案を行うことが容易である。
他の観点に係る製品の情報生成システムは、第1観点から第6観点のいずれかに係る製品の情報生成システムであって、識別部は、画像データ中の対象製品の画像を、劣化度合いに関し区別して識別する。生成部は、劣化度合いに関し対象製品が分類されている製品情報を生成する。
ここでは、単に対象製品の存在が識別されるだけではなく、劣化度合いを区別して対象製品が識別され、劣化度合いに関し対象製品が分類された状態で製品情報が生成される。そのため、保守サービスの提案者は、保守/更新の必要性の高い対象製品に絞って保守提案や更新提案を行うことが可能である。
なお、劣化度合いに関し区別するとは、劣化度合いを複数段階に分けて区別するものであっても、劣化の有無だけを区別するものであっても、劣化の有無に加え、劣化度合いを複数段階に分けて区別するものであってもよい。
他の観点に係る製品の情報生成システムは、第1観点から第7観点のいずれかに係る製品の情報生成システムであって、識別部は、画像データ中の対象製品の画像を、劣化種類に関し区別して識別する。生成部は、劣化種類に関し対象製品が分類されている製品情報を生成する。
ここでは、劣化の種類を区別して対象製品が識別され、劣化の種類に関し対象製品が分類された状態で製品情報が生成される。そのため、保守サービスの提案者は、適切な保守提案や更新提案を行うことが可能である。
他の観点に係る製品の情報生成システムは、第1観点から第8観点のいずれかに係る製品の情報生成システムであって、製品情報は、所定のタイミングで更新して生成される。
ここでは、製品情報が適宜更新されるため、保守サービスの提案者は、製品情報の変化に基づいて適切な保守提案等を行うことができる。
本発明の第1観点に係る製品の情報生成システムでは、人が現地調査を行わなくても、画像データに基づいて生成された設置位置に関する情報付きの製品情報を利用して、予め保守サービス等に加入していない(登録されていない)製品に対しても保守提案等を行うことが可能である。そのため、本情報生成システムを利用することで、保守サービスの潜在顧客の取り込みを図ることができる。また、製品の利用者にとっても、予め保守サービス等に加入することなく保守提案を受けることが可能であり、使用している対象製品を適切な状態に維持することが容易で、利便性が高い。
本発明の第2観点に係る製品の情報生成システムでは、航空写真、衛星写真等の上方から景観が撮影された画像や、地上写真、ストリートビュー型の写真等の横方向から景観が撮影された画像に基づいて、製品情報を生成することができる。
本発明の第3観点に係る製品の情報生成システムでは、画像データ中に存在する対象製品の画像を誤りなく見つけ出すことが容易である。
本発明の第4観点に係る製品の情報生成システムでは、営業活動に活用しやすい製品情報を取得することができる。
本発明の第5観点に係る製品の情報生成システムでは、保守サービスの提案者が適切な保守提案や更新提案を行うことが容易である。
以下、図面を参照しながら、本発明の一実施形態に係る情報生成システム100について説明する。
なお、下記の実施形態は、本発明の具体例に過ぎず、本発明の技術的範囲を限定するものではない。下記の実施形態は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
(1)全体構成
図1は、本発明の一実施形態に係る情報生成システム100の概略構成図である。
図1は、本発明の一実施形態に係る情報生成システム100の概略構成図である。
情報生成システム100は、主にサーバ50を有する。
サーバ50は、クラウドサービスとして、情報生成システム100の利用者(以後、単に利用者と呼ぶ場合がある)に対し製品情報を提供するコンピュータである。サーバ50は、位置情報と関連付けられた景観の画像データ中の対象製品の画像を識別し、識別された対象製品の設置位置を画像データと関連付けられた位置情報に基づいて特定し、対象製品について設置位置に関する情報付きの製品情報を生成して、生成した製品情報を利用者に提供する。サーバ50が生成する対象製品の設置位置に関する情報付きの製品情報には、製品設置位置分布図M(図6参照)や、製品情報リストL(図7参照)を含む。
本実施形態では、製品情報を生成する対象となる製品(対象製品)は、冷媒を冷媒回路内で循環させる冷凍装置の一部を構成する機器である。冷凍装置には、例えば、空調装置(冷暖房用の空調装置の他、冷房専用又は暖房専用の空調装置も含む)、床暖房装置、給湯装置、及び除湿装置を含む。
ここでの対象製品は、特に、室外に設置される空調装置の室外機(熱源機)である。対象製品となる空調装置の室外機には、例えば、空気の吹き出し口が天面に設けられた比較的大型の室外機E1(図2参照)や、空気の吹き出し口が側面に設けられた比較的小型の室外機E2(図3参照)を含む。設置場所を限定するものではないが、室外機E1は、建物の屋上等に設置されることが比較的多い。また、設置場所を限定するものではないが、室外機E2は、住宅の壁面に沿って設置されたり、ベランダに設置されたりすることが比較的多い。なお、ここで図示した2種類の室外機E1,E2は、対象製品の空調装置の室外機の一例に過ぎず、対象製品としての室外機は、室外機E1,E2に代えて、又は、室外機E1,E2に加えて、他の形状や構造の室外機を含むものであってもよい。
室外機E1及び室外機E2には、例えば図2(b)及び図3のように、それぞれロゴS11及びロゴS21が付されている。ロゴS11及びロゴS21は、識別表示の一例である。ロゴS11及びロゴS21は、それぞれ室外機E1及び室外機E2の出自(メーカー)を示す表示である。ロゴS11は、例えば室外機E1の天面に付されている。ロゴS21は、例えば室外機E2の側面に付されている。
また、室外機E1及び室外機E2には、例えば図2(b)及び図3のように、それぞれ冷媒種類表示S12及び冷媒種類表示S22が付されている。冷媒種類表示S12及び冷媒種類表示S22は、それぞれ室外機E1及び室外機E2で用いられている冷媒の種類を示す表示である。冷媒種類表示S12及び冷媒種類表示S22は、例えば、冷媒の種類(R410A、R407C、R32等の文字)が印字されたシールである。冷媒種類表示S12は、例えば室外機E1の天面に付されている。冷媒種類表示S22は、例えば室外機E2の側面に付されている。
本実施形態では、対象製品となる空調装置の室外機には、複数メーカーの空調装置の室外機を含む。また、各メーカーの室外機には、それぞれ、複数の機種の、複数の年式の、室外機を含む。例えば、本実施形態では、対象製品の室外機には、メーカー、機種及び年式の1つが少なくとも互いに異なる、数十種類の室外機を含む。
なお、メーカー、機種、又は年式が異なる室外機では、例えば、その外観(全体のデザインや部品のデザイン)が相違する場合が多い。なお、デザインの違いには、形状の違いの他、色彩の違いも含む。また、メーカーが異なる室外機では、室外機に付されるロゴのデザインやロゴが付される位置等が異なる。また、同じメーカーの室外機であっても、機種や年式が異なるとロゴのデザインやロゴが付される位置等が異なる場合がある。また、メーカー、機種、年式等が異なる室外機では、例えば、室外機に付される仕様を記載したプレートやシールの記載内容や取り付け位置等が異なる場合がある(図示省略)。
サーバ50は、情報生成システム100の外部の画像DB(画像データベースシステム)200と、ネットワークを介して接続されている。また、サーバ50は、情報生成システム100の外部の地図DB(地図情報データベースシステム)300と、ネットワークを介して接続されている。また、サーバ50は、情報生成システム100の外部の利用者端末400と、ネットワークを介して接続されている。利用者端末400は、情報生成システム100の利用者が使用する端末である。なお、サーバ50と、画像DB200、地図DB300、及び利用者端末400を接続するネットワークは、インターネットである。なお、ネットワークは、WAN(Wide Area Network)であってもよい。
画像DB200には、位置情報と関連付けられた画像データ(位置情報と関連付けられた、住宅地域、商業地域、工業地域等の景観の画像データ)が保存されている。画像DB200は、サーバ50からの要求に応じ、サーバ50に対し画像データを提供する。
画像DB200に保存され、画像DB200がサーバ50に提供する画像データは、景観を撮影した第1画像G1(図4参照)及び第2画像G2(図5参照)を含む。
第1画像G1は、上方から景観が撮影された画像である。第1画像G1は、例えば、航空機(ドローンも含む)から景観が撮影された空中写真画像である。例えば、第1画像G1は、上方から真下を撮影した空中写真画像である。ただし、第1画像G1は、高所から(例えば航空機から)斜め下向きに景観が撮影された画像であってもよい。また、第1画像G1は、衛星写真であってもよい。なお、第1画像G1は、画像中の各箇所に対応している地理的な位置(画像中のある箇所が示している場所の地理座標や住所情報)が既知の画像である。つまり、第1画像G1は、位置情報と関連付けられた画像データの一例である。
第2画像G2は、横方向から景観が撮影された画像である。なお、ここでの横方向とは、水平方向に限定されるものではない。横方向から景観が撮影された画像には、斜め上方に向かう視点で景観が撮影された画像を含む。また、横方向から景観が撮影された画像には、概ね横方向から撮影された画像であって(高所から建物の屋根や屋上を見下ろすように撮影された画像では無く)、斜め下方に向かう視点で景観が撮影された画像を含む。第2画像G2は、例えば、グーグル社のストリートビューの様な、横方向から景観が撮影された画像である。なお、第2画像G2は、画像中の各箇所に対応している地理的な位置(画像中のある箇所が示している場所の地理座標や住所情報)が既知の画像である。つまり、第2画像G2は、位置情報と関連付けられた画像データの一例である。
なお、本実施形態では、サーバ50は、情報生成システム100の外部の画像DB200から画像データの提供を受けるがこれに限定されるものではない。例えば、後述するサーバ50の取得部64は、画像DB200から画像データを取得する代わりに、情報生成システム100の管理者等が撮影し、位置情報を付す処理を行った画像データを、後述するサーバ50の通信部52を介して、あるいは、DVD−ROM等の記憶媒体から取得してもよい。
地図DB300には、地図データが保存されている。地図DB300は、サーバ50からの要求に応じ、サーバ50に対し地図データを提供する。
地図DB300が記憶している地図データは、地図中の各箇所に対応している地理的な位置(画像中のある箇所が示している場所の地理座標や住所情報)が既知の地図データである。言い換えれば、地図データは、位置情報と関連付けられた地図データである。
利用者端末400は、利用者が、情報生成システム100が生成した対象製品の設置位置に関する情報付きの製品情報(製品設置位置分布図Mや製品情報リストL等)を利用するためのコンピュータである。利用者は、利用者端末400を用いて、サーバ50にアクセスし、製品設置位置分布図Mや製品情報リストL等の閲覧等を行う。
なお、ここでは、利用者端末400として据え置きのデスクトップ型のコンピュータを想定しているが、これに限定されるものではない。利用者端末400は、ノートブック型のコンピュータや、タブレット端末やスマートフォン等の携帯情報端末であってもよい。
製品設置位置分布図Mは、対象製品としての空調装置の室外機の設置位置を示す地図である。具体的には、製品設置位置分布図Mは、サーバ50が画像データにおいて識別した対象製品(言い換えると、後述するサーバ50の識別部66が、画像認識アルゴリズムを用いて画像データ中にその画像を見つけ出した対象製品)の設置位置を表示する(なお、以下では、記載の簡素化のため、サーバ50が画像データにおいて識別した対象製品を、検知製品と呼ぶ場合がある)。製品設置位置分布図M上には、検知製品の設置位置が、例えば、所定の図形を用いて表示される(図7参照)。例えば、製品設置位置分布図M上には、建物を表す図形の上に、検知製品が存在することを示す所定の図形が表示される。なお、同一の建物に複数の対象製品が識別されている場合には、同一の建物を表す図形の上に、検知製品が存在することを示す所定の図形が複数表示されてもよい。
製品設置位置分布図Mには、検知製品の設置位置が、例えば、製品のメーカー別に異なる色を用いて表示される。つまり、製品設置位置分布図Mは、メーカーに関し対象製品が分類された製品情報の一例である。なお、図示は省略するが、製品設置位置分布図Mには、検知製品の設置位置が、例えば、メーカー別に異なる形状の図形で表示されてもよい。
また、製品設置位置分布図Mには、検知製品の設置位置が、メーカー別に代えて、又は、メーカー別に加えて、製品の機種別、年式別、及び/又は、冷媒の種類別に(形状や色が)異なる図形で表示されてもよい。つまり、製品情報としての製品設置位置分布図Mは、メーカー、機種、年式、及び使用冷媒の少なくとも1つの項目に関し対象製品が分類されていてもよい。なお、製品設置位置分布図Mに、メーカー、機種、年式、及び使用冷媒のいずれに関し対象製品を分類して表示するかは、利用者が利用者端末400から自由に変更可能に構成されることが好ましい。
また、上記構成に代えて、又は、上記構成に加えて、製品設置位置分布図Mには、検知製品の設置位置が、劣化状態(劣化の種類又は劣化の度合い)別に異なる図形で表示されてもよい。つまり、製品情報としての製品設置位置分布図Mでは、劣化度合い及び劣化種類の少なくとも1つの項目に関し対象製品が分類されていてもよい。なお、製品設置位置分布図Mに、劣化状態(劣化の種類又は劣化の度合い)に関し対象製品を分類して表示するかは、利用者が利用者端末400から自由に変更可能に構成されることが好ましい。劣化状態に関する説明は後述する。
また、製品設置位置分布図Mは、検知製品の設置位置を示す図形をマウス等の入力装置を用いて指定すると、その図形が示す検知製品に関して判明している(画像データから判明した)各種情報がポップアップ表示等されることが好ましい。なお、ポップアップ表示は、表示の態様の一例であって、他の態様で同様の情報が表示されてもよい。ポップアップ表示等される情報には、例えば、その検知製品のメーカー、機種、年式、その検知製品が使用している冷媒の種類、その検知製品の設置場所の住所、及びその検知製品の劣化状況を含むことが好ましい(図6参照)。また、ポップアップ表示等される情報には、その検知製品の画像(サーバ50が対象製品であると識別した、画像データにおける対象製品の画像)等を含むことが好ましい(図6参照)。
製品情報リストLは、検知製品の設置位置の一覧表である。なお、製品情報リストLには、各検知製品に関し、その検知製品の設置位置の情報に加え、その検知製品に関して判明している(画像データから判明した)各種情報も含まれていることが好ましい。例えば、製品情報リストLには、各検知製品に関し、その検知製品のメーカー、機種、年式、その検知製品が使用している冷媒の種類、その検知製品の劣化状況、及びその検知製品の設置場所の住所に関する情報が含まれていることが好ましい。
(2)詳細構成
サーバ50は、画像DB200から第1画像G1及び第2画像G2等の画像データの提供を受け、画像データ中の対象製品の画像を識別する(画像データ中の対象製品の画像を検出する)。サーバ50は、例えば、第1画像G1中の対象製品の画像T1a,T1b,T1cを識別する。また、サーバ50は、例えば、第2画像G2中の対象製品の画像T2を識別する。そして、サーバ50は、識別した対象製品(検知製品)の設置位置(対象製品の設置されている地理的な位置)を、画像データと関連付けられた位置情報に基づいて特定する。さらに、サーバ50は、検知製品について、設置位置に関する情報付きの製品情報を生成する。
サーバ50は、画像DB200から第1画像G1及び第2画像G2等の画像データの提供を受け、画像データ中の対象製品の画像を識別する(画像データ中の対象製品の画像を検出する)。サーバ50は、例えば、第1画像G1中の対象製品の画像T1a,T1b,T1cを識別する。また、サーバ50は、例えば、第2画像G2中の対象製品の画像T2を識別する。そして、サーバ50は、識別した対象製品(検知製品)の設置位置(対象製品の設置されている地理的な位置)を、画像データと関連付けられた位置情報に基づいて特定する。さらに、サーバ50は、検知製品について、設置位置に関する情報付きの製品情報を生成する。
サーバ50についてより詳細に説明する。
サーバ50は主に、通信部52、入力部54、出力部56、記憶部58、及び処理部60を有する。
(2−1)通信部
通信部52は、サーバ50をWANやインターネット等のネットワークに接続可能にするネットワークインターフェースである。通信部52は、ネットワークを介して、情報生成システム100の外部の、画像DB200、地図DB300、及び利用者端末400との間で、情報のやり取りを行うことが可能である。サーバ50は、プロトコルに基づいて、これらの機器と通信する。
通信部52は、サーバ50をWANやインターネット等のネットワークに接続可能にするネットワークインターフェースである。通信部52は、ネットワークを介して、情報生成システム100の外部の、画像DB200、地図DB300、及び利用者端末400との間で、情報のやり取りを行うことが可能である。サーバ50は、プロトコルに基づいて、これらの機器と通信する。
(2−2)入力部
入力部54は、情報生成システム100の管理者からの指示や各種情報が入力される入力インタフェースである。入力部54は、例えば、キーボード及びマウスを含む。
入力部54は、情報生成システム100の管理者からの指示や各種情報が入力される入力インタフェースである。入力部54は、例えば、キーボード及びマウスを含む。
(2−3)出力部
出力部56は、情報生成システム100の管理者に対して各種情報を表示する出力インタフェースである。出力部56は、例えば、液晶ディスプレイを含む。
出力部56は、情報生成システム100の管理者に対して各種情報を表示する出力インタフェースである。出力部56は、例えば、液晶ディスプレイを含む。
(2−4)記憶部
記憶部58は、RAM、ROM等の一次記憶装置を含む。また、記憶部58は、ハードディスクドライブ等の二次記憶装置を含む。記憶部58には、後述する処理部60が実行する各種プログラムや、各種情報が記憶される。
記憶部58は、RAM、ROM等の一次記憶装置を含む。また、記憶部58は、ハードディスクドライブ等の二次記憶装置を含む。記憶部58には、後述する処理部60が実行する各種プログラムや、各種情報が記憶される。
記憶部58は、情報の記憶領域として、画像識別アルゴリズム記憶領域58a、製品情報リスト記憶領域58b、及び製品設置位置分布図記憶領域58cを含む。画像識別アルゴリズム記憶領域58a、製品情報リスト記憶領域58b、及び製品設置位置分布図記憶領域58cに記憶される情報については、処理部60の処理と合わせて後述する。
(2−5)処理部
処理部60は、主としてCPUを有する。処理部60は、記憶部58に記憶されているプログラムを読み出して実行することにより、各種処理を実行する。処理部60は、記憶部58に記憶されているプログラムを実行することで、学習部62、取得部64、識別部66、及び生成部68として機能する。
処理部60は、主としてCPUを有する。処理部60は、記憶部58に記憶されているプログラムを読み出して実行することにより、各種処理を実行する。処理部60は、記憶部58に記憶されているプログラムを実行することで、学習部62、取得部64、識別部66、及び生成部68として機能する。
(2−5−1)学習部
学習部62は、後述する識別部66が、第1画像G1及び第2画像G2を含む画像データ中の対象製品の画像(例えば図4及び図5の画像T1a,T1b,T1c及びT2)を識別する際に用いる画像識別アルゴリズムを作成する機能部である。
学習部62は、後述する識別部66が、第1画像G1及び第2画像G2を含む画像データ中の対象製品の画像(例えば図4及び図5の画像T1a,T1b,T1c及びT2)を識別する際に用いる画像識別アルゴリズムを作成する機能部である。
情報生成システム100の管理者(運営者)は、利用者から製品情報の提供サービスの依頼を受けると、まず学習部62に画像識別アルゴリズムを作成させる。情報生成システム100の管理者は、学習部62を利用して、例えば以下の様に画像識別アルゴリズムを作成する。
まず、情報生成システム100の管理者は、画像DB200から、所定量の画像データ(サンプル画像データ)の提供を受ける。所定量のサンプル画像データは、学習部62が機械学習により適切な画像識別アルゴリズムを生成する上で十分な量の画像データである。そして、管理者は、サンプル画像データから、手作業で(人がサンプル画像データを目で見て)、各種類の対象製品について所定数(例えば数百枚)の学習用画像(対象製品が写っている部分の画像)を集める(学習用画像を取り出す)。
本実施形態では、識別部66が画像データ中の対象製品の画像を、製品のメーカー、機種、及び年式と、使用する冷媒と、に関して区別して識別するため、学習用画像の収集にあたって、製品のメーカー、機種、年式、及び、使用している冷媒の種類の1つでも異なれば、製品は互いに異なる種類であるとみなしている。なお、識別部66が画像データ中の対象製品の画像を上記のいずれかの項目に関して区別して識別しない場合には、その項目に関して製品が互いに異なっていても、同一種類の製品であるとみなせばよい。
さらに、本実施形態では、識別部66が画像データ中の対象製品の画像を、劣化状態(劣化の種類及び劣化の度合い)に関し区別して識別するため、学習用画像の収集にあたって、劣化状態(劣化の種類及び劣化の度合いの少なくとも一方)が異なれば、製品は互いに異なる種類であるとみなしている。なお、識別部66が画像データ中の対象製品の画像を劣化状態に関して区別して識別しない場合には、劣化状態に関して製品が互いに異なっていても、同一種類の製品であるとみなせばよい。
なお、ここでは、劣化の種類には、摩耗、亀裂、破損、断線、(ネジ等の)緩み、(ネジ等の)脱落、変形、傷、接触不良、部品欠品、錆、腐食、及び汚れの中の少なくとも1つを含む。なお、学習用画像の収集においては、2つ以上の劣化の種類(例えば錆と腐食)を合わせ、1つの劣化の種類として取り扱ってもよい。
劣化は、経年劣化(緩やかな劣化)に限定されなくてもよい。劣化は、製品の異常(例えば、発火や過熱等)や、事故等の物理的衝撃等を原因とした急速な劣化(短期間で起こる劣化)を含むものであってもよい。
また、ここでは、劣化の度合いは、例えば、重度の劣化(直ちに対処が必要なレベル)、中度の劣化(比較的早期の対処が必要なレベル)、軽度の劣化(早期の対処は必要ではないレベル)、劣化なしの4段階に分けられている。なお、劣化の度合いの段階は、4段階に限定されるものではなく、2段階、又は、3段階、又は、5段階以上であってもよい。
管理者は、サンプル画像データから学習用画像を取り出すと、その学習用画像の対象製品のメーカー、機種、年式、対象製品が使用している冷媒の種類、及び対象製品の劣化状態(劣化の種類及び劣化の度合い)の情報(人が画像から判断したこれらの情報)を教師ラベルとして付与し、教師データとして記憶部58に記憶する。
次に、管理者は、学習部62に、教師データを用いた機械学習(いわゆる教師あり学習)を実行させる。学習部62は、例えば、ニューラルネットワークやディープラーニングの手法を用いて機械学習を行う。また、学習部62は、例えば、サポートベクターマシン、ブースティングの手法を用いて機械学習を行ってもよい。学習部62は、各対象製品(メーカー、機種、年式、使用している冷媒の種類、及び劣化状態で種類分けされる各種類の対象製品)の画像から、特徴量を抽出する。抽出される特徴量は、例えば、対象製品の外観に関するものである。また、例えば、抽出される特徴量には、対象製品の外観に関する特徴量に代えて又は加えて、対象製品に付されたロゴS11,S21、対象製品に付された冷媒種類表示S12,S22、及び対象製品に付された仕様等に関する情報が記載されたプレート(図示省略)に関するものが含まれてもよい。また、例えば、特徴量は、画像の輝度に着目した特徴量であってもよい。また、例えば、特徴量は、SIFT特徴量等であってもよい。次に、学習部62は、抽出した特徴量を用いて、各対象製品の判別ルールを抽出し、画像データから各対象製品の画像を抽出する画像識別アルゴリズムを生成する。なお、ここで例示したニューラルネットワーク、ディープラーニング、サポートベクターマシン、及びブースティングという手法は、機械学習の手法の一例であって、これに限定されるものではない。学習部62は、適切な手法を用いて、画像データから対象製品の画像を識別するための画像識別アルゴリズムを生成する。そして、学習部62は、作成した画像識別アルゴリズムを、記憶部58の画像識別アルゴリズム記憶領域58aに記憶する。
なお、学習部62は、上方から景観が撮影された第1画像G1用と、横方向から景観が撮影された第2画像G2用と、に分けて2つの画像識別アルゴリズムを生成する。第1画像G1用の画像識別アルゴリズムの生成には、上方から景観を撮影した画像のサンプル画像データから集められた(取り出された)学習用画像が用いられる。第2画像G2用の画像識別アルゴリズムの生成には、横方向から景観を撮影した画像のサンプル画像データから集められた(取り出された)学習用画像が用いられる。
なお、上記のように、室外機E1は、建物の屋上等に設置されることが比較的多いため、室外機E1は第2画像G2には写らない場合が多い。また、室外機E2は、住宅の壁面に沿って設置されたり、ベランダに設置されたりすることが比較的多いため、建物の陰に隠れて室外機E2は第1画像G1には写らない場合が多い。そこで、第2画像G2用の画像識別アルゴリズムの生成の際、横方向から景観を撮影した画像のサンプル画像データに関しては、室外機E1の画像は集められなくてもよい。言い換えれば、第2画像G2用の画像識別アルゴリズムには、室外機E1を識別する機能は含まれていなくてもよい。また、第1画像G1用の画像識別アルゴリズムの生成の際、上方から景観を撮影した画像のサンプル画像データに関しては、室外機E2の画像は集められなくてもよい。言い換えれば、第1画像G1用の画像識別アルゴリズムには、室外機E2を識別する機能は含まれていなくてもよい。
なお、ここではサーバ50の学習部62が機械学習を行い、画像識別アルゴリズムを生成するが、これに限定されるものではない。画像識別アルゴリズムの生成は、他のコンピュータで実行され、生成された画像識別アルゴリズムがサーバ50に提供され、画像識別アルゴリズム記憶領域58aに記憶されてもよい。
(2−5−2)取得部
取得部64は、識別部66が画像データ中の対象製品の画像を識別する際に、画像DB200に記憶されている位置情報と関連付けられた1又は複数の画像データ(1又は複数の第1画像G1及び1又は複数の第2画像G2)を取得する。
取得部64は、識別部66が画像データ中の対象製品の画像を識別する際に、画像DB200に記憶されている位置情報と関連付けられた1又は複数の画像データ(1又は複数の第1画像G1及び1又は複数の第2画像G2)を取得する。
例えば、情報生成システム100の管理者が、入力部54から、ある対象地理領域(例えば1つの市)に関して、対象製品についての設置位置に関する情報付きの製品情報の生成を指示した場合、取得部64は、通信部52を介して、画像DB200に対しその対象地理領域の画像データの送信を要求する。取得部64は、画像DB200から取得した画像データを記憶部58に記憶する。なお、取得部64は、同一地点(つまり同一の地理座標/住所)について、第1画像G1及び第2画像G2の両方を取得することが好ましい。
なお、情報生成システム100は、製品情報が生成された後、所定の期間(例えば1年)が経過する度に製品情報を更新する。そのため、取得部64は、製品情報が生成されてから所定の期間が経過すると、通信部52を介して、画像DB200を管理するコンピュータに対し対象地理領域の画像データの送信を要求する。この場合にも、取得部64は、画像DB200から取得した対象地理領域の画像データを、記憶部58に記憶する。
なお、情報生成システム100は、一定期間毎に製品情報を更新生成する代わりに、画像DB200の画像データが更新されるタイミングで製品情報を更新生成してもよい。例えば、画像DB200から送信されてくる画像データが更新された旨の通知を通信部52が受信すると、取得部64は、画像DB200に対し対象地理領域の画像データの送信を要求し、画像DB200から画像データを取得してもよい。
(2−5−3)識別部
識別部66は、取得部64が画像データを取得すると、画像識別アルゴリズム記憶領域58aに記憶された画像識別アルゴリズムを用いて、取得部64が画像DB200から取得した画像データ(第1画像G1及び第2画像G2)中の、対象製品の画像T1a,T1b,T1c,T2を識別する。
識別部66は、取得部64が画像データを取得すると、画像識別アルゴリズム記憶領域58aに記憶された画像識別アルゴリズムを用いて、取得部64が画像DB200から取得した画像データ(第1画像G1及び第2画像G2)中の、対象製品の画像T1a,T1b,T1c,T2を識別する。
例えば、識別部66は、第1画像G1中の対象製品の画像T1a,T1b,T1cを、以下の様にして識別する。
まず、識別部66は、1の第1画像G1から、識別処理を行う上で適切なサイズの範囲を識別対象画像として決定する。1の第1画像G1が撮影している地理的領域の面積が比較的小さい場合には、識別部66は、1の第1画像G1の全体を識別対象画像として決定してもよい。そして、識別部66は、画像識別アルゴリズム記憶領域58aに記憶された第1画像G1用の画像識別アルゴリズムを用いて、識別対象画像中の対象製品の画像T1a,T1b,T1cを識別する(対象製品の画像が存在するか否かを識別する)。
また、識別部66は、第2画像G2中の対象製品の画像T2を、以下の様にして識別する。
まず、識別部66は、1の第2画像G2から、識別処理を行う上で適切なサイズの範囲を識別対象画像として決定する。1の第2画像G2が撮影している地理的領域の面積が比較的小さい場合には、識別部66は、1の第2画像G2の全体を識別対象画像として決定してもよい。そして、識別部66は、画像識別アルゴリズム記憶領域58aに記憶された第2画像G2用の画像識別アルゴリズムを用いて、識別対象画像中の対象製品の画像T2を識別する(対象製品の画像が存在するか否かを識別する)。
識別部66は、製品情報の生成を指示されている地理的領域(対象地理領域)の全体に関して対象製品の画像の識別が行われるように(対象地理領域全体を網羅する、全ての第1画像G1及び第2画像G2について、対象製品の画像の識別が行われるように)、上記の工程を繰り返し行う。
画像識別アルゴリズムは、例えば、対象製品の外観や、対象製品に付された識別表示に基づいて画像データ中の対象製品の画像を識別するものである。例えば、識別部66は、対象製品の外観及び対象製品に付された識別表示(ロゴS11,S21)の少なくとも一方に基づいて、画像データ中の対象製品の画像を識別する。また、例えば、識別部66は、対象製品に付された他の識別表示(例えば、冷媒種類表示S12,S22や、仕様等に関する情報が記載されたプレート等)に基づいて、画像データ中の対象製品の画像を識別してもよい。
画像識別アルゴリズムは、例えば、製品のメーカー、機種、及び年式、使用する冷媒、及び劣化状況の少なくとも1つが異なると、互いに他の製品であると認識するように設計されたアルゴリズムである。そこで、識別部66は、画像データ中の対象製品の画像を、メーカー、機種、及び年式に関し区別して識別する。また、ここでは、識別部66は、画像データ中の対象製品の画像を、対象製品の使用する冷媒に関し区別して識別する。また、識別部66は、画像データ中の対象製品の画像を、劣化度合いに関し区別して識別する。また、識別部66は、画像データ中の対象製品の画像を、劣化種類に関し区別して識別する。
なお、識別部66は、対象製品に2種類以上の劣化が見られる場合、画像データ中に、同じ対象製品の画像を(劣化の種類が異なるとして)複数回識別することがあり得る。そのため、識別部66は、既に識別対象画像のある画素に対象製品の画像を識別している場合には、再度対象製品の画像を識別しても無視してもよい。または、識別部66は、既に識別対象画像のある画素に対象製品の画像を識別している場合には、同一の対象製品に関する情報が多重に製品情報に含まれないように、生成部68に対して既に識別済みの製品であることを報知してもよい。生成部68は、このような報知を受けると、劣化の種類だけを追加の情報として製品情報に反映させてもよい。
(2−5−4)生成部
生成部68は、識別部66が画像データ(識別対象画像)中に対象製品の画像を識別(検出)すると、識別部66により識別された対象製品(検知製品)の設置位置を、画像データと関連付けられた位置情報に基づいて特定する。具体的には、生成部68は、識別部66が第1画像G1に基づく識別対象画像において対象製品の画像として識別した画素の位置を特定し、その画素に対応する地理的位置を、第1画像G1と関連付けられた位置情報に基づいて特定する。また、生成部68は、識別部66が第2画像G2に基づく識別対象画像において対象製品の画像として識別した画素の位置を特定し、その画素に対応する地理的位置を、第2画像G2と関連付けられた位置情報に基づいて特定する。この結果、識別部66により識別された対象製品(メーカー、機種、年式、使用する冷媒、及び劣化状況が特定されている対象製品)の設置位置が、生成部68により特定される。
生成部68は、識別部66が画像データ(識別対象画像)中に対象製品の画像を識別(検出)すると、識別部66により識別された対象製品(検知製品)の設置位置を、画像データと関連付けられた位置情報に基づいて特定する。具体的には、生成部68は、識別部66が第1画像G1に基づく識別対象画像において対象製品の画像として識別した画素の位置を特定し、その画素に対応する地理的位置を、第1画像G1と関連付けられた位置情報に基づいて特定する。また、生成部68は、識別部66が第2画像G2に基づく識別対象画像において対象製品の画像として識別した画素の位置を特定し、その画素に対応する地理的位置を、第2画像G2と関連付けられた位置情報に基づいて特定する。この結果、識別部66により識別された対象製品(メーカー、機種、年式、使用する冷媒、及び劣化状況が特定されている対象製品)の設置位置が、生成部68により特定される。
この情報は、例えば図7に示した製品情報リストLの様な形で記憶部58の製品情報リスト記憶領域58bに記憶される。言い換えれば、生成部68は、対象製品について、製品設置位置に関する情報付きの製品情報リストLを生成する。なお、製品情報リストLには、検知製品の設置位置の情報の他、製品のメーカー、機種、年式、使用している冷媒の種類、劣化状況の情報を含む。製品情報リストLは、対象製品について生成部68により生成される、設置位置に関する情報付きの製品情報の一例である。
また、生成部68は、識別部66が、製品情報の生成を指示されている対象地理領域の全体に対して、画像データ(第1画像G1及び第2画像G2)中の対象製品の画像を識別するという処理が終了すると、地図DB300に対して上記の対象地理領域の地図データの送信を要求する。地図データは、地図中の各点の位置情報が既知の地図データである。そして、生成部68は、製品情報リストLに基づき、対象製品を表す図形を対象製品の設置位置に対応する地図上の地点に表示することで、製品設置位置分布図Mを作成する。作成された製品設置位置分布図Mは、製品設置位置分布図記憶領域58cに記憶される。
なお、生成部68により生成される製品情報の一例としての製品情報リストL及び製品設置位置分布図Mは、製品のメーカー、機種、及び年式の項目に関し対象製品が分類されている。また、生成部68により生成される製品情報の一例としての製品情報リストL及び製品設置位置分布図Mは、対象製品の使用する冷媒に関し対象製品が分類されている。また、生成部68により生成される製品情報の一例としての製品情報リストL及び製品設置位置分布図Mは、劣化度合いに関し対象製品が分類されている。さらに、生成部68により生成される製品情報の一例としての製品情報リストL及び製品設置位置分布図Mは、劣化種類に関し対象製品が分類されている。
なお、生成部68は、製品情報を一旦生成した後、所定の期間が経過して、あるいは、画像DB200に記憶されている画像データが更新されるタイミングで、取得部64が画像データを取得し、この画像データ中の対象製品の画像を識別部66が識別する処理を行うと、上記と同様にして、製品情報としての製品情報リストL及び製品設置位置分布図Mを改めて生成する。言い換えれば、製品情報は、所定のタイミングで更新して生成される。
なお、ここでは図示は省略しているが、生成部68は、製品情報の経時変化が分かるような製品情報リストL及び製品設置位置分布図Mを生成することが好ましい。例えば、これまで見つかっていなかった(識別されていなかった)対象製品の画像が、新たに識別された場合には、これが分かるように製品情報リストL及び製品設置位置分布図Mに表示されることが好ましい(例えば、表示色を変えるなど)。また、同位置に、以前もメーカー、機種、年代、仕様冷媒が同一の対象製品の画像が識別されており、劣化状況だけが変化した対象製品の画像が識別された場合にも、この変化が分かるように、製品情報リストL及び製品設置位置分布図Mに表示されることが好ましい(例えば、表示色を変えるなど)。
なお、情報生成システム100の利用者は、このような製品情報リストL及び製品設置位置分布図Mを例えば以下の様に活用できる。
一つには、これまでは、予め保守サービス等に加入していない製品については設置場所の把握も難しい場合があり、保守提案等を行うことは困難であった。これに対し、本情報生成システム100により生成される製品情報リストL及び製品設置位置分布図Mを利用すれば、人が現地調査等を行わなくても、製品の使用箇所を特定できる。そのため、本情報生成システムを利用することで、保守サービスの潜在顧客の取り込みを図ることができる。また、製品の利用者にとっても、予め保守サービス等に加入することなく保守提案を受けることが可能であり、使用している対象製品を適切な状態に維持することが容易で、利便性が高い。特に、製品情報リストL及び製品設置位置分布図Mは、製品の設置位置だけではなく、製品のメーカー、機種、年式や、使用している冷媒や、劣化状況に関する情報等で製品が区別されているため、適切な保守サービスの提案を行うことが容易である。
また、製品情報リストL及び製品設置位置分布図Mは、保守サービスの提案だけではなく、製品の更新提案等にも利用可能である。また、製品情報リストL及び製品設置位置分布図Mにより、製品の地域毎の分布や、他社・自社製品の分布、製品の年代等の情報等が得られることで、営業戦略の策定等にも活用することができる。
また、製品情報リストL及び製品設置位置分布図Mは、製品の経年劣化の状態等を情報として含むため、製品の品質改善にも適用可能である。例えば、製品の経年劣化の状態を把握できれば、その情報を、劣化の抑制手法の開発等に活用することができる。なお、このような情報を人が収集する場合には、収集可能なサンプル数に限界があるのに対し、本情報生成システム100であれば容易にこれらの情報を収集することができる。
さらに、製品情報リストL及び製品設置位置分布図Mは、リコール対象製品の所在を把握するというような用途においても有用である。現在、製品の所在が予め把握されていない場合(顧客情報等が存在しない場合)、消費者が自ら気付いてくれることを期待して、例えば新聞等のメディアを利用して消費者に対する告知を行うというような手法が用いられている。しかし、このような手法では、消費者が告知に気が付いていなかったり、告知には気づいたとしても、製品の機種や年式を誤認識していたりする可能性がある。しかし、製品情報リストL及び製品設置位置分布図Mを用いて製品の所在を把握することで、リコール対象製品の所在の把握漏れを低減することが可能である。
(3)サーバによる製品情報の生成処理
サーバ50による製品情報の生成処理のフローの例について、図8のフローチャートを参照しながら説明する。
サーバ50による製品情報の生成処理のフローの例について、図8のフローチャートを参照しながら説明する。
なお、サーバ50の処理部60の各機能部(学習部62,取得部64,識別部66,生成部68)の処理の詳細については既に説明したので、ここでは、処理の流れを中心に説明する。
まず、情報生成システム100の管理者は、利用者から製品情報の提供サービスの依頼を受けると、まず学習部62に画像識別アルゴリズムを作成させる。学習部62は、作成した画像識別アルゴリズムを記憶部58の画像識別アルゴリズム記憶領域58aに記憶する(ステップS101)。
次に、情報生成システム100の管理者が、利用者の要望に基づき、ある対象地理領域に関し、対象製品について、設置位置に関する情報付きの製品情報の生成を入力部54から指示すると、取得部64は、画像DB200から、その対象地理領域の画像データを取得する(ステップS102)。
次に、識別部66は、画像データから、より具体的には、取得部64が取得した画像データに含まれる第1画像G1又は第2画像G2について、識別処理を行う上で適切なサイズの範囲を識別対象画像として決定する(ステップS103)。
次にステップS104では、ステップS103で決定された認識対象画像が第1画像G1に基づくものであれば、識別部66は、画像識別アルゴリズム記憶領域58aに記憶された第1画像G1用の画像識別アルゴリズムを用いて、識別対象画像中の対象製品の画像を識別する。一方、ステップS103で決定された認識対象画像が第2画像G2に基づくものであれば、識別部66は、画像識別アルゴリズム記憶領域58aに記憶された第2画像G2用の画像識別アルゴリズムを用いて、識別対象画像中の対象製品の画像を識別する。
次に、ステップS105では、ステップS104の処理の中で、認識対象画像中に対象製品の画像が識別されたか(対象製品の画像が存在したか)を判断する。対象製品の画像が識別されている場合にはステップS106に進み、識別されていない場合にはステップS108に進む。
ステップS106では、生成部68が、識別部66により認識対象画像中に識別された対象製品(検知製品)の設置位置を、画像データと関連付けられた位置情報に基づいて特定する。
ステップS107では、生成部68は、ステップS104で識別部66の識別したメーカー、機種、年式、使用している冷媒の種類、劣化度合い、及び劣化種類の対象製品が、ステップS106で特定された設置位置に存在するということを記憶部58に記憶する。具体的には、ステップS107において、生成部68は、ステップS104及びステップS106で取得した情報を追加することで、製品情報リスト記憶領域58bに記憶されている製品情報リストLを更新する(製品情報リストLが未だ生成されていない場合には新規で生成する)。
ステップS108では、対象地理領域全体の画像データに関し(第1画像G1及び第2画像G2の両方について)、識別部66が対象製品の画像の識別処理を完了しているかを判定する。具体的には、対象地理領域に関する全ての第1画像G1及び第2画像G2のそれぞれについて、その全体(処理の対象とすべき部分)が識別対象画像に決定され、識別部66により対象製品の画像の識別処理が実行されているかを判定する。完了していない場合には、ステップS103に戻り、完了している場合にはステップS109に進む。
次にステップS109では、生成部68は、地図DB300に対して上記の対象地理領域の地図データの送信を要求する。そして、生成部68は、更に製品情報リスト記憶領域58bに記憶されている製品情報リストLに基づき、対象製品を表す図形を対象製品の設置位置に対応する地図データ上の地点に表示することで、製品設置位置分布図Mを作成する。作成された製品設置位置分布図Mは、製品設置位置分布図記憶領域58cに記憶される。その後ステップS110に進む。
ステップS110では、ステップS109で製品設置位置分布図記憶領域58cが生成されてから所定期間が経過したか否かが判定される。所定期間が経過していた場合にはステップS102に戻り、再度、製品情報生成のための一連の処理が実行される。
(4)特徴
(4−1)
本実施形態の情報生成システム100は、製品の情報生成システムである。情報生成システム100は、取得部64と、識別部66と、生成部68と、を備える。取得部64は、位置情報と関連付けられた景観の画像データを取得する。識別部66は、取得部64により取得された画像データ中の対象製品の画像T1a,T1b,T1c,T2を識別する。生成部68は、識別部66により識別された対象製品の設置位置を、画像データと関連付けられた位置情報に基づいて特定し、対象製品について、設置位置に関する情報付きの製品情報を生成する。
(4−1)
本実施形態の情報生成システム100は、製品の情報生成システムである。情報生成システム100は、取得部64と、識別部66と、生成部68と、を備える。取得部64は、位置情報と関連付けられた景観の画像データを取得する。識別部66は、取得部64により取得された画像データ中の対象製品の画像T1a,T1b,T1c,T2を識別する。生成部68は、識別部66により識別された対象製品の設置位置を、画像データと関連付けられた位置情報に基づいて特定し、対象製品について、設置位置に関する情報付きの製品情報を生成する。
ここでは、人が現地調査を行わなくても、画像データに基づいて生成された設置位置に関する情報付きの製品情報を利用して、予め保守サービス等に加入していない(登録されていない)製品に対しても保守提案等を行うことが可能である。そのため、本情報生成システム100を利用することで、保守サービスの潜在顧客の取り込みを図ることができる。また、製品の利用者にとっても、予め保守サービス等に加入することなく保守提案を受けることが可能であり、使用している対象製品を適切な状態に維持することが容易で、利便性が高い。
(4−2)
本実施形態の情報生成システム100では、画像データは、上方から景観が撮影された第1画像G1と、横方向から景観が撮影された第2画像G2と、を含む。
本実施形態の情報生成システム100では、画像データは、上方から景観が撮影された第1画像G1と、横方向から景観が撮影された第2画像G2と、を含む。
ここでは、特に画像データに撮影視点の異なる画像が含まれるため、一方の撮影視点の画像からは識別できない又は識別しにくい製品を他方の撮影視点の画像から見つけ出し、製品の所在調査を、抜けを少なく行うことができる。
(4−3)
本実施形態の情報生成システム100では、識別部66は、対象製品の外観及び対象製品に付された識別表示の少なくとも一方に基づいて、画像データ中の対象製品の画像を識別する。
本実施形態の情報生成システム100では、識別部66は、対象製品の外観及び対象製品に付された識別表示の少なくとも一方に基づいて、画像データ中の対象製品の画像を識別する。
対象製品に付された識別表示は、例えば、室外機E1,E2に付されたロゴS11,S21である。
ここでは、対象製品の外観や、対象製品に付された識別表示に基づき画像データ中の対象製品の画像が識別されるので、画像データ中に存在する対象製品の画像を誤りなく見つけ出すことが容易である。
(4−4)
本実施形態の情報生成システム100では、生成部68は、設置位置に関する情報付きの製品情報として、製品設置位置分布図Mを生成する。
本実施形態の情報生成システム100では、生成部68は、設置位置に関する情報付きの製品情報として、製品設置位置分布図Mを生成する。
ここでは、システムにより、製品設置位置分布図M、すなわち製品の設置位置を示した地図が生成される。製品設置位置分布図Mを用いることで、対象製品の設置位置を視覚的に容易に把握することができる。そのため、保守提案の営業担当者は、営業活動に製品設置位置分布図Mを活用しやすい。
(4−5)
本実施形態の情報生成システム100では、識別部66は、画像データ中の対象製品の画像を、メーカー、機種、及び年式に関し区別して識別する。生成部68は、これらの項目に関し対象製品が分類された製品情報を生成する。
本実施形態の情報生成システム100では、識別部66は、画像データ中の対象製品の画像を、メーカー、機種、及び年式に関し区別して識別する。生成部68は、これらの項目に関し対象製品が分類された製品情報を生成する。
ここでは、単に対象製品の存在が識別されるだけではなく、メーカー、機種、及び年式の少なくとも1つの項目に関して区別して対象製品が識別され、項目により対象製品が分類された製品情報が生成される。そのため、保守サービスの提案者は、適切な保守提案や更新提案を行うことが容易である。
(4−6)
本実施形態の情報生成システム100では、対象製品は、冷媒を冷媒回路内で循環させる冷凍装置の少なくとも一部を構成する機器である。特にここでは、対象製品は、空調装置の室外機である。識別部66は、画像データ中の対象製品の画像を、対象製品の使用する冷媒に関し区別して識別する。生成部68は、冷媒に関し対象製品が分類された製品情報を生成する。
本実施形態の情報生成システム100では、対象製品は、冷媒を冷媒回路内で循環させる冷凍装置の少なくとも一部を構成する機器である。特にここでは、対象製品は、空調装置の室外機である。識別部66は、画像データ中の対象製品の画像を、対象製品の使用する冷媒に関し区別して識別する。生成部68は、冷媒に関し対象製品が分類された製品情報を生成する。
ここでは、単に対象製品としての冷凍装置の構成機器の存在が識別されるだけではなく、使用される冷媒に関して区別して構成機器が識別され、使用冷媒に関し対象製品が分類された状態で製品情報が生成される。そのため、保守サービスの提案者は、適切な保守提案や更新提案を行うことが容易である。
(4−7)
本実施形態の情報生成システム100では、識別部66は、画像データ中の対象製品の画像を、劣化度合いに関し区別して識別する。生成部68は、劣化度合いに関し対象製品が分類されている製品情報を生成する。
本実施形態の情報生成システム100では、識別部66は、画像データ中の対象製品の画像を、劣化度合いに関し区別して識別する。生成部68は、劣化度合いに関し対象製品が分類されている製品情報を生成する。
ここでは、単に対象製品の存在が識別されるだけではなく、劣化度合いを区別して対象製品が識別され、劣化度合いに関し対象製品が分類された状態で製品情報が生成される。そのため、保守サービスの提案者は、保守/更新の必要性の高い対象製品に絞って保守提案や更新提案を行うことが可能である。
(4−8)
本実施形態の情報生成システム100では、識別部66は、画像データ中の対象製品の画像を、劣化種類に関し区別して識別する。生成部68は、劣化種類に関し対象製品が分類されている製品情報を生成する。
本実施形態の情報生成システム100では、識別部66は、画像データ中の対象製品の画像を、劣化種類に関し区別して識別する。生成部68は、劣化種類に関し対象製品が分類されている製品情報を生成する。
ここでは、劣化の種類を区別して対象製品が識別され、劣化の種類に関し対象製品が分類された状態で製品情報が生成される。そのため、保守サービスの提案者は、適切な保守提案や更新提案を行うことが可能である。
(4−9)
本実施形態の情報生成システム100では、製品情報は、所定のタイミングで更新して生成される。
本実施形態の情報生成システム100では、製品情報は、所定のタイミングで更新して生成される。
ここでは、製品情報が適宜更新されるため、保守サービスの提案者は、製品情報の変化に基づいて適切な保守提案等を行うことができる。
(5)変形例
以下に上記実施形態の変形例を説明する。なお、各変形例の構成の一部又は全部は、他の変形例の構成の一部又は全部と互いに矛盾しない範囲で複数組み合わされてもよい。
以下に上記実施形態の変形例を説明する。なお、各変形例の構成の一部又は全部は、他の変形例の構成の一部又は全部と互いに矛盾しない範囲で複数組み合わされてもよい。
(5−1)変形例A
上記実施形態では、サーバ50はクラウドサービスを提供するコンピュータであり、情報生成システム100の利用者は、利用者端末400を介して、サーバ50が生成した(情報生成システム100の運用者側で生成された)製品情報を利用する。しかし、これに限定されるものではない。例えば、情報生成システムは、サーバ50の代わりに、上記のサーバ50と同様の機能を有する利用者自身が運用するコンピュータを有し、利用者は、コンピュータを直接操作して製品情報を利用してもよい。
上記実施形態では、サーバ50はクラウドサービスを提供するコンピュータであり、情報生成システム100の利用者は、利用者端末400を介して、サーバ50が生成した(情報生成システム100の運用者側で生成された)製品情報を利用する。しかし、これに限定されるものではない。例えば、情報生成システムは、サーバ50の代わりに、上記のサーバ50と同様の機能を有する利用者自身が運用するコンピュータを有し、利用者は、コンピュータを直接操作して製品情報を利用してもよい。
(5−2)変形例B
上記実施形態では、対象製品は、冷凍装置の室外機、より具体的には空調装置の室外機であるが、対象製品は冷凍装置の室外機に限定されるものではない。対象製品は、例えば、路上に設置される自動販売機等の装置や、建物の屋上やベランダ等に設置される衛星アンテナ等であってもよい。
上記実施形態では、対象製品は、冷凍装置の室外機、より具体的には空調装置の室外機であるが、対象製品は冷凍装置の室外機に限定されるものではない。対象製品は、例えば、路上に設置される自動販売機等の装置や、建物の屋上やベランダ等に設置される衛星アンテナ等であってもよい。
(5−3)変形例C
上記実施形態では、識別部66は、画像データ中の対象製品の画像を、メーカー、機種、及び年式の3つの項目に関し区別して識別するが、これに限定されるものではない。識別部66は、画像データ中の対象製品の画像を、メーカー、機種、及び年式の少なくともいずれかの項目に関し区別せずに識別してもよい。例えば、識別部は、画像データ中の対象製品の画像を、メーカー、機種及び年式のいずれにも関係なく、単に空調装置の室外機として識別してもよい。
上記実施形態では、識別部66は、画像データ中の対象製品の画像を、メーカー、機種、及び年式の3つの項目に関し区別して識別するが、これに限定されるものではない。識別部66は、画像データ中の対象製品の画像を、メーカー、機種、及び年式の少なくともいずれかの項目に関し区別せずに識別してもよい。例えば、識別部は、画像データ中の対象製品の画像を、メーカー、機種及び年式のいずれにも関係なく、単に空調装置の室外機として識別してもよい。
ただし、適切な保守サービスの提案を行うという観点からは、識別部は、画像データ中の対象製品の画像を、好ましくは少なくともメーカー別に、より好ましくはメーカー別、かつ、機種別又は年式別に、更に好ましくはメーカー別、機種別及び年式別に、区別して識別することが好ましい。
(5−4)変形例D
識別部66は、上記実施形態のように、画像データ中の対象製品の画像を対象製品の使用する冷媒に関し区別して識別することが好ましいが、これに限定されるものではない。識別部は、画像データ中の対象製品の画像を、冷媒に関して区別せずに識別してもよい。
識別部66は、上記実施形態のように、画像データ中の対象製品の画像を対象製品の使用する冷媒に関し区別して識別することが好ましいが、これに限定されるものではない。識別部は、画像データ中の対象製品の画像を、冷媒に関して区別せずに識別してもよい。
(5−5)変形例E
識別部66は、上記実施形態のように、画像データ中の対象製品の画像を、劣化状況に関し区別して(劣化の種類別、かつ、劣化の度合い別に)識別することが好ましい。しかし、例えば、識別部は、画像データ中の対象製品の画像を、劣化の種類及び劣化の度合いのいずれか一方に関してだけ区別して識別してもよい。また、例えば、識別部は、画像データ中の対象製品の画像を、劣化状況に関し区別せずに識別してもよい。
識別部66は、上記実施形態のように、画像データ中の対象製品の画像を、劣化状況に関し区別して(劣化の種類別、かつ、劣化の度合い別に)識別することが好ましい。しかし、例えば、識別部は、画像データ中の対象製品の画像を、劣化の種類及び劣化の度合いのいずれか一方に関してだけ区別して識別してもよい。また、例えば、識別部は、画像データ中の対象製品の画像を、劣化状況に関し区別せずに識別してもよい。
(5−6)変形例F
上記実施形態では、識別部66は、同一地点に関し、上方から景観が撮影された第1画像G1と、横方向から景観が撮影された第2画像G2と、の2種類の画像を用いて、画像データ中の対象製品の画像を識別するが、これに限定されるものではない。識別部は、いずれか一方の視点からの画像だけを用いて、画像データ中の対象製品の画像を識別してもよい。例えば、具体的には、いずれか一方の視点からの画像を用いることで、対象製品をほぼ漏れなく識別できるような場合には、識別部は、いずれか一方の視点からの画像だけを用いて、画像データ中の対象製品の画像を識別してもよい。
上記実施形態では、識別部66は、同一地点に関し、上方から景観が撮影された第1画像G1と、横方向から景観が撮影された第2画像G2と、の2種類の画像を用いて、画像データ中の対象製品の画像を識別するが、これに限定されるものではない。識別部は、いずれか一方の視点からの画像だけを用いて、画像データ中の対象製品の画像を識別してもよい。例えば、具体的には、いずれか一方の視点からの画像を用いることで、対象製品をほぼ漏れなく識別できるような場合には、識別部は、いずれか一方の視点からの画像だけを用いて、画像データ中の対象製品の画像を識別してもよい。
(5−7)変形例G
上記実施形態では、識別部66が、室外機E1,E2に付された冷媒種類表示S12,S22に基づいて対象製品が使用する冷媒の種類を区別することを想定しているが、これに限定されるものではない。例えば、室外機E1,E2には、冷媒種類表示S12,S22が付されていない、あるいは、画像から認識できない可能性が考えられる。
上記実施形態では、識別部66が、室外機E1,E2に付された冷媒種類表示S12,S22に基づいて対象製品が使用する冷媒の種類を区別することを想定しているが、これに限定されるものではない。例えば、室外機E1,E2には、冷媒種類表示S12,S22が付されていない、あるいは、画像から認識できない可能性が考えられる。
そこで、例えば、識別部66は、製品のメーカー、機種、及び年式の少なくともいずれかが特定されることで、使用している冷媒の種類を区別することが可能である場合には、画像データから特定された製品のメーカー、機種、及び年式等に基づいて使用している冷媒の種類を区別してもよい。
(5−8)変形例H
識別部66は、画像データ中の対象製品の画像を、複数の段階別に劣化の度合いを識別するが、これに限定されるものではない。識別部66は、劣化の度合いを複数段階に分けて区別しなくてもよく、単に劣化の有無だけを区別してもよい。
識別部66は、画像データ中の対象製品の画像を、複数の段階別に劣化の度合いを識別するが、これに限定されるものではない。識別部66は、劣化の度合いを複数段階に分けて区別しなくてもよく、単に劣化の有無だけを区別してもよい。
予め管理を委託されている製品ではなくても、製品の所在を把握し、これらの製品に対する保守提案等を行うことが容易な製品の情報生成システムとして有用である。
64 取得部
66 識別部
68 生成部
100 情報生成システム
G1 第1画像(上方から景観が撮影された画像)
G2 第2画像(横方向から景観が撮影された画像)
L 製品情報リスト(製品情報)
M 製品設置位置分布図(製品情報)
S11,S12 ロゴ(識別表示)
T1a,T1b,T1c,T2 対象製品の画像(画像データ中の対象製品の画像)
66 識別部
68 生成部
100 情報生成システム
G1 第1画像(上方から景観が撮影された画像)
G2 第2画像(横方向から景観が撮影された画像)
L 製品情報リスト(製品情報)
M 製品設置位置分布図(製品情報)
S11,S12 ロゴ(識別表示)
T1a,T1b,T1c,T2 対象製品の画像(画像データ中の対象製品の画像)
Claims (7)
- 景観の画像データであって、前記画像データ中の景観の位置情報と関連付けられている前記画像データを取得する取得部(64)と、
前記取得部により取得された前記画像データ中の、冷媒を冷媒回路内で循環させる冷凍装置の少なくとも一部を構成する対象製品の画像(T1a,T1b,T1c,T2)を識別する識別部(66)と、
前記識別部により識別された前記対象製品が設置されている地理的位置を、前記識別部により前記対象製品として識別された前記画像データ中の画素の位置と、前記画素と関連付けられている前記位置情報と、に基づいて特定し、前記対象製品について、前記地理的位置に関する情報を含む製品情報(L,M)を生成する生成部(68)と、
を備える製品の情報生成システム(100)。 - 前記画像データは、上方から景観が撮影された画像(G1)、及び/又は、横方向から景観が撮影された画像(G2)、を含む、
請求項1に記載の製品の情報生成システム。 - 前記識別部は、前記対象製品の外観及び前記対象製品に付された識別表示(S11,S12)の少なくとも一方に基づいて、前記画像データ中の前記対象製品の画像を識別する、
請求項1又は2に記載の製品の情報生成システム。 - 前記生成部は、前記地理的位置に関する情報付きの前記製品情報として、製品設置位置分布図(M)を生成する、
請求項1から3のいずれか1項に記載の製品の情報生成システム。 - 前記識別部は、前記画像データ中の前記対象製品の画像を、メーカー、機種、及び年式の少なくとも1つの項目に関し区別して識別し、
前記生成部は、前記項目に関し前記対象製品が分類された前記製品情報を生成する、
請求項1から4のいずれか1項に記載の製品の情報生成システム。 - 前記対象製品の画像における、前記対象製品の外観及び前記対象製品に付された識別表示の少なくとも一方の特徴を予め学習済みの学習部、を更に備え、
前記識別部は、前記学習部の学習結果を用いて、前記画像データ中の前記対象製品の画像を識別する、
請求項3に記載の製品の情報生成システム。 - 前記メーカー、前記機種、及び前記年式の少なくとも1つの項目が互いに異なる複数種類の前記対象製品の画像について、前記対象製品の種類毎に、前記対象製品の画像の特徴を予め学習済みの学習部、を更に備え、
前記識別部は、前記学習部の学習結果を用いて、前記画像データ中の前記対象製品の画像を、前記メーカー、前記機種、及び前記年式の少なくとも1つの項目に関し区別して識別する、
請求項5に記載の製品の情報生成システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021121296A JP7161130B2 (ja) | 2017-05-15 | 2021-07-26 | 製品の情報生成システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017096475A JP7021428B2 (ja) | 2017-05-15 | 2017-05-15 | 製品の情報生成システム |
JP2021121296A JP7161130B2 (ja) | 2017-05-15 | 2021-07-26 | 製品の情報生成システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017096475A Division JP7021428B2 (ja) | 2017-05-15 | 2017-05-15 | 製品の情報生成システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021168206A true JP2021168206A (ja) | 2021-10-21 |
JP7161130B2 JP7161130B2 (ja) | 2022-10-26 |
Family
ID=64274487
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017096475A Active JP7021428B2 (ja) | 2017-05-15 | 2017-05-15 | 製品の情報生成システム |
JP2021121296A Active JP7161130B2 (ja) | 2017-05-15 | 2021-07-26 | 製品の情報生成システム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017096475A Active JP7021428B2 (ja) | 2017-05-15 | 2017-05-15 | 製品の情報生成システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20200058001A1 (ja) |
EP (1) | EP3627405A4 (ja) |
JP (2) | JP7021428B2 (ja) |
CN (1) | CN110462649B (ja) |
AU (2) | AU2018269613A1 (ja) |
WO (1) | WO2018212022A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6542445B1 (ja) | 2018-07-31 | 2019-07-10 | 株式会社 情報システムエンジニアリング | 情報提供システム及び情報提供方法 |
JP6819708B2 (ja) * | 2019-02-13 | 2021-01-27 | ダイキン工業株式会社 | 冷媒量管理システム |
JP6651190B1 (ja) * | 2019-03-29 | 2020-02-19 | 株式会社 情報システムエンジニアリング | 機械学習用のデータ構造、学習方法及び情報提供システム |
JP6607590B1 (ja) | 2019-03-29 | 2019-11-20 | 株式会社 情報システムエンジニアリング | 情報提供システム及び情報提供方法 |
JP6607589B1 (ja) | 2019-03-29 | 2019-11-20 | 株式会社 情報システムエンジニアリング | 情報提供システム及び情報提供方法 |
JP6651189B1 (ja) * | 2019-03-29 | 2020-02-19 | 株式会社 情報システムエンジニアリング | 機械学習用のデータ構造、学習方法及び情報提供システム |
JP7321028B2 (ja) * | 2019-08-07 | 2023-08-04 | 日立グローバルライフソリューションズ株式会社 | 装置管理システム、及びその検索方法 |
WO2023105626A1 (ja) * | 2021-12-07 | 2023-06-15 | 合同会社O&O | 位置情報提供システムおよび位置情報提供方法 |
CN117433104A (zh) * | 2022-07-20 | 2024-01-23 | 大金工业株式会社 | 环境设备的点检方法、装置及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08121888A (ja) * | 1994-10-20 | 1996-05-17 | Hitachi Ltd | 冷凍装置 |
JPWO2011083732A1 (ja) * | 2010-01-07 | 2013-05-13 | サイバーアイ・エンタテインメント株式会社 | 情報処理システム |
JP2013222335A (ja) * | 2012-04-17 | 2013-10-28 | Hitachi Ltd | 対象物特定システム、対象物特定サーバ及び対象物特定端末 |
US8818031B1 (en) * | 2012-03-02 | 2014-08-26 | Google Inc. | Utility pole geotagger |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4539094B2 (ja) | 2004-01-05 | 2010-09-08 | ダイキン工業株式会社 | 修理結果管理装置および遠隔管理システム |
EP2003611A2 (en) * | 2006-03-31 | 2008-12-17 | Olympus Corporation | Information presentation system, information presentation terminal, and server |
JP4952567B2 (ja) * | 2007-12-21 | 2012-06-13 | 富士ゼロックス株式会社 | 画像検索システム、画像検索装置、プログラム |
KR20090085368A (ko) * | 2008-02-04 | 2009-08-07 | 엘지전자 주식회사 | 공기조화기 및 그 제어방법 |
JP2011083732A (ja) | 2009-10-16 | 2011-04-28 | Mimaki Engineering Co Ltd | 廃水浄化システム、洗浄装置及びインクジェットプリンタシステム |
US8639644B1 (en) * | 2011-05-06 | 2014-01-28 | Google Inc. | Shared robot knowledge base for use with cloud computing system |
JP5863423B2 (ja) * | 2011-11-30 | 2016-02-16 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP5872306B2 (ja) * | 2012-01-30 | 2016-03-01 | 株式会社東芝 | 情報処理装置、情報処理方法及びプログラム |
KR101658091B1 (ko) * | 2014-04-11 | 2016-09-30 | 엘지전자 주식회사 | 원격 관리 서버, 이를 포함한 원격 관리 시스템 및 이의 원격 관리 방법 |
JP6368207B2 (ja) * | 2014-09-25 | 2018-08-01 | 前田建設工業株式会社 | コンクリート構造物の点検支援装置、点検支援方法、及びプログラム |
US9805261B1 (en) * | 2017-02-27 | 2017-10-31 | Loveland Innovations, LLC | Systems and methods for surface and subsurface damage assessments, patch scans, and visualization |
US10458669B2 (en) * | 2017-03-29 | 2019-10-29 | Johnson Controls Technology Company | Thermostat with interactive installation features |
-
2017
- 2017-05-15 JP JP2017096475A patent/JP7021428B2/ja active Active
-
2018
- 2018-05-08 WO PCT/JP2018/017818 patent/WO2018212022A1/ja unknown
- 2018-05-08 AU AU2018269613A patent/AU2018269613A1/en not_active Abandoned
- 2018-05-08 CN CN201880022401.3A patent/CN110462649B/zh active Active
- 2018-05-08 EP EP18802227.1A patent/EP3627405A4/en active Pending
-
2019
- 2019-10-23 US US16/661,811 patent/US20200058001A1/en active Pending
-
2021
- 2021-06-03 AU AU2021203629A patent/AU2021203629A1/en not_active Abandoned
- 2021-07-26 JP JP2021121296A patent/JP7161130B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08121888A (ja) * | 1994-10-20 | 1996-05-17 | Hitachi Ltd | 冷凍装置 |
JPWO2011083732A1 (ja) * | 2010-01-07 | 2013-05-13 | サイバーアイ・エンタテインメント株式会社 | 情報処理システム |
US8818031B1 (en) * | 2012-03-02 | 2014-08-26 | Google Inc. | Utility pole geotagger |
JP2013222335A (ja) * | 2012-04-17 | 2013-10-28 | Hitachi Ltd | 対象物特定システム、対象物特定サーバ及び対象物特定端末 |
Also Published As
Publication number | Publication date |
---|---|
AU2018269613A1 (en) | 2019-10-17 |
WO2018212022A1 (ja) | 2018-11-22 |
EP3627405A1 (en) | 2020-03-25 |
CN110462649A (zh) | 2019-11-15 |
JP2018194949A (ja) | 2018-12-06 |
JP7021428B2 (ja) | 2022-02-17 |
EP3627405A4 (en) | 2020-11-04 |
CN110462649B (zh) | 2023-07-25 |
US20200058001A1 (en) | 2020-02-20 |
AU2021203629A1 (en) | 2021-07-01 |
JP7161130B2 (ja) | 2022-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7161130B2 (ja) | 製品の情報生成システム | |
US20220148303A1 (en) | Method and system for managing a parking lot based on intelligent imaging | |
US10592854B2 (en) | Planogram matching | |
CA2950799C (en) | Linear grouping of recognized items in an image | |
US8805000B2 (en) | Mobile energy audit system and method | |
CN102227753B (zh) | 用于评估稳健性的系统和方法 | |
US9836881B2 (en) | Heat maps for 3D maps | |
US20210216938A1 (en) | Enterprise platform for enhancing operational performance | |
CN103238167B (zh) | 用于检测基础结构内的危险状况的位置的方法和系统 | |
WO2021039126A1 (ja) | 業務支援システム、業務支援装置、業務支援方法、及び、コンピュータプログラム | |
JP2015513331A (ja) | ルールベースのコンテンツ最適化のためのシステム及び方法 | |
WO2018212023A1 (ja) | 対象物識別装置を構築する構築方法、記憶装置、設定装置、及び対象物識別方法 | |
US20170103405A1 (en) | Statistical data generation server device, statistical data generation system, and statistical data generation method | |
US9805289B2 (en) | Color-based post-processing of images | |
CN113763045B (zh) | 一种基于多源数据融合的门店选址可视化分析方法及系统 | |
CN104618686A (zh) | 一种户外广告牌使用状况实时监控方法及系统 | |
CN113705442A (zh) | 一种户外大牌广告画面监控识别系统及方法 | |
KR102656584B1 (ko) | 비디오 영상 기반 부동산 정보 관리 서버 및 이를 이용한 부동산 정보 제공 방법 | |
CN113808107B (zh) | 图像推荐方法、装置、电子设备和存储介质 | |
US20220121852A1 (en) | System and method for three dimensional object counting | |
KR102488953B1 (ko) | 컬러북을 이용한 중고명품 상태 확인 서비스 제공 시스템 | |
US20240053816A1 (en) | Systems and methods for augmented reality-assisted home inspection | |
CN117911317A (zh) | 板材图像的缺陷检测方法、装置、电子设备及存储介质 | |
JP2023039504A (ja) | パラメータ閲覧システム、パラメータ調整システム、サーバ、及びサーバ制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220926 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7161130 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |