CN110462649A - 产品的信息生成系统 - Google Patents

产品的信息生成系统 Download PDF

Info

Publication number
CN110462649A
CN110462649A CN201880022401.3A CN201880022401A CN110462649A CN 110462649 A CN110462649 A CN 110462649A CN 201880022401 A CN201880022401 A CN 201880022401A CN 110462649 A CN110462649 A CN 110462649A
Authority
CN
China
Prior art keywords
product
image
information
image data
object product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880022401.3A
Other languages
English (en)
Other versions
CN110462649B (zh
Inventor
成竹刚
嵓和章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikanko Co Ltd
Original Assignee
Daikanko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikanko Co Ltd filed Critical Daikanko Co Ltd
Publication of CN110462649A publication Critical patent/CN110462649A/zh
Application granted granted Critical
Publication of CN110462649B publication Critical patent/CN110462649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/30Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Abstract

本发明提供一种产品的信息生成系统,即便不是预先委托管理的产品,也能够掌握产品的所在,容易进行对所述的产品的保养建议等。信息生成系统(100)具备取得部(64)、识别部(66)、以及生成部(68)。取得部取得与位置信息建立关联的景观的图像数据。识别部识别由取得部取得的图像数据中的对象产品的图像。生成部基于与图像数据建立关联的位置信息确定由识别部识别出的对象产品的设置位置,针对对象产品生成带有关于设置位置的信息的产品信息。

Description

产品的信息生成系统
技术领域
本发明涉及对于成为对象的产品生成带有关于设置位置的信息的产品信息的信息生成系统。
背景技术
至今,已知有一种远程管理系统,如专利文献1(日本专利公开公报特开2005-196341号)那样,收集与通过网络连接的产品的运转状况、异常发生相关的信息。
产品的保养工作者例如能够使用这种系统针对委托管理(登记在系统中)的产品适当地提出保养建议。
但是,保养工作者虽然能够针对预先委托管理的产品、换言之登记在系统中的产品提出保养建议,但是,无法针对委托外的产品、换言之未登记在系统中而未识别出其存在的产品提出保养建议。如果人能够进行现场调查等而确定产品的使用场所,那么也能够针对未登记在系统中的产品提出保养建议,但是,在这样的方法中,难以有效地确定产品的使用场所,还容易发生调查遗漏。
发明内容
本发明的课题在于提供一种产品的信息生成系统,即便不是预先委托管理的产品,也容易掌握产品的所在,针对这些产品提出保养建议等。
本发明的第1观点所涉及的产品的信息生成系统具备取得部、识别部以及生成部。取得部取得与位置信息建立关联的景观的图像数据。识别部对由取得部取得的图像数据中的对象产品的图像进行识别。生成部基于与图像数据建立关联的位置信息确定由识别部识别出的对象产品的设置位置,针对对象产品生成带有关于设置位置的信息的产品信息。
此处,即便人不进行现场调查,也能够利用基于图像数据生成的带有关于设置位置的信息的产品信息,针对未预先加入保养服务等(未登记)的产品提出保养建议等。因此,通过利用本信息生成系统,能够实现保养服务的潜在顾客的挖掘。另外,作为产品的用户,不预先加入保养服务等也能够接受保养建议,容易将正在使用的对象产品维持在适当的状态,便利性高。
在第1观点所涉及的产品的信息生成系统的基础上,在本发明的第2观点所涉及的产品的信息生成系统中,图像数据包括从上方拍摄景观而得的图像、以及/或者从横向拍摄景观而得的图像。
此处,例如,能够基于航空照片、卫星照片等从上方拍摄景观而得的图像、地上照片、街景型的照片等从横向拍摄景观而得图像,生成产品信息。
另外,更优选为,在图像数据中包括从上方拍摄景观而得的图像以及从横向拍摄景观而得的图像的两者。通过在图像数据中包括拍摄视点不同的图像,能够从另一拍摄视点的图像中找出从一个拍摄视点的图像中无法识别或者难以识别的产品,能够无遗漏地进行产品的所在调查。
在第1观点或者第2观点所涉及的产品的信息生成系统的基础上,在本发明的第3观点所涉及的产品的信息生成系统中,识别部基于对象产品的外观以及附加于对象产品的识别显示中的至少一方,识别图像数据中的对象产品的图像。
对于附加于对象产品的识别显示而言没有特别限定,例如,包括标志、记载有与产品的规格相关的信息的密封件、板等。
此处,基于对象产品的外观、附加于对象产品的识别显示,识别图像数据中的对象产品的图像,因此,能够高精度地找出图像数据中存在的对象产品的图像。
在第1观点至第3观点的任一个所涉及的产品的信息生成系统的基础上,在本发明的第4观点所涉及的产品的信息生成系统中,生成部生成产品设置位置分布图来作为带有关于设置位置的信息的产品信息。
此处,通过系统生成产品设置位置分布图、即表示产品的设置位置的地图。通过使用产品设置位置分布图,能够容易地通过视觉掌握对象产品的设置位置。因此,保养建议的营业担当者易于在营业活动中活用产品设置位置分布图。
在第1观点至第4观点的任一个所涉及的产品的信息生成系统的基础上,在本发明的第5观点所涉及的产品的信息生成系统中,识别部按照制造商、机种以及年式的至少1个项目进行区别来识别图像数据中的对象产品的图像。生成部生成按照项目将对象产品分类的产品信息。
此处,不仅识别对象产品的存在,还按照制造商、机种、以及年式的至少1个项目进行区别来识别对象产品,生成根据项目将对象产品分类后的产品信息。因此,保养服务的建议者容易进行适当的保养建议、更新建议。
在第1观点至第5观点的任一项所涉及的产品的信息生成系统的基础上,在本发明的第6观点所涉及的产品的信息生成系统中,对象产品是构成使制冷剂在制冷剂回路内循环的冷冻装置的至少一部分的设备。识别部按照对象产品所使用的制冷剂进行区别来识别图像数据中的对象产品的图像。生成部生成按照制冷剂将对象产品分类的产品信息。
在此处的冷冻装置中例如包括空调机以及利用热泵的热水供给装置。在作为对象产品的设备中例如包括空调机的室外单元以及热水供给装置的热源单元。
此处,不仅识别作为对象产品的冷冻装置的构成设备的存在,还按照所使用的制冷剂进行区别来识别构成设备,在按照所使用的制冷剂将对象产品分类的状态下生成产品信息。因此,保养服务的建议者易于进行适当的保养建议、更新建议。
在第1观点至第6观点的任一项所涉及的产品的信息生成系统的基础上,在本发明的第7观点所涉及的产品的信息生成系统中,识别部按照劣化程度进行区别来识别图像数据中的对象产品的图像。生成部生成按照劣化程度将对象产品分类的产品信息。
此处,不仅识别对象产品的存在,还区别劣化程度来识别对象产品,在按照劣化程度将对象产品分类的状态下生成产品信息。因此,保养服务的建议者能够锁定保养/更新的必要性高的对象产品提出保养建议、更新建议。
另外,所谓按照劣化程度进行区别可以是将劣化程度分为多级来进行区别,可以是仅对劣化的有无进行区别,也可以是在区别劣化的有无基础上将劣化程度分为多级来进行区别。
在第1观点至第7观点的任一项所涉及的产品的信息生成系统的基础上,在本发明的第8观点所涉及的产品的信息生成系统中,识别部按照劣化种类进行区别来识别图像数据中的对象产品的图像。生成部生成按照劣化种类将对象产品分类的产品信息。
此处,区别劣化的种类来识别对象产品,在按照劣化的种类将对象产品分类的状态下生成产品信息。因此,保养服务的建议者能够进行适当的保养建议、更新建议。
在第1观点至第8观点的任一项所涉及的产品的信息生成系统的基础上,在本发明的第9观点所涉及的产品的信息生成系统中,在规定的时刻更新并生成产品信息。
此处,由于产品信息被适当更新,因此,保养服务的建议者能够基于产品信息的变化进行适当的保养建议等。
在本发明的第1观点所涉及的产品的信息生成系统中,即使人不进行现场调查,也能够利用基于图像数据生成的带有关于设置位置的信息的产品信息,对未预先加入保养服务等(未登记)的产品提出保养建议等。因此,通过利用本信息生成系统,能够实现保养服务的潜在顾客的挖掘。另外,作为产品的用户也能够不预先加入保养服务等而接受保养建议,易于将使用的对象产品维持在适当的状态,便利性高。
在本发明的第2观点所涉及的产品的信息生成系统中,能够基于航空照片、卫星照片等从上方拍摄景观而得的图像、地上照片、街景型照片等从横向拍摄景观而得的图像,生成产品信息。
在本发明的第3观点所涉及的产品的信息生成系统中,能够高精度地找出图像数据中存在的对象产品的图像。
在本发明的第4观点所涉及的产品的信息生成系统中,能够取得易于活用于营业活动的产品信息。
在本发明的第5观点至第9观点所涉及的产品的信息生成系统中,保养服务的建议者易于进行适当的保养建议、更新建议。
附图说明
图1是本发明的一实施方式所涉及的信息生成系统的简要构造图。
图2是作为图1的信息生成系统的识别对象的产品的一例的、一个冷冻装置的室外机。(a)是室外机的简要立体图,(b)是室外机的简要俯视图。
图3是作为图1的信息生成系统的识别对象的产品的其他例子的、其他的冷冻装置的室外机的简要立体图。
图4是图1的信息生成系统识别对象产品的图像的第1图像的一例。第1图像是从上方拍摄景观而得的空中照片图像。
图5是图1的信息生成系统识别对象产品的图像的第2图像的一例。第2图像是从横向拍摄景观而得的图像。
图6是图1的信息生成系统的生成部生成的产品设置位置分布图的一例。
图7是图1的信息生成系统的生成部生成的产品信息列表的一例。
图8是图1的信息生成系统进行的产品信息生成处理的流程图的一例。
具体实施方式
以下,参照附图对本发明的一实施方式所涉及的信息生成系统100进行说明。
另外,下述的实施方式只不过是本发明的具体例而已,并非对本发明的技术范围进行限定。下述的实施方式在不脱离本发明的主旨的范围内能够适当变更。
(1)整体构造
图1是本发明的一实施方式所涉及的信息生成系统100的简要构造图。
信息生成系统100主要具有服务器50。
服务器50是作为云服务而向信息生成系统100的用户(以下有时仅称为用户)提供产品信息的计算机。服务器50对与位置信息建立关联的景观的图像数据中的对象产品的图像进行识别,基于与图像数据建立关联的位置信息确定识别出的对象产品的设置位置,针对对象产品生成带有关于设置位置的信息的产品信息,将生成的产品信息提供给用户。在服务器50生成的对象产品的带有关于设置位置的信息的产品信息中包括产品设置位置分布图M(参照图6)、产品信息列表L(参照图7)。
在本实施方式中,成为生成产品信息的对象的产品(对象产品)是构成使制冷剂在制冷剂回路内循环的冷冻装置的一部分的设备。冷冻装置例如包括空调装置(除了制冷供暖用的空调装置之外还包括制冷专用或者供暖专用的空调装置)、地板供暖装置、热水供给装置以及除湿装置。
此处的对象产品特别是设置于室外的空调装置的室外机(热源机)。在成为对象产品的空调装置的室外机中例如包括空气的吹出口设置于顶面的比较大型的室外机E1(参照图2)、空气的吹出口设置于侧面的比较小型的室外机E2(参照图3)。虽然不限定设置场所,但是,室外机E1设置于建筑物的屋顶等的情况比较多。另外,虽然并不限定设置场所,但是,室外机E2沿着住宅的壁面设置或者设置于阳台的情况比较多。另外,此处图示的两种室外机E1、E2只不过是对象产品的空调装置的室外机的一例而已,作为对象产品的室外机,可以代替室外机E1、E2或者在室外机E1、E2的基础上,包括其他形状、构造的室外机。
例如如图2的(b)以及图3所示,在室外机E1以及室外机E2分别附加标志S11以及标志S21。标志S11以及标志S21是识别显示的一例。标志S11以及标志S21分别是表示室外机E1以及室外机E2的出处(制造商)的显示。标志S11例如附加于室外机E1的顶面。标志S21例如附加于室外机E2的侧面。
另外,例如如图2(b)以及图3所示,在室外机E1以及室外机E2分别附加制冷剂种类显示S12以及制冷剂种类显示S22。制冷剂种类显示S12以及制冷剂种类显示S22是分别表示在室外机E1以及室外机E2中使用的制冷剂的种类的显示。制冷剂种类显示S12以及制冷剂种类显示S22例如是印刷有制冷剂的种类(R410A、R407C、R32等文字)的密封件。制冷剂种类显示S12例如附加于室外机E1的顶面。制冷剂种类显示S22例如附加于室外机E2的侧面。
在本实施方式中,成为对象产品的空调装置的室外机包括多个制造商的空调装置的室外机。另外,各制造商的室外机分别包括多个机种的、多个年式的室外机。例如,在本实施方式中,对象产品的室外机包括制造商、机种以及年式中的至少一个互不相同的几十种室外机。
另外,在制造商、机种或者年式不同的室外机中,例如,外观(整体的设计、部件的设计)不同的情况比较多。另外,在设计的差异中,除了包括形状的差异之外,还包括色彩的差异。另外,在制造商不同的室外机中,附加于室外机的标志的设计、带有标志的位置等不同。另外,即使是相同制造商的室外机,如果机种、年式不同,则有时标志的设计、附加标志的位置等也不同。另外,在制造商、机种、年式等不同的室外机中,例如,有时记载了赋予室外机的规格的板、密封件的记载内容、安装位置等不同(省略图示)。
服务器50经由网络与信息生成系统100的外部的图像DB(图像数据库系统)200连接。另外,服务器50经由网络与信息生成系统100的外部的地图DB(地图信息数据库系统)300连接。另外,服务器50经由网络与信息生成系统100的外部的用户终端400连接。用户终端400是信息生成系统100的用户使用的终端。另外,将图像DB200、地图DB300以及用户终端400与服务器50连接的网络是互联网。另外,网络也可以是WAN(Wide Area Network)。
在图像DB200中保存有与位置信息建立关联的图像数据(与位置信息建立关联的、住宅地域、商业地域、工业地域等的景观的图像数据)。图像DB200根据服务器50发送的请求对服务器50提供图像数据。
保存在图像DB200中且由图像DB200提供给服务器50的图像数据包括拍摄景观而得的第1图像G1(参照图4)以及第2图像G2(参照图5)。
第1图像G1是从上方拍摄景观而得的图像。第1图像G1例如是从飞机(也包括无人机)拍摄景观而得的空中照片图像。例如,第1图像G1是从上方拍摄正下方而得的空中照片图像。但是,第1图像G1可以是从高处(例如从飞机)朝向斜下方拍摄景观而得的图像。另外,第1图像G1也可以是卫星照片。另外,第1图像G1是与图像中的各部位对应的地理位置(表示图像中的某个部位的场所的地理坐标、地址信息)已知的图像。也就是说,第1图像G1是与位置信息建立关联的图像数据的一例。
第2图像G2是从横向拍摄景观而得的图像。另外,此处的横向并不限定于水平方向。在从横向拍摄景观而得的图像中包括以朝向斜上方的视点拍摄景观而得的图像。另外,在从横向拍摄景观而得的图像中,包括从大致横向拍摄而得的(不是以从高处俯视建筑物的屋顶、屋脊的方式拍摄而得的图像)、以朝向斜下方的视点拍摄景观而得的图像。第2图像G2例如是谷歌(google公司)的街景那样的、从横向拍摄景观而得的图像。另外,第2图像G2是与图像中的各部位对应的地理位置(表示图像中的某个部位的场所的地理坐标、地址信息)已知的图像。也就是说,第2图像G2是与位置信息建立关联的图像数据的一例。
另外,在本实施方式中,服务器50并不限定于从信息生成系统100的外部的图像DB200接受图像数据的提供。例如,后述的服务器50的取得部64代替从图像DB200取得图像数据,可以经由以下方式取得图像数据,即:经由后述的服务器50的通信部52、或者从DVD-ROM等存储介质取得由信息生成系统100的管理者等拍摄并进行了附加位置信息处理的图像数据。
在地图DB300中保存有地图数据。地图DB300根据从服务器50发送的请求对服务器50提供地图数据。
地图DB300所存储的地图数据是与地图中的各部位对应的地理位置(表示图像中的某个部位的场所的地理坐标、地址信息)已知的地图数据。换言之,地图数据是与位置信息建立关联的地图数据。
用户终端400是用于供用户使用信息生成系统100生成的对象产品的带有关于设置位置的信息的产品信息(产品设置位置分布图M、产品信息列表L等)的计算机。用户使用用户终端400访问服务器50,进行产品设置位置分布图M、产品信息列表L等的阅览等。
另外,此处,作为用户终端400假定为固定的桌面型的计算机,但是并不限定于此。用户终端400可以是笔记本型的计算机、平板终端、智能手机等便携信息终端。
产品设置位置分布图M是表示作为对象产品的空调装置的室外机的设置位置的地图。具体地说,产品设置位置分布图M显示服务器50在图像数据中识别出的对象产品(换言之,是后述的服务器50的识别部66使用图像识别算法在图像数据中找出其图像的对象产品)的设置位置(另外,以下为了便于记载,有时将服务器50在图像数据中识别出的对象产品称为检测产品)。在产品设置位置分布图M上,例如使用规定的图形显示检测产品的设置位置(参照图6)。例如,在产品设置位置分布图M上,在表示建筑物的图形上显示表示存在检测产品的规定的图形。另外,在针对同一建筑物识别到多个对象产品的情况下,在表示同一建筑物的图形上,显示多个表示存在检测产品的规定的图形。
在产品设置位置分布图M中,例如针对每个产品的制造商使用不同颜色显示检测产品的设置位置。也就是说,产品设置位置分布图M是按照制造商将对象产品分类的产品信息的一例。另外,虽然省略了图示,但是在产品设置位置分布图M中,例如,可以针对每个制造商使用不同的形状的图形显示检测产品的设置位置。
另外,在产品设置位置分布图M中,可以代替按照制造商或者在按照制造商的基础上,按照产品的机种、年式以及/或者制冷剂种类(形状、颜色)以不同的图形显示检测产品的设置位置。也就是说,作为产品信息的产品设置位置分布图M可以按照制造商、机种、年式以及使用制冷剂中的至少1个项目将对象产品分类。另外,优选构成为:用户能够从用户终端400自由改变在产品设置位置分布图M中按照制造商、机种、年式以及使用制冷剂的哪个将对象产品分类并显示。
另外,也可以代替上述构造或者在上述构造的基础上,在产品设置位置分布图M中,按照劣化状态(劣化的种类或者劣化的程度)以不同的图形显示检测产品的设置位置。也就是说,在作为产品信息的产品设置位置分布图M中,按照劣化程度以及劣化种类的至少1个项目将对象产品分类。另外,优选构成为:用户能够从用户终端400自由改变是否在产品设置位置分布图M中按照劣化状态(劣化的种类或者劣化的程度)将对象产品分类显示。将在后面进行与劣化状态相关的说明。
另外,优选为,当使用鼠标等输入装置指定表示检测产品的设置位置的图形时,产品设置位置分布图M弹出显示关于该图形表示的检测产品判明(根据图像数据判明)的各种信息等。另外,弹出显示是显示方式的一例,可以以其他方式显示同样的信息。优选为,在弹出显示等的信息中例如包含该检测产品的制造商、机种、年式、该检测产品所使用的制冷剂的种类、该检测产品的设置场所的地址、以及该检测产品的劣化状况(参照图6)。另外,优选为,在弹出显示等的信息中包含该检测产品的图像(服务器50识别为对象产品的、图像数据中的对象产品的图像)等(参照图6)。
产品信息列表L是检测产品的设置位置的一览表。另外,优选为,在产品信息列表L中,关于各检测产品,除了该检测产品的设置位置的信息之外,还包括关于该检测产品判明(根据图像数据判明)的各种信息。例如,优选为,在产品信息列表L中,关于各检测产品,包含该检测产品的制造商、机种、年式、该检测产品所使用的制冷剂的种类、该检测产品的劣化状况、以及与该检测产品的设置场所的地址相关的信息。
(2)详细构造
服务器50从图像DB200接受第1图像G1以及第2图像G2等的图像数据的提供,识别图像数据中的对象产品的图像(检测图像数据中的对象产品的图像)。服务器50例如识别第1图像G1中的对象产品的图像T1a、T1b、T1c。另外,服务器50例如识别第2图像G2中的对象产品的图像T2。而且,服务器50基于与图像数据建立关联的位置信息确定识别出的对象产品(检测产品)的设置位置(对象产品所被设置的地理位置)。进而,服务器50针对检测产品生成带有关于设置位置的信息的产品信息。
对服务器50进行更详细的说明。
服务器50主要具有通信部52、输入部54、输出部56、存储部58以及处理部60。
(2-1)通信部
通信部52是能够将服务器50与WAN、互联网等网络连接的网络接口。通信部52能够经由网络与信息生成系统100外部的图像DB200、地图DB300以及用户终端400之间进行信息的交换。服务器50基于协议与上述设备通信。
(2-2)输入部
输入部54是用于输入来自信息生成系统100的管理者的指示、各种信息的输入接口。输入部54例如包括键盘以及鼠标。
(2-3)输出部
输出部56是对信息生成系统100的管理者显示各种信息的输出接口。输出部56例如包括液晶显示器。
(2-4)存储部
存储部58包括RAM、ROM等一次存储装置。另外,存储部58包括硬盘驱动器等二次存储装置。在存储部58中存储后述的处理部60执行的各种程序、各种信息。
在存储部58中,作为信息的存储区域,包括图像识别算法存储区域58a、产品信息列表存储区域58b以及产品设置位置分布图存储区域58c。对于图像识别算法存储区域58a、产品信息列表存储区域58b以及产品设置位置分布图存储区域58c中存储的信息,与处理部60的处理一起在后面进行说明。
(2-5)处理部
处理部60主要具有CPU。处理部60通过读出并执行存储部58中存储的程序来执行各种处理。处理部60通过执行存储部58中存储的程序而作为学习部62、取得部64、识别部66以及生成部68发挥功能。
(2-5-1)学习部
学习部62是制作供后述的识别部66在对包括第1图像G1以及第2图像G2的图像数据中的对象产品的图像(例如图4以及图5的图像T1a、T1b、T1c以及T2)进行识别时使用的图像识别算法的功能部。
信息生成系统100的管理者(运营者)当从用户接受到产品信息的提供服务的委托时,首先使学习部62制作图像识别算法。信息生成系统100的管理者利用学习部62例如如以下那样制作图像识别算法。
首先,信息生成系统100的管理者从图像DB200接受规定量的图像数据(样本图像数据)的提供。规定量的样本图像数据是足够学习部62通过机械学习而生成适当的图像识别算法的量的图像数据。而且,管理者根据样本图像数据,通过手动操作(人用眼睛观察样本图像数据)针对各种类的对象产品收集规定数量(例如几百张)的学习用图像(拍摄有对象产品的部分的图像)(取出学习用图像)。
在本实施方式中,识别部66按照产品的制造商、机种、年式以及所使用的制冷剂进行区别来识别图像数据中的对象产品的图像,因此,在收集学习用图像时,如果产品的制造商、机种、年式以及所使用的制冷剂的种类中只要有1个不同,则认为产品是互不相同的种类。另外,在识别部66不按照上述的任一项目进行区别来识别图像数据中的对象产品的图像的情况下,即使关于上述项目而产品互不相同,也可以视为是同一种类的产品。
进而,在本实施方式中,由于识别部66按照劣化状态(劣化的种类以及劣化的程度)进行区别来识别图像数据中的对象产品的图像,因此,在收集学习用图像时,如果劣化状态(劣化的种类以及劣化的程度的至少一方)不同,则认为产品是互不相同的种类。另外,在识别部66不按照劣化状态进行区别来识别图像数据中的对象产品的图像的情况下,即使关于劣化状态而产品互不相同,也可以视为是同一种类的产品。
另外,此处,劣化的种类包括磨损、龟裂、破损、断线、(螺钉等的)松动、(螺钉等的)脱落、变形、损伤、接触不良、部件缺件、生锈、腐蚀以及污垢中的至少1个。另外,在学习用图像的收集中,可以将2个以上的劣化的种类(例如生锈和腐蚀)合并而作为1个劣化种类处理。
劣化可以不限于经年劣化(缓慢的劣化)。劣化可以包括由于产品的异常(例如,失火、过热等)、事故等的物理冲击等而引起的急速劣化(在短时间内发生的劣化)。
另外,此处,劣化的程度例如分为:重度劣化(需要立即处置的等级)、中度劣化(需要尽早处置的等级)、轻度劣化(无需尽早处置的等级)、没有劣化这4个阶段。另外,劣化程度的阶段并不限定于4个阶段,可以是2个阶段、或者3个阶段、或者5个阶段以上。
如果管理者从样本图像数据中取出学习用图像,则作为教师标签而赋予该学习用图像的对象产品的制造商、机种、年式、对象产品所使用的制冷剂的种类以及对象产品的劣化状态(劣化的种类以及劣化的程度)的信息(人根据图像判断出的这些信息),并作为教师数据存储于存储部58。
接下来,管理者使学习部62执行使用了教师数据的机械学习(所谓的有教师学习)。学习部62例如使用神经网络、深度学习的方法进行机械学习。另外,学习部62例如可以使用支持向量机、提升(Boosting)的方法进行机械学习。学习部62从各对象产品(按照制造商、机种、年式、所使用的制冷剂的种类以及劣化状态分类的各种类的对象产品)的图像中提取特征量。所提取的特征量例如与对象产品的外观相关。另外,例如,在所提取的特征量中,可以代替与对象产品的外观相关的特征量,或者在与对象产品的外观相关的特征量的基础上,还包括与以下相关的特征量,即附加于对象产品的标志S11、S21、附加于对象产品的制冷剂种类显示S12、S22、以及记载有关于附加于对象产品的规格等的信息的板(省略图示)。另外,例如,特征量可以是着眼于图像的亮度的特征量。另外,例如,特征量可以是SIFT特征量等。接下来,学习部62使用所提取的特征量提取各对象产品的判别规则,生成从图像数据中提取各对象产品的图像的图像识别算法。另外,此处例示的神经网络、深度学习、支持向量机以及提升之类的方法是机械学习的方法的一例,但是并不限定于此。学习部62使用适当的方法生成用于根据图像数据识别对象产品的图像的图像识别算法。然后,学习部62将制作的图像识别算法存储于存储部58的图像识别算法存储区域58a。
另外,学习部62分为从上方拍摄景观而得的第1图像G1用和从横向拍摄景观而得的第2图像G2用而生成2个图像识别算法。在第1图像G1用的图像识别算法的生成中,使用从在上方拍摄景观而得的图像的样本图像数据中收集到的(取出的)学习用图像。在第2图像G2用的图像识别算法的生成中,使用从在横向拍摄景观而得的图像的样本图像数据中收集到的(取出的)学习用图像。
另外,如上所述,室外机E1设置于建筑物的屋脊等的情况比较多,因此,室外机E1未出现在第2图像G2中的情况多。另外,室外机E2沿着住宅的壁面设置或者设置在阳台的情况比较多,因此,室外机E2被建筑物的阴影遮挡而未出现在第1图像G1中的情况多。因此,在生成第2图像G2用的图像识别算法时,关于从横向拍摄景观而得的图像的样本图像数据,可以不收集室外机E1的图像。换言之,在第2图像G2用的图像识别算法中,可以不包括识别室外机E1的功能。另外,在生成第1图像G1用的图像识别算法时,关于从上方拍摄景观而得的图像的样本图像数据,可以不收集室外机E2的图像。换言之,在第1图像G1用的图像识别算法中,可以不包括识别室外机E2的功能。
另外,此处,服务器50的学习部62进行机械学习,生成图像识别算法,但是并不限定于此。图像识别算法的生成可以由其他计算机执行,所生成的图像识别算法被提供给服务器50,并存储于图像识别算法存储区域58a。
(2-5-2)取得部
在识别部66对图像数据中的对象产品的图像进行识别时,取得部64取得存储于图像DB200的与位置信息建立关联的1个或者多个图像数据(1个或者多个第1图像G1以及1个或者多个第2图像G2)。
例如,在信息生成系统100的管理者从输入部54关于某个对象地理区域(例如1个市),指示针对对象产品生成带有关于设置位置的信息的产品信息的情况下,取得部64经由通信部52请求图像DB200发送该对象地理区域的图像数据。取得部64将从图像DB200取得的图像数据存储于存储部58。另外,优选为,取得部64针对同一地点(也就是说同一地理坐标/地址)取得第1图像G1以及第2图像G2的两者。
另外,信息生成系统100在生成产品信息后,每经过规定期间(例如1年)便更新产品信息。因此,如果从生成产品信息起经过规定期间,则取得部64经由通信部52请求管理图像DB200的计算机发送对象地理区域的图像数据。在这种情况下,取得部64也将从图像DB200取得的对象地理区域的图像数据存储于存储部58。
另外,信息生成系统100可以代替每隔一定期间更新产品信息,转而在更新图像DB200的图像数据的时刻更新生成产品信息。例如,如果通信部52接收到旨在从图像DB200发送来的图像数据已被更新的通知,则取得部64请求图像DB200发送对象地理区域的图像数据,从图像DB200中取得图像数据。
(2-5-3)识别部
当取得部64取得图像数据时,识别部66使用存储于图像识别算法存储区域58a的图像识别算法,对取得部64从图像DB200取得的图像数据(第1图像G1以及第2图像G2)中的对象产品的图像T1a、T1b、T1c、T2进行识别。
例如,识别部66以如下方式对第1图像G1中的对象产品的图像T1a、T1b、T1c进行识别。
首先,识别部66从1个第1图像G1,在进行识别处理的基础上将适当的尺寸的范围决定为识别对象图像。在拍摄1个第1图像G1的地理区域的面积比较小的情况下,识别部66可以将1个第1图像G1整体决定为识别对象图像。然后,识别部66使用存储于图像识别算法存储区域58a的第1图像G1用的图像识别算法,对识别对象图像中的对象产品的图像T1a、T1b、T1c进行识别(识别是否存在对象产品的图像)。
另外,识别部66以如下方式识别第2图像G2中的对象产品的图像T2。
首先,识别部66从1个第2图像G2,在进行识别处理的基础上将适当的尺寸的范围决定为识别对象图像。在拍摄1个第2图像G2的地理区域的面积比较小的情况下,识别部66可以将1个第2图像G2的整体决定为识别对象图像。然后,识别部66使用存储于图像识别算法存储区域58a的第2图像G2用的图像识别算法,对识别对象图像中的对象产品的图像T2进行识别(识别是否存在对象产品的图像)。
识别部66以针对被指示生成产品信息的地理区域(对象地理区域)的整体进行对象产品的图像的识别的方式(以针对网罗整个对象地理区域的全部第1图像G1以及第2图像G2,进行对象产品的图像的识别的方式),反复进行上述的步骤。
图像识别算法例如基于对象产品的外观、附加于对象产品的识别显示对图像数据中的对象产品的图像进行识别。例如,识别部66基于对象产品的外观以及附加于对象产品的识别显示(标志S11、S21)中的至少一方对图像数据中的对象产品的图像进行识别。另外,例如,识别部66可以基于附加于对象产品的其他识别显示(例如,制冷剂种类显示S12、S22、记载有与规格等相关的信息的板等),对图像数据中的对象产品的图像进行识别。
图像识别算法被设计成如果例如产品的制造商、机种、年式、所使用的制冷剂以及劣化状况中的至少1个不同,则视为是互不相同的产品的算法。因此,识别部66按照制造商、机种以及年式进行区别来识别图像数据中的对象产品的图像。另外,此处,识别部66按照对象产品所使用的制冷剂进行区别来识别图像数据中的对象产品的图像。另外,识别部66按照劣化程度进行区别来识别图像数据中的对象产品的图像。另外,识别部66按照劣化种类进行区别来识别图像数据中的对象产品的图像。
另外,识别部66在对象产品中发现两种以上的劣化的情况下,有可能在图像数据中多次识别相同对象产品的图像(劣化种类不同)。因此,在识别部66已经对识别对象图像的某个像素识别对象产品的图像的情况下,即便再次识别对象产品的图像,也可以将其忽视。或者,在识别部66已经对识别对象图像的某一像素识别对象产品的图像的情况下,可以向生成部68通知是已经识别完毕的产品,以免在产品信息中多重包含与同一对象产品相关的信息。生成部68当接受到这样的通知时,可以仅将劣化的种类作为追加信息反映于产品信息。
(2-5-4)生成部
当识别部66在图像数据(识别对象图像)中识别(检测)出对象产品的图像时,生成部68基于与图像数据建立关联的位置信息确定由识别部66识别出的对象产品(检测产品)的设置位置。具体地说,生成部68确定识别部66在基于第1图像G1的识别对象图像中识别为对象产品的图像的像素的位置,基于与第1图像G1建立关联的位置信息确定与该像素对应的地理位置。另外,生成部68确定像素的位置,该像素是识别部66在基于第2图像G2的识别对象图像中识别为对象产品的图像的像素,并基于与第2图像G2建立关联的位置信息确定与该像素对应的地理位置。其结果是,识别部66识别出的对象产品(被确定制造商、机种、年式、所使用的制冷剂以及劣化状况的对象产品)的设置位置被生成部68确定。
该信息以例如如图7所示的产品信息列表L那样的形式存储于存储部58的产品信息列表存储区域58b。换言之,生成部68针对对象产品生成带有与产品设置位置相关的信息的产品信息列表L。另外,在产品信息列表L中,除了包括检测产品的设置位置的信息之外,还包括产品的制造商、机种、年式、所使用的制冷剂的种类以及劣化状况的信息。产品信息列表L是针对对象产品由生成部68生成的、带有关于设置位置的信息的产品信息的一例。
另外,当识别部66针对被指示生成产品信息的对象地理区域的整体识别图像数据(第1图像G1以及第2图像G2)中的对象产品的图像这样的处理结束时,生成部68请求地图DB300发送上述的对象地理区域的地图数据。地图数据是地图中的各点的位置信息为已知的地图数据。然后,生成部68基于产品信息列表L将表示对象产品的图形显示在地图上的与对象产品的设置位置对应的地点,来制作产品设置位置分布图M。制作的产品设置位置分布图M存储于产品设置位置分布图存储区域58c。
另外,作为由生成部68生成的产品信息的一例的产品信息列表L以及产品设置位置分布图M,关于产品的制造商、机种以及年式的项目对对象产品进行分类。另外,作为由生成部68生成的产品信息的一例的产品信息列表L以及产品设置位置分布图M,关于对象产品所使用的制冷剂对对象产品进行分类。另外,作为由生成部68生成的产品信息的一例的产品信息列表L以及产品设置位置分布图M,关于劣化程度对对象产品进行分类。进而,作为由生成部68生成的产品信息的一例的产品信息列表L以及产品设置位置分布图M,关于劣化种类对对象产品进行分类。
另外,生成部68在暂时生成产品信息之后经过规定的期间,或者在存储于图像DB200的图像数据被更新的时刻,如果取得部64取得图像数据,进行识别部66识别该图像数据中的对象产品的图像的处理,则与上述同样,重新生成作为产品信息的产品信息列表L以及产品设置位置分布图M。换言之,在规定的时刻更新并生成产品信息。
另外,此处虽然省略了图示,但是,优选为,生成部68生成能够知道产品信息的经时变化的产品信息列表L以及产品设置位置分布图M。例如,在新识别出到目前为止未发现(未识别)的对象产品的图像的情况下,为了理解该发现,优选在产品信息列表L以及产品设置位置分布图M中进行显示(例如,改变显示颜色等)。另外,在同一位置以前也识别出制造商、机种、年代、规格制冷剂相同的对象产品的图像,又识别出仅劣化状况变化了的对象产品的图像的情况下,为了理解该变化,优选在产品信息列表L以及产品设置位置分布图M进行显示(例如,改变显示颜色等)。
另外,信息生成系统100的用户例如能够以如下方式活用这样的产品信息列表L以及产品设置位置分布图M。
其一,针对到此为止未预先加入保养服务等的产品,有时难以掌握设置场所,难以提出保养建议等。与此相对,如果利用由本信息生成系统100生成的产品信息列表L以及产品设置位置分布图M,即便人不进行现场调查等也能够确定产品的使用位置。因此,通过利用本信息生成系统,能够实现保养服务的潜在顾客的挖掘。另外,对于产品的用户而言,即便未预先加入保养服务等也能够接受保养建议,易于将正在使用的对象产品维持在适当的状态,便利性高。尤其是,产品信息列表L以及产品设置位置分布图M不仅根据产品的设置位置,还根据与产品的制造商、机种、年式、所使用的制冷剂以及劣化状况相关的信息等区别产品,易于进行适当的保养服务的建议。
另外,产品信息列表L以及产品设置位置分布图M不仅能够利用于保养服务的建议,也能够利用于产品的更新建议等。另外,能够通过产品信息列表L以及产品设置位置分布图M获得产品在每个地域的分布、其他公司/本公司产品的分布、产品的年代等信息等,从而还能够活用于营业战略的制定等。
另外,产品信息列表L以及产品设置位置分布图M包括产品的经年劣化的状态等作为信息,因此,还能够应用于产品的品质改善。例如,如果能够掌握产品的经年劣化的状态,那么还能将该信息活用于劣化的抑制方法的开发等。另外,在人收集这样的信息的情况下,能收集的样本数是有限的,而利用本信息生成系统100能够容易地收集上述的信息。
进而,产品信息列表L以及产品设置位置分布图M在掌握召回对象产品的所在这样的用途中也是有用的。现在,在未预先掌握产品所在的情况下(不存在顾客信息等的情况下),期待消费者自己意识到,例如采用利用报纸等媒体告知消费者这样的方法。但是,在这种方法中,存在消费者未意识到告知或者尽管意识到告知也会错误识别产品的机种、年式的可能性。但是,通过使用产品信息列表L以及产品设置位置分布图M掌握产品的所在,能够降低漏掉对召回对象产品的所在的掌握的情况。
(3)由服务器进行的产品信息的生成处理
参照图8的流程图对由服务器50进行的产品信息的生成处理的流程的一例进行说明。
另外,已经针对服务器50的处理部60的各功能部(学习部62、取得部64、识别部66、生成部68)的详细处理内容进行了说明,此处,以处理的流程为中心进行说明。
首先,信息生成系统100的管理者当从用户接受到产品信息的提供服务的委托时,首先使学习部62制作图像识别算法。学习部62将制作的图像识别算法存储于存储部58的图像识别算法存储区域58a(步骤S101)。
接下来,当信息生成系统100的管理者根据用户的要求从输入部54指示针对某一对象地理区域、针对对象产品生成带有关于设置位置的信息的产品信息时,取得部64从图像DB200取得该对象地理区域的图像数据(步骤S102)。
接下来,识别部66根据图像数据,更具体地说,对于取得部64取得的图像数据中包括的第1图像G1或者第2图像G2,在进行识别处理的基础上将适当的尺寸的范围决定为识别对象图像(步骤S103)。
接下来,在步骤S104中,如果在步骤S103中决定的识别对象图像是基于第1图像G1的图像,则识别部66使用存储于图像识别算法存储区域58a的第1图像G1用的图像识别算法,对识别对象图像中的对象产品的图像进行识别。另一方面,如果在步骤S103中决定的识别对象图像是基于第2图像G2的图像,则识别部66使用存储于图像识别算法存储区域58a的第2图像G2用的图像识别算法,对识别对象图像中的对象产品的图像进行识别。
接下来,在步骤S105中,判断在步骤S104的处理中是否在识别对象图像中识别出了对象产品的图像(是否存在对象产品的图像)。在识别出对象产品的图像的情况下进入步骤S106,在未识别出对象产品的图像的情况下进入步骤S108。
在步骤S106中,生成部68基于与图像数据建立关联的位置信息确定由识别部66在识别对象图像中识别出的对象产品(检测产品)的设置位置。
在步骤S107中,生成部68将在步骤S104中识别部66识别出的制造商、机种、年式、所使用的制冷剂的种类、劣化程度以及劣化种类的对象产品存在于在步骤S106中确定的设置位置的情况,存储于存储部58。具体地说,在步骤S107中,生成部68通过追加在步骤S104以及步骤S106中取得的信息,来更新存储于产品信息列表存储区域58b的产品信息列表L(在尚未生成产品信息列表L的情况下新生成产品信息列表L)。
在步骤S108中,针对整个对象地理区域的图像数据(第1图像G1以及第2图像G2的两者),判定识别部66是否完成对象产品的图像的识别处理。具体地说,针对与对象地理区域相关的全部第1图像G1以及第2图像G2的每一个,将其整体(应当作为处理的对象的部分)决定为识别对象图像,判定是否由识别部66执行对象产品的图像的识别处理。在尚未完成的情况下,返回步骤S103,在已完成的情况下,进入步骤S109。
接下来,在步骤S109中,生成部68请求地图DB300发送上述的对象地理区域的地图数据。然后,生成部68进一步基于存储于产品信息列表存储区域58b的产品信息列表L,将表示对象产品的图形显示于地图数据上的与对象产品的设置位置对应的地点,从而制作产品设置位置分布图M。制作的产品设置位置分布图M存储于产品设置位置分布图存储区域58c。然后进入步骤S110。
在步骤S110中,判定从在步骤S109中生成产品设置位置分布图存储区域58c起是否经过了规定期间。在经过了规定期间的情况下,返回步骤S102,再次进行用于生成产品信息的一系列的处理。
(4)特征
(4-1)
本实施方式的信息生成系统100是产品的信息生成系统。信息生成系统100具备取得部64、识别部66以及生成部68。取得部64取得与位置信息建立关联的景观的图像数据。识别部66对由取得部64取得的图像数据中的对象产品的图像T1a、T1b、T1c、T2进行识别。生成部68基于与图像数据建立关联的位置信息确定由识别部66识别出的对象产品的设置位置,针对对象产品生成带有关于设置位置的信息的产品信息。
此处,即使人不进行现场调查,也能够利用基于图像数据生成的带有关于设置位置的信息的产品信息,对未预先加入保养服务等(未登记)的产品提出保养建议等。因此,通过利用本信息生成系统100,能够实现保养服务的潜在顾客的挖掘。另外,对于产品的用户来说,不预先加入保养服务等也能接受保养建议,易于将正在使用的对象产品维持在适当的状态,便利性高。
(4-2)
在本实施方式的信息生成系统100中,图像数据包括从上方拍摄景观而得的第1图像G1、以及从横向拍摄景观而得的第2图像G2。
此处,尤其是在图像数据中包括拍摄视点不同的图像,因此,从一个拍摄视点图像不能识别或者不易识别的产品,能够从另一个拍摄视点的图像中找出,这样能够减少遗漏地进行产品的所在调查。
(4-3)
在本实施方式的信息生成系统100中,识别部66基于对象产品的外观以及附加于对象产品的识别显示中的至少一方,对图像数据中的对象产品的图像进行识别。
附加于对象产品的识别显示例如是附加于室外机E1、E2的标志S11、S21。
此处,由于基于对象产品的外观、附加于对象产品的识别显示对图像数据中的对象产品的图像进行识别,所以能够高精度地找出图像数据中存在的对象产品的图像。
(4-4)
在本实施方式的信息生成系统100中,生成部68作为带有关于设置位置的信息的产品信息而生成产品设置位置分布图M。
此处,通过系统生成产品设置位置分布图M、即表示了产品的设置位置的地图。通过使用产品设置位置分布图M,能够通过视觉容易地掌握对象产品的设置位置。因此,保养建议的营业担当者易于在营业活动中活用产品设置位置分布图M。
(4-5)
在本实施方式的信息生成系统100中,识别部66按照制造商、机种、以及年式进行区别来识别图像数据中的对象产品的图像。生成部68生成与这些项目相关的将对象产品分类的产品信息。
此处,不仅仅是识别对象产品的存在,还按照制造商、机种以及年式中的至少1个项目进行区别来识别对象产品,生成根据项目将对象产品分类的产品信息。因此,保养服务的建议者容易进行适当的保养建议、更新建议。
(4-6)
在本实施方式的信息生成系统100中,对象产品是构成使制冷剂在制冷剂回路内循环的冷冻装置的至少一部分的设备。尤其是此处,对象产品是空调装置的室外机。识别部66按照对象产品所使用的制冷剂进行区别来识别图像数据中的对象产品的图像。生成部68生成按照制冷剂将对象产品分类的产品信息。
此处,不仅仅识别出作为对象产品的冷冻装置的构成设备的存在,还按照所使用的制冷剂进行区别来识别构成设备,在按照使用制冷剂将对象产品分类的状态下生成产品信息。因此,保养服务的建议者易于进行适当的保养建议、更新建议。
(4-7)
在本实施方式的信息生成系统100中,识别部66按照劣化程度进行区别来识别图像数据中的对象产品的图像。生成部68生成与劣化程度相关地将对象产品分类的产品信息。
此处,不仅仅识别对象产品的存在,还区别劣化程度来识别对象产品,在按照劣化程度将对象产品分类的状态下生成产品信息。因此,保养服务的建议者能够锁定保养/更新的必要性高的对象产品来提出保养建议、更新建议。
(4-8)
在本实施方式的信息生成系统100中,识别部66按照劣化种类进行区别来识别图像数据中的对象产品的图像。生成部68生成按照劣化种类将对象产品分类的产品信息。
此处,区别劣化的种类来识别对象产品,在按照劣化的种类将对象产品分类的状态下生成产品信息。因此,保养服务的建议者能够进行适当的保养建议、更新建议。
(4-9)
在本实施方式的信息生成系统100中,在规定时刻更新并生成产品信息。
此处,由于适当更新产品信息,所以保养服务的建议者能够基于产品信息的变化进行适当的保养建议等。
(5)变形例
以下对上述实施方式的变形例进行说明。另外,各变形例的构造的一部分或者全部与其他变形例的构造的一部分或者全部在互不矛盾的范围内可以组合多个。
(5-1)变形例A
在上述实施方式中,服务器50是提供云服务的计算机,信息生成系统100的用户经由用户终端400利用服务器50生成的(在信息生成系统100的运用者侧生成的)产品信息,但是,并不限定于此。例如,信息生成系统代替服务器50,而具有与上述的服务器50有同样功能的、用户自身使用的计算机,用户可以直接操作计算机来利用产品信息。
(5-2)变形例B
在上述实施方式中,对象产品是冷冻装置的室外机、更具体地说是空调装置的室外机,但是对象产品不限于冷冻装置的室外机。对象产品例如可以是设置于路上的自动贩卖机等装置、设置于建筑物的屋脊、阳台等的卫星天线等。
(5-3)变形例C
在上述实施方式中,识别部66按照制造商、机种以及年式这3个项目进行区别来识别图像数据中的对象产品的图像,但是并不限定于此。识别部66可以不按照制造商、机种以及年式中的至少任一个项目进行区别来识别图像数据中的对象产品的图像。例如,识别部可以与制造商、机种以及年式的任一个无关地将图像数据中的对象产品的图像仅作为空调装置的室外机进行识别。
但是,从进行适当的保养服务的建议的观点出发,优选识别部至少按照制造商不同、更优选按照制造商不同且机种不同或者年式不同,进一步优选按照制造商不同、机种不同以及年式不同,来区别并识别图像数据中的对象产品的图像。
(5-4)变形例D
如上述实施方式那样,优选为,识别部66按照对象产品所使用的制冷剂进行区别来识别图像数据中的对象产品的图像,但是并不限定于此。识别部可以不按照制冷剂进行区别来识别图像数据中的对象产品的图像。
(5-5)变形例E
如上述实施方式那样,优选为,识别部66按照劣化状况进行区别(按照劣化的种类不同、且劣化的程度不同)来识别图像数据中的对象产品的图像。但是,例如,识别部可以仅按照劣化的种类以及劣化的程度的任一项进行区别来识别图像数据中的对象产品的图像。另外,例如,识别部可以不按照劣化状况进行区别来识别图像数据中的对象产品的图像。
(5-6)变形例F
在上述实施方式中,识别部66针对同一地点,使用从上方拍摄景观而得的第1图像G1、和从横向拍摄景观而得的第2图像G2这两种图像,识别图像数据中的对象产品的图像,但是并不限定于此。识别部可以仅使用从任意一个视点拍摄的图像识别图像数据中的对象产品的图像。例如,具体地说,在通过使用从任意一个视点拍摄的图像能够几乎无遗漏地识别对象产品的情况下,识别部可以仅使用从任一个视点拍摄的图像,识别图像数据中的对象产品的图像。
(5-7)变形例G
在上述实施方式中,假定识别部66基于附加于室外机E1、E2的制冷剂种类显示S12、S22区别对象产品所使用的制冷剂的种类,但是并不限定于此。例如,存在室外机E1、E2上并未附带制冷剂种类显示S12、S22、或者无法从图像中识别制冷剂种类显示S12、S22的可能性。
因此,例如,在识别部66通过确定产品的制造商、机种以及年式中的至少任一个而能够区别所使用的制冷剂的种类的情况下,可以基于从图像数据中确定的产品的制造商、机种、以及年式等区别所使用的制冷剂的种类。
(5-8)变形例H
识别部66分为多个等级地针对图像数据中的对象产品的图像识别劣化的程度,但是并不限定于此。识别部66可以不将劣化地程度分为多个等级来进行区别,而仅仅区别劣化的有无。
产业上的可利用性
作为即使不是预先委托管理的产品也能够容易地掌握产品的所在并进行对这些产品的保养建议等的产品的信息生成系统是有用的。
附图标记说明:
64:取得部;66:识别部;66:生成部;100:信息生成系统;G1:第1图像(从上方拍摄景观而得的图像);G2:第2图像(从横向拍摄景观而得的图像);L:产品信息列表(产品信息);M:产品设置位置分布图(产品信息);S11、S12:标志(识别显示);T1a、T1b、T1c、T2:对象产品的图像(图像数据中的对象产品的图像)。
现有技术文献
专利文献
专利文献1:日本专利公开公报特开2005-196341号

Claims (9)

1.一种产品的信息生成系统(100),其具备:
取得部(64),取得与位置信息建立关联的景观的图像数据;
识别部(66),识别由所述取得部取得的所述图像数据中的对象产品的图像(T1a、T1b、T1c、T2);以及
生成部(68),基于与所述图像数据建立关联的所述位置信息确定由所述识别部识别出的所述对象产品的设置位置,针对所述对象产品生成带有关于所述设置位置的信息的产品信息(L、M)。
2.根据权利要求1所述的产品的信息生成系统,其中,
所述图像数据包括从上方拍摄景观而得的图像(G1)、以及/或者从横向拍摄景观而得的图像(G2)。
3.根据权利要求1或2所述的产品的信息生成系统,其中,
所述识别部基于所述对象产品的外观以及附加于所述对象产品的识别显示(S11、S12)中的至少一方,识别所述图像数据中的所述对象产品的图像。
4.根据权利要求1至3中任一项所述的产品的信息生成系统,其中,
所述生成部生成产品设置位置分布图(M)来作为带有关于所述设置位置的信息的所述产品信息。
5.根据权利要求1至4中任一项所述的产品的信息生成系统,其中,
所述识别部按照制造商、机种、以及年式中的至少1个项目进行区别来识别所述图像数据中的所述对象产品的图像,
所述生成部生成按照所述项目将所述对象产品分类的所述产品信息。
6.根据权利要求1至5中任一项所述的产品的信息生成系统,其中,
所述对象产品是构成使制冷剂在制冷剂回路内循环的冷冻装置的至少一部分的设备,
所述识别部按照所述对象产品所使用的制冷剂进行区别来识别所述图像数据中的所述对象产品的图像,
所述生成部生成按照所述制冷剂将所述对象产品分类的所述产品信息。
7.根据权利要求1至6中任一项所述的产品的信息生成系统,其中,
所述识别部按照劣化程度进行区别来识别所述图像数据中的所述对象产品的图像,
所述生成部生成按照所述劣化程度将所述对象产品分类的所述产品信息。
8.根据权利要求1至7中任一项所述的产品的信息生成系统,其中,
所述识别部按照劣化种类进行区别来识别所述图像数据中的所述对象产品的图像,
所述生成部生成按照所述劣化种类将所述对象产品分类的所述产品信息。
9.根据权利要求1至8中任一项所述的产品的信息生成系统,其中,
在规定的时刻更新并生成所述产品信息。
CN201880022401.3A 2017-05-15 2018-05-08 产品的信息生成系统 Active CN110462649B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-096475 2017-05-15
JP2017096475A JP7021428B2 (ja) 2017-05-15 2017-05-15 製品の情報生成システム
PCT/JP2018/017818 WO2018212022A1 (ja) 2017-05-15 2018-05-08 製品の情報生成システム

Publications (2)

Publication Number Publication Date
CN110462649A true CN110462649A (zh) 2019-11-15
CN110462649B CN110462649B (zh) 2023-07-25

Family

ID=64274487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880022401.3A Active CN110462649B (zh) 2017-05-15 2018-05-08 产品的信息生成系统

Country Status (6)

Country Link
US (1) US20200058001A1 (zh)
EP (1) EP3627405A4 (zh)
JP (2) JP7021428B2 (zh)
CN (1) CN110462649B (zh)
AU (2) AU2018269613A1 (zh)
WO (1) WO2018212022A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6542445B1 (ja) 2018-07-31 2019-07-10 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
JP6819708B2 (ja) * 2019-02-13 2021-01-27 ダイキン工業株式会社 冷媒量管理システム
JP6651190B1 (ja) * 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
JP6607590B1 (ja) 2019-03-29 2019-11-20 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
JP6607589B1 (ja) 2019-03-29 2019-11-20 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
JP6651189B1 (ja) * 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
JP7321028B2 (ja) * 2019-08-07 2023-08-04 日立グローバルライフソリューションズ株式会社 装置管理システム、及びその検索方法
WO2023105626A1 (ja) * 2021-12-07 2023-06-15 合同会社O&O 位置情報提供システムおよび位置情報提供方法
CN117433104A (zh) * 2022-07-20 2024-01-23 大金工业株式会社 环境设备的点检方法、装置及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101268490A (zh) * 2006-03-31 2008-09-17 奥林巴斯株式会社 信息呈现系统、信息呈现终端和服务器
CN101464878A (zh) * 2007-12-21 2009-06-24 富士施乐株式会社 图像搜索系统、图像搜索装置和图像搜索方法
CN101504168A (zh) * 2008-02-04 2009-08-12 Lg电子株式会社 空调机及其控制方法
WO2011083732A1 (ja) * 2010-01-07 2011-07-14 サイバーアイ・エンタテインメント株式会社 情報処理システム
JP2013222335A (ja) * 2012-04-17 2013-10-28 Hitachi Ltd 対象物特定システム、対象物特定サーバ及び対象物特定端末
US8818031B1 (en) * 2012-03-02 2014-08-26 Google Inc. Utility pole geotagger
JP2016065809A (ja) * 2014-09-25 2016-04-28 前田建設工業株式会社 コンクリート構造物の点検支援装置、点検支援方法、及びプログラム
CN106102283A (zh) * 2012-01-30 2016-11-09 株式会社东芝 信息处理装置、信息处理方法及程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3480076B2 (ja) * 1994-10-20 2003-12-15 株式会社日立製作所 室外機
JP4539094B2 (ja) 2004-01-05 2010-09-08 ダイキン工業株式会社 修理結果管理装置および遠隔管理システム
JP2011083732A (ja) 2009-10-16 2011-04-28 Mimaki Engineering Co Ltd 廃水浄化システム、洗浄装置及びインクジェットプリンタシステム
US8639644B1 (en) * 2011-05-06 2014-01-28 Google Inc. Shared robot knowledge base for use with cloud computing system
JP5863423B2 (ja) * 2011-11-30 2016-02-16 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR101658091B1 (ko) * 2014-04-11 2016-09-30 엘지전자 주식회사 원격 관리 서버, 이를 포함한 원격 관리 시스템 및 이의 원격 관리 방법
US9805261B1 (en) * 2017-02-27 2017-10-31 Loveland Innovations, LLC Systems and methods for surface and subsurface damage assessments, patch scans, and visualization
US10458669B2 (en) * 2017-03-29 2019-10-29 Johnson Controls Technology Company Thermostat with interactive installation features

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101268490A (zh) * 2006-03-31 2008-09-17 奥林巴斯株式会社 信息呈现系统、信息呈现终端和服务器
CN101464878A (zh) * 2007-12-21 2009-06-24 富士施乐株式会社 图像搜索系统、图像搜索装置和图像搜索方法
CN101504168A (zh) * 2008-02-04 2009-08-12 Lg电子株式会社 空调机及其控制方法
WO2011083732A1 (ja) * 2010-01-07 2011-07-14 サイバーアイ・エンタテインメント株式会社 情報処理システム
CN106102283A (zh) * 2012-01-30 2016-11-09 株式会社东芝 信息处理装置、信息处理方法及程序
US8818031B1 (en) * 2012-03-02 2014-08-26 Google Inc. Utility pole geotagger
JP2013222335A (ja) * 2012-04-17 2013-10-28 Hitachi Ltd 対象物特定システム、対象物特定サーバ及び対象物特定端末
JP2016065809A (ja) * 2014-09-25 2016-04-28 前田建設工業株式会社 コンクリート構造物の点検支援装置、点検支援方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JINSUK KANG 等: "A platform for mobile image recognition and mobile mapping in local based services", 《LECTURE NOTES ON SOFTWARE ENGINEERING》, vol. 4, no. 1, pages 77 - 81 *

Also Published As

Publication number Publication date
AU2018269613A1 (en) 2019-10-17
WO2018212022A1 (ja) 2018-11-22
EP3627405A1 (en) 2020-03-25
JP2018194949A (ja) 2018-12-06
JP7021428B2 (ja) 2022-02-17
EP3627405A4 (en) 2020-11-04
CN110462649B (zh) 2023-07-25
US20200058001A1 (en) 2020-02-20
AU2021203629A1 (en) 2021-07-01
JP2021168206A (ja) 2021-10-21
JP7161130B2 (ja) 2022-10-26

Similar Documents

Publication Publication Date Title
CN110462649A (zh) 产品的信息生成系统
US8712566B1 (en) Segmentation of a product markup image based on color and color differences
CN109784146B (zh) 一种字体种类识别方法、电子设备、存储介质
Kwinta et al. The description of parcel geometry and its application in terms of land consolidation planning
Michalak GIS in land use change analysis: integration of remotely sensed data into GIS
CN109978918A (zh) 一种轨迹追踪方法、装置和存储介质
CN111709816A (zh) 基于图像识别的服务推荐方法、装置、设备及存储介质
KR100821671B1 (ko) 잎맥의 특징점을 이용한 잎 분류방법
CN103714349A (zh) 一种基于颜色和纹理特征的图像识别方法
WO2019024610A1 (zh) 图像识别方法、装置、计算机设备和可读存储介质
WO2007129474A1 (ja) 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法
CN111292318A (zh) 内窥镜系统及内窥镜图像识别方法、设备、可存储介质
CN109949289A (zh) 一种基于人工智能的混凝土表面缺陷图像识别系统及方法
CN109977253A (zh) 一种基于语义和内容的快速图像检索方法及装置
CN115115257A (zh) 一种基于关系图谱的企业风险预警方法及系统
JP4245872B2 (ja) 類似度判定方法および装置並びにプログラム
CN112004063B (zh) 一种基于多相机联动的卸油油管连接正确性的监控方法
CN110580299B (zh) 生成对象的推荐语的配图的方法、系统、设备及存储介质
CN110414792A (zh) 基于bim和大数据的部品集采管理系统及相关产品
CN109190489A (zh) 一种基于修复自动编码器残差的异常人脸检测方法
Busch et al. Automated verification of a topographic reference dataset: System design and practical results
CN108845999A (zh) 一种基于多尺度区域特征比对的商标图像检索方法
CN115546824A (zh) 禁忌图片识别方法、设备及存储介质
CN113989643A (zh) 管道状态检测方法、装置、介质及计算设备
CN113205067A (zh) 作业人员监控方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant