CN114003802A - 用户引导方法、引导检索装置、方法、系统及程序 - Google Patents

用户引导方法、引导检索装置、方法、系统及程序 Download PDF

Info

Publication number
CN114003802A
CN114003802A CN202110843299.7A CN202110843299A CN114003802A CN 114003802 A CN114003802 A CN 114003802A CN 202110843299 A CN202110843299 A CN 202110843299A CN 114003802 A CN114003802 A CN 114003802A
Authority
CN
China
Prior art keywords
information
guidance
heat map
user
temporal correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110843299.7A
Other languages
English (en)
Inventor
新谷浩一
谷宪
市川学
伊藤健世
野中修
佐藤奈津子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN114003802A publication Critical patent/CN114003802A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Remote Sensing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供用户引导方法、引导检索装置、方法、系统及程序,用于预想特定的位置处的对象物信息的变化并辅助用户的行动。取得按照时间序列得到的特定位置范围内的对象事象的分布信息(S3),判定所取得的对象事象的分布信息的经时的相关性(S5),通过根据经时的相关性的判定结果得到的经时相关数据库来检索引导信息并进行显示(S11)。

Description

用户引导方法、引导检索装置、方法、系统及程序
技术领域
本发明涉及用于基于特定范围内的按照时间序列得到的信息向用户提供引导信息的用户引导方法、引导检索装置及引导检索方法。
背景技术
近年来,伴随着网络环境的发展,在SNS(Social Networking Service:社交网络服务)等中投稿有各种信息。提出通过利用该信息来提供各种服务。例如,在日本公开专利2013-257761号公报(以下称为“专利文献1”)中,提出了如下的信息处理装置:从由用户输入的文本信息中提取包含与时间或场所相关的信息的体验信息,与其他用户的体验信息进行比较,提取在体验信息中认为有共同性的用户组。
发明内容
发明要解决的问题
在上述的专利文献1中,使用与时间或场所相关的信息,提取了在体验信息中认为有共同性的用户组。由此,能够容易地实现体验的共享。但是,在专利文献1中,虽然利用与时间相关的信息,但关于基于经时变化的信息来预想将来并基于该预想向用户提供信息,并没有任何记载。
本发明是鉴于这样的情况而完成的,提供一种用于预想特定的位置处的对象物信息的变化并辅助用户的行动的用户引导方法、检索引导信息的引导检索装置及引导检索方法。
用于解决问题的手段
本发明的第1方案的用户引导方法具备以下步骤:决定与用户的行动或兴趣的对象事象相应的基准区域;取得基准对象事象热图,该基准对象事象热图表示特定时间点的所述基准区域内的所述对象事象的分布;以及参照所述基准对象事象热图、和示出相同或相似区域的热图的过去的经时变化的数据库,估计从所述特定时间点经过了时间后的时间点的对象事象的状况。
本发明的第2方案的引导检索装置具备:取得部,其在不同的多个时刻取得特定区域内的对象事象的分布信息;经时相关判定部,其使用由上述取得部取得的特定区域内的对象事象的分布信息,基于上述对象事象的分布的图案的时间变化及/或分布的图案的移动倾向的持续,判定经时的相关性;以及检索部,其从根据上述经时的相关性的判定结果得到的经时相关数据库中检索引导信息。
本发明的第3方案的引导检索方法具备:取得按照时间序列得到的特定位置范围内的对象事象的分布信息;判定所取得的所述对象事象的分布信息的经时的相关性;以及从根据所述经时的相关性的判定结果得到的经时相关数据库中检索引导信息。
本发明的第4方案的程序的特征在于,使计算机执行以下处理:取得按照时间序列得到的特定位置范围内的对象事象的分布信息;判定所取得的所述对象事象的分布信息的经时的相关性;以及从根据所述经时的相关性的判定结果得到的经时相关数据库中检索引导信息。
本发明的第5方案的引导检索系统具备:取得部,其取得按照时间序列得到的特定位置范围内的对象事象的分布信息;判定部,其判定所取得的上述对象事象的分布信息的经时的相关性;以及检索部,其从根据上述经时的相关性的判定结果得到的经时相关数据库中检索引导信息。
发明的效果
根据本发明,能够提供用于预想特定的位置处的对象物信息的变化并辅助用户的行动的用户引导方法、检索引导信息的引导检索装置、引导检索方法、程序、引导检索系统、信息提示方法、以及信息输出方法。
附图说明
图1A至图1D是说明在本发明的一实施方式中用于向用户提示引导的考虑方法的图,详细而言,图1A是示出患者的增减数量的图表,图1B至图1D是拥挤地图。
图2是示出在本发明的一实施方式中进行经时变化相关判定的动作的流程图。
图3是示出在本发明的一实施方式中进行基准热图日判定的动作的流程图。
图4是示出本发明的一实施方式的相关数据库制作系统的整体结构的框图。
图5是示出在本发明的一实施方式的相关数据库制作系统中预想适合于用户按照推荐的路线赏花的时期的例子的图。
图6是示出本发明的一实施方式的经时变化相关DB化的动作的流程图。
图7是示出本发明的一实施方式的经时变化相关DB化的动作的变形例的流程图。
图8示出在本发明的一实施方式的相关数据库制作系统中记录于事象预想DB的热图图像的例子。
图9是示出本发明的一实施方式的用户建议的动作的流程图。
图10A是示出本发明的一实施方式的根据用户行动而选择特定事象的动作的流程图。图10B是示出在本发明的一实施方式的相关数据库制作系统中根据用户的行动而选择特定事象的例子的图。图10C是示出在本发明的一实施方式的相关数据库制作系统中根据用户的行动而选择特定事象的另一例的图。
图11A是示出在本发明的一实施方式的相关数据库制作系统中作为经时相关判定部而进行深度学习的情况的框图。图11B是示出在本发明的一实施方式的相关数据库制作系统中在作为经时相关判定部而进行深度学习的情况下将“樱花”、“梅花”、“2年前的数据”用作输入数据时的例子的框图。
图12A是示出在本发明的一实施方式的相关数据库制作系统中在作为经时相关判定部而进行深度学习的情况下将多种数据用作输入数据时的例子的框图。图12B是示出在本发明的一实施方式的相关数据库制作系统中在进行深度学习的情况下将输入数据分为子类别而进行时的图。
图13是示出本发明的一实施方式的经时变化相关学习的动作的流程图。
图14是示出本发明的一实施方式的经时变化相关学习的动作的变形例的流程图。
图15示出在本发明的一实施方式的相关数据库制作系统中记录于事象预想DB的与钢筋腐蚀相关的热图图像的例子。
具体实施方式
以下,使用图来说明本发明的一实施方式。首先,说明通过判定按照时间序列得到的热图的经时相关来预想规定时间经过后的热图的情况。另外,记载为时间序列的部分只要是作为随时间经过的变化而得到的信息即可,不必为固定间隔。
如图1A所示,已知特定疾病的发病者有时随着时间的经过而增加。通常难以立即判断该增加是由何种因素引起的。在疾病具有地域性且由某一特定地域的环境的特殊性引起的情况下,通过调查该环境的特征、患者的生活的特征等,能够采取防止发病者增加的措施。但是,实际上地域的状况根据季节、气候等各种因素而变化,并且,发病者不限于停留在一个场所,他们会去各种场所,采取与该场所相应的生活方式。因此,人们有时会遭遇到本人不清楚的疾病的原因,或者自己造成了疾病的原因。
这样,人的移动与疾病的发病密切相关,但针对以交通事故、跌倒事故为代表的事故、小偷等的盗窃或丢失(无法找到)等困境(trouble),也可以说密切相关。由于人与人(根据情况为物与物)接近或密集,或者由此行动的自由度下降或受到限制,从而事件的发生频度变高的情况较多。此外,由于活动中的疲劳、用餐或排泄的制约、温度调整的困难等,也容易发生这样的困境。如果在户外,也容易受到气候的影响,在外出目的地拥挤的状况下,难以避开这样的状况。
因此,如果为感染性的疾病,作为其原因,能够容易想象人的密集成为一个因素。但是,不限于仅仅人的密集成为疾病的原因,能够容易想象过敏、中暑慢性病的恶化等与通常的生活不同的受制约的环境下的压力引起各种困境。如果能够预测这些拥挤等事象并避免拥挤状况或者事先考虑在该状况下可能引起的困境对策,则能够将上述那样的身心健康问题或者平静舒适的生活上的困境防患于未然。另外,这里说明了以人为主要对象的密集状况,但也可以将动植物的分布、车辆等的拥挤等包含在作为本申请的对象的事象中。
因此,如图1A所示,在特定疾病的患者数量根据日期而增减的情况下,仅通过每个医生单独诊断各个患者是无法发现其原因的。为了找出患者未意识到的环境因素,根据患者的增减来确认各个日期的每一天特有的环境状况是否未产生影响是重要的。近年来,通过各种便携终端、各种互联网关联终端、安全系统得到普及,在地图上图示出每个人的行动或环境的变化的特征,能够确认其差异。根据按照颜色区分而显示了其拥挤或变化的程度等的热图等,能够容易通过二维图案来确认从哪里到哪里的范围是怎样的状况。此时,优选通过在划分出与图1A所示的患者的行动范围大致相当的区域的地图上进行比较等,来掌握状况。例如,针对图1A这样的患者数量的增减是否与图1B、图1C这样的特定路线的拥挤状况关联等,容易通过对两者进行比较来确认。
这样的地图上的图案判定使基于来自人所擅长的眼睛的信息确认能力的考察变得容易。此外,同时,地图上的图案判定能够留用利用了图像的许多先进的解决方案。例如,在图1A的箭头所示的日期,患者增加,如果该增加的日期对应于图1B所示的特定日期时间的通勤高峰所引起的拥挤,则至少在成为图1B那样的状况的时间带,在二维图案上产生拥挤的区域不进行活动是安全的。另外,在进行这样的判断时,最好也同时判定出患者在图1C所示的日期时间的增加程度不如图1B的日期时间的增加程度高。
但是,在成为图1B那样的状况之前,如果不能进行上述的预想,则无法应对。对此,取得在图1B所示的热图之前的时间的(例如,2小时前的)热图,该热图在该时间带中,在拥挤状况显著的情况下,能够预想成为图1B所示的热图即可。如果能够像这样预想,则例如能够从2小时前作为用于避免在图1B那样的状态下可能引起的困境(这里为疾病的发生)的预想服务而向用户建议。此外,在感染病等中,从发生拥挤时经过规定期间之后,出现症状或确认到发病,制作出图1A那样的统计。对此,考虑感染期间等,优选得知在图1C所示的状况和图1B所示的状况中存在差异。
为此,确认在图1A所示的患者数量的增减与图1B、图1C的拥挤的图案的差异中是否发现具有时间差的相似倾向,作为该确认的结果,在发现了相似倾向的情况下,如果考虑相似倾向被发现的时间差,则能够进行预想。在预想连休中的高速道路、机场利用或者观光地的拥挤等的情况下,也可以为天数单位,但在通勤拥挤等中,优选为小时单位,因此,以下,根据场景,使用小时作为预想用的单位来进行说明。此外,拥挤状况并非必须要避开,也存在在最繁忙的日子访问的需求。即,在本申请中,并非仅仅避免特定的困境,反之,也能够根据拥挤的信息,进行热门地点的引导。
接着,使用图2所示的流程图,对判定何时能够预测特定的区域成为拥挤状态的动作进行说明。该流程例如能够事先预测何时成为图1B所示的拥挤地图那样的状况。如果能够事先预测拥挤,则用户能够通过避开拥挤的区域来避免困境或风险。该流程通过与后述的图4中的控制部1同等的结构来收集信息,进行能够事先预测的数据库的制作。因此,关于用于执行图2的流程(后述的图3的流程也同样)的结构,只要适当修改图4所示的控制部1即可,因此,省略详细说明。
当图2所示的经时变化相关判定的流程开始时,首先,控制部在设想区域中取得困境发生时的热图(基准热图)(S101)。例如,在用户将要使用东京都内的公共交通工具(包含路线等)出差的情况下,控制部基于与用户的行动或兴趣的对象事象相应的基准区域,设定地铁的路线图或其他路线所在的区域。当设定区域后,首先取得基准热图,该基准热图例如如图1B至图1D所示,将该特定时间点例如图1B中为可能存在风险的〇月〇日:早上8点的对象事象的分布信息以容易理解的方式表示在地图上(在图1B的例子中为特定区域的路线图)。
在图2所示的例子中,将人作为分析的对象,但在分析该对象事象(人的拥挤)的分布图案时,如果采用以二维图案或颜色来表现构成对象事象的对象物的存在位置和密度的热图,则对观察的人来说容易直观地理解。在制作热图时,能够利用各种因特网上的服务。在该情况下,收集并利用发生了拥挤的时间点(过去)的信息即可。例如,由于准备了交通各公司的交通系电子货币的使用历史、通信公司的便携终端的通信网的利用实绩、监视相机网的安全信息的利用实绩、或者将这些信息汇总在一起的新闻网站等,因此,指定日期时间和场所并利用这些信息即可。
在进行拥挤等的预测时,调查在特定时间点(基准时间点,例如图1B所示的〇月〇日:早上8点)(例如,过去发生了困境这样的时间点)的热图与比特定时间点提前特定时间的热图(例如图1D的〇月〇日:早上6点)之间是否存在相关,基于该相关,判定是否能够预测直至成为特定时间点的热图状态的过程即可。但是,例如关于是否能够仅通过图1D的信息单纯地预测图1B的状态,由于在该例中存在2小时的时间差,因此在各个地图中,构成拥挤图案的对象(人)应该完全被更换,因此即使能够掌握倾向,也无法知晓实际上拥挤图案怎样随时间变化。单纯地在特定日的特定时间像这样拥挤的情况下,也可以进行之后应该会变成何种状况的推论,但在图2所示的流程中,稍微考虑随时间的推移来进行判定。
这样,在步骤S101中,控制部决定与用户的行动或兴趣的对象事象相应的基准区域,取得表示特定时间点的基准区域内的对象事象的分布的基准对象事象热图。这里,由于使用特定区域的信息,因此,该区域的地形、存在于该区域的设施或道路等自然对人(对象物)的行动造成影响和制约。因此,特定区域的信息包含与简单平面中的对象物分布不同的丰富的信息。即,这样的配置本身成为追加信息,提高了信息的价值。
当取得基准热图后,接着,控制部取得N分钟前的大致相同区域的热图并进行比较(S103)。这里,在步骤S101中取得了基准热图的大致相同的区域中,控制部取得与取得了基准热图的时刻接近的时间差(N分钟前)的热图。对该取得的热图与在步骤S101中取得的基准热图进行比较。另外,在本流程中,作为N分钟前而采用分钟单位,但也可以根据对象事象的性质而采用秒钟单位、小时单位、日单位、月单位、年单位。
在该步骤S103中,对特定区域的信息进行了比较,因此,此地的地形、存在于此地的设施或道路等自然对人(对象物)的行动造成影响和制约。因此,能够进行与简单平面内的对象物分布及该比较不同的基于丰富的信息的比较。即,特定区域内的各种配置信息本身成为追加信息,提高了在本实施方式中处理的信息的价值。热图在基准区域包含地形、设施或道路等对对象事象的经时变化造成影响和制约的环境结构物的配置信息。环境结构物例如包含人造物、构造体、海洋、河流、山脉、池塘、湖泊等自然地理、包含在此栖息或生长的树木在内的动植物等。因此,热图例如成为反映出人的生活样式、行动样式、喜好或嗜好的信息,具有简单平面上的坐标信息以上的含义。
尤其是在对人的行动进行引导的情况下,使用结合了如下信息的数据具有使分布可视化的图案以上的含义,该信息是支配、制约、吸引其他人的行动的因素造成影响的信息。无需将各个对象物的准确位置设为热图,也可以代用每个该区域的个人间的平均距离、密度等信息。例如,也可以使用监视摄像头或车载摄像头等的信息,按照每个场所而统计映在画面内的人数等,在只能离散地收集数据的情况下,也可以使用利用附近能够取得的数据进行补充后的数据。
接下来,控制部检测二维图案的移动特征(S105)。当比较2个二维图案时,成为各二维图案的特征的部分有时看起来好像随时间而移动。在该步骤中,控制部从各二维图案中提取特征部分,检测该特征部分的移动。
当检测到二维图案的移动特征时,接着,控制部判定能够预测的特征是否持续(S107)。这里,控制部判定在步骤S105中检测到的特征的运动是否是连续的,如果是连续的,则判定为能够预测变化。例如,在人通过交通手段等移动的情况下,集合的位置(拥挤发生位置)依赖于车辆的速度或步行的速度等,由于它们没有较大的差异,因此,如果为几分钟之间,则集合的位置以一团的形式沿相同的方向移动,因此,能够以比较高的可靠性进行推论。
作为步骤S107中的判定的结果,如果能够预测的特征持续,则控制部变更N分钟(S109)。作为步骤S107中的判定的结果,从基准时到N分钟前,二维图案的特征连续,因此,控制部将N分钟设定为进一步延长的时间,返回步骤S103。控制部通过重复执行步骤S103~S109,能够重复接近时间的比较,关于是否从几小时前或几分钟前存在拥挤等的征兆,能够针对在热图或地图上显示的二维图案,判定地图上的形状、移动等。另外,在步骤S103中,可以判定与在步骤S101中取得的基准热图之间的相关,但也可以使用为了比较而取得的回溯时间点的热图来判定相关。
作为步骤S107中的判定的结果,在能够预测的特征未持续的情况下,控制部检索到达基准热图的时间推移(S111)。如上所述,在步骤S107中的判定为“是”且重复进行步骤S103~S109的情况下,在二维图案的特征中具有连续性,能够预测。但是,在步骤S107中的判定的结果成为“否”、即在二维图案的特征中不再具有连续性而成为无法预测的状况的情况下,控制部在步骤S111中将直至被认为能够预测的时间点为止的热图与时间推移的关系整理为能够检索。作为整理为能够检索的方法,例如,设想制作后述的图8所示的数据库等。在步骤S111中,当将热图的时间推移整理为能够检索时,结束该流程。
这样,如果制作热图的时间推移的数据库,则能够通过表来参照与现状的热图相似的数据库上的热图会怎样变化,能够迅速地显示提示并输出检索结果。在该情况下,从服务运营机构取得现状的热图,例如如果通过基于相似图像检索、特征比较或者对照的差异判定等,将取得的热图与记录于数据库的热图进行比较,则可以知晓与过去怎样的状况相似,能够判定在将来的哪个时间点可能引起的事象。
即,使用本流程,说明了如下方法:决定与用户的行动或兴趣的对象事象相应的基准区域,取得表示特定时间点的基准区域内的对象事象的分布的基准对象事象热图,估计从特定时间点经过了时间后的时间点的对象事象的状况,基于该估计来引导用户。在该估计时,利用了基准对象事象热图和示出相同或相似区域的热图的过去的经时变化的数据库。在该情况下,也可以对数据库进一步细化分类,加入符合分类的信息进行检索。例如,即便是相同的热图,也存在对是增加倾向还是减少倾向进行误判断的可能性,因此,也可以参照季节、星期、时刻等作为其他信息,不将平日早上6点的通勤拥挤热图与傍晚6点的回家拥挤热图混同。此外,在估计时,在被此时的事件、气候影响的情况下,也可以使用添加了事件、气候等的更加准确的数据库。此外,为了判定增减的方向性,也可以在多个时间点添加增减的信息等,还可以利用多个时间点的热图。
另外,虽然早晚的信息乍一看起来相似,但实际上回家时与同事站在一起等的特征和绕道回家等的行动的差异出现在热图中,因此,有时仅通过热图就能够判定是早晚的哪一方等。此外,在该提案中,使用了相似区域的信息,因此,存在于那里的设施、道路等自然对人的行动造成影响或制约。因此,该存在的图案本身即便不特意赋予追加信息,也成为无数的追加信息。
此外,即便没有预先从热图中将推移的情形整理到数据库中,也可以当场找出过去的相似热图,将此时的推移作为参考,判定当前的热图会成为何种情形。也可以省略判定热图的步骤,直接引导行动是否安全、或者周围是否成为危险的状况。
此外,无需拘泥于参照数据库而作出引导,也可以利用AI等来引导用户。考虑如下方法等:在表示过去的事象的热图中找出与现状的状况接近的热图,找出它们采取了怎样的推移,使用学习到的推论模型进行推论。
例如,也可以是,决定基准区域,取得表示特定时间点的基准区域内的特定的对象事象的分布的基准对象事象热图,准备在对象事象的过去的经时变化中学习而得到的推论模型、或者利用使用对象事象的过去的多个时间点的示教数据进行学习的结果而取得的推论模型,基于使用该推论模型推论的结果来进行用户引导。能够制作估计从特定时间点经过了时间后的时间点的对象事象的状况这样的引导。例如,只要使用根据过去的数据在多个热图中分别注释了是否在N小时内成为危险的拥挤的示教数据来进行机器学习、深度学习,从而制作该推论模型即可。通过向该推论模型输入现状的热图,能够输出“N小时后危险”这样的引导。
此外,也存在使用该日的最大拥挤热图来注释当前时间点的热图这样的方法。由此,能够推论该日的热图是否为危险的征兆。此外,如果取得热图,并对得到该热图的时间(8点或9点)进行注释而形成示教数据并使用该示教数据进行学习,则得到变化图案的推论模型。当向该推论模型输入热图时,能够预想下一个峰值(peak)。如果仅通过“安全”、“危险”这样的视角对该热图发生的日是否为被认为感染者数量增加的日进行注释而形成示教数据,使用该示教数据进行学习并生成推论模型,则通过向该推论模型输入现状的热图,至少能够推论该日是安全还是危险的。
另外,在图2所示的流程中,将在热图(也可以将地图与图案合起来称为热图)中显现的二维图案的面积或颜色的时间变化与相邻的时间的地图进行比较,判定出运动的特征。但是,也可以通过上述的方法以外的方法来判定运动的特征。例如,也可以检测二维图案的重心位置、根据需要还加权有颜色的信息的二维图案的重心位置的每个时间的变化、其速度或方向的一致度,来判定移动的方向性(不写成方向而写成方向性是因为严格来说不是移动方向,还考虑了停滞、速度等)的连续性(一致度等或可预测性)等。通过延长该连续性,能够预测将来。这样的地图上图案的形态变化的判定也可以说是经时的相关关系的判定。该方法也能够说明一致度或可预测性,因此,经时相关也可以被称为可预测性。
此外,在图2的流程中,说明了对不同时刻的热图进行比较而求出是否存在与该图案相似的图案、在前后的变化中是否存在关联性等的方法。如果不同时刻间的差较小,则在比较的地图双方应该看到相似的图案,只不过看到些许偏移和面积变化。因此,能够容易找到对应的图案,以重心位置(表示为运动向量)、面积、其他的数值来表现它们的形态变化。此外,如果预先知晓该形态变化的特征,或者显现的图案保持相似的形状,并且保持面积(如果是热图则也包含密度信息)等,则即便增大时间差也知晓图案移动的特征,也能够根据该移动特征来预测将来的图案变化(移动、面积、密度等变化)。
但是,认为根据状况的不同,从多久之前能够进行预测是不同的。如果是相同的群体在相同的地图上移动的时间,则能够比较简单地进行预测。尤其是容易预测朝向相同方向的多个群体聚集的车站等中的拥挤会成为何种情形等。例如,由于台风或降雪等气象,交通工具停止或成为加长间隔的运转。在该情况下,在车站中有时无法再容纳人,但当前,不存在提供这样的预测的服务。但是,通过本实施方式这样的考虑方法,如果即便在几分钟前或十几分钟前也能够预想拥挤等,则用户能够采取改变乘换车站或改变下车车站或使电车在车站不停车等各种解决对策。
即便在满员电车通过两条路线在同一时刻去往某个车站的情况下,该车站的拥挤程度也根据多少人下车或者多少人保持乘车不变而改变。因此,如果判定对象物(这里为人)的集合、离散的时间推移(经时相间)的经时相关判定部使用特定区域内的对象事象的分布信息(满员电车的拥挤程度等),并基于对象事象的分布的多个图案(通过多个路线到来的人的量等)的重叠的时间变化倾向来判定经时的相关性,则能够预想该车站中的危险的拥挤。
关于上述的图1D中的状态是否能够成为图1B中的状态,难以仅通过这两个差异进行预测。但是,如果比较对它们之间的时间进一步细分而取得的热图,则在相邻的时间中,能够找到相似的图案,如果依次追寻图案变化,则可知经历了怎样的经过而到达问题的热图。图2所示的流程图沿用这样的考虑方法。即,示出如下例子:根据过去的数据追溯过去的拥挤状况是怎样发生的,验证从哪个时间点出现征兆。在图2所示的流程中,为了预想通勤时的拥挤等,以分钟单位判定出其过去的热图信息与问题的热图信息的关联性。
另外,在根据季节渐渐变化的动植物的分布的变化的情况下,以“天数”的单位追溯即可。在该情况下,也如在相邻的前一天的热图中没有太大变化并且此前的一天与前一天相比几乎没有什么变化那样,相邻的日期时间的热图的差异较少,但如果追溯几天,则热图间的相关、相似、关联消失。
此外,在为分钟单位的情况下,即便是5分钟单位或10分钟单位,人也不会从地图的中央部的成为对象的部分突然消失(从这个意义上说,优选预先设置为问题图案处于中央部的地图),能够判定前后的相关。但是,时间差越细,越容易知晓热图的变化的转移,只是对运算来说增加负荷并耗费时间。热图是进行了如下处理而得到的:对对象物的存在范围进行绘制(mapping),将聚集情况显示为面积,根据需要对密度进行颜色区分,但也可以不必进行颜色区分。也可以仅是对象物存在位置地图,但热图容易想象,能够通过使用颜色信息来丰富信息。虽然称为热图,但也可以写成对象事象的分布信息。在本说明书中,通过二维、颜色区分、面积等图案进行表现,人脑容易借助人眼进行识别,并且有时也容易说明,使用了“热图”这样的表现。但是,在AI等计算机的处理中,也可以作为以与此不同的表现表示的信息组、数据组进行处理。
但是,热图在逻辑上有效地汇集并收纳信息,之后,最终需要对人提示信息,因此,对计算机来说,能够传输给热图的数据组也包含丰富合理的信息。颜色信息是与人的视觉确认性配合地转换的信息,因此,不限于“颜色”。关于特定的场所的颜色,针对该场所的特征量,例如如果是颜色,则对相同的场所加入多个原色成分的信息,因此能够使信息变得丰富。通过同样的考虑方法对相同的场所加入多个信息即可。
即,在本申请的引导检索系统中,具有经时相关判定部,按照相对于与引导信息对应的对象事象的分布信息在时间上追溯后的对象事象的分布信息、以及分布的图案的重叠倾向及移动倾向,判定对象事象的分布信息的经时的相关性,由此能够制作引导检索用的数据库(DB)。这里,在上述的重叠倾向中,分布图案表示地图上的对象物的分布的特征,因此,例如能够在时间的推移中判定两个图案如何重叠,由此,能够预测拥挤的发生和相互作用的发生。即,通过观察重叠的变化,可知它们是单纯地增加了密集度,或者还是存在该场所中的某种环境或对象物彼此的作用,引起密集以外的现象例如分散等。该变化的情形有助于预测将来的时间内的这些分布图案变化。这种重叠方式的差异也可以在上位概念上简单称为图案的变化。此外,上述的移动倾向是维持了表示存在对象物的部分的面积或密度、或者表示它们的颜色的重叠、移动的方向性的一致度、或者表示特定的对象物密集状态的集合内的对象物的数量和密度、将对象物分布的形态表示为地图上的分布的图案的特征的时间上的位置变化。
即,经时相关判定部使用由取得部取得的特定区域内的对象事象的分布信息,基于在此显现的对象事象的分布(岛这样的分布)的各个图案(岛的外形这样的图案)的时间变化及/或分布的各个图案(岛的面积、起伏这样的图案)的移动倾向的持续和对象事象的分布的多个图案的重叠的时间变化倾向,判定经时的相关性。由此,能够掌握区域内整体或特定区域的拥挤的情形作为随时间变化的特征。通过各个图案的相互作用,区域内的情形发生变化,区域内特定区域的对象物拥挤密度等发生变化,因此,状况预测可以作为各个图案的倾向的结果来捕捉,也可以作为整体像来处理。
当然,热图中的时间的推移在DB中被建立关系即可,因此,不一定必须进行追溯,但在该情况下,也存在达不到目标特定热图的可能性。另外,对象物能够根据其来历、特性、环境而采取多个时间变化图案,因此,也可以不对它们一并进行处理,而是通过分类来判定经时变化相关。即,在对象事象能够分类为多个类别的情况下,上述的经时相关判定部也可以按照各个类别来判定经时相关。
此外,如之前说明的那样,在决定用于特定热图的特定的区域中或者在该区域的周围,对区域内造成影响的环境不同,温湿度、风向、地形、街景、房屋的构造等有时影响到对象物的移动。在该情况下,在判定时间相关时,着眼于作为二维图案而显现的事象的形状、重心、构成事象的对象物的密度等,判定随着时间产生的位置偏移是否正在进行能够根据过去而预测现在、将来这样的推移即可。在无法进行该判定的情况下,也可以基于参数的不同等,对对象物进行分类并分析。此外,上述的经时相关判定部也可以根据特定区域中的事件信息、环境的信息来判定经时相关,与按照上述的每个类别而进行判定同样,分为朝向事件或远离事件的对象物群体和受到环境的影响的对象物群体等来判定上述的相关即可。
接着,使用图3所示的流程图对基准热图判定的动作进行说明。在图2所示的流程图中,在步骤S101中,取得了困境发生日的热图作为基准热图,但有时不知道怎样的状态直接导致困境这样的因果关系。对此,图3所示的流程能够指定作为基准热图的日期时间等。例如,能够判断怎样的状况与图1A所示的感染病患者数量的增加相关联。
例如,图1A是表示日本的首都圈的特定疾病的感染者数量的推移的图表,在该图表中,偶尔会出现尚不清楚原因的感染者数量的增加的波峰。作为其原因,例如,在职场或医院等特定的设施中,在(无论有无自觉症状)感染者与其他的未感染者接触的情况下可能会发生。在该情况下,在去往设施时使用交通工具的情况较多。因此,该设施的拥挤预想成为有效的信息源,能够给用户提供以后可避免同样的问题的引导。即便无法确定该设施本身的场所,根据图1B所示的密集热图和交通工具拥挤地图,也能够发现同样的相关。
当图3所示的基准热图日判定的流程开始时,首先,选择多个感染者急增日(S121)。这里,是找到上述的感染者急增日的步骤。
接下来,取得各患者急增日的N日前的拥挤地图(S123)。由于感染病的潜伏期、患者自身的观望情况、医院侧的缘故,因此图1A所示的数据未作为数值而显现在实际上感染的该日中,因此,在该步骤S123中取得在此以前的拥挤热图。由于其将首都圈(日本的东京区域)的患者作为对象,因此,热图的区域也利用对应于首都圈的区域。最开始也可以利用前一天的地图(N=1),但在知晓特定的潜伏期间等的情况下,也可以从5天前开始。
接着,制作推论模型,使用测试数据来判定推论模型的可靠性(S125)。在步骤S121中,如果感染者的急增日例如如图1A所示那样具有3次,则将其中的2个图案设为示教数据,将剩余的1个图案设为测试数据,使用深度学习的系统和考虑方法制作推论模型即可。热图的各位置的拥挤信息可以为累积该日一日的结果而得到的信息,也可以为该日的最拥挤的时间的信息,还可以为符合基于对患者的询问而担忧的状况的信息。
步骤S125中的推论模型制作将N日前的热图作为示教数据,注释为危险日。其他日的热图也可以注释为危险日以外来使用。向通过这样的学习得到的推论模型输入上述的测试数据,如果观察以多少准确度输出危险日这样的结果,则能够判定可靠性。
在步骤S125中,当判定推论模型的可靠性后,接下来判定是否对N日全部进行了尝试(S127)。例如,如果N日是到2周前,则判定是否使用该期间的数据而进行了步骤S123、S125中的处理。作为该判定的结果,如果没有对N日全部进行尝试,则变更N日(S129),返回步骤S123,重复进行步骤S123~S129。例如利用直至2周前的数据进行重复。
作为步骤S127中的判定的结果,当对N日全部进行尝试后,N日中的可靠性最高的拥挤地图成为危险图案的日(S131)。重复进行步骤S123~S129,例如在利用直至2周前的数据进行了重复的情况下,最有可能认为是感染日的日的热图被认为示出最高的可靠性。因此,在步骤S125中判定的可靠性的结果中,可靠性最高的日的热图(拥挤地图)被认为是危险度最高的危险图案,能够得到图2的步骤S101中的基准热图。在该步骤中,可知大量出现感染者的天数。这本身成为还有助于研究感染与其症状出现的日之间的关系的有用信息。
上述的图2的流程说明了不是天数单位而是筛选至特定时间的危险状况的例子。但是,在提出“明日不要外出”这样的引导的情况下,也可以将图2设为以天数为单位的处理。此外,如图2的步骤S101那样,在示出危险图案这日中指定至进一步细化的时间带的情况下,可以通过与图3所示的方法同样的方法筛选哪个时间带的热图具有特征,也可以将该日中最为拥挤的时间带的热图作为基准热图。或者,也可以将该日中与其他日不同的图案的热图作为基准热图。
在图3的步骤S125中生成的可靠性最高的推论模型是将N日前的热图作为示教数据、对该示教数据进行危险日的注释并进行了学习而得到的推论模型。因此,如果将现状的热图设为推论的输入,则成为判定在几日后可能变成感染者增加的危险日(与其他日相比,感染者的发现增加的日)的推论模型。如果使用该推论模型进行推论,则能够预想危险。如以上说明的那样,通过执行图2、图3所示的流程,可提供能够建议用户进行不易感染感染病的行动的技术。
根据患者数增加日的典型的拥挤地图的图案(热图)形状,越接近该热图,认为危险度越高,因此,也可以进行不对其接近的建议。考虑如下方法,即,智能手机基于GPS信息,在接近该区域时发出警告或者利用换乘或路径的引导进行显示。或者,在将要接近危险状况的情况下,在地图信息中显示预想热图,唤起用户的注意。由于在时间的推移中,危险区域动态地变化,因此,如本实施方式那样推测将来的危险状况的技术是有效的。万一在用户进入了危险区域的情况下,向拥挤度低的场所引导等的建议成为有效。在该建议中,也可以附加空调或换气因素、避难通道、厕所、洗手间等能够洗手的场所、医疗/保险设施的场所、能够购入口罩或消毒液的店铺等的信息。即,在输出建议的情况下,也可以利用该区域中的其他信息。此外,作为通常的感染对策,也可以组合针对扶手、门把手、马桶和水龙头等大量人接触的场所的注意唤起等。
接着,使用图4以后的图,对用于进行用户建议的具体的系统及方法进行说明。在该实施方式中,收集来自便携信息终端的数据和上传到因特网上的数据,判定该数据的时间序列的相关性,根据相关性高的范围内(换言之,具有连续性、相似性的范围、或者推论结果的可靠性高的范围)的数据来制作经时相关数据库(例如参照图6、图7、图8、图13、图14)。由于根据相关性高的范围内的数据制作经时相关数据库,因此,如果为该范围,则能够进行将来的预测,并且,该范围成为预测的界限。
此外,本实施方式在接受用户的请求或判定用户的行动时,基于请求或行动判定的结果,从表示来自时间序列热图的时间变化的时间和对象物形态变化的经时相关数据库(根据经时的形态变化能够参照在此产生的相关关系(例如对应于时间变化)的数据库)中检索具有用户等的需求的信息,向用户提供信息(例如参照图9、图10A)。例如,能够向用户提供适于赏花的规定日后的推荐路线(例如,参照图4的地图M13、图5的地图M14)。此外,通过取得大数据并对该大数据进行学习来制作推论模型,使用该推论模型,制作经时相关数据库(例如参照图11A至图14)。
当前产生的事象是由于与在之前的定时产生的事象之间的相关(因果关系)而产生的,这一含义表现为“经时相关”。这是因为,判定写成“因果相关”这样的因果关系,进一步进行着重于客观的形态变化图案的表现。但是,当明确的理由明显时,当然也可以考虑因果关系的因素。在形成数据库的情况下,当存在受到因果关系的影响的因素时,也可以以形成其他数据库或者对时间轴等进行校正等的方策进行应对。可以将成为用户的兴趣中心的对象物、伴随着成为兴趣中心的对象物的事象等中的任意一方形成数据库,也可以将两方合在一起形成数据库。
图4是示出本实施方式的相关数据库制作系统的框图。终端组2a是智能手机、便携电话、平板电脑等由各个用户持有的便携终端。这些终端组2a以通过通信服务2b、SNS服务2c等能够向统计系统2d传递信息的方式被连接。统计系统2d配置在服务器等内,至少包含用于进行统计、整理收集到的信息等处理的处理器。
终端组2a的各便携终端包含该当前位置信息及日期时间信息在内,向上述的统计系统2d发送信息。此时,终端组2a的各便携终端还能够发送与制作经时相关数据库时的主要对象物关联的SNS等文本信息、图像等。如果为图像,则设想映现有对象物的照片等,此外,作为文本信息,例如如果为樱花季节,则具有“樱花含苞待放”、“樱花开花”、“樱花盛开”、“樱花凋谢”等表示樱花的开花状况的信息。此外,作为图像,除了包含在背景中映现有樱花的照片和樱花的放大照片之外,还包含表示樱花的开花状况的手绘。表示这样的各种对象物本身和事象等(也可以将它们表现为对象事象)的状况的信息成为大数据,能够进行各种分析。统计系统2d配置于服务器等,统计来自终端组2a各自的便携终端的上述那样的信息。
统计系统2d收集到的信息被发送到控制部1。控制部1具有处理器,该处理器配置在服务器等内,按照存储于存储器(存储介质)的程序进行信息处理。配置有控制部1的服务器等可以与上述的统计系统2d是同一装置,还可以不同。在控制部1内设置有事象热图取得部1a、时间序列整理部1b、经时相关判定部1c、判定结果输出部DB1d。
事象热图取得部1a取得用于生成事象热图的数据。该事象热图将与用户的兴趣中心的对象物相关的(也可以为对象物本身)事象的变化显示为图表状(坐标和该坐标中的对象物等的状况),换言之,热图是将二维数据(矩阵)各自的值表现为颜色、浓淡的图表。不限于二维显示,也可以是一维显示,例如,在图4中,考虑到特定道路上的拥挤状况,也可以是一维的。在地图等的二维图像或三维图像上,利用颜色等记载与各地点处的事象相应的值,由此,能够使该事象可视化。例如,在与樱花的开花状况相关的热图中,也可以按照每个区域对樱花的开花状况(例如,十分之一开花、盛开等文本、樱花的图像等)进行分析,根据投稿数,通过颜色的浓淡、圆形的直径的大小等对樱花的开花状况一目了然。
事象热图取得部1a作为在不同的多个时刻取得特定区域内的对象事象的分布信息的取得部发挥功能。此外,事象热图取得部1a作为在特定区域内的空间上显现的大数据的取得部发挥功能。此外,事象热图取得部1a作为取得按照时间序列得到的特定位置范围内的对象事象的分布信息的取得部发挥功能。
事象热图取得部1a取得的数据被输出到时间序列整理部1b。时间序列整理部1b基于附加到数据的日期时间信息,按照每个时间序列对数据进行整理。例如,在以日单位生成事象热图的情况下,以日单位对从事象热图取得部1a取得的数据进行整理,此外,在以小时单位生成事象热图的情况下,以小时单位对从事象热图取得部1a取得的数据进行整理,生成热图图像。
时间序列整理部1b整理后的数据被输出到经时相关判定部1c。经时相关判定部1c判定按照每个时间序列整理后的数据的相关关系。即,经时相关判定部1c在对应于事象的值与地图等二维或三维的地图上的各地点建立了关联的情况下,判定能够表现在地图上的数据的相关状态,判定热图图像是否相似,或者是否包含能够读取某些时间推移图案的信息(是否相关)。
上述的对象事象的分布图案表现为以二维图案或颜色表现构成对象事象的对象物的存在位置和密度的热图(例如,参照图1B至图1D、图4的地图M1~M3、图5、图8等)。经时相关判定部按照显现在热图中的二维图案的面积或颜色的时间变化、移动的方向性的连续性,来判定经时相关。使用图4的地图M1~M3及图5,后述该经时相关。
经时相关判定部1c作为判定由取得部取得的对象事象的分布信息的经时的相关性的经时相关判定部发挥功能。经时相关判定部1c作为经时相关判定部发挥功能,该经时相关判定部使用由取得部取得的特定区域内的对象事象的分布信息,并基于对象事象的分布的图案的经时变化及/或分布图案的移动倾向的持续,来判定经时的相关性。
经时相关判定部使用在取得部中取得的特定区域内的对象事象的分布信息,基于对象事象的分布的多个图案的重叠的时间变化的倾向,判定经时的相关性(例如参照图4的地图M1~M3、图5、图8等)。通过判定该经时的相关性,例如能够判定通过两个通勤群体在新宿车站是全员下车还是维持乘车而行进,从而改变新宿车站的拥挤程度。即,如果判定时间变化的特征,则能够估计将来会成为何种情形。反过来说,时间变化的特征是可知将来会成为何种情形的特征。
此外,经时相关判定部考虑用户的嗜好及规避项目,判定对象事象的分布信息的经时的相关性(例如参照图10A的S35)。用户的嗜好及规避项目是根据记录有用户的行动的历史信息、或者记录有健康参数与环境的关系的历史信息而得到的信息(参照图10A的S35)。
经时相关判定部根据相对于与引导信息对应的对象事象的分布信息在时间上追溯后的对象事象的分布信息,判定对象事象的分布信息的经时的相关性(例如参照图2的S103~S109的重复、图6的S3~S9的重复、图7的S3~S10的重复、图13的S53~S59的重复)。此外,经时相关判定部能够将对象事象分类为多个类别,按照各个类别判定经时相关(例如参照图11A~图11B)。经时相关判定部根据特定区域中的事件信息、环境的信息来判定经时相关。
经时相关判定部对相对于与引导信息对应的对象事象的分布信息在时间上追溯后的对象事象的分布信息的时间差进行注释,由此制作示教数据,基于使用该示教数据进行了学习时的可靠性的高度,判定对象事象的分布信息的连续性(例如参照图3的S123~S129、图7的S3~S10、图13的S53~S59、图14的S53~S63等)。
经时相关判定部根据相对于与引导信息对应的对象事象的分布信息在时间上追溯后的对象事象的分布信息的重叠是否以预先决定的特定的比例近似,来判定对象事象的分布信息的经时的相关性。经时相关判定部基于多个时刻中的比较近的时刻的分布信息彼此的相似性,判定经时相关。
经时相关判定部1c的判定结果被输出到判定结果输出部DB1d。判定结果输出部DB1d是数据库,例如按照每日将由经时相关判定部1c判定的相关结果形成数据库并进行存储。信息的收集、记录时的小时单位根据兴趣的对象物或者事象的变化的速度、具有兴趣的区域的范围而变更。例如,也可以是,如果东京都内的人的拥挤状况为兴趣中心,则成为分钟单位、小时单位,如果预想国内候鸟的飞来,则也可以为一日单位、一周单位。判定结果输出部DB1d在从后述的引导部3接受问询时,从数据库中检索与由引导部3指定的日期时间内的事象相应的引导信息,输出该引导信息。判定结果输出部DB1d基于存储于数据库的热图图像与当前的状况相比的结果,能够基于规定小时间隔、规定日间隔等各种间隔预想与事象相应的引导信息。
判定结果输出部DB1d作为从根据经时的相关性的判定结果得到的经时相关数据库中检索引导信息的检索部发挥功能。检索部基于经时相关数据库,判定预测的界限(例如参照图8、图9的S27、图10A的S39)。即,在本实施方式中,在进行引导信息时,能够判定预测的界限。换言之,虽然还无法预测,但是能够显示到什么时候就能够预测。此外,检索部将保持了对象事象的分布信息的连续性或相似性的范围、或者相关运算的推论结果的可靠性比规定值高的范围设为预测的范围内(例如参照图6的S5、S11、图7的S5、S8、图13的S57、S65、图14的S65等)。
检索部在特定区域内的地图上,基于对象事象分布的经时的相关性,检索规定日后的推荐的观光路线(参照图4的M3、图5的M14等)。检索部判定用户的行动,基于该判定出的用户的行动,从经时相关数据库中检索引导信息(参照图9的S21、S25、图10A的S31、33、S39等)。此外,判定结果输出部DB1d作为将由检索部检索到的引导信息向外部输出的输出部发挥功能。
引导部3对判定结果输出部DB1d进行引导信息的请求,判定结果输出部DB1d将从数据库中检索到的引导信息向引导部3输出。引导部3是配置在服务器内且通过程序等执行信息处理的处理器。该服务器可以与具有控制部1的服务器是同一装置,还可以不同。
用户终端4能够通过无线通信(也包含有线通信网)等而与引导部3连接。用户终端4是智能手机、便携电话、平板电脑等由各个用户持有的便携终端,与终端组2a同样。用户在使用用户终端4请求引导信息的显示时,将该请求发送到引导部3,进而发送到控制部1。从控制部1的判定结果输出部DB1d检索与请求匹配的引导信息。检索到的引导信息通过引导部3被发送到用户终端4,并显示于用户终端4。
例如,在上述的樱花的例子中,基于日期时间信息、位置信息以及与樱花的开花状态相关的文本信息,将樱花的开花状态绘制在地图上,由此,能够使特定区域中的樱花的开花状态可视化。图4的地图M1是与N1日前的樱花的开花状况相关的热图,地图M2是与N2日前的樱花的开花状况相关的热图。另外,N1日前、N2日前是指比今日早N1日、早N2日,N1>N2。能够由控制部1基于由统计系统2d收集到的信息制作这些热图。
根据热图M1、M2可知,在N2日前,在区域A、B具有樱花开花这一信息,另外,在N1日前,在区域A、B、樱花的开花信息减少,另一方面,在区域C、D、E,樱花的开花信息增加。用户在想要知道1周后进行赏樱时的线路的情况下,操作用户终端4,向引导部3请求1周后的赏花的推荐线路的显示。引导部3在接收到该请求后,向控制部1发送用户的请求。控制部1以该请求为契机,使用按照时间序列累积的信息,进行经时相关处理,由此,基于1周后的樱花的开花状况,求出适于赏花的区域C、D、E和巡游这些区域的R1,基于该结果,将赏花的线路向引导部3输出。
如地图M3所示,控制部1的基于经时相关判定的引导判断为在1周后樱花开花的区域为C、D、E,且线路R1适于巡游该区域。控制部1的引导信息(地图M3)通过引导部3发送到用户终端4,并显示于用户终端4的显示器。另外,在该例中,用户仅指定了1周后作为赏花的条件,但反之也可以指定区域,并请求显示在该区域适于赏花的时期和线路。
接着,使用图5,说明如下例子:判定能够进行可靠性高的经时相关判定的期间,预想在该期间内,成为用户推荐的热图图像的月日会是什么时候。在图5中,地图M11~M13是基于带有照片的SNS投稿数(也包含投稿位置)而制作的热图图像的推移例。即,地图M11是表示X1月Y1日的樱花的开花状况的热图图像,地图M12是表示X2月Y2日的樱花的开花状况的热图图像,地图M13是表示X3月Y3日的樱花的开花状况的热图图像。
在图5所示的例子中,热图在为了容易从地图这样的词想起而以二维形式表记的地图(图表)上图示出特定对象物(这里,在投稿照片中读作“开花状况”)的分布。但是,热图如果表示道路上的拥挤,则可以是一维图,如果进一步增加表示的变量,则也可以是三维图。如果利用在坐标上表示的对象物的分布图案(形态),则宛如图像那样,坐标上的推移等变化的预测变得容易。
在图5所示的例子中,热图图像M14示出巡游区域C、D、E的路线R2,预想该路线R2成为推荐线路的日会是什么时候。控制部1的经时相关判定部1c计算示出表示推荐线路的樱花的开花状况的热图图像(在该图中,樱花在区域C、D、E盛开)M14、热图图像M11、热图图像M12(N12日前)、热图图像M13(N11日前)的相关性。当计算出相关性时,在图5的例子中,判定为热图图像M14与热图图像M12、M13的相关性高,但热图图像M14与热图图像M11的相关性低。在该情况下,从X2月Y2日到X4月Y4日的热图图像的相关性高,因此,能够使用该期间内的热图图像,进行该期间内的预想。
因此,在图5中,如果预想日为N12日前(X2月Y2日)以后,则能够预想成为热图图像M14这日为几日后(X4月Y4日)。另外,在图5中,相对于热图图像M14,对热图图像M12、M13这2个热图图像进行相关性检查,但成为比较对象的热图图像的数量当然也可以为3个以上的数量。
这样,在图5所示的例子中,经时相关判定部1c能够基于与根据过去的信息制作的热图图像的相关性,判定何时成为与示出推荐线路的热图图像同样的热图图像。
接着,使用图6所示的流程图,对经时变化相关DB(数据库)化(制作图5所示的DB时的方法和程序)的动作进行说明。该流程图制作为了预想成为图5所示那样的推荐的热图(或者是用户可能在意的对象物分布,且是能够图示的对象物分布)的时间而使用的经时变化相关DB。在控制部1内通过CPU等处理器按照存储于存储器(未图示)的程序对控制部1内的各部进行控制来实现该流程。
在进行流程图的具体说明之前,对图6的流程中的经时变化相关DB的制作的考虑方法进行说明。本流程是基于如下考虑方法的:即便存在经时变化,特定定时的对象物的有无和存在位置也必定在相邻的定时中相似。即,可以认为花这样的对象物在一日前后的开花的状况相似,花蕾或枯萎这样的变化存在花瓣开合的预兆或余味这样的状况。此外,可以认为交通网中的人的拥挤等也为以分钟单位引起车站与车站之间的移动的程度,在具有适当面积的区域内的热图中,相似的状态一点一点地进行转移。
因此,一点一点地将该分钟单位或天数单位扩大为1分钟、2分钟、3分钟…或者或1日、2日、3日…,如果预先判定相似的状态持续到哪里为止,则能够判定从多久之前能够预测的界限。即,分布信息取得部如果具有取得在不同的多个时刻生成的特定位置(区域)范围内的对象事象的分布信息(这里与上述的热图对应)并判定所取得的对象事象的分布信息的经时的相关性(比较在不同的时间得到的多个热图,重叠程度的变化、运动倾向的规则)的经时相关判定的功能,则能够基于经时的相关性的判定结果,制作此时的热图如此且在下一个定时热图如此的基于特定规则的经时相关数据库。
如果存在像这样制作的数据库,则在该数据库中检索是否存在特定的热图(例如,表示特定区域中的拥挤状态的热图)和表示相似图案的热图,如果存在相似图案的热图,则也能够作为今后成为何种状况的引导进行提示。此外,在图6的流程中,将某一事件(例如在以下的例中为赏花天气的花的分布)作为基准,检索能够表示今后成为何种状况的引导。
在上述的考虑方法中包含以下的两种思想。首先,除非是一个应该引导的重要事件,否则由于投资回报问题,事先制作DB往往是无用的。此外,作为第二种思想,即便通知事件结束后的信息,在之后的节日中也无法参加或无法避开。对此,在时间上追溯在重要事件之前存在怎样的预兆并验证相关。当然,最终,追溯到看比出任何预兆的时间为止,即便将在此以前的信息DB化也是无用的。对此,这样的方法能够简化DB的制作,使检索高速化。即,经时相关判定部根据与相对于与引导信息对应的对象事象的分布信息在时间上追溯后的对象事象的分布信息的时间差是否成为特定的时间差,判定对象事象的分布信息的经时的相关性。在以下的例子中,对此简单进行解释。
当图6所示的经时变化相关DB化的流程开始后,首先,取得特定热图图像(S1)。这里,控制部1取得推荐线路的事象热图图像。例如,在图5所示的例子中,是热图图像M14所示的樱花的推荐线路。该特定热图图像可以根据用户的期望而制作,还可以由控制部1基于各种信息自动地制作。例如,在图5的热图图像M11那样的表示用户想要观看樱花的地域的地图上,也可以通过对用户想要巡游的区域(在图5中为区域C、D、E)进行检查来制作特定热图图像。此外,也可以通过文本数据输入用户想要巡游的区域的地名等,由此,控制部1自动地制作特定热图图像。也可以代替用户通过文本数据输入地名,而通过声音输入地名,此外还可以指定上传到因特网上的图像。
此外,本流程想要提示预想了成为在步骤S1中取得的特定热图的状况的引导,因此,也可以将步骤S1中的热图写成引导信息用热图。本流程为了根据相对于与引导信息对应的对象事象的分布信息在时间上追溯后的对象事象(这里的引导信息热图中的“樱花的开花”)的分布信息来预测对象事象(这里为樱花的开花)的分布信息的经时的相关性,判定几日前等能够预测的时间差是否成为特定的时间差,例如,制作图8那样的引导用的数据库。这是为了能够参照预想为对象事象(这里为樱花的开花)的分布信息(例如热图图像)的时间差的关系。
当取得特定热图图像后,接着取得特定热图图像的相同场所的N日前的热图图像(S3)。这里,控制部1取得针对在步骤S1中取得的特定热图图像在比今日提前N日制作的热图。即,取得部1a通过统计系统2d,从终端组2a收集在特定地域中与特定的事象相关的信息,制作基于该信息的热图图像。该热图图像例如是如图4、图5所示那样基于在各区域中用户发送的信息而制作的在地图上表示出樱花的开花状况的图像等。该热图图像是基于日期时间信息等以特定日期时间单位(例如月单位、日单位、小时单位、分钟单位等)而制作的。控制部1可以按照每个日期时间信息将制作的热图图像存储于控制部1内的存储器,还可以读出并使用存储于其他服务器等的数据。
接下来,进行连续性(相似性)判定(S5)。这里,控制部1比较在步骤S1中取得的特定热图图像与在步骤S3中取得的N日前的热图图像,判定是否具有连续性(相似性)。例如,在图5的例子中,按照区域A~E的每个区域,判定特定热图图像与N日前的热图图像的投稿数是否相似。
接着,判定针对Np日的热图的判定是否结束(S7)。这里,关于在步骤S5中进行的判定,基于针对预先决定的Np日的判定是否结束来进行判定。关于该预先决定的Np日,考虑所生成的数据库的性质、在事象热图取得部1a中能够收集的数据的范围等适当设定即可。
作为步骤S7中的判定的结果,在Np日的判定未结束的情况下,变更N日(S9)。这里,变更在步骤S3中进行判定的N日,返回到步骤S3进行上述的动作。通过重复进行步骤S3~S9,能够在当前时间点至Np日之间的期间内判定热图的连续性(相似性)。
作为步骤S7中的判定的结果,当针对Np日的判定结束时,决定连续性(相似性)高的N日,使热图间的时间差DB化(S11)。在步骤S5中,由于判定特定热图图像和过去的热图图像的连续性(相似性),因此,基于该判定结果,决定连续性(相似性)最高的日(N日)。关于连续性或相似性,如果热图图像各自的区域中的投稿数等的差处于规定的范围内,则判定为连续性或相似性高。
在步骤S11中,当连续性(相似性)最高的日(N日)被决定后,能够赋予热图图像之间的时间差而使热图图像DB化。此外,能够根据热图图像M12、M13与特定热图图像M14的相关性,预想樱花的开花状况与特定热图图像一致的预定日。控制部1将包含热图图像间的时间差在内的内容预先记录于DB,当存在来自用户的问询时,能够根据用户的请求,从DB输出引导信息。
接着,使用图7所示的流程图,对经时变化相关DB(数据库)化的动作的变形例进行说明。图7所示的流程也与图6所示的流程同样,能够求出以容易理解的方式将特定时间点的对象事象的分布信息表示在地图上的特定热图(S1)与从该特定时间点(基准时间点)提前特定时间的热图之间是否存在相关、是否存在相似、是否存在关联性等。但是,该图7所示的流程与图6的流程的不同之处在于,对N日前的热图标注注释而进行学习,判定学习结果的可靠性,根据该判定结果来判定热图的连续性。该流程通过CPU等处理器在控制部1内根据存储器所存储的程序对控制部1内的各部进行控制来实现。图7所示的流程图与图6所示的流程图相比,将图6的步骤S5~S11变更为图7中的步骤S6~S12,除此之外是同样的,因此,以不同点为中心进行说明。
当图7所示的经时变化相关DB化的流程开始后,首先,取得特定热图图像(S1)。特定热图图像是以容易理解的方式将特定时间点的对象事象的分布信息表示在地图上的图像。与图6的情况同样,特定热图图像可以基于来自用户的请求由控制部1制作,还可以基于投稿到SNS等的文本信息等,由控制部1设定特定热图的主题而制作。
当取得特定热图图像后,接着取得特定热图图像的相同场所的N日前的热图图像(S3)。这里,控制部1与图6的情况同样地取得在比今日提前N日制作的热图。
当取得相同场所的N日前的热图图像后,接着,进行将“N日前”作为注释的学习(S6)。这里,标注“N日”这样的注释而制作示教数据,使得当将在步骤S1中取得的特定热图图像数据和在步骤S3中取得的N日前的热图图像数据输入到推论模型时,从这些数据中得出“N日”前这样的结果。然后,使用该示教数据进行机器学习。
热图进行了绘制对象物的存在范围并将其聚集程度以面积的形式显示或者根据需要对密度进行颜色区分这样的处理,但也可以不必进行颜色区分。也可以仅仅为对象物存在位置地图,但由于容易想象且能够通过颜色信息将信息丰富化,因此,也包含进行了颜色区分的热图在内称为热图。也可以写成对象事象的分布信息。
在步骤S6中进行学习后,接着判定学习结果是否具有可靠性(S8)。在步骤S6的学习中,以“学习结果具有可靠性?”这样的话语来表现是否生成了可靠性高的推论模型的判定。关于该判定,尝试向推论模型输入测试数据,针对该误差落入多少范围内或者落入特定误差的测试数据是多少,例如与预先决定的基准值进行比较,由此,进行可靠性的好坏的判断即可。在推论模型通过这样的判定而判定为推论的可靠性高的情况下,则认为热图图像进行到该日为止连续的、能够推论将来的变化。
作为步骤S8中的判定的结果,在学习结果具有可靠性的情况下,接着追溯“N日前”(S10)。这里,从步骤S3中的“N日”变更为追溯了规定日数的日。当变更该N日后,返回到步骤S3,重复进行步骤S6~S10。即,在步骤S10中,在变更(追溯)N日的同时制作同样的推论模型。在学习结果的可靠性高的情况下,能够整理并准备图8所示的表(数据库,DB)。
在各种状况下,在N日后存在同样的热图变化的情况下,容易检测其规则性,但为了得到这样的结果,在步骤S10中也可以进行示教数据的更换等。与存在过于分离的时间差的情况相比,在相邻的时间的情况下,具有时间差的两个热图之间的相关性(经时相关、表示存在对象物的部分的面积或密度、或者表示它们的颜色的重叠、移动的方向性的一致度)高,推论出可靠性比较高的准确的“N日”。
步骤S10中的“N日”也可以是“N分钟”。例如,在人通过交通工具移动的情况下,人聚集的位置(发生拥挤的位置)例如依赖于车辆的速度或步行的速度。由于它们没有较大的差异,因此,如果为几分钟之间,则集合的位置以一团的形式沿相同的方向移动,能够以比较高的可靠性进行推论。顺便说一下,为了显示图8的热图而使用的数据库利用在学习时作为示教数据采用的数据库即可。另外,这里,进行了从基准时间点追溯N日(或N分钟)的说明,但也可以是,依次追溯基准时间点自身,判定取得相关的追溯时间点,换言之,从最开始的基准日一点一点地追溯基准时间点而重复进行判定,判定从基准日追溯N日(N分钟),在步骤S12中,进行引导用的数据库化。
作为步骤S8中的判定的结果,在学习结果不可靠的情况下,将直至不再追溯的前一日为止设为具有“连续性”,使热图DB化(S12)。在重复进行步骤S3~S9而执行处理的情况下,在使用步骤S1的特定热图图像和在步骤S3中读出的过去的N日前的热图图像进行学习得到的结果中具有可靠性,因此,是判定为在两个图像之间具有连续性的情况。在连续性成立的情况下,在取得了两个图像的时间点之间,能够预想樱花的盛开日等开花状况。反过来说,在连续性不成立的情况下,热图图像不具有可靠性,预想是不合适的。另外,即便具有连续性,有时连续性也暂时中断。对此,即便判断为不具有连续性,也可以在1次或多次之后再次判定连续性。
控制部1在步骤S12中将判定为具有连续性的热图图像作为DB存储于存储器。控制部1在存在来自用户终端4等的提供引导信息的委托的情况下,根据所请求的引导信息,从DB读出最佳的热图图像,并发送用户终端4等进行显示(参照图9的流程图)。在连续性不成立的时期的范围内,也可以基于所存储的范围,向用户终端4发送何时能够提供引导信息。
另外,樱花的开花状况受到当年的气候等的影响。因此,也可以针对基于过去的开花状况的热图图像,考虑当年的气候等来预想当年的热图图像。
这样,在图7所示的流程中,能够求出在以容易理解的方式将特定时间点的对象事象的分布信息表示在地图上的特定热图(参照S1)与从该特定时间点(基准时间点)提前特定时间的热图(参照S3)之间是否存在相关、是否存在相似、是否存在关联性等。
如果为根据季节渐渐变化的动植物的分布的变化,则当以这里所示的“天数”的单位进行追溯时,如前一天没有太大变化并且其前一天与前一天相比几乎没有变化那样,相邻的日期时间的热图的差异较少。但是如果追溯几日,则热图间的相关、相似、关联消失,因此,在步骤S3中取得的N日前的热图如果追溯几日,则在步骤S8中成为不具有可靠性这样的结果。但是,直至判定为不具有可靠性为止成为能够预测的关联性高的热图,因此,直至被设为具有可靠性的N日前为止,可以认为在步骤S1中取得的特定热图能够预测。
在本实施方式中,利用了近年来研究成果显著的在“从数据中找出人无法找到的特征”方面优异的深度学习的考虑方法。为了进行该学习,在步骤S1中准备特定热图(基准热图),并且,按照各个基准热图,准备N日前热图,并且,将“N日前”作为注释而制作推论模型。如果将倾向不同的热图从示教数据中排除并进行学习,则得到根据两个热图将它们的时间差作为“N日”进行推论的推论模型。另外,关于特定热图,也可以准备该场所的其他年的相似热图、相似地形的场所的相似热图,即以同样的距离范围划分的地图中的对象物分布相似的热图。
即,本实施方式的系统具有经时相关判定部,能够根据相对于与引导信息对应的对象事象的分布信息在时间上追溯后的对象事象的分布信息和分布的图案的重叠、移动倾向(表示存在对象物的部分的面积或密度、或者表示它们的颜色的重叠、移动的方向性的一致度),判定对象事象的分布信息的经时的相关性,由此,制作引导检索装置用的数据库(DB)。当然,时间上处于前后关系的热图推移在DB中被建立关系即可,因此,不一定必须进行追溯,但在该情况下,也存在达不到目标特定热图的可能性。另外,对象物能够根据其来历、特性、环境而采取多个时间变化图案,因此,也可以不对它们一并进行处理,而是通过分类来判定经时变化相关。即,也可以是,经时相关判定部能够将对象事象分类为多个类别,按照各个类别来判定经时相关。
此外,如之前说明的那样,在决定用于特定热图的特定的区域中或者在该区域的周围,对区域内造成影响的环境不同,温湿度、风向、地形、风向、街景、房屋的构造等有时影响到对象物的移动。在本实施方式中,在判定时间相关时,着眼于作为二维图案而显现的事象的形状、重心、构成事象的对象物的密度等,判定随着时间产生的位置偏移是否正在进行能够根据过去而预测现在、将来这样的推移。但是,在无法检测推移的情况下,也可以基于参数的不同等,对对象物进行分类并分析。此外,经时相关判定部也可以根据特定区域中的事件信息、环境的信息来判定经时相关,与按照上述的每个类别而进行判定同样,分为朝向事件或远离事件的对象物群体和受到环境的影响的对象物群体来进行上述的相关即可。
图8示出在根据图6和图7的流程图制作的事象预测DB中记录的热图图像推移的例子。图8中的热图的例子在为了容易从地图这样的词想起而以二维形式表记的地图(图表)上图示出特定对象物(这里,在投稿照片中替换为“开花状况”)的分布。但是,不限于二维表记,如果特定对象物表示道路上的拥挤,则也可以是一维图,如果进一步增加表示的变量,则也可以是三维图。如果利用在坐标上表示的对象物的分布图案(形态),则宛如图像那样,该坐标上的推移等的变化的预测变得容易。图示那样的引导用的数据库的例子能够相互参照对象事象(这里为樱花的开花)的分布信息(例如热图图像)与具有预想的时间差的对象事象之间的关系。
在图8中,在纵轴方向上示出地名(例如横浜(YOKOHAMA)、京都(KYOTO)),在横轴方向上示出日期。该图8与图5同样,是表示樱花的开花状况的热图图像。在日期内,记载为“现在”的栏中的4/5是今日的日期(4月5日),4/12、4/19、4/26是将来的预想日。此外,记载为“去年(例)”的栏中的4/01表示今年的4月5日的热图与去年的4月1日的热图图像相同。
首先,能够掌握现状进行基于DB的预想。在决定了与用户的行动、兴趣的对象事象相应的特定区域之后,取得表示特定时间点的特定区域内的对象事象的分布的对象事象热图(基准对象事象热图)。或者,即便不直接亲自取得数据本身的信息,例如,也可以委托给外部的调查服务以收集当前的信息,还可以从大数据中收集对自己有意义的信息(能够在特定时间后预测兴趣的对象物、事象这样的信息)而制作地图。此外,不必是严格的特定热图的时间点,也可以使用在此之前制作的地图作为基准对象事象热图。通过如下的考虑方法可知,在当前时间点,即便是4月6日,如果存在4月5日的数据,则在横浜也能够预测至4月19日。
对于居住在横浜且有摄影爱好的用户,被认为适合横浜的引导,利用横浜的DB进行说明。今年的4月12日被预想成为与去年的4月8日的热图图像同样的热图图像,今年的4月19日被预想成为与去年的4月15日的热图图像同样的热图图像。在横浜,今年的4月26日不存在具有连续性(相似性)的热图图像,因此,无法预想。
这样,参照示出了对象事象热图(这里为4月5日的横浜的热图)和相似区域(在该说明中为横浜)的热图的经时变化的数据库,估计从特定时间点经过了时间后的时间点的对象事象的状况,基于该估计来导出用户引导即可。另外,关于特定区域,即便在大多完全无法预测的情况下,也会去该场所拍摄樱花,因此,对于想要预测开花的用户,例如如果存在京都的DB,则也可以根据该DB来导出引导。
另外,在时期过早的情况下,例如,能够导出“在4月6日的时间点无法预测,因此,再稍微等等就能够预想”这样的引导。在该情况下,决定与用户的行动或兴趣的对象事象相应的特定区域(由于是将要开花的名胜,因此选择京都),取得表示特定时间点的特定区域内的对象事象的分布的对象事象热图,但在不存在与其适合的现状对象事象热图的情况下,无法参照示出了热图的经时变化的数据库。在该情况下,采用具有如下步骤的用户引导方法即可,在该步骤中,向用户传递无法估计从特定时间点经过了时间后的时间点的对象事象的状况。
即,在取得基准对象事象热图之后,除了搜索现状对象数据库以外还取得其他数据库,判定在现状中是否存在呈现出与特定时间点相称的热图的状况,决定与用户的行动、兴趣的对象事象相应的特定区域。然后,参照示出了特定区域的热图的经时变化的数据库,判定在数据库中是否能够取得表示与当前接近的特定时间点的特定区域内的对象事象的分布的基准对象事象热图。作为判定的结果,在无法取得时,可提供能够输出如下信息的用户引导方法,该信息表示无法估计从特定时间点经过了时间后的时间点的对象事象的状况。
这样,在横浜,在4月5日,能够基于热图图像,针对4月12日至4月19日的期间进行推荐的赏花线路的引导显示,但在4月26日以后,不存在具有连续性(相似性)的热图图像,无法进行引导显示。另一方面,在京都,针对4月12日至4月26日的期间,能够基于热图图像进行引导显示,但在4月5日以前,不存在具有连续性(相似性)的热图图像,无法进行推荐的赏花线路的引导显示。
这样,无法预想未记录具有连续性(相似性)的热图图像的时期。换个角度看,针对京都,当过了4月12日时,能够基于热图图像进行预想(之前叙述了能够引导这样的状况),另一方面,针对横浜,能够预想至4月19日。即,本实施方式中的时间序列相关判断可以说判定预想的界限。基于能够判定利用热图的预想的界限到何处的技术,利用该技术制作DB,向用户提示有用的引导。
接着,使用图9所示的流程图对用户建议的动作进行说明。在控制部1内通过由CPU等处理器按照存储于存储器的程序对控制部1内的各部进行控制来实现该流程。
在图9所示的用户建议的流程中,使用通过执行图6或图7的流程而制作的数据库(判定结果输出部DB1d),向用户提供建议。具体而言,在图6或图7所示的流程中,决定与用户的行动、兴趣的对象事象相应的特定区域,取得表示特定时间点的上述特定区域内的对象事象的分布的对象事象热图,制作示出了对象事象热图与相似区域的热图的经时变化的数据库。在该图9所示的流程中,参照所制作的数据库,显示估计从特定时间点经过了时间后的时间点的对象事象的状况的用户引导。
当图9所示的用户建议的流程开始后,首先,判定用户的行动(S21)。这里,控制部1输入从终端组2a的各便携终端接收到的用户的位置(包含日期时间信息)、投稿到SNS等的文本数据等。控制部1基于这些信息,判定用户当前正在进行怎样的行动并且将来采取怎样的行动。例如,预想用户在M日后想要进行什么行动等。此外,用户有时从用户终端4通过引导部3向控制部1请求引导信息。在该情况下,在该步骤S21中,识别用户的请求。
此外,在步骤S21中,决定与用户的行动、兴趣的对象事象相应的特定区域。例如,如果为居住在京都的摄影师,则作为被摄体,受欢迎的美好景色或活动等是感兴趣的对象事象,与京都的市街图或者京都大阪神户的路线图相当的区域等成为特定区域。此外,在每日或定期地向东京都内出差这样的人的情况下,其利用路线和关联的路线的拥挤状况等成为感兴趣的对象事象,关于特定区域,选择与东京都内的路线图相当的区域等即可。
此外,在步骤S21中,当决定特定区域后,取得该特定区域内的基准对象事象热图。因此,在步骤S21中,决定与用户的行动、兴趣的对象事象相应的基准区域,取得表示特定时间点的基准区域内的对象事象的分布的基准对象事象热图。另外,在需要M日后的引导的情况下,也可以在以下的步骤S23、S25中进行基准对象热图的取得。
当判定用户的行动后,接着判定是否需要M日后的引导(S23)。这里,控制部1基于步骤S21中的判定的结果,判定是否需要将来(M日后,也可以如上述那样为M小时后这样的变形)的引导。例如,基于步骤S21中的判定结果,判定用户在M日后想要进行什么行动。用户有时在SNS等中投稿M日后的预定,也可以基于这样的投稿进行判定。作为该判定的结果,尤其是在不存在行动预定且无需引导的情况下,不需要的引导很繁琐,因此,返回步骤S21。当然,也可以无需决定为M日后,提示将来知晓的范围的全部信息。但是,这里为了简化,例如,设想了周末的推荐拍摄地点、出差时的例如到达东京都内时(30分钟后等)的拥挤信息等。
另一方面,作为步骤S23中的判定的结果,在需要引导的情况下,对事象预想DB进行检索(S25)。这里,控制部1从事象预想DB(判定结果输出部DB1d)中检索与在步骤S23中成为需要的引导相应的热图图像。
在进行事象预想DB的检索后,接着判定是否能够预想M日后(S27)。这里,控制部1在步骤S25中检索到的事象预想DB中,基于是否能够预想M日后来进行判定。如上所述,如果N日间的期间具有连续性且M日为该范围,则能够预想存储于事象预想DB的热图图像等。在事象预想DB中,除了上述的赏花用的热图以外,还记录有各种热图图像,因此,从事象预想DB中检索对M日后的引导有用的热图图像。
关于步骤S27中的是否能够预想M日后的判定,使用将图8用作事象预想DB而说明的赏花用的热图图像进行说明。在该例中,在横浜,4月5日至4月19日(这个期间相当于上述的N日间)具有热图图像,因此,如果M日后在该期间内,则能够预想,另一方面,在4月19日以后的情况下,无法预想。此外,在京都,4月12日至4月29日(这个期间相当于上述的N日间)具有热图图像,因此,如果M日后在该期间内,则能够预想,另一方面,在4月5日以前没有热图图像,无法预想。作为该判定的结果,在无法预想M日后的情况下,预想引导现在无效,因此,返回步骤S21。在该情况下,也可以显示预想引导现在无效。
作为步骤S27中的判定的结果,在能够预想M日后的情况下,基于预想结果,显示符合用户需求的信息(S29)。这里,将在步骤S21中判定的符合用户需求的热图图像等的建议信息通过引导部3向用户终端4发送,使得能够显示于用户终端4。用户例如如图5、图8所示那样能够知晓樱花开花的区域、用于巡游该区域的推荐路线等。当发送显示用的建议信息后,返回步骤S21。
这样,在用户建议的流程中,判定用户的行动,在预想在M日后进行某些活动的情况下,从事象预想DB中检索对M日后的引导有用的事象,能够基于该检索结果来显示引导。另外,作为步骤S21中的行动判定,用户也可以通过用户终端4判定是否向控制部1请求了M日后的引导。
接着,使用图10A所示的流程图,说明根据用户行动而选择特定事象的动作。在图9所示的例子中,判定用户的行动,在需要M日后的引导的情况下,从预先制作的事象预想DB中显示符合用户需求的引导。图10A所示的流程图使图9的流程更加具体化,对用户的行动进行分析,基于该分析结果,制作适合用户的喜好等的经时变化相关DB,基于该DB,进行引导显示。该流程也是在控制部1内通过由CPU等处理器按照存储于存储器的程序对控制部1内的各部进行控制来实现的。
当图10A所示的流程开始后,首先,检索去年的SNS记录、最近的预定(S31)。这里,控制部1检索特定的用户投稿到SNS服务的文本数据、以及记载于博客等的最近的预定等。如果用户在控制部1中写入了日程表,则也参照该信息。
接下来,判定图像是否被上传,并且是否存在日记、健康信息等(S33)。这里,控制部1判定是否存在特定的用户利用SNS等在因特网上上传了图像的情况。此外,由于也存在在因特网上上传了特定用户的日记、健康信息等的情况,因此,控制部1检索这些信息。作为该判定的结果,在无法检索到这些信息的情况下,返回步骤S31。
作为步骤S33中的判定的结果,在能够检索到信息的情况下,接着判定嗜好和规避项目(S35)。这里,控制部1基于在步骤S31及S33中检索到的SNS记录、图像等信息,判定特定用户的喜好或不喜好的项目。与用户的嗜好、规避项目相关的信息也可以根据记录有用户的行动的历史信息、或者记录有健康参数与环境的关系的历史信息而得到。在提供引导信息的情况下,当然是为了表示用户喜好,但相反并不表示用户不喜好。
当判定嗜好和规避项目后,接着利用关联信息委托经时变化相关DB的制作(S37)。由于在步骤S35中判定出特定用户的喜好或不喜好,因此,考虑这些情况,经时相关判定部1c使用由控制部1的事象热图取得部1a取得并由时间序列整理部1b整理出的热图来判定经时相关,制作该经时相关数据。另外,在控制部1内未设置有经时相关判定部1c的情况下,也可以向外部的服务器等内的经时相关判定部委托经时相关数据的制作。
接下来,判定是否取得了能够预想M日后的DB(S39)。这里,控制部1使用在步骤S37中委托的经时变化相关DB,判定是否能够预测M日后。如使用图8说明的那样,在经时变化相关DB中,相关关系成立是特定的时期范围(N日间)的情况。对此,在该步骤中,控制部1使用制作的经时变化相关DB,判定M日后是否处于N日间内,是否能够预想M日后。作为该判定的结果,在无法预想的情况下,返回步骤S31。
另一方面,作为步骤S39中的判定的结果,在取得了能够预想M日后的DB的情况下,显示引导信息(S41)。这里,控制部1使用在步骤S37中委托并取得的经时变化相关DB,制作具有特定用户的嗜好的M日后的引导,发送到用户终端4进行显示。当显示后,返回步骤S31。
图10B及图10C示出根据用户的行动选择特定事象的例子。图10B是某个特定用户利用SNS等上传到因特网上的图像。该图像是为了纪念在盛开的樱花下骑摩托车外出而拍摄的。根据图像可知,该用户对樱花和摩托车的嗜好性高。
控制部1在与图10B相似的图像大量被上传到因特网上的情况下,基于这些图像,判定为该用户对樱花和摩托车的嗜好性高(参照图10A的S33、S35)。当知晓用户的嗜好性时,控制部1基于该嗜好性,制作经时变化相关DB。在该DB的制作时,事象热图取得部1a在根据地图信息或口碑等选出的或者在该用户容易访问这样的条件下选出的适于摩托车观光的区域收集与樱花的开花状况相关的信息,由时间序列整理部1b整理为经时信息之后,由经时相关判定部1c制作经时变化相关DB(参照图10A的S37)。
当制作经时变化相关DB后,能够向用户显示M日后的引导信息。在引导显示中,如果为M日后,则介绍能够观看盛开的樱花的观光路线。在该情况下,与盛开的樱观光引导相比,如果在条件中加入地图信息中的摩托车能够通行且能够停车的地点,则成为根据该用户的嗜好而定制的例子。这里,举出了骑摩托车的例子,但除此以外,在家庭的行动中也能够通过同样的考虑方法来提高用户的满足度。此外,能够通过追加家庭的年龄结构、有无宠物、能否带入宠物的信息等,来提高引导的满足度。
此外,图10C是示出其他的特定用户的身体状况变化的图表。该图表的横轴是时间(年月),纵轴是表示身体状况的参数。身体状况参数例如能够使用体温、心率、发汗量、以及喷嚏、咳嗽的次数、鼻涕的量、眼睛发痒等各种参数。观察该图表,花粉时期的喷嚏等比其他时期显眼,因此,设想该用户患有花粉症。当向这样的用户显示在花粉多的时期不要去花粉多的场所这样的引导,则他们会不胜感激。
这里,图表的身体状况参数选择了季节和时候,但除此以外,在灰尘等过敏的情况下,例如优选能够区分是否处于满是灰尘的房屋或者沿着尾气多的干线道路等的位置这样的图表显示等。由此,该人知晓最好不去的场所。除此之外,也存在身体状况根据气压(配置)、气温而改变的人,因此,也可以对这样的人推行搬迁疗法。除此之外,参数根据该人的健康状态、病情、体质而变化。为了判别这样的各种体质,准备若干身体状况参数和其他的参数,能够以各个视角进行判定即可。
控制部1在取得了图10C所示的健康信息的情况下,基于该图表,判定为该用户患有花粉症的可能性高(参照图10A的S33、S35)。当知晓用户的身体状况后,控制部1收集与花粉症相关的热图图像,基于该图像,制作经时变化相关DB。在该DB的制作时,事象热图取得部1a收集与投稿到SNS等的花粉症相关的数据,在由时间序列整理部1b整理为经时信息之后,由经时相关判定部1c制作经时变化相关DB(参照图10A的S37)。当制作经时变化相关DB后,能够向用户显示M日后的引导信息。在引导显示中,进行在M日后花粉症容易出现症状因此佩戴口罩并服用预防药物等的引导。此外,在为花粉症中的雪松花粉症等的情况下,也可以进行通知诉说雪松花粉症的人较多的区域等的建议。不限于雪松花粉症,如果知晓过敏的原因,则也可以通知产生该原因的区域、未产生该原因的区域。
在为感染病的情况下,根据年龄、体质,也存在比他人恶化的情况。在本实施例这样的判定出拥挤地域的情况下,当去往拥挤地域时,佩戴口罩前往、携带消毒药物前往、频繁地洗手、确保社交距离、或者提供引导等谨慎的行动,由此,能够防止身体状况的恶化。也存在即便感染也不出现症状的人,因此,如果同样也对这些人显示引导,则能够防止感染扩大和医疗体制的崩溃。
这样,用户的行动、兴趣的对象事象能够通过记录有用户的行动的历史信息(例如,拍摄到的图像的被摄体或过去的SNS上的发言)或者记录有健康参数(例如,咳嗽、喷嚏、发热、发汗、脉搏、血压等生物体信息、或者其变化的特征)的历史信息(例如,能够分析健康状态因何种环境因素(气温、气压、粉尘、花粉、气候、或者它们的变化)而改变的信息)来决定。对象事象可以根据当前的移动方向来决定。此外,与用户的行动、兴趣的对象事象相应的基准区域是指,由该用户将要行动的范围决定的区域(可以为从当前位置开始的移动的方向,也可以参照所利用的交通系统IC卡或乘车券,还可以为用户的手动输入)、或者包含根据用户的行动的历史信息而得到的行动范围的区域。区域的范围也可以依照于观光地图或路线图等容易获得的地图信息。
这样,在本实施方式中,使用用户通过SNS等投稿到因特网上的信息等,对用户的行动进行分析,基于该分析结果,制作经时变化相关数据库,从数据库取得该用户在M日后需要的信息,显示于用户终端4。因此,能够提供用于预想信息的变化并支援用户的活动的引导信息。此外,不限于用户的嗜好项目,也考虑规避项目而制作了经时相关数据库,因此,不会显示用户不喜好的项目。另外,在本实施方式中,检索了投稿到因特网上的信息等,但也可以在用户投稿文章的时候对用户的行动进行分析。
接着,使用图11A及图11B,对基于AI(artificial intelligence:人工智能)的经时相关性的判定进行说明。经时相关判定部1c也可以使用通过深度学习等机器学习而生成的推论模型,求出热图图像的经时相关性。
这里,预先简单说明深度学习。“深度学习(Deep learning)”是将使用了神经网络的“机器学习”的过程多层构造化而实现的。将信息从前向后发送来进行判定的“正向传播型神经网络”是代表性的例子。作为最简单的例子,正向传播型神经网络具有由N1个神经元构成的输入层、由以参数给出的N2个神经元构成的中间层、由与判别的类别数对应的N3个神经元构成的输出层这3层即可。输入层与中间层的各神经元、中间层与输出层的各神经元分别通过结合加权而连结,中间层与输出层被施加偏置值,由此,能够容易地形成逻辑门。
神经网络如果进行简单的判别,则可以为3层,但通过将中间层设为多个,则也能够在机器学习的过程中学习多个特征量的组合方式。近年来,9层~152层的中间层从学习所耗费的时间、判定精度、消耗能量的观点出发是实用的。此外,也可以利用进行压缩图像的特征量的被称为“卷积”的处理并以最小限度的处理进行动作的图案识别能力强的“卷积型神经网络”。此外,也可以利用处理更加复杂的信息且与含义根据次序或顺序而改变的信息分析对应地使信息双向流动的“递归型神经网络”(全耦合循环神经网络)。
为了实现这些技术,也可以使用CPU或FPGA(Field Programmable Gate Array:现场可编程门阵列)等现有的通用的运算处理电路。但是,不限于此,由于神经网络的处理大多是矩阵的乘法,因此,也可以利用专用于矩阵计算的被称为Graphic Processing Unit(GPU:图形处理单元)或Tensor Processing Unit(TPU:张量处理单元)的处理器。近年来,作为这样的人工智能(AI)专用硬件的“神经网络处理单元(NPU)”也有时被设计为能够与CPU等其他电路一起集成并组装,成为处理电路的一部分。
此外,作为机器学习的方法,例如也具有支持向量机、支持向量回归这样的方法。这里的学习计算识别器的权重、滤波器系数、偏移,除此以外,也具有利用逻辑回归处理的方法。在使机器判定某事的情况下,人类需要教给机器如何判定。在本实施方式中,采用了通过机器学习来导出图像的判定的方法,但除此之外,也可以使用适应人类通过经验法则和启发法获得的规则的规则库的方法。
图11A示出通过深度学习生成推论模型的过程和使用推论模型进行推论的过程。在图11A中,单点划线的上侧示出使用推论引擎11生成推论模型的情形,单点划线的下侧示出使用推论引擎11进行推论的情形。
在推论引擎11内,在输入层11a与输出层11c之间配置有中间层(神经元)11b。向输入层11a输入成为推论对象的输入图像Iinp。作为中间层11b配置有若干层神经元。神经元的层数在设计上适当被决定,并且,各层中的神经元的数量也在设计上适当被决定。此外,深度学习时的示教数据AN是在输入了输入图像Iinp时应作为学习结果而输出的数据。例如,在表示樱花的开花状况的热图图像的情况下,实施了表示樱花盛开等的区域和投稿数的注释AN1~AN3。当反复进行深度学习并输入输入图像Iinp时,以输出示教数据AN所示的区域的方式进行各神经元间的加权。此外,当反复进行深度学习时,也计算可靠性,排除可靠性低的图像ANlow(参照图11A的图像ANlow),生成可靠性高的推论模型。
推论引擎11作为如下的推论引擎发挥功能:学习所取得的大数据的时间序列变化信息,并制作用于向用户提供引导信息的推论模型。推论引擎在特定区域内的地图上,在从用户接受引导信息的提供的委托之前,通过学习大数据的相关性高的区域而预先生成推论模型。推论引擎在特定区域内的地图上注释对象事象,将该注释后的地图作为图像信息而生成示教数据,使用该示教数据进行学习。
在图11A中,在单点划线的下侧所示的推论引擎11A中设定有通过推论引擎11生成的推论模型。即,推论引擎11A的中间层11b基于通过推论引擎11生成的推论模型而被进行加权。向推论引擎11A的输入层11aa输入作为经时相关性的判定对象的输入图像Iinp,通过设定于中间层11ba的推论模型进行推论,从输出层11ca输出输出图像Iout。该输出图像HMIout例如是表示樱花盛开的区域ANo的图像。
图11B示出除了樱花的输入图像I-c以外还输入了梅花的输入图像I-p和2年前的输入图像I-2的情况下的例子。此外,将针对各个输入图像进行注释后的数据设为示教数据AN-c、AN-p、AN-2。使用这些示教数据,在推论引擎11中进行深度学习,生成推论模型。另外,输入图像I-c、I-p、I-2及示教数据AN-c、AN-p、AN-2为具有时间差的时间序列数据。
从图11B的单点划线向下示出的推论引擎11A与图11A同样地设定有通过推论引擎11生成的推论模型。当向输入层11aa输入樱花、梅花、2年前等的图像时,通过推论模型进行推论,从输出层11ca输出输出图像Iout。该推论模型由具有时间差的示教数据AN-c、AN-p、AN-2生成,因此,输出考虑了时间差的图像。
接着,使用图12A及图12B,示出将热图图像HMI用作输入图像的例子。根据投稿在照片共享社交网络服务提供的照片墙上的数据、投稿在作为社交网络服务的脸书(FB)上的数据、投稿在提供便携电话的无线通信服务的NTT都科摩上的数据而制作热图图像HMI。在图12A所示的数据中分别注释樱花盛开的区域的位置,制作示教数据AN-ins、ANfb、ANdoc,在推论引擎11中进行深度学习时使用。推论引擎11的结构及深度学习的方法与图11A同样,并且,通过推论引擎11A进行的推论的方法也与图11A同样,因此,省略详细说明。
图12B示出如下情况:分别根据照片共享系统SNS、日记推特系统SNS、便携终端通信公司或交通网管理公司等的数据的出处将热图图像HMI分为子类别,按照相同的子类别生成时间序列数据。在图12B中,在各个图像中对区域进行注释,作为示教数据而示出。按照每个子类别生成时间序列数据,推论引擎11使用该时间序列数据进行深度学习,生成推论模型。
这样,通过在经时相关判定部1c配置推论引擎11A并输入时间序列化的热图图像,能够判定经时相关。例如,通过将表示樱花的开花状况的热图图像向推论引擎11A输入,能够简单地检测相似的区域。此外,由于按照每个子类别进行分类,使用各个子类别的时间序列数据进行相关运算,由此,与将整体混合而进行相关运算的情况相比,能够提高可靠性。
此外,对于每个信息收集源的数据,由于各个运营主体或关联服务团体等根据与用户之间或者企业、团体之间的数据利用的规约、契约而预先制定了规则,因此,容易实时地收集大量数据。而且,该利用用户的资料等也被管理,具有容易区分特定的资料、嗜好的用户行动而进行判定这样的优点。此外,针对每个信息收集源,利用者的性别和年龄结构具有某种程度的特征,有助于进行基于用户的分类。通过用户分类,能够仅取出所需数据,并且,能够实现删除了噪声成分的高精度的分析和推论。
此外,由于每个信息收集源的数据处于彼此互补的关系,因此,适当地进行筛选或补充或分析(这里尤其是经时的集合的相关判定、热图移动预想等)即可。例如,能够从比较轻量的数据中以自然语言检索文本库的信息源。此外,对于具体是怎样的状况,来自照片系统的服务的信息提供容易理解的信息。此外,即便不是有意识的投稿等,利用基站等反应仅由于移动就改变的通信公司的信息、以及可知晓车站利用、店铺利用、交通工具利用的信息的交通系统电子货币卡的信息,也能够收集大量的信息。
接着,使用图13所示的流程图,对基于AI的经时变化相关学习的动作进行说明。在该流程中,如使用图11A至图12B说明的那样,通过深度学习进行推论模型的生成,使用该推论模型求出热图图像的经时变化相关。为了执行该流程,图4所示的经时相关判定部1c具有推论引擎11、11A。另外,也可以对外部的推论引擎委托推论引擎的生成。该流程是通过在控制部1内由CPU等处理器按照存储器所存储的程序对控制部1内的各部进行控制来实现的。
当图13所示的经时变化相关学习的流程开始时,首先,取得特定状况热图图像(S51)。这里,控制部1为了进行经时变化相关学习而取得热图图像。作为特定状况,例如,如图4的地图M3、图5的地图M14所示,设想了在用户应考虑的地图上表示的特定的状况(例如以热图图像表示)。示出在将要利用的交通工具或车站等中发生拥挤的状况、在樱花的开花状况下能够对该用户介绍相应的观光路线的状况等应进行特定的引导的事象即可。在仅关于应考虑的区域的信息中,有时无法获得足够的过去的数据,因此,在该情况下,也可以将同样环境的区域作为参考(●●机场为新设的机场,相似设计的△△机场的过去数据成为参考的情况等)。这样,也可以收集多个区域的信息进行分析。
由于热图图像以调查经时变化为目的,因此,是取得时刻不同的多个图像。此外,计算相关关系的图像组不优选计算相关没有任何意义的非相似的图像,优选以能够计算相关的程度相似。
当取得特定热图图像后,接着,取得各个特定状况热图(图像)的相同场所的N日前的热图(S53)。这里,控制部1取得与在步骤S51中取得的特定状况的热图相同的场所且N日前的热图图像。另外,有时不存在同一场所中的数据,在该情况下,也可以使用多个区域的数据。例如,由于●●机场是新设的机场,虽然具有1年前以内的数据但不具有在此以前的数据,在该情况下,在1年前以内,使用该机场的热图变化。此外,在相似设计的△△机场的数据为10年前为止的情况下,针对1年前至10年前的期间,利用△△机场进行热图变化的分析即可。此外,当限定为相同场所时,无法得到足够的示教数据,因此,也可以使用相似环境的场所中的数据。作为相似环境的场所,例如,如果是宽广的场所,则比较地形和纬度是否相似而进行选择,如果在人工环境下,则比较对象物可能存在的空间的宽广度、高度、容积、人等对象物的运动倾向及其密度、温度、湿度、换气程度等的空调中的至少一个信息的相似性进行选择即可。
在步骤S53中取得热图图像后,利用各个热图图像生成推论模型,判定该推论模型的可靠性(S55)。这里,推论引擎11使用在步骤S51中取得的特定热图图像和在步骤S53中取得的N日前的热图图像而生成推论模型。即,在步骤S53中取得热图图像后,能够增加示教数据的数量。将增加了数量的热图图像设为示教数据,对N日前的热图进行N日前的注释,判定是否能够正确地推论特定热图图像,并且通过N日前的热图和N日这样的信息,生成能够推论特定热图这样的推论模型。
在步骤S55中生成推论模型后,判定该推论模型的可靠性。具体而言,根据是否使用利用过去的事例的规定的测试数据而正确地推论出N日后的热图,来判定该推论模型的可靠性。此外,在可靠性的判定时,例如,也可以预先准备评价用的数据,向推论模型输入该评价用数据,基于该输出结果进行判定。
在该步骤S55中,也可以逐次生成“1日后热图预想”、“2日后热图预想”···这样的推论模型。在该情况下,也可以采用如下方法:如果输入“N日”,则将N作为变量来推论N日后的热图,能够提示该推论出的热图。如果能够通过推论模型来预想热图,例如如果输入现状的热图,则也能够提示任意的时间点的未来的热图等,通过已经说明的利用经时变化DB参照的方法以外的方法进行引导。此外,如果使输入现状的热图而得到的推论结果落入DB,则也能够制作已经说明的经时变化DB。
作为步骤S57中的判定结果,如果可靠性高,则将N日变更为其他日数(S59)。这里,控制部1变更在步骤S53中取得的热图图像的日。当变更N日后,在步骤S53中取得N日前的热图图像,制作推论模型,判定该推论模型的可靠性。通过反复进行该动作,特定热图图像与热图图像的相关性逐渐变高,可靠性变高。
作为步骤S57中的判定结果,在可靠性不高的情况下,决定可靠性高的N日,将热图间的时间差设为DB(S65)。在步骤S57中,使用判定为可靠性高的N日前的热图图像,制作数据库。在具有多个判定为可靠性高的热图图像的情况下(通常为多个),根据各个热图图像的制作时期,制作由设置有时间差的热图图像组构成的数据库。通过存储具有该时间差的多个热图图像,例如生成图5、图8所示的事象预想用的DB(经时相关DB)。当制作数据库后,结束该流程。
接着,使用图14所示的流程图对经时变化相关学习的动作的变形例进行说明。在图13所示的经时变化相关学习的流程中,如果推论模型的可靠性较低,则在该时间点结束推论模型的生成。与此相对,在图14所示的流程中,在Np日量的推论模型的生成结束后,在M日前的可靠性较低的情况下,从示教数据中排除该日的热图图像,重新生成推论模型(尤其是参照S58的“是”、S61、S63)。当图14的流程与图13的流程比较时,将步骤S57变更为S58并追加了步骤S61及S63这一点不同。以该不同点为中心进行说明。
另外,也可以收集所排除的示教数据并加入其他条件,在该信息表示同样的条件的情况下,使用该条件重新制作示教数据组和测试数据,进行特定条件的推论。在该情况下,能够进行通常的推论和特殊状况下的两种类型的推论,在条件一致时,能够进一步定制而进行精度高的推论。
当图14的经时变化相关学习的流程开始后,首先,取得特定热图图像(S51),接着,取得各个特定状况热图的相同场所的第N日的热图(S53),接下来,利用各个热图制作推论模型,判定可靠性(S55)。当判定可靠性后,接着,判定是否针对Np日量制作了推论模型(S58)。上述的步骤S51至S55的处理预先针对Np日期间进行,因此,控制部1在该步骤中判定是否针对Np日期间结束了处理。另外,关于Np日,与图6的步骤S7同样,考虑所生成的数据库的性质和在事象热图取得部1a中能够收集的数据的范围等适当设定即可。
作为步骤S58中的判定结果,在Np日量未结束的情况下,变更N日(S59),返回步骤S53。在步骤S59中变更N日,并且重复步骤S53至S58,由此生成推论模型。
作为步骤S58中的判定结果,当针对Np日量结束处理后,接着,判定可靠性低的是否为M日前(S61)。这里,在步骤S55中进行的判定内检索可靠性比规定值低的日,将该可靠性低的日设为M日前。作为规定值,在制作推论模型时,采用能够确保规定的可靠性的值即可。
作为步骤S61中的判定结果,如果M日前的可靠性低,则从示教数据中排除该日的热图(S63)。针对有效利用该排除的数据的方法已经进行了说明。在步骤S63中不仅仅排除,为了进行其他学习,还进行为了用作新的示教数据而记录于记录装置用的控制等。在制作推论模型时,对取得的热图进行注释并用作示教数据。但是,在使用M日前的热图生成的推论模型的可靠性低的情况下,在生成推论模型时最好不使用该示教数据。对此,期望排除该M日前的热图,再次使用推论模型。例如,异常气象年份的热图、暴雨日的热图、暴雪日的热图等也可能存在可靠性低的情况。此外,举行大量聚集人的事件等的日也可能存在可靠性低的情况。因此,也可以使用气候、事件等信息来判断可靠性。在步骤S63中,当从示教数据中排除时,返回步骤S51,排除M日前的热图而生成推论模型。
作为步骤S61中的判定结果,如果可靠性不低,则决定可靠性高的N日,包含热图图像间的时间差在内进行记录,由此制作数据库(DB)(S65)。当制作DB后,结束经时变化相关学习的流程。
这样,在图14所示的经时变化相关学习的流程中,当使用Np日量的数据生成推论模型并结束后,从示教数据中删除可靠性低的热图,再次生成推论模型。因此,能够生成可靠性高的推论模型。
接着,使用图15所示的事象预想数据库(DB),针对将本实施方式应用于钢筋的腐蚀数据库的例子进行说明。在桥梁等混凝土构造物中,在内部埋设有钢材(钢筋)。当钢筋放置后,腐蚀加剧,因此,为了长期维持混凝土构造物的价值,期望准确地掌握支承桥梁的钢筋的腐蚀速度,进行计划性的修补。如果放置不管,则腐蚀会变得严重,结果上耗费大量的修补费用。但是,由于是在高处或狭窄场所的作业,因此,判断在何时进行腐蚀诊断并非是容易的。对此,从外部检查埋设有钢筋的混凝土构造物,根据该检查结果(热图图像)的经时变化相关,预想腐蚀诊断和修补的时机。
图15示出在检查日1~检查日4针对桥梁1、桥梁2分别进行的检查结果。该检查例如存在敲击声检查,可以是三维敲击声检查,也可以是二维敲击声检查。在图15中,针对桥梁1的构造体ST1和桥梁2的构造体ST2,在二维或三维的热图中示出检查结果,使得知晓通过每个检查日的敲击声检查而敲击时的回声的不同。
观察桥梁1,在检查日1,区域G的回声与其他区域不同,在检查日2,区域H的回声与其他区域不同,在检查日3,区域J、K的回声与其他区域不同。将每个这些检查日的检查结果设为热图图像。当判定这些热图图像和需要进行腐蚀诊断时的热图图像的经时变化相关时,能够预想需要进行腐蚀诊断的时期,并且预想进行用于防止腐蚀的修补施工的时期。通过对桥梁1判定检查日1、2的热图图像的经时变化相关,能够预想为在检查日3需要进行腐蚀诊断,并且预想为在检查日4需要开始进行修补施工。
针对桥梁2,在检查日1不存在检查记录,检查日2的区域L的回声、检查日3的区域O的回声、检查日4的区域P、Q的回声与其他区域不同。通过判定这些检查日2、3的热图图像的经时变化相关,能够预想需要在检查日4进行腐蚀诊断。
这样,在图15所示的例子中,通过取得基于敲击声检查的结果的热图图像,能够事先预想需要腐蚀诊断的定时、进行修补施工的定时。即,能够尽早进行修补施工的估量,能够防止由腐蚀引起的大规模施工。
如以上说明的那样,在本发明的一实施方式中,能够提供一种用户引导方法,该用户引导方法具有如下步骤:决定与用户的行动、兴趣的对象事象相应的基准区域,取得表示特定时间点的基准区域内的对象事象的分布的基准对象事象热图(例如,参照图2的S101、图9的S21);参照基准对象事象热图和示出相同或相似区域中的热图的过去的经时变化的数据库,估计从特定时间点经过了时间后的时间点的对象事象的状况(例如,参照图2的S111、图9的S29)。因此,能够预想特定位置处的对象物信息的变化,辅助用户的行动。
此外,在本发明的一实施方式中,取得按照时间序列得到的特定位置范围内的对象事象的分布信息(例如参照图6的S3),判定所取得的对象事象的分布信息的经时的相关性(例如参照图6的S5),通过根据经时的相关性的判定结果得到的经时相关数据库检索引导信息并显示(例如参照图6的S11、图9的S29等)。因此,能够在地图等二维或三维空间上或者特定区域中预想信息的变化,辅助用户的行动。
另外,在本发明的一实施方式中,作为经时相关数据库制作系统,说明了制作与樱花的开花状况相关的数据库、与桥梁等中的钢筋的腐蚀状态相关的数据库的例子。但是不限于此,能够制作二维或三维的热图,对根据该热图的经时的相关关系来预想事象的模型应用本实施方式。例如,在繁华街道等中预想拥挤程度的情况下,也能够应用本实施方式。此外,通过判定前列腺癌等生物体组织的变化的相关关系,能够进行检查日的预想等。此外,也能够进行在工厂内的配管的劣化预想、喷气发动机或汽油发动机等可动部的劣化预想、病原菌或感冒等的感染预想、气候的预想等,在二维或三维空间内,将时间上的状态的变化作为热图而制作,根据该热图的经时的相关关系预想事象。
此外,在本发明的一实施方式中,进行热图图像的经时相关判定而制作了经时相关数据库。但是,相关判定的对象不限于图像,当然也可以是数据。即,即便不是图像本身,也可以进行数据彼此的相关运算。此外,关于经时相关数据库,取得以日单位制作的情况进行了说明,但不限于日单位,也能够适当设定为年单位、月单位、小时单位、分钟单位、秒钟单位。例如,由海啸或河流泛滥引起的桥的倒塌预知等要求秒单位的精度。此外,在本实施方式中,进行了M日后的预想,但不限于日单位,也可以适当以年单位、月单位、小时单位等进行预想。
此外,近年来,大多使用能够统一判定各种判断基准的人工智能,统一进行这里所示的流程图的各分支等的改良当然也落入本发明的范畴。针对这样的控制,如果用户能够输入喜好不喜好,则能够学习用户的嗜好,按照适合该用户的方向定制本申请所示的实施方式。
此外,关于在本说明书中说明的技术中的主要在流程图中说明的控制,大多能够通过程序来设定,也有时记录在记录介质或记录部中。向该记录介质、记录部记录的记录方式可以在产品出厂时记录,可以利用分配的记录介质,也可以经由因特网下载。
此外,在本发明的一实施方式中,使用流程图对本实施方式中的动作进行了说明,但也可以改变处理步骤的顺序,此外,也可以省略任意一个步骤,也可以追加步骤,还可以变更各步骤内的具体的处理内容。
此外,关于权利要求书、说明书及附图中的动作流程,即便是为了方便而使用“首先”、“接着”等表现顺序的词进行了说明,在没有特别说明的位置,也不意味着必须按照该顺序实施。
本发明不直接限定于上述实施方式,在实施阶段,在不脱离其主旨的范围内能够改变结构要素而具体化。此外,能够通过上述实施方式所公开的多个结构要素的适当组合而形成各种发明。例如,也可以删除实施方式所示的全部结构要素中的若干结构要素。此外,也可以适当组合不同实施方式的结构要素。

Claims (26)

1.一种用户引导方法,其中,
所述用户引导方法具备以下步骤:
决定与用户的行动或兴趣的对象事象相应的基准区域;
取得基准对象事象热图,该基准对象事象热图表示特定时间点的所述基准区域内的所述对象事象的分布;以及
参照所述基准对象事象热图、和示出相同或相似区域的热图的过去的经时变化的数据库,估计从所述特定时间点经过了时间后的时间点的对象事象的状况。
2.根据权利要求1所述的用户引导方法,其中,
所述热图在所述基准区域中包含对所述对象事象的经时变化造成影响或制约的环境结构物的配置信息。
3.根据权利要求2所述的用户引导方法,其中,
所述环境结构物是地形、设施或道路。
4.根据权利要求1所述的用户引导方法,其中,
所述用户的行动或兴趣的对象事象是从记录有用户的行动的历史信息或记录有健康参数与环境的关系的历史信息中得到的信息,并且,与所述用户的行动或兴趣的对象事象相应的基准区域是根据该用户此后的行动范围决定的区域。
5.一种引导检索装置,其中,
所述引导检索装置具备:
取得部,其在不同的多个时刻取得特定区域内的对象事象的分布信息;
经时相关判定部,其使用由所述取得部取得的特定区域内的对象事象的分布信息,基于所述对象事象的分布的图案的时间变化及/或分布的图案的移动倾向的持续,判定经时的相关性;以及
检索部,其从根据所述经时的相关性的判定结果得到的经时相关数据库中检索引导信息。
6.根据权利要求5所述的引导检索装置,其中,
所述对象事象的分布图案表现为热图,该热图以二维图案或颜色表现构成所述对象事象的对象物的存在位置和密度,
所述经时相关判定部按照在所述热图中显现的二维图案的面积或颜色的时间变化、或移动的方向性的连续性,来判定经时相关。
7.根据权利要求5所述的引导检索装置,其中,
所述经时相关判定部使用由所述取得部取得的特定区域内的对象事象的分布信息,基于所述对象事象的分布的多个图案的重叠的时间变化倾向,判定经时的相关性。
8.根据权利要求5所述的引导检索装置,其中,
所述经时相关判定部根据相对于与所述引导信息对应的所述对象事象的分布信息在时间上追溯后的所述对象事象的分布信息,判定所述对象事象的分布信息的经时的相关性。
9.根据权利要求5所述的引导检索装置,其中,
所述经时相关判定部能够将所述对象事象分类为多个类别,并按照每个类别判定经时相关。
10.根据权利要求5所述的引导检索装置,其中,
所述经时相关判定部根据所述特定区域的事件信息或环境的信息来判定经时相关。
11.根据权利要求5所述的引导检索装置,其中,
所述经时相关判定部对相对于与所述引导信息对应的所述对象事象的分布信息在时间上追溯后的所述对象事象的分布信息的时间差进行注释而制作示教数据,基于使用该示教数据进行了学习时的可靠性的高度,判定所述对象分布信息的连续性。
12.根据权利要求5所述的引导检索装置,其中,
所述经时相关判定部根据相对于与所述引导信息对应的所述对象事象的分布信息在时间上追溯后的所述对象事象的分布信息的重叠是否以预先决定的特定的比例近似,来判定对象事象的分布信息的经时的相关性。
13.根据权利要求5所述的引导检索装置,其中,
所述经时相关判定部基于所述多个时刻中的比较近的时刻的分布信息彼此的相似性,判定经时相关。
14.根据权利要求5所述的引导检索装置,其中,
所述引导检索装置具有输出部,该输出部将由所述检索部检索到的所述引导信息向外部输出。
15.根据权利要求5所述的引导检索装置,其中,
所述检索部基于所述经时相关数据库,判定预测的界限。
16.根据权利要求15所述的引导检索装置,其中,
所述检索部将保持了所述对象事象的分布信息的连续性或相似性的范围设为所述预测的范围内,或者将相关运算的推论结果的可靠性比规定值高的范围设为所述预测的范围内。
17.根据权利要求5所述的引导检索装置,其中,
所述取得部取得在所述特定区域内的在空间上显现的大数据,
所述引导检索装置还具有推论引擎,该推论引擎学习所取得的所述大数据的时间序列变化信息,制作用于向用户提供引导信息的推论模型。
18.根据权利要求17所述的引导检索装置,其中,
所述推论引擎在从用户接收到提供所述引导信息的委托之前,学习所述特定区域内的地图上的所述大数据的相关性高的区域,由此预先生成推论模型。
19.根据权利要求17或18所述的引导检索装置,其中,
所述推论引擎在所述特定区域内的地图上对对象事象进行注释,将该注释后的地图设为示教数据,使用该示教数据进行学习。
20.根据权利要求5所述的引导检索装置,其中,
所述检索部基于所述对象事象分布的经时的相关性,在所述特定区域内的地图上检索规定日之后的推荐路线。
21.根据权利要求5所述的引导检索装置,其中,
所述检索部判定用户的行动,基于该判定出的用户的行动,从经时相关数据库中检索引导信息。
22.根据权利要求5所述的引导检索装置,其中,
所述经时相关判定部考虑用户的嗜好及规避项目来判定对象事象的分布信息的经时的相关性。
23.根据权利要求22所述的引导检索装置,其中,
所述用户的嗜好及规避项目是从记录有用户的行动的历史信息或者记录有健康参数与环境的关系的历史信息中得到的信息。
24.一种引导检索方法,其中,
取得按照时间序列得到的特定位置范围内的对象事象的分布信息;
判定所取得的所述对象事象的分布信息的经时的相关性;以及
从根据所述经时的相关性的判定结果得到的经时相关数据库中检索引导信息。
25.一种程序,其特征在于,所述程序使计算机执行以下处理:
取得按照时间序列得到的特定位置范围内的对象事象的分布信息;
判定所取得的所述对象事象的分布信息的经时的相关性;以及
从根据所述经时的相关性的判定结果得到的经时相关数据库中检索引导信息。
26.一种引导检索系统,其中,
所述引导检索系统具备:
取得部,其取得按照时间序列得到的特定位置范围内的对象事象的分布信息;
判定部,其判定所取得的所述对象事象的分布信息的经时的相关性;以及
检索部,其从根据所述经时的相关性的判定结果得到的经时相关数据库中检索引导信息。
CN202110843299.7A 2020-07-28 2021-07-26 用户引导方法、引导检索装置、方法、系统及程序 Pending CN114003802A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020127071A JP2022024456A (ja) 2020-07-28 2020-07-28 ユーザガイド方法、ガイド検索装置およびガイド検索方法
JP2020-127071 2020-07-28

Publications (1)

Publication Number Publication Date
CN114003802A true CN114003802A (zh) 2022-02-01

Family

ID=79920995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110843299.7A Pending CN114003802A (zh) 2020-07-28 2021-07-26 用户引导方法、引导检索装置、方法、系统及程序

Country Status (3)

Country Link
US (1) US20220035874A1 (zh)
JP (1) JP2022024456A (zh)
CN (1) CN114003802A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
CN116739838B (zh) * 2023-05-06 2024-03-08 广州圈量网络信息科技有限公司 一种地理位置智能分析的客流量分流系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8738638B1 (en) * 2011-04-06 2014-05-27 Google Inc. Map usage visualization
WO2012174230A1 (en) * 2011-06-14 2012-12-20 Sickweather, Llc Social networking aggregator to track illnesses
US20170024531A1 (en) * 2015-07-22 2017-01-26 Radicalogic Technologies, Inc. Dba Rl Solutions Systems and methods for near-real or real-time contact tracing
US10818384B1 (en) * 2018-02-20 2020-10-27 Verily Life Sciences Llc Valence profiling of virtual interactive objects
US11586825B2 (en) * 2020-07-22 2023-02-21 Pandemic Insights, Inc. Geolocation pathogen-risk assessment with pandemic-bio-surveillance multi pathogen systems

Also Published As

Publication number Publication date
US20220035874A1 (en) 2022-02-03
JP2022024456A (ja) 2022-02-09

Similar Documents

Publication Publication Date Title
CN114003802A (zh) 用户引导方法、引导检索装置、方法、系统及程序
Mazimpaka et al. Trajectory data mining: A review of methods and applications
Jiang et al. A review of urban computing for mobile phone traces: current methods, challenges and opportunities
Elfar et al. Machine learning approach to short-term traffic congestion prediction in a connected environment
US20130346016A1 (en) Information terminal, information providing server, and control program
JP2020046854A (ja) 物件情報提示装置、物件情報提示プログラム、物件情報提示方法、及び情報提供システム
WO2016067369A1 (ja) 人流分析システムおよび人流分析方法
Wu et al. A green view index for urban transportation: how much greenery do we view while moving around in cities?
Sharbini et al. Crowd evacuation simulation model with soft computing optimization techniques: a systematic literature review
Mantouka et al. Deep survival analysis of searching for on-street parking in urban areas
Saha et al. Deep learning approach for predictive analytics to support diversion during freeway incidents
Won et al. Knowledge-based system for estimating incident clearance duration for Maryland I-95
Vyas et al. DriveBFR: Driver behavior and fuel-efficiency-based recommendation system
Gao et al. A spatiotemporal analysis of the impact of lockdown and coronavirus on London’s bicycle hire scheme: from response to recovery to a new normal
Cerqueira et al. On how to incorporate public sources of situational context in descriptive and predictive models of traffic data
Manibardo et al. A graph-based methodology for the sensorless estimation of road traffic profiles
Ibrahim et al. From GPS to semantic data: how and why—a framework for enriching smartphone trajectories
Gong et al. CARESim: An integrated agent-based simulation environment for crime analysis and risk evaluation (CARE)
Outay et al. Random forest models for motorcycle accident prediction using naturalistic driving based big data
JP5823332B2 (ja) 個人行動嗜好分析システムおよび個人行動嗜好分析方法
Alexandre et al. Machine Learning Applied to Public Transportation by Bus: A Systematic Literature Review
Xia Modelling the spatial-temporal movement of tourists
Gutesa et al. Development and evaluation of cooperative intersection management algorithm under connected and automated vehicles environment
JP7541470B2 (ja) 予測装置及び予測モデル学習装置
JP2021174265A (ja) 宿泊料の増減率判定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination