JP2022024456A - ユーザガイド方法、ガイド検索装置およびガイド検索方法 - Google Patents

ユーザガイド方法、ガイド検索装置およびガイド検索方法 Download PDF

Info

Publication number
JP2022024456A
JP2022024456A JP2020127071A JP2020127071A JP2022024456A JP 2022024456 A JP2022024456 A JP 2022024456A JP 2020127071 A JP2020127071 A JP 2020127071A JP 2020127071 A JP2020127071 A JP 2020127071A JP 2022024456 A JP2022024456 A JP 2022024456A
Authority
JP
Japan
Prior art keywords
time
information
guide
correlation
heat map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020127071A
Other languages
English (en)
Inventor
浩一 新谷
Koichi Shintani
憲 谷
Akira Tani
学 市川
Manabu Ichikawa
健世 伊藤
Takeyo Ito
修 野中
Osamu Nonaka
菜津子 佐藤
Natsuko Sato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2020127071A priority Critical patent/JP2022024456A/ja
Priority to US17/346,114 priority patent/US20220035874A1/en
Priority to CN202110843299.7A priority patent/CN114003802A/zh
Publication of JP2022024456A publication Critical patent/JP2022024456A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results

Abstract

【課題】特定の位置における対象物情報の変化を予想し、ユーザの行動を補助するためのユーザガイド方法、ガイド情報を検索するガイド検索装置およびガイド検索方法を提供する。【解決手段】時系列で得られた特定位置範囲内における対象事象の分布情報を取得し(S3)、取得した対象事象の分布情報の経時的な相関性を判定し(S5)、経時的な相関性の判定結果によって得られた経時相関データベースによってガイド情報を検索し、表示している(S11)。【選択図】 図6

Description

本発明は、特定範囲内における時系列的に得られた情報に基づいてユーザにガイド情報を提供するためのユーザガイド方法、ガイド検索装置およびガイド検索方法に関する。
近年、ネットワーク環境の発達に伴い、SNS(Social Networking Service)等において、種々の情報が投稿されている。この情報を利用することによって、種々のサービスを提供することが提案されている。例えば、特許文献1には、ユーザによって入力されるテキスト情報から、時間または場所に関する情報を含む体験情報を抽出し、他のユーザの体験情報と比較し、体験情報に共通性が認められるユーザ群を抽出する情報処理装置が提案されている。
特開2013-257761号公報
上述の特許文献1では、時間または場所に関する情報を用いて、体験情報に共通性が認められるユーザ群を抽出していた。これによって、体験の共有を容易に実現することが可能となる。しかしながら、特許文献1においては、時間に関する情報を利用するものの、経時的に変化していく情報に基づいて将来を予想し、この予想に基づいてユーザに情報を提供することについては何ら記載されていない。
本発明は、このような事情を鑑みてなされたものであり、特定の位置における対象物情報の変化を予想し、ユーザの行動を補助するためのユーザガイド方法、ガイド情報を検索するガイド検索装置およびガイド検索方法を提供することを目的とする。
上記目的を達成するため第1の発明に係るユーザガイド方法は、ユーザの行動や興味の対象事象に応じた基準エリアを決定するステップと、特定の時点における上記基準エリア内の上記対象事象の分布を表す基準対象事象ヒートマップを取得するステップと、上記基準対象事象ヒートマップと、類似同一もしくは類似エリアにおけるヒートマップの過去の経時変化を示したデータベースを参照して、上記特定の時点から時間経過した時点における対象事象の状況を推定するステップと、を有する。
第2の発明に係るユーザガイド方法は、上記第1の発明において、上記ヒートマップは、上記基準エリアにおいて、地形、施設や道など上記対象事象の経時変化に影響や制約を与える環境構成物の配置情報を含む。
第3の発明に係るユーザガイド方法は、上記第1の発明において、上記ユーザの行動や興味の対象事象とは、ユーザの行動を記録した履歴情報、または健康パラメータと環境との関係を記録した履歴情報から得られる情報であり、また上記ユーザの行動や興味の対象事象に応じた基準エリアとは、当該ユーザのこれからの行動範囲によって決まるエリアである。
第4の発明に係るガイド検索装置は、異なる複数の時刻において特定エリア内における対象事象の分布情報を取得する取得部と、上記取得部で取得した特定エリア内の対象事象の分布情報を用いて、上記対象事象の分布のパターンの時間変化および/または分布のパターンの移動の傾向の継続に基づいて、経時的な相関性を判定する経時相関判定部と、上記経時的な相関性の判定結果によって得られた経時相関データベースから、ガイド情報を検索する検索部と、を有する。
第5の発明に係るガイド検索装置は、上記第4の発明において、上記対象事象の分布パターンは、上記対象事象を構成する対象物の存在位置と密度を二次元パターンや色で表現するヒートマップとして表現され、上記経時相関判定部は、上記ヒートマップの中に現れた二次元パターンの面積や色の時間変化や、移動の方向性の連続性に従って、上記経時相関を判定する。
第6の発明に係るガイド検索装置は、上記第4の発明において、上記経時相関判定部は、上記取得部において取得した特定エリア内の対象事象の分布情報を用いて、上記対象事象の分布の複数のパターンの重なりの時間変化傾向に基づいて、経時的な相関性を判定する。
第7の発明に係るガイド検索装置は、上記第4の発明において、上記経時相関判定部は、上記対象事象の分布情報の経時的な相関性を、上記ガイド情報に対応する上記対象事象の分布情報に対して、時間的に遡った上記対象事象の分布情報にしたがって判定する。
第8の発明に係るガイド検索装置は、上記第4の発明において、上記経時相関判定部は、上記対象事象は複数のカテゴリーに分類可能であり、それぞれのカテゴリーごとに経時相関を判定する。
第9の発明に係るガイド検索装置は、上記第4の発明において、上記経時相関判定部は、上記特定エリアにおけるイベント情報や環境の情報にしたがって経時相関を判定する。
第10の発明に係るガイド検索装置は、上記第4の発明において、上記経時相関判定部は、上記ガイド情報に対応する上記対象事象の分布情報に対して、時間的に遡った上記対象事象の分布情報の時間差をアノテーションして教師データを作成し、この教師データを用いて学習した時の信頼性の高さに基づいて、上記対称分布情報の連続性を判定する。
第11の発明に係るガイド検索装置は、上記第4の発明において、上記経時相関判定部は、対象事象の分布情報の経時的な相関性を、上記ガイド情報に対応する上記対象事象の分布情報に対して、時間的に遡った上記対象事象の分布情報の重なりが予め決められた特定の割合で近似するかによって判定する。
第12の発明に係るガイド検索装置は、上記第4の発明において、上記経時相関性判定部は、上記複数の時刻のうち比較的近い時刻の分布情報同士の類似性に基づいて、上記経時相関を判定する。
第13の発明に係るガイド検索装置は、上記第4の発明において、上記検索部によって検索された上記ガイド情報を外部に出力する出力部を有する。
第14の発明に係るガイド検索装置は、上記第4の発明において、上記検索部は、上記経時相関データベースに基づいて、予測の限界を判定する。
第15の発明に係るガイド検索装置は、上記第14の発明において、上記検索部は、上記対象事象の分布情報の連続性または類似性が保たれている範囲を、または相関演算の推論結果の信頼性が所定値より高い範囲を、上記予測の範囲内とする。
第16の発明に係るガイド検索装置は、上記第4の発明において、上記取得部は、上記特定エリア内の空間上に現れたビッグデータを取得し、上記ガイド検索装置は、更に、上記取得したビックデータの時系列変化情報を学習し、ユーザにガイド情報を提供するための推論モデルを作成する推論エンジンを有する。
第17の発明に係るガイド検索装置は、上記第4の発明において、上記推論エンジンは、上記特定エリア内の地図上において、上記ビックデータの相関性が高いエリアを、ユーザから上記ガイド情報の提供の依頼を受ける前に、学習よって、推論モデルを生成しておく。
第18の発明に係るガイド検索装置は、上記第16または第17の発明において、上記推論エンジンは、上記特定エリア内の地図上において、対象事象をアノテーションし、このアノテーションした地図を教師データにし、この教師データを用いて学習を行う。
第19の発明に係るガイド検索装置は、上記第4の発明において、上記検索部は、上記特定エリア内の地図上において、上記対象事象分布の経時的な相関性に基づいて、所定日後のお薦めのルートを検索する。
第20の発明に係るガイド検索装置は、上記第4の発明において、上記検索部は、ユーザの行動を判定し、この判定されたユーザの行動に基づいて、経時相関データベースから、ガイド情報を検索する。
第21の発明に係るガイド検索装置は、上記第4の発明において、上記経時相関判定部は、ユーザの嗜好および忌避項目を考慮して、対象事象の分布情報の経時的な相関性を判定する。
第22の発明に係るガイド検索装置は、上記第21の発明において、上記ユーザの嗜好および忌避項目とは、ユーザの行動を記録した履歴情報、または健康パラメータと環境との関係を記録した履歴情報から得られる情報である。
第23の発明に係るガイド検索方法は、時系列で得られた特定位置範囲内における対象事象の分布情報を取得し、取得した上記対象事象の分布情報の経時的な相関性を判定し、 上記経時的な相関性の判定結果によって得られた経時相関データベースからガイド情報を検索する。
第24の発明に係るプログラムは、時系列で得られた特定位置範囲内における対象事象の分布情報を取得し、取得した上記対象事象の分布情報の経時的な相関性を判定し、上記経時的な相関性の判定結果によって得られた経時相関データベースからガイド情報を検索する、ことをコンピュータに実行させる。
第25の発明に係るガイド検索システムは、時系列で得られた特定位置範囲内における対象事象の分布情報を取得する取得部と、取得した上記対象事象の分布情報の経時的な相関性を判定する判定部と、上記経時的な相関性の判定結果によって得られた経時相関データベースからガイド情報を検索する検索部と、を有する。
本発明によれば、特定の位置における対象物情報の変化を予想し、ユーザの行動を補助するためのユーザガイド方法、ガイド情報を検索するガイド検索装置、ガイド検索方法、プログラム、ガイド検索システム、情報提示方法、および情報出力方法を提供することができる。
本発明の一実施形態において、ユーザにガイドを提示するための考え方を説明する図である。 本発明の一実施形態において、経時変化相関判定の動作を示すフローチャートである。 本発明の一実施形態において、基準ヒートマップ日判定の動作を示すフローチャートである。 本発明の一実施形態に係る相関データベース作成システムの全体構成を示すブロック図である。 本発明の一実施形態に係る相関データベース作成システムにおいて、ユーザがお薦めのコースでお花見をするのに適した時期を予想する例を示す図である。 本発明の一実施形態に係る経時変化相関DB化の動作を示すフローチャートである。 本発明の一実施形態に係る経時変化相関DB化の動作の変形例を示すフローチャートである。 本発明の一実施形態に係る相関データベース作成システムにおいて、事象予想DBに記録されているヒートマップ画像の例を示す。 本発明の一実施形態に係るユーザアドバイスの動作を示すフローチャートである。 本発明の一実施形態に係るユーザ行動から特定事象選択の動作を示すフローチャートである。 本発明の一実施形態に係る相関データベース作成システムにおいて、ユーザの行動から特定事象を選択する例を示す図である。 本発明の一実施形態に係る相関データベース作成システムにおいて、ユーザの行動から特定事象を選択する他の例を示す図である。 本発明の一実施形態に係る相関データベース作成システムにおいて、経時相関判定部として深層学習を行う場合を示すブロック図である。 本発明の一実施形態に係る相関データベース作成システムにおいて、経時相関判定部として深層学習を行う場合に、入力データとして「桜」「梅」「2年前のデータ」を使用する場合の例を示すブロック図である。 本発明の一実施形態に係る相関データベース作成システムにおいて、経時相関判定部として深層学習を行う場合に、入力データとして複数種類のデータを用いる場合の例を示すブロック図である。 本発明の一実施形態に係る相関データベース作成システムにおいて、深層学習を行う場合に、入力データをサブカテゴリーに分けて行う場合を示す図である。 本発明の一実施形態に係る経時変化相関学習の動作を示すフローチャートである。 本発明の一実施形態に係る経時変化相関学習の動作の変形例を示すフローチャートである。 本発明の一実施形態に係る相関データベース作成システムにおいて、事象予想DBに記録されている鉄筋腐食に関するヒートマップ画像の例を示す。
以下、図を用いて本発明の一実施形態について説明する。まず、時系列的に得られるヒートマップの経時相関を判定することによって、所定時間経過後のヒートマップを予想することについて説明する。なお、時系列と書いた部分は、経時的な変化として得られた情報であればよく、一定間隔である必要はない。
図1(a)に示すように、特定の疾病の罹患者が時間の経過と共に増加する場合があることが知られている。この増加がいかなる要因に起因するものかを即断することは、一般には困難である。疾病に地域性があり、ある特定の地域の環境の特殊性に起因するものである場合には、その環境の特徴や患者の生活の特徴などを調べることによって、罹患者増加を防ぐ手立てを講じることが可能である。しかし、実際には地域の状況も季節や天候など様々な要因によって変化し、また罹患者が一か所に留まっているとは限らず、様々な場所に出かけ、その場に応じた過ごし方をしている。このため、本人の自覚していない疾病の原因に遭遇していたり、自ら疾病の原因を作りだしていたりする場合がある。
このように人の移動は、疾病の罹患に深く関係しているが、このことは、交通事故、転倒事故をはじめとする事故や、すりなどの盗難や紛失(して発見できない)等のトラブルについても言える。人と人(場合によって物と物)が接近したり密集することによって、あるいは、このことによって行動の自由度が低下したり制限を受けることによって、事件の発生頻度が高くなる場合が多い。また、活動中の疲労、食事や排せつの制約、温度調整の困難等によっても、このようなトラブルが発生しやすくなる。戸外であれば天候の影響も受けやすくなり、外出先で、さらに混雑した状況下では、さらにそのような状況からの退避も困難となる。
したがって、感染性の疾病であれば、その原因としては、人の密集が一つの要因となることが、容易に想像することができる。しかし、人の密集は疾病の原因に限らず、アレルギーや熱中症、慢性疾患の悪化など、通常の生活とは異なる制約された環境下におけるストレスが様々なトラブルを起こすことが容易に想像できる。これらの混雑などの事象を予測して、混雑状況を回避したり、その状況で起こりうるトラブル対処を事前に考慮したりすれば、上述したような心身の健康上、あるいは平穏で快適な生活上のトラブルを未然に防ぐことが出来る。なお、人を主に対象とした密集状況について説明したが、動植物の分布や、車両等の混雑等を、本願が対象とする事象に含んでもよい。
したがって、図1(a)に示したように、特定の疾病で患者数が日によって増減するような場合、その要因を個々の患者に対して一人一人の医師が診察するだけでは見出しきれない。患者が意識していない環境要因を探り出すために、患者の増減に対応して、それぞれの日毎に特有の環境状況が起因していないか、という確認は重要である。近年、様々な携帯端末や、様々なネット関連端末や、セキュリティシステムが普及してきたことによって、個々人の行動や環境の変化の特徴を地図の上で図示して差異を確認することが可能となった。その混雑や変化の度合いなどを色分け表示したヒートマップ等によって、どこからどこまでの範囲がどのような状況であるかを、二次元パターンによって容易に確認することができる。この時、図1(a)に示した患者の行動範囲に略相当するエリアを区切った地図上において比較等することによって、状況を把握することが好ましい。例えば、図1(b)、(c)のような特定路線の混雑状況と、図1(a)のような患者数の増減が関連しているかどうかなどについて、両者を比較することによって確認し易くなる。
このような地図上のパターン判定は、人間が得意とする目からの情報確認能力によって考察が容易になると、同時に、画像を利用した多くの先進的なソリューションを流用することが可能となる。例えば、図1(a)の矢印で示した日に患者が増加しており、この増加した日が、図1(b)に示す特定日時における通勤ラッシュによる混雑に対応していれば、少なくとも図1(b)のような状況になる時間帯に、二次元パターン上で混雑が生じているエリアでは活動をしない方が安全である。なお、このような判断をするには、図1(c)に示す日時では、図1(b)のような日時ほどには患者が増えていない、という判定も同時にできた方が良い。
しかし、図1(b)のような状況になる前に、予想できなければ対処できない。そこで、図1(b)に示したヒートマップに先だった時間における(例えば、2時間前の)ヒートマップを取得し、このヒートマップが、この時間帯にしては、混雑状況が顕著である場合に、図1(b)に示すようなヒートマップになることが予想できれば良い。このように、予想できれば、例えば、2時間前から図1(b)のような状態で起こりうるトラブル(ここでは疾病の発生)の回避するための、予想サービスとしてユーザに助言できる。また、感染症などでは混雑発生時から、所定期間を経た後に、症状が出たり発病が確認されたりして、図1(a)のような統計が作られる。そこで、感染期間等を考慮して、図1(c)に示す状況と、図1(b)に示す状況では差異があることが分かることが好ましい。
それには、図1(a)に示す患者数増減と、図1(b)、(c)とのパターン差に時間差をもった類似動向が見いだされるかを確認し、類似動向の見いだされる時間差を考慮すれば予想することが可能となる。混雑予想は連休中の高速道路や空港利用、あるいは観光地の予想等では日にち単位でもよいが、通勤混雑などでは、時間単位が好ましいので、以下、シーンに応じて、予想のための時間の単位は変更して説明する。また、混雑状況は必ずしも避ける必要があるわけではなく、最も賑やかな日に訪れたいニーズもある。つまり、本願では、特定のトラブルを回避するだけではなく、逆に混雑の情報から、人気スポットの案内も可能となる。
次に、図2に示すフローチャートを用いて、特定のエリアが混雑状態になるのを、いつ頃予測できるかを判定する動作について説明する。このフローは、例えば、図1(b)に示すような混雑マップのような状況に、いつ頃になるかを、事前に予測できる。混雑を事前に予測できれば、ユーザは混雑するエリアを避けることによって、トラブルやリスクを回避することができる。このフローは、後述する図4における制御部1と同等の構成によって、情報を収集し、事前に予測可能なデータベースの作成を行う。従って、図2のフロー(後述する図3のフローも同様)を実行するための構成は、図4に示す制御部1を適宜修正すればよいので、詳しい説明を省略する。
図2に示す経時変化相関判定のフローが開始すると、まず、想定エリアにおいて、トラブル発生時のヒートマップ(基準ヒートマップ)を取得する(S101)。例えば、ユーザが、これから東京都内の公共交通機関(路線等含む)を使って出張する場合、ユーザの行動や興味の対象事象に応じた基準エリアに基づいて、地下鉄の路線図やその他路線が存在するエリアを設定する。エリアを設定すると、例えば、図1(b)~(d)に示すように、この特定の時点、例えば、図1(b)では、リスクがありそうな〇月〇日:朝8時の対象事象の分布情報をわかりやすく地図上(図1(b)の例では特定区域の路線図)に表した基準ヒートマップをまず取得する。
図2に示す例では、人を分析の対象とするが、その対象事象(人の混雑)の分布パターンを分析するにあたって、対象事象を構成する対象物の存在位置と密度を二次元パターンや色で表現するヒートマップとして表現すれば、見る人にも直感的にわかりやすい。ヒートマップの作成にあたっては、様々なインターネット上のサービスを利用することができる。この場合には、混雑が発生した時点(過去)の情報を収集して利用すればよい。例えば、交通各社による交通系電子マネーの使用履歴、通信会社による携帯端末の通信網の利用実績、監視カメラ網のセキュリティ情報の利用実績、あるいはこれらの情報をまとめたニュースサイト等が用意されているので、日時と場所を指定し、これらの情報を利用すればよい。
混雑等の予測を行うには、特定時点(基準時点、例えば図1(b)に示す〇月〇日:朝8時)(例えば、過去にトラブルが発生したような時点)から特定時間前のヒートマップ(例えば図1(d)の〇月〇日:朝6時)の間に相関があるかを調べ、この相関に基づいて、特定時点におけるヒートマップ状態に至るまでの過程を予測できるかを判定すればよい。ただし、例えば図1(d)の情報だけで図1(b)の状態が単純に予測できるかどうかは、この例では2時間の時間差があるので、それぞれのマップにおいて混雑パターンを構成する対象(人)が完全に入れ替わっているはずであるから、傾向は把握できても、実際にどのような時間推移を経たかは分からない。単純に、この日のこの時間がこのように混んでいる場合には、このあとは、こうなるはずだ、という推論を行ってもよいが、図2に示すフローにおいては、もう少し時間による推移を考慮して、判定を行うようにしている。
このように、ステップS101においては、ユーザの行動や興味の対象事象に応じた基準エリアを決定し、特定の時点における基準エリア内の対象事象の分布を表す基準対象事象ヒートマップを取得している。ここでは、特定のエリアの情報を使用しているので、その地の地形や、そこに存在する施設や道などが、自ずと人(対象物)の行動に影響や制約を与えている。このため、特定エリアの情報は、単なる平面における対象物分布とは異なった豊富な情報を含む。つまり、こうした配置そのものが追加情報となって本実施形態における情報の価値を高めている。
基準ヒートマップを取得すると、次に、N分前の略同じエリアのヒートマップを取得し、比較する(S103)。ここでは、ステップS101において基準ヒートマップを取得した略同じエリアにおいて、基準ヒートマップを取得したタイミングに近接した時間差(N分前)のヒートマップを取得する。この取得したヒートマップと、ステップS101において取得した基準ヒートマップを比較する。なお、本フローにおいては、N分前として分単位にしているが、対象事象の性質に応じて、秒単位でも、時間単位でも、日単位でも、月単位でも、年単位でも構わない。
このステップS103では、特定のエリアの情報を比較しているので、その地の地形や、そこに存在する施設や道などが、自ずと人(対象物)の行動に影響や制約を与えている。このため、単なる平面における対象物分布やその比較とは異なった豊富な情報による比較が可能となる。つまり、特定のエリア内の様々な配置情報そのものが追加情報となって本実施形態で取り扱う情報の価値を高めている。ヒートマップは、基準エリアにおいて、地形、施設や道など対象事象の経時変化に影響や制約を与える環境構成物の配置情報を含む。環境構成物は、例えば、人工物、構造体や海、川、山や池や湖沼等の自然地理、そこに生息あるいは育成している樹木を含む動植物等を含んでいる。このため、ヒートマップは、例えば人の生活様式や行動様式、好みや嗜好を反映した情報となっており、単なる平面上の座標情報以上の意味を持っている。
特に、人の行動に対するガイドにおいて、他の人の行動を支配し、制約し、引き付けたりする要因が影響する情報であって、この情報に織り込まれているデータを使用することは、分布を可視化したパターン以上の意味がある。個々の対象物の正確な位置をヒートマップにする必要はなく、そのエリアごとの個人間の平均距離や密度などの情報を代用してもよい。例えば、監視カメラや車載カメラなどの情報を用いて、場所ごとに画面内に映った人の数などを集計してもよく、離散的にしかデータを収集できない場合は、近傍の取得できているデータを用いて補ったものを使ってもよい。
続いて、二次元パターンの移動特徴を検出する(S105)。2つの二次元パターンを比較すると、各二次元パターンの特徴となっている部分が、時間と共にあたかも移動しているように見える場合がある。このステップでは、各二次元パターンの中から特徴部分を抽出し、この特徴部分の移動を検出する。
二次元パターンの移動特徴を検出すると、次に、予測可能な特徴が継続しているか否かを判定する(S107)。ここでは、ステップS105において検出された特徴の動きが連続的であるか否かを判定し、連続してれば、変化が予測可能であると判定する。例えば、人が交通手段等によって移動する場合には、集合の位置(混雑発生位置)は、車両のスピードや歩行のスピード等に依存し、これらは大きな差異がないことから、数分の間であれば集合の位置は固まりで同じ方向に移動するので、比較的高い信頼性で推論が可能となる。
ステップS107における判定の結果、予測可能な特徴が継続していれば、N分を変更する(S109)。ステップS107における判定の結果、基準時からN分前までは、二次元パターンの特徴が連続していたことから、N分を更に延ばした時間に設定し、ステップS103に戻る。ステップS103~S109を繰り返し実行することによって、近接時間の比較を繰り返し、何時間前、あるいは何分前から、混雑等の兆候があったか否かを、ヒートマップ、あるいは地図上に表示された二次元パターンについて、地図上の形状や移動等を判定することができる。なお、ステップS103においては、ステップS101において取得した基準ヒートマップとの相関を判定してもよいが、比較用に取得された遡り時点でのヒートマップを用いて相関を判定してもよい。
ステップS107における判定の結果、予測可能な特徴が継続していない場合には、基準ヒートマップに至る時間推移を検索にする(S111)。前述したように、ステップS107における判定がYesであり、ステップS103~S109を繰り返し行っている場合には、二次元パターンの特徴に連続性があり、予測が可能である。しかし、ステップS107における判定の結果が、Noとなり、すなわち二次元パターンの特徴に連続性がなくなり、予測が出来ないような状況になった場合は、ステップS111において、予測できると考えられる時点までのヒートマップと時間推移の関係を、検索可能にまとめる。検索可能にまとめる方法としては、例えば、後述の図8に示すようなデータベースを作成することなどを想定している。ステップS107において、ヒートマップの時間推移を検索可能に整理すると、このフローを終了する。
このようにヒートマップの時間推移のデータベースを作成すれば、現状のヒートマップに類似するデータベース上のヒートマップが、どのように変化していくかをテーブル式に参照できて、すばやく検索結果を表示し、提示し、出力することが可能となる。この場合、現状のヒートマップの取得をサービス運営機関から行い、取得したヒートマップを、例えば類似画像検索、特徴比較、あるいは照らし合わせによる差異の判定等によって、データベースに記録してあるヒートマップと比較すれば、過去のどのような状況に似ているかが分かり、将来のどの時点で起こりうる事象を判定することができる。
つまり、本フローにおいては、ユーザの行動や興味の対象事象に応じた基準エリアを決定し、特定の時点における基準エリア内の対象事象の分布を表す基準対象事象ヒートマップを取得して、特定の時点から時間経過した時点における対象事象の状況を推定するユーザをガイドする方法を説明した。この推定にあたって、基準対象事象ヒートマップと、類似同一もしくは類似エリアにおけるヒートマップの過去の経時変化を示したデータベースを利用した。この場合、データベースを更に細かく分類し、分類に即した情報を加味して検索してもよい。例えば、同じようなヒートマップでも、増加傾向か減少傾向かを誤って判断する可能性があるので、他の情報として、季節、曜日、時刻等を参照し、平日朝6時の通勤混雑ヒートマップを夕方6時の帰宅混雑ヒートマップと混同しないようにしてもよい。また、推定にあたって、その時のイベントや天候に影響される場合は、イベント、天候等も加味したより正確なデータベースを使ってもよい。また、増減の方向性を判定するために、複数の時点で増減の情報なども加味してもよいし、複数の時点のヒートマップを利用できるようにしてもよい。
なお、朝夕の情報は一見類似に見えるが、実際には帰宅時には同僚と一緒に席を立つ等の特徴や、寄り道して帰るなどの行動の違いがヒートマップに現れるので、ヒートマップだけで、朝夕のどちらであるかなどは判定できる場合もある。また、この提案では、類似のエリアの情報を使用しているので、そこに存在する施設や道などがおのずと、人の行動に影響や制約を与えている。このため、この存在のパターンそのものが、あえて追加情報を与えなくとも、無数の追加情報となっている。
また、予めヒートマップから推移の様子をデータベースにまとめておかなくても、その場で過去の類似ヒートマップを探し出し、その時の推移を参考に、現在のヒートマップがどうなるかを判定してもよい。ヒートマップを判定するステップを略して、行動が安全か、回りが危険な状況になるかどうかを直接ガイドしてもよい。
また、データベース参照してガイドを出すことにこだわる必要もなく、AIなどを活用してユーザをガイドしてもよい。過去の事象を表すヒートマップで現状の状況に近いヒートマップを探し出し、それがどのような推移を取ったかを探し出して学習した推論モデルで推論する方法などが考えられる。
例えば、基準エリアを決定し、特定の時点における基準エリア内の特定の対象事象の分布を表す基準対象事象ヒートマップを取得し、対象事象の過去の経時変化で学習して得た推論モデル、あるいは、対象事象の過去の複数の時点における教師データを用いて学習した結果で取得した推論モデルを用意し、この推論モデルを用いて推論した結果に基づいてユーザガイドを行ってもよい。特定の時点から時間経過した時点における対象事象の状況を推定するようなガイドが作成できる。この推論モデルは、例えば、過去のデータから、多くのヒートマップに、それぞれN時間に危険な混雑になるとかならないとかをアノテーションした教師データを用いて、機械学習、深層学習を行って作成すればよい。この推論モデルに現状のヒートマップを入力することによって、「N時間後危険」というガイドを出力できる。
また、現時点のヒートマップをその日の最大混雑ヒートマップを用いてアノテーションするという方法もあり、これによって、その日のヒートマップが危険な兆候か否かを推論することが出来る。また、ヒートマップを教師データとし、そのヒートマップが得られた時間(8時とか9時とか)をアノテーションして教師データ化し、この教師データを用いて学習すれば、変化パターンの推論モデルが得られ、この推論モデルにヒートマップを入力すると、次のピークを予想することが出来る。このヒートマップが発生した日は、感染者数が増加したと思われる日かどうかを、「安全」、「危険」という切り口でのみアノテーションして教師データ化し、この教師データを用いて学習し、推論モデルを生成すれば、この推論モデルに現状のヒートマップを入力することによって、少なくともその日が安全か、危険かどうかの推論ができる。
なお、図2に示すフローにおいては、ヒートマップ(地図とパターンを合わせてヒートマップと呼んでもよい)の中に現れた二次元パターンの面積や色の時間変化を隣接した時間のマップを比較し、動きの特徴を判定していた。しかし、上述の方法以外によって、動きの特徴を判定するようにしてもよい。例えば、二次元パターンの重心位置や、必要に応じて色の情報も重みづけした二次元パターンの重心位置の時間ごとの変化や、そのスピードや方向の一致度を検出して、移動の方向性(方向でなく方向性と書いたのは厳密に移動方向ではなく、停滞やスピードなども考慮したからである)の連続性(一致度とか予測可能性)等を判定してもよい。この連続性を延長することによって、将来が予測できる。このような地図上パターンの態様変化判定は経時的な相関関係の判定とも言える。この方法は、一致度とか予測可能性とも説明できるので、経時相関は予測可能性と言い変えてもよい。
また、図2のフローにおいては、異なる時刻のヒートマップを比較し、そのパターンに相似のものがあるか否か、前後の変化に関連性があるか等を求める方法を説明した。異なる時刻の時間差が小さければ、類似のパターンが比較したマップの両方に認められるはずであり、僅かなずれや面積変化が認められるにすぎない。よって、対応するパターンを見つけて、それらの態様変化を重心位置(動きベクトルとして表せる)、面積、その他の数値で表現することが容易に可能となる。また、その態様変化の特徴が予め分かっていたり、現れているパターンが類似の形状を保っていたり、また面積(ヒートマップなら密度情報も含む)等を保っていれば、時間差を広げてもパターン移動の特徴が分かり、その移動特徴から将来のパターン変化(移動や面積、密度などの変化)予測も可能となる。
ただし、状況に応じて、どのくらい前から予測できるかが異なると考えられる。同じ地図上で同じ集団が移動している時間であれば、比較的簡単に予測が可能である。特に同じ方向に向かっている複数の集団が集まる駅等における混雑がどうなるかなどは、予測が容易である。例えば、台風や降雪などの気象によって、交通機関が止まったり間引き運転になったりする。その場合、駅の中に人が収容できなくなる場合があるが、現在はこのような予測を提供するサービスがない。しかし、本実施形態のような考え方によって、数分前や十数分前にでも予想できれば、乗換駅を変えたり、下車駅を変えたり、駅に電車を止めないようにするなど、様々な回避策を講じることができる。
二つの路線で満員電車がある駅に同時刻に向かっている場合でも、どれだけの人が下車するか、あるいはどれだけの人がそのまま乗車したままであるかによって、その駅の混み具合が変わってしまう。このため、対象物(ここでは人)の集合、離散の時間的な推移(経時相間)を判定する経時相関判定部が、特定エリア内の対象事象の分布情報(満員電車の混み具合等)を用いて、対象事象の分布の複数のパターン(複数路線で向かって来る人の量など)の重なりの時間変化傾向に基づいて、経時的な相関性を判定すれば、その駅における危険な混雑を予想できる。
前述した図1(d)における状態が図1(b)における状態になりうるかの予測は、この二つの差異だけでは困難である。しかし、その間の時間を更に細かく分けてヒートマップを比較すれば、隣接する時間では、類似のパターンを見い出すことができ、パターン変化を順次追えば、どのような経過を経て、問題のヒートマップに至ったかが分かる。 図2に示したフローチャートはこのような考え方に沿っている。つまり、過去の混雑状況が、過去のデータからどのように生じたかを遡り、どの時点から兆候があったかを検証していく例を示している。図2に示すフローでは、通勤時の混雑などを予想するために、分単位でその過去のヒートマップ情報と問題のヒートマップ情報の関連性を判定した。
なお、季節によって徐々に変化する動植物の分布の変化の場合には、「日にち」の単位で遡ればよい。この場合でも、隣接する前日のヒートマップではあまり変化がなく、その前の日は、前日からはそれほど変わらない、というように、隣接する日時間でのヒートマップの差異は少ないが、何日も遡ればヒートマップ間の相関や相似や関連が無くなってくる。
また、分単位の場合に、5分単位や10分単位でも、地図の中央部の対象となる部分から人が急にいなくなることはないので(その意味では問題のパターンが中央部にあるマップとしておくことが好ましい)、前後の相関を判定することが出来る。しかし、時間差が細かい方が、演算に負荷がかかったり時間がかかったりする以外の点では、ヒートマップの変化の遷移が分かりやすい。ヒートマップは、対象物の存在範囲をマッピングし、集まり具合を面積として表示し、必要に応じて密度を色分けするような処理を行ったものであるが、色分けは必ずしもなくてもよい。単に対象物存在位置マップでも良いが、ヒートマップは、イメージしやすく、色情報で情報リッチ化ができる。ヒートマップと称したが、対象事象の分布情報と書いてもよい。本明細書では、二次元、色分け、面積等、パターンによって表現することは、人間の眼を介して人間の脳が認識しやすく、また説明し易いこともあり、「ヒートマップ」という表現を使用している。しかし、AIなどコンピュータの処理では、これとは異なる表現で表せる情報群、データ群として処理してもよい。
ただし、ヒートマップは、論理的、効率的に情報を集約して収めているうえ、最終的には人間に情報提示する必要があるので、コンピュータにとっても、ヒートマップに移し替えることのできるデータ群は豊富な合理的情報を含んだものとなっている。色情報は人の視認性に合わせて変換した情報であるので、「色」に限定するものではない。特定の場所の色は、その場所の特徴量を、例えば色であれば同じ場所に複数の原色成分の情報を入れられるということから情報をリッチに出来る。同様の考え方で、同じ場所に複数の情報を入れ込めばよい。
つまり、本願に係るガイド検索システムでは、経時相関判定部を有し、対象事象の分布情報の経時的な相関性を、ガイド情報に対応する対象事象の分布情報に対して、時間的に遡った対象事象の分布情報と分布のパターンの重なりの傾向や移動の傾向に従って判定することによって、ガイド検索用のデータベース(DB)を作成することが出来る。ここで、上述の重なりの傾向は、分布パターンは地図上における、対象物の分布の特徴を表したものなので、例えば二つのパターンがいかに重なるかを時間的推移で判定することによって、混雑の発生や相互作用の発生が予測できる。つまり重なりの変化を見ることによって、それらが単に密集度を上げているか、あるいは、その場所における何らかの環境や対象物同士の作用があって、密集以外の現象、例えば、分散などが起きているかが分かる。その変化の様子が将来の時間におけるこれらの分布パターン変化の予測に役立つ。こうした重なり方の差異も上位概念的に単にパターンの変化と呼ぶことにしてもよい。また、上述の移動の傾向は、対象物の存在を表す部分の面積や密度、あるいはそれらを表した色の重なりや、移動の方向性の一致度、または、特定の対象物密集状態を表す集合内の対象物の数や密度、対象物分布の態様を地図上の分布として表したパターンの特徴を維持しての時間的な位置変化である。
つまり、経時相関判定部は、取得部で取得した特定エリア内の対象事象の分布情報を用いて、そこに現れた対象事象の分布(島のようなもの)の個々のパターン(島の外形のようなもの)の時間変化および/または分布の個々のパターン(島の面積、起伏のようなもの)の移動の傾向の継続や対象事象の分布の複数のパターンの重なりの時間変化傾向に基づいて、経時的な相関性を判定する。これによって、エリア内全体や特定区域の混雑の様子が時間的変化の特徴として把握される。個々のパターンの相互作用で、エリア内の様相が変化し、エリア内特定区域の対象物混雑密度などが変化するので、状況予測は個々のパターンの傾向の結果として捉えてもよく、全体像として扱ってもよい。
もちろん、ヒートマップにおける時間的な推移が、DBにおいて関係づけられればよいので、必ずしも遡る必要はないが、この場合には、目的とする特定ヒートマップに至らない可能性もある。なお、対象物が、その素性や特性、環境に応じて複数の時間変化パターンを取ることがあり得るので、それらを一括に扱わず、分類して経時変化相関を判定してもよい。つまり、対象事象が複数のカテゴリーに分類可能の場合には、上述した経時相関判定部は、それぞれのカテゴリーごとに経時相関を判定する。
また、先に説明したように、特定ヒートマップ用に定められた特定のエリアの中で、あるいは、そのエリアの周囲でエリア内に影響する環境が異なり、温湿度や風向き、地形や風の向きや街並みや部屋の構造など、対象物の移動に影響する場合がある。その場合には、時間相関を判定するにあたって、二次元パターンとして現れた事象の形状、重心、事象をなす対象物の密度等に着眼し、時間に従って生じる位置的なずれが、過去から現在、将来を予測できるような推移をしているかを判定すればよい。この判定ができない場合は、パラメータの違い等に基づいて、対象物を分類して分析してもよい。また、上述の経時相関判定部は、特定エリアにおけるイベント情報や環境の情報に従って経時相関を判定してもよく、上述のカテゴリー毎に判定したのと同様に、イベントに向かう或いは遠ざかる対象物集団や、環境の影響を受けた対象物集団等に分けて、上述の相関を判定すればよい。
次に、図3に示すフローチャートを用いて、基準ヒートマップ判定の動作について説明する。図2に示すフローチャートでは、ステップS101において、トラブル発生日のヒートマップを基準ヒートマップとして取得していたが、どのような状態がトラブルに直結するかは因果関係が分からない場合もある。そこで、図3に示すフローは、基準ヒートマップとする日時等を指定することができる。例えば、どのような状況が図1(a)に示したような感染症患者数の増加につながったかを判定することが可能となる。
例えば、図1(a)は、日本の首都圏の特定の疾病の感染者数の推移を表すグラフであるとし、このグラフでは、理由がいまだ不明の感染者数の増加のピークが時折みられるとする。この原因として、例えば、職場や病院など特定の施設において、あるいは、(自覚症状の有無にかかわらず)感染者と、その他の未感染者が接触した場合に起こりうる。この場合には、施設に向かう時に交通機関を使用していることが多い。したがって、その施設の混雑予想が有効な情報源となり、以後、同様の問題を未然に回避させうるガイドをユーザに出すことが可能となる。その施設そのものの場所を特定できなくとも、図1(b)に示すような密集ヒートマップや交通機関混雑マップからでも同様の相関を見つけることが出来る。
図3に示す基準ヒートマップ日判定のフローが開始すると、まず、複数の感染者急増日を選択する(S121)。ここでは、前述した感染者急増の日を見つけるステップである。
続いて、各患者急増日のN日前の混雑マップを取得する(S123)。感染症の潜伏期間や、患者自身の様子見や、病院側の事情もあって、図1(a)に示すようなデータは実際に感染したその日に数値として現れないので、それ以前の混雑ヒートマップをこのステップS123において取得する。これは首都圏の患者を対象にしているので、ヒートマップのエリアも首都圏に対応するものを利用する。最初は前日のマップ(N=1)を利用してもよいが、特定の潜伏期間などが分かっている場合は、これを5日前から始めてもよい。
次に、推論モデルを作成し、テストデータを用いて推論モデルの信頼性を判定する(S125)。ステップS121において、感染者の急増日が、例えば、図1(a)に示すように3回あれば、このうちの2つのパターンを教師データとし、残りの1つをテストデータとして、深層学習のシステムや考え方を用いた推論モデルを作成すればよい。ヒートマップの位置別混雑情報は、その日一日の結果を積算したものでもよく、その日の最も混雑した時間のものでもよく、患者からの聞き取りで、懸念される状況に即したものでもよい。
ステップS125における推論モデル作成は、N日前のヒートマップを教師データとして、危険日としてアノテーションする。他の日のヒートマップは危険日以外としてアノテーションして使ってもよい。このような学習によって得られた推論モデルに、前述したテストデータを入力し、危険日という結果がどのくらいの確度で出力されるかをみれば、信頼性を判定することができる。
ステップS125において、推論モデルの信頼性を判定すると、次に、N日をすべてトライしたか否かを判定する(S127)。例えば、N日が2週間前までであれば、この期間のデータを用いて、ステップS123、S125における処理を行ったか否かを判定する。この判定の結果、N日をすべてトライしていなければ、N日を変更し(S129)、ステップS123に戻り、ステップS123~S129を繰り返し行う。例えば2週間前までのデータで繰り返す。
ステップS127における判定の結果、N日をすべてトライすると、N日の中で最も信頼性が高い混雑マップが危険パターンの日とする(S131)。ステップS123~S129を繰り返し行い、例えば2週間前までのデータで繰り返した場合に、最も感染日と考えられる日のヒートマップが最も高い信頼性を示すと考えられる。したがって、ステップS125で判定した信頼性の結果の中で、信頼性が一番高かった日のヒートマップ(混雑マップ)が、最も危険度が高い危険パターンと考えられ、図2のステップS101における基準ヒートマップを得ることができる。このステップでは、感染者を多く出した日にちが分かる。これ自体が、感染とその症状が出た日の関係の研究にも役に立つ有用な情報となる。
前述の図2のフローは、日にち単位ではなく、特定の時間の危険状況までを絞り込んだ例で説明した。しかし、「明日は外出を控えましょう」というようなガイドを出す場合は、図2を日にち単位の処理としてもよい。また、図2のステップS101のように、危険パターンを示した日の中で、さらに細かい時間帯までを指定する場合、どの時間帯のヒートマップが特徴的であるかを、図3で示したものと同様の手法で絞り込んでもよいし、その日の中で最も混雑が激しかった時間帯のヒートマップを基準ヒートマップとしてもよい。あるいは、その日の中で、他の日と異なるパターンのヒートマップを基準ヒートマップとしてもよい。
図3のステップS125において生成された、もっとも信頼性の高い推論モデルは、N日前のヒートマップを教師データとし、その教師データに危険日のアノテーションを行い、学習を行ったものである。このため、現状のヒートマップを推論の入力とすれば、何日後に感染者が増える危険日(他の日と比較し感染者の発見が増える日)になりえるかを判定する推論モデルとなっている。この推論モデルを使用して推論を行えば、危険予想が出来る。。以上、説明したように、図2、図3に示すフローを実行することによって、感染症にかかりにくい行動をするように、ユーザにアドバイスできる技術が提供可能となる。
患者数が増える日の典型的な混雑マップのパターン(ヒートマップ)形状から、そのヒートマップに近づくほど、危険度が高まると考えられるので、そこには近づかないようにするアドバイスをしてもよい。スマートフォンがGPS情報をもとに、そのエリアに近づくと警告を出すとか、乗り換えや経路の案内で表示するとかの方法が考えられる。または、危険状況に近づきそうな場合は、地図情報に予想ヒートマップを表示して、ユーザに注意喚起する。これは、時間的な推移の中で動的に危険エリアが変化するので、本実施形態のように、将来の危険な状況を推測する技術は有効である。もしも、ユーザが危険エリアに入った場合には、混雑度が低い場所を案内する等のアドバイスが有効となる。このアドバイスに、空調とか換気の要因や避難通路やトイレ、洗面所など手洗いが出来る場所、医療・保険施設の場所、マスクや消毒液が購入可能な店舗などの情報を付加してもよい。つまり、アドバイスを出力する場合には、そのエリアにおける別の情報を利用してもよい。また、一般的な感染対策として、手すりやドアノブや便器や水道の蛇口などの、多くの人が触れる場所に対する注意喚起などを組み合わせてもよい。
次に、図4以下を用いて、ユーザアドバイスを行うための具体的なシステムおよび方法について説明する。この実施形態では、携帯情報端末からのデータやインターネット上にアップロードされたデータを収集し、このデータの時系列な相関性を判定し、相関性の高い範囲内(言い換えると、連続性・類似性のある範囲、または推論結果の信頼性が高い範囲)のデータによって経時相関データベースを作成する(例えば、図6、図7、図8、図13、図14参照)。相関性の高い範囲内のデータによって経時相関データベースを作成しているので、この範囲であれば、将来の予測を行うことができ、またこの範囲は予測の限界となる。
また、本実施形態は、ユーザの要求を受けると、またはユーザの行動を判定すると、要求または行動判定の結果に基づいて、時系列ヒートマップの時間変化から時間と対象物態様変化を表す経時相関データベース(経時的な態様変化からそこで起こっていることの相関関係(例えば時間変化に応じる)を参照可能にしたもの)からユーザ等のニーズにあった情報を検索し、ユーザに情報を提供する(例えば、図9、図10A参照)。例えば、ユーザに花見に適した所定日御のお薦めルートを提供することができる(例えば、図4のマップM13、図5のマップM14参照)。また、ビックデータを取得し、このビックデータを学習することによって推論モデルを作成し、この推論モデルを用いて、経時相関データベースを作成する(例えば、図11Aないし図14参照)。
現在起こっている事は、その前のタイミングで起こった事象との相関(因果関係)によって生じている、という意味で「経時相関」と表現している。これは、「因果相関」と書くような因果関係と比較し、さらに客観的な態様変化パターンに重きを置いた表現をしているからである。しかし、明確な理由が明らかな時には、勿論、因果関係の要因を考慮しても良い。データベース化する場合にも、因果関係が影響しているような要因がある場合は、別データベースにしたり、時間軸などを補正したりするなどの方策で対処しても良い。ユーザの興味の中心となる対象物や、興味の中心となるものに付随する事象など、どちらでもよく、両方を合わせてデータベース化してもよい。
図4は、本実施形態に係る相関データベース作成システムを示すブロック図である。端末群2aは、スマートフォン、携帯電話、タブレット等、個々のユーザが保持する携帯端末である。これらの端末群2aは、通信サービス2bやSNSサービス2c等を通じて、集計システム2dに情報が伝達できるように接続されている。集計システム2dは、サーバ等内に配置され、収集した情報を集計、整理等の処理を行うためのプロセッサを少なくとも含む。
端末群2aの各携帯端末は、その現在位置情報および日時情報を含めて、上述の集計システム2dに情報を送信する。その際に、端末群2aの各携帯端末は、経時相関データベースを作成する際の主要対象物に関連したSNS等のテキスト情報や画像等も送信することも可能である。画像であれば、対象物が写った写真などを想定し、テキスト情報としては、例えば、桜のシーズンであれば、「桜のつぼみが膨らんできている」、「桜が開花した」、「桜が満開」、「桜の花が散っている」等、桜の開花状況を示す情報がある。また、画像としては、背景に桜の花が写っている写真や桜の花の拡大写真に加え、桜の花の開花状況を示す手書きのものも含まれる。こうした様々な対象物そのものや事象など(これらを対象事象と現しても良い)の状況を表す情報がビッグデータとなって、様々な分析が可能となる。集計システム2dは、サーバ等に配置され、端末群2aの個々の携帯端末からの上述したような情報を集計する。
集計システム2dが収集した情報は、制御部1に送信される。制御部1は、サーバ等内に配置され、メモリに記憶されたプログラムに従って、情報処理を行うプロセッサを有する。制御部1が配置されるサーバ等は、上述の集計システム2dと同一でもよく、また異なっていてもよい。制御部1内には、事象ヒートマップ取得部1a、時系列整理部1b、経時相関判定部1c、判定結果出力部DB1dが設けられている。
事象ヒートマップ取得部1aは、事象ヒートマップを生成するためのデータを取得する。この事象ヒートマップは、ユーザの興味の中心の対象物に関係する(対象物そのものでもよい)事象の変化をグラフ状(座標とその座標における対象物等の状況)に表示するものであり、言い換えると、ヒートマップは、二次元データ(行列)の個々の値を色や濃淡として表現したグラフである。二次元表示に限らず一次元表示でもよく、例えば、図4においては、特定の道の上の混雑状況も考慮して一次元でもよい。地図等の二次元画像または三次元画像上に、各地点における事象に応じた値を色等によって記載することによって、その事象を可視化することができる。例えば、桜の開花状況に関するヒートマップでは、エリア毎に桜の開花状況(例えば、一分咲き、満開等のテキスト、桜の画像等)を分析し、投稿数に応じて、色の濃淡、円形の直径の大小等によって、桜の開花状況を一目で分かるようにしてもよい。
事象ヒートマップ取得部1aは、異なる複数の時刻において特定エリア内における対象事象の分布情報を取得する取得部として機能する。また、事象ヒートマップ取得部1aは、特定エリア内の空間上に現れたビッグデータを取得する取得部として機能する。また、事象ヒートマップ取得部1aは、時系列で得られた特定位置範囲内における対象事象の分布情報を取得する取得部として機能する。
事象ヒートマップ取得部1aが取得したデータは、時系列整理部1bに出力される。時系列整理部1bは、データに添付されている日時情報に基づいて、データを時系列毎に整理する。例えば、事象ヒートマップを日単位で生成する場合には、日単位で事象ヒートマップ部1aから取得したデータを整理し、また、事象ヒートマップを時間単位で生成する場合には、時間単位で事象ヒートマップ部1aから取得したデータを整理し、ヒートマップ画像を生成する。
時系列整理部1bが整理したデータは、経時相関判定部1cに出力される。経時相関判定部1cは、時系列毎に整理されたデータの相関関係を判定する。すなわち、経時相関判定部1cは、地図等、二次元や三次元のマップ上の各地点に事象に応じた値を関連付けた場合に、マップ上に表現可能なデータの相関状態を判定し、ヒートマップ画像が類似しているか、あるいは何らかの時間推移パターンを読取可能な情報含んでいるか(相関しているか)を判定する。
前述の対象事象の分布パターンは、対象事象を構成する対象物の存在位置と密度を二次元パターンや色で表現するヒートマップとして表現される(例えば、図1(b)~(d)図4のマップM1~M3、図5、図8等参照)。経時相関判定部は、ヒートマップの中に現れた二次元パターンの面積や色の時間変化や、移動の方向性の連続性に従って、経時相関を判定する。この経時相関については、図4のマップM1~M3、および図5を用いて後述する。
経時相関判定部1cは、取得部で取得した対象事象の分布情報の経時的な相関性を判定する経時相関判定部として機能する。経時相関判定部1cは、取得部で取得した特定エリア内の対象事象の分布情報を用いて、対象事象の分布のパターンの分布パターンの移動の傾向の継続に基づいて、経時的な相関性を判定する経時相関判定部として機能する。
経時相関判定部は、取得部において取得した特定エリア内の対象事象の分布情報を用いて、対象事象の分布の複数のパターンの重なりの時間変化の傾向に基づいて、経時的な相関性を判定する(例えば、図4のマップM1~M3、図5、図8等参照)。この経時的な相関性を判定することによって、例えば、二つの通勤集団が新宿駅において全員下車してしまうか、またはそのまま乗車したままで行ってしまうかによって、新宿駅における混み具合が変わることを判定することができる。つまり、時間変化の特徴を判定すれば、将来どうなるか推定することができる。逆に言えば、時間変化の特徴は、将来どうなるか分かるようなものである。
また、経時相関判定部は、ユーザの嗜好および忌避項目を考慮して、対象事象の分布情報の経時的な相関性を判定する(例えば、図10AのS35参照)。ユーザの嗜好および忌避項目とは、ユーザの行動を記録した履歴情報、または健康パラメータと環境との関係を記録した履歴情報から得られる情報である(図10AのS35参照)。
経時相関判定部は、対象事象の分布情報の経時的な相関性を、ガイド情報に対応する対象事象の分布情報に対して、時間的に遡った対象事象の分布情報にしたがって判定する(例えば、図2のS103~S109の繰り返し、図6のS3~S9の繰り返し、図7のS3~S10の繰り返し、図13のS53~S59の繰り返し参照)。また、経時相関判定部は、対象事象は複数のカテゴリーに分類可能であり、それぞれのカテゴリーごとに経時相関を判定する(例えば、図11A~図11B参照)。経時相関判定部は、特定エリアにおけるイベント情報や環境の情報にしたがって経時相関を判定する。
経時相関判定部は、ガイド情報に対応する対象事象の分布情報に対して、時間的に遡った対象事象の分布情報の時間差をアノテーションして教師データを作成し、この教師データを用いて学習した時の信頼性の高さに基づいて、対象事象の分布情報の連続性を判定する(例えば、図3のS123~S129、図7のS3~S10、図13のS53~S59、図14のS53~S63等参照)。
経時相関判定部は、対象事象の分布情報の経時的な相関性を、ガイド情報に対応する対象事象の分布情報に対して、時間的に遡った対象事象の分布情報の重なりが予め決められた特定の割合で近似するかによって判定する。経時相関性判定部は、複数の時刻のうち比較的近い時刻の分布情報同士の類似性に基づいて、経時相関を判定する。
経時相関判定部1cの判定結果は、判定結果出力部DB1dに出力する。判定結果出力部DB1dは、データベースであり、経時相関判定部1cによって判定された相関結果を、例えば、日毎にデータベース化して記憶する。情報の収集や記録にあたっての時間的な単位は、興味の対象物、あるいは事象の変化の速さや、興味があるエリアの範囲によって変更する。例えば、都内の人の混雑状況が興味の中心であれば分単位、時間単位になったりするし、国内の渡り鳥の飛来予想であれば一日単位、一週間単位でも良い。判定結果出力部DB1dは、後述するガイド部3から問い合わせを受けると、ガイド部3によって指定された日時における事象に応じたガイド情報をデータベースから検索し、そのガイド情報を出力する。判定結果出力部DB1dは、データベースに記憶されているヒートマップ画像が現在の状況と比べてどうであるかに基づいて、所定時間間隔、所定日間隔等、種々の間隔で、事象に応じたガイド情報を予想することができる。
判定結果出力部DB1dは、経時的な相関性の判定結果によって得られた経時相関データベースから、ガイド情報を検索する検索部として機能する。検索部は、経時相関データベースに基づいて、予測の限界を判定する(例えば、図8、図9のS27、図10AのS39参照)。すなわち、本実施形態においては、ガイド情報する際に、予測の限界を判定することができる。言い換えると、まだ予測できないけれど、いつ頃になれば、予測することができるかを表示できる。また、検索部は、対象事象の分布情報の連続性または類似性が保たれている範囲を、または相関演算の推論結果の信頼性が所定値より高い範囲を、予測の範囲内とする(例えば、図6のS5、S11、図7のS5、S8、図13のS57、S65、図14のS65等参照)。
検索部は、特定エリア内の地図上において、対象事象分布の経時的な相関性に基づいて、所定日後のお薦めの観光ルートを検索する(図4のM3、図5のM14等参照)。検索部は、ユーザの行動を判定し、この判定されたユーザの行動に基づいて、経時相関データベースから、ガイド情報を検索する(図9のS21、S25、図10AのS31、33、S39等参照)。また、判定結果出力部DB1dは、検索部によって検索されたガイド情報を外部に出力する出力部として機能する。
ガイド部3は、判定結果出力部DB1dに対してガイド情報の要求を行い、判定結果出力部DB1dは、データベースから検索したガイド情報をガイド部3に出力する。ガイド部3は、サーバ内に配置され、プログラム等によって情報処理を実行するプロセッサである。このサーバは、制御部1を有するサーバと同一でもよく、また異なっていてもよい。
ユーザ端末4は、ガイド部3と無線通信(有線通信網も含む)等を通じて接続可能である。ユーザ端末4は、スマートフォン、携帯電話、タブレット等、個々のユーザが保持する携帯端末であり、端末群2aと同様である。ユーザは、ユーザ端末4を用いて、ガイド情報の表示を要求すると、この要求はガイド部3に送信され、さらに制御部1に送信される。制御部1の判定結果出力部DB1dから、要求にマッチするガイド情報を検索する。検索されたガイド情報は、ガイド部3を通じて、ユーザ端末4に送信され、ユーザ端末4に表示される。
例えば、上述の桜の例では、日時情報、位置情報、および桜の開花状態に関するテキスト情報に基づいて桜の開花状態を、地図上にマッピングすることによって、特定エリアにおける、桜の開花状態を可視化できる。図4のマップM1はN1日前の桜の開花状況に関するヒートマップであり、マップM2はN2日前の桜の開花状況に関するヒートマップである。なお、N1日前、N2日前は今日よりN1日前、N2日前を意味し、N1>N2である。これらのヒートマップは、制御部1が集計システム2dによって収集した情報に基づいて作成することができる。
ヒートマップM1、M2から分かるように、N2日前には、エリアA、Bにおいて、桜が開花しているとの情報が、またN1日前にはエリアA、Bにおいて桜の開花情報が減り、一方エリアC、D、Eにおいて桜の開花情報が増えている。ユーザが、1週間後に、桜の花見に行く際のコースを知りたい場合には、ユーザ端末4を操作して、ガイド部3に対して、1週後の花見の推奨コースの表示を要求する。ガイド部3は、この要求を受信すると、制御部1に対して、ユーザの要求を送信する。制御部1は、この要求をきっかけとして、時系列的に集積した情報を用いて、経時相関処理を行うことによって、1週間後の桜の開花状況に基づいて、花見に適したエリアC、D、Eとこれらのエリアを巡るR1を求め、この結果に基づいて花見のコースをガイド部3に出力する。
制御部1による経時相関判定に基づくガイドは、マップM3に示すように、1週間後に桜が開花しているエリアは、C、D、Eであり、このエリアを回るには、コースR1が適していると判断される。制御部1によるガイド情報(マップM3)は、ガイド部3を通じて、ユーザ端末4に送信され、ユーザ端末4のモニタに表示される。なお、この例では、ユーザは花見の条件として、単に1週間後を指定したが、逆に、エリアを指定し、このエリアで花見をするのに適した時期とコースを表示するように要求してもよい。
次に、図5を用いて、信頼性の高い経時相関判定のできる期間を判定し、この期間内に、ユーザのお薦めヒートマップ画像となる月日がいつになるかを予想する例について説明する。図5において、マップM11~M13は、写真SNS投稿数(投稿位置も含む)に基づいて作成されたヒートマップ画像の推移例である。すなわち、マップM11はX1月Y1日における桜の開花状況を示すヒートマップ画像であり、マップM12はX2月Y2日における桜の開花状況を示すヒートマップ画像であり、マップM13はX3月Y3日における桜の開花状況を示すヒートマップ画像である。
図5において、ヒートマップは、マップという言葉から想起しやすいように二次元の表記された地図(グラフ)上に、特定対象物(ここでは投稿写真で「開花状況」と読み替えている)の分布を図示したものを例にしている。しかし、ヒートマップは、道の上の混雑とかを表すなら一次元のグラフでもよく、さらに表せる変数を増やして三次元のグラフでも良い。座標上に表した対象物の分布パターン(態様)を利用すれば、あたかも画像のように、座標上の推移など、変化の予測が容易になる。
図5に示す例では、ヒートマップ画像M14にエリアC、D、Eを回るルートR2を示し、このルートR2がお薦めコースとなる何日が、いつになるかを予想する。制御部1の経時相関判定部1cは、お薦めコースを示す桜の開花状況を示すヒートマップ画像(この図では、エリアC、D、Eにおいて桜が満開)M14と、ヒートマップ画像M11と、ヒートマップ画像M12(N12日前)、ヒートマップ画像M13(N11日前)との相関性を算出する。相関性を算出すると、図5の例では、ヒートマップ画像M14とヒートマップ画像M12、M13の相関性は高いが、ヒートマップ画像M14とヒートマップ画像M11の相関性は低いと判定される。この場合には、X2月Y2日からX4月Y4日までのヒートマップ画像の相関性は高いことから、この間でのヒートマップ画像を用いて、この間の予想を行うことができる。
従って、図5において、予想日がN12日前(X2月Y2日)以降であれば、ヒートマップ画像M14になる日が何日後(X4月Y4日)になるかを予想することができる。なお、図5においては、相関性チェックを、ヒートマップ画像M14に対して、ヒートマップ画像M12、M13の2つのヒートマップ画像について行っているが、比較対象となるヒートマップ画像の数は、もちろん3以上の数でもよい。
このように、図5に示す例においては、経時相関判定部1cはお薦めコースを示すヒートマップ画像と同様のヒートマップ画像になるのがいつ頃であるかを、過去の情報から作成されたヒートマップ画像との相関性に基づいて判定することができる。
次に、図6に示すフローチャートを用いて、経時変化相関DB(データベース)化(図5に示すようなDBを作成する時の方法やプログラム)の動作について説明する。このフローチャートは、図5に示したような、お薦めのヒートマップ(あるいはユーザが気にする可能性のある対象物分布であって、図示可能なもの)となる時期を予想するために使用する経時変化相関DBを作成する。このフローは、制御部1内において、メモリ(不図示)に記憶されたプログラムに従ってCPU等のプロセッサが制御部1内の各部を制御することによって実現される。
フローチャートの具体的な説明に先立って、図6のフローにおける経時変化相関DBの作成の考え方について説明する。本フローは、経時変化があっても、必ず、特定タイミングにおける対象物の有無や存在位置は、隣接したタイミングでは類似であるという考え方によっている。つまり、花のようなものは、一日前後でも開花の状況は類似であり、蕾であったりしおれたりという変化は、花弁が開いたり閉じたりする予兆や余韻のような状況が存在するという考え方ができる。また、交通網における人の混雑なども、分単位では駅と駅の間の移動が起こる程度であって、しかるべき面積を有するエリア内のヒートマップには類似の状態が少しずつ遷移するという考え方ができる。
したがって、少しずつこの分単位なり日にち単位なりを、1分、2分、3分・・・と、または1日、2日、3日・・・と広げていき、類似の状態がどこまで続くかということを判定しておけば、どれくらい前から、それが予測できるかの限界を判定することが出来る。つまり、分布情報取得部が、異なる複数の時刻において生成された特定位置(エリア)範囲内における対象事象の分布情報を取得(これは上述のヒートマップに対応する)して、取得した対象事象の分布情報の経時的な相関性(異なる時間において得られた複数のヒートマップを比べて、重なり具合の変化や、動きの傾向の規則)を判定する経時相関判定の機能があれば、経時的な相関性の判定結果に基づいて、この時のヒートマップはこうであり、次のタイミングにはヒートマップはこうなる、という、特定の規則に基づいた経時相関データベースを作成することが可能になる。
このように作成されたたデータベースがあれば、そのデータベースの中に、特定のヒートマップ(例えば、特定のエリアにおける混雑状態を示すヒートマップ)と、類似パターンを示すヒートマップがあるかを検索し、類似パターンのヒートマップがあれば、今後、どういう状況になるかのガイドとして提示することも可能となる。また、図6のフローでは、あるイベント(例えば以下の例では花見日和の花の分布)を基準にして、今後どういう状況になるかのガイドを検索している。
上述の考え方には、以下の二つの思想が含まれている。まず、ガイドすべき特筆すべきイベントでもない限り、事前にDBを作ることは投資対効果の問題で無駄になりがちであるということである。また、2つ目として、イベントが終わった後の情報を知らされても後の祭りで参加が出来なかったり回避が出来なかったりする。そこで、特筆すべきイベントの前にどのような予兆があったかを、時間的に遡って相関を検証するようにしている。もちろん、最終的に、何ら予兆が認められない時間にまでさかのぼることになるが、それ以前の情報をDB化しても無駄になる。そこで、このような方法の方が、DBの作成を簡易化し、検索を高速化することが可能となる。つまり、経時相関判定部は、対象事象の分布情報の経時的な相関性を、ガイド情報に対応する対象事象の分布情報に対して、時間的にさかのぼった対象事象の分布情報との時間差が特定の時間差になるかどうかの信頼性にしたがって判定する。以下の例では、それを平易に解説している。
図6に示す経時変化相関DB化のフローが開始すると、まず、特定ヒートマップ画像を取得する(S1)。ここでは、制御部1がお薦めとなるコースの事象ヒートマップ画像を取得する。例えば、図5に示した例では、ヒートマップ画像M14に示すような桜の花のお薦めコースである。この特定ヒートマップ画像は、ユーザからの要望に応じて作成してもよく、また制御部1が種々の情報に基づいて自動的に作成してもよい。例えば、図5のヒートマップ画像M11のような、ユーザが桜の花を見たい地域を示す地図上において、ユーザが巡りたいエリア(図5においてエリアC、D、E)をチェックすることによって、特定ヒートマップ画像を作成してもよい。また、ユーザが巡りたいエリアの地名等をテキストデータで入力することによって、制御部1が自動的に特定ヒートマップ画像を作成してもよい。ユーザがテキストデータによって地名を入力する代わりに、音声によって地名を入力してもよく、また、インターネット上にアップロードされている画像を指定するようにしてもよい。
また、本フローは、ステップS1において取得した特定ヒートマップとなる状況を予想したガイドを提示したいので、ステップS1におけるヒートマップをガイド情報用ヒートマップと書いても良い。本フローは、対象事象(ここでは桜の開花)の分布情報の経時的な相関性を、ガイド情報に対応する対象事象の分布情報に対して、時間的にさかのぼった対象事象(ここでのガイド情報ヒートマップにおける「桜の開花」)の分布情報から予測するべく、何日前など、予測できる時間差が特定の時間差になるかどうかを判定して、例えば、図8のようなガイド用のデータベースを作成する。これは対象事象(ここでは桜の開花)の分布情報(例えばヒートマップ画像)と予想させる時間差の関係を参照できるものである。
特定ヒートマップ画像を取得すると、次に、特定ヒートマップ画像の同じ場所のN日前のヒートマップ画像を取得する(S3)。ここでは、制御部1は、ステップS1において取得した特定ヒートマップ画像に対して、今日よりN日前に作成されたヒートマップを、取得する。すなわち、取得部1aが、集計システム2dを通じて、端末群2aから、特定地域において、特定の事象に関する情報を収集し、この情報に基づくヒートマップ画像を作成する。このヒートマップ画像は、例えば、図4、図5に示すように、各エリアにおいてユーザが発信した情報に基づいて、作成した桜の開花状況をマップ上に表した画像等である。このヒートマップ画像は、日時情報等に基づいて、特定日時単位(例えば、月単位、日単位、時間単位、分単位等)で作成する。制御部1は作成したヒートマップ画像を制御部1内のメモリに日時情報毎に記憶しておいてもよく、他のサーバ等の格納されているデータを読み出して使用してもよい。
続いて、連続性(類似性)判定を行う(S5)。ここでは、制御部1は、ステップS1において取得した特定ヒートマップ画像と、ステップS3において取得したN日前のヒートマップ画像を比較し、連続性(類似性)があるかを判定する。例えば、図5の例では、エリアA~Eのエリア毎において、特定ヒートマップ画像とN日前のヒートマップ画像の投稿数が類似しているか否かを判定する。
次に、Np日のヒートマップについて判定が終了したか否かを判定する(S7)。ここでは、ステップS5において行う判定について、予め決められたNp日について、判定が終了したかに基づいて判定する。この予め決められたNp日は、生成するデータベースの性質や、事象ヒートマップ取得部1aにおいて収集できるデータの範囲等を考慮して、適宜設定すればよい。
ステップS7における判定の結果、Np日の判定が終了していない場合には、N日を変更する(S9)。ここでは、ステップS3において判定するN日を変更し、ステップS3に戻り、前述の動作を行う。ステップS3~S9を繰り返すことによって、現時点からNp日までの間において、ヒートマップの連続性(類似性)を判定することができる。
ステップS7における判定の結果、Np日分について判定が終了すると、連続性(類似性)の高いN日を決定し、ヒートマップ間の時間差をDB化する(S11)。ステップS5において、特定ヒートマップ画像と、過去のヒートマップ画像の連続性(類似性)を判定しているので、この判定結果に基づいて、連続性(類似性)が最も高かった日(N日)を決定する。連続性または類似性は、ヒートマップ画像のそれぞれのエリアにおける投稿数等の差が所定の範囲内にあれば、連続性または類似性が高いと判定する。
ステップS11において、連続性(類似性)が最も高い日(N日)が決まると、ヒートマップ画像の間での時間差をつけてヒートマップ画像をDB化することができる。また、ヒートマップ画像M12、M13と特定ヒートマップ画像M14との相関性から、桜の開花状況が特定ヒートマップ画像と一致する予定日を予想することができる。制御部1はヒートマップ画像間の時間差も含めてDBに記録しておき、ユーザから問いあわせがあると、DBからユーザの要求に応じて、ガイド情報を出力することができる。
次に、図7示すフローチャートを用いて、経時変化相関DB(データベース)化の動作の変形例について説明する。図7に示すフローも、図6に示すフローと同様に、特定の時点の対象事象の分布情報をわかりやすく地図上に表した特定ヒートマップ(S1)と、その特定時点(基準時点)から特定時間前のヒートマップの間に相関があるか否か、相似のものがあるか否か、関連性があるか否かなどを求めることができる。但し、この図7に示すフローは、N日前のヒートマップにアノテーションを付して学習し、学習結果の信頼性を判定し、この判定結果から、ヒートマップの連続性を判定する点で図6のフローと異なっている。このフローは、制御部1内において、メモリに記憶されたプログラムに従ってCPU等のプロセッサが制御部1内の各部を制御することによって実現される。図7に示すフローチャートは、図6に示すフローチャートと比較し、ステップS5~S11を、ステップS6~S12に変更している他は、同様であるので、相違点を中心に説明する。
図7に示す経時変化相関DB化のフローが開始すると、まず、特定ヒートマップ画像を取得する(S1)。特定ヒートマップ画像は、特定の時点の対象事象の分布情報をわかりやすく地図上に表した画像である。特定ヒートマップ画像は、図6の場合と同様に、ユーザからの要求に基づいて制御部1が作成してもよく、またSNS等に投稿されたテキスト情報等に基づいて、制御部1が特定ヒートマップの主題を設定し、作成してもよい。
特定ヒートマップ画像を取得すると、次に、特定ヒートマップ画像の同じ場所のN日前のヒートマップ画像を取得する(S3)。ここでは、制御部1は、図6の場合と同様に、今日よりN日前に作成されたヒートマップを、取得する。
同じ場所のN日前のヒートマップ画像を取得すると、次に、「N日前」をアノテーションとした学習を行う(S6)。ここでは、ステップS1において取得した特定ヒートマップ画像データと、ステップS3において取得したN日前のヒートマップ画像データを、推論モデルに入力すると、これらのデータから「N日」前と言う結果が出るように、「N日」というアノテーションを付して、教師データを作成する。そして、この教師データを用いて、機械学習を行う。
ヒートマップは対象物の存在範囲がマッピングされてその集まり具合が面積として表示されたり、必要に応じて密度を色分けされたりするような処理を行ったものであるが、色分けは必ずしもなくてもよい。単に対象物存在位置マップでも良いが、イメージしやすく、色情報で情報リッチ化ができるので、これらも含めてヒートマップと呼ぶ。対象事象の分布情報と書いてもよい。
ステップS6において学習を行うと、次に、学習結果に信頼性があるか否かを判定する(S8)。ステップS6において、信頼性の高い推論モデルが生成されることを、「学習結果に信頼性あり?」という言葉で表現している。この判定は、推論モデルにテストデータを入力してみて、その誤差がどれくらいの範囲に収まるか、或いは特定の誤差に収まるテストデータがどれぐらいあるかを、例えば予め決めておいた基準値と比較することによって、信頼性の良し悪しの判断を行えばよい。推論モデルがこのような判定によって推論の信頼性が高と判定される場合なら、ヒートマップ画像が、その日までは連続的な、将来が推論できる変化をしていると考えられる。
ステップS8における判定の結果、学習結果に信頼性がある場合には、次に、「N日前」を遡る(S10)。ここでは、ステップS3における「N日」から、所定の日数だけ遡った日に変更する。このN日を変更すると、ステップS3に戻り、ステップS6~S10を繰り返す。すなわち、ステップS10において、N日を変更しながら(遡って)同様の推論モデルを作成する。学習結果が信頼性高い場合には、図8に示すような表(データベース、DB)を整理して用意することができる。
様々な状況下で、N日後に同様のヒートマップ変化がある場合、その法則性を検出することは容易であるが、そのような結果が出るように、ステップS10において、教師データの入れ替え等を行ってもよい。離れすぎた時間差がある場合より、隣接する時間の方が、時間差のある二つのヒートマップ間の相関性(経時相関、対象物の存在を表す部分の面積や密度、あるいはそれらを表した色の重なりや、移動の方向性の一致度)が高く、比較的信頼性高く正解の「N日」が推論される。
もちろん、ステップS10における「N日」は「N分」でもよい。例えば、人が交通手段によって移動する場合には、人が集まっている位置(混雑発生位置)は、例えば車両のスピードや歩行のスピードに依存する。それらに大きな差異がないことから、数分の間であれば集合の位置は固まりで同じ方向に移動して比較的高い信頼性で推論が可能となる。ちなみに、図8に示すヒートマップのデータベースは、学習時に教師データとして採用されたものを利用して表示すればよい。なお、ここでは基準時点からN日(またはN分)遡る説明をしたが、基準時点自体を順次遡らせて、相関のとれる遡り時点を判定していき、言わばつぎはぎ的に大元となる基準日からN日(N分)遡りを判定してステップS12において、ガイド用のデータベース化をしてもよい。
ステップS8における判定の結果、学習結果に信頼がない場合には、遡れなくなった前の日を「連続性」ありとして、ヒートマップをDB化する(S12)。ステップS3~S9を繰り返し、処理が実行される場合には、ステップS1の特定ヒートマップ画像と、ステップS3において読出した過去のN日前のヒートマップ画像を用いて学習した結果に信頼性があることから、両画像の間に連続性があると判定された場合である。連続性が成り立つ場合には、その間では桜の満開日等、開花状況を予想することが可能である。逆に言うと、連続性が成り立たない場合には、ヒートマップ画像に信頼性がなく、予想するのに不適当である。なお、連続性があっても、一時的に連続性が途切れる場合がある。そこで、連続性がないと判断されても、1回もしくは複数回後に、再度、連続性を判定するようにしてもよい。
制御部1は、ステップS12において、連続性があると判定されたヒートマップ画像をメモリにDBとして記憶する。制御部1は、ユーザ端末4等から、ガイド情報の提供の依頼があった場合には、要求されたガイド情報に応じて最適なヒートマップ画像をDBから読み出し、ユーザ端末4等に送信し、表示させる(図9のフローチャート参照)。連続性が成り立たない時期的な範囲では、記憶されている範囲に基づいて、いつ頃になればガイド情報を提供できるかをユーザ端末4に送信してもよい。
なお、桜の花の開花状況は、その年の気候等の影響を受ける。そのため、過去の開花状況に基づくヒートマップ画像に、その年の気候等を考慮して、その年のヒートマップ画像を予想するようにしてもよい。
このように、図7に示すフローでは、特定の時点の対象事象の分布情報をわかりやすく地図上に表した特定ヒートマップ(S1参照)と、その特定時点(基準時点)から特定時間前のヒートマップ(S3参照)の間に、相関があるか否か、相似のものがあるか否か、関連性があるか否か等を求めることができる。
季節によって徐々に変化する動植物の分布の変化であれば、ここに示した「日にち」の単位で遡れば、前日はあまり変化がなく、その前の日は、前日からはそれほど変わらない、というように、隣接する日時間でのヒートマップの差異は少ない。しかし、何日も遡ればヒートマップ間の相関や相似や関連が無くなってくるはずなので、ステップS3において取得したN日前のヒートマップは、何日も遡れば、ステップS8において信頼性なし、という結果になる。しかし、信頼性なしと判定されるまでは、予測が出来る関連性の高いヒートマップとなっているはずなので、信頼性ありとされるN日前までは、ステップS1において取得した特定ヒートマップが予測可能と考えることができる。
本実施形態においては、近年、研究の成果が著しい、「データの中から人間が見つけることのできない特徴を見つけ出す」ことに優れた、深層学習の考え方を利用している。この学習のために、ステップS1において特定ヒートマップ(基準ヒートマップ)を用意し、さらにそれぞれの基準ヒートマップごとに、N日前ヒートマップを用意しながら、「N日」前をアノテーションとして推論モデルを作るようにする。他のものと傾向が異なるものを教師データから外しながら学習すれば、二つのヒートマップからそれらの時間差を「N日」として推論する推論モデルが得られる。なお、特定ヒートマップは、その場所の他の年の類似ヒートマップや、類似地形の場所の類似ヒートマップ、つまり同様の距離範囲で区切った地図の中における対象物分布が類似のものを用意してもよい。
つまり、本実施形態に係るシステムは、経時相関判定部を有し、対象事象の分布情報の経時的な相関性を、ガイド情報に対応する対象事象の分布情報に対して、時間的に遡った対象事象の分布情報と分布のパターンの重なりや移動の傾向(対象物の存在を表す部分の面積や密度、あるいはそれらを表した色の重なりや、移動の方向性の一致度)にしたがって判定することによって、ガイド検索装置用のデータベース(DB)を作成することが出来る。もちろん、時間的に前後関係のヒートマップ推移がDBにて関係づけられればよいので、必ずしも遡る必要はないが、その場合には、目的とする特定ヒートマップに至らない可能性もある。なお、対象物が、その素性や特性、環境に応じて複数の時間変化パターンを取ることがあり得るので、それらを一括に扱わず、分類して経時変化相関を判定してもよい。つまり、経時相関判定部は、対象事象は複数のカテゴリーに分類可能であり、それぞれのカテゴリーごとに経時相関を判定してもよい。
また、先に説明したように、特定ヒートマップ用に定められた特定のエリアの中で、あるいは、その周囲でエリア内に影響する環境が異なり、温湿度や風向き、地形や風の向きや街並みや部屋の構造など、対象物の移動に影響する場合がある。本実施形態においては、時間相関を判定するのに、二次元パターンとして現れた事象の形状、重心、事象をなす対象物の密度などに着眼し、時間に従って生じる位置的なずれが、それ過去から現在、将来を予測できるような推移をしているかを判定している。しかし、推移を検出できない場合は、パラメータの違いなどで対象物を分類して分析してもよい。また、経時相関判定部は、特定エリアにおけるイベント情報や環境の情報にしたがって経時相関を判定してもよく、これも同様にイベントに向かう、あるいは遠ざかる対象物集団や環境の影響を受けた対象物集団で分けて、上述の相関を判定すればよい。
図8は、図6や図7のフローチャートによって作成される事象予測DBに記録されるヒートマップ画像推移の例を示す。図8におけるヒートマップは、マップという言葉から想起しやすいように二次元の表記された地図(グラフ)上に、特定対象物(ここでは投稿写真で「開花状況」と読み替えている)の分布を図示したものを例にしている。しかし、二次元表記に限らず、特定対象物が道の上の混雑とかを表すなら一次元のグラフでもよく、さらに表せる変数を増やして三次元のグラフでも良い。座標上に表した対象物の分布パターン(態様)を利用すれば、あたかも画像のようにその座標上の推移などの変化の予測が容易になる。図示したようなガイド用のデータベース例は、対象事象(ここでは桜の開花)の分布情報(例えばヒートマップ画像)と、予想される時間差のある対象事象との関係を互いに参照し合えるものである。
図8において縦軸方向に地名(例えば、横浜、京都)を示し、横軸方向に日付を示す。この図8は、図5と同様に、桜の開花状況を示すヒートマップ画像である。日付の内、「今」と記載された欄における4/5は、今日の日付(4月5日)であり、4/12、4/19、4/26は将来の予想日である。また、「去年(例)」と記載された欄における4/01は、今年の4月5日は、昨年の4月1日のヒートマップ画像と同様であることを示す。
つまり、まず、現状を把握してDBによる予想が出来るようにする。ユーザの行動や興味の対象事象に応じた特定エリアを決定した後、特定の時点における特定エリア内の対象事象の分布を表す対象事象ヒートマップ(基準対象事象ヒートマップ)を取得する。または、直接データそのものを自ら情報を取得するのではなく、例えば、現在の情報を集めるように外部の調査サービスに依頼してもよく、またビッグデータから自分で意味があるもの(特定時間後に興味の対象物、事象を予測できるような情報)を収集してマップを作成してもよい。また、厳密に特定ヒートマップの時点である必要はなく、それより前に出来ていたマップを代用して、基準対象事象ヒートマップとしても良い。現時点において、4月6日でも、4月5日のデータがあれば、横浜では4月19日までは予測できることが以下のような考え方で分かる。
横浜在住の撮影が趣味のユーザには、横浜のガイドが相応しいと考え、横浜の方のDBを利用して説明する。今年の4月12日には去年の4月8日のヒートマップ画像と同様のヒートマップ画像になることが予想され、今年の4月19日には去年の4月15日のヒートマップ画像と同様のヒートマップ画像になることが予想される。横浜では、今年の4月26日は、連続性(類似性)のあるヒートマップ画像がないことから、予想することができない。
このように、対象事象ヒートマップ(ここでは4月5日の横浜のもの)と類似エリア(ここの説明では横浜)のヒートマップの経時変化を示したデータベースを参照して、特定の時点より時間経過した時点の対象事象の状況を推定し、この推定に基づいてユーザガイドを出せばよい。なお、特定エリアについて、まったく予測できない場合であっても、遠い場所でも撮影に行くから、開花予想が欲しいユーザに対しては、例えば、京都のDBに従ってガイドを出してもよい。
また時期的に早すぎる場合には、例えば、「4月6日の時点では予測できないので、もう少しすれば予想できるようになるから待て」、というガイドを出すことができる。この場合は、ユーザの行動や興味の対象事象に応じた特定エリア(これから開花する名所ということで京都を選択)を決定し、特定の時点における特定エリア内の対象事象の分布を表す対象事象ヒートマップを取得するが、それに相応しい現状対象事象ヒートマップがない場合には、ヒートマップの経時変化を示したデータベースを参照することができない。この場合には、特定の時点より時間経過した時点の対象事象の状況を推定が出来ないということをユーザに伝えるステップを有するユーザガイド方法とすればよい。
つまり、基準対象事象ヒートマップを取得してから、データベースを探す以外にデータベースを取得してから、それに見合ったヒートマップを呈している状況が現状で存在するか、という判定を行って、ユーザの行動や興味の対象事象に応じた特定エリアを決定する。そして、特定エリアのヒートマップの経時変化を示したデータベースを参照し、データベースにおいて、現在に近い特定の時点における特定エリア内の対象事象の分布を表す基準対象事象ヒートマップが取得できるかどうかを判定する。判定の結果、取得が出来ない時には、特定の時点より時間経過した時点の対象事象の状況を推定が出来ない事を示す情報を出力することが出来るユーザガイド方法が提供可能となる。
このように、横浜では、4月5日に、4月12日から4月19日までの間については、ヒートマップ画像に基づいて、お薦めの花見コースのガイド表示が可能であるが、4月26日以降については連続性(類似性)のあるヒートマップ画像がなく、ガイド表示ができない。一方、京都では、4月12日から4月26日までの間については、ヒートマップ画像に基づくガイド表示が可能であるが、4月5日以前については連続性(類似性)のあるヒートマップ画像がなく、お薦めの花見コースのガイド表示ができない。
このように、連続性(類似性)のあるヒートマップ画像が記録されていない時期については、予想することができない。見方を変えると、京都については、4月12日を過ぎると、ヒートマップ画像に基づいて予想することが可能であり(このような状況をガイドできることは前述した)、一方、横浜については、4月19日まで予想が可能である。すなわち、本実施形態における時系列相関判断は、予想の限界を判定していると言える。ヒートマップによる予想の限界がどこまでであるかを判定できる技術をもとに、それを利用してDBを作り、ユーザに有用なガイドを提示している。
次に、図9に示すフローチャートを用いて、ユーザアドバイスの動作について説明する。このフローは、制御部1内において、メモリに記憶されたプログラムに従ってCPU等のプロセッサが制御部1内の各部を制御することによって実現される。
図9に示すユーザアドバイスのフローは、図6または図7のフローを実行することによって作成されたデータベース(判定結果出部部DB1d)を用いて、ユーザにアドバイスを与える。具体的には、図6または図7に示したフローにおいて、ユーザの行動や興味の対象事象に応じた特定エリアを決定し、特定の時点における上記特定エリア内の対象事象の分布を表す対象事象ヒートマップを取得し、対象事象ヒートマップと類似エリアのヒートマップの経時変化を示したデータベースを作成する。この図9に示すフローでは、作成されたデータベースを参照して、特定の時点より時間経過した時点の対象事象の状況を推定するユーザガイドを表示する。
図9に示すユーザアドバイスのフローが開始すると、まず、ユーザの行動を判定する(S21)。ここでは、制御部1は、端末群2aの各携帯端末から受信したユーザの位置(日時情報を含む)、SNS等に投稿したテキストデータ等を入力する。制御部1は、これらの情報に基づいて、ユーザがどのような行動を現在行っているか、また将来、どのような行動をとるかの判定を行う。例えば、ユーザがM日後に何か行動したいと思っているか等を予想する。また、ユーザは、ユーザ端末4からガイド部3を通じて制御部1に、ガイド情報を要求する場合がある。この場合には、このステップS21において、ユーザの要求を認識する。
また、ステップS21において、ユーザの行動や興味の対象事象に応じた特定エリアを決定する。例えば、京都在住のカメラマンであれば、被写体として人気の花鳥風月や催しなどが興味の対象事象であり、京都の市街図、あるいは京阪神の路線図に相当するエリア等が特定エリアとなる。また、毎日、あるいは定期的に都内に出張するような人の場合には、その利用路線や関連する路線の混雑状況などが興味の対象事象となり、特定エリアは都内の路線図に相当するエリアなどが選択されれば良い。
また、ステップS21において、特定エリアを決定すると、この特定エリア内における基準対象事象ヒートマップを取得する。従って、ステップS21では、ユーザの行動や興味の対象事象に応じた基準エリアを決定し、特定の時点における基準エリア内の対象事象の分布を表す基準対象事象ヒートマップを取得する。なお、基準対象ヒートマップの取得は、M日後のガイドが必要となった場合に、次のステップS23、S25において行ってもよい。
ユーザの行動を判定すると、次に、M日後のガイドが必要か否かを判定する(S23)。ここでは、制御部1はステップS21における判定の結果に基づいて、将来(M日後、前述したようにM時間後といった変形でもよい)のガイドが必要か否かを判定する。例えば、ステップS21における判定結果に基づいて、ユーザは、M日後に何か行動したいと思っているか否かを判定する。ユーザがSNS等において、M日後の予定を投稿している場合があり、このような投稿に基づいて判定してもよい。この判定の結果、特に行動予定がなく、ガイドが必要でない場合には、不必要なガイドは煩わしいので、ステップS21に戻る。もちろん、M日後と決める必要はなく、将来の分かる範囲の情報をすべて提示しても良い。しかし、ここでは単純化のために、たとえば、週末の撮影スポットお薦めや、出張時の例えば都内到着時(30分後など)混雑情報などを想定した。
一方、ステップS23における判定の結果、ガイドが必要な場合には、事象予想DBを検索する(S25)。ここでは、制御部1は、事象予想DB(判定結果出力部DB1d)の中から、ステップS23において必要とされたガイドに応じたヒートマップ画像を検索する。
事象予想DBの検索を行うと、次に、M日後の予想が可能か否かを判定する(S27)。ここでは、制御部1は、ステップS25において検索した事象予想DBに、M日後を予想することができるか否かに基づいて判定する。前述したように、事象予想DBに記憶されているヒートマップ画像等は、N日間の間は連続性があり、M日がこの範囲であれば、予想することができる。事象予想DBには、前述の花見用のヒートマップ以外にも種々のヒートマップ画像が記録されているので、この中から、M日後のガイドに役立つヒートマップ画像を検索する。
ステップS27におけるM日後の予想が可能かの否かの判定について、事象予想DBに図8を用いて説明した花見用のヒートマップ画像に基づいて説明する。この例では、横浜では、4月5日から4月19日まで(この間が前述のN日間に相当する)はヒートマップ画像があるので、M日後がこの期間内であれば、予想が可能であり、一方、4月19日以降の場合には予想することができない。また、京都では、4月12日から4月29日まで(この間が前述のN日間に相当する)はヒートマップ画像があるので、M日後がこの期間内であれば、予想が可能であり、一方、4月5日以前ではヒートマップ画像がなく、予想することができない。この判定の結果、M日後の予想ができない場合には、予想ガイドは現状有効ではないので、ステップS21に戻る。この場合、予想ガイドは現状有効でない旨を表示してもよい。
ステップS27における判定の結果、M日後の予想が可能な場合には、予想結果からニーズにあったものを表示する(S29)。ここでは、ステップS21において判定したユーザのニーズにあったヒートマップ画像等のアドバイス情報を、ユーザ端末4に表示できるように、ガイド部3を通じて、ユーザ端末4に送信する。ユーザは、例えば、図5、図8に示されるように、桜の花が開花しているエリアや、そのエリアを巡るためのお薦めのルート等を知ることができる。表示用のアドバイス情報を送信すると、ステップS21に戻る。
このように、ユーザアドバイスのフローでは、ユーザの行動を判定し、M日後に何らかのアクティビティを行うことが予想される場合には、事象予想DBからM日後のガイドに役立つ事象を検索し、この検索結果に基づいて、ガイドを表示できるようにしている。なお、ステップS21における行動判定としては、ユーザがユーザ端末4によって制御部1にM日後のガイドを要求したか否かを判定するようにしてもよい。
次に、図10Aに示すフローチャートを用いて、ユーザ行動から特定事象選択の動作について説明する。図9に示した例では、ユーザの行動を判定し、M日後のガイドが必要な場合に、予め作成されている事象予想DBの中からユーザのニーズにあったガイドを表示するようにしていた。図10Aに示すフローチャートは、図9のフローを更に具体的にしたものであり、ユーザの行動を分析し、この分析結果に基づいて、ユーザの好み等に相応しい経時変化相関DBを作成し、このDBに基づいてガイド表示を行うようにしている。このフローも、制御部1内において、メモリに記憶されたプログラムに従ってCPU等のプロセッサが制御部1内の各部を制御することによって実現される。
図10Aに示すフローが開始すると、まず、昨年のSNS記録や最近の予定を検索する(S31)。ここでは、制御部1は、特定のユーザが、SNSサービスに投稿したテキストデータや、またブログ等に記載した最近の予定等を検索する。ユーザが制御部1にスケージュール表を書き込んでいれば、その情報も参照する。
続いて、画像がアップされているか、また日記、健康情報等があるか否かを判定する(S33)。ここでは、制御部1は、特定のユーザがSNS等、インターネット上に画像をアップロードしている場合があるか否かを判定する。また、インターネット上に、特定ユーザの日記や健康情報等がアップロードされている場合もあるので、制御部1は、これらの情報を検索する。この判定の結果、これらの情報が検索できなかった場合には、ステップS31に戻る。
ステップS33における判定の結果、情報が検索できた場合には、次に、嗜好と忌避項目を判定する(S35)。ここでは、ステップS31およびS33において検索されたSNS記録や画像等の情報に基づいて、制御部1が、特定ユーザの好みや嫌いな項目を判定する。ユーザの嗜好や忌避項目に関する情報は、ユーザの行動を記録した履歴情報、または健康パラメータと環境との関係を記録した履歴情報から得るようにしてもよい。ガイド情報を提供する場合に、ユーザが好むことを示すのはもちろんであるが、逆にユーザが嫌うことを示さないようにするためである。
嗜好と忌避項目を判定すると、次に、関連情報で経時変化相関DBの作成を依頼する(S37)。ステップS35において特定ユーザの好みや好まないことを判定しているので、これを考慮し、制御部1の事象ヒートマップ取得部1aが取得し、時系列整理部1bによって整理されたヒートマップを用いて、経時相関判定部1cが経時相関を判定し、この経時相関データを作成する。なお、制御部1内に経時相関判定部1cが設けられていない場合には、外部のサーバ等内の計時相関判定部に経時相関データの作成を依頼してもよい。
続いて、M日後を予想可能なDBを取得できたか否かを判定する(S39)。ここでは、制御部1は、ステップS37において依頼した経時変化相関DBを用いて、M日後を予測可能であるか否かを判定する。図8を用いて説明したように、経時変化相関DBでは、相関関係が成り立つのは、特定の時期範囲(N日間)の場合である。そこで、このステップでは、制御部1は、作成された経時変化相関DBを用いて、M日後がN日間内にあり、M日後を予想できるか否かを判定する。この判定の結果、予想できない場合には、ステップS31に戻る。
一方、ステップS39における判定の結果、M日後の予想可能なDBを取得した場合には、ガイド情報を表示する(S41)。ここでは、制御部1は、ステップS37において依頼して取得した経時変化相関DBを用いて、特定ユーザの嗜好にあった、M日後におけるガイドを作成し、ユーザ端末4に送信し、表示させる。表示させると、ステップS31に戻る。
図10Bおよび図10Cは、ユーザの行動から特定事象を選択する例を示す。図10Bは、ある特定ユーザがSNS等を利用してインターネット上にアップロードした画像である。この画像は、満開の桜の花の下にオートバイで出かけ、記念に撮影したものである。このユーザは、画像から分かるように、桜の花とオートバイに対する嗜好性が高い。
制御部1は、図10Bに類似する画像が多数、インターネット上にアップされていた場合には、これらの画像に基づいて、このユーザは桜の花とオートバイに対する嗜好性が高いと判定する(図10AのS33、S35参照)。ユーザの嗜好性が分かると、制御部1は、この嗜好性に基づいて、経時変化相関DBを作成する。このDBの作成にあたっては、事象ヒートマップ取得部1aが、地図情報や口コミ等で選んだ、または、そのユーザがアクセスしやすいという条件で選んだバイクのツーリングに適したエリアであり、かつ桜の花の開花状況に関する情報を収集し、時系列整理部1bによって経時情報に整理した後に、経時相関判定部1cが経時変化相関DBを作成する(図10AのS37参照)。
経時変化相関DBが作成されると、ユーザにM日後のガイド情報を表示することができる。ガイド表示では、M日後であれば、満開の桜の花を見ることができるツーリングコースを紹介する。この場合、満開の桜観光ガイドに比べて地図情報におけるバイク通行可能かつ停車可能地点を条件に加えれば、そのユーザの嗜好によりカスタマイズした例となる。ここでは、オートバイのライダーの例をあげたが、それ以外にも家族での行動でも、同様の考え方で、ユーザの満足度を上げることが出来る。さらに、家族の年齢構成やペットの有無やその連れ込みの可否の情報等を追加するによって、ガイドの満足度を上げることが出来る。
また、図10Cは、他の特定ユーザの体調変化を示すグラフである。このグラフの横軸は時間(年月)であり、縦軸は体調を表すパラメータである。体調パラメータは、例えば、体温、心拍数、発汗量、またくしゃみや咳の回数、鼻水の量、目の痒み等、種々のものを使用できる。このグラフを見ると、花粉の時期でのくしゃみ等が他の時期より目立つので、このユーザは、花粉症を患っていることが想定される。このようなユーザは花粉の多い時期に多い場所にはいかないようなガイドが出るとありがたい。
ここでは、グラフの体調パラメータは、季節や時候を選んだが、それ以外にも埃などのアレルギーの場合は、例えば埃っぽい部屋にいるかどうかや、廃棄ガスが多い幹線道路沿い等の位置が区別できるようなグラフ表示などが好ましい。これによって、その人が行かない方が良い場所がわかる。その他、気圧(配置)、気温で体調が変わる人もいるので、そういう人には転地療法を進めてもよい。その他、パラメータは、その人の健康状態や病状や体質に応じて変化するものである。このような様々な体質を判別するために、体調パラメータやその他のパラメータはいくつか用意して、それぞれの切り口で判定できるようにすればよい。
制御部1は、図10Cに示すような健康情報を取得できた場合には、このグラフに基づいて、このユーザは花粉症を患っている可能性が高いと判定する(図10AのS33、S35参照)。ユーザの体調が分かると、制御部1は、花粉症に関するヒートマップ画像を集め、この画像に基づいて、経時変化相関DBを作成する。このDBの作成にあたっては、事象ヒートアップ取得部1aが、SNS等に投稿された花粉症に関するデータを集め、時系列整理部1bによって経時情報によって整理した後に、経時相関判定部1cが経時変化相関DBを作成する(図10AのS37参照)。経時変化相関DBが作成されると、ユーザにM日後のガイド情報を表示することができる。ガイド表示では、M日後には、花粉症が発症しやすくなるので、マスクを着用し、また予防薬を服用する等、ガイドをする。更に、花粉症の中でも、スギ花粉症等の場合には、スギ花粉症を訴える人が多いエリアを知らせる等のアドバイスを行ってもよい。スギ花粉症に限らず、アレルギーの原因が分かれば、その原因が発生しているエリアや、発生しないエリアを知らせるようにしてもよい。
感染症の場合、年齢や体質によっては、他の人より悪化する場合もある。本実施例のような混雑地域が判定された場合には、混雑地域に行く場合には、マスクを持っていくとか、消毒薬を持っていくとか、頻繁に手洗いするとか、ソーシャルディスタンスを確保するとか、ガイドを出すとかする等、慎重な行動をすることによって、体調の悪化を防ぐことが出来る。感染していても、症状が出ない人もいるので、同様に、これらの人にもガイドを出すようにすれば、感染拡大や医療体制の崩壊を防ぐことが出来る。
このように、ユーザの行動や興味の対象事象は、ユーザの行動を記録した履歴情報(例えば、撮影した画像の被写体や過去のSNS上での発言)、または健康パラメータ(例えば、せき、くしゃみ、発熱、発汗、脈拍、血圧などの生体情報、あるいはその変化の特徴)を記録した履歴情報(例えば、健康状態がどのような環境要因(気温、気圧、粉塵、花粉、天候、あるいはそれらの変化)で変わるかを、分析できる情報)によって決めることが出来る。および、対象事象は現在の移動方向によって決まる。また、ユーザの行動や興味の対象事象に応じた基準エリアとは、このユーザのこれからの行動をする範囲によって決まるエリア(これは、現在位置からの移動の方向でもよく、利用している交通系ICカードや乗車券を参照してもよく、ユーザの手動入力でもよい)、または、ユーザの行動の履歴情報から得られた行動範囲を含むものである。エリアの範囲は、観光マップや路線図など入手しやすい地図情報に準拠してもよい。
このように、本実施形態においては、ユーザのSNS等によってインターネット上に投稿された情報等を用いて、ユーザの行動を分析し、この分析結果に基づいて、経時変化相関データベースを作成し、このユーザのM日後に必要とされる情報をデータベースから取得して、ユーザ端末4に表示するようにしている。このため、情報の変化を予想し、ユーザの活動を支援するためのガイド情報を提供することができる。また、ユーザの嗜好項目に限らず忌避項目について考慮して、経時相関データベースを作成しているので、ユーザの嫌いな項目を表示することがない。なお、本実施形態においてはインターネット上に投稿された情報等を検索していたが、ユーザが記事を投稿するタイミングでユーザの行動を分析するようにしてもよい。
次に、図11Aおよび図11Bを用いて、AI(artificial intelligence)による経時相関性の判定について説明する。経時相関判定部1cは、深層学習等の機械学習によって生成した推論モデルを用いて、ヒートマップ画像の経時相関性を求めてもよい。
ここで、深層学習について、簡単に説明しておく。「深層学習(ディープ・ラーニング)」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。順伝搬型ニューラル・ネットワークは、最も単純なものでは、N1個のニューロンで構成される入力層、パラメータで与えられるN2個のニューロンで構成される中間層、判別するクラスの数に対応するN3個のニューロンで構成される出力層の3層があればよい。入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることによって、論理ゲートを容易に形成できる。
ニューラル・ネットワークは、簡単な判別を行うのであれば3層でもよいが、中間層を多数にすることによって、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、9層~152層のものが、学習にかかる時間や判定精度、消費エネルギーの観点から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を行い、最小限の処理で動作し、パターン認識に強い「畳み込み型ニューラル・ネットワーク」を利用してもよい。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」(全結合リカレントニューラルネット)を利用してもよい。
これらの技術を実現するために、CPUやFPGA(Field Programmable Gate Array)等の従来からある汎用的な演算処理回路を使用してもよい。しかし、これに限らず、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したGraphic Processing Unit(GPU)やTensor Processing Unit(TPU)と呼ばれるプロセッサを利用してもよい。近年ではこのような人工知能(AI)専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット(NPU)」がCPU等その他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。
その他、機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するものあり、これ以外にも、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要がある。本実施形態においては、画像の判定を、機械学習によって導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。
図11Aは、深層学習によって推論モデルを生成する過程と、推論モデルを用いて推論を行う過程を示す。図11Aにおいて、一点鎖線より上側は推論エンジン11を用いて推論モデルを生成する様子を示し、一点鎖線より下側は推論エンジン11を用いて推論する様子を示す。
推論エンジン11内には、入力層11aと出力層11cの間に中間層(ニューロン)11bが配置されている。入力層11aには推論対象となる入力画像Iinpが入力される。中間層11bとしては、何層かのニューロンが配置されている。ニューロンの層の数は設計上適宜決められ、また各層におけるニューロンの数も設計上適宜決められる。また、深層学習する際の教師データANは、入力画像Iinpを入力したときに、学習結果として出力されるべきデータである。例えば、桜の開花状況を示すヒートマップ画像の場合には、桜が満開等になっているエリアと投稿数を示すアノテーションAN1~AN3が施されている。深層学習を繰り返し、入力画像Iinpを入力すると、教師データANが示すエリアを出力するように、各ニューロン間の重み付けがなされる。また、深層学習を繰り返す際に、信頼性も算出し、信頼性の低い画像ANlowを除外し、信頼性の高い推論モデルを生成する。
推論エンジン11は、取得したビックデータの時系列変化情報を学習し、ユーザにガイド情報を提供するための推論モデルを作成する推論エンジンとして機能する。推論エンジンは、特定エリア内の地図上において、ビックデータの相関性が高いエリアを、ユーザからガイド情報の提供の依頼を受ける前に、学習よって、推論モデルを生成しておく。推論エンジンは、特定エリア内の地図上において、対象事象をアノテーションし、このアノテーションした地図を画像情報として教師データにし、この教師データを用いて学習を行う
図11Aにおいて一点鎖線の下側に示す推論エンジン11Aには、推論エンジン11によって生成された推論モデルが設定されている。すなわち、推論エンジン11Aの中間層11bは、推論エンジン11によって生成された推論モデルに基づいて、重み付けがなされる。推論エンジン11Aの入力層11aaには、経時相関性の判定対象である入力画像Iinpが入力され、中間層11baに設定された推論モデルによって推論がなされ、出力層11caから出力画像Ioutが出力される。この出力画像HMIoutは、例えば、桜が満開のエリアANoを示す画像である。
図11Bに、桜の花の入力画像I-c以外に、梅の花の入力画像I-pと2年前の入力プ画像I-2を入力した場合の例を示す。また、それぞれの入力画像に対して、アノテーションしたデータを、教師データAN-c、AN-p、AN-2とする。これらの教師データを使用して、推論エンジン11において深層学習を行い、推論モデルを生成する。なお、入力画像I-p、I-p、I-2、および教師データAN-c、AN-p、AN-2は、時間差のある時系列データとする。
図11Bの一点鎖線から下に示す推論エンジン11Aは、図11Aと同様に、推論エンジン11によって生成された推論モデルが設定されている。入力層11aaに、桜、梅、2年前等の画像を入力すると、推論モデルによって推論がなされ、出力層11caから出力画像Ioutが出力される。この推論モデルは、時間差のある教師データAN-c、AN-p、AN-2によって生成されていることから、時間差を考慮した画像が出力される。
次に、図12Aおよび図12Bを用いて、入力画像としてヒートマップ画像HMIを用いた例を示す。ヒートマップ画像HMIは、写真共有ソーシャル・ネットワーキング・サービスが提供するインスタグラムに投稿されたデータ、ソーシャル・ネットワーキング・サービスであるフェースブック(FB)に投稿されたデータ、携帯電話の無線通信サービスを提供するNTTドコモに投稿されたデータから、作成される。図12Aに示されるデータには、それぞれ、桜の満開のエリアの位置をアノテーションし、教師データAN-ins、ANfb、ANdocが作成され、推論エンジン11において深層学習の際に使用される。推論エンジン11の構成および深層学習の仕方は図11Aと同様であり、また推論エンジン11Aによる推論の仕方も図11Aと同様であるので、詳しい説明を省略する。
図12Bは、ヒートマップ画像HMIを、それぞれ写真共有系SNS、日記・呟き系SNS、携帯端末通信会社や交通網管理会社等、データの出所に応じてサブカテゴリーに分け、同一のサブカテゴリーで時系列データを生成することを示す。図12Bでは、それぞれの画像にエリアをアノテーションし、教師データとして示している。サブカテゴリー毎に時系列データを生成し、この時系列データを用いて、推論エンジン11が深層学習を行い、推論モデルを生成する。
このように、経時相関判定部1cに推論エンジン11Aを配置し、時系列化したヒートマップ画像を入力することによって、経時相関を判定することができる。例えば、桜の開花状況を示すヒートマップ画像を推論エンジン11Aに入力することによって、類似しているエリアを簡単に検出することができる。また、サブカテゴリー毎に分類し、それぞれのサブカテゴリー毎の時系列データを用いて相関演算を行うので、全体を混合して相関演算を行う場合に比較し、信頼性を向上させることができる。
また、情報収集源ごとのデータは、それぞれの運営母体や関連サービス団体などが、ユーザとの、あるいは企業、団体間のデータ利用の規約や契約によって、予めルールが出来ているのでリアルタイムで多くのデータを収集しやすく、しかも、その利用ユーザのプロフィールなども管理されていて、特定のプロフィール、嗜好のユーザの行動を分けて判定しやすいというメリットがある。また、情報収集源ごとに利用者の性別や年齢構成がある程度特徴を持っており、ユーザによる分類にも役に立つ。ユーザ分類によって、必要なデータのみを取り出す事ができ、また、ノイズ成分を削除しての高精度の分析や推論が可能となる。
また、情報収集源毎のデータは互いに補い合う関係にあるので、適宜、選別したり補完したりして分析(ここでは特に、経時的な集合の相関判定、ヒートマップ移動予想など)すればよい。例えば、テキストベースの情報源の方が、比較的軽いデータから自然言語での検索が可能である。また、具体的にどのような状況かは、写真系のサービスからの情報の方が分かりやすい情報を提供してくれる。また、意識的な投稿などをせずとも、移動するだけで基地局等の反応が変わる通信会社や駅利用、店舗利用、交通機関利用の情報が分かる交通系電子マネーカードの情報の方が、大量の情報を集めることが可能となる。
次に、図13に示すフローチャートを用いて、AIによる経時変化相関学習の動作について説明する。このフローは、図11Aないし図12Bを用いて説明した深層学習によって推論モデルの生成を行い、この推論モデルを用いてヒートマップ画像の経時変化相関を求めている。このフローを実行するために、図4に示した経時相関判定部1cは、推論エンジン11、11Aを有している。なお、外部の推論エンジンに推論エンジンの生成を依頼してもよい。このフローは、制御部1内において、メモリに記憶されたプログラムに従ってCPU等のプロセッサが制御部1内の各部を制御することによって実現される。
図13に示す経時変化相関学習のフローが開始すると、まず、特定状況ヒートマップ画像を取得する(S51)。ここでは、制御部1は、経時変化相関学習を行うために、ヒートマップ画像を取得する。特定状況としては、例えば、図4のマップM3、図5のマップM14に示すように、ユーザが考慮すべき地図上で表される特定の状況(例えばヒートマップ画像で表せる)を想定している。これは、これから利用する交通機関や駅などで混雑が発生する状況や、桜の開花状況でそのユーザに相応しい観光ルートが紹介できる状況等、特定のガイドすべき事象を示していればよい。考慮すべきエリアだけの情報では、十分な過去のデータが得られない場合があるので、その場合は、同様の環境のエリアを参考にしてもよい(●●空港は新設の空港で、類似設計の△△空港の過去データが参考になる場合とか)。このように複数エリアの情報を集めて分析してもよい。
ヒートマップ画像は、経時変化を調べることを目的としていることから、取得時間の異なる複数の画像である。また、相関関係を算出する画像群は、相関を算出することが、全く意味がないような非類似の画像は望ましくなく、相関を算出できる程度に類似していることが望ましい。
特定ヒートマップ画像を取得すると、次に、それぞれの特定状況ヒートマップ(画像)の同じ場所のN日前のヒートマップを取得する(S53)。ここでは、制御部1は、ステップS51に取得した特手状況のヒートマップと同じ場所で、かつN日前のヒートマップ画像を取得する。なお、同一の場所におけるデータがない場合があり、この場合には複数のエリアのデータを用いてもよい。例えば、●●空港は新設の空港のために、1年前までのデータがあるが、それ以前のデータがない場合には、その空港のヒートマップ変化を使い、類似設計の△△空港のデータが10年前まである場合は、△△空港でヒートマップ変化の分析をすればよい。また、同じ場所に限定すると、十分な教師データが得られないので、類似の環境の場所におけるデータを用いてもよい。類似の環境の場所としては、例えば、広い場所であれば、地形や緯度が似ているとか、人工的な環境下であれば、対象物が存在しうる空間の広さ、高さ、容積、人など対象物の動きの傾向やその密度や、温度、湿度、換気度合い等の空調、のうちの少なくとも一つの情報の類似性を比較して選択すればよい。
ステップS53においてヒートマップ画像を取得すると、それぞれで推論モデルを生成し、この推論モデルの信頼性を判定する(S55)。ここでは、ステップS51において取得した特定ヒートマップ画像と、ステップS53において取得したN日前のヒートマップ画像を用いて、推論エンジン11が推論モデルを生成する。すなわち、ステップS53においてヒートマップ画像を取得すると教師データの数が増やすことができる。数を増やしたヒートマップ画像を教師データとして、N日前のヒートマップにN日前のアノテーションを行い、正しく特定ヒートマップ画像が推論できるかを判定しながら、N日前のヒートマップとN日という情報で、特定ヒートマップが推論できるような推論モデルを生成する。
ステップS55において、推論モデルを生成すると、この推論モデルの信頼性を判定する。具体的には、過去の事例を使った所定のテストデータを用いて、正しくN日後のヒートマップが推論されたかで、この推論モデルの信頼性を判定する。また、信頼性の判定にあたっては、例えば、評価用のデータを用意しておき、この評価用データを推論モデルに入力し、その出力結果に基づいて行ってもよい。
このステップS55では、「1日後ヒートマップ予想」「2日後ヒートマップ予想」・・・と、推論モデルを逐次生成してもよい。この場合には、「N日」と入力すれば、Nを変数としてN日後のヒートマップが推論され、この推論されたヒートマップを提示できるようなやり方でもよい。推論モデルによってヒートマップが予想できれば、例えば、現状のヒートマップを入力すれば、任意の時点の未来のヒートマップが提示できるなど、すでに説明した経時変化DBで参照する方法以外によってのガイドも可能となる。また、現状のヒートマップを入力し得られた推論結果をDBに落とし込んで行けば、すでに説明してきたような経時変化DBを作ることもできる。
ステップS57における判定の結果、信頼性が高ければ、N日を別の日に変更する(S59)。ここでは、制御部1は、ステップS53において取得するヒートマップ画像の日を変更する。N日を変更すると、ステップS53においてN日前のヒートマップ画像を取得し、推論モデルを作成し、この推論モデルの信頼性を判定する。この動作を繰り返すことによって、次第に、特定ヒートマップ画像とヒートマップ画像の相関性が高く、信頼性が高くなってくる。
ステップS57における判定の結果、信頼性が高くない場合には、信頼性の高いN日を決定し、ヒートマップ間の時間差をDBにする(S65)。ステップS57において、信頼性が高いと判定されたN日前のヒートマップ画像を用いて、データベースを作成する。信頼性が高いと判定されたヒートマップ画像が複数ある場合(通常は、複数)には、それぞれのヒートマップ画像の作成時期に応じて、時間差を設けたヒートマップ画像群からなるデータベースを作成する。この時間差のある複数のヒートマップ画像を記憶することによって、例えば、図5、図8に示すような事象予想用のDB(経時相関DB)が生成される。データベースを作成すると、このフローを終了する。
次に、図14に示すフローチャートを用いて、経時変化相関学習の動作の変形例について説明する。図13に示した経時変化相関学習のフローでは、推論モデルの信頼性が低いと、その時点で推論モデルの生成を終了していた。それに対して、図14に示すフローでは、Np日分の推論モデルの生成が終了した後に、M日前の信頼性が低い場合には、その日のヒートマップ画像を教師データから除外し、推論モデルを再生成するようにしている(特にS58Yes、S61、S63参照)。図14のフローは図13のフローと比較すると、ステップS57をS58に変更し、ステップS61およびS63を追加している点が相違する。この相違点を中心に説明する。
なお、除外した教師データを集めて、他の条件も加味し、その情報が同様の条件を示すものである場合、その条件を使って教師データ群やテストデータを作り直し、特定条件の推論を行うようにしてもよい。この場合には、一般的な推論と特殊状況下の二通りの推論が可能となり、条件が揃った時には、更にカスタマイズされて精度の高い推論が可能となる。
図14の経時変化相関学習のフローが開始すると、まず、特定ヒートマップ画像を取得し(S51)、次に、それぞれの特定状況ヒートマップの同じ場所のN日目のヒートマップを取得し(S53)、続いて、それぞれで推論モデルを作成し、信頼性を判定する(S55)。信頼性を判定すると、次に、Np日分について、推論モデルを作成したか否かについて判定する(S58)。前述のステップS51からS55の処理は、予めNp日間について行うこととしているため、制御部1は、このステップにおいて、Np日間について処理を終了したか否かを判定する。なお、Np日は、図6のステップS7と同様に、生成するデータベースの性質や、事象ヒートマップ取得部1aにおいて収集できるデータの範囲等を考慮して、適宜設定すればよい。
ステップS58における判定の結果、Np日分終了していない場合には、N日を変更し(S59)、ステップS53に戻る。ステップS59においてN日を変更しながら、ステップS53からS58を繰り返すことによって、推論モデルが生成される。
ステップS58における判定の結果、Np日分について処理が終了すると、次に、信頼性が低いのはM日前か否かを判定する(S61)。ここでは、ステップS55において行った判定の内、信頼性が所定値よりも低い日を検索し、その信頼性が低い日をM日前とする。所定値としては、推論モデルを作成するにあたって、所定の信頼性を確保できる値とすればよい。
ステップS61における判定の結果、M日前の信頼性が低ければ、その日のヒートマップを教師データから除外する(S63)。この除外したデータを有効利用する方法についてはすでに説明した。ステップS63では除外するのみならず、別の学習のために新しい教師データとして活用するために記録装置に記録するための制御などを行う。推論モデルを作成する際に、取得したヒートマップにアノテーションを行って教師データとして使用する。しかし、M日前のヒートマップを用いて生成された推論モデルの信頼性が低い場合には、この教師データは推論モデルを生成する際に使用しない方がよい。そこで、このM日前のヒートマップを除外して、再度推論モデルを使用することが望ましい。例えば、異常気象の年のヒートマップや、豪雨の日のヒートマップ、吹雪の日のヒートマップなどは信頼性が低い場合もあり得る。また、人が多く集まるイベントなどが開催される日も信頼性が低い場合もあり得る。そのため、天候やイベントなどの情報を用いて信頼性を判断するようにしてもよい。ステップS63において、教師データから除外すると、ステップS51に戻り、M日前のヒートマップを除外して推論モデルを生成する。
ステップS61における判定の結果、信頼性が低くなければ、信頼性の高いN日を決定し、ヒートマップ画像間の時間差も含めて記録することによってデータベース(DB)を作成する(S65)。DBを作成すると、経時変化相関学習のフローを終了する。
このように、図14に示す経時変化相関学習のフローにおいては、Np日分のデータを用いて、推論モデルを生成し終わると、信頼性が低いヒートマップを教師データから削除して、再度、推論モデルを生成するようにしている。このため、信頼性の高い推論モデルを生成することができる。
次に、図15に示す事象予想データベース(DB)を用いて、本実施形態を鉄筋の腐食データベースに応用した例について説明する。橋梁等のコンクリート構造物中には、内部鋼材(鉄筋)が埋設されている。鉄筋は放置していると腐食が進むことから、コンクリート構造物の価値を長期にわたって維持するためには、これを支える鉄筋の腐食速度を正確に把握し、計画的な補修を行うことが望ましい。放置すれば腐食は深刻化し、結果的に莫大な補修費がかかってしまう。しかし、どのタイミングで腐食診断を行うかの判断は、高所や狭い場所での作業となることから、容易ではない。そこで、鉄筋が埋設されているコンクリート構造物を外部から検査し、この検査結果(ヒートマップ画像)の経時変化相関によって、腐食診断や補修のタイミングを予想する。
図15は、橋梁1、橋梁2について、検査日1~検査日4において、それぞれ行った検査結果を示す。この検査は例えば、打音検査があり、三次元打音検査であても二次元打音検査でもよい。図15には、橋梁1の構造体ST1と橋梁2の構造体ST2について、検査日毎の打音検査で、打音した際の反響音の違いが分かるように、検査結果を二次元や三次元のヒートマップで示す。
橋梁1について見ると、検査日1においてエリアGの反響音は他のエリアとは異なっており、検査日2においてエリアHの反響音は他のエリアとは異なっており、検査日3においてエリアJ、Kの反響音は他のエリアとは異なっている。これらの検査日ごとの検査結果をヒートマップ画像とする。これらのヒートマップ画像と、腐食診断が必要となるときのヒートマップ画像の経時変化相関を判定すると、腐食診断が必要なる時期、また腐食防止のための補修工事を行う時期を予想することができる。橋梁1について、検査日1、2のヒートマップ画像の経時変化相関を判定することによって、検査日3には腐食診断が必要と予想され、また検査日4には補修工事の開始が必要と予想することができる。
橋梁2については、検査日1においては検査記録がなく、検査日2においてエリアLが、検査日3においてエリアOが、検査日3においてエリアP、Qの反響音が他のエリアとは異なっている。これらの検査日2、3のヒートマップ画像の経時変化相関を判定することによって、検査日4には腐食診断が必要と予想することができる。
このように、図15に示す例では、打音検査の結果に基づくヒートマップ画像を取得することによって、腐食診断の必要なタイミングや、補修工事を行うタイミングを事前に予想することができる。すなわち、早めに補修工事の見積もりを行うことができ、腐食による大規模な工事を防止することができる。
以上説明したように、本発明の一実施形態においては、ユーザの行動や興味の対象事象に応じた基準エリアを決定しと、特定の時点における基準エリア内の対象事象の分布を表す基準対象事象ヒートマップを取得するステップ(例えば、図2のS101、図9のS21参照)と、基準対象事象ヒートマップと、類似同一もしくは類似エリアにおけるヒートマップの過去の経時変化を示したデータベースを参照して、特定の時点より時間経過した時点における対象事象の状況を推定するステップ(例えば、図2のS111、図9のS29参照)を有するユーザガイド方法を提供することができる。このため、特定の位置における対象物情報の変化を予想し、ユーザの行動を補助することができる。
また、本発明の一実施形態においては、時系列で得られた特定位置範囲内における対象事象の分布情報を取得し(例えば、図6のS3参照)、取得した対象事象の分布情報の経時的な相関性を判定し(例えば、図6のS5参照)、経時的な相関性の判定結果によって得られた経時相関データベースによってガイド情報を検索し、表示している(例えば、図6のS11、図9のS29等参照)。このため、地図等の二次元または三次元空間上、あるいは特定のエリアにおいて情報の変化を予想し、ユーザの行動を補助することができる。
なお、本発明の一実施形態においては、経時相関データベース作成システムとして、桜の開花状況に関するデータベースや、橋梁等における鉄筋の腐食状態に関するデータベースを作成する例について説明した。しかし、これに限らず、二次元または三次元のヒートマップを作成し、このヒートマップの経時的相関関係から事象を予想するモデルに対して、本実施形態を応用することができる。例えば、繁華街等において混雑度合いを予想する場合にも本実施形態を応用することができる。また、前立腺癌等の生体組織の変化の相関関係を判定することによって、検査日の予想等を行うことができる。また、工場内の配管の劣化予想、ジェットエンジンやガソリンエンジン等可動部の劣化予想、病原菌や風邪等の感染予想、天候の予想等、二次元または三次元空間において、時間的な状態の変化を人マップとして作成し、このヒートマップの経時的相関関係から事象を予想することもできる。
また、本発明の一実施形態においては、ヒートマップ画像の経時相関判定を行い、経時相関データベースを作成していた。しかし、相関判定の対象は画像に限らず、データであっても勿論構わない。すなわち、画像そのものでなくても、データ同士の相関演算を行うようにしてもよい。また、経時相関データベースは、日単位で作成する場合を取得して説明したが、日単位に限らず、年単位でも月単位でも時間単位でも分単位でも秒単位でも適宜、設定することができる。例えば、津波や河川の氾濫による橋の崩落予知などは秒単位の精度が求められる。また、本実施形態においては、M日後の予想を行っていたが、日単位に限らず、年単位、月単位、時間単位等、適宜、予想するようにしてもよい。
また、近年は、様々な判断基準を一括して判定できるような人工知能が用いられる事が多く、ここで示したフローチャートの各分岐などを一括して行うような改良もまた、本発明の範疇に入るものであることは言うまでもない。そうした制御に対して、ユーザが善し悪しを入力可能であれば、ユーザの嗜好を学習して、そのユーザにふさわしい方向に、本願で示した実施形態はカスタマイズすることが可能である。
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを通じてダウンロードしたものでもよい。
また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせによって、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
1・・・制御部、1a・・・事象ヒートマップ取得部、1b・・・時系列整理部、1c・・・経時相関判定部、1d・・・判定結果出力部1d、2a・・・端末群、2b・・・通信サービス、2c・・・SNSサービス、2d・・・集計システム、3・・・ガイド部、4・・・ユーザ端末、11・・・推論エンジン、11a・・・入力層、11b・・・中間層、11c・・・出力層、11A・・・推論エンジン、11aa・・・入力層、11ba・・・中間層、11ca・・・出力層

Claims (25)

  1. ユーザの行動や興味の対象事象に応じた基準エリアを決定するステップと、
    特定の時点における上記基準エリア内の上記対象事象の分布を表す基準対象事象ヒートマップを取得するステップと、
    上記基準対象事象ヒートマップと、類似同一もしくは類似エリアにおけるヒートマップの過去の経時変化を示したデータベースを参照して、上記特定の時点から時間経過した時点における対象事象の状況を推定するステップと、
    を有することを特徴とするユーザガイド方法。
  2. 上記ヒートマップは、上記基準エリアにおいて、地形、施設や道など上記対象事象の経時変化に影響や制約を与える環境構成物の配置情報を含むことを特徴とする請求項1に記載のユーザガイド方法。
  3. 上記ユーザの行動や興味の対象事象とは、ユーザの行動を記録した履歴情報、または健康パラメータと環境との関係を記録した履歴情報から得られる情報であり、また上記ユーザの行動や興味の対象事象に応じた基準エリアとは、当該ユーザのこれからの行動範囲によって決まるエリアであることを特徴とする請求項1に記載のユーザガイド方法。
  4. 異なる複数の時刻において特定エリア内における対象事象の分布情報を取得する取得部と、
    上記取得部で取得した特定エリア内の対象事象の分布情報を用いて、上記対象事象の分布のパターンの時間変化および/または分布のパターンの移動の傾向の継続に基づいて、経時的な相関性を判定する経時相関判定部と、
    上記経時的な相関性の判定結果によって得られた経時相関データベースから、ガイド情報を検索する検索部と、
    を有することを特徴とするガイド検索装置。
  5. 上記対象事象の分布パターンは、上記対象事象を構成する対象物の存在位置と密度を二次元パターンや色で表現するヒートマップとして表現され、
    上記経時相関判定部は、上記ヒートマップの中に現れた二次元パターンの面積や色の時間変化や、移動の方向性の連続性に従って、上記経時相関を判定することを特徴とする請求項4に記載のガイド検索装置。
  6. 上記経時相関判定部は、上記取得部において取得した特定エリア内の対象事象の分布情報を用いて、上記対象事象の分布の複数のパターンの重なりの時間変化傾向に基づいて、経時的な相関性を判定することを特徴とする請求項4に記載のガイド検索装置。
  7. 上記経時相関判定部は、上記対象事象の分布情報の経時的な相関性を、上記ガイド情報に対応する上記対象事象の分布情報に対して、時間的に遡った上記対象事象の分布情報にしたがって判定することを特徴とする請求項4に記載のガイド検索装置。
  8. 上記経時相関判定部は、上記対象事象は複数のカテゴリーに分類可能であり、それぞれのカテゴリーごとに経時相関を判定することを特徴とする請求項4に記載のガイド検索装置。
  9. 上記経時相関判定部は、上記特定エリアにおけるイベント情報や環境の情報にしたがって経時相関を判定することを特徴とする請求項4に記載のガイド検索装置。
  10. 上記経時相関判定部は、上記ガイド情報に対応する上記対象事象の分布情報に対して、時間的に遡った上記対象事象の分布情報の時間差をアノテーションして教師データを作成し、この教師データを用いて学習した時の信頼性の高さに基づいて、上記対称分布情報の連続性を判定することを特徴とする請求項4に記載のガイド検索装置。
  11. 上記経時相関判定部は、対象事象の分布情報の経時的な相関性を、上記ガイド情報に対応する上記対象事象の分布情報に対して、時間的に遡った上記対象事象の分布情報の重なりが予め決められた特定の割合で近似するかによって判定することを特徴とする請求項4に記載のガイド検索装置。
  12. 上記経時相関性判定部は、上記複数の時刻のうち比較的近い時刻の分布情報同士の類似性に基づいて、上記経時相関を判定することを特徴とする請求項4に記載のガイド検索装置。
  13. 上記検索部によって検索された上記ガイド情報を外部に出力する出力部を有することを特徴とする請求項4に記載のガイド検索装置。
  14. 上記検索部は、上記経時相関データベースに基づいて、予測の限界を判定することを特徴とする請求項4に記載のガイド検索装置。
  15. 上記検索部は、上記対象事象の分布情報の連続性または類似性が保たれている範囲を、または相関演算の推論結果の信頼性が所定値より高い範囲を、上記予測の範囲内とすることを特徴とする請求項14に記載のガイド検索装置。
  16. 上記取得部は、上記特定エリア内の空間上に現れたビッグデータを取得し、
    上記ガイド検索装置は、更に、
    上記取得したビックデータの時系列変化情報を学習し、ユーザにガイド情報を提供するための推論モデルを作成する推論エンジンを有することを特徴とする請求項4に記載のガイド検索装置。
  17. 上記推論エンジンは、上記特定エリア内の地図上において、上記ビックデータの相関性が高いエリアを、ユーザから上記ガイド情報の提供の依頼を受ける前に、学習よって、推論モデルを生成しておくことを特徴とする請求項4に記載のガイド検索装置。
  18. 上記推論エンジンは、上記特定エリア内の地図上において、対象事象をアノテーションし、このアノテーションした地図を教師データにし、この教師データを用いて学習を行うことを特徴とする請求項16または17に記載のガイド検索装置。
  19. 上記検索部は、上記特定エリア内の地図上において、上記対象事象分布の経時的な相関性に基づいて、所定日後のお薦めのルートを検索することを特徴とする請求項4に記載のガイド検索装置。
  20. 上記検索部は、ユーザの行動を判定し、この判定されたユーザの行動に基づいて、経時相関データベースから、ガイド情報を検索することを特徴とする請求項4に記載のガイド検索装置。
  21. 上記経時相関判定部は、ユーザの嗜好および忌避項目を考慮して、対象事象の分布情報の経時的な相関性を判定することを特徴とする請求項4に記載のガイド検索装置。
  22. 上記ユーザの嗜好および忌避項目とは、ユーザの行動を記録した履歴情報、または健康パラメータと環境との関係を記録した履歴情報から得られる情報であることを特徴とする請求項21に記載のガイド検索装置。
  23. 時系列で得られた特定位置範囲内における対象事象の分布情報を取得し、
    取得した上記対象事象の分布情報の経時的な相関性を判定し、
    上記経時的な相関性の判定結果によって得られた経時相関データベースからガイド情報を検索する、
    ことを特徴とするガイド検索方法。
  24. 時系列で得られた特定位置範囲内における対象事象の分布情報を取得し、
    取得した上記対象事象の分布情報の経時的な相関性を判定し、
    上記経時的な相関性の判定結果によって得られた経時相関データベースからガイド情報を検索する、
    ことをコンピュータに実行させることを特徴とするプログラム。
  25. 時系列で得られた特定位置範囲内における対象事象の分布情報を取得する取得部と、
    取得した上記対象事象の分布情報の経時的な相関性を判定する判定部と、
    上記経時的な相関性の判定結果によって得られた経時相関データベースからガイド情報を検索する検索部と、
    を有することを特徴とするガイド検索システム。
JP2020127071A 2020-07-28 2020-07-28 ユーザガイド方法、ガイド検索装置およびガイド検索方法 Pending JP2022024456A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020127071A JP2022024456A (ja) 2020-07-28 2020-07-28 ユーザガイド方法、ガイド検索装置およびガイド検索方法
US17/346,114 US20220035874A1 (en) 2020-07-28 2021-06-11 User guide method, guide retrieval device, and guide retrieval method
CN202110843299.7A CN114003802A (zh) 2020-07-28 2021-07-26 用户引导方法、引导检索装置、方法、系统及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020127071A JP2022024456A (ja) 2020-07-28 2020-07-28 ユーザガイド方法、ガイド検索装置およびガイド検索方法

Publications (1)

Publication Number Publication Date
JP2022024456A true JP2022024456A (ja) 2022-02-09

Family

ID=79920995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020127071A Pending JP2022024456A (ja) 2020-07-28 2020-07-28 ユーザガイド方法、ガイド検索装置およびガイド検索方法

Country Status (3)

Country Link
US (1) US20220035874A1 (ja)
JP (1) JP2022024456A (ja)
CN (1) CN114003802A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
CN116739838B (zh) * 2023-05-06 2024-03-08 广州圈量网络信息科技有限公司 一种地理位置智能分析的客流量分流系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8738638B1 (en) * 2011-04-06 2014-05-27 Google Inc. Map usage visualization
WO2012174230A1 (en) * 2011-06-14 2012-12-20 Sickweather, Llc Social networking aggregator to track illnesses
CA2936876A1 (en) * 2015-07-22 2017-01-22 Radicalogic Technologies, Inc. Dba Rl Solutions Systems and methods for near-real or real-time contact tracing
US10818384B1 (en) * 2018-02-20 2020-10-27 Verily Life Sciences Llc Valence profiling of virtual interactive objects
US20220028557A1 (en) * 2020-07-22 2022-01-27 Pandemic Insights, Inc. Natural-language text generation with pandemic-bio-surveillance multi pathogen systems

Also Published As

Publication number Publication date
CN114003802A (zh) 2022-02-01
US20220035874A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
KR102162522B1 (ko) 맞춤형 의료 정보 제공 장치 및 방법
JP2022024456A (ja) ユーザガイド方法、ガイド検索装置およびガイド検索方法
KR102229546B1 (ko) 상황 인식 컴플라이언스 모니터링
CN104750768B (zh) 用于从社交媒体中识别、监控和排名事件的方法和系统
WO2010066033A1 (en) Disease mapping and infection control system and method
JP6171388B2 (ja) ナビゲーションシステム、ナビゲーション方法、及びナビゲーションプログラム
Ma et al. A novel spatial–temporal specification-based monitoring system for smart cities
WO2016067369A1 (ja) 人流分析システムおよび人流分析方法
JP7025131B2 (ja) コンピュータプログラム、端末、方法およびサーバ
KR20210117697A (ko) Ai 기반 전염병 위험 알림 시스템
Wu et al. A green view index for urban transportation: How much greenery do we view while moving around in cities?
CN106203694A (zh) 场所拥挤度预测模型建立、场所拥挤度预测方法和装置
US20220336110A1 (en) Case sift and cluster sift for outbreak tracking and management
Mantouka et al. Deep survival analysis of searching for on-street parking in urban areas
Gong et al. CARESim: An integrated agent-based simulation environment for crime analysis and risk evaluation (CARE)
Ibrahim et al. From GPS to semantic data: how and why—a framework for enriching smartphone trajectories
Dimitriou et al. Dynamic estimation of optimal dispatching locations for taxi services in mega-cities based on detailed GPS information
Zhong et al. Analyzing passenger travel demand related to the transportation hub inside a city area using mobile phone data
JP2014190952A (ja) ナビゲーションシステム、ナビゲーション方法、及びナビゲーションプログラム
Rouamba et al. Addressing challenges in routine health data reporting in Burkina Faso through Bayesian spatiotemporal prediction of weekly clinical malaria incidence
Barceló et al. Traffic data collection and its standardization
Outay et al. Random forest models for motorcycle accident prediction using naturalistic driving based big data
Marks et al. Identifying and labeling potentially risky driving: A multistage process using real-world driving data
Shou et al. Crowdq: Predicting the queue state of hospital emergency department using crowdsensing mobility data-driven models
CN109903173A (zh) 一种保险业务的处理方法、装置、设备及系统