JP2023168640A - 地理的情報推定装置、地理的情報推定方法、不動産物件検索サーバ、及び不動産物件検索方法、並びに該方法を実行するためのコンピュータプログラム - Google Patents

Abstract

【課題】ユーザが提示した画像データを用いて、希望する不動産物件を効果的に検索し提示する不動産物件検索サーバ、プログラム及び地理的情報推定装置を提供する。【解決手段】不動産物件検索システムにおいて、ユーザから与えられる検索クエリに基づいて、ユーザに適合した不動産物件を提示する不動産物件検索サーバは、不動産物件情報を記憶する不動産物件データベースと、ユーザの情報通信端末装置から街並み風景の画像データを含む検索クエリを受信する受信部と、検索クエリに含まれる画像データに基づいて、地理的情報を取得する地理的情報取得部及び検索クエリと取得された前記地理的情報とに基づく新たな検索クエリに基づいて、不動産物件データベースを検索し、少なくとも１つの不動産物件を抽出する検索実行部を含む検索エンジン部と、抽出された少なくとも１つの不動産物件を情報通信端末装置に送信する送信部と、を備える。【選択図】図６

Description

本発明は、地理的情報の推定技術に関し、特に、街並み風景の画像データに基づいて地理的情報を推定する装置及び方法に関する。また、本発明は、該推定技術が適合された不動産物件の検索技術に関し、特に、不動産物件検索サーバ及び不動産物件検索方法並びに該方法を実行するためのコンピュータプログラムに関する。

一般に、不動産売買取引の多くは、不動産仲介業者が、不動産物件（以下では単に「物件」ということもある。）の売却希望者又は賃貸し希望者（以下「売却等希望者」という。）と購入希望者又は賃借り希望者（以下「購入等希望者」という。）との間を仲介して行われる。すなわち、不動産仲介業者は、売却等希望者から売却物件や賃貸物件を広く募集して、不動産物件に関する情報を例えば不動産流通機構が提供する不動産データベースシステムに登録したり、インターネット上の不動産ポータルサイトや新聞広告媒体等に出稿したりする一方、広く購入等希望者を募集して顧客である購入等希望者を獲得し、売買又は賃貸取引（以下「売買等取引」という。）を仲介する。不動産物件に関する情報は、例えば、建物種別（戸建て、マンション等）、住所、用途地域種、価格、土地面積、間取り、設備、築年数、最寄り駅からの距離（時間）、及び住環境（学校、店舗等）といった種々の属性情報を含む。

購入等希望者は、例えば不動産ポータルサイト上の検索で、希望の不動産物件を探し出す場合、住みたい地域（街）や建物種別、価格、部屋の間取り等といった希望する物件に関する検索条件を適宜に入力する。不動産ポータルサイトは、入力された検索条件にマッチした不動産物件の候補を購入等希望者に提示又はリコメンドし、購入等希望者は、提示された候補を参考に、該不動産物件を取り扱う不動産仲介業者に接触する。

例えば、下記特許文献１は、利用者の条件に合う不動産物件情報を容易に見付け出すことができるインターネットによる不動産物件情報検索システムを開示する。具体的には、登録代行業者は、不動産物件情報を各種の条件で評価し、その評価情報を不動産物件情報に関連付けてデータベースに登録し、インターネットのホームページ上に公開する。利用者は、該ホームページをアクセスし、設定画面の希望条件入力エリアに希望条件を入力すると共に優先順位設定に優先順位を設定して検索を指示する。ホームページのサーバは、該検索条件の優先度に基づいてデータベースの不動産物件を総合評価して検索し、総合評価の高いものから順に、総合評価点と共に利用者の端末装置に表示する。

ところで、近年は、種々の画像認識技術が研究されており、例えば、下記非特許文献１は、サポートベクターマシンやニューラルネットワーク等の教師あり学習に基づく人工知能モデル（機械学習モデル）を用いて、与えられた１つの画像フレームのデータから地理的情報を推定する画像認識技術を開示している。

特開２００２－２６９１０８号公報

Ｊ．Ｈａｙｓ ｅｔ ａｌ．，"ＩＭ２ＧＰＳ： ｅｓｔｉｍａｔｉｎｇ ｇｅｏｇｒａｐｈｉｃ ｉｎｆｏｒｍａｔｉｏｎ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｉｍａｇｅ"，Ｉｎ Ｐｒｏｃ． ｏｆ ＣＶＰＲ’０８，２００８

上記従来の不動産ポータルサイトは、検索のために指定可能な検索条件が定型的・画一的であり、また、購入等希望者（ユーザ）が高度な検索をしようとすればするほど、複雑な検索条件を指定しなければならず、不動産ポータルサイトに慣れていないユーザにとって使い勝手が必ずしも良いとはいえなかった。例えば、ユーザは、検索条件の中に住みたいと思う街（エリア）を具体的に指定することができても、その街に似た街まで検索しようとすると、思いつく限りの街を個別具体的に列挙して指定しなければならなかった。したがって、その街に似た街をユーザが知らなければ、ユーザはそもそも検索条件に指定することができず、そのような街の雰囲気（街並み・風景など）を持った街というような人間の感性に沿った検索条件を指定することができなかった。

一方、上記したように地理的情報を推定する人工知能モデルは、その機械学習のために、画像データとこれが示す地理的情報（ラベル）とがペアになった大量の訓練データ（教師データ）を必要とする。例えば、ＥＸＩＦ（Exchangeable Image File Format）は、画像が撮影された時の緯度／経度等といったメタデータを画像ファイルに埋め込む技術であり、このようなＥＸＩＦ情報付きの画像ファイルを収集し、これを教師データとして用いることによって機械学習が可能になる。このため、インターネット上のＳＮＳ（Social Networking System）に存在する大量の画像ファイルが注目される。

しかしながら、ＥＸＩＦ情報の解析は、個人を特定し得ることになるためプライバシー侵害の恐れがあり、また、一般には、このようなＳＮＳにアップロードされた画像ファイルはＥＸＩＦ情報が削除されている。したがって、実際問題として、画像データと地理的情報とがペアになった大量の教師データをインターネット上のＳＮＳから収集することは非常に困難であり、推定精度の高い教師あり学習に基づく人工知能モデルを効率的に作成することは困難であった。

また、街並み風景の画像データから地理的情報を推定することは、当業者にとって、非常に難易度の高い画像処理タスクであることが知られている。しかしながら、どの街並みにも似たような風景が存在する傾向があり、単一の画像データを人工知能モデルに入力したとしても、その画像データに含まれる画像の特徴量だけでは、住所や地名等の地理的情報を精度よく推定することが困難であるという問題がある。したがって、現状、ユーザから提供される街並み風景の画像データを用いて地理的情報を推定又は導出し、該地理的情報に関連する不動産物件を検索するサービスは存在しない。

また、不動産物件の検索サービスにユーザから提供される画像データを用いることを想定した場合、ユーザからは単一の画像データの入力が想定される一方、推定精度の向上のために複数の画像データの入力をユーザに要求すると、煩雑さを嫌気され、このような検索サービスの利用が促進されないおそれがある。

更に、実際の街並み風景は種々の要因で時間の経過とともに変化し得ることから、過去の教師データを用いて機械学習された人工知能モデルは、時間の経過とともに推定精度が低下するという問題がある。加えて、そのような街並み風景は季節的要因や撮影日時等によっても大きく印象が異なるため、推定精度に影響を与える。

そこで、本発明は、ユーザに適合する不動産物件を全く新しい観点で提示又はリコメンドし得る不動産物件の検索技術を提供することを目的とする。

より具体的には、本発明の目的の一つは、ユーザが住みたい街の雰囲気（街並み風景）からそのような街の候補を精度良く推定し、推定された街に関連する不動産物件を検索により見つけ出すことができる不動産物件の検索技術を提供することである。

また、本発明の目的の一つは、街並み風景の画像データに基づいて、ユーザが希望する不動産物件を検索により見つけ出すことができる不動産物件の検索技術を提供することである。

また、本発明の目的の一つは、街並み風景の画像データに基づいて街等を示す地理的情報を精度良く推定することができる機械学習モデル（人工知能モデル）を構築し、提供することである。

また、本発明の目的の一つは、街並み風景の画像データに基づく地理的情報の推定において時間の経過等による街並み風景の変化に起因する推定精度の低下を抑制しつつ、ユーザが希望する不動産物件を検索により見つけ出すことができる不動産物件の検索技術を提案することである。

上記課題を解決するための本発明は、以下に示す発明特定事項乃至は技術的特徴を含んで構成される。

ある観点に従う本発明は、ユーザから与えられる検索クエリに応答して前記ユーザに適合した不動産物件を提示する不動産物件検索サーバである。前記不動産物件検索サーバは、前記ユーザの情報通信端末装置から街並み風景の画像データを含む前記検索クエリを受信する受信部と、前記検索クエリに含まれる前記画像データに基づいて、地理的情報を取得する地理的情報取得部と、前記検索クエリと取得された前記地理的情報とに基づく新たな検索クエリに基づいて、前記不動産物件に関する不動産物件情報を記憶した不動産物件データベースを検索し、少なくとも１つの不動産物件を抽出する検索実行部と、抽出された前記少なくとも１つの不動産物件を前記情報通信端末装置に送信する送信部と、を備える。

ここで、前記地理的情報取得部は、入力される前記画像データに基づく第１の地理的情報及び前記ユーザに類似するユーザ群のユーザ情報に基づいて前記地理的情報として取得し得る。

また、前記地理的情報取得部は、入力される前記画像データに対して前記第１の地理的情報を推定するように、第１の機械学習アルゴリズムに従って機械学習が行われた第１の地理的情報推定モデルと、入力される複数のユーザのユーザ情報に対して該ユーザ情報どうしが類似する傾向を有するユーザ群を推定するように、第２の機械学習アルゴリズムに従って機械学習が行われた類似ユーザ推定モデルと、入力される前記第１の地理的情報及び推定された前記ユーザ群の前記ユーザ情報に対して第２の地理的情報を推定するように、第３の機械学習アルゴリズムに従って機械学習が行われた第２の地理的情報推定モデルとを備え得る。そして、前記地理的情報取得部は、推定された前記第２の地理的情報を前記地理的情報として取得又は出力し得る。

また、前記地理的情報取得部は、３６０度全天球画像データに基づいて、前記第１の地理的情報推定モデルに対する前記機械学習を行うための訓練用画像データを生成する訓練用画像データ生成部を更に備え得る。

前記訓練用画像データ生成部は、前記３６０度全天球画像データから複数の方向のそれぞれの平面画像データを前記訓練用画像データとして抽出し得る。

また、前記訓練用画像データ生成部は、前記複数の方向のそれぞれの前記平面画像データに基づいて、該平面画像データが示す画像の全体領域に対する特徴的な情報を示す領域以外の領域の占有率を算出し得る。そして、前記訓練用画像データ生成部は、算出された前記占有率が所定のしきい値を下回る該平面画像データを前記訓練データとして抽出し得る。

前記第１の地理的情報推定モデルは、推定された前記第１の地理的情報を自己の入力としてフィードバックする回帰型機械学習モデルであり得る。

また、前記第１の地理的情報推定モデルは、前記ユーザに類似する他のユーザによる検索において得られた地理的情報を前記自己の入力の初期値として用い得る。ここで、前記他のユーザは、前記類似ユーザ推定モデルにより推定された前記ユーザ群における一のユーザであり得る。

前記類似ユーザ推定モデルは、協調フィルタリング、連関規則、及びＫ平均法のうちの少なくとも１つの手法を用いて、前記ユーザをクラスタリングすることにより推定し得る。

また、前記第２の地理的情報推定モデルは、分類型機械学習モデルであり得る。

更に、前記不動産物件検索サーバは、取得された前記地理的情報の正答率が所定のしきい値を下回る場合に、前記第１の地理的情報推定モデルに対する前記機械学習が再度行われるように制御する機械学習制御部を更に備え得る。この場合、前記第１の地理的情報推定モデルは、前記ユーザの行動に基づいて、再度の前記機械学習を施され得る。

また、別の観点に従う本発明は、画像データに基づいて地理的情報を推定する地理的情報推定装置である。前記地理的情報推定装置は、入力される画像データに対して第１の地理的情報を推定するように、第１の機械学習アルゴリズムに従って機械学習が行われた第１の地理的情報推定モデルと、入力される複数のユーザのユーザ情報に対して該ユーザ情報どうしが類似する傾向を有するユーザ群を推定するように、第２の機械学習アルゴリズムに従って機械学習が行われた類似ユーザ推定モデルと、入力される地理的情報及びユーザ情報に対して第２の地理的情報を推定するように、第３の機械学習アルゴリズムに従って機械学習が行われた第２の地理的情報推定モデルとを備える。

更に、別の観点に従う本発明は、不動産物件検索サーバにより実行される不動産物件検索方法である。前記不動産物件検索方法は、ユーザの情報通信端末装置から街並み風景の画像データを含む検索クエリを受信することと、前記検索クエリに含まれる前記画像データに基づいて、地理的情報を取得することと、前記検索クエリと取得された前記地理的情報とに基づく新たな検索クエリに基づいて、前記不動産物件に関する不動産物件情報を記憶した不動産物件データベースを検索し、少なくとも１つの不動産物件を抽出することと、抽出された前記少なくとも１つの不動産物件を前記情報通信端末装置に送信することと、を含む。

更に、別の観点に従う本発明は、画像データに基づいて地理的情報を推定する地理的情報推定モデルの構築方法であり得る。

更に、別の観点に従う本発明は、前記構築方法により構築された前記地理的情報推定モデルを用いた地理的情報推定方法であり得る。

更に、別の観点に従う本発明は、コンピューティングデバイスに、プロセッサの制御の下、前記いずれかの方法を実現させるためのコンピュータプログラム又は前記コンピュータプログラムを非一時的に記録したコンピュータ読み取り可能な記録媒体であり得る。

なお、本開示において、「手段」とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段が有する機能が２つ以上の物理的手段により実現されても、２つ以上の手段の機能が１つの物理的手段により実現されても良い。

また、本開示において、「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物を含み、各装置や機能モジュールが物理的に単一の物として構成されるか又は別体の物として構成されるかは問わない。

本発明によれば、ユーザに適合する不動産物件を全く新しい観点で提示又はリコメンドし得る不動産物件の検索技術が提供される。とりわけ、本発明によれば、街並み風景の画像データに基づいて街等を示す地理的情報を精度良く推定することができる機械学習モデル（人工知能モデル）が提供される。

また、本発明によれば、ユーザが住みたい街の雰囲気（街並み風景）からそのような街の候補を精度良く推定し、推定された街に関連する不動産物件を検索により抽出し、抽出される不動産物件をユーザに提示又はリコメンドすることができるようになる。

また、本発明によれば、街並み風景の画像データに基づいて、ユーザが希望する不動産物件を検索により抽出し、抽出される不動産物件をユーザに提示又はリコメンドすることができるようになる。

また、本発明によれば、時間の経過等とともに変化し得る街並み風景の画像データを機械学習に用いる場合であっても、時間の経過等による推定精度の低下を抑制しつつユーザが希望する不動産物件の検索を検索により抽出し、抽出される不動産物件をユーザに提示又はリコメンドすることができるようになる。

また、本発明によれば、時間の経過等とともに変化し得る街並みの風景等を示す画像データを機械学習に用いる場合であっても、時間の経過等による推定精度の低下を抑制しつつユーザが希望する不動産物件を検索により抽出することができるようになる。

本発明の他の技術的特徴、目的、及び作用効果乃至は利点は、添付した図面を参照して説明される以下の実施形態により明らかにされる。

図１は、本発明の一実施形態に係る不動産物件検索システムの構成の一例を示すブロックダイアグラムである。 図２は、本発明の一実施形態に係る不動産物件検索サーバに関連付けられる不動産物件データベースのデータ構造の一例を示す図である。 図３は、本発明の一実施形態に係る不動産物件検索サーバに関連付けられる画像データベースのデータ構造の一例を示す図である。 図４は、本発明の一実施形態に係る不動産物件検索サーバに関連付けられるユーザ情報データベースのデータ構造の一例を示す図である。 図５は、本発明の一実施形態に係る不動産物件検索サーバの機能的構成の一例を示すブロックダイアグラムである。 図６は、本発明の一実施形態に係る不動産物件検索サーバにおける地理的情報取得部の機能的構成の一例を示すブロックダイアグラムである。 図７は、本発明の一実施形態に係る不動産物件検索サーバにおける地理的情報取得部の機能的構成の一例を示すブロックダイアグラムである。 図８は、本発明の一実施形態に係る不動産物件検索サーバの機械学習モデルによるクラスタリングの一例を説明するための図である。 図９は、本発明の一実施形態に係る不動産物件検索サーバのハードウェア構成の一例を示す図である。 図１０は、本発明の一実施形態に係る不動産物件検索サーバの動作の一例を示すフローチャートである。 図１１は、本発明の一実施形態に係る不動産物件検索システムにおける検索条件入力画面の一例を示す図である。 図１２は、本発明の一実施形態に係る不動産物件検索システムにおける検索結果画面の一例を示す図である。 図１３は、本発明の一実施形態に係る不動産物件検索サーバによる検索処理の一例を示すフローチャートである。 図１４は、本発明の一実施形態に係る不動産物件検索サーバによる地理的情報の推定処理の一例を示すフローチャートである。 図１５は、本発明の一実施形態に係る不動産物件検索システムにおけるコンピューティングデバイスのハードウェア構成の一例を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。本発明は、その趣旨を逸脱しない範囲で種々変形（例えば各実施形態を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

（全体システムの構成）
図１は、本発明の一実施形態に係る不動産物件検索システムの概略的構成の一例を示すブロックダイアグラムである。同図に示すように、不動産物件検索システム１は、例えば、通信ネットワーク１０を介して相互に通信可能に接続された、不動産物件検索サーバ２０と、情報通信端末装置４０とを含み構成され得る。不動産物件検索サーバ２０は、各種のデータベース３０にアクセス可能に構成される。

通信ネットワーク１０は、ノード間の通信を可能とする任意のプロトコルのネットワークである。通信ネットワーク１０は、例えば、ＩＰベースのコンピュータネットワーク（ＩＰネットワーク）１２及びゲートウェイＧＷを介してこれに接続される移動通信システム規格に準拠した移動通信ネットワーク１４を含み得る。インターネットは、通信ネットワーク１０の一例である。また、通信ネットワーク１０は、図示されていない無線基地局によって構築される無線ネットワーク（例えばＷｉ－Ｆｉ（登録商標））を含み得る。通信ネットワーク１０上の装置（ノード）間の通信は、必要に応じて、ＳＳＬ／ＴＬＳ等のセキュアな通信技術が適用され得る。

不動産物件検索サーバ２０は、情報通信端末装置４０から送信される検索クエリに応答して、不動産物件データベース２２１を検索して不動産物件を抽出し、抽出した不動産物件を検索結果として情報通信端末装置４０に送信するコンピューティングデバイスである。不動産物件検索サーバ２０は、例えば、プロセッサの制御の下、所定のサーバ制御プログラムの実行により、インターネット上に不動産物件検索サイトを提供するＷｅｂサーバとして機能する。このようなコンピューティングデバイスのハードウェア構成は、図１５に例示されるが、当業者にとって自明であるため、その詳細な説明は省略する。後述するように、不動産物件検索サーバ２０は、検索クエリに含まれる又は関連付けられた街並み風景の画像データに基づいて購入等希望者（ユーザ）が住みたい街を推定し、該推定した街を検索条件に加えて、検索を実行する。不動産物件検索サーバ２０は、情報通信端末装置４０との通信セッションを管理し、ユーザを追跡するために、例えばＨＴＴＰ Ｃｏｏｋｉｅ（以下「Ｃｏｏｋｉｅ」という。）を利用する。

データベース３０は、例えば、不動産物件データベース３１、画像データベース３２、及びユーザ情報データベース３３等を含み得る。データベース３０の全部又は一部は、不動産物件検索サーバ２０の一部として構成されても良いし、或いは、別体として構成されても良い。

不動産物件データベース３１は、不動産の売却等希望者から提供された不動産物件に関する情報（以下「不動産物件情報」又は単に「物件情報」という。）を格納し、管理するデータベースシステムである。不動産物件情報は、不動産物件の売買等取引で扱われる種々の情報を含み、メディアタイプは限定されない。不動産物件情報は、例えば不動産業者やその委託を受けた者により手動或いは半自動で又は自動で不動産物件データベース３１に登録されるが、これに限られない。

画像データベース３２は、画像データを格納し、管理するデータベースシステムである。画像データベース３２に格納される画像データは、地理的情報が関連付けられた街並み風景に関するデータであり、後述するように、地理的情報を推定するための機械学習モデルに対する機械学習に用いるための訓練データ（教師データ）として利用される。以下では、訓練データとして用いられる画像データを「訓練用画像データ」と称する。訓練用画像データは、例えば、画像そのものの実体データとこれに関連付けられた地理的情報とがペアになったデータであり得る。或いは、訓練用画像データは、その一部に地理的情報が埋め込まれたデータであっても良い。本開示では、訓練用画像データとして利用される街並み風景の画像データは、例えば、商用利用が可能な地理的情報が関連付けられた３６０度全天球画像データに基づいて生成された２次元画像データである。

ユーザ情報データベース３３は、不動産物件検索サーバ２０を利用するユーザに関するユーザ情報を格納し、管理するデータベースシステムである。ユーザ情報は、例えば、ユーザの属性情報（例えば、氏名、年齢、性別、職業、家族構成、現住所、年収、ローン残高等）、並びに検索及び閲覧履歴等を含む。また、図示していないが、ユーザ情報は、Ｃｏｏｋｉｅを含み得る。不動産物件検索サーバ２０は、Ｃｏｏｋｉｅを用いて、情報通信端末装置４０を操作してアクセスしたユーザのユーザ情報を特定し得る。ユーザは、例えば、不動産物件検索サーバ２０の最初の利用にあたり誘導されたユーザ登録画面に対して属性情報等を入力し、これにより、不動産物件検索サーバ２０は、入力された属性情報をユーザ情報データベース３３に登録する。また、ユーザ情報は、後述するように、類似ユーザ推定モデル２４２２が不動産物件検索サーバ２０上で現に検索しているユーザに類似した傾向を有するユーザ群（グループ又はクラスタ）を推定するために用いられる。

情報通信端末装置４０は、通信ネットワーク１０を介した通信機能を有し、不動産物件のユーザがインタラクティブに操作可能なコンピューティングデバイスである。情報通信端末装置４０は、不動産物件検索サーバ２０との関係ではクライアントとして機能する。情報通信端末装置４０は、例えば、ノート型コンピュータやデスクトップ型コンピュータといったパーソナルコンピュータ、タブレット型コンピュータ、スマートフォン、フィーチャフォン及びその他のインテリジェントデバイスであり得るが、これらに限られず、通信ネットワーク１０を介して、少なくとも不動産物件検索サーバ２０にアクセス可能なコンピューティングデバイスであれば良い。本開示では、情報通信端末装置３４０は、タッチ操作が可能なスマートフォンであるものとする。

情報通信端末装置４０は、既知のとおり、ＣＰＵ（プロセッサ）やチップセット及びメモリ、通信ネットワークモジュール、ユーザインターフェース（例えばディスプレイ又はタッチパネル、スピーカー、及びカメラ）等のハードウェア資源及びオペレーティングシステム（例えばカーネル、各種のデバイスドライバ、標準ライブラリ等を含み構成され得る。）（以下「ＯＳ」という。）等のソフトウェア資源から構成される。情報通信端末装置４０は、プロセッサの制御の下、ＯＳ上で各種のアプリケーションプログラムを実行し、所望の機能を実現する。本開示では、情報通信端末装置４０には、インターネット上のＷｅｂサーバにアクセスし得るＷｅｂブラウザプログラムが実装されているものとする。情報通信端末装置４０は、プロセッサの制御の下、Ｗｅｂブラウザプログラムを実行することにより、Ｗｅｂブラウザとして機能し、不動産物件検索サーバ２０が提供するＷｅｂサイト等にアクセスし得る。或いは、Ｗｅｂブラウザに代えて、専用の不動産物件検索アプリケーションプログラムが実装されても良い。

ユーザは、情報通信端末装置４０を操作して、不動産物件検索サーバ２０が提供する不動産物件検索サイトにアクセスして検索入力画面を情報通信端末装置４０のインターフェース上に表示させ、該検索入力画面に示されるガイダンス又はナビゲーションに従って、購入を希望する不動産物件を検索するための条件（検索条件）を入力する。本開示では、ユーザは、１以上の街並み風景の画像データ（画像ファイル）を選択又は指定して検索条件に含める。例えば、ユーザは、検索入力画面において、情報通信端末装置４０に保存された写真ライブラリ（画像フォルダ）の中から住みたい街並み風景の画像データを選択又は指定する。或いは、ユーザは、検索入力画面において、カメラ機能を用いて周囲の街並み風景を撮影することにより画像データを入力する。情報通信端末装置４０は、入力された検索条件に基づく検索クエリを不動産物件検索サーバ２０に送信する。情報通信端末装置４０が不動産物件検索サーバ２０にアクセスしている間の通信セッションは、例えばＣｏｏｋｉｅにより管理される。

（各データベースの構成）
図２は、本発明の一実施形態に係る不動産物件検索サーバに関連付けられる不動産物件データベースのデータ構造の一例を示す図である。１つの不動産物件情報は、例えば、不動産物件データベース３１における各種の属性ごとのフィールドからなる１つのレコードとして管理される。同図では、不動産物件データベース３１の各レコードは、例えば、不動産物件を識別するための物件ＩＤごとに、建物種別、住所、用途地域種、価格、土地面積、間取り、築年数、最寄り駅からの距離（時間）、及び住環境（学校、店舗等）、取り扱い会社といったフィールドが示されているが、これらに限られない。いくつかのフィールドは、データの実体を格納したポインタ（ファイルパス）を格納する。図示していないが、不動産物件データベース３１は、不動産物件情報を検索するためのインデックスを含み得る。

図３は、本発明の一実施形態に係る不動産物件検索サーバに関連付けられる画像データベースのデータ構造の一例を示す図である。画像データベース３２は、地理的情報を推定するための機械学習モデルに対する機械学習に用いるための訓練用画像データを格納する。すなわち、同図に示すように、１つの訓練用画像データは、街並み風景の画像データとこれが示す地理的情報とがペアになったデータである。また、画像データベース３２は、図示していないが、訓練用画像データを生成するために用いられる、商用利用が可能な地理的情報が関連付けられた３６０度全天球画像データを格納し得る。

画像データは、例えば、データ種類、画像サイズ、ＥＸＩＦデータ、及び実体データ等を含み、所定の画像フォーマットのファイル（画像ファイル）として画像データベース３２に格納される。ＥＸＩＦデータは、画像の撮影日時や撮影条件、ＧＰＳデータを含むデータである。実体データは、所定のフォーマットに従って画素データが圧縮符号化されたデータである。ＪＰＥＧファイルは、このような画像データの一例である。

地理的情報は、例えば、緯度及び経度、街、エリア或いは行政区の名称、及び／又は駅名等を示す情報である。ここでは、地理的情報は、画像データに対する正解データ（ラベル）に位置付けられる。本例では、地理的情報は、明示的に画像データとは別に構成されているが、これに限られず、画像データの一部として構成されても良い。例えば、ＪＰＥＧファイルのＣＯＭセグメントにこのような地理的情報が埋め込まれ得る。或いは、ＥＸＩＦデータにおけるＧＰＳデータの緯度及び経度情報が地理的情報として用いられ得る。地理的情報を推定するための機械学習においては、ＧＰＳデータの緯度及び経度情報のままでは使い勝手が悪いため、例えば、緯度及び経度情報は、街、エリア或いは行政区の名称、及び／又は駅名等にマッピング又は変換され得る。

図４は、本発明の一実施形態に係る不動産物件検索サーバに関連付けられるユーザ情報データベースのデータ構造の一例を示す図である。同図に示すように、ユーザ情報は、例えば、ユーザＩＤごとに、ユーザの属性情報（例えば、年齢、性別、職業、家族構成、現住所、年収等）、及び検索・閲覧履歴を含む。検索・閲覧履歴は、過去の検索クエリ及びこれに対応する検索結果並びに閲覧された不動産物件情報を含む。ユーザ情報の一部は、例えば、ユーザによる不動産物件検索サーバ２０の最初の利用にあたり、ユーザ登録画面から入力され、登録される。また、ユーザが不動産物件検索サーバ２０を用いて不動産物件の検索を行うごとに、該ユーザの検索履歴として、検索クエリ及びこれに対応する検索結果が蓄積されていく。

（不動産物件検索サーバの構成）
図５は、本発明の一実施形態に係る不動産物件検索サーバの機能的構成の一例を示すブロックダイアグラムである。同図では、不動産物件検索サーバ２０を構成する各種のコンポーネント（構成要素又はモジュール）のうち、本開示に係る技術にとりわけ関連するコンポーネントが示されており、他のコンポーネントについては、複雑化を回避するため、適宜に省略されている。同図に示す例では、不動産物件検索サーバ２０は、通信部２１と、タスク処理部２２と、検索ナビゲーション部２３と、検索エンジン部２４とを含み構成されている。これらのコンポーネントは、ハードウェアコンポーネントそのもの、或いは、不動産物件検索サーバ２０のプロセッサがサーバ制御プログラムを実行することにより、各種のハードウェアコンポーネントと協働して実現され得る。

通信部２１は、通信ネットワーク１０を介して、外部の装置、例えば情報通信端末装置４０と各種の情報の送受信を可能にするための通信インターフェースである。例えば、通信部２１は、受信部として機能して、通信ネットワーク１０を介して情報通信端末装置４０から各種の要求等を受信し、タスク処理部２２にこれをタスクとして引き渡す。また、通信部２１は、送信部として機能して、タスク処理部２２から引き渡された各種の応答等を、通信ネットワーク１０を介して情報通信端末装置４０に送信する。

タスク処理部２２は、各コンポーネントから引き渡されるタスクに応じた制御を行う。一例として、タスク処理部２２は、通信部２１を介して情報通信端末装置４０から受信した検索条件入力画面の送信要求を検索ナビゲーション部２３に引き渡し、これに応答して、検索ナビゲーション部２３から引き渡される検索条件入力画面のページデータを、情報通信端末装置４０に送信するために通信部２１に引き渡す。他の例として、タスク処理部２２は、通信部２１を介して情報通信端末装置４０から受信した検索クエリを検索エンジン部２４に引き渡し、これに応答して検索エンジン部２４により得られる検索結果を情報通信端末装置４０に送信するために通信部２１に引き渡す。

検索ナビゲーション部２３は、情報通信端末装置４０からの検索条件入力画面の要求に応答して、不動産物件の検索のための検索条件入力画面をユーザに提供する。検索条件入力画面は、例えばＨＴＭＬ５といったページ記述言語により記述されたページデータにより構成され得る。検索条件入力画面は、例えば、一連のページ、サブ画面及び／又はポップアップウィンドウから構成される（図１１参照）。本開示では、検索条件入力画面は、ユーザが街並み風景の画像データを入力することができるように構成されている。

検索エンジン部２４は、情報通信端末装置４０から送信される検索クエリに基づいて、不動産物件データベース３１を検索して該当する不動産物件を抽出し、抽出した不動産物件のリストを検索結果として出力する。また、検索エンジン部２４は、抽出した不動産物件のそれぞれを、所定のキー（例えば金額、築年数、及び／又は新着順等）に従って順位付けし及び／又は並び替えて出力し得る。本開示では、検索エンジン部２４は、地理的情報取得部２４２を含み構成されるが、これに限られず、地理的情報取得部２４２は、検索エンジン部２４とは別体として構成されても良い。

地理的情報取得部２４２は、概略的には、検索クエリに含まれる又は関連付けられる画像データに基づいて、ユーザが住みたいと思っているであろう街を推定又は特定し、該街を示す地理的情報を取得又は特定する。検索エンジン部２４は、取得した地理的情報に基づいて検索クエリを更新又は再構成し、不動産物件データベース３１に対して検索を実行する。これにより、住みたい街の具体的名称等をユーザが指定しない又はできない場合であっても、与えられた画像データからユーザが住みたい街の候補が推定され、他の検索条件と相俟って、そのような街の不動産物件が検索されることになる。

図６は、本発明の一実施形態に係る不動産物件検索サーバにおける地理的情報取得部の機能的構成の一例を示すブロックダイアグラムである。同図に示すように、検索エンジン部２４は、検索クエリ前処理部２４１と、地理的情報取得部２４２と、検索クエリ再構成部２４３と、検索実行部２４４と、機械学習制御部２４５とを含み構成されている。

検索クエリ前処理部２４１は、情報通信端末装置４０から受信した検索クエリに含まれる画像データを抽出し、抽出した画像データを地理的情報取得部２４２に引き渡す一方、画像データを取り除いた検索クエリを検索クエリ再構成部２４３に引き渡す。或いは、検索クエリ前処理部２４１は、元の検索クエリをそのまま検索クエリ再構成部２４３に引き渡しても良い。また、検索クエリ前処理部２４１は、受信した検索クエリに画像データが含まれていないと判断する場合、該検索クエリをそのまま検索クエリ再構成部２４３に引き渡す。

地理的情報取得部２４２は、与えられた画像データに基づいて、ユーザが住みたいと思っているであろう街に関する地理的情報を推定し、取得する。地理的情報取得部２４２は、例えば複数の機械学習モデル（人工知能モデル）を含み構成される。つまり、地理的情報取得部２４２は、スタッキングされた機械学習モデルからなる。推定された地理的情報は、不動産物件の検索条件の一部として用いられる。地理的情報取得部２４２は、推定した地理的情報を検索クエリ再構成部２４３に引き渡す。後述するように、地理的情報取得部２４２は、画像データに基づいて直接的に推定される地理的情報を起点にして、少なくとも１つの観点に従った補完情報（例えばユーザ情報）を加味して、検索条件として用いるための最終的な地理的情報を推定し、出力する。ユーザ情報は、例えば、Ｃｏｏｋｉｅに従って特定される。これにより、画像データに対する画像認識のみに基づく地理的情報の推定に比べて、より期待値の高い地理的情報の推定が可能になる。地理的情報取得部２４２は、ユーザから与えられる検索クエリの画像データに基づいて、地理的情報を推定する実行モード、及び機械学習モデルに対する機械学習を行う学習モードのいずれかで動作し得る。

検索クエリ再構成部２４３は、推定された地理的情報に基づいて検索クエリを再構成する。すなわち、検索クエリ再構成部２４３は、地理的情報取得部２４２によって推定された地理的情報を、検索クエリ前処理部２４１から引き渡された検索クエリに含めることにより、検索クエリを再構成する。検索クエリ再構成部２４３は、再構成された検索クエリを検索実行部２４４に引き渡す。

検索実行部２４４は、検索クエリに基づいて不動産物件データベース３１を検索し、ヒットする不動産物件を抽出する。検索実行部２４４は、例えば、不動産物件データベース３１のインデックスを参照し、検索を実行する。検索実行部２４４は、抽出した不動産物件をタスク処理部２２に引き渡す。これにより、抽出された不動産物件は、検索結果として、ユーザの情報通信端末装置４０に送信され、ユーザインターフェース条に提示される。

機械学習制御部２４５は、地理的情報取得部２４２に対する機械学習を制御する。後述するように、地理的情報取得部２４２は、３つの機械学習モデルを含み構成されている。機械学習制御部２４５は、学習モードにおいて、機械学習モデルのそれぞれに適した所定の機械学習アルゴリズムに従って、訓練データを用いて該機械学習モデルに機械学習を施す。なお、本開示では、機械学習制御部２４５は、不動産物件検索サーバ２０の一部として構成されているが、これに限られない。例えば、機械学習制御部２４５は、不動産物件検索サーバ２０とは異なる外部のコンピューティングデバイス上に構成されても良く、該外部のコンピューティングデバイスが機械学習モデルに対する機械学習を制御しても良い。

図７は、本発明の一実施形態に係る不動産物件検索サーバにおける地理的情報取得部の機能的構成の一例を示すブロックダイアグラムである。同図に示すように、地理的情報取得部２４２は、例えば、第１の地理的情報推定モデル２４２１と、類似ユーザ推定モデル２４２２と、第２の地理的情報推定モデル２４２３と、地理的情報抽出部２４２４と、推定結果履歴記憶部２４２５と、推定結果評価部２４２６とを含み構成される。

第１の地理的情報推定モデル２４２１は、街並み風景の画像データに基づいて、該画像データが示しているあろう地理的情報を推定する。すなわち、第１の地理的情報推定モデル２４２１は、説明変数（入力）である画像データに対して目的変数（出力）である地理的情報を推定するように、第１の機械学習アルゴリズムに従って機械学習が行われた機械学習モデルである。

本開示では、第１の地理的情報推定モデル２４２１は、例えば、画像データの入力に対して出力される地理的情報を自己の入力としてフィードバック可能（再帰入力可能）な回帰型機械学習モデルとして構築される。ＬＳＴＭ（Long Short-Term Memory）やＲＮＮ（Recurrent Neural Network）等は、このような回帰型機械学習モデルの構築のための第１の機械学習アルゴリズムの一例である。第１の地理的情報推定モデル２４２１は、検索クエリ前処理部２４１から引き渡される画像データと、自己が直前に推定した地理的情報とに基づいて漸次的に地理的情報を推定し、出力する。第１の地理的情報推定モデル２４２１は、地理的情報の推定に際して、その確率（Ｐ値）を出力し得る。以下では、第１の地理的情報推定モデル２４２１により推定された地理的情報を第１の地理的情報と称する。推定された第１の地理的情報は、第２の地理的情報推定モデル２４２３に入力されるとともに、第１の地理的情報推定モデル２４２１への入力としてフィードバックされる。

なお、ユーザによって与えられた検索クエリに含まれる画像データが１つのみである場合や該ユーザによる初回の推定の場合には、直前に推定した第１の地理的情報が存在しない。したがって、このような場合には、例えば、該ユーザに類似する他のユーザによる検索において得られた地理的情報が初期値として用いられる。ここで、他のユーザは、後述する類似ユーザ推定モデル２４２２により推定されたユーザ群のうちの少なくとも一の類似ユーザであり得る。後述するように、地理的情報抽出部２４２４は、類似ユーザ推定モデル２４２２によって推定されたユーザ群のユーザ情報に基づいて地理的情報を抽出し、これを第１の地理的情報推定モデル２４２１に出力し得る。

一方、入力された画像データがＥＸＩＦ情報を含む場合、第１の地理的情報推定モデル２４２１は、該ＥＸＩＦ情報が示す地理的情報を第１の地理的情報として出力し得る。つまり、ユーザが撮影した画像データはＥＸＩＦ情報を含み得るため、このような画像データがユーザから与えられた場合、第１の地理的情報推定モデル２４２１は、ＥＸＩＦ情報が示す地理的情報を第１の地理的情報として出力し、自己の入力へとフィードバックする。これにより、第１の地理的情報推定モデル２４２１は、ＥＸＩＦ情報に基づく最初に出力する第１の地理的情報を初期値として用いることができる。

また、第１の地理的情報推定モデル２４２１は、推定の繰り返しにより第１の地理的情報を複数出力するため、ＥＸＩＦ情報に従った地理的情報のみならず他の地理的情報を幅広く推定し出力することができ、ユーザに意外性ある街の不動産物件をリコメンドできるようになる。つまり、本開示では、画像データに対する画像認識に基づく地理的情報の推定精度の向上のみならず、画像データが示す街並み風景に類似する地理的情報の推定を行うことで、ユーザにとって期待値の高く、かつ、意外性のある地理的情報の推定が可能になる。

類似ユーザ推定モデル２４２２は、不動産物件を現に検索しているユーザのユーザ情報に基づいて、該ユーザに類似した傾向を有するユーザ群を推定し、該ユーザ群に属するユーザ（類似ユーザ）のユーザ情報を出力する。すなわち、類似ユーザ推定モデル２４２２は、説明変数である複数のユーザのユーザ情報に対して、該ユーザ情報どうしが類似する傾向を有するユーザ群を推定（ユーザ群にクラスタリング）するように、第２の機械学習アルゴリズムに従って機械学習が行われた機械学習モデルである。協調フィルタリング、連関規則、及びＫ平均法等は、類似ユーザ推定モデル２４２２の構築のための第２の機械学習アルゴリズムの一例である。入力されたユーザ情報に基づいて、類似ユーザ推定モデル２４２２が出力するユーザ情報は、例えば、ユーザ群を構成する類似ユーザのリスト、属性情報、不動産物件の検索・閲覧履歴等の少なくともいずれかであり得る。

類似ユーザ推定モデル２４２２は、検索しているユーザに類似した傾向を有するユーザ群を推定すると、該ユーザ群に属する類似ユーザのユーザ情報を第２の地理的情報推定モデル２４２３に出力する。

図８は、過去にユーザから与えられた画像データに基づいて推定された地理的情報を経度及び緯度に従って概略的に表した散布図の一例を示している。すなわち、同図は、経度及び緯度のそれぞれの平均値という２つの説明変数を用いて、３つのユーザ群にクラスタリングされた例を示している。クラスタリングされたユーザ群におけるユーザどうしは、地理的情報という観点で互いに類似する傾向にあるといえる。より具体的には、都会の不動産物件の検索・閲覧履歴が多いユーザは、類似ユーザ推定モデル２４２２の推定により、東京都２３区等の都会の不動産物件に興味を有するユーザ群にクラスタリングされる。

また、他の例として、田園都市での居住年数が長いユーザは、類似ユーザ推定モデル２４２２の推定により、田園都市部の不動産物件に興味を有するユーザのグループにクラスタリングされ得る。

なお、本例では、理解容易のため、２次元のクラスタリングを示したが、運用上は、数～数十の説明変数を用いた多次元のクラスタリングが行われ得る。

第２の地理的情報推定モデル２４２３は、第１の地理的情報推定モデル２４２１から出力される地理的情報と、類似ユーザ推定モデル２４２２から出力される類似ユーザのユーザ情報とに基づいて、ユーザに最終的に推薦する地理的情報を推定し、出力する。すなわち、第２の地理的情報推定モデルは、説明変数である地理的情報及びユーザ情報に対して、目的変数である地理的情報を推定するように、第３の機械学習アルゴリズムに従って機械学習が行われた機械学習モデルである。第２の地理的情報推定モデル２４２３によって推定される地理的情報は、第１の地理的情報推定モデル２４２１によって推定される地理的情報と同じ又はこれを含むとは限らない。以下では、第２の地理的情報推定モデル２４２３により推定され出力される地理的情報を第２の地理的情報と称する。

本開示では、第２の地理的情報推定モデル２４２３は、例えば分類型機械学習モデルとして構築される。決定木や多層パーセプトロン等は、このような分類型機械学習モデルの構築のための第３の機械学習アルゴリズムの一例である。第２の地理的情報推定モデル２４２３は、カテゴリごとに分類される複数の地理的情報を推定し出力し得る。第２の地理的情報推定モデル２４２３は、推定した１以上の地理的情報を検索クエリ再構成部２４３に出力するとともに、推定結果履歴記憶部２４２５に格納する。

このように、第２の地理的情報推定モデル２４２３は、第１の地理的情報推定モデル２４２１から出力される地理的情報に対して、類似ユーザ推定モデル２４２２から出力される類似ユーザのユーザ情報を用いて、検索に用いるための最終的な地理的情報を決定する。これにより、第１の地理的情報推定モデル２４２１による推定結果が十分でない場合であっても、類似ユーザのユーザ情報を補完的に用いることで、ユーザによる検索に適した最終的な地理的情報が得られるようになる。

地理的情報抽出部２４２４は、類似ユーザ推定モデル２４２２によって推定されたユーザ群のユーザ情報に基づいて地理的情報を抽出する。すなわち、地理的情報抽出部２４２４は、推定された類似ユーザのユーザ情報に基づいて、該類似ユーザの検索に用いられた地理的情報を抽出する。或いは、地理的情報抽出部２４２４は、類似ユーザの検索・閲覧履歴が示す不動産物件に関連付けられた地理的情報を抽出する。類似ユーザが与えた画像データに基づいて推定された地理的情報は、検索しているユーザが住みたい街の有力な候補として考えられる。地理的情報抽出部２４２４は、抽出した地理的情報を第１の地理的情報推定モデル２４２１に出力する。

推定結果履歴記憶部２４２５は、第２の地理的情報推定モデル２４２３によって出力される地理的情報を順次に記憶する。推定結果履歴記憶部２４２５に記憶された地理的情報は、地理的情報取得部２４２における機械学習モデルの評価に用いられる。

推定結果評価部２４２６は、最終的な推定結果である第２の地理的情報推定モデル２４２３から出力される地理的情報の妥当性を評価する。すなわち、推定結果評価部２４２６は、該ユーザのその後の行動を追跡することで、推定結果履歴記憶部２４２５に記憶された地理的情報に対する正答率（誤差率）を算出する。例えば、最終的に出力された地理的情報のうち、「新宿三丁目」が最上位の確率であるにも拘わらず、ユーザが「新宿三丁目」の不動産物件の閲覧をほとんど又は全くせずに、それよりも確率が低い「品川シーサイド」の不動産物件を頻繁に閲覧する場合、推定に用いた元の画像データに対する正答率は低くなる。推定結果評価部２４２６は、算出された正答率が所定のしきい値を下回ったと判断する場合、機械学習モデルの推定精度を改善するために、再学習指令を出力する。前述の例でいえば、元の画像データに対する正解データは、「品川シーサイド」となる確率がより高くなるように、機械学習モデルは再機械学習が施される。

より具体的には、第２の地理的情報推定モデル２４２３は、街並み風景の画像データＡが与えられた場合に、「新宿三丁目」という地理的情報を推定したとする。一方、第２の地理的情報推定モデル２４２３により推定された結果に基づいて検索実行部２４４による検索結果を閲覧したユーザが、一定の期間内に、「新宿三丁目」の物件を２件、「品川シーサイド」の物件を１１件閲覧したとする。この場合、第２の地理的情報推定モデル２４２３の正答率は１８％（＝２／１１）となる。推定結果評価部２４２６は、正答率が一定の閾値（ここでは２０％）を下回ったと判断する場合、訓練用画像データ生成部２４５３に画像データＡの正解データとして「品川シーサイド」のラベルを付与した新しい訓練用画像データを生成させて、第１の地理的情報推定モデル２４２１に対して再学習するように指示する。また、推定結果評価部２４２６は、第２の地理的情報推定モデル２４２３に対して、画像データＡの正解データとして「品川シーサイド」のラベルを付与した新しい学習データと、類似ユーザ推定モデル２４２２によって推定されたユーザ群のユーザ情報を用いて再学習するように指示する。

（機械学習モデルに対する機械学習）
図９は、本発明の一実施形態に係る不動産物件検索サーバにおける機械学習モデルに対する機械学習を行うための機能的構成の一例を示すブロックダイアグラムである。すなわち、同図では、地理的情報取得部２４２における機械学習モデルに対する機械学習を制御する機械学習制御部２４５の機能的構成として、第１の機械学習制御部２４５１と、第２の機械学習制御部２４５２と、訓練用画像データ生成部２４５３とが示されている。

第１の機械学習制御部２４５１は、第１の地理的情報推定モデル２４２１及び第２の地理的情報推定モデル２４２３が、それぞれ、機械学習を行うように制御を行う。すなわち、第１の機械学習制御部２４５１は、第１の地理的情報推定モデル２４２１に、画像データベース３２から読み出される訓練用画像データに基づいて地理的情報を推定させ、該地理的情報が正解データ（ラベル）と一致するように機械学習を行わせる。上述したように、第１の地理的情報推定モデル２４２１は、回帰型機械学習モデルであり、出力した地理的情報を自己の入力にフィードバックしながら、機械学習を行う。

また、第１の機械学習制御部２４５１は、第２の地理的情報推定モデル２４２３に、画像データベース３２から読み出される訓練用画像データと類似ユーザ推定モデル２４２２から出力されるユーザ情報とに基づいて地理的情報を推定させ、該地理的情報が正解データと一致するように機械学習させる。

更に、第１の機械学習制御部２４５１は、推定結果評価部２４２６からの再学習指令に応答して、第１の地理的情報推定モデル及び／又は第２の地理的情報推定モデル２４２３が機械学習を行うように制御を行う。これにより、街並み風景が時間の経過とともに変化し、訓練用画像データが示す街並み風景が現在の街並み風景と乖離して、地理的情報取得部２４２における機械学習モデルの推定精度が低下してしまった場合であっても、最新の訓練用画像データを用いて第１の地理的情報推定モデル２４２１及び／又は第２の地理的情報推定モデル２４２３再機械学習を行わせることができ、推定精度の低下を抑制し又は改善することができるようになる。

第２の機械学習制御部２４５２は、類似ユーザ推定モデル２４２２が機械学習を行うように制御を行う。すなわち、第２の機械学習制御部２４５２は、類似ユーザ推定モデル２４２２に、ユーザ情報データベース３３から読み出される複数のユーザのユーザ情報に基づいて、類似する傾向を有するユーザ群ごとにクラスタリングするように機械学習させる。

訓練用画像データ生成部２４５３は、第１の地理的情報推定モデル２４２１及び第２の地理的情報推定モデル２４２３の機械学習のための訓練データ（すなわち、訓練用画像データ）を生成する。訓練用画像データ生成部２４５３は、街並み風景の画像データのうち、機械学習に有効なものを抽出し、訓練用画像データとして生成する。訓練用画像データ生成部２４５３は、生成された訓練用画像データを画像データベース３２に格納する。

第１の地理的情報推定モデル２４２１や第２の地理的情報推定モデル２４２３のような街並み風景の画像データからそれが示す地理的情報を推定する機械学習モデルを構築するためには、画像データとこれが示す地理的情報とがペアになった大量の訓練用画像データが必要となる。しかしながら、大量の訓練用画像データをインターネット上のＳＮＳから収集することは、プライバシー等の観点から、現実問題として非常に困難である。そこで、発明者らは、商用利用が可能で容易に入手可能な地理的情報が関連付けられた３６０度全天球画像データに着目した。このような商用利用が可能な３６０度全天球画像データは、例えば、グーグル・ストリートビューなどのＷｅｂサービスから容易に入手し得る。一方、第１の地理的情報推定モデル２４２１は、ユーザによって撮影された２次元平面情報からなる画像データ（平面画像データ）を入力とするため、３６０度全天球画像データのままでは、訓練用画像データとして利用することができない。

そこで、訓練用画像データ生成部２４５３は、３６０度全天球画像データに対して画像処理を行って、複数の方向のそれぞれに直交する平面の画像データを訓練用画像データとして抽出する。本開示では、訓練用画像データ生成部２４５３は、４方向（すなわち、前方、後方、右方向及び左方向）の平面画像データを抽出するものとして構成されるが、これに限られず、例えば６方向の平面画像データを抽出するように構成されても良い。

また、抽出された平面画像データの中には、第１の地理的情報推定モデル２４２１の機械学習に役立つランドマーク的な情報が含まれていないものも存在する可能性がある。例えば、画像の大部分が空や植生、壁などで占められている平面画像データは、特徴的な情報を含んでいないため、機械学習にとって有効とはいえない情報である。このような有効とはいえない情報で占められている平面画像データを用いて機械学習が行われた場合、第１の地理的情報推定モデル２４２１の推定精度が低下する要因となる。したがって、訓練用画像データ生成部２４５３は、平面画像データが示す画像の全体領域に対する特徴的な情報を示す領域以外の領域（無効領域）の占有率を算出し、占有率が所定のしきい値を超える平面画像データをフィルタリングする。つまり、訓練用画像データ生成部２４５３は、占有率が所定のしきい値を下回る平面画像データのみを出力し、第１の地理的情報推定モデル２４２１は、このような平面画像データに基づいて機械学習を行う。

（不動産物件検索サーバの動作）
図１０は、本発明の一実施形態に係る不動産物件検索サーバの動作の一例を示すフローチャートである。かかる処理は、例えば、不動産物件検索サーバ２０が、プロセッサの制御の下、サーバ制御プログラムを実行し、各種のソフトウェア資源及び／又はハードウェア資源と協働することにより、実現される。或いは、かかる処理の一部は、例えば、不動産物件検索サーバのクライアントとして機能する情報通信端末装置４０に実行された不動産物件検索アプリケーションプログラムによって実行され実現されても良い。

同図に示すように、不動産物件検索サーバ２０は、ユーザの情報通信端末装置４０からのアクセスを受けて、ログイン処理を行う（Ｓ１００１）。ログイン処理は、不動産物件検索サーバ２０が提供する検索サイト（検索サービス）をユーザが利用可能にするためのユーザ認証処理である。例えば、ログイン処理では、情報通信端末装置４０のユーザインターフェース上にログイン画面が提示され、ユーザは、ユーザＩＤ及びパスワードを入力する。また、不動産物件検索サーバ２０による検索サービスを初めて利用するユーザの場合には、ユーザは、ユーザ登録画面に誘導され、ユーザ登録画面に対して、ユーザＩＤの発行及びパスワードの設定に加えて、自身の属性情報等を入力して、ユーザ登録を行う。

なお、ユーザログインは必ずしも強制されるものではなく、ユーザが検索サイトを利用している間、不動産物件検索サーバ２０が該ユーザのユーザ情報を利用できるように設計されていれば良い。例えば、ユーザ自身の属性情報は、検索条件の一部として入力されても良いし、ユーザの検索及び閲覧といった行動を追跡するためにＣｏｏｋｉｅが利用されても良い。

ユーザのログインがあると、不動産物件検索サーバ２０は、検索条件入力画面が情報通信端末装置４０のユーザインターフェース上に表示されるように制御を行う（Ｓ１００１）。図１１は、検索条件入力画面の一例を示す図である。同図に示すように、検索条件入力画面１１００は、通常の不動産物件の検索に用いられる画面レイアウトであるが、「住みたい街の雰囲気」の選択領域１１０１を有している。ユーザは、例えば、情報通信端末装置４０に内蔵されたカメラで撮影した画像を選択し、或いは、写真ライブラリに保存されている画像（すなわち、街並み風景の画像）を選択することができる。同図では、ユーザが「写真ライブラリ」を選択し、一覧表示されたサムネイル画像１１０２の中から所望のものを選択又は指定して検索条件に含める例が示されている。

なお、「エリア」は、必須の検索条件ではないが、街並み風景の画像のみでは、検索対象となるエリアが広くなりすぎることから、ユーザが希望するエリアをある程度絞り込むための検索条件であり、代替的に又は追加的に、例えば、都道府県、沿線等の検索条件であっても良い。或いは、ユーザが「エリア」を指定しないことにより、住みたい街並み風景という観点で離れた地域の不動産物件が検索され、ユーザは意外性ある検索結果を得ることができる。ユーザは、検索条件入力画面１１００に対して、希望する検索条件を入力し、「送信」ボタン１１０３を選択する。これにより、情報通信端末装置４０は、入力された検索条件に基づく検索クエリを生成し、これを不動産物件検索サーバ２０に送信する。

図１０に戻り、不動産物件検索サーバ２０は、情報通信端末装置４０から検索クエリを受信すると（Ｓ１００３）、受信した検索クエリに基づいて、不動産物件データベース３１に対して、検索処理を実行する（Ｓ１００４）。概略的には、不動産物件検索サーバ２０は、検索クエリに含まれる街並み風景の画像データに基づいて、ユーザが住みたいであろう１以上の街の候補を推定し、推定された街の候補が指定された検索条件に従って、不動産物件データベース３１を検索し、不動産物件を抽出する。

不動産物件検索サーバ２０は、検索クエリに応答して、不動産物件データベース３１から不動産物件を抽出すると、これを検索結果として情報通信端末装置４０に送信する（Ｓ１００４）。これにより、検索結果は、情報通信端末装置４０のユーザインターフェース上に表示される。図１２は、検索条件入力画面の一例を示す図である。同図に示すように、検索条件入力画面１２００は、抽出された不動産物件に関する物件情報の一覧を含む。ユーザは、例えば、提示又はリコメンドされた不動産物件の一覧の中から、所望の不動産物件を選択することにより、その詳細な物件情報を参照することができる。

図１３は、本発明の一実施形態に係る不動産物件検索サーバによる検索処理の一例を示すフローチャートである。すなわち、同図は、図１０のＳ１００４に示した検索処理の詳細を示している。

同図に示すように、不動産物件データベース３１は、検索クエリ前処理部２４１により、受信した検索クエリに含まれる画像データを抽出する（Ｓ１３０１）。次に、不動産物件検索サーバ２０は、地理的情報取得部２４２により、抽出された画像データに基づいて、１つ以上の地理的情報を推定し、取得する。地理的情報の推定処理の詳細は、図１４を参照して説明される。

続いて、不動産物件検索サーバ２０は、検索クエリ再構成部２４３により、取得された地理的情報に基づいて、検索クエリを再構成する（Ｓ１３０３）。次に、不動産物件検索サーバ２０は、検索実行部２４４により、不動産物件データベース３１を検索し、検索条件に従った１つ以上の不動産物件を抽出する（Ｓ１３０４）。この場合、不動産物件検索サーバ２０は、抽出した不動産物件のそれぞれを、所定のキー（例えば金額、築年数、及び新着順等）に従って並び替えて検索結果として出力する。

図１４は、本発明の一実施形態に係る不動産物件検索サーバによる地理的情報の推定処理の一例を示すフローチャートである。すなわち、同図は、図１３のＳ１３０２に示した地理的情報の推定処理の詳細を示している。地理的情報の推定処理は、本開示では、複数の機械学習モデル、すなわち、第１の地理的情報推定モデル２４２１、類似ユーザ推定モデル２４２２、及び第２の地理的情報推定モデル２４２３の協働によってなされる。地理的情報の推定処理における幾つかの処理は、並列的又は並行的に実行され得る。

すなわち、同図に示すように、不動産物件検索サーバ２０は、ユーザの検索クエリによる検索に基づく地理的情報の推定が最初の推定であるか否かを判断する（Ｓ１４０１Ａ）。不動産物件検索サーバ２０は、ユーザに対する地理的情報の推定が最初の推定であると判断する場合（Ｓ１４０１ＡのＹｅｓ）、不動産物件検索サーバ２０は、類似ユーザ推定モデル２４２２から出力されるユーザ情報に基づいて、関連する地理的情報を取得して、これを初期値に設定する（Ｓ１４０２Ａ）。続いて、不動産物件検索サーバ２０は、第１の地理的情報推定モデル２４２１により、設定された地理的情報を用いて、検索クエリから抽出された画像データに基づいて、第１の地理的情報を推定し、出力する（Ｓ１４０２Ａ）。

一方、不動産物件検索サーバ２０は、ユーザに対する地理的情報の推定が最初の推定でないと判断する場合（Ｓ１４０１ＡのＮｏ）、第１の地理的情報推定モデル２４２１により、直前に推定された地理的情報を用いて、検索クエリから抽出された画像データに基づいて、第１の地理的情報を漸次的に推定し、出力する（Ｓ１４０２Ａ）。なお、図示されていないが、不動産物件検索サーバ２０は、画像データがＥＸＩＦ情報を含む場合は、ＥＸＩＦ情報に基づいて地理的情報を最初の第１の地理的情報として取得しても良い。

また、上記の処理と並列又は並行して、不動産物件検索サーバ２０は、類似ユーザ推定モデル２４２２により、検索しているユーザのユーザ情報に基づいて、該ユーザを類似した傾向を有するユーザ群を推定し（Ｓ１４０１Ｂ）、続いて、類似するユーザ群に属するユーザ（類似ユーザ）のユーザ情報を取得する（Ｓ１４０２Ｂ）。上述したように、類似ユーザ推定モデル２４２２により取得されたユーザ情報は、第１の地理的情報推定モデル２４２１の推定に利用される場合がある。

第１の地理的情報推定モデル２４２１により推定された第１の地理的情報が出力されるとともに、類似ユーザ推定モデル２４２２により推定された類似ユーザのユーザ情報が出力されると、第２の地理的情報推定モデル２４２３は、これらの情報に基づいて、第２の地理的情報の推定を開始し、推定された第２の地理的情報を出力する。これにより、上述したように、不動産物件検索サーバ２０は、推定された第２の地理的情報に基づいて検索クエリを再構成し、不動産物件データベース３１を検索する。

以上のように、本実施形態によれば、不動産物件検索サーバ２０は、ユーザから与えられた検索クエリに応答して不動産物件データベース３１を検索するに際して、該検索クエリに含まれる街並み風景の画像データに基づいて地理的情報を推定するので、推定された地理的情報に関連する不動産物件を抽出し、抽出した不動産物件を検索結果としてユーザに提示又はリコメンドすることができるようになる。したがって、ユーザは住みたい街の具体的名称等を検索条件に指定しない又はできない場合であっても、住みたい街並み風景の画像データを検索条件に指定することにより、ユーザが住みたいであろう街の候補が推定され、該推定された街の不動産物件が提示又はリコメンドされるようになる。これにより、ユーザにとっては意外性のある街が提示され、これにより、ユーザは、セレンディピティを体感することができるとともに、探し求める不動産物件の選択の幅を広げることができるようになる。

また、本発明によれば、複数の機械学習モデルを用いて、ユーザから提供される街並み風景の画像データに基づいて該画像データが示す街を推定するので、ユーザが住みたいであろう街を精度良く推定することができるようになる。とりわけ、本発明によれば、ユーザから単一の画像データのみが提示された場合であっても、１以上の街の候補を精度良く推定することができ、これにより、ユーザが希望する不動産物件の検索が行われるようになる。

上記各実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その要旨を逸脱しない限り、さまざまな形態で実施することができる。

例えば、本明細書に開示される方法においては、その結果に矛盾が生じない限り、ステップ、動作又は機能を並行して又は異なる順に実施しても良い。説明されたステップ、動作及び機能は、単なる例として提供されており、ステップ、動作及び機能のうちのいくつかは、発明の要旨を逸脱しない範囲で、省略でき、また、互いに結合させることで一つのものとしてもよく、また、他のステップ、動作又は機能を追加してもよい。

また、本明細書では、さまざまな実施形態が開示されているが、一の実施形態における特定のフィーチャ（技術的事項）を、適宜改良しながら、他の実施形態に追加し、又は該他の実施形態における特定のフィーチャと置換することができ、そのような形態も本発明の要旨に含まれる。

１…不動産物件検索システム
１０…通信ネットワーク
１２…コンピュータネットワーク
１４…移動通信ネットワーク
２０…不動産物件検索サーバ
２１…通信部
２２…タスク制御部
２３…検索ナビゲーション部
２４…検索エンジン部
２４１…検索クエリ前処理部
２４２…地理的情報取得部
２４２１…第１の地理的情報推定モデル
２４２２…類似ユーザ推定モデル
２４２３…第２の地理的情報推定モデル
２４２４…地理的情報抽出部
２４２５…推定結果履歴記憶部
２４２６…推定結果評価部
２４３…検索クエリ再構成部
２４４…検索実行部
２４５…機械学習制御部
２４５１…第１の機械学習制御部
２４５２…第２の機械学習制御部
２４５３…訓練用画像データ生成部
３０…データベース
３１…不動産物件データベース
３２…画像データベース
３３…ユーザ情報データベース
４０…情報通信端末装置

Claims (18)

1. ユーザから与えられる検索クエリに応答して前記ユーザに適合した不動産物件を提示する不動産物件検索サーバであって、
   前記ユーザの情報通信端末装置から街並み風景の画像データを含む前記検索クエリを受信する受信部と、
   前記検索クエリに含まれる前記画像データに基づいて、地理的情報を取得する地理的情報取得部と、
   前記検索クエリと取得された前記地理的情報とに基づく新たな検索クエリに基づいて、前記不動産物件に関する不動産物件情報を記憶した不動産物件データベースを検索し、少なくとも１つの不動産物件を抽出する検索実行部と、
   抽出された前記少なくとも１つの不動産物件を前記情報通信端末装置に送信する送信部と、を備える、
   不動産物件検索サーバ。
2. 前記地理的情報取得部は、入力される前記画像データに基づく第１の地理的情報及び前記ユーザに類似するユーザ群のユーザ情報に基づいて前記地理的情報として取得する、
   請求項１に記載の不動産物件検索サーバ。
3. 前記地理的情報取得部は、
   入力される前記画像データに対して前記第１の地理的情報を推定するように、第１の機械学習アルゴリズムに従って機械学習が行われた第１の地理的情報推定モデルと、
   入力される複数のユーザのユーザ情報に対して該ユーザ情報どうしが類似する傾向を有するユーザ群を推定するように、第２の機械学習アルゴリズムに従って機械学習が行われた類似ユーザ推定モデルと、
   前記第１の地理的情報及び前記ユーザ群の前記ユーザ情報に対して第２の地理的情報を推定するように、第３の機械学習アルゴリズムに従って機械学習が行われた第２の地理的情報推定モデルと、
   を備え、
   推定された前記第２の地理的情報を前記地理的情報として取得する、
   請求項２に記載の不動産物件検索サーバ。
4. 前記地理的情報取得部は、３６０度全天球画像データに基づいて、前記第１の地理的情報推定モデルに対する前記機械学習を行うための訓練用画像データを生成する訓練用画像データ生成部を更に備える、
   請求項３に記載の不動産物件検索サーバ。
5. 前記訓練用画像データ生成部は、前記３６０度全天球画像データから複数の方向のそれぞれの平面画像データを前記訓練用画像データとして抽出する、
   請求項４に記載の不動産物件検索サーバ。
6. 前記訓練用画像データ生成部は、前記複数の方向のそれぞれの前記平面画像データに基づいて、該平面画像データが示す画像の全体領域に対する特徴的な情報を示す領域以外の領域の占有率を算出し、算出された前記占有率が所定のしきい値を下回る該平面画像データを前記訓練データとして抽出する、
   請求項５に記載の不動産物件検索サーバ。
7. 前記第１の地理的情報推定モデルは、推定された前記第１の地理的情報を自己の入力としてフィードバックする回帰型機械学習モデルである、
   請求項３に記載の不動産物件検索サーバ。
8. 前記第１の地理的情報推定モデルは、前記ユーザに類似する他のユーザによる検索において得られた地理的情報を前記自己の入力の初期値として用いる、
   請求項７に記載の不動産物件検索サーバ。
9. 前記他のユーザは、前記類似ユーザ推定モデルにより推定された前記ユーザ群における一のユーザである、
   請求項８に記載の不動産物件検索サーバ。
10. 前記類似ユーザ推定モデルは、協調フィルタリング、連関規則、及びＫ平均法のうちの少なくとも１つの手法を用いて、前記ユーザをクラスタリングすることにより推定する、
    請求項３に記載の不動産物件検索サーバ。
11. 前記第２の地理的情報推定モデルは、分類型機械学習モデルである、
    請求項３に記載の不動産物件検索サーバ。
12. 取得された前記地理的情報の正答率が所定のしきい値を下回る場合に、前記第１の地理的情報推定モデルに対する前記機械学習が再度行われるように制御する機械学習制御部を更に備える、
    請求項３に記載の不動産物件検索サーバ。
13. 前記第１の地理的情報推定モデルは、前記ユーザの行動に基づいて、再度の前記機械学習が行われる、
    請求項１２に記載の不動産物件検索サーバ。
14. 画像データに基づいて地理的情報を推定する地理的情報推定装置であって、
    入力される画像データに対して第１の地理的情報を推定するように、第１の機械学習アルゴリズムに従って機械学習が行われた第１の地理的情報推定モデルと、
    入力される複数のユーザのユーザ情報に対して該ユーザ情報どうしが類似する傾向を有するユーザ群に推定するように、第２の機械学習アルゴリズムに従って機械学習が行われた類似ユーザ推定モデルと、
    入力される前記地理的情報及び前記ユーザ群の前記ユーザ情報に対して第２の地理的情報を推定するように、第３の機械学習アルゴリズムに従って機械学習が行われた第２の地理的情報推定モデルと、
    を備える、
    地理的情報推定装置。
15. 不動産物件検索サーバにより実行される不動産物件検索方法であって、
    ユーザの情報通信端末装置から街並み風景の画像データを含む検索クエリを受信することと、
    前記検索クエリに含まれる前記画像データに基づいて、地理的情報を取得することと、
    前記検索クエリと取得された前記地理的情報とに基づく新たな検索クエリに基づいて、前記不動産物件に関する不動産物件情報を記憶した不動産物件データベースを検索し、少なくとも１つの不動産物件を抽出することと、
    抽出された前記少なくとも１つの不動産物件を前記情報通信端末装置に送信することと、を含む、
    不動産物件検索方法。
16. 不動産物件検索サーバに、プロセッサの制御の下、ユーザから与えられる検索クエリに応答して不動産物件を検索する方法を実現させるためのコンピュータプログラムであって、
    前記方法は、
    前記ユーザの情報通信端末装置から街並み風景の画像データを含む前記検索クエリを受信することと、
    前記検索クエリに含まれる前記画像データに基づいて、地理的情報を取得することと、
    前記検索クエリと取得された前記地理的情報とに基づく新たな検索クエリに基づいて、前記不動産物件に関する不動産物件情報を記憶した不動産物件データベースを検索し、少なくとも１つの前記不動産物件を抽出することと、
    抽出された前記少なくとも１つの不動産物件を前記情報通信端末装置に送信することと、含む、
    コンピュータプログラム。
17. 画像データに基づいて地理的情報を推定する地理的情報推定モデルの構築方法であって、
    入力される画像データに対して第１の地理的情報を推定するように、第１の機械学習アルゴリズムに従った機械学習を行うことにより第１の地理的情報推定モデルを構築することと、
    入力される複数のユーザのユーザ情報に対して該ユーザ情報どうしが類似する傾向を有するユーザ群を推定するように、第２の機械学習アルゴリズムに従った機械学習を行うことにより類似ユーザ推定モデルを構築することと、
    入力される地理的情報及びユーザ情報に対して第２の地理的情報を推定するように、第３の機械学習アルゴリズムに従った機械学習を行うことにより第２の地理的情報推定モデルを構築することと、を含む、
    地理的情報推定モデルの構築方法。
18. 請求項１７に記載の構築方法により構築された前記地理的情報推定モデルを用いた地理的情報推定方法であって、
    前記第１の地理的情報推定モデルにより、ユーザから与えられた画像データに基づいて、前記第１の地理的情報を推定することと、
    前記類似ユーザ推定モデルにより、前記ユーザに類似した傾向を有する前記ユーザ群を推定することと、
    前記第２の地理的情報推定モデルにより、前記第１の地理的情報及び前記ユーザ群のユーザ情報に基づいて、前記第２の地理的情報を推定することと、を含む、
    地理的情報推定方法。

Images