JP6526105B2 - イメージの内容に基づく地図イメージ検索方法、地図イメージ検索システム及びコンピュータプログラム - Google Patents

Description

以下の説明は、地図イメージを検索するための技術に関する。

近年、インターネット通信技術や、衛星測位技術、地図情報技術、検索エンジン技術等を融合した多様な環境下での地図サービスが提供されている。

一般に、地図サービスでは、ユーザから要求を受けた地域の地図が所定の縮尺にて提供される。このような地図サービスがポータル検索サービスで提供されることにより、検索手段として多くのユーザにより利用されている。

また、ナビゲーションシステム（ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）等のモバイル環境の端末においては、ＧＩＳ（ｇｅｏｇｒａｐｈｉｃ ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍ）基盤の地図サービスが提供されている。

例えば、特許文献１（公開日２０１２年０６月２６日）には、セルラーネットワーク環境下にてインターネットを介してウェブブラウザ上で地図サービスを提供する技術が開示されている。

韓国公開特許第１０−２０１２−００６７８３０号公報

イメージの内容に基づいて、例えば、ストリートビュー（ｓｔｒｅｅｔ ｖｉｅｗ）等の地図イメージを検索することができる地図イメージ検索方法および地図イメージ検索システムが提供される。

本発明は、コンピュータによって実現される地図イメージ検索システムが実行する地図イメージ検索方法であって、地図イメージを検索するためのクエリが入力される段階と、前記地図イメージに対するイメージ分析結果として取得された内容（ｃｏｎｔｅｘｔ）を利用して、前記クエリに対応する地図イメージを検索する段階と、前記クエリに対応する地図イメージを利用したサービス及び/又はコンテンツを提供する段階と、を含む地図イメージ検索方法を提供する。

本発明の一側面によると、前記地図イメージに対し、イメージ分析技術によって取得されたイメージ情報が入力される段階を更に含み、前記地図イメージを検索する段階では、該イメージ情報が前記クエリに対応する地図イメージを検索して良い。

本発明の他の側面によると、前記地図イメージはパノラマとして提供されるものであって良い。

また、本発明の他の側面によると、前記地図イメージはストリートビュー（ｓｔｒｅｅｔ ｖｉｅｗ）として提供されるものであって良い。

また、本発明の他の側面によると、前記クエリが入力される段階では、位置情報と結合したキーワード、文章で作成されたキーワード、およびイメージのうちいずれかが前記クエリとして入力されて良い。

また、本発明の他の側面によると、前記地図イメージを検索する段階では、前記クエリが入力される段階で前記クエリとして前記位置情報と結合したキーワードが入力された場合、当該地図イメージにマッチングする位置情報が前記クエリとして入力された位置情報に対応する地図イメージを検索して良い。

また、本発明の他の側面によると、前記地図イメージを検索する段階では、前記クエリが入力される段階で前記クエリとして前記位置情報を示す語句とイメージオブジェクトの特徴を示す語句とが結合したキーワードが入力された場合、前記キーワードに含まれる位置情報を基準にして、当該地図イメージに対するイメージ分析結果が前記キーワードに含まれるイメージオブジェクトの特徴に対応する地図イメージを検索して良い。

また、本発明の他の側面によると、前記地図イメージを検索する段階では、前記クエリが入力される段階で前記クエリとして前記文章で作成されたキーワードが入力された場合、当該地図イメージに対するイメージ分析結果として取得された内容が該文章に対応する地図イメージを検索して良い。

また、本発明の他の側面によると、前記地図イメージを検索する段階では、前記クエリが入力される段階で前記クエリとしてイメージオブジェクトの特徴を示す文章で作成されたキーワードが入力された場合、当該地図イメージに対するイメージ分析結果が前記キーワードに含まれるイメージオブジェクトの特徴に対応する地図イメージを検索して良い。

また、本発明の他の側面によると、前記地図イメージを検索する段階では、前記クエリが入力される段階で前記クエリとしてイメージが入力された場合、該クエリとして入力されたイメージの内容に対応する地図イメージ、またはイメージ間のマッチングによって該クエリとして入力されたイメージに類似する地図イメージを検索して良い。

また、本発明の他の側面によると、前記サービス及び/又はコンテンツを提供する段階では、前記クエリに対応する地図イメージをＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）の背景として提供して良い。

また、本発明の他の側面によると、前記サービス及び/又はコンテンツを提供する段階では、前記クエリに対応する地図イメージを広告コンテンツとして提供して良い。

更に、本発明の他の側面によると、前記サービス及び/又はコンテンツを提供する段階では、前記クエリに対応する地図イメージに、該クエリと関連する広告コンテンツを含ませて提供して良い。

本発明は、コンピュータに地図イメージ検索方法を実行させるためのコンピュータプログラムであって、前記地図イメージ検索方法は、地図イメージを検索するためのクエリが入力される段階と、前記地図イメージに対するイメージ分析結果として取得された内容（ｃｏｎｔｅｘｔ）を利用して、前記クエリに対応する地図イメージを検索する段階と、前記クエリに対応する地図イメージを利用したサービス及び/又はコンテンツを提供する段階と、含む、コンピュータプログラムを提供する。

本発明は、コンピュータによって実現される地図イメージ検索システムであって、地図イメージを検索するためのクエリが入力されるように該地図イメージ検索システムを制御するクエリ入力制御部と、前記地図イメージに対するイメージ分析結果として取得された内容（ｃｏｎｔｅｘｔ）を利用して、前記クエリに対応する地図イメージを検索するイメージ検索部と、前記クエリに対応する地図イメージを利用したサービス及び/又はコンテンツを提供する検索結果提供部と、を含む地図イメージ検索システムを提供する。

本発明の実施形態によると、イメージ分析結果に含まれた多様な情報を利用して、例えば、ストリートビューのような地図イメージを検索することにより、多様で具体的な地図検索環境を提供および活用することができる。

本発明の実施形態によると、地図イメージのイメージ分析結果を利用して具体的な状況や特性に関わる地図イメージを検索し、更に、地図サービスで提供されるイメージを、例えば、ＶＲの背景や広告コンテンツ等のように多様な分野で活用することができる。

本発明の一実施形態における、コンピュータシステムの内部構成の一例を説明するためのブロック図である。 本発明の一実施形態における、コンピュータシステムのプロセッサが含む構成要素の例を示した図である。 本発明の一実施形態における、コンピュータシステムが実行する地図イメージ検索方法の例を示したフローチャートである。 本発明の一実施形態における、地図イメージ検索の例を示した図である。 本発明の一実施形態における、地図イメージ検索の例を示した図である。 本発明の一実施形態における、地図イメージ検索の例を示した図である。 本発明の一実施形態における、地図イメージ検索の例を示した図である。 本発明の一実施形態における、地図イメージ検索の例を示した図である。

以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。

本発明の実施形態は、地図イメージを検索するための技術に関するものであって、より詳細には、イメージの内容（ｃｏｎｔｅｘｔ）に基づいて、例えば、ストリートビュー（ｓｔｒｅｅｔ ｖｉｅｗ）（または航空ビューなど）の地図イメージを検索することができる方法およびシステムに関するものである。

本明細書において具体的に開示された要素を含む実施形態は、イメージの内容に基づく地図イメージ検索を達成し、これによって多様性や、効率性、正確性、費用節減等の側面において相当なる長所を有する。

ストリートビューの地図イメージは、パノラマ写真から構成されており、実際の地点における躍動的かつ多様な様子を３６０度見渡すことができる。これは、地図検索結果にて当該位置を確認するための補助手段として使用されたりしている。

本発明では、特定の地点のストリートビューを検索するにあたり、単に番地や住所、ＰＯＩの結果として検索するだけでなく、多様なイメージ情報に基づいて地図イメージを検索することができる。イメージ自体の内容に基づいて地図イメージを検索する場合には、より多様で具体的な内容による地図イメージの検索や場所の発見が可能となる。また、近年には、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ：バーチャルリアリティ）環境の拡散に伴ってストリートビューの地図イメージをＶＲの背景として使用できるようになり、ユーザが希望する場所をイメージ情報に基づいて簡単に検索し、ＶＲ環境に適用することができる。

図１は、本発明の一実施形態における、コンピュータシステムの内部構成の一例を説明するためのブロック図である。例えば、本発明の実施形態に係る地図イメージ検索システムが、図１のコンピュータシステム１００によって実現されて良い。図１に示すように、コンピュータシステム１００は、地図イメージ検索方法を実行するための構成要素として、プロセッサ１１０、メモリ１２０、永久記憶装置１３０、バス１４０、入力／出力インタフェース１５０、およびネットワークインタフェース１６０を含んで良い。

プロセッサ１１０は、命令語のシーケンスを処理することができる任意の装置を含んでも良く、その一部であっても良い。プロセッサ１１０は、例えば、コンピュータプロセッサ、移動装置、または他の電子装置内のプロセッサおよび／またはデジタルプロセッサを含んで良い。プロセッサ１１０は、例えば、サーバコンピュータデバイスや、サーバコンピュータ、一連のサーバコンピュータ、サーバファーム、クラウドコンピュータ、コンテンツプラットフォーム、移動コンピューティング装置、スマートフォン、タブレット、セットトップボックス、メディアプレーヤ等に含まれて良い。プロセッサ１１０は、バス１４０を介してメモリ１２０に接続されて良い。

メモリ１２０は、コンピュータシステム１００によって使用されるための、又はコンピュータシステム１００によって出力される情報を格納するための揮発性メモリや、永久、仮想、またはその他のメモリを含んで良い。メモリ１２０は、例えば、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）および／またはダイナミックＲＡＭ（ＤＲＡＭ：ｄｙｎａｍｉｃ ＲＡＭ）を含んで良い。メモリ１２０は、コンピュータシステム１００の状態情報のような任意の情報を格納するのに使用されて良い。メモリ１２０は、例えば、地図イメージ検索のための命令語を含むコンピュータシステム１００の命令語を格納するために使用されても良い。コンピュータシステム１００は、必要に応じてまたは適切な場合に１つ以上のプロセッサ１１０を含んで良い。

バス１４０は、コンピュータシステム１００の多様なコンポーネント間の相互作用を可能にする通信基盤の構造を含んで良い。バス１４０は、例えば、コンピュータシステム１００のコンポーネント間に、例えば、プロセッサ１１０とメモリ１２０との間にデータを運搬して良い。バス１４０は、コンピュータシステム１００のコンポーネント間の無線および／または有線の通信媒体を含んでも良く、並列、直列、または他のトポロジー配列を含んでも良い。

永久記憶装置１３０は、（例えば、メモリ１２０に比べて）所定の延長された期間の間にデータを格納するためにコンピュータシステム１００によって使用されるメモリ、または他の永久記憶装置のようなコンポーネントを含んで良い。永久記憶装置１３０は、コンピュータシステム１００内のプロセッサ１１０によって使用される非揮発性メインメモリを含んで良い。永久記憶装置１３０は、例えば、フラッシュメモリや、ハードディスク、光ディスク、または他のコンピュータで読取可能な媒体を含んで良い。

入力／出力インタフェース１５０は、キーボードや、マウス、音声命令入力、ディスプレイ、または他の入力または出力装置に対するインタフェースを含んで良い。構成命令および／または地図イメージ検索のための入力が、入力／出力インタフェース１５０より受信されて良い。

ネットワークインタフェース１６０は、近距離ネットワークまたはインターネットのようなネットワークに対する１つ以上のインタフェースを含んで良い。ネットワークインタフェース１６０は、有線または無線接続に対するインタフェースを含んで良い。構成命令および／または地図イメージに関連するサービスやコンテンツは、ネットワークインタフェース１６０より受信されて良い。

また、他の実施形態において、コンピュータシステム１００は、図１の構成要素よりも更に多くの構成要素を含んでも良い。しかし、殆どの従来技術的な構成要素について明確に図に示す必要はない。例えば、コンピュータシステム１００は、上述した入力／出力インタフェース１５０と接続する入力／出力装置のうち少なくとも一部を含むように実現されても良く、トランシーバ（ｔｒａｎｓｃｅｉｖｅｒ）や、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベース等のような他の構成要素を更に含んでも良い。より具体的な例として、コンピュータシステム１００がスマートフォンのようなモバイル機器として実現される場合には、通常スマートフォンに含まれている加速度センサやジャイロセンサ、カメラ、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器等のような多様な構成要素がコンピュータシステム１００に更に含まれるように実現されて良い。

図２は、本発明の一実施形態における、コンピュータシステムのプロセッサが含む構成要素の例を示した図であり、図３は、本発明の一実施形態における、コンピュータシステムが実行する地図イメージ検索方法の例を示したフローチャートである。

図２に示すように、プロセッサ１１０は、情報入力制御部２１０、クエリ入力制御部２２０、イメージ検索部２３０、および検索結果提供部２４０を含んで良い。このようなプロセッサ１１０の構成要素は、少なくとも１つのプログラムコードによって提供される制御命令に従ってプロセッサ１１０によって実行される互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であって良い。例えば、プロセッサ１１０が地図イメージ検索のためのクエリを受信するようにコンピュータシステム１００を制御するために動作する機能的表現としてクエリ入力制御部２２０が使用されて良い。プロセッサ１１０およびプロセッサ１１０の構成要素は、図３に示された地図イメージ検索方法が含む段階３１０〜３５０を実行して良い。例えば、プロセッサ１１０およびプロセッサ１１０の構成要素は、メモリ１２０が含むオペレーティングシステムのコードと上述した少なくとも１つのプログラムコードによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されて良い。ここで、少なくとも１つのプログラムコードは、前記地図イメージ検索方法を処理するために実現されたプログラムのコードに対応して良い。

地図イメージ検索方法は、図に示した順に行わなくても良く、その段階の一部が省略されても良く、他の段階が追加に含まれても良い。

段階３１０において、プロセッサ１１０は、地図イメージ検索方法を実行するためのプログラムファイルに格納されたプログラムコードをメモリ１２０にロードして良い。例えば、地図イメージ検索方法を実行するためのプログラムファイルは、図１を参照しながら説明した永久記憶装置１３０に格納されていて良く、プロセッサ１１０は、バスを介して永久記憶装置１３０に格納されたプログラムファイルからプログラムコードがメモリ１２０にロードされるように、コンピュータシステム１１０を制御して良い。

ここで、プロセッサ１１０、およびプロセッサ１１０が含む情報入力制御部２１０、クエリ入力制御部２２０、イメージ検索部２３０、および検索結果提供部２４０のそれぞれは、メモリ１２０にロードされたプログラムコードのうち対応する部分の命令を実行して以後の段階３２０〜３５０を実行するためのプロセッサ１１０の互いに異なる機能的表現であって良い。段階３２０〜３５０を実行するために、プロセッサ１１０およびプロセッサ１１０の構成要素は、直接的に制御命令による演算を処理しても良く、コンピュータシステム１００を制御しても良い。

段階３２０において、情報入力制御部２１０は、地図イメージに関するイメージ情報として当該イメージの分析結果である内容（ｃｏｎｔｅｘｔ）が入力されるようにコンピュータシステム１００を制御して良い。情報入力制御部２１０は、地図イメージに対して事前にマッチングされているイメージ情報が入力されるようにコンピュータシステム１００を制御して良いが、このとき、地図イメージは、ストリートビューのようなパノラマ写真としてサービスされるイメージ全体、あるいは少なくともその一部を対象として良い。また、イメージ情報は、地図イメージに関連するすべての文脈や連関関係等を含むコンテキストデータを意味するが、一例として、イメージ認識や分析技術によってイメージから抽出されたイメージ自体の内容、あるいはＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅａｄｅｒ）等を利用してイメージ内で認識されたテキスト等を含んで良い。ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）学習モデル（例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｅａｔｕｒｅｓ）基盤の学習モデル等）を利用して自然イメージ（ｎａｔｕｒａｌ ｉｍａｇｅ）を分析することによってイメージ情報を抽出して良い。ディープラーニングに基づいた最近のイメージ分析技術は、イメージの内容を説明することができるレベルにまで至っており、具体的なイメージオブジェクトの特徴を取得することができる。例えば、ライオンが捕獲されたイメージを分析することで、イメージに示されたライオンの具体的な特徴、例えば「ライオンが座っている」や「ライオンが水牛と闘っている」等の詳細な内容を取得することができる。言い換えれば、ストリートビューのイメージ全体を認識およびプロセッシングし、その結果をイメージ要約文章（例えば、Ｉｍｇ２Ｔｅｘｔなど）や主要メタタグとして格納し、当該ストリートおよび地図とマッチングさせて管理して良い。イメージ内容の分析だけではなく、単にイメージ内の看板やデジタルサイネージのような多様なテキストをＯＣＲに変換し、これをイメージ検索として活用して良い。このようなイメージ情報は、入力／出力インタフェース１５０またはネットワークインタフェース１６０よりコンピュータシステム１００に入力または受信され、メモリ１２０や永久記憶装置１３０で格納および管理されて良い。

段階３３０において、クエリ入力制御部２２０は、地図イメージ検索のためのクエリが入力されるようにコンピュータシステム１００を制御して良い。一例として、クエリ入力制御部２２０は、テキストを主とするキーワードがクエリとして入力されるようにコンピュータシステム１００を制御して良く、例えば、犬、猫、花、自動車のようにイメージに含まれた多様な事物を示すオブジェクトクエリや、例えば、「海沿いの海岸道路」、「人が多い広場」、「ユ・ジェソクが撮影された道」、「５００メートル範囲内で豚足レストランが最も多い場所」、「砂浜から３００メートル以内に位置するホテル」のように具体的なイメージオブジェクトの特徴を示す語句で作成された文章クエリ等が入力されるようにして良い。他の例として、クエリ入力制御部２２０は、位置情報とキーワードが結合したクエリが入力されるようにして良い。言い換えれば、クエリ入力制御部２２０は、イメージオブジェクトの特徴を示す語句と位置情報を示す語句とが結合した文章クエリが入力されるようにして良く、例えば、「ソウル市蘆原区の落書きが書かれた壁面」のように位置情報を含んだキーワードが入力されるようにして良い。更に他の例として、クエリ入力制御部２２０は、地図イメージ検索のためのクエリとしてイメージが入力されるようにしても良く、例えば、写真内の場所あるいは当該場所に類似する場所を見つけ出すために該当写真がクエリとして入力されるようにしても良い。地図イメージ検索のためのクエリは、入力／出力インタフェース１５０またはネットワークインタフェース１６０よりコンピュータシステム１００に入力または受信されて良い。

段階３４０において、イメージ検索部２３０は、段階３２０で入力されたイメージ分析結果である内容に基づき、段階３３０で入力されたクエリに対応する地図イメージを検索して良い。イメージ検索部２３０は、ストリートビューの地図サービスでコンテキスト基盤のイメージ情報を利用して地図イメージを検索して良い。一例として、文章クエリが入力された場合、イメージ検索部２３０は、イメージ分析結果による内容が文章クエリに対応する地図イメージを検索して良い。イメージ検索部２３０は、文章クエリが具体的なイメージオブジェクトの特徴を示す語句で作成されて入力された場合、イメージ分析結果による内容がキーワードに含まれたイメージオブジェクトの特徴に対応する地図イメージを検索して良い。他の例として、位置情報とキーワードが結合したクエリが入力された場合、イメージ検索部２３０は、当該位置情報を有するストリートビューを検索した後、検索されたイメージのうち、イメージ分析結果による内容が当該キーワードに対応する地図イメージを検索しても良く、キーワードに含まれた位置情報を基準に、イメージ分析結果による内容がキーワードに含まれたイメージオブジェクト特徴に対応する地図イメージを検索しても良い。更に他の例として、地図イメージ検索のためのクエリとしてイメージが入力された場合、イメージ検索部２３０は、イメージ分析結果による内容がクエリとして入力されたイメージの内容に対応する地図イメージを検索しても良く、イメージ間のマッチングによってクエリとして入力されたイメージに類似する地図イメージを検索しても良い。従って、イメージ検索部２３０は、イメージ情報（例えば、Ｉｍｇ２Ｔｅｘｔ、Ｔａｇなど）とイメージ認識を利用して内容基盤にてストリートビューの地図イメージを検索することができる。

段階３５０において、検索結果提供部２４０は、段階３４０で検索された地図イメージを利用したサービスやコンテンツを提供して良い。一例として、検索結果提供部２４０は、クエリに対応する検索結果として段階３４０で検索された地図イメージを所定の基準により整列して提供して良い。他の例として、検索結果提供部２４０は、クエリに対応する地図イメージにマッチングされた位置情報（地点情報）を検索結果として提供し、検索結果に含まれた位置情報のうち、特定の位置に対する選択が入力された場合には、当該位置に対するストリートビューの地図サービスを提供して良い。また、他の例として、検索結果提供部２４０は、ＶＲ環境下での検索時に、クエリに対応する地図イメージを含んだストリートビューがＶＲの背景として提供されるようにサービスして良い。更に、ＶＲ環境にストリートビューを取り入れる以外にも、地図イメージに対するイメージ分析結果に基づいて所定の条件に対応するストリートビューの地図イメージを検索し、これを広告コンテンツとして活用することや、ストリートビュー自体で当該ストリートビューの地図イメージのうち特定の内容の地図イメージを検索することなど、多様な形態の検索や活用が可能となる。広告コンテンツの活用は、検索結果に含まれたストリートイメージ自体を広告として適用することも可能であるが、その他にも、検索結果に含まれたストリートイメージをユーザに提供する際に当該ストリートイメージに関連広告を含ませることも可能である。検索結果に含まれる広告は、クエリに対応する広告、あるいは検索結果に含まれたストリートイメージに関連する広告等が含まれて良い。

本発明で検索対象となる地図イメージとしては、地図サービスで提供されるすべての形態のイメージが活用されて良いが、代表的な一例として、ストリートビューとして提供される地図イメージを検索対象として良い。ストリートビューの地図イメージには位置情報（例えば、ＧＰＳ情報）が含まれ、また、実際のオフライン情報が更に含まれるため、イメージ別の自動ジオタギングが可能となる。ディープラーニングによってイメージを分析する場合、イメージ情報としてイメージ自体の内容を取得することができるが、このように膨大なストリートビューイメージをイメージ分析して検索や広告等に活用することが可能である。特定の地点でのストリートビューイメージに対するイメージ分析結果を統計的に分析して当該地点の特徴として要約し、このような要約情報を検索や広告等に活用することも可能である。特に、ストリートビューイメージは、位置情報とキーワードが結合した検索環境で活用可能であり、例えば、５００メートル範囲内で豚足レストランが最も多い場所や、砂浜から３００メートル以内に位置するホテル等を検索することができる。

図４〜図８は、ストリートビュー検索の例を示した図である。

図４を参照すると、プロセッサ１１０は、検索するためのクエリ４０１として「海沿いの海岸道路」が入力された場合、イメージ分析結果において「海沿いの海岸道路」に対応する内容が含まれているイメージを検索し、「海沿いの海岸道路」の内容が含まれているイメージと、当該イメージにマッチングされた地点である「済州島涯月海岸道路」、「龍漂海岸道路」、「霊光白岫海岸道路」等を検索結果４０２として提供して良い。

図５を参照すると、プロセッサ１１０は、位置情報が結合されたクエリ５０１として「落書きが書かれたソウル市蘆原区の壁面」が入力された場合、「ソウル市蘆原区」が位置情報としてマッチングされたイメージを対象として、イメージ分析結果に「落書きが書かれた壁面」に対応する内容が含まれているイメージを検索し、「落書きが書かれたソウル市蘆原区の壁面」の内容が含まれているイメージと、当該イメージにマッチングされた地点である「ソウル市蘆原区月渓洞１１１−１１」等を検索結果５０２として提供して良い。

図６を参照すると、プロセッサ１１０は、クエリ６０１として「看板が密集する地域」が入力された場合、イメージ分析の結果、看板に該当する関心領域（ＲＯＩ）が一定数もしくは一定割合以上で含まれているイメージを検索し、「看板が密集する地域」の内容が含まれているイメージと、当該イメージがマッチングされた地域である「ソウル市蘆原区孔陵洞」、「城南市盆唐区

「仁川市中区仙花洞」等を検索結果６０２として提供して良い。

図７を参照すると、プロセッサ１１０は、クエリ７０１として「ユ・ジェソクが撮影された道」が入力された場合、イメージ分析結果に「ユ・ジェソクが撮影された道」に対応する内容が含まれているイメージを検索し、「ユ・ジェソクが撮影された道」の内容が含まれているイメージと、当該イメージがマッチングされた地点である「済州イルチュルランド」、「ソウル市麻浦区延南洞」、「行淡島ドライブイン」等を検索結果７０２として提供して良い。

図８を参照すると、プロセッサ１１０は、ストリートビューを検索するためのクエリ８０１としてイメージ、例えば、人が多い広場の写真が入力された場合、当該写真に対するイメージ分析によって「人が多い広場」というイメージ自体のコンテキスト８０３を取得して良い。これにより、プロセッサ１１０は、クエリ８０１として入力された写真のイメージ分析結果８０３と、ストリートビューによって提供されるイメージのイメージ分析結果とを比較し、「人が多い広場」に対応する内容が含まれているイメージを検索し、「人が多い広場」の内容が含まれているイメージと、当該イメージがマッチングされた地点である「ソウル市中区世宗路光化門広場」、「ソウル市鍾路区瑞麟洞清渓広場」等を検索結果８０２として提供して良い。

従って、本発明に係る地図イメージ検索システムおよび地図イメージ検索方法は、イメージ分析結果を利用し、イメージ自体が含まれている内容に基づいてストリートビューイメージを検索することができる。

このように、本発明の実施形態によると、イメージ分析結果に含まれた多様な情報を利用してストリートビューのような地図イメージを検索することにより、多様で具体的な地図検索環境を提供および活用することができる。更に、本発明の実施形態によると、地図イメージのイメージ分析結果を利用して具体的な状況や特性の地図イメージを検索することができ、これにより、地図サービスにおいて提供されるイメージを、例えばＶＲの背景や広告コンテンツのような多様な分野に活用することができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせにより実現されて良い。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または、命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊な目的のコンピュータを利用することにより実現されて良い。処理装置は、オペレーティングシステム（ＯＳ）および前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行して良い。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成して良い。理解を助けるために、１つの処理装置が使用されるとして説明した場合もあるが、当業者には、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでも良いことが理解できるであろう。例えば、処理装置は、複数個のプロセッサ又は１つのプロセッサ、及び１つのコントローラを含んで良い。また、並列プロセッサのような他の処理構成にすることも可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうち１つ以上の組み合わせを含んでも良く、思うままに動作するように処理装置を構成したり、独立的に又は集合的に処理装置に命令したりしても良い。ソフトウェア及び／又はデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、あらゆる種類の機械や、コンポーネント、物理的装置、仮想装置、コンピュータ格納媒体または装置、又は、伝送される信号波に、永久的にまたは一時的に具現されて良い。ソフトウェアは、ネットワークにて接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されても良い。ソフトウェア及びデータは、１つ以上のコンピュータで読取可能な記録媒体に格納されても良い。

実施形態に係る方法は、例えば、多様なコンピュータ手段によって実行可能なプログラム命令や、データファイル、データ構造等を単独または組み合わせた形態で実現されても良い。前記プログラム命令は、実施形態のために設計されて構成したものであっても良く、コンピュータソフトウェアの当業者にとって公知で使用可能なものであっても良い。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタ等を使用してコンピュータによって実行される高級言語コードを含む。上述したハードウェア装置は、実施形態の動作を実行するために１つ以上のソフトウェアモジュールとして動作するように構成されても良く、その逆の場合であっても良い。

以上のように、本発明の実施形態の一例を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変更が可能であろう。例えば、説明された技術が、説明された方法とは異なる手順にて実行されたり、かつ／あるいは、説明されたシステムや、構造、装置、回路等の構成要素が、説明された方法とは異なる形態として結合もしくは組み合わされたり、他の構成要素または均等物によって代替もしくは置換されたりとしても、好まれる結果を達成することができる。

従って、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付された特許請求の範囲に属する。

１００：コンピュータシステム
１１０：プロセッサ
１２０：メモリ
１３０：永久記憶装置
１４０：バス
１５０：入力／出力インタフェース
１６０：ネットワークインタフェース

Claims (13)

1. コンピュータによって実現される地図イメージ検索システムが実行する地図イメージ検索方法であって、
   地図イメージを検索するためのクエリが入力される段階と、
   前記地図イメージに対するイメージ分析結果として取得された内容を利用して、前記クエリに対応する地図イメージを検索する段階と、
   前記クエリに対応する地図イメージを利用したサービス及び/又はコンテンツを提供する段階と、を含み、
   前記クエリは、位置情報と結合していないイメージオブジェクトの特徴を示す語句で作成されたキーワードを含むか、又はイメージ自体からなり、
   前記地図イメージはストリートビューとして提供されるものであり、
   前記イメージ分析結果は、前記地図イメージ内で認識されたテキストを含む、地図イメージ検索方法。
2. 前記地図イメージに対し、イメージ分析技術によって取得されたイメージ情報が入力される段階をさらに含み、
   前記地図イメージを検索する段階では、
   該イメージ情報が前記クエリに対応する地図イメージを検索する、請求項１に記載の地図イメージ検索方法。
3. 前記地図イメージはパノラマとして提供されるものである、請求項１に記載の地図イメージ検索方法。
4. 前記地図イメージを検索する段階では、
   前記クエリが入力される段階で前記クエリとして前記語句で作成されたキーワードが入力された場合、当該地図イメージに対するイメージ分析結果として取得された内容が該語句に対応する地図イメージを検索する、請求項１に記載の地図イメージ検索方法。
5. 前記地図イメージを検索する段階では、
   前記クエリが入力される段階で前記クエリとしてイメージオブジェクトの特徴を示す語句で作成されたキーワードが入力された場合、当該地図イメージに対するイメージ分析結果が前記キーワードに含まれるイメージオブジェクトの特徴に対応する地図イメージを検索する、請求項１に記載の地図イメージ検索方法。
6. 前記地図イメージを検索する段階では、
   前記クエリが入力される段階で前記クエリとしてイメージ自体が入力された場合、該クエリとして入力されたイメージの内容に対応する地図イメージ、またはイメージ間のマッチングによって該クエリとして入力されたイメージに類似する地図イメージを検索する、請求項１に記載の地図イメージ検索方法。
7. 前記サービス及び/又はコンテンツを提供する段階では、
   前記クエリに対応する地図イメージをＶＲの背景として提供する、請求項１に記載の地図イメージ検索方法。
8. 前記サービス及び/又はコンテンツを提供する段階では、
   前記クエリに対応する地図イメージを広告コンテンツとして提供する、請求項１に記載の地図イメージ検索方法。
9. 前記サービス及び/又はコンテンツを提供する段階では、
   前記クエリに対応する地図イメージに、該クエリと関連する広告コンテンツを含ませて提供する、請求項１に記載の地図イメージ検索方法。
10. コンピュータに地図イメージ検索方法を実行させるためのコンピュータプログラムであって、
    前記地図イメージ検索方法は、
    地図イメージを検索するためのクエリが入力される段階と、
    前記地図イメージに対するイメージ分析結果として取得された内容を利用して、前記クエリに対応する地図イメージを検索する段階と、
    前記クエリに対応する地図イメージを利用したサービス及び/又はコンテンツを提供する段階と、を含み、
    前記クエリは、位置情報と結合していないイメージオブジェクトの特徴を示す語句で作成されたキーワードを含むか、又はイメージ自体からなり、
    前記地図イメージはストリートビューとして提供されるものであり、
    前記イメージ分析結果は、前記地図イメージ内で認識されたテキストを含む、コンピュータプログラム。
11. コンピュータによって実現される地図イメージ検索システムであって、
    地図イメージを検索するためのクエリが入力されるように該地図イメージ検索システムを制御するクエリ入力制御部と、
    前記地図イメージに対するイメージ分析結果として取得された内容を利用して、前記クエリに対応する地図イメージを検索するイメージ検索部と、
    前記クエリに対応する地図イメージを利用したサービス及び/又はコンテンツを提供する検索結果提供部と、を含み、
    前記クエリは、位置情報と結合していないイメージオブジェクトの特徴を示す語句で作成されたキーワードを含むか、又はイメージ自体からなり、
    前記地図イメージはストリートビューとして提供されるものであり、
    前記イメージ分析結果は、前記地図イメージ内で認識されたテキストを含む、地図イメージ検索システム。
12. 前記地図イメージに対し、イメージ分析技術によって取得されたイメージ情報が入力されるように該地図イメージ検索システムを制御する情報入力制御部をさらに含み、
    前記イメージ検索部は、
    該イメージ情報が前記クエリに対応する地図イメージを検索する、請求項１１に記載の地図イメージ検索システム。
13. 前記イメージ検索部は、
    前記クエリ入力制御部により、前記クエリとしてイメージオブジェクトの特徴を示す語句で作成されたキーワードが入力された場合、当該地図イメージに対するイメージ分析結果が前記キーワードに含まれるイメージオブジェクトの特徴に対応する地図イメージを検索する、請求項１１に記載の地図イメージ検索システム。

Images