JP2010118059A - 画像データを提供するための方法、システム及びコンピュータ読取可能な記録媒体 - Google Patents

画像データを提供するための方法、システム及びコンピュータ読取可能な記録媒体 Download PDF

Info

Publication number
JP2010118059A
JP2010118059A JP2009259013A JP2009259013A JP2010118059A JP 2010118059 A JP2010118059 A JP 2010118059A JP 2009259013 A JP2009259013 A JP 2009259013A JP 2009259013 A JP2009259013 A JP 2009259013A JP 2010118059 A JP2010118059 A JP 2010118059A
Authority
JP
Japan
Prior art keywords
image data
keyword
information
user terminal
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009259013A
Other languages
English (en)
Other versions
JP5419644B2 (ja
Inventor
Seung Phill Lim
勝 必 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NHN Corp
Original Assignee
NHN Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NHN Corp filed Critical NHN Corp
Publication of JP2010118059A publication Critical patent/JP2010118059A/ja
Application granted granted Critical
Publication of JP5419644B2 publication Critical patent/JP5419644B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instructional Devices (AREA)

Abstract

【課題】本発明は、画像データを提供するための方法、システム及びコンピュータ読取可能な記録媒体に関する。
【解決手段】本発明の一実施形態によれば、画像データ上の特定領域をキーワードと関連付けて記憶し、ユーザ端末装置から条件情報が受信された場合、前記条件情報と前記特定領域と関連付けられたキーワードとを比較し、前記特定領域が前記ユーザ端末装置の画面に表示されるように前記画像データの表示状態を制御することを備えることを特徴とする画像データの方法が提供される。ユーザが地理的特徴又は物体に関連する内容を含む検索キーワードを入力すれば、該当地理的特徴又は物体の実際の画像をユーザ端末装置の画面上に表示することができる。
【選択図】図1

Description

本発明は、画像データを提供するための方法、システム及びコンピュータ読取可能な記録媒体に関するものである。より詳細には、画像データと方向情報とを関連付けて格納し、ユーザが検索キーワードを入力して画像データを検索する場合、該当検索キーワードに対応する方向と関連した領域を提供するための方法、システム及びコンピュータ読取可能な記録媒体に関するものである。
最近、インターネット使用の拡大及びGPS(Global Positioning System)受信機の普及などにより、これまで冊子などの印刷物の形態で提供されてきた地図などの地理情報がデジタルデータに変換されて提供されるようになった。
一般的にデジタル地理情報は、オンライン上で提供される電子地図サービス、自動車に設置されるナビゲーションシステムなど通じて提供される。このようにデジタル地理情報は、検索機能などのユーザインターフェースモジュールと結合されることによって多様な利便性をユーザに提供できるという長所を有している。また、地理情報を変更する必要が生じた場合、デジタル地理情報は、遠隔アップデートなどを通して容易に更新可能であるので、地理情報を最新情報に維持できるという側面においても従来の印刷物に比べて優れている。
しかし、従来は、デジタル地理情報を提供するサービス業者が、単純な記号の組み合わせで生成される電子地図画面を検索インターフェースと結合して提供するのが一般的であったが、電子地図画面上で表示された単純な情報と該当地域の実際の画像との間に著しい差があるので、その情報に基づいて該当地域の実際の画像を確認することが難しいという短所があった。
このような問題を解決するための試みとして、2007年11月8日付で出願され、2008年6月19日付で公開された米国公開特許公報第2008―143727号には、ユーザに電子地図サービスを提供する過程で、電子地図上の特定地点に対応するパノラマ写真を提供する技術を提案している。これによって、ユーザは、電子地図上の特定地点の実際の画像を、該当地点のパノラマ写真に基づいて確認することができる。
一般的に、パノラマ写真は、多数に分割撮影された写真をつなげることによって生成され、見る者に横方向に拡張された広角視野の画像を提供する。したがって、このようなパノラマ写真全体を適切な解像度でユーザ端末装置上に再生することは、モニタなどのディスプレイ装置のパネルサイズを考慮すれば現実的に難しい。
このような理由で、パノラマ写真を提供するサービス提供業者は、ユーザ端末装置上にパノラマ写真全体を一度に表示するよりは、パノラマ写真の一部分のみを優先的に表示し、マウスなどによるユーザの入力信号によってユーザが画面上に表示されるパノラマ写真の領域を制御できるようにしている。
したがって、前記米国公開特許公報に開示された技術を用いるとしても、パノラマ写真上で自身が確認しようとする地理的特徴又は物体(a geographical feature or object)が含まれたターゲット領域を即時にユーザ端末装置の画面に表示することはできず、パノラマ写真の任意の部分を照会した後、自身が確認しようとする地理的特徴又は物体が表示された部分に画面を切り替えなければならないという短所があった。
特に、自身が確認しようとする地理的特徴又は物体に対する概略的な情報をユーザが持っていない場合、その不便さは増す。
米国公開特許公報第2008―143727号
本発明は、上述した問題点を全て解決することを目的とする。
また、本発明は、電子地図サービスを介して画像データを提供することによって、電子地図上に表された選択された場所に関する情報に基づいてユーザが該当場所の実際の画像を確認できるようにすることを目的とする。
また、本発明は、画像データを照会する場合、自身が確認しようとする地理的特徴又は物体を即時にユーザ端末装置上に表示することを目的とする。
前記目的を達成するために、本発明の一実施形態によれば、画像データ上の特定領域をキーワードと関連付けて記憶し、ユーザ端末装置から条件情報が受信された場合に、前記条件情報と前記特定領域と関連付けられたキーワードとを比較し、前記特定領域が前記ユーザ端末装置の画面に表示されるように前記画像データの表示状態を制御することを備えることを特徴とする画像データの提供方法が提供される。
前記特定領域は、少なくとも一つのピクセル列を備えてもよい。
前記画像データ上の特定領域をキーワードと関連付けて記憶することには、前記ピクセル列の方向情報を得、前記ピクセル列の方向情報を用いて前記キーワードを得ることを備えてもよい。
前記画像データは、電子地図上の特定領域と関連付けられてもよい。
前記方向情報は方位角情報を含み、前記キーワードは、前記電子地図上の特定領域を基準にして前記ピクセル列の方位角方向に位置する地理的特徴又は目標の識別情報でああってもよい。
前記ピクセル列の少なくとも一部のピクセルは、前記画像データ上の形状を構成してもよい。
前記キーワードは、前記形状に対する識別情報を備えてもよい。
前記画像データ上の特定領域をキーワードと関連付けて記憶することは、画像データ上に表われた前記形状を認識し、前記キーワードに基づいて画像データに表われた前記形状に関する識別情報を決定し、前記ピクセル列を前記キーワードに関連付けて記憶することを備えてもよい。
前記画像データの表示状態を制御することは、前記ユーザ端末装置上で表示される前記画像データの領域である第1の領域及び前記第1の領域以外の領域である第2の領域を決定し、前記第1の領域を前記ユーザ端末装置にディスプレイすることを備え、前記第1の領域は前記特定領域を備えてもよい。
本発明の他の実施形態によれば、画像データを構成する特定ピクセル列の方向情報を得、前記画像データと関連付けられた電子地図の領域情報を得、前記領域情報及び前記方向情報を用いて少なくとも一つの地理的特徴又は目標に対する識別情報を得、前記特定ピクセル列を、前記地理的特徴又は目標の識別情報と関連したキーワードと関連付けて記憶することを備えることを特徴とする電子地図と関連付けられた画像データとキーワードとの間の連関関係を生成する方法が提供される。
本発明の他の実施形態による電子地図と関連付けられた画像データとキーワードとの間の連関関係を生成する方法は、前記ピクセル列に含まれた形状を、前記少なくとも一つの地理的特徴又は目標の識別情報に対応する標本形状データと比較する段階をさらに備えてもよい。
前記特定ピクセル列と関連付けられた前記地理的特徴又は目標に対する識別情報は、前記ピクセル列に含まれた形状と所定のしきい値以上の類似度を有する標本形状データに対応する識別情報を備えてもよい。
本発明の更に他の態様によれば、画像データ上の特定領域をキーワードと関連付けて記憶するキーワードマッチング部と、ユーザ端末装置から条件情報が受信された場合に、前記条件情報と前記特定領域と関連付けられたキーワードとを比較し、前記特定領域が前記ユーザ端末装置の画面に表示されるように前記画像データの表示状態を制御するインターフェース提供部とを備えることを特徴とする画像データを提供するためのシステムが提供される。
本発明の更に他の態様によれば、画像データを構成する特定ピクセル列の方向情報を設定する方向情報設定部と、前記画像データと関連付けられた電子地図の領域情報を得、前記領域情報及び前記方向情報を用いて少なくとも一つの地理的特徴又は目標の識別情報を得、前記特定ピクセル列を、前記地理的特徴又は目標の識別情報と関連したキーワードと関連付けて記憶するキーワードマッチング部とを備えることを特徴とする電子地図と関連付けられた画像データとキーワードとの間の連関関係を生成するシステムが提供される。
その他にも、本発明を具現するための他の方法、システム及び前記方法を実行するためのコンピュータプログラムを記録したコンピュータ読取可能な記録媒体がさらに提供される。
本発明によれば、ユーザは、電子地図上に表された場所と関連付けられた画像データに基づいて選択された場所の実際の画像を確認することができる。
また、本発明によれば、ユーザが地理的特徴又は物体に対する内容を含む検索キーワードを入力すれば、ユーザが確認したいと希望する該当地理的特徴又は物体の実際の画像をユーザ端末装置の画面上に表示することができる。
本発明の一実施形態に係る電子地図サービスを提供するためのシステム全体のブロック図である。 本発明の一実施形態に係る画像データと関連付けられたアイコンを含む電子地図がユーザ端末装置上に表示された状態を例示的に示す図である。 画像データを構成する各ピクセル列に関する方向情報の入手処理によって得られた画像の一例を示す図である。 画像データに関連付けられたアイコンを含み、画像データのピクセル列に対応するキーワードを決定するためにユーザ端末装置に提供される電子地図データの一例を示す図である。 ユーザ端末装置に優先的に提供される画像データに含まれた特定ピクセル列の方向情報を仮想の矢印として表示する電子地図データの一例を示す図である。
後述する本発明に関する詳細な説明は、本発明が実施される特定実施例を例示として示す添付の図面を参照する。これら実施例は、当業者が本発明を充分に実施できるように詳細に説明される。本発明の多様な実施例は、互いに異なるが、互いに排他的である必要はないことを理解しなければならない。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例と関連して本発明の思想及び範囲を逸脱しない範囲で他の実施例として具現されることが可能である。また、それぞれの開示された実施例内の個別構成要素の位置又は配置は、本発明の思想及び範囲を逸脱しない範囲で変更可能であることを理解しなければならない。
したがって、後述する詳細な説明は、限定的な意味に解釈されるものでなく、本発明の範囲は、適切に説明されるなら、特許請求の範囲で主張されるのと均等な全ての範囲と共に、添付された特許請求の範囲のみによって限定される。図面における類似した参照符号は、多様な側面にわたって同一又は類似の機能を示す。
以下では、本発明の属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好適な各実施例について添付の図面を参照して詳細に説明する。
[本発明の好適な実施例]
システム全体の構成
図1は、本発明の一実施形態に係る電子地図サービスを提供するためのシステム全体のブロック図である。
図1に示すように、本発明の一実施形態に係るシステムは、通信網100、電子地図サービスを提供する地図サービスシステム200、及びユーザ端末装置300を備える。
まず、通信網100は、有線及び無線のいずれの通信様態によっても構成可能であり、近距離通信網(LAN:Local Area Network)、都市圏通信網(MAN:Metropolitan Area Network)、広域通信網(WAN:Wide Area Network)などの多様な通信網で構成される。本実施形態においては、通信網100は、公知のワールドワイドウェブ(WWW:World Wide Web)であってもよい。
本発明の一実施形態によれば、地図サービスシステム200は、地理情報を含む地図データをユーザ端末装置300に提供することができる。
また、本発明の一実施形態によれば、地図サービスシステム200は、地図データに表された地点又は領域を所定画像データと関連付け、該当地点又は領域がユーザ端末装置300によって特定される場合、該当地点又は領域と関連付けられた画像データをユーザ端末装置300に提供することができる。
また、本発明の一実施形態によれば、地図サービスシステム200は、画像データを構成する各ピクセル列に対応する方向情報を得ることができ、場合によっては、この方向情報に基づいてピクセル列上に表された形状を認識することができる。
また、本発明の一実施形態によれば、地図サービスシステム200は、ユーザから入力された検索キーワードに対応する地理的特徴又は物体が含まれた画像データの領域をユーザ端末装置300上に表示することができる。
一方、本発明の一実施形態によれば、ユーザ端末装置300は、ユーザが地図サービスシステム200に接続し、通信できるデジタル機器である。パーソナルコンピュータ(例えば、デスクトップコンピュータ、ノートブックコンピュータなど)、ワークステーション、パーソナルデジタルアシスタント(PDA)、タブレットPC、携帯電話などのようにメモリと演算能力用マイクロプロセッサを備えたデジタル機器であれば、本発明の一実施形態に係るユーザ端末装置300として採択可能である。
以下では、本発明を具現するために重要な機能を行う地図サービスシステム200の主要構成要素及び各構成要素の機能について説明する。
図1を参照すれば、本発明の一実施形態に係る地図サービスシステム200は、ユーザインターフェース部210、方向情報設定部220、キーワードマッチング部230、データベース管理部240、通信部250及び制御部260を備えていることが分かる。
本発明の一実施形態によれば、ユーザインターフェース部210、方向情報設定部220、キーワードマッチング部230、データベース管理部240、通信部250及び制御部260の少なくともいくつかは、ユーザ端末装置300と通信するプログラムモジュールである。
これら各プログラムモジュールは、オペレーションシステム、アプリケーションプログラムモジュール及びその他のプログラムモジュールの形態で地図サービスシステム200に含まれており、様々な公知の記憶装置上に物理的に記憶することが可能である。また、これら各プログラムモジュールは、地図サービスシステム200と通信可能な遠隔記憶装置に記憶することも可能である。一方、これら各プログラムモジュールは、後述する特定オペレーション又は特定抽象データパターンを実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されるものではない。
一方、以下では、特別な言及がない限り、「画像データ」という用語は、電子地図上の特定領域又は座標と関連付けられた画像を称するものとして使用する。しかしながら、これは、本発明の理解を促進するためのものに過ぎず、本発明を制限する用途に解釈されてはならない。
まず、本発明の一実施形態に係るユーザインターフェース部210は、ユーザ端末装置300が地図データ及び画像データをブラウジングできるようにするインターフェースを提供することができる。より詳細には、ユーザインターフェース部210は、ユーザが検索キーワードを入力して地図の特定領域を照会できるようにする検索機能、地図画面画像を拡大、縮小及び移動できるようにする表示画面制御機能、ユーザ端末装置300上に表示される電子地図の特定領域と関連付けられた画像データを検索できるようにする検索機能、及びユーザ端末装置300に提供される画像データの表示領域を変更したり、ユーザ端末装置300上の画像データをスクロールすることができるようにするスクロール機能などを含んでもよい。
また、本発明の一実施形態に係るユーザインターフェース部210は、ユーザ端末装置300から画像データを受信し、受信された画像データを電子地図上の特定領域と関連付けて記憶することができる。例えば、ユーザインターフェース部210は、ユーザが地図上の特定領域を指定又は選択した後、ユーザ端末装置300を介して該当領域と関連付けられた画像データをアップロードできるようにするインターフェースを提供し、アップロードされた画像データを該当領域と関連付けて後述する画像データベース(DB)240bに記憶することができる。
また、本発明の一実施形態に係るユーザインターフェース部210は、ユーザによって検索された特定領域と関連付けられた画像データが電子地図上に存在する場合、これに関する情報をアイコン又はアイテムの形態でユーザ端末装置300に提供し、ユーザがこのアイコン又はアイテムのいずれかを選択する場合、該当画像データをユーザ端末装置300に提供することができる。
次に、本発明の一実施形態によれば、方向情報設定部220は、画像DB240bに記憶された画像データを構成する各ピクセル列に対応する方向情報を得ることができる。
本発明の一実施形態によれば、キーワードマッチング部230は、方向情報設定部220によって得られた方向情報を用いて画像データのピクセル列と特定の地理的特徴又は物体の名称とをマッチングさせることができる。
本発明の一実施形態に係るデータベース管理部240は、地図データを記憶する地図DB240a、電子地図上の領域と関連付けられた画像データを記憶する画像DB240b、画像DB240bに記憶された画像データとキーワードとの間の関連に関する情報を記憶するキーワードDB240c、及び画像マッチングに用いられる標本形状を記憶する標本形状DB240dを含むことができる。
本発明の一実施形態に係る通信部250は、地図サービスシステム200とユーザ端末装置300などの外部装置間の通信ができるようにする。
本発明の一実施形態によれば、制御部260は、ユーザインターフェース部210、方向情報設定部220、キーワードマッチング部230、データベース管理部240及び通信部250の間のデータの流れを制御する。すなわち、制御部260は、外部からの又は地図サービスシステム200の各構成要素間のデータの流れを制御することによって、ユーザインターフェース部210、方向情報設定部220、キーワードマッチング部230、データベース管理部240及び通信部250でそれぞれ固有機能を行うように制御する。
以上の説明では、本発明を具現するための情報を記憶するデータベースを地図DB240a、画像DB240b、キーワードDB240c及び標本形状DB240dの四つのデータベースに分類したが、このような分類を含むデータベースの構成は必要に応じて変更可能である。
最後に、本発明の一実施形態において、「データベース」と言いう用語は、狭義のデータベースのみならず、コンピュータファイルシステムに基づいたデータ記録などを含む広義のデータベースまで含む概念であって、単純な演算処理結果の集積であるとしても、その集積からデータを検索して所定のデータを抽出できるなら、本発明におけるデータベースに含まれることを理解しなければならない。
地図データと画像データとの連係
本発明の一実施形態によれば、地図サービスシステム200が提供する電子地図上の特定領域は、画像DB240bに記憶されている画像データと関連付けられる。例えば、電子地図上の特定座標(x,y)地点は、画像DB240bに記憶された画像データAと関連付けられる。したがって、ユーザ端末装置300上に表示される領域の地図画像に特定座標(x,y)が含まれている場合、該当座標と関連付けられたその画像データが存在することを表す所定のアイコンが共に表示され、ユーザがそのアイコンをクリックする場合、画像データAをユーザ端末装置300に提供することができる。
画像DB240bに記憶される画像データは、地図サービスシステム200の管理者あるいはユーザによって生成され又は記憶される。後者の場合、ユーザは、電子地図上の特定の地理的特徴又は物体を選択又は指定した後、この地理的特徴又は物体と関連した画像データを地図サービスシステム200にアップロードすることができ、アップロードされた画像データは、電子地図上の座標情報と関連付けられて画像DB240bに記憶される。
図2は、本発明の一実施形態に係る画像データと関連付けられたアイコンを含む電子地図がユーザ端末装置300上に表示された状態を例示的に示す図である。
図2を参照すれば、崇礼門(Sung−Rae Gate)を中心とする地図領域がユーザ端末装置300に表示されている。図2は、合計6個のアイコン(291〜296)を含んでいるが、それぞれのアイコン(291〜296)は、該当アイコンが位置した地点で撮影された画像データと関連付けられ、ユーザが特定アイコンをクリックし又は選択する場合、該当アイコンと関連付けられた画像データをユーザ端末装置300に提供することができる。
画像データの方向情報設定
また、本発明の一実施形態によれば、画像データがカメラなどの撮影機器を用いて生成された場合、画像データは、中心方向情報と関連付けられて記憶される。中心方向情報は、画像データが撮影された方向に関する情報を含んでもよい。例えば、北側に向けて撮影する場合を0゜に設定すれば、東側、南側、西側は、それぞれ90°、180°、270゜のように表現される。一般的に、このような中心方向情報は、画像データの中心領域に位置したピクセル列に対応する。
特に、複数の画像データを用いて生成されるパノラマ画像の場合、画像データの中心領域を特定することが難しいので、前記のような中心方向情報に対応するピクセル列に関する情報を含むことが有用である。
本発明の一実施形態によれば、中心方向情報は、地図サービスシステム200の管理者又はユーザから直接入力され、あるいは中心方向情報を算出可能な機能を有するデジタル撮影機器を用いて画像データを生成することによって得ることができる。
また、本発明の一実施形態によれば、画像データは、視野角情報と関連付けられて記憶される。ここで、「視野角情報」という用語は、画像データが撮影された地点を基準にして、画像データの左側境界線部分に対応する電子地図上の地点方向への直線と、右側境界線部分に対応する電子地図上の地点方向への直線との間の角度を意味する。このような視野角情報は、撮影機器の特性によって決定され、特に、所定のパノラマ画像の場合、パノラマ画像の生成に用いられた個別の画像データの撮影範囲によって決定される。
本発明の一実施形態によれば、方向情報設定部220は、画像データと関連付けられた視野角情報を用いて単位ピクセル列角度を算出することができる。ここで、「単位ピクセル列角度」という用語は、画像データを構成するピクセル列のうち互いに隣接した2つのピクセル列間の方位角差を意味する。より具体的には、方向情報設定部220は、画像データを構成する総ピクセル列の数を数えて、該当画像データの視野角を総ピクセル列の数で割ることによって単位ピクセル列角度を算出することができる。例えば、360°の視野角を有する所定の画像データの場合、単位ピクセル列角度は、360を総ピクセル列の数で割った値になる。
その後、方向情報設定部220は、画像データと関連付けられた方向情報及び前記算出された単位ピクセル列角度を用いて画像データを構成する各ピクセル列の方向情報を得ることができる。ここで、「ピクセル列の方向情報」という用語は、画像データの中心方向情報を各ピクセル列に拡張したもので、各ピクセル列が表す方向に関する情報を含むことができる。より具体的には、画像データの中心方向情報に対応する特定ピクセル列を基準にして右側方向に一つのピクセル列が増加するほど、単位ピクセル列角度だけ増加させ、左側方向に一つのピクセル列が増加するほど、単位ピクセル列角度だけ減少させることによって、それぞれのピクセル列に対応する方向情報を算出する方法を想定することができる。
図3は、画像データを構成する各ピクセル列に関する方向情報の入手処理によって得られた画像の一例を示す図である。
図3において、撮影された画像データは360゜の視野角を有するパノラマ画像で、画像データの中心ピクセル列であるピクセル列Pは方向情報90゜を有し、総ピクセル列の数はwであると仮定した。したがって、ピクセル列Pから右側にi番目のピクセル列であるピクセル列Qの方向情報は、{90+(360/w)*i}゜の値を有するようになり、ピクセル列Pから左側にj番目のピクセル列であるピクセル列Rの方向情報は、{90−(360/w)*j}゜の値を有するようになる。このとき、算出された方向情報が360゜以上の値を有する場合、算出された方向情報から360゜分の値を引き、算出された方向情報が0゜未満である場合、算出された方向情報に360゜を加えることによって、方向情報の値を0゜から360゜の値に維持するように調節することができる。
方向情報とキーワードとの関連
本発明の一実施形態によれば、キーワードマッチング部230は、方向情報設定部220によって得られたピクセル列の方向情報と電子地図上の所定の地理的特徴又は物体の名称とを関連付けてキーワードDB240cに記憶することができる。
本発明の一実施形態によれば、キーワードマッチング部230は、所定の画像データに表された形状を認識し、認識された形状の識別情報を該当形状が位置したピクセル列の方向情報と関連付けて記憶することができる。
画像に含まれた形状を認識する技術として、松下電器産業株式会社の日本特許出願1994―3333号を優先権主張の基礎にし、発明の名称が「形状検出装置」である、1995年1月14日付韓国特許出願1995―566号(1995年8月18日付で韓国公開特許公報1995―23966号として公開)に記載された発明を参照することができる(韓国特許出願1995―566号の内容全体が本発明の一実施形態に併合されていることを考慮しなければならない。)。この技術によれば、対象物を撮影したあと、その画像情報を出力し、出力された画像情報をデジタル化してデジタル画像情報を画像データとして記憶し、該当画像の概略的な位置を判定し、画像濃度に基づいて画像のエッジ点を検出して輪郭線を導き出す形状検出装置が開示されている。
また、同一の出願人による日本特許出願1993―174134号及び日本特許出願1993―194355号を優先権主張の基礎にし、発明の名称が「形状検出方法」である、1994年7月14日付韓国特許出願1994―16927号(1995年2月18日付で韓国公開特許公報1995―5034号として公開)に記載された発明を参照することができる(韓国特許出願1994―16927号の内容全体が本発明の一実施形態に併合されていることを考慮しなければならない。)。この方法によれば、画像中に検出対象になる対象物以外に濃度変化の著しい部分がある場合にも、画像を画素単位で分割した後、部分濃度相関値を計算し、より正確な画像中の対象物検出を達成する形状検出方法が開示されている。
本発明の一実施形態によれば、これら各技術及び多数の他の形状認識技術を応用することによって、画像データに含まれた建物や物体の形状を認識し、これに関する情報を抽出することができる。
より具体的には、本発明の一実施形態によれば、標本形状DB240dは、標本形状画像データと標本形状画像データに表された形状に関する識別情報とを関連付けて記憶することができ、キーワードマッチング部230は、画像データに表された形状を標本形状DB240dに記憶された標本形状画像データと比較することによって形状を認識することができる。
画像データに表された形状が認識されれば、キーワードマッチング部230は、認識された形状が位置するピクセル列の方向情報と認識された形状の識別情報とを関連付けてキーワードDB240cに記憶する。
本発明の他の実施形態によれば、キーワードマッチング部230は、地図DB240aに記憶された電子地図データを用いて画像データのピクセル列に対応するキーワードを決定することができる。
より具体的には、キーワードマッチング部230は、画像データと関連付けられた電子地図上の座標を含む地図データで、画像データと関連付けられた座標を基準にして該当画像データの各ピクセル列の方向情報上に存在する地理的特徴又は物体の名称を得ることによって、ピクセル列とキーワードとの間の連関関係を生成することができる。
図2を再び参照して説明すれば、図2のアイコンC(293)と関連付けられた画像データ(図示せず)の場合、アイコンC(293)の位置から西側方向に「崇礼門(Sung−Rae Gate)」が存在することを確認することができる。したがって、アイコンC(293)と連係した画像データ(図示せず)のピクセル列のうち、270゜を方向情報として有するピクセル列及びそのピクセル列に隣接する各ピクセル列は、「崇礼門(Sung−Rae Gate)」というキーワードと関連付けられる。
本発明の更に他の実施形態によれば、キーワードマッチング部230は、形状認識技術及び電子地図データを共に用いて所定の画像データのピクセル列に対応するキーワードを決定することができる。
より具体的には、キーワードマッチング部230は、まず、画像データと関連付けられた電子地図上の座標を含む地図データから、画像データと関連付けられた座標を基準にして該当画像データの各ピクセル列の方向情報上に存在する地理的特徴又は物体の名称を得、得られた地理的特徴又は物体の名称を形状識別情報として含む標本形状データを標本形状データベース240dから抽出する。その後、キーワードマッチング部230は、該当ピクセル列に表された画像と抽出された標本形状データとを比較し、類似度が所定のしきい値以上である場合、該当ピクセル列と該当標本形状データの形状識別情報とを関連付けて記憶することができる。
図2を再び参照して説明すれば、図2上のアイコンD(294)と関連付けられた画像データ(図示せず)の場合、アイコンD(294)の位置から北側方向に「崇礼門(Sung−Rae Gate)」と「崇礼門広場(Sung−Rae Gate Square)」が存在することを確認することができる。したがって、キーワードマッチング部230は、アイコンD(294)と関連付けられた画像データ(図示せず)のピクセル列のうち、180゜を方向情報として有するピクセル列及びそのピクセル列に隣接する各ピクセル列に対して、「崇礼門(Sung−Rae Gate)」及び「崇礼門広場(Sung−Rae Gate Square)」を候補キーワードとして決定することができる。その後、キーワードマッチング部230は、該当ピクセル列に表された画像と、形状識別情報として「崇礼門(Sung−Rae Gate)」を有する標本形状データ及び形状識別情報として「崇礼門広場(Sung−Rae Gate Square)」を有する標本形状データとの画像マッチングを行うことによって、より適切な該当ピクセル列に対応する、より適切なキーワードを決定することができる。
本発明の更に他の実施形態によれば、画像データの特定ピクセル列と関連付けられたキーワードは、地図サービスシステム200の管理者又はユーザによって直接入力される。この場合、本発明の一実施形態に係る地図サービスシステム200から標本形状DB240dが省略されてもよい。
図4は、画像データに関連付けられたアイコンを含み、画像データの各ピクセル列に対応する各キーワードを決定するためにユーザ端末装置に提供される電子地図データの一例を示す図である。
図4を参照すれば、図2のアイコンE(295)と関連付けられた画像データ(図示せず)の場合、ピクセル列A1は「崇礼門(Sung−Rae Gate)」というキーワードと関連付けられ、ピクセル列A2は「バス停留場(Bus Station)」というキーワードと関連付けられ、ピクセル列B3は「公衆電話(Public Telephone)」というキーワードと関連付けられることによって、一つの画像データ(図示せず)を構成する各ピクセル列が互いに異なるキーワードと関連付けられたことを確認することができる。
キーワードを用いた画像データの提供
本発明の一実施形態によれば、ユーザインターフェース部210は、ユーザ端末装置300から入力された検索キーワードを受信し、受信された検索キーワードに対応する地理的特徴又は物体が含まれた電子地図を検索し、検索された電子地図をユーザ端末装置300に提供する。そして、ユーザが該当領域と関連付けられた画像データを検索する場合、検索キーワードに対応するピクセル列をユーザ端末装置300に優先的に表示することができる。
例えば、ユーザ端末装置300から「崇礼門(Sung−Rae Gate)」という検索キーワードが入力された場合、図2に示すような電子地図がユーザ端末装置300に提供され、ユーザがアイコンC(293)をクリックすることによってアイコンC(293)と関連付けられた画像データ(図示せず)を検索する場合、方向情報として270゜を有するピクセル列及びそのピクセル列に隣接するピクセル列をユーザ端末装置300の画面に優先的に提供することができる。
図5は、アユーザ端末装置300に優先的に提供される画像データに含まれた特定ピクセル列の方向情報を仮想の矢印として表示する電子地図データの一例を示す図である。
上述したように、ユーザが「崇礼門(Sung−Rae Gate)」を検索キーワードとして入力したあとに、各アイコン(591〜596)のいずれかをクリックした場合、ユーザ端末装置300に優先的に提供される各ピクセル列は、図5に示すようにそれぞれの矢印として表示される。すなわち、ユーザがアイコンA(591)をクリックした場合、180゜の方向情報を有するピクセル列及びそのピクセル列に隣接する各ピクセル列がユーザ端末装置300上に表示され、ユーザがアイコンB(592)をクリックした場合、225゜の方向情報を有するピクセル列及びそのピクセル列に隣接する各ピクセル列がユーザ端末装置300上に表示される。
本発明の他の実施形態によれば、ユーザインターフェース部210は、ユーザ端末装置300から検索キーワードを受信し、受信された検索キーワードと関連付けられた画像データを直ぐにユーザ端末装置300に提供することができる。すなわち、本実施形態によれば、電子地図サービスと結合されない状態で、ユーザが入力した検索キーワードに対応する画像データを提供する画像検索サービスが想定される。
より具体的には、ユーザインターフェース部210は、ユーザ端末装置300から検索キーワードを受信し、受信された検索キーワードと関連付けられた画像データをキーワードDB240cから検索し、検索された画像データをユーザ端末装置300に提供するときに、ユーザ端末装置300から受信された検索キーワードに対応するピクセル列及びそのピクセル列に隣接するピクセル列がユーザ端末装置300の画面上に優先的に表示されるように制御することができる。
以上説明した本発明に係る各実施形態は、多様なコンピュータ構成要素を通して行われるプログラム命令語の形態で具現され、コンピュータ読取可能な記録媒体に記録される。コンピュータ読取可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。コンピュータ読取可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計・構成されたもの、あるいはコンピュータソフトウェア分野の当業者に公知のものであってもよい。
コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク、磁気テープのような磁気媒体、CD―ROM、DVD−ROMのような光記録媒体、フロプティカルディスクのような磁気―光媒体、及びリードオンリ−メモリ(ROM)、ランダムアクセスメモリ(RAM)、フラッシュメモリなどのようなプログラム命令語を記憶して実行するように特別に構成されたハードウェア装置が含まれる。
プログラム命令語の例としては、コンパイラによって作られるような機械語コードのみならず、インタプリタなどを使用してコンピュータによって実行される高級言語コードも含まれる。
ハードウェア装置は、本発明に係る処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成され、その逆の場合も同様である。
以上、本発明を具体的な構成要素などのような特定事項、限定された実施例及び図面に基づいて説明したが、これは本発明のより全般的な理解を促進するために提供したもので、本発明が前記各実施例によって限定されることはなく、本発明の属する技術分野で通常の知識を有する者であれば、このような記載から多様な修正及び変形を試みることができる。
したがって、本発明の思想は、上述した実施例に限定して定められてはならず、後述する特許請求の範囲のみならず、この特許請求の範囲と均等に又は等価的に変形された全てのものが本発明の思想の範疇に属すると言える。
100:通信網、200:地図サービスシステム、210:ユーザインターフェース部、220:方向情報設定部、230:キーワードマッチング部、240:データベース管理部、240a:地図DB、240b:画像DB、240c:キーワードDB、240d:標本形状DB、250:通信部、260:制御部、300:ユーザ端末装置

Claims (15)

  1. 画像データ上の特定領域をキーワードと関連付けて記憶し、
    ユーザ端末装置から条件情報が受信された場合に、前記条件情報と前記特定領域と関連付けられたキーワードとを比較し、
    前記特定領域が前記ユーザ端末装置の画面に表示されるように前記画像データの表示状態を制御することを備えることを特徴とする画像データの提供方法。
  2. 前記特定領域は、少なくとも一つのピクセル列を備えることを特徴とする、請求項1に記載の画像データの提供方法。
  3. 前記画像データ上の特定領域をキーワードと関連付けて記憶することには、
    前記ピクセル列の方向情報を得、
    前記ピクセル列の方向情報を用いて前記キーワードを得ることを備えることを特徴とする請求項2に記載の画像データの提供方法。
  4. 前記画像データは、電子地図上の特定領域と関連付けられることを特徴とする請求項3に記載の画像データの提供方法。
  5. 前記方向情報は方位角情報を含み、
    前記キーワードは、前記電子地図上の特定領域を基準にして前記ピクセル列の方位角方向に位置する地理的特徴又は物体の識別情報であることを特徴とする請求項4に記載の画像データの提供方法。
  6. 前記ピクセル列の少なくとも一部のピクセルは、前記画像データ上の形状を構成することを特徴とする請求項2に記載の画像データの提供方法。
  7. 前記キーワードは、前記形状に関する識別情報を備えることを特徴とする請求項6に記載の画像データの提供方法。
  8. 前記画像データ上の特定領域をキーワードと関連付けて記憶することは、
    画像データ上に表われた前記形状を認識し、
    前記キーワードに基づいて画像データに表われた前記形状に関する識別情報を決定し、
    前記ピクセル列を前記キーワードに関連付けて記憶することを備えることを特徴とする請求項7に記載の画像データの提供方法。
  9. 前記画像データの表示状態を制御することは、
    前記ユーザ端末装置上で表示される前記画像データの領域である第1の領域及び前記第1の領域以外の領域である第2の領域を決定し、
    前記第1の領域を前記ユーザ端末装置に表示することを備え、
    前記第1の領域は前記特定領域を備えることを特徴とする請求項1に記載の画像データの提供方法。
  10. 画像データを構成する特定ピクセル列の方向情報を得、
    前記画像データと関連付けられた電子地図の領域情報を得、
    前記領域情報及び前記方向情報を用いて少なくとも一つの地理的特徴又は物体の識別情報を得、
    前記特定ピクセル列を、前記地理的特徴又は物体の識別情報と関連したキーワードと関連付けて記憶することを備えることを特徴とする電子地図と関連付けられた画像データとキーワードとの間の連関関係を生成する方法。
  11. 前記ピクセル列に含まれた形状を、前記少なくとも一つの地理的特徴又は物体の識別情報に対応する標本形状データと比較することをさらに備えることを特徴とする請求項10に記載の電子地図と関連付けられた画像データとキーワードとの間の連関関係を生成する方法。
  12. 前記特定ピクセル列と関連付けられた前記地理的特徴又は物体の識別情報は、前記ピクセル列に含まれた形状と所定のしきい値以上の類似度を有する標本形状データに対応する識別情報を備えることを特徴とする請求項11に記載の電子地図と関連付けられた画像データとキーワードとの間の連関関係を生成する方法。
  13. 画像データ上の特定領域をキーワードと関連付けて記憶するキーワードマッチング部と、
    ユーザ端末装置から条件情報が受信された場合に、前記条件情報と前記特定領域と関連付けられたキーワードとを比較し、前記特定領域が前記ユーザ端末装置の画面に表示されるように前記画像データの表示状態を制御するインターフェース提供部とを備えることを特徴とする画像データを提供するためのシステム。
  14. 画像データを構成する特定ピクセル列の方向情報を設定する方向情報設定部と、
    前記画像データと関連付けられた電子地図の領域情報を得、前記領域情報及び前記方向情報を用いて少なくとも一つの地理的特徴又は物体に対する識別情報を得、前記特定ピクセル列を、前記地理的特徴又は物体の識別情報と関連したキーワードと関連付けて記憶するキーワードマッチング部とを備えることを特徴とする電子地図と関連付けられた画像データとキーワードとの間の連関関係を生成するシステム。
  15. 請求項1から請求項12のいずれか1つの項に記載された方法を実行するためのコンピュータプログラムを記録したコンピュータ読取可能な記録媒体。

JP2009259013A 2008-11-13 2009-11-12 画像データを提供するための方法、システム及びコンピュータ読取可能な記録媒体 Active JP5419644B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080112996A KR101042909B1 (ko) 2008-11-13 2008-11-13 이미지 데이터를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR10-2008-0112996 2008-11-13

Publications (2)

Publication Number Publication Date
JP2010118059A true JP2010118059A (ja) 2010-05-27
JP5419644B2 JP5419644B2 (ja) 2014-02-19

Family

ID=42164802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009259013A Active JP5419644B2 (ja) 2008-11-13 2009-11-12 画像データを提供するための方法、システム及びコンピュータ読取可能な記録媒体

Country Status (3)

Country Link
US (1) US8373712B2 (ja)
JP (1) JP5419644B2 (ja)
KR (1) KR101042909B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053181A (ja) * 2009-09-04 2011-03-17 Kddi Corp 情報端末装置
JP2017220230A (ja) * 2016-06-02 2017-12-14 ネイバー コーポレーションNAVER Corporation イメージの内容に基づく地図イメージ検索方法、地図イメージ検索システム及びコンピュータプログラム
JP2020515984A (ja) * 2017-04-06 2020-05-28 クォン、ヨ ハンKWON, John 格子および単語を用いた位置の表示と検索のための装置および方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110139375A (ko) * 2010-06-23 2011-12-29 삼성전자주식회사 위치 정보가 포함된 이미지의 디스플레이 방법 및 장치
CN103455480B (zh) * 2012-05-28 2017-03-08 深圳市腾讯计算机系统有限公司 一种基于电子地图的位置检索方法及装置
US20140223319A1 (en) * 2013-02-04 2014-08-07 Yuki Uchida System, apparatus and method for providing content based on visual search
US11373297B2 (en) * 2016-10-18 2022-06-28 Vatech Co., Ltd. Producing panoramic radiograph
JP6559921B1 (ja) * 2019-03-06 2019-08-14 株式会社ネイン 音声情報提供システム、情報処理端末の制御方法、情報処理端末の制御プログラム、音声出力装置の制御方法、及び、音声出力装置の制御プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289252A (ja) * 1997-02-17 1998-10-27 Dainippon Screen Mfg Co Ltd 画像表示装置およびその処理を実行するためのプログラムを記録した記録媒体
JP2000076284A (ja) * 1998-08-31 2000-03-14 Sony Corp 情報処理装置および方法、並びに提供媒体
JP2001215941A (ja) * 2000-01-31 2001-08-10 D Link Corp 画像表示方法及び装置
JP2002185954A (ja) * 2000-12-18 2002-06-28 Nippon Hoso Kyokai <Nhk> パノラマ映像システム及びパノラマ受像機
JP2008242682A (ja) * 2007-03-27 2008-10-09 Nec Corp メタ情報自動付与システム、メタ情報自動付与方法、及びメタ情報自動付与プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642434A (en) 1993-07-14 1997-06-24 Matsushita Electric Industrial Co., Ltd. Method for shape detection using density correlation valves
JPH07210687A (ja) 1994-01-18 1995-08-11 Matsushita Electric Ind Co Ltd 形状検出装置
US6504571B1 (en) * 1998-05-18 2003-01-07 International Business Machines Corporation System and methods for querying digital image archives using recorded parameters
KR20030015765A (ko) * 2001-08-17 2003-02-25 주식회사 차케어스 인터넷상에서 파노라마사진을 제공하는 방법 및 시스템
JP2007219615A (ja) * 2006-02-14 2007-08-30 Sony Corp 検索装置、検索方法、プログラム
CA2669409C (en) 2006-11-13 2019-09-17 Everyscape, Inc. Method for scripting inter-scene transitions
KR100882025B1 (ko) * 2006-11-17 2009-02-05 고려대학교 산학협력단 지피에스 이미지 검색 방법, 지리적 위치 서비스 기반의지피에스 이미지 검색 방법, 블로그 서비스 기반의지피에스 이미지 검색 방법 및 지역별 블로그 서비스 제공방법
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
JP4315211B2 (ja) * 2007-05-01 2009-08-19 ソニー株式会社 携帯情報端末及び制御方法、並びにプログラム
CA2729285A1 (en) * 2008-06-24 2010-01-21 Google Inc. Method and system for displaying information based on user actions
US20100241507A1 (en) * 2008-07-02 2010-09-23 Michael Joseph Quinn System and method for searching, advertising, producing and displaying geographic territory-specific content in inter-operable co-located user-interface components
US7962500B2 (en) * 2008-10-24 2011-06-14 Yahoo! Inc. Digital image retrieval by aggregating search results based on visual annotations

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289252A (ja) * 1997-02-17 1998-10-27 Dainippon Screen Mfg Co Ltd 画像表示装置およびその処理を実行するためのプログラムを記録した記録媒体
JP2000076284A (ja) * 1998-08-31 2000-03-14 Sony Corp 情報処理装置および方法、並びに提供媒体
JP2001215941A (ja) * 2000-01-31 2001-08-10 D Link Corp 画像表示方法及び装置
JP2002185954A (ja) * 2000-12-18 2002-06-28 Nippon Hoso Kyokai <Nhk> パノラマ映像システム及びパノラマ受像機
JP2008242682A (ja) * 2007-03-27 2008-10-09 Nec Corp メタ情報自動付与システム、メタ情報自動付与方法、及びメタ情報自動付与プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200701047012; 天野完二、外3名: 'イメージベース仮想環境のアノテーションとその応用' 映像情報メディア学会技術報告 第31巻,第10号, 20070222, p.83-87, (社)映像情報メディア学会 *
JPN6013018291; 天野完二、外3名: 'イメージベース仮想環境のアノテーションとその応用' 映像情報メディア学会技術報告 第31巻,第10号, 20070222, p.83-87, (社)映像情報メディア学会 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053181A (ja) * 2009-09-04 2011-03-17 Kddi Corp 情報端末装置
JP2017220230A (ja) * 2016-06-02 2017-12-14 ネイバー コーポレーションNAVER Corporation イメージの内容に基づく地図イメージ検索方法、地図イメージ検索システム及びコンピュータプログラム
JP2020515984A (ja) * 2017-04-06 2020-05-28 クォン、ヨ ハンKWON, John 格子および単語を用いた位置の表示と検索のための装置および方法

Also Published As

Publication number Publication date
KR101042909B1 (ko) 2011-06-21
US20100118040A1 (en) 2010-05-13
KR20100054057A (ko) 2010-05-24
JP5419644B2 (ja) 2014-02-19
US8373712B2 (en) 2013-02-12

Similar Documents

Publication Publication Date Title
JP5419644B2 (ja) 画像データを提供するための方法、システム及びコンピュータ読取可能な記録媒体
US8453060B2 (en) Panoramic ring user interface
US10083533B2 (en) Geo-tagging digital images
JP4964287B2 (ja) 電子地図を用いてサービスを提供するための方法、システム及びコンピュータ読取可能な記録媒体
US8712192B2 (en) Geo-coding images
US8831380B2 (en) Viewing media in the context of street-level images
KR101002030B1 (ko) 단말 장치로 입력되는 입력 영상 및 상기 입력 영상에 관련된 정보를 이용하여 증강 현실을 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US8847951B1 (en) Automatic video and dense image-based geographic information matching and browsing
US20110096992A1 (en) Method, apparatus and computer program product for utilizing real-world affordances of objects in audio-visual media data to determine interactions with the annotations to the objects
US20080270378A1 (en) Method, Apparatus and Computer Program Product for Determining Relevance and/or Ambiguity in a Search System
US20130294649A1 (en) Mobile Image Search and Indexing System and Method
US20090010491A1 (en) Method and apparatus for providing picture file
US20150278878A1 (en) System and method of displaying advertisements
US20100114854A1 (en) Map-based websites searching method and apparatus therefor
US20110218984A1 (en) Method and system for searching for information pertaining target objects
CN112236764A (zh) 数字制图的视口外位置指示
Beeharee et al. Exploiting real world knowledge in ubiquitous applications
JP2010129032A (ja) 画像検索装置および画像検索プログラム
US8688368B2 (en) Image-based localization for addresses
JP2007316876A (ja) 文書検索プログラム
KR100563085B1 (ko) 수치지도와 사진영상의 복합 디스플레이 방법
US11500937B1 (en) Data retrieval system
KR20090036399A (ko) 이미지 검색 시스템 및 검색 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130719

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130724

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130821

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131119

R150 Certificate of patent or registration of utility model

Ref document number: 5419644

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250