JP2013516687A - ビューイングフラスタムを用いて客体に関する情報を提供するための方法、システム及びコンピュータ読み取り可能な記録媒体 - Google Patents

ビューイングフラスタムを用いて客体に関する情報を提供するための方法、システム及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP2013516687A
JP2013516687A JP2012547946A JP2012547946A JP2013516687A JP 2013516687 A JP2013516687 A JP 2013516687A JP 2012547946 A JP2012547946 A JP 2012547946A JP 2012547946 A JP2012547946 A JP 2012547946A JP 2013516687 A JP2013516687 A JP 2013516687A
Authority
JP
Japan
Prior art keywords
viewing frustum
viewing
interest
terminal device
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012547946A
Other languages
English (en)
Other versions
JP5263748B2 (ja
Inventor
フン キム、テ
ヒ リュ、ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2013516687A publication Critical patent/JP2013516687A/ja
Application granted granted Critical
Publication of JP5263748B2 publication Critical patent/JP5263748B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/403Edge-driven scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明はビューイングフラスタムを用いて客体に関する情報を提供するための方法、システム及びコンピュータ読み取り可能な記録媒体に関する。本発明の一態様によれば、ビューイングフラスタムを用いて客体に関する情報を提供するための方法であって、(a)ユーザ端末装置を視点とする少なくとも1つのビューイングフラスタムを特定する段階、及び(b)第1ユーザ端末装置を視点とする第1ビューイングフラスタム及び第2ユーザ端末装置を視点とする第2ビューイングフラスタムが共通して含む客体を参照して前記客体に対する関心度を算出する段階を含む方法が提供される。本発明によれば、ビューイングフラスタムを参照して現実世界に存在する客体に対する関心度を自動で算出し、前記のように算出された客体の関心度に基づいて客体に対する付加情報を差別的に提供できるので、ユーザから多くの関心を受けた客体に対する付加情報を他のユーザに効果的に提供できるようになるという効果を奏する。

Description

本発明は、ビューイングフラスタムを用いて客体に関する情報を提供するための方法、システム及びコンピュータ読み取り可能な記録媒体に関する。より詳しくは、本発明は、ユーザ端末装置により映像が撮影されたり、プレビュー状態でユーザ端末装置を通じて映像が入力される場合にユーザ端末装置を視点として特定されるビューイングフラスタムを参照して客体に対する関心度を自動で算出し、前記のように算出された客体の関心度に基づいて客体に関する情報を差別的に提供することにより、ユーザから多くの関心を受けた客体に対する付加情報を他のユーザに効果的に提供できるようにするための方法、システム及びコンピュータ読み取り可能な記録媒体に関する。
近年、インターネット利用が広がるにつれ、従来は冊子のような印刷物の形態で提供されてきた地理情報がデジタルデータに変換されて提供されるのが一般的になった。デジタル化した代表的な地理情報の形態として、オンライン上で提供される電子マップサービス、車に設置されるナビゲーションシステムなどをその例として挙げられる。このようにデジタル化した地理情報は、検索機能のようなユーザインターフェースと結合されることで、各種便宜機能をユーザに提供できるという長所があり、地理情報に変動が発生する場合、遠隔アップデートなどを通じて容易に更新可能なことから、地理情報の最新性の側面からも従来の印刷物に比べて優位性を有するのが現状である。
特に、最近はユーザ端末装置によりリアルタイムで撮影される入力映像にコンピュータグラフィックス(Computer Graphics:CG)、文字メールなどの付加情報を合成して表示する拡張現実(Augmented Reality:AR)の形態で地理情報を提供する技術が紹介されているが、このような拡張現実技術によれば、ユーザが実際に見ている現実世界を含んでいる画面に付加情報を視覚的に重複して提供できるので、より良い環境をユーザに提供できる。
一方、前記のように拡張現実技術を利用して付加情報を提供するにおいてユーザ端末装置により撮影又は入力される小さなサイズの入力映像に含まれている全ての客体に対して付加情報を提供することは現実的に難しく、相対的に関心度(又は重要度)の高い客体に対する付加情報のみを差別的に提供することが好ましい。
しかしながら、従来技術によれば、付加情報提供システムのマップ上に存在する数多くの客体に対する関心度を手動で設定しなければならない煩わしさが伴うという問題があった。また、客体に対する関心度を自動で算出するために、別個の関心度算出方法を導入する場合にもその正確度が高くないため、ユーザの所望する客体に対する付加情報を効果的に提供し難いという問題があった。
本発明は前述した問題を何れも解決することをその目的とする。
また、本発明の他の目的は、ユーザ端末装置により映像が撮影される場合にユーザ端末装置を視点として特定されるビューイングフラスタムを参照して現実世界に存在する客体に対する関心度を自動で算出することで、客体に対する付加情報を客体の関心度に基づいて差別的に提供できるようにすることにある。
更に、本発明の別の目的は、マップ上に存在する客体に対する付加情報をユーザ端末装置上に拡張現実の形態で提供するにおいてユーザの人口学的属性情報、時間帯情報などの状況情報を参照することによって、ユーザの状況に適した付加情報を提供できるようにすることにある。
前記目的を達成するための本発明の代表的な構成は、以下の通りである。
本発明の一態様によれば、ビューイングフラスタムを用いて客体に関する情報を提供するための方法であって、(a)ユーザ端末装置を視点とする少なくとも1つのビューイングフラスタムを特定する段階、及び(b)第1ユーザ端末装置を視点とする第1ビューイングフラスタム及び第2ユーザ端末装置を視点とする第2ビューイングフラスタムが共通して含む客体を参照して前記客体に対する関心度を算出する段階を含む方法が提供される。
本発明の他の態様によれば、ビューイングフラスタムを用いて客体に関する情報を提供するためのシステムであって、ユーザ端末装置を視点とする少なくとも1つのビューイングフラスタムを特定するビューイングフラスタム決定部、及び第1ユーザ端末装置を視点とする第1ビューイングフラスタム及び第2ユーザ端末装置を視点とする第2ビューイングフラスタムが共通して含む客体を参照して前記客体に対する関心度を算出するビューイングフラスタム分析部を含むシステムが提供される。
この他にも、本発明を実現するための他の方法、システム及び前記方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読み取り可能な記録媒体が更に提供される。
本発明によれば、ビューイングフラスタムを参照して現実世界に存在する客体に対するユーザの関心度を自動で算出し、前記のように算出された客体の関心度に基づいて客体に対する付加情報を差別的に提供することができるので、ユーザから多くの関心を受けた客体に対する付加情報を他のユーザに効果的に提供可能になるという効果を奏する。
また、本発明によれば、ユーザの状況に適した客体に対する付加情報(例えば、30代男子からの関心度が高い建物に対する付加情報、昼間時間帯に関心度が高い商店に対する付加情報など)を提供することができるので、ユーザのタイプを細分化してユーザが関心を持ちそうな客体に対して付加情報を提供可能になるという効果を達成することができる。
本発明の一実施形態によってビューイングフラスタムを参照して客体に関する情報を提供するための全体システムの構成を概略的に示す図である。 本発明の一実施形態に係る客体情報提供システム200の内部構成を例示的に示す図である。 本発明の一実施形態によってビューイングフラスタムの形態を例示的に示す図である。 本発明の一実施形態によってビューイングフラスタムと客体との位置関係を例示的に示す図である。
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施形態を例として示す添付の図面を参照する。これらの実施形態は、当業者が本発明を実施できるのに十分なように詳細に説明される。本発明の多様な実施形態は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲から逸脱しないながらも、他の実施形態で実現され得る。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は、本発明の精神及び範囲から逸脱しないながらも、変更され得ることが理解されるべきである。従って、後述する詳細な説明は、限定的な意味として取ろうとするのではなく、本発明の範囲は、適切に説明されれば、それらの請求項が主張するものと均等なあらゆる範囲と共に添付された請求項によってのみ限定される。図面において類似する参照符号は、多様な側面にわたって同一又は類似する機能を示す。
以下では、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好適な実施形態について添付の図面を参照して詳細に説明する。
本発明の好適な実施形態
本明細書において、ビューイングフラスタムは、カメラなどの撮影装置により映像が撮影されたり、プレビュー状態で入力される場合に撮影装置の視野に含まれる3次元領域を示すものであって、該当撮影装置を視点として特定され、撮影レンズの種類によって円錐状又は多角錐状の無限領域(あるいは円錐又は多角錐が視線方向に垂直な近平面(near plane)又は遠平面(far plane)によって切り取られた台形円柱状又は台形多面体状の有限領域であり得る)に特定され得る。より具体的に、本明細書で言及されたビューイングフラスタムは、現実世界に存在する客体(建物など)の少なくとも一部を通るように形成されてもよく、互いに異なるユーザ端末装置を視点としてそれぞれ特定されるビューイングフラスタムは互いに重なる共通領域を有してもよい。
全体システムの構成
図1は、本発明の一実施形態によってビューイングフラスタムを参照して客体に関する情報を提供するための全体システムの構成を概略的に示す図である。
図1に示すように、本発明の一実施形態に係る全体システムは、通信網100、客体情報提供システム200、ユーザ端末装置300で構成されることができる。
まず、通信網100は、有線及び無線のようなその通信形態を問わず構成されることができ、近距離通信網(LAN:Local Area Network)、都市圏通信網(MAN:Metropolitan Area Network)、広域通信網(WAN:Wide Area Network)など多様な通信網で構成されることができる。好ましくは、本発明でいう通信網100は、公知のワールドワイドウェブ(WWW:World Wide Web)であり得る。
本発明の一実施形態によれば、客体情報提供システム200は、ユーザ端末装置に映像が入力される場合に該当ユーザ端末装置を視点として特定されるビューイングフラスタムを参照して端末装置に入力される映像内に存在する客体に対する関心度を自動で算出し、前記のように算出された客体の関心度に基づいて客体に対する付加情報を差別的に提供する機能を行うことができる。
一方、本発明の一実施形態に係るユーザ端末装置300は、客体情報提供システム200に接続した後に通信できるようにする機能を含むデジタル機器であって、個人用コンピュータ(例えば、デスクトップコンピュータ、ノートブックコンピュータなど)、ワークステーション、PDA、ウェブパッド、移動電話機などのようにメモリ手段を備え、マイクロ・プロセッサを搭載して演算能力を備えたデジタル機器であれば、いくらでも本発明に係るユーザ端末装置300として採択され得る。
客体情報提供システムの構成
以下では、本発明の実現のために重要な機能を行う客体情報提供システム200の内部構成及び各構成要素の機能について詳察する。
図2は、本発明の一実施形態に係る客体情報提供システム200の内部構成を例示的に示す図である。
図2に示すように、本発明の一実施形態に係る客体情報提供システム200は、ビューイングフラスタム決定部210、ビューイングフラスタム分析部220、客体情報提供部230、データベース240、通信部250及び制御部260を含むことができる。本発明の一実施形態によれば、ビューイングフラスタム決定部210、ビューイングフラスタム分析部220、客体情報提供部230、データベース240、通信部250及び制御部260は、そのうちの少なくとも一部がユーザ端末装置300と通信するプログラムモジュールであり得る。このようなプログラムモジュールは、オペレーティングシステム、応用プログラムモジュール及びその他プログラムモジュールの形態で客体情報提供システム200に含まれることができ、物理的には多様な公知の記憶装置上に格納されることができる。また、このようなプログラムモジュールは、客体情報提供システム200と通信可能な遠隔記憶装置に格納されることもできる。一方、このようなプログラムモジュールは、本発明によって後述する特定の業務を行ったり、特定の抽象データのタイプを実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されるものではない。
まず、本発明の一実施形態によれば、ビューイングフラスタム決定部210は、ユーザ端末装置300により映像が撮影されたり、プレビュー状態で入力される場合に該当ユーザ端末装置を視点とするビューイングフラスタムを特定し、これを格納する機能を行う。
本発明の一実施形態によれば、ユーザは自身のユーザ端末装置300を用いて自身が関心を持つ客体に対して映像撮影、映像プレビューなどの意味のある行為を行えるが、これによりユーザ端末装置300を視点として特定されるビューイングフラスタムには該当ユーザが関心を持つ建物、商店などの客体の全部又は一部が含まれることになる。
また、本発明の一実施形態によれば、ビューイングフラスタムは3次元空間上で定義される3次元領域であり得、視点を頂点とし、高さが無限大の円錐状又は多角錐状の無限領域に定義され得る。ここで、ビューイングフラスタムの形態は撮影レンズの種類によって異なり得るが、一般的なカメラレンズで撮影する場合、四角錐などの多角錐状で定義され得る。ただし、本発明に係るビューイングフラスタムの形態が前記列挙された実施形態に限定されるものではなく、ビューイングフラスタムは視線方向に垂直な近平面又は遠平面によって切り取られた台形円柱状又は台形六面体状などの有限領域に定義され得る。
図3は、本発明の一実施形態によってビューイングフラスタムの形態を例示的に示す図である。
図3に示すように、本発明の一実施形態に係るビューイングフラスタム310は、透視図法によってユーザ端末装置300を視点とし、近平面320及び遠平面330により区画される有限領域に定義され得る。ここで、視点から近平面320及び遠平面330までの距離は、全てのビューイングフラスタムにおいて一定に設定されるか、撮影の対象となる客体によって適応的に設定されることができる。例えば、撮影の対象となる客体が建築物である場合には、該当建築物がビューイングフラスタムに完全に含まれ得るように視点から近平面320及び遠平面330までの距離がそれぞれ10m及び5000mに設定されることができる。もちろん、前述したように、遠平面330までの距離に制限を設けず、無限領域に定義されることもできるのはもちろんであると言える。
一方、本発明の一実施形態によれば、ビューイングフラスタムの位置及び方向は、ユーザ端末装置300の位置及び方向を参照して決定され得る。即ち、ユーザ端末装置300を視点とするビューイングフラスタムは、該当ユーザ端末装置300の位置及び方向によってマップ上の3次元空間でその位置及び方向が特定され得る。ここで、ユーザ端末装置300の位置及び方向に関する情報は、それぞれ公知のGPS(Global Positioning System)モジュール及び加速度センシング手段によって得られることもできる。
また、本発明の一実施形態によれば、ユーザがユーザ端末装置300を用いて動画を撮影する場合には、ユーザの移動又は操作などによってユーザ端末装置300の位置及び方向が時々刻々変化し得るようになり、これによりビューイングフラスタムの位置及び方向も時々刻々変化し得ることになるが、このような場合には動画を構成する複数のフレームからビューイングフラスタムがそれぞれ特定されるものと定義されることもできる。
一方、本発明の一実施形態によれば、ビューイングフラスタム決定部210は、ビューイングフラスタムが特定される当時の状況情報を獲得する機能を行うこともできる。ここで、ビューイングフラスタムに対する状況情報には、ビューイングフラスタムが特定された時間帯、ビューイングフラスタムの視点となるユーザ端末装置のユーザの性別、年齢などの人口学的情報などが含まれ得るが、このような状況情報は、後述する客体情報提供部230がユーザにターゲットとなった客体情報を提供する際に活用されることができる。
次に、本発明の一実施形態によれば、ビューイングフラスタム分析部220は、複数のユーザ端末装置300から特定された複数のビューイングフラスタムを分析して現実世界に存在する客体に対する関心度を算出する機能を行う。
より具体的に、本発明の一実施形態に係るビューイングフラスタム分析部220は、ビューイングフラスタムの位置及び方向を参照してマップ上の3次元空間上で複数のビューイングフラスタムが互いに重なる、いわゆる、共通領域を算出することができ、前記算出された共通領域に該当する客体をユーザからの関心度が高い客体であると決定することができる。
図4は、本発明の一実施形態によってビューイングフラスタムと客体との位置関係を例示的に示す図である。参考までに、図4において、第1及び第2ビューイングフラスタム(それぞれ410及び420)は、互いに異なる地点(それぞれ415及び425)を視点とするビューイングフラスタムであって、四角錐状の無限領域であると仮定する。
図4に示すように、マップ上の3次元空間で特定された第1及び第2ビューイングフラスタム410、420の間には互いに重なる領域である共通領域430が存在し得、このような共通領域は、自身のユーザ端末装置を用いて映像を撮影することにより、第1及び第2フラスタム410、420がそれぞれ特定されるようにした第1及び第2ユーザが何れも関心を持つ領域であると評価され得る。従って、本発明の一実施形態に係るビューイングフラスタム分析部220は、客体A(440)が共通領域430に含まれ、客体B(450)が第1ビューイングフラスタム410の領域にのみ含まれる場合に客体A(440)は第1及び第2ユーザの両方からの関心度が高い客体であり、客体B(450)は第1ユーザのみから関心度が高い客体であると決定することができ、結果として、客体A(440)に対する関心度が客体B(450)に対する関心度よりも高いと決定することができる。また、このような流れから、本発明の一実施形態に係るビューイングフラスタム分析部220は、互いに異なるビューイングフラスタムによる交差回数が多い共通領域に位置する客体のほど該当客体に対する関心度が高いと決定することができる。
更に、本発明の一実施形態に係るビューイングフラスタム分析部220は、ビューイングフラスタムに位置する客体が該当ビューイングフラスタムの視点から離れた距離が近いほど該当客体に対する関心度が高いと決定することができ、共通領域において客体の占める領域の割合が大きいほど該当客体に対する関心度が高いと決定することができる。
一方、ビューイングフラスタムの視野角が狭かったり、ビューイングフラスタムの視点から客体までの距離があまりにも短い場合には、互いに異なるビューイングフラスタムが同一の客体に向かって伸びているにも拘らず、互いに重ならないこともあり得る。例えば、高さが300mである建築物Bから僅か10m離れた距離で、建築物Bの正面の高層部分を撮影する場合に特定されるビューイングフラスタムと建築物Bの側面の低層部分を撮影する場合に特定されるビューイングフラスタムは、何れも建築物Bに向かって伸びているにも拘らず、互いに重なる共通領域を有しないこともあり得る。
そこで、本発明の他の実施形態によれば、ビューイングフラスタム分析部220は、たとえ該当ビューイングフラスタムが互いに重なる共通領域が存在しなくても、ビューイングフラスタムの位置及び方向に関する情報を参照したり、客体認識技術を利用してビューイングフラスタムに全部又は一部が含まれる客体が何かをまず認識し、その結果、ある客体が互いに異なるビューイングフラスタムにそれぞれ含まれていると認識されれば、該当客体は該当客体が該当ビューイングフラスタムが互いに重なる共通領域に位置する場合と同様の関心度を有するものと決定する機能を行うこともできる。具体的に、ビューイングフラスタムに含まれる客体を認識するための方法としては、GPSモジュール及び加速度センシング手段などを通じて得られるビューイングフラスタムの位置及び方向を参照してマップ上の3次元空間で該当ビューイングフラスタムに含まれる客体が何かを認識する方法が適用されることができ、ビューイングフラスタムに対応する入力映像上に現れる客体の外形(輪郭、パターン)を分析して該当客体が何かを認識する方法が適用されることもできる。
次に、本発明の一実施形態によれば、客体情報提供部230は、ビューイングフラスタム分析部220により算出された客体の関心度を参照して少なくとも1つの客体に対する付加情報を差別的に提供する機能を行う。
より具体的に、本発明の一実施形態に係る客体情報提供部230は、拡張現実に表示される関心地点(Point Of Interest:POI)に対する付加情報を提供することができるが、このような場合、関心度が既に設定された水準以上である客体に対する付加情報のみを提供するか、客体の関心度に基づいて該当客体を示すアイコンなどの視覚効果の大きさが差別的に表示されるようにすることもできる。
例えば、驛三駅近くに位置するユーザBが撮影装置付きのユーザ端末装置を用いて拡張現実の形態で客体に対する付加情報の提供を受ける場合を仮定することができる。このような場合、ユーザBは複数のユーザからの関心度が高いと決定された「江南ファイナンスタワー」に対してのみ選択的に付加情報の提供を受けられる反面、関心度が低いと決定された「ソンジハイツビル」に対しては選択的に付加情報の提供を受けられなくなることによって、好みによって有用な情報のみを集中的に提供され得るようになる。
また、本発明の一実施形態によれば、客体情報提供部230は、ビューイングフラスタムに対する状況情報を参照して情報の提供を受けるユーザの状況に符合する客体に対してのみ付加情報を提供する機能を行える。前述したように、ビューイングフラスタムに対する状況情報には、ビューイングフラスタムが特定された時間帯、ビューイングフラスタムの視点となるユーザ端末装置のユーザの性別、年齢などの人口学的情報などが含まれ得る。
例えば、20代女性であるユーザCが昼間時間帯に情報の提供を受ける場合を仮定することができる。このような場合、本発明の一実施形態に係る客体情報提供部230は、20代女性に該当する他のユーザによって昼間時間帯に特定されたビューイングフラスタムのみを参照して算出された客体の関心度を参照し、ユーザCの状況に適した客体(例えば、デパート、コーヒーショップなど)に対してのみ付加情報を提供することができる。
前記実施形態では、マップ上の3次元空間で定義されるビューイングフラスタムについて主に説明したが、本発明に係るビューイングフラスタムが必ずしも前記実施形態に限定されるものではない。本発明の他の実施形態によれば、ビューイングフラスタム分析部220は、3次元空間上で特定されたビューイングフラスタムをマップ上の2次元空間に投影し、互いに異なる投影領域間の共通領域を参照して客体の関心度を算出することもできる。
一方、本発明の一実施形態に係るデータベース240には、少なくとも1つのユーザ端末装置を視点として特定されるビューイングフラスタムの形態、近平面、遠平面、位置、方向などに関する情報が格納され得、各ビューイングフラスタムには状況情報が連係して格納され得る。ここで、ビューイングフラスタムと連係して格納される状況情報には、ビューイングフラスタムが特定された時間帯、ビューイングフラスタムの視点となるユーザ端末装置のユーザの性別、年齢などの人口学的情報などが含まれ得る。
本発明においてデータベースとは、狭義のデータベースだけでなく、コンピュータファイルシステムに基づくデータ記録などを含む広い意味のデータベースまで含む概念であって、単純な演算処理ログの集合であっても、これを検索して所定のデータを抽出できるならば、本発明でいうデータベースに含まれ得ることが理解されるべきである。たとえ、図2においてデータベース240は客体情報提供システム200に含まれて構成されているものと示されていても、本発明を実現する当業者の必要に応じてデータベース240は客体情報提供システム200と別個で構成されることもできる。
本発明の一実施形態に係る通信部250は、客体情報提供システム200がユーザ端末装置300などのような外部装置と通信できるようにする機能を行う。
本発明の一実施形態に係る制御部260は、ビューイングフラスタム決定部210、ビューイングフラスタム分析部220、客体情報提供部230、データベース240及び通信部250間のデータの流れを制御する機能を行う。即ち、制御部260は、外部からの又は客体情報提供システム200の各構成要素間のデータの流れを制御することによって、ビューイングフラスタム決定部210、ビューイングフラスタム分析部220、客体情報提供部230、データベース240及び通信部250でそれぞれ固有機能を行うように制御する。
以上説明された本発明に係る実施形態は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で実現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独又は組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであってもよく、コンピュータソフトウェア分野の当業者にとって公知の使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フレキシブルディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光気録媒体、フロプティカルディスク(floptical disk)のような磁気−光媒体(magneto−optical media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を格納し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラにより作られるもののような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために、1つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施形態及び図面により説明されたが、これは、本発明のより全般的な理解を促進するために提供されたものであって、本発明が前記実施形態に限定されるものではなく、本発明の属する技術分野において通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
従って、本発明の思想は、前記説明された実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形された全てのものは、本発明の思想の範疇に属すると言える。
100 通信網
200 客体情報提供システム
210 ビューイングフラスタム決定部
220 ビューイングフラスタム分析部
230 客体情報提供部
240 データベース
250 通信部
260 制御部
300 ユーザ端末装置
【書類名】明細書
【発明の名称】ビューイングフラスタムを用いて客体に関する情報を提供するための方法、システム及びコンピュータ読み取り可能な記録媒体
【技術分野】
本発明は、ビューイングフラスタムを用いて客体に関する情報を提供するための方法、システム及びコンピュータ読み取り可能な記録媒体に関する。より詳しくは、本発明は、ユーザ端末装置により映像が撮影されたり、プレビュー状態でユーザ端末装置を通じて映像が入力される場合にユーザ端末装置を視点として特定されるビューイングフラスタムを参照して客体に対する関心度を自動で算出し、前記のように算出された客体の関心度に基づいて客体に関する情報を差別的に提供することにより、ユーザから多くの関心を受けた客体に対する付加情報を他のユーザに効果的に提供できるようにするための方法、システム及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
近年、インターネット利用が広がるにつれ、従来は冊子のような印刷物の形態で提供されてきた地理情報がデジタルデータに変換されて提供されるのが一般的になった。デジタル化した代表的な地理情報の形態として、オンライン上で提供される電子マップサービス、車に設置されるナビゲーションシステムなどをその例として挙げられる。このようにデジタル化した地理情報は、検索機能のようなユーザインターフェースと結合されることで、各種便宜機能をユーザに提供できるという長所があり、地理情報に変動が発生する場合、遠隔アップデートなどを通じて容易に更新可能なことから、地理情報の最新性の側面からも従来の印刷物に比べて優位性を有するのが現状である。
特に、最近はユーザ端末装置によりリアルタイムで撮影される入力映像にコンピュータグラフィックス(Computer Graphics:CG)、文字メールなどの付加情報を合成して表示する拡張現実(Augmented Reality:AR)の形態で地理情報を提供する技術が紹介されているが、このような拡張現実技術によれば、ユーザが実際に見ている現実世界を含んでいる画面に付加情報を視覚的に重複して提供できるので、より良い環境をユーザに提供できる。
一方、前記のように拡張現実技術を利用して付加情報を提供するにおいてユーザ端末装置により撮影又は入力される小さなサイズの入力映像に含まれている全ての客体に対して付加情報を提供することは現実的に難しく、相対的に関心度(又は重要度)の高い客体に対する付加情報のみを差別的に提供することが好ましい。
しかしながら、従来技術によれば、付加情報提供システムのマップ上に存在する数多くの客体に対する関心度を手動で設定しなければならない煩わしさが伴うという問題があった。また、客体に対する関心度を自動で算出するために、別個の関心度算出方法を導入する場合にもその正確度が高くないため、ユーザの所望する客体に対する付加情報を効果的に提供し難いという問題があった。
【発明の概要】
【発明が解決しようとする課題】
本発明は前述した問題を何れも解決することをその目的とする。
また、本発明の他の目的は、ユーザ端末装置により映像が撮影される場合にユーザ端末装置を視点として特定されるビューイングフラスタムを参照して現実世界に存在する客体に対する関心度を自動で算出することで、客体に対する付加情報を客体の関心度に基づいて差別的に提供できるようにすることにある。
更に、本発明の別の目的は、マップ上に存在する客体に対する付加情報をユーザ端末装置上に拡張現実の形態で提供するにおいてユーザの人口学的属性情報、時間帯情報などの状況情報を参照することによって、ユーザの状況に適した付加情報を提供できるようにすることにある。
【課題を解決するための手段】
前記目的を達成するための本発明の代表的な構成は、以下の通りである。
本発明のー態様によれば、ビューイングフラスタムを用いて客体に関する情報を提供するための方法であって、(a)プロセッサが、ユーザ端末装置を視点とする少なくともつのビューイングフラスタムを特定する段階、及び(b)プロセッサが、第1ユーザ端末装置を視点とする第1ビューイングフラスタム及び第2ユーザ端末装置を視点とする第2ビューイングフラスタムが共通して含む客体を参照して客体に対する関心度を算出する段階を含む方法が提供される。
本発明の他の態様によれば、ビューイングフラスタムを用いて客体に関する情報を提供するためのシステムであって、ユーザ端末装置を視点とする少なくともつのビューイングフラスタムを特定するビューイングフラスタム決定部、及び第1ユーザ端末装置を視点とする第1ビューイングフラスタム及び第2ユーザ端末装置を視点とする第2ビューイングフラスタムが共通して含む客体を参照して客体に対する関心度を算出するビューイングフラスタム分析部を含むシステムが提供される。
この他にも、本発明を実現するための他の方法、システム及び方法をプロセッサによって実行されるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体が更に提供される。
【発明の効果】
本発明によれば、ビューイングフラスタムを参照して現実世界に存在する客体に対するユーザの関心度を自動で算出し、前記のように算出された客体の関心度に基づいて客体に対する付加情報を差別的に提供することができるので、ユーザから多くの関心を受けた客体に対する付加情報を他のユーザに効果的に提供可能になるという効果を奏する。
また、本発明によれば、ユーザの状況に適した客体に対する付加情報(例えば、30代男子からの関心度が高い建物に対する付加情報、昼間時間帯に関心度が高い商店に対する付加情報など)を提供することができるので、ユーザのタイプを細分化してユーザが関心を持ちそうな客体に対して付加情報を提供可能になるという効果を達成することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態によってビューイングフラスタムを参照して客体に関する情報を提供するための全体システムの構成を概略的に示す図である。
【図2】本発明の一実施形態に係る客体情報提供システム200の内部構成を例示的に示す図である。
【図3】本発明の一実施形態によってビューイングフラスタムの形態を例示的に示す図である。
【図4】本発明の一実施形態によってビューイングフラスタムと客体との位置関係を例示的に示す図である。
【発明を実施するための形態】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施形態を例として示す添付の図面を参照する。これらの実施形態は、当業者が本発明を実施できるのに十分なように詳細に説明される。本発明の多様な実施形態は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲から逸脱しないながらも、他の実施形態で実現され得る。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は、本発明の精神及び範囲から逸脱しないながらも、変更され得ることが理解されるべきである。従って、後述する詳細な説明は、限定的な意味として取ろうとするのではなく、本発明の範囲は、適切に説明されれば、それらの請求項が主張するものと均等なあらゆる範囲と共に添付された請求項によってのみ限定される。図面において類似する参照符号は、多様な側面にわたって同一又は類似する機能を示す。
以下では、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好適な実施形態について添付の図面を参照して詳細に説明する。
本発明の好適な実施形態
本明細書において、ビューイングフラスタムは、カメラなどの撮影装置により映像が撮影されたり、プレビュー状態で入力される場合に撮影装置の視野に含まれる3次元領域を示すものであって、該当撮影装置を視点として特定され、撮影レンズの種類によって円錐状又は多角錐状の無限領域(あるいは円錐又は多角錐が視線方向に垂直な近平面(near plane)又は遠平面(far plane)によって切り取られた台形円柱状又は台形多面体状の有限領域であり得る)に特定され得る。より具体的に、本明細書で言及されたビューイングフラスタムは、現実世界に存在する客体(建物など)の少なくとも一部を通るように形成されてもよく、互いに異なるユーザ端末装置を視点としてそれぞれ特定されるビューイングフラスタムは互いに重なる共通領域を有してもよい。
全体システムの構成
図1は、本発明の一実施形態によってビューイングフラスタムを参照して客体に関する情報を提供するための全体システムの構成を概略的に示す図である。
図1に示すように、本発明の一実施形態に係る全体システムは、通信網100、客体情報提供システム200、ユーザ端末装置300で構成されることができる。
まず、通信網100は、有線及び無線のようなその通信形態を問わず構成されることができ、近距離通信網(LAN:Local Area Network)、都市圏通信網(MAN:Metropolitan Area Network)、広域通信網(WAN:Wide Area Network)など多様な通信網で構成されることができる。好ましくは、本発明でいう通信網100は、公知のワールドワイドウェブ(WWW:World Wide Web)であり得る。
本発明の一実施形態によれば、客体情報提供システム200は、ユーザ端末装置に映像が入力される場合に該当ユーザ端末装置を視点として特定されるビューイングフラスタムを参照して端末装置に入力される映像内に存在する客体に対する関心度を自動で算出し、前記のように算出された客体の関心度に基づいて客体に対する付加情報を差別的に提供する機能を行うことができる。
一方、本発明の一実施形態に係るユーザ端末装置300は、客体情報提供システム200に接続した後に通信できるようにする機能を含むデジタル機器であって、個人用コンピュータ(例えば、デスクトップコンピュータ、ノートブックコンピュータなど)、ワークステーション、PDA、ウェブパッド、移動電話機などのようにメモリ手段を備え、マイクロ・プロセッサを搭載して演算能力を備えたデジタル機器であれば、いくらでも本発明に係るユーザ端末装置300として採択され得る。
客体情報提供システムの構成
以下では、本発明の実現のために重要な機能を行う客体情報提供システム200の内部構成及び各構成要素の機能について詳察する。
図2は、本発明の一実施形態に係る客体情報提供システム200の内部構成を例示的に示す図である。
図2に示すように、本発明の一実施形態に係る客体情報提供システム200は、ビューイングフラスタム決定部210、ビューイングフラスタム分析部220、客体情報提供部230、データベース240、通信部250及び制御部260を含むことができる。本発明の一実施形態によれば、ビューイングフラスタム決定部210、ビューイングフラスタム分析部220、客体情報提供部230、データベース240、通信部250及び制御部260は、そのうちの少なくとも一部がユーザ端末装置300と通信するプログラムモジュールであり得る。このようなプログラムモジュールは、オペレーティングシステム、応用プログラムモジュール及びその他プログラムモジュールの形態で客体情報提供システム200に含まれることができ、物理的には多様な公知の記憶装置上に格納されることができる。また、このようなプログラムモジュールは、客体情報提供システム200と通信可能な遠隔記憶装置に格納されることもできる。一方、このようなフログラムモジュールは、本発明によって後述する特定の業務を行ったり、特定の抽象データのタイプを実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されるものではない。
まず、本発明の一実施形態によれば、ビューイングフラスタム決定部210は、ユーザ端末装置300により映像が撮影されたり、プレビュー状態で入力される場合に該当ユーザ端末装置を視点とするビューイングフラスタムを特定し、これを格納する機能を行う。
本発明の一実施形態によれば、ユーザは自身のユーザ端末装置300を用いて自身が関心を持つ客体に対して映像撮影、映像プレビューなどの意味のある行為を行えるが、これによりユーザ端末装置300を視点として特定されるビューイングフラスタムには該当ユーザが関心を持つ建物、商店などの客体の全部又は一部が含まれることになる。
また、本発明の一実施形態によれば、ビューイングフラスタムは3次元空間上で定義される3次元領域であり得、視点を頂点とし、高さが無限大の円錐状又は多角錐状の無限領域に定義され得る。ここで、ビューイングフラスタムの形態は撮影レンズの種類によって異なり得るが、一般的なカメラレンズで撮影する場合、四角錐などの多角錐状で定義され得る。ただし、本発明に係るビューイングフラスタムの形態が前記列挙された実施形態に限定されるものではなく、ビューイングフラスタムは視線方向に垂直な近平面又は遠平面によって切り取られた台形円柱状又は台形六面体状などの有限領域に定義され得る。
図3は、本発明の一実施形態によってビューイングフラスタムの形態を例示的に示す図である。
図3に示すように、本発明の一実施形態に係るビューイングフラスタム310は、透視図法によってユーザ端末装置300を視点とし、近平面320及び遠平面330により区画される有限領域に定義され得る。ここで、視点から近平面320及び遠平面330までの距離は、全てのビューイングフラスタムにおいて一定に設定されるか、撮影の対象となる客体によって適応的に設定されることができる。例えば、撮影の対象となる客体が建築物である場合には、該当建築物がビューイングフラスタムに完全に含まれ得るように視点から近平面320及び遠平面330までの距離がそれぞれ10m及び5000mに設定されることができる。もちろん、前述したように、遠平面330までの距離に制限を設けず、無限領域に定義されることもできるのはもちろんであると言える。
一方、本発明の一実施形態によれば、ビューイングフラスタムの位置及び方向は、ユーザ端末装置300の位置及び方向を参照して決定され得る。即ち、ユーザ端末装置300を視点とするビューイングフラスタムは、該当ユーザ端末装置300の位置及び方向によってマップ上の3次元空間でその位置及び方向が特定され得る。ここで、ユーザ端末装置300の位置及び方向に関する情報は、それぞれ公知のGPS(Global Positioning System)モジュール及び加速度センシング手段によって得られることもできる。
また、本発明の一実施形態によれば、ユーザがユーザ端末装置300を用いて動画を撮影する場合には、ユーザの移動又は操作などによってユーザ端末装置300の位置及び方向が時々刻々変化し得るようになり、これによりビューイングフラスタムの位置及び方向も時々刻々変化し得ることになるが、このような場合には動画を構成する複数のフレームからビューイングフラスタムがそれぞれ特定されるものと定義されることもできる。
一方、本発明の一実施形態によれば、ビューイングフラスタム決定部210は、ビューイングフラスタムが特定される当時の状況情報を獲得する機能を行うこともできる。ここで、ビューイングフラスタムに対する状況情報には、ビューイングフラスタムが特定された時間帯、ビューイングフラスタムの視点となるユーザ端末装置のユーザの性別、年齢などの人口学的情報などが含まれ得るが、このような状況情報は、後述する客体情報提供部230がユーザにターゲットとなった客体情報を提供する際に活用されることができる。
次に、本発明の一実施形態によれば、ビューイングフラスタム分析部220は、複数のユーザ端末装置300から特定された複数のビューイングフラスタムを分析して現実世界に存在する客体に対する関心度を算出する機能を行う。
より具体的に、本発明の一実施形態に係るビューイングフラスタム分析部220は、ビューイングフラスタムの位置及び方向を参照してマップ上の3次元空間上で複数のビューイングフラスタムが互いに重なる、いわゆる、共通領域を算出することができ、前記算出された共通領域に該当する客体をユーザからの関心度が高い客体であると決定することができる。
図4は、本発明の一実施形態によってビューイングフラスタムと客体との位置関係を例示的に示す図である。参考までに、図4において、第1及び第2ビューイングフラスタム(それぞれ410及び420)は、互いに異なる地点(それぞれ415及び425)を視点とするビューイングフラスタムであって、四角錐状の無限領域であると仮定する。
図4に示すように、マップ上の3次元空間で特定された第1及び第2ビューイングフラスタム410、420の間には互いに重なる領域である共通領域430が存在し得、このような共通領域は、自身のユーザ端末装置を用いて映像を撮影することにより、第1及び第2フラスタム410、420がそれぞれ特定されるようにした第1及び第2ユーザが何れも関心を持つ領域であると評価され得る。従って、本発明の一実施形態に係るビューイングフラスタム分析部220は、客体A(440)が共通領域430に含まれ、客体B(450)が第1ビューイングフラスタム410の領域にのみ含まれる場合に客体A(440)は第1及び第2ユーザの両方からの関心度が高い客体であり、客体B(450)は第1ユーザのみから関心度が高い客体であると決定することができ、結果として、客体A(440) に対する関心度が客体B(450) に対する関心度よりも高いと決定することができる。また、このような流れから、本発明の一実施形態に係るビューイングフラスタム分析部220は、互いに異なるビューイングフラスタムによる交差回数が多い共通領域に位置する客体のほど該当客体に対する関心度が高いと決定することができる。
更に、本発明の一実施形態に係るビューイングフラスタム分析部220は、ビューイングフラスタムに位置する客体が該当ビューイングフラスタムの視点から離れた距離が近いほど該当客体に対する関心度が高いと決定することができ、共通領域において客体の占める領域の割合が大きいほど該当客体に対する関心度が高いと決定することができる。
一方、ビューイングフラスタムの視野角が狭かったり、ビューイングフラスタムの視点から客体までの距離があまりにも短い場合には、互いに異なるビューイングフラスタムが同一の客体に向かつて伸びているにも拘らず、互いに重ならないこともあり得る。例えば、高さが300mである建築物Bから僅か10m離れた距離で、建築物Bの正面の高層部分を撮影する場合に特定されるビューイングフラスタムと建築物Bの側面の低層部分を撮影する場合に特定されるビューイングフラスタムは、何れも建築物Bに向かつて伸びているにも拘らず、互いに重なる共通領域を有しないこともあり得る。
そこで、本発明の他の実施形態によれば、ビューイングフラスタム分析部220は、たとえ該当ビューイングフラスタムが互いに重なる共通領域が存在しなくても、ビューイングフラスタムの位置及び方向に関する情報を参照したり、客体認識技術を利用してビューイングフラスタムに全部又は一部が含まれる客体が何かをまず認識し、その結果、ある客体が互いに異なるビューイングフラスタムにそれぞれ含まれていると認識されれば、該当客体は該当客体が該当ビューイングフラスタムが互いに重なる共通領域に位置する場合と同様の関心度を有するものと決定する機能を行うこともできる。具体的に、ビューイングフラスタムに含まれる客体を認識するための方法としては、GPSモジュール及び加速度センシング手段などを通じて得られるビューイングフラスタムの位置及び方向を参照してマップ上の3次元空間で該当ビューイングフラスタムに含まれる客体が何かを認識する方法が適用されることができ、ビューイングフラスタムに対応する入力映像上に現れる客体の外形(輪郭、パターン)を分析して該当客体が何かを認識する方法が適用されることもできる。
次に、本発明の一実施形態によれば、客体情報提供部230は、ビューイングフラスタム分析部220により算出された客体の関心度を参照して少なくとも1つの客体に対する付加情報を差別的に提供する機能を行う。
より具体的に、本発明の一実施形態に係る客体情報提供部230は、拡張現実に表示される関心地点(Point Of Interest:POI)に対する付加情報を提供することができるが、このような場合、関心度が既に設定された水準以上である客体に対する付加情報のみを提供するか、客体の関心度に基づいて該当客体を示すアイコンなどの視覚効果の大きさが差別的に表示されるようにすることもできる。
例えば、驛三駅近くに位置するユーザBが撮影装置付きのユーザ端末装置を用いて拡張現実の形態で客体に対する付加情報の提供を受ける場合を仮定することができる。このような場合、ユーザBは複数のユーザからの関心度が高いと決定された「江南ファイナンスタワー」に対しのみ選択的に付加情報の提供を受けられる反面、関心度が低いと決定された「ソンジハイツビル」に対しては選択的に付加情報の提供を受けられなくなることによって、好みによって有用な情報のみを集中的に提供され得るようになる。
また、本発明の一実施形態によれば、客体情報提供部230は、ビューイングフラスタムに対する状況情報を参照して情報の提供を受けるユーザの状況に符合する客体に対してのみ付加情報を提供する機能を行える。前述したように、ビューイングフラスタムに対する状況情報には、ビューイングフラスタムが特定された時間帯、ビューイングフラスタムの視点となるユーザ端末装置のユーザの性別、年齢などの人口学的情報などが含まれ得る。
例えば、20代女性であるユーザCが昼間時間帯に情報の提供を受ける場合を仮定することができる。このような場合、本発明の一実施形態に係る客体情報提供部230は、20代女性に該当する他のユーザによって昼間時間帯に特定されたビューイングフラスタムのみを参照して算出された客体の関心度を参照し、ユーザCの状況に適した客体(例えば、デパート、コーヒーショッブなど)に対してのみ付加情報を提供することができる。
前記実施形態では、マップ上の3次元空間で定義されるビューイングフラスタムについて主に説明したが、本発明に係るビューイングフラスタムが必ずしも前記実施形態に限定されるものではない。本発明の他の実施形態によれば、ビューイングフラスタム分析部220は、3次元空間上で特定されたビューイングフラスタムをマップ上の2次元空間に投影し、互いに異なる投影領域間の共通領域を参照して客体の関心度を算出することもできる。
一方、本発明の一実施形態に係るデータベース240には、少なくとも1つのユーザ端末装置を視点として特定されるビューイングフラスタムの形態、近平面、遠平面、位置、方向などに関する情報が格納され得、各ビューイングフラスタムには状況情報が連係して格納され得る。ここで、ビューイングフラスタムと連係して格納される状況情報には、ビューイングフラスタムが特定された時間帯、ビューイングフラスタムの視点となるユーザ端末装置のユーザの性別、年齢などの人口学的情報などが含まれ得る。
本発明においてデータベースとは、狭義のデータベースだけでなく、コンピュータファイルシステムに基づくデータ記録などを含む広い意味のデータベースまで含む概念であって、単純な演算処理ログの集合であっても、これを検索して所定のデータを抽出できるならば、本発明でいうデータベースに含まれ得ることが理解されるべきである。たとえ、図2においてデータベース240は客体情報提供システム200に含まれて構成されているものと示されていても、本発明を実現する当業者の必要に応じてデータベース240は客体情報提供システム200と別個で構成されることもできる。
本発明の一実施形態に係る通信部250は、客体情報提供システム200がユーザ端末装置300などのような外部装置と通信できるようにする機能を行う。
本発明の一実施形態に係る制御部260は、ビューイングフラスタム決定部210、ビューイングフラスタム分析部220、客体情報提供部230、データベース240及び通信部250間のデータの流れを制御する機能を行う。即ち、制御部260は、外部からの又は客体情報提供システム200の各構成要素間のデータの流れを制御することによって、ビューイングフラスタム決定部210、ビューイングフラスタム分析部220、客体情報提供部230、データベース240及び通信部250でそれぞれ固有機能を行うように制御する。
以上説明された本発明に係る実施形態は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で実現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独又は組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであってもよく、コンピュータソフトウェア分野の当業者にとって公知の使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、CD‐ROM、DVDのような光気録媒体、フロプティカルディスク(floptical disk)のような磁気‐光媒体(magneto−optical media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を格納し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラにより作られるもののような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために、1つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施形態及び図面により説明されたが、これは、本発明のより全般的な理解を促進するために提供されたものであって、本発明が前記実施形態に限定されるものではなく、本発明の属する技術分野において通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
従って、本発明の思想は、前記説明された実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形された全てのものは、本発明の思想の範疇に属すると言える。
【符号の説明】
100 通信網
200 客体情報提供システム
210 ビューイングフラスタム決定部
220 ビューイングフラスタム分析部
230 客体情報提供部
240 データベース
250 通信部
260 制御部
300 ユーザ端末装置

Claims (33)

  1. ビューイングフラスタムを用いて客体に関する情報を提供するための方法であって、
    (a)ユーザ端末装置を視点とする少なくとも2つのビューイングフラスタムを特定する段階と、
    (b)第1ユーザ端末装置を視点とする第1ビューイングフラスタム及び第2ユーザ端末装置を視点とする第2ビューイングフラスタムが共通して含む客体を参照して前記客体に対する関心度を算出する段階と
    を含む方法。
  2. 前記ビューイングフラスタムは、前記ユーザ端末装置により映像が撮影されたり、前記ユーザ端末装置を通じてプレビュー状態で映像が入力される場合に前記ユーザ端末装置の視野に含まれる領域であることを特徴とする請求項1に記載の方法。
  3. 前記ビューイングフラスタムは、前記視点を頂点とする無限円錐又は多角錐であるか、前記無限円錐又は多角錐の高さ方向に垂直な1つ又は2つの平面によって区画されて獲得される台形の円柱又は多面体の形状であることを特徴とする請求項1に記載の方法。
  4. 前記ビューイングフラスタムの位置及び方向は、前記ユーザ端末装置の位置及び方向を参照して決定されることを特徴とする請求項1に記載の方法。
  5. 前記(b)段階で、
    前記第1及び第2ビューイングフラスタムが互いに重なる共通領域を参照して前記客体に対する関心度を算出することを特徴とする請求項1に記載の方法。
  6. 前記(b)段階で、
    前記共通領域に少なくとも一部が含まれる客体の関心度を前記共通領域に全く含まれない客体の関心度よりも高く決定することを特徴とする請求項5に記載の方法。
  7. 前記(b)段階で、
    前記共通領域において客体の占める領域の割合が大きいほど前記客体の関心度を高く決定することを特徴とする請求項5に記載の方法。
  8. 前記(b)段階で、
    前記客体を共通して含むビューイングフラスタムの数が多いほど前記客体に対する関心度を高く決定することを特徴とする請求項1に記載の方法。
  9. 前記(b)段階で、
    前記ビューイングフラスタムの視点からの距離が近い客体であるほど関心度を高く決定することを特徴とする請求項1に記載の方法。
  10. 前記(b)段階で、
    前記第1及び第2ビューイングフラスタムにそれぞれ少なくとも一部が含まれる第1及び第2客体を認識し、前記第1及び第2客体が互いに同一の客体であるか否かを判断して前記客体に対する関心度を算出することを特徴とする請求項1に記載の方法。
  11. 前記(b)段階は、
    (b1)前記第1及び第2ビューイングフラスタムをマップ上の2次元空間上に投影してそれぞれ第1及び第2投影領域を獲得する段階と、
    (b2)前記マップ上の2次元空間上で、前記第1及び第2投影領域が共通して含む客体を参照して前記客体に対する関心度を算出する段階と
    を含むことを特徴とする請求項1に記載の方法。
  12. (c)前記算出された関心度に基づいて前記客体に対する付加情報を差別的に提供する段階を更に含むことを特徴とする請求項1に記載の方法。
  13. 前記(c)段階で、
    前記算出された関心度が既に設定された臨界値以上である客体に対してのみ付加情報を提供することを特徴とする請求項12に記載の方法。
  14. 前記(c)段階で、
    前記付加情報は、拡張現実(Augmented Reality:AR)の形態で提供されることを特徴とする請求項12に記載の方法。
  15. 前記(C)段階で、
    前記ビューイングフラスタムに対する状況情報及び前記付加情報の提供を受ける第3ユーザの状況情報を参照して、前記第3ユーザの状況にターゲットとなった客体に対する付加情報を提供することを特徴とする請求項12に記載の方法。
  16. 前記ビューイングフラスタムに対する状況情報には、ビューイングフラスタムが特定された時間帯及びビューイングフラスタムの視点となるユーザ端末装置のユーザの人口学的情報のうちの少なくとも1つが含まれ、前記第3ユーザに対する状況情報には、前記第3ユーザが付加情報の提供を受ける場所、時間帯及び前記第3ユーザの人口学的情報のうちの少なくとも1つが含まれることを特徴とする請求項15に記載の方法。
  17. ビューイングフラスタムを用いて客体に関する情報を提供するためのシステムであって、
    ユーザ端末装置を視点とする少なくとも2つのビューイングフラスタムを特定するビューイングフラスタム決定部と、
    第1ユーザ端末装置を視点とする第1ビューイングフラスタム及び第2ユーザ端末装置を視点とする第2ビューイングフラスタムが共通して含む客体を参照して前記客体に対する関心度を算出するビューイングフラスタム分析部と
    を含むシステム。
  18. 前記ビューイングフラスタムは、前記ユーザ端末装置により映像が撮影されたり、前記ユーザ端末装置を通じてプレビュー状態で映像が入力される場合に前記ユーザ端末装置の視野に含まれる領域であることを特徴とする請求項17に記載のシステム。
  19. 前記ビューイングフラスタムは、前記視点を頂点とする無限円錐又は多角錐であるか、前記無限円錐又は多角錐の高さ方向に垂直な1つ又は2つの平面によって区画されて獲得される台形の円柱又は多面体の形状であることを特徴とする請求項17に記載のシステム。
  20. 前記ビューイングフラスタムの位置及び方向は、前記ユーザ端末装置の位置及び方向を参照して決定されることを特徴とする請求項17に記載のシステム。
  21. 前記ビューイングフラスタム分析部は、前記第1及び第2ビューイングフラスタムが互いに重なる共通領域を参照して前記客体に対する関心度を算出することを特徴とする請求項17に記載のシステム。
  22. 前記ビューイングフラスタム分析部は、前記共通領域に少なくとも一部が含まれる客体の関心度を前記共通領域に全く含まれない客体の関心度よりも高く決定することを特徴とする請求項21に記載のシステム。
  23. 前記ビューイングフラスタム分析部は、前記共通領域において客体の占める領域の割合が大きいほど前記客体の関心度を高く決定することを特徴とする請求項21に記載のシステム。
  24. 前記ビューイングフラスタム分析部は、前記客体を共通して含むビューイングフラスタムの数が多いほど前記客体に対する関心度を高く決定することを特徴とする請求項17に記載のシステム。
  25. 前記ビューイングフラスタム分析部は、前記ビューイングフラスタムの視点からの距離が近い客体であるほど関心度を高く決定することを特徴とする請求項17に記載のシステム。
  26. 前記ビューイングフラスタム分析部は、前記第1及び第2ビューイングフラスタムにそれぞれ少なくとも一部が含まれる第1及び第2客体を認識し、前記第1及び第2客体が互いに同一の客体であるか否かを判断して前記客体に対する関心度を算出することを特徴とする請求項17に記載のシステム。
  27. 前記ビューイングフラスタム分析部は、前記第1及び第2ビューイングフラスタムをマップ上の2次元空間上に投影してそれぞれ第1及び第2投影領域を獲得し、マップ上の2次元空間上で、前記第1及び第2投影領域が共通して含む客体を参照して前記客体に対する関心度を算出することを特徴とする請求項17に記載のシステム。
  28. 前記算出された関心度に基づいて前記客体に対する付加情報を差別的に提供する客体情報提供部を更に含むことを特徴とする請求項17に記載のシステム。
  29. 前記客体情報提供部は、前記算出された関心度が既に設定された臨界値以上である客体に対してのみ付加情報を提供することを特徴とする請求項28に記載のシステム。
  30. 前記付加情報は、拡張現実の形態で提供されることを特徴とする請求項28に記載のシステム。
  31. 前記客体情報提供部は、前記ビューイングフラスタムに対する状況情報及び前記付加情報の提供を受ける第3ユーザの状況情報を参照して、前記第3ユーザの状況にターゲットとなった客体に対する付加情報を提供することを特徴とする請求項28に記載のシステム。
  32. 前記ビューイングフラスタムに対する状況情報には、ビューイングフラスタムが特定された時間帯及びビューイングフラスタムの視点となるユーザ端末装置のユーザの人口学的情報のうちの少なくとも1つが含まれ、前記第3ユーザに対する状況情報には、前記第3ユーザが付加情報の提供を受ける場所、時間帯及び前記第3ユーザの人口学的情報のうちの少なくとも1つが含まれることを特徴とする請求項31に記載のシステム。
  33. 請求項1〜16の何れか一項による方法を実行するためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2012547946A 2010-01-11 2010-12-23 ビューイングフラスタムを用いて客体に関する情報を提供するための方法、システム及びコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP5263748B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20100002340A KR100975128B1 (ko) 2010-01-11 2010-01-11 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR10-2010-0002340 2010-01-11
PCT/KR2010/009278 WO2011083929A2 (ko) 2010-01-11 2010-12-23 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
JP2013516687A true JP2013516687A (ja) 2013-05-13
JP5263748B2 JP5263748B2 (ja) 2013-08-14

Family

ID=42759487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012547946A Expired - Fee Related JP5263748B2 (ja) 2010-01-11 2010-12-23 ビューイングフラスタムを用いて客体に関する情報を提供するための方法、システム及びコンピュータ読み取り可能な記録媒体

Country Status (7)

Country Link
US (2) US8587615B2 (ja)
EP (1) EP2525288A4 (ja)
JP (1) JP5263748B2 (ja)
KR (1) KR100975128B1 (ja)
CN (1) CN102792266B (ja)
AU (1) AU2010340461B2 (ja)
WO (1) WO2011083929A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7379603B2 (ja) 2018-09-11 2023-11-14 アップル インコーポレイテッド 推奨を配信する方法、デバイス、及びシステム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100989663B1 (ko) 2010-01-29 2010-10-26 (주)올라웍스 단말 장치의 시야에 포함되지 않는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US8798926B2 (en) * 2012-11-14 2014-08-05 Navteq B.V. Automatic image capture
KR101666561B1 (ko) * 2015-07-13 2016-10-24 한국과학기술원 증강 공간 내 부분 공간 획득 시스템 및 방법
CN105205127B (zh) * 2015-09-14 2019-06-04 北京航空航天大学 一种液体质量/体积特性数据库的自适应步长建库方法和系统
EP3506214A1 (en) * 2017-12-28 2019-07-03 Dassault Systèmes Method for defining drawing planes for the design of a 3d object

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018348A (en) 1997-12-31 2000-01-25 Intel Corporation Method for visibility culling
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
CA2406131A1 (en) * 2002-09-30 2004-03-30 Idelix Software Inc. A graphical user interface using detail-in-context folding
AU2003277240A1 (en) * 2002-10-15 2004-06-07 University Of Southern California Augmented virtual environments
JP4008333B2 (ja) * 2002-10-25 2007-11-14 株式会社リアルビズ 複数台のプロジェクタによるマルチ映像投影方法、同方法を使用するためのプロジェクタ装置、プログラム及び記録媒体
JP4488233B2 (ja) * 2003-04-21 2010-06-23 日本電気株式会社 映像オブジェクト認識装置、映像オブジェクト認識方法、および映像オブジェクト認識プログラム
US7978887B2 (en) * 2003-06-17 2011-07-12 Brown University Methods and apparatus for identifying subject matter in view data
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
US20060195858A1 (en) 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
FR2875320A1 (fr) 2004-09-15 2006-03-17 France Telecom Procede et systeme d'identification d'un objet dans une photo, programme, support d'enregistement, terminal et serveur pour la mise en oeuvre du systeme
US7773832B2 (en) * 2005-02-28 2010-08-10 Fujifilm Corporation Image outputting apparatus, image outputting method and program
US7599894B2 (en) * 2005-03-04 2009-10-06 Hrl Laboratories, Llc Object recognition using a cognitive swarm vision framework with attention mechanisms
US7573489B2 (en) * 2006-06-01 2009-08-11 Industrial Light & Magic Infilling for 2D to 3D image conversion
US8269822B2 (en) * 2007-04-03 2012-09-18 Sony Computer Entertainment America, LLC Display viewing system and methods for optimizing display view based on active tracking
US8326048B2 (en) * 2007-10-04 2012-12-04 Microsoft Corporation Geo-relevance for images
US8390618B2 (en) * 2008-03-03 2013-03-05 Intel Corporation Technique for improving ray tracing performance
US8595218B2 (en) * 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
JP5539388B2 (ja) 2008-12-22 2014-07-02 インテリジェント スペイシャル テクノロジーズ,インク. 基準オブジェクトをポインティングすることにより3dシーンを探索するシステム及び方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CSNG200800584016; 高田 大輔 他: 'ネットワーク型拡張現実感システムのための階層的注釈情報データベースと動的優先度制御手法' 日本バーチャルリアリティ学会論文誌 Vol.13,No.2, 20080630, pp.279-288., 特定非営利活動法人日本バーチャルリアリティ学会 *
JPN6012061401; 高田 大輔 他: 'ネットワーク型拡張現実感システムのための階層的注釈情報データベースと動的優先度制御手法' 日本バーチャルリアリティ学会論文誌 Vol.13,No.2, 20080630, pp.279-288., 特定非営利活動法人日本バーチャルリアリティ学会 *
JPN7012004811; Park,S. et al: 'Scalable Data Management Using User-Based Cachingand Prefetching in Distributed Virtual Environments' Proceedings of the ACM symposium on Virtual reality software and technology VRST'01, 20011117, pp.121-126., the Association for Computing Machinery *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7379603B2 (ja) 2018-09-11 2023-11-14 アップル インコーポレイテッド 推奨を配信する方法、デバイス、及びシステム

Also Published As

Publication number Publication date
US20120162258A1 (en) 2012-06-28
US20140002499A1 (en) 2014-01-02
CN102792266B (zh) 2016-01-27
WO2011083929A2 (ko) 2011-07-14
JP5263748B2 (ja) 2013-08-14
WO2011083929A3 (ko) 2011-11-03
KR100975128B1 (ko) 2010-08-11
CN102792266A (zh) 2012-11-21
EP2525288A2 (en) 2012-11-21
US8842134B2 (en) 2014-09-23
US8587615B2 (en) 2013-11-19
AU2010340461A1 (en) 2012-07-26
AU2010340461B2 (en) 2013-09-12
EP2525288A4 (en) 2015-05-13

Similar Documents

Publication Publication Date Title
US11887227B2 (en) Display of a live scene and auxiliary object
US20230076281A1 (en) Generating collectible items based on location information
JP5383930B2 (ja) 端末装置の視野に含まれている客体に関する情報を提供するための方法、端末装置及びコンピュータ読み取り可能な記録媒体
KR102635705B1 (ko) 목적지 위치들을 조직하고 공유하기 위한 인터페이스들
JP5263748B2 (ja) ビューイングフラスタムを用いて客体に関する情報を提供するための方法、システム及びコンピュータ読み取り可能な記録媒体
KR100971778B1 (ko) 그래프 구조를 이용하여 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
CN105493154A (zh) 用于确定增强现实环境中的平面的范围的系统和方法
US10769428B2 (en) On-device image recognition
JP2013518275A (ja) 端末装置の視野に含まれていない客体に関する情報を提供するための方法、端末装置及びコンピュータ読み取り可能な記録媒体
US8848983B1 (en) System and method for ranking geographic features using viewshed analysis
CN107084740A (zh) 一种导航方法和装置
CN107656961A (zh) 一种信息显示方法及装置
Köppel et al. Context-responsive labeling in augmented reality
EP4222680A1 (en) Determining lifetime values of users
KR100971777B1 (ko) 파노라마 이미지 사이의 중복을 제거하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20150136181A (ko) 동공인식을 이용한 광고 제공 장치 및 방법
Gokl et al. Towards urban environment familiarity prediction
CN109559382A (zh) 智能导游方法、装置、终端和介质
CN108235764A (zh) 信息处理方法、装置、云处理设备及计算机程序产品
US20130257906A1 (en) Generating publication based on augmented reality interaction by user at physical site
KR101939530B1 (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치
AU2013245460B2 (en) Method, system, and computer-readable recording medium for providing information on an object using a viewing frustum
CN113282687A (zh) 数据展示方法、装置、计算机设备及存储介质
US11321930B2 (en) Terminal device, server device, and information processing system
US20220101349A1 (en) Utilizing lifetime values of users to select content for presentation in a messaging system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

R150 Certificate of patent or registration of utility model

Ref document number: 5263748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees