JP2022118068A - 3dツアー付加情報表示システム及び方法 - Google Patents
3dツアー付加情報表示システム及び方法 Download PDFInfo
- Publication number
- JP2022118068A JP2022118068A JP2022093226A JP2022093226A JP2022118068A JP 2022118068 A JP2022118068 A JP 2022118068A JP 2022093226 A JP2022093226 A JP 2022093226A JP 2022093226 A JP2022093226 A JP 2022093226A JP 2022118068 A JP2022118068 A JP 2022118068A
- Authority
- JP
- Japan
- Prior art keywords
- additional information
- tour
- plan
- view
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003780 insertion Methods 0.000 claims description 28
- 230000037431 insertion Effects 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 19
- 239000000284 extract Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 239000003550 marker Substances 0.000 description 8
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/16—Real estate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Tourism & Hospitality (AREA)
- Human Computer Interaction (AREA)
- Remote Sensing (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Primary Health Care (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Library & Information Science (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】本発明は、3Dツアー付加情報表示システム及び方法に関する技術である。【解決手段】このとき、上記3Dツアー付加情報表示方法は、ユーザー端末と連携された3Dツアーサービス提供サーバで実行され、上記ユーザー端末に、特定空間の3D情報を含む3Dツアーを提供する段階、上記ユーザー端末に表示された上記3Dツアー上に新たに作成される付加情報標柱の始点及び終点に対する座標情報を受信する段階、上記始点及び上記終点を連結する付加情報標柱を作成する段階、及び作成された上記付加情報標柱を上記3Dツアー上にオーバーラップして表示する段階を含む。【選択図】図2
Description
本発明は、3Dツアー付加情報表示システム及び方法{System and method for displaying additional information on 3d tour}に関するものである。具体的には、本発明は、3次元に構成された360度3Dツアー付加情報を3Dの形態で表現することができるインタフェースを提供するためのシステム及び方法に関するものである。また、本発明は、2D及び3Dの画面を連動して付加情報をタグ付け(tagging)及び表示することができるインタフェースを提供するシステム及び方法に関するものである。
3D空間を記録するための最も良い方法は、特定地点に対する360度全方位を撮影してパノラマ画像として保存し、複数の地点に対するパノラマ画像を結合して一つの3Dツアーの形で作る方法である。
ここで、3Dツアーは複数の地点でそれぞれ360度を撮影し、保存されたパノラマ画像(例えば, 360度画像)の組み合わせで構成されることができる。このとき、3Dツアーはそれぞれの画像が撮影された位置情報を含むことができ、それぞれの位置情報は平面図上にマッピングされてユーザーに提供されることができる。
このとき、3Dツアーを利用するユーザーには、3Dツアーにメモや画像、ビデオなどの付加的な情報を入れて表現しようとするニーズが存在する。
ただし、従来の付加情報を表示するインタフェースは、ユーザーが記録したメモや画像などの付加情報を平面図上に2Dで表示する機能だけを提供した。このとき、付加情報は平面図上だけに表示されるため、ユーザーはメモしようとする特定の位置に対する付加情報を3Dツアーの空間上で明確に示すことが難しい問題があった。
また、位置が明確に表現されていないことから、追加された付加情報の意味を他の人が明確に把握することが難しい問題もあった。
また、従来の付加情報表示インタフェースの場合、記録された付加情報を特定の位置でのみ認知することができ、3Dツアー内の画像を眺める角度が変更された場合、設定された付加情報を確認できなくなるという問題点があった。
また、従来の付加情報記録インタフェースは、3D撮影インタフェースと付加情報入力インタフェースが区分されるため、ユーザーが3Dツアー撮影後に平面図に付加情報を別途に入力しなければならない煩わしさがあった。
また、従来の付加情報記録インタフェースは、平面図上に入力された情報が3Dツアー上に連動しないため、ユーザーが平面図上に入力された付加情報に対応する位置を3Dツアー上に別途に入力したり、別々に確認したりするなどの不便さがあった。
また、他の人々が平面図上に表示された付加情報の意味を明確に把握することが難しい問題もあった。
本発明の目的は、ユーザーが3Dツアーを利用しながら記録しておこうとする様々な形式の付加情報に対し、ユーザーが指定した特定地点に関連する付加情報を3Dの形態で表示する3Dツアー付加情報表示システム及び方法を提供することである。
また、本発明の目的は、付加情報を表示する360度の画像らをユーザーが指定することにより、設定された付加情報をユーザーが希望する位置で確認できるようにする3Dツアー付加情報表示システム及び方法を提供することである。
また、本発明の目的は、3Dツアー内の追加された付加情報らの位置を平面図上に一緒に表示することにより、付加情報の標柱の位置が一目で確認できる3Dツアー付加情報表示システム及び方法を提供することである。
また、本発明の目的は、3Dツアー作成のために撮影する際、空間に対する3D撮影と平面図内に様々な形の付加情報を挿入する作業を同時に進めることができる3Dツアー付加情報表示システム及び方法を提供することである。
また、本発明の他の目的は、第1画面(例えば、2D平面図の画面)において、特定の位置に付加情報が挿入される場合、付加情報の位置を自動的に算出し、第2画面(例えば、3Dツアー画面)の対応される位置に付加情報が自動的に表示されるようにする3Dツアー付加情報表示システム及び方法を提供することである。
本発明の目的らは、以上で言及した目的に制限されず、言及されていない本発明の他の目的及び利点は、以下の説明によって理解することができ、本発明の実施例によって、より明確に理解されるだろう。また、本発明の目的及び利点は、特許請求の範囲に示した手段及びその組み合わせによって実現できることが容易に分かるだろう。
上記の技術的な課題を達成するための本発明の実施形態に係る3Dツアー付加情報表示方法は、ユーザー端末と連携された3Dツアーサービス提供サーバで実行され、上記ユーザー端末に、特定空間の3D情報を含む3Dツアーを提供する段階、上記ユーザー端末に表示された上記3Dツアー上に新たに作成される付加情報標柱の始点及び終点に対する座標情報を受信する段階、上記始点及び上記終点を連結する付加情報標柱を作成する段階、及び作成された上記付加情報標柱を上記3Dツアー上にオーバーラップして表示する段階を含む。
また、上記始点及び終点に対する座標情報を受信する段階は、上記ユーザー端末から上記3Dツアー上で二つの点を連結する線(line)の入力を受ける場合、入力を受けた上記の線の一端を上記始点に設定し、上記線の他端を上記終点に設定することを含むことができる。
また、上記始点及び終点の座標情報を受信する段階は、上記ユーザー端末から上記3Dツアー上で一点のみ入力を受ける場合、上記入力された点を終点に設定し、上記入力された点との最短距離に位置する床面または壁面上の点を始点に設定することを含むことができる。
また、上記始点及び終点に対する座標情報は、3次元座標で構成することができる。
また、上記付加情報標柱を上記3Dツアー内の異なる位置で、異なる形状で表示することができる。
また、上記3Dツアーに含まれている複数の画像撮影地点のうち、上記付加情報標柱が表示される撮影地点を選択されるインタフェースを提供する段階をさらに含み、上記付加情報標柱を上記3Dツアー内で、上記選択された撮影地点でのみ表示することができる。
また、上記3Dツアーは、上記特定空間に対する平面図を含み、上記平面図上には、上記付加情報標柱の位置に対応する付加情報アイコンを表示することができる。
また、上記付加情報標柱の色、タイトル、内容、または付加情報を設定するインタフェースを上記ユーザー端末に提供する段階をさらに含み、上記付加情報標柱を、上記インタフェースを介して入力された上記の色、タイトル、内容、または付加情報をもとに作成することができる。
また、上記付加情報は、上記付加情報標柱の一側に表示されるか、ユーザーが上記付加情報標柱を選択する場合、別のメッセージウィンドウによって表示することができる。
また、上記付加情報は、写真、映像、URLリンクのいずれかを含むことができる。
上記の技術的課題を達成するための本発明の実施形態に係る3Dツアー付加情報表示システムは、プロセッサ、及び上記プロセッサによって実行されるプログラムが格納されているメモリを含み、上記プログラムは、上記ユーザー端末に特定空間の3D情報を含む3Dツアーを提供するオペレーションと、上記3Dツアー内で、上記ユーザー端末を介して新たに作成される付加情報標柱の始点及び終点に対する座標情報の入力を受けるオペレーションと、上記始点及び上記終点を連結する上記付加情報標柱を作成するオペレーションと、作成された上記付加情報標柱を上記3Dツアー上にオーバーラップして表示するオペレーションを含む。
一方、上記の技術的な課題を達成するための本発明の実施形態に係る3Dツアー付加情報表示方法は、ユーザー端末と連携された3Dツアー管理サーバで行われる3Dツアー付加情報表示方法において、上記ユーザー端末に、特定空間に対する平面図及び3Dツアー撮影インタフェースを同時に表示する段階、上記ユーザー端末から上記特定空間に対する3Dツアーの撮影画像を受信する段階、上記3Dツアーの撮影過程で、上記ユーザー端末を介して付加情報の入力を受ける段階、上記3Dツアーと入力された上記付加情報を合成する段階、及び上記3Dツアー又は上記平面図上に上記付加情報を表示する段階を含む。
また、上記3Dツアーと入力された上記付加情報を合成する段階は、上記3Dツアーの撮影画像の変化をもとに、上記平面図上に追加される上記付加情報の位置座標を抽出する段階と、上記入力された付加情報を上記抽出された位置座標にマッピングさせる段階を含むことができる。
また、上記付加情報の位置を抽出する段階は、上記3Dツアーの撮影画像上で、複数個の特徴点を抽出する段階と、上記撮影画像の変化による上記特徴点の移動方向及び距離を算出し、これをもとに上記付加情報の位置座標を抽出する段階を含むことができる。
また、上記抽出された付加情報の位置座標は2次元座標で構成され、上記付加情報を上記抽出された位置座標にマッピングさせる段階は、上記抽出された付加情報の位置座標を上記3Dツアー上の3次元座標に変換する段階と、上記2次元座標を用いて上記平面図上に上記付加情報をマッピングさせ、上記3次元座標を用いて上記3Dツアー上に上記付加情報をマッピングさせる段階を含むことができる。
また、上記付加情報の入力を受ける段階は、上記3D撮影のうち上記平面図上で上記付加情報を挿入する特定位置の入力を受ける段階と、付加情報挿入インタフェースを介して上記特定位置に挿入される付加情報の入力を受ける段階を含むことができる。
また、上記ユーザー端末の画面の一側には、上記3Dツアーの撮影過程が表示され、上記ユーザー端末の画面の他側には、上記平面図が表示され、上記特定位置の入力を受ける段階は、上記平面図上で、ユーザーが選択した位置情報を受信することを含むことができる。
また、上記付加情報挿入インタフェースは、メモ、写真、動画、及びインターネットリンクのいずれかの情報種類を選択して、当該情報種類に対応する付加情報の入力を受けることができる。
また、上記付加情報を表示する段階は、上記平面図上の付加情報の挿入位置に付加情報アイコンを表示する段階と、上記3Dツアー上に上記付加情報アイコンに対応する3D付加情報標柱を表示する段階を含むことができる。
また、上記3D付加情報標柱は、上記3Dツアーの床面または壁面上に位置する始点と、上記付加情報アイコンの位置に対応する終点と、上記始点と上記終点を連結するボディ部で構成することができる。
一方、上記の技術的な課題を達成するための本発明の実施形態に係る3Dツアー付加情報タグ付けシステムは、プロセッサと、及び上記プロセッサによって実行されるプログラムが格納されるメモリを含み、上記プログラムは、上記ユーザー端末に、特定空間に対する平面図及び3Dツアー撮影インタフェースを同時に表示するオペレーションと、上記ユーザー端末から上記特定空間に対する3Dツアーを撮影した画像を受信するオペレーションと、上記3Dツアーの撮影過程で、上記ユーザー端末を介して付加情報の入力を受けるオペレーションと、上記3Dツアーと入力された上記付加情報を合成するオペレーションと、上記3Dツアー又は上記平面図上に上記付加情報を表示するオペレーションを含むことができる。
本発明に係る3Dツアー付加情報表示システム及び方法は、ユーザーが希望する位置に3D形態で付加情報標柱を設定することにより、ユーザーが意図した正確な位置に付加情報を表示することができる。これにより、同じ3Dツアーを利用する他のユーザーたちに特定地点に対する明確な説明と意味伝達をすることができる。
また、本発明に係る3Dツアー付加情報表示システム及び方法は、3D付加情報の標柱を表示しようとする特定の360度画像を選択するインタフェースを提供し、選択された画像だけに当該3D付加情報標柱を表示することにより、3Dツアー内のさまざまな位置から当該付加情報を確認できるようにする。これにより、ユーザーの利便性を向上させることができ、複数のユーザーに付加情報の表示意図を明確に伝えることができる。
また、本発明に係る3Dツアー付加情報の表示システム及び方法は、3Dツアー内の平面図上に付加情報を表示した位置を自動的に表示することにより、ユーザーが挿入された付加情報の位置を一目で把握できるようにする直観的なインタフェースをユーザーに提供することができる。
また、本発明に係る3Dツアー付加情報表示システム及び方法は、3Dツアーの撮影と平面図内の付加情報の挿入を同時に可能にすることにより、3Dツアー撮影後にユーザーが付加情報を挿入する別の作業を実行しなければならない不便さを軽減することができる。
また、本発明に係る3Dツアー付加情報表示システムおよび方法は、平面図上に挿入された付加情報を3Dツアー内の対応する位置に付加情報標柱の形で自動的に表示することによって、ユーザーの利便性を向上させることができる。
また、本発明に係る3Dツアー付加情報表示システム及び方法は、同じ3Dツアーを利用する他のユーザーに当該付加情報についての意味伝達を明確にすることができる。
本発明の効果は、前述した効果に限定されず、本発明の当業者は、本発明の構成で、本発明の様々な効果を簡単に導き出すことができる。
本発明の利点及び特徴、そしてそれらを達成する方法は、添付される図面と共に詳細に後述されている実施例等を参照すると明確になるだろう。しかし、本発明は、以下で開示される実施例に限定されるものではなく、互いに異なる多様な形態で実装されるものであり、単に本実施例は、本発明の開示が完全であるようにし、本発明が属する技術分野において通常の知識を持つ者に発明の範疇を完全に知らせるために提供されているものであり、本発明は、請求項の範疇によって定義されるだけである。明細書全体にわたって同一参照符号は同一の構成要素を指す。
本明細書で使用される用語は、実施例を説明するためのものであり、本発明を制限するものではない。本明細書では、単数形は、フレーズで特に言及しない限り、複数形も含む。明細書で使用される「含む(comprises)」および/または「含んでいる(comprising)」は、言及された構成要素、段階、動作、および/または素子は、一つ以上の他の構成要素、段階、動作、および/または素子の存在または追加を排除しない。
他の定義がなければ、本明細書で使用されるすべての用語(技術及び科学的用語を含む)は、本発明が属する技術分野で通常の知識を有する者に共通して理解できる意味で使用することができる。また、一般的に使用される事前に定義されている用語は明白に特別に定義されていない限り、理想的にまたは過度に解釈されない。
本発明において「3Dツアー」は、複数の地点でそれぞれ360度に撮影して保存された複数の画像(例えば、パノラマ画像)の組み合わせで構成することができる。このとき、「3Dツアー」は、それぞれの画像が撮影された位置情報を含むことができ、それぞれの位置情報は、平面図上にマッピングされ、ユーザーに提供されることができる。
以下では、本発明の実施形態に係る3Dツアー付加情報表示システム及び方法について図面を参照して、詳細に説明する。
図1及び図2は、本発明のいくつかの実施形態に係る3Dツアー付加情報表示システムの概略的な構成を説明するためのブロック図である。
図1を参照すると、本発明の実施形態に係る3Dツアー付加情報表示システムは、3Dツアー付加情報を表示するサーバ(100)(以下、サーバ)及びユーザー端末(200)を含む。サーバ(100)とユーザー端末(200)は、サーバクライアントシステムとして実装することができる。
このとき、サーバ(100)は、3Dツアーに含まれている複数の画像の撮影地点のうち、ユーザーが選択した特定地点に対応する画像を選定して、ユーザー端末(200)に提供することができる。サーバ(100)は、有線または無線ネットワークを介してユーザー端末(200)とデータを送受信することができる。
図1では、1つのユーザー端末(200)だけを図示したが、本発明がこれに限定されるものではなく、サーバ(100)は、複数のユーザー端末(200)と連動して動作することができる。
サーバ(100)は、互いに異なる複数の3Dツアーを保存及び管理することができる。このとき、サーバ(100)は、ユーザー端末(200)から付加情報標柱を作成するための座標値を受信し、受信した座標値を利用して、3Dツアー上に付加情報標柱を利用して、付加情報を表示することができる。 3Dツアー付加情報表示方法の詳細については、以下で後述するようにする。
また、サーバ(100)は、ユーザーが選択した特定地点に付加情報を挿入し、ユーザー端末(200)内の平面図及び3Dツアー上に付加情報に対するアイコンを表示することができる。サーバ(100)は、有線または無線ネットワークを介してユーザー端末(200)とデータを送受信することができる。
サーバ(100)は、ユーザー端末(200)を介して撮影された360度画像、3Dツアーに対する平面図、3D付加情報標柱及び付加情報表示アイコンを保存及び管理することができる。
続いて、サーバ(100)は、360度の画像、3Dツアー、3Dツアーの平面図、3D付加情報標柱及び付加情報表示アイコンをユーザー端末(200)に提供することができる。
サーバ(100)は、3Dツアー及び3Dツアーの平面図に挿入された付加情報をユーザー端末(200)の画面内に同時に表示することができる。このとき、ユーザー端末(200)の画面の一側には、3Dツアーの撮影過程を表示することができ、他側には3Dツアーの平面図が表示されることができる。
また、サーバ(100)は、3Dツアーの平面図上に付加情報を入力及び表示するとともに、3Dツアー内にも同じ内容の付加情報を入力及び表示することができる。
具体的には、サーバ(100)は、3Dツアー撮影中の平面図を介して入力された付加情報の位置座標をもとに、3Dツアー内の対応する位置に付加情報標柱を自動的に作成して表示することができる。
つまり、サーバ(100)は、平面図上の付加情報が入力された位置に、付加情報アイコンを表示し、3Dツアー内に対応する位置に3D付加情報標柱を表示することができる。平面図内に付加情報を入力及び表示して、当該付加情報を3Dツアー内に挿入及び表示する方法に対する具体的な説明は、以下で詳細に説明する。以下では、サーバ(100)の構成について詳細に説明する。
一方、図2を参照すると、サーバ(100)は、本発明の技術的思想を実装するためのプログラムが格納されているメモリ(120)、上記メモリ(120)に格納されたプログラムを実行するためのプロセッサ(110)を含む。
このとき、メモリ(120)には、3Dツアー及び上記3Dツアーの付加情報に関連するデータを保存することができる。例えば、3Dツアーは360度の撮影画像、撮影画像に対する撮影位置の座標、当該座標がマッピングされた平面図に関するデータ、3Dツアー内に追加された付加情報標柱に関するデータ、付加情報の設定に関するデータを含むことができる。
ここでは、付加情報標柱に関するデータは、付加情報の内容、付加情報標柱の色、付加情報標柱の座標、及び当該座標がマッピングされた平面図の位置などを含むことができる。また、付加情報の設定に関するデータは、付加情報の内容、付加情報表現のアイコン、付加情報標柱の座標、及び当該座標がマッピングされた平面図に関するデータを含むことができる。
メモリ(120)には、3Dツアー付加情報表示方法についてのアルゴリズムを保存することができる。ここでは、3Dツアー付加情報表示方法は、3次元に構成された3Dツアー上に、3Dの形で付加情報を設定するためのインタフェース提供方法を示す。このとき、プロセッサ(110)は、アルゴリズムの実行主体となることができる。
具体的には、サーバ(100)は、3Dツアー上で、ユーザーが3D形態の付加情報標柱を作成できる3D付加情報の設定インタフェースを提供することができる。
このとき、サーバ(100)は、付加情報標柱の始点と終点に対する座標値を受信し、付加情報標柱を作成し、ユーザーが入力した付加情報を作成された付加情報標柱にマッピングさせることができる。
また、サーバ(100)は、ユーザーに付加情報標柱が表示される画像の撮影地点を指定するようにすることで、入力された付加情報を特定位置だけで表示するようにするインタフェースを提供することができる。
また、サーバ(100)は、3Dツアー内に設定された付加情報の位置を平面図上に一緒に表示することができる。これに対する詳細な説明は、以下の図面を参照して説明する。
付加的に、プロセッサ(110)は、サーバ(100)の実装例に応じて、CPU、モバイルプロセッサなど、さまざまな名称で命名されることができる。
メモリ(120)は、プログラムが格納され、プログラムを駆動させるために、プロセッサがアクセスできる任意の形式の記憶装置に実装されてもよい。ハードウェアの実装例に応じてメモリ(120)は、いずれかの記憶装置ではなく、複数の記憶装置に実装することもできる。また、メモリ(120)は、主記憶装置だけではなく、一時記憶装置を含むこともできる。また、メモリ(120)は、揮発性メモリまたは不揮発性メモリに実装されることもあり、プログラムが格納され、プロセッサによって駆動されるように、実装されるすべての形式の情報保存手段を含む意味で定義することができる。
また、サーバ(100)は、実施例によって、Webサーバ、コンピュータ、携帯電話、タブレット、TV、セットトップボックスなど、さまざまな方法で実装することができ、本明細書で定義される機能を実行することができる任意の形式のデータ処理装置も含む意味で定義することができる。
サーバ(100)は、実施例によって、さまざまな周辺装置(例えば、周辺機器-1(131)乃至周辺機器-N(139))をさらに含むことができる。例えば、サーバ(100)は、360度のカメラ、キーボード、モニター、グラフィックカード、通信装置などの周辺機器をさらに含むことができる。
以下では、サーバ(100)で実行される3Dツアー付加情報表示方法について具体的に説明する。
図3は、本発明の一実施例に係る3Dツアー内で付加情報を追加して表示する方法を説明するための流れ図である。
図3を参照すると、本発明の実施例に係る3Dツアー内に付加情報を3Dで表現する3Dツアー付加情報表示方法において、まず、サーバ(100)は、ユーザー端末(200)に、特定空間に対する3Dツアーを提供する(S110)。
続いて、サーバ(100)は、付加情報標柱の始点と終点に対する座標情報を受信する(S120)。このとき、ユーザーは、ユーザー端末(200)に表示される3Dツアー上の特定地点を始点または終点に指定することができる。
たとえば、サーバ(100)は、3Dツアー内でマウスクリックまたはタッチ入力を介して付加情報を追加できるメニューを提供することができる。ユーザーは、付加情報の追加メニューの選択を介して付加情報標柱の始点と終点を入力することができる。このとき、付加情報を追加メニューは、ツールのリストビューウィンドウに付加情報を追加ボタンに置き換えられるなど、様々な変形例を介して提供されることができる。
また、付加情報標柱の始点と終点は、サーバ(100)が、ユーザー端末(200)から入力された3Dツアー上で2点を結ぶ線(line)で導出することができる。このとき、ユーザーから入力された線(Line)の一端は、始点に設定され、ラインの他端は、終点に設定することができる。
一方、ユーザー端末(200)から一点だけ入力される場合、サーバ(100)は、入力された点を終点に設定し、上記入力された点との最短距離に位置する床面または壁面上の一点を始点に設定することができる。
このとき、付加情報標柱の始点と終点の座標情報は、3次元空間座標の形で保存されることができる。
また、付加情報標柱の終点は、3Dツアー内で、多様な形状に表示されることができる。たとえば、付加情報標柱の終点は、円形、三角形、四角形など様々な変形を含むことができる。
続いて、ユーザーは、付加情報の設定インタフェースを介し、挿入される付加情報を設定する(S130)。このとき、ユーザーは付加情報設定インタフェースを介し付加情報標柱の色、タイトル、内容などを設定することができ、様々な種類(例えば、写真、映像、URLなど)の付加情報を挿入することができる。このとき、付加情報を設定するためのポップアップウィンドウは、付加情報標柱の始点と終点を指定した後に自動的に表示されたり、作成された付加情報標柱をクリックするときに表示されたりすることができる。ただしこれは、一つの例示に過ぎず、本発明がこれに限定されるものではない。
続いて、サーバ(100)は、始点と終点の座標値を用いて付加情報標柱を作成し、作成された付加情報標柱を3Dツアー上に表示する(S140)。このとき、入力された始点と終点を、相互に連結し、3Dツアー上で3D形状の付加情報標柱に表現することができる。また、当該付加情報標柱に設定された付加情報は、当該付加情報標柱の近くに別途に表示することができる。
続いて、サーバ(100)は、3Dツアー上で付加情報標柱が追加された位置に対応する平面図上に、付加情報アイコンを表示する(S150)。このとき、サーバ(100)は、追加された付加情報標柱の3次元座標を2次元座標に変換することにより、平面図内に追加された付加情報標柱に対する付加情報のアイコンを表示することができる。付加情報のアイコンは、付加情報の形態に応じて、互いに異なるアイコン(例えば、写真のアイコンまたは動画アイコンなど)で表示することができる。
以下では、サーバ(100)から提供される付加情報の設定インタフェースについて詳細に説明する。
図4及び図5は、本発明の一実施例に係る3Dツアー付加情報の表示システムで提供する付加情報設定インタフェースを説明するための図面である。
図4を参照すると、ユーザーは付加情報設定インタフェースを介して始点(SP)及び終点(EP)を設定することができる。
たとえば、ユーザーが3Dツアー内で特定位置を選択すると、3Dツアー内に付加情報標柱の始点(SP)が設定される。
続いて、ユーザーが他の特定位置を選択すると、3Dツアー内に付加情報標柱の終点(EP)が設定される。このとき、付加情報標柱(M1)の始点(SP)及び終点(EP)を3次元座標の形でサーバ(100)内に保存することができる。
続いて、付加情報標柱の始点(SP)及び終点(EP)が設定されると、2点を連結するボディ部(BD)が作成され、これにより、付加情報標柱(M1)を3D形式で3Dツアー上に表現することができる。
また、作成された付加情報標柱(M1)の始点(SP)に対応する床面上には第1マーク(MS)が表示され、終点(EP)に対応する床面上に第2マーク(ME)が表示される。第1マーク(MS)と第2のマーク(ME)は、3Dツアー上の付加情報標柱の位置を明確にするための付加的な表示であり、予め決められた設定値によって省略することができる。
ただし、上記の始点(SP)及び終点(EP)の入力方法は、一つの例示に過ぎず、始点(SP)及び終点(EP)の選択は、マウスクリックまたはドラッグ、連続したタッチ入力、付加情報の追加メニュー入力など、様々な変形を介して設定することができる。
図5を参照すると、ユーザーが始点(SP)及び終点(EP)を設定した後、付加情報の設定ポップアップ(SB)を実行することができる。ただし、これは付加情報の設定ポップアップ(SB)の表示方法の一例であり、付加情報の設定ポップアップ(SB)は、マウスの右クリックで表示されるか、または付加情報標柱をクリックしたときに表示されるなど、多様に変形して実施することができる。
付加情報の設定ポップアップ(SB)は、標柱の色ボックス(CB)、文字入力ボックス(TB)及び付加情報の追加ボックス(IB)を含むことができる。
具体的には、標柱の色ボックス(CB)は、付加情報標柱の終点(EP)の色を指定することができる。ユーザーが指定しようとする色をクリックすると、付加情報標柱の終点(EP)の色が、ユーザーが指定した色に変わることができる。このとき、標柱の色ボックス(CB)は、多数の色(例えば、赤、黄、緑、空、青、紫など)を含んでおり、標柱の色ボックス(CB)に含まれる色を多様に変形して配置することができる。
文字入力ボックス(TB)には、付加情報標柱のタイトル(title)及び内容(description)を入力することができる。ユーザーがタイトル及び内容を入力すると、入力されたタイトル及び内容が付加情報標柱に挿入されて、付加情報標柱の一側に別のメッセージウィンドウに表示することができる。
付加情報の追加ボックス(IB)は、追加される付加情報の様々な形態を指定することができる。たとえば、ユーザーは、付加情報の追加ボックス(IB)を介して写真、ビデオ、URLリンクなどを追加で指定することができる。
つまり、付加情報の設定ポップアップ(SB)を介して、ユーザーは付加情報標柱に具体的な付加情報を追加して表示することができる。
これにより、本発明による3Dツアー付加情報表示システムは、ユーザーが任意の位置に付加情報標柱を設定するようにすることができ、ユーザーが意図した多様な付加情報を表示することができる。
図6は、本発明の一実施例に係る3Dツアー付加情報の表示システムで、3Dツアーに追加された付加情報が表現される一例を説明するための図面である。
図6を参照すると、ユーザーが設定した付加情報標柱は、3Dツアー内の多様な位置で確認することができる。
たとえば、<a1>は第1地点から見た付加情報標柱を示し、<a2>は第2地点から見た付加情報標柱を示し、<a3>は第3地点から見た付加情報標柱を示す。ここで、第1乃至第3の地点は、互いに異なる画像撮影地点を示す。
<a1>、<a2>、<a3>を参照すると、ユーザーは3Dツアー内の複数の位置で、予め入力した付加情報標柱の位置及び内容を確認することができ、角度によって付加情報標柱の形状は異なって表示することができる。
つまり、付加情報標柱は、ユーザーが指定した360度の画像内に3次元座標に設定され、3D形式で表示することができる。したがって、付加情報標柱は、ユーザーの位置及び視界によって大きさ及び角度が変形して表示することができる。
以下では、サーバ(100)の付加情報標柱を確認できる画像の設定方法について詳しく説明する。
図7は、本発明の一実施例に係る3Dツアー付加情報表示システムで、追加された付加情報を特定の画像撮影地点のみに表示できるようにする機能を説明するための図面である。
図7を参照すると、ユーザーは図5を参照して、説明した付加情報の設定インタフェースを介して、多様な付加情報を入力することができる。また、ユーザーは、付加情報の設定インタフェースで3Dツアーに含まれている複数の画像撮影地点のうち、入力された付加情報標柱が表示される360度の画像を選択することができる。
具体的には、ユーザーが付加情報の設定インタフェース内に備えた画像選択ボタン(SV)を選択する場合、3Dツアーに含まれている複数の360度画像が並ぶポップアップウィンドウ(PB)が開始される。
ポップアップウィンドウ(PB)に備えられたグラフィックボックス(GB)には、3Dツアーに含まれている複数の360度画像を表示することができる。ユーザーは、グラフィックボックス(GB)に表示された複数の360度画像のうち、選択された付加情報標柱に表示しようとする特定の360度画像を選択することができる。これにより、ユーザーは、設定した付加情報標柱を特定の画像撮影地点だけに表示されるように設定することができる。以後、当該付加情報標柱は、選択された画像の撮影地点のみ表示することで、ユーザーの様々な意図を表現することができる。
これにより、本発明による3Dツアー付加情報表示システムは、3D付加情報標柱を表示しようとする特定の360度画像を選択して、特定画像のみに3D付加情報標柱を表示することで、3Dツアー内の多様な位置で付加情報を確認できるようにして、ユーザーの利便性を向上させることができる。また、本発明は、ユーザーの付加情報の表示意図を明確に伝えることができる。
図8は、本発明の一実施例に係る3Dツアー付加情報表示システムで3Dツアーに追加された付加情報が表現される他の例を説明するための図面である。
図8を参照すると、ユーザーが3Dツアー上で一つの点だけを入力する場合、3Dツアー付加情報表示システムは、入力された点を終点に設定し、上記入力された点との最短距離に位置する床面または壁面上の点を始点に設定して、付加情報標柱を作成することができる。
たとえば、<b1>を参照すると、一つの点の入力によって作成された付加情報標柱は、床面から上方に延長される方向に設定することができる。つまり、付加情報標柱は、床面から垂直方向に延長されるように形成することができる。このとき、床面は付加情報標柱の始点に基本設定されていたり、周囲の壁面より入力された点に近くなるように位置したりすることができる。
続いて、ユーザーは、作成された付加情報標柱を選択することにより、付加情報の設定インタフェースに進入して、具体的な付加情報を入力することができる。
付加情報の入力が完了した後、他のユーザーが当該付加情報標柱(M2)をクリックする場合、付加情報の入力者が設定しておいた付加情報ウィンドウ(IM2)(例えば、写真)を付加情報標柱の一側に表示することができる。
他の例として、<b2>を参照すると、3D形状の付加情報標柱は壁面から垂直な方向に延びる方向に設定することができる。つまり、付加情報標柱は壁面から水平方向に延びるように形成することができる。このとき、壁面は付加情報標柱の始点に設定されていたり、周囲の床面より入力された点と近くなるように位置したりすることができる。
同様に、ユーザーは、作成された付加情報標柱を選択することにより、付加情報の設定インタフェースに進入して、具体的な付加情報を入力することができる。
また、付加情報の入力が完了した後、他のユーザーがその付加情報標柱(M3)をクリックする場合、付加情報の入力者が設定しておいた付加情報ウィンドウ(IM3)(たとえば、メモ)を付加情報標柱の一側に表示することができる
また、<b1>と<b2>は、付加情報標柱の予め設定された基本形状に該当することができる。もし、ユーザーが平面図上に付加情報を入力する場合、付加情報標柱は、床面又は壁面との隣接度に応じて<b1>または<b2>に表現することができる。
以下では、3Dツアー付加情報の表示システムで平面図上の付加情報を表示する方法について説明する。
図9は、本発明の一実施例に係る3Dツアー付加情報表示システムで、追加された付加情報に対するアイコンが表示される平面図を示す図面である。
図9を参照すると、ユーザーが設定した付加情報標柱のアイコンを、3Dツアーに含まれている平面図(FP)上に表示することができる。
ユーザーが3Dツアー内で付加情報標柱を設定すると、サーバ(100)は、3次元座標を2次元座標に変換することができる。
続いて、サーバ(100)は、3Dツアー内の付加情報標柱が設定された位置に対応する平面図(FP)上の地点(例えば、MC1、MC2、MC3)に付加情報の種類に応じたアイコン(例えば、写真アイコン、動画アイコン、テキストアイコン)を表示することができる。ユーザーは、当該アイコンをクリックすることにより、予め入力された付加情報を平面図(FP)上で確認することができる。
また、ユーザーが平面図(FP)内で付加情報を設定する場合、付加情報標柱を平面図(FP)内の付加情報が設定された位置に対応するように3Dツアーの上に作成することができる。
平面図(FP)で追加された付加情報は、3Dツアー内で対応される付加情報標柱に形成することができる。このとき、付加情報標柱の始点(SP)及び終点(EP)は、自動的に設定することができる。付加情報標柱は平面図(FP)内に設定された位置と最も隣接した距離の特定平面(例えば、壁、床など)を始点(SP)にして作成することができる。また、付加情報標柱の終点(EP)は、特定平面に垂直であり、始点(SP)との最短距離を持つように予め設定された高さに設定することができる。
このとき、作成された付加情報標柱は、図8を参照して、前述したように、床面又は壁面との隣接度によって<b1>または<b2>の形で形成することができる。
まとめると、本発明に係る3Dツアー付加情報表示システムは、3Dツアー内の平面図上に付加情報を表示しておいた位置に対応する付加情報標柱を3Dツアー内で自動的に作成することにより、ユーザーの利便性を向上させることができる。
図10は、本発明の他の実施例に係る3Dツアー付加情報表示方法を説明するための流れ図である。
図10を参照すると、本発明の実施例に係る3Dツアー付加情報表示方法において、まずサーバ(100)は、プロジェクトを作成する(S210)。ユーザーは、作成されたプロジェクト内で、3Dツアーを撮影する作業と、平面図上に付加情報を挿入する作業を実行することができる。
このとき、3Dツアーの撮影作業及び平面図内の付加情報の挿入作業は、同じプロジェクト内で一人のユーザーによって順次行われたり、二人以上のユーザーによって同時に行われたりすることができる。
たとえば、3D撮影の作業は、第1ユーザーによって行われ、付加情報の挿入作業は、第1ユーザーと異なる第2ユーザーによって行うことができる。続いて、異なるユーザーによって行われた3D撮影作業と付加情報の挿入作業は、作業完了後に、同じプロジェクト内で統合することができる。
続いて、サーバ(100)は、3Dツアーを撮影する(S220)。このとき、特定の空間に対する3Dツアーの撮影画面と上記特定空間の平面図を分割された画面上に同時に表示することができる。 3Dツアー撮影画面及び平面図の画面が分割された画面内に表示されることによって、ユーザーは3Dツアーの撮影と同時に平面図上に多様な形態の付加情報を挿入することができる。
また、サーバ(100)は、撮影画面または平面図内の付加情報を追加するボタンを備えたインタフェースをユーザー端末(200)に提供する。ユーザーがそのボタンをタッチすると、ユーザー端末(200)には、付加情報の挿入インタフェースを提供することができる。すなわち、ユーザーは付加情報挿入のためのボタンをクリックまたはタッチ入力を介して付加情報の挿入段階に進入することができる。
続いて、ユーザーが平面図上で位置を指定する場合、サーバ(100)は、選択された位置に付加情報を挿入する(S230)。このとき、ユーザーは平面図上のクリックまたはタッチ操作を介して付加情報の挿入位置を指定することができる。
続いて、付加情報の挿入位置が指定される場合は、サーバ(100)は、付加情報の挿入インタフェースを画面に表示する。ユーザーは、付加情報の挿入インタフェースを介して様々な形態の付加情報(例えば、メモ、写真など)を入力することができる。
続いて、サーバ(100)は、入力された付加情報を3Dツアー及び平面図と合成する(S240)。このとき、サーバ(100)は、トラッキングを介して平面図内に挿入された付加情報の2次元位置座標を抽出することができる。続いて、抽出された2次元座標を3次元座標に変換することにより、3Dツアー内に表示される付加情報標柱の位置を自動的に設定することができる。
続いて、サーバ(100)は、3Dツアーと平面図上に入力された付加情報を一緒に表現する(S250)。このとき、サーバ(100)は、3Dツアー内に挿入された付加情報を3D形態の付加情報標柱で3Dツアー内に表示することができる。
以下では、サーバ(100)内の付加情報のタグ付けインタフェースの付加情報の撮影及びタグ付けする方法について詳しく説明する。
図11は、本発明の他の実施例に係る3Dツアー付加情報の表示システムで空間を撮影する方法を説明するための図面である。
図11を参照すると、サーバ(100)は、同じプロジェクト内で、空間の3Dツアーの撮影作業及び平面図内の付加情報の挿入作業を進めることができる。
サーバ(100)は、分割画面を介して、第1画面(D1)には、平面図(GP)を提供し、第2画面(D2)には、空間の3Dツアーの撮影過程を提供することができる。
このとき、ユーザーは、第1画面(D1)内平面図(GP)で位置設定点(AP)を介して、本人の現在の位置を確認することができる。
また、ユーザーは、第2画面(D2)を介して空間を撮影することができる。ユーザーは、第2画面(D2)の3Dツアー撮影画面(TP)の下部に備えられた録画ボタン(B1)を選択することで、3Dツアーを作成するための撮影を開始することができる。
具体的には、ユーザーが録画ボタン(B1)を選択した場合は、サーバ(100)に連結された360度カメラモジュール(図示せず)は、当該位置で360度の撮影動作を実行して、3Dツアーを作成することができる。このとき、360度カメラモジュール(図示せず)は、一定の距離間隔又は時間間隔を置いて360度の画像を連続して作成することができる。続いて、サーバ(100)は、撮影された複数の360度画像と移動経路をマッピングして3Dツアーを作成することができる。ただし、これは一つの例示に過ぎず、3D撮影中に360度カメラモジュール(図示せず)の3Dツアーの作成方法は、多様に変形して実施することができる。
360度カメラモジュール(図示せず)で作成された360度画像は、360度カメラモジュール(図示せず)に一時的に保存され、ユーザーが撮影を終了する場合、サーバ(100)に送信することができる。たとえば、ユーザーは、撮影状態で録画ボタン(B1)を再び選択することにより、撮影を終了することができる。撮影が終了する場合、360度カメラモジュール(図示せず)に保存された360度の画像はサーバ(100)に送信することができる。
また、サーバ(100)は、トラッキング技術を通じて、ユーザーの移動経路を抽出することができる。第2画面(D2)内の3Dツアーの撮影過程を見ると、3Dツアー撮影画面(TP)内には、複数の特徴点(PM)を表示することができる。
サーバ(100)は、複数の特徴点(PM)を抽出した後、ユーザーの撮影画像の変化による特徴点(PM)の移動方向及び距離を算出することができる。続いて、サーバ(100)は、抽出された情報を利用して、ユーザー端末(200)の移動経路を算出することができる。算出された移動経路は、第1画面(D1)内の平面図(GP)上に表示することができる。
たとえば、サーバ(100)は、特徴点(PM)を介してユーザーが2回目で撮影した3Dツアーの位置を第2の撮影地点(P2)、3回目で撮影した3Dツアーの位置を第3の撮影地点(P3)、及び4番目に撮影された3Dツアーの位置を第4の撮影地点(P4)に設定することができる。
続いて、サーバ(100)は、第2の撮影地点(P2)、第3の撮影地点(P3)、及び第4の撮影地点(P4)を平面図(GP)上に表示し、ユーザー端末(200)の移動経路を線で表現することができる。このとき、サーバ(100)は、第1の撮影地点、第2の撮影地点、第3の撮影地点及び第4の撮影地点の撮影範囲を抽出して平面図(GP)上に表示することができる。
さらに、第2画面(D2)内の3Dツアー撮影画面(TP)には、3Dツアー撮影距離(TD)を表示することができる。ここで、3Dツアー撮影距離(TD)は、特徴点(PM)を介して抽出されたユーザー端末(200)の移動距離を示すことができる。
ユーザーは3Dツアー撮影を進行している途中、挿入しようとする付加情報が生じる場合、第1画面(D1)内の平面図内の特定地点を選択することにより、付加情報の挿入インタフェースに画面を切り替えることができる。付加情報の挿入インタフェースの詳細については、図12及び図13を介して詳しく説明する。また、トラッキングシステムに関する詳細については、図16及び図17を介して詳述する。
以下では、サーバ(100)から提供する付加情報の挿入インタフェースを介して付加情報を挿入する方法を詳細に説明する。
図12は、本発明の他の実施例による付加情報挿入インタフェースの一例を説明するための図面である。
図12を参照すると、ユーザーは画面に表示された平面図上で、特定地点(TP)を選択することができる。ここでは、特定地点(TP)は、付加情報が追加される位置を示す。
続いて、サーバ(100)は、ユーザー端末(200)の画面に付加情報挿入インタフェース(IP)を表示する。
続いて、ユーザーは、付加情報挿入インタフェース(IP)を介して、付加情報の種類(例えば、写真、動画、書き込みなど)を指定することができる。
たとえば、付加情報挿入インタフェース(IP)は、ビデオ撮影ボタン(RB)、画像撮影ボタン(CB)及びメディアアップロードボタン(UB)を含むことができる。
ユーザーがビデオ撮影ボタン(RB)を選択した場合、付加情報挿入インタフェース(IP)はビデオ撮影モードに切り替わり、これにより、撮影されたビデオを付加情報として平面図内に挿入することができる。
また、ユーザーは、画像撮影ボタン(CB)を選択して画像を撮影し、撮影された画像を付加情報として平面図内に挿入することができる。また、ユーザーは、メディアアップロードボタン(UB)を選択して、ユーザーの端末(200)を含むデバイス及びインターネットサーバ(図示せず)などに保存し、入力されている様々な種類の付加情報を平面図内に挿入することができる。また、ユーザーは、付加情報挿入インタフェース(IP)に含まれているメモ入力ボックス(TB)に文字を入力することで、関連するメモを付加情報として平面図に挿入することができる。
続いて、ユーザーは、挿入ボタン(SB)を選択して、付加情報の挿入を完了することができる。挿入された付加情報は、平面図上にアイコン(TI)の形で表示することができる。ここでは、アイコン(TI)の形状は、付加情報の種類に応じて異なる形で表示することができる。
図面に示されている付加情報挿入インタフェース(IP)は、一つの例示に過ぎず、付加情報を入力するためのインタフェースを多様に変形し実施することができる。
これにより、本発明のサーバ(100)は、3Dツアーの撮影と平面図内の付加情報挿入を同時に可能にする。したがって、本発明は、3Dツアーの撮影後、関連付加情報を別途に入力しなければならないユーザーの不便さを解消することができる。
図13は、図12の付加情報の挿入インタフェースを介して挿入された付加情報のアイコンが表示された平面図を示す図面である。
図13を参照すると、サーバ(100)は、平面図内にユーザーが挿入した付加情報のアイコンを表示することができる。ユーザーは平面図内の任意の位置を指定し、多様な種類の付加情報(例えば、写真、ビデオ、メモなど)を挿入することで、平面図内に多くの付加情報を保存することができる。平面図上に挿入された付加情報の位置が示されるアイコンを表示することができる。
このとき、平面図に表示されるアイコンの模様は、情報の種類に応じて様々な形で表示することができる。たとえば、ユーザーが付加情報の挿入インタフェースを介して画像を撮影したり、保存された画像を挿入したりする場合は、平面図上に写真アイコン(T1)を表示することができる。また、ユーザーが動画形式の付加情報を挿入する場合は、平面図上には動画アイコン(T2)を表示することができ、文字の形の付加情報を挿入する場合には、文字のアイコン(T3)を表示することができる。
ただし、本発明がこれに限定されるものではなく、付加情報のアイコンは、さまざまな形及びイメージで表示することができ、ユーザーがアイコンの形を直接指定、あるいは作成するなど様々な変形を含むことができる。
本発明に係る3Dツアー付加情報を表示する方法は、挿入された付加情報の位置を3Dツアー内の平面図上にアイコンで表示することにより、ユーザーが挿入された付加情報の位置を一目で把握できるようにすることができる。
図14及び図15は、本発明の他の実施例に係る3Dツアー付加情報表示システムにおいて、平面図及び3Dツアーを合成して付加情報を表現することを説明するための図面である。
サーバ(100)は、付加情報を3Dツアーと合成することで、平面図に挿入された付加情報を3Dツアーで一緒に表現することができる。ユーザーは3Dツアー内平面図では、ユーザーが設定した付加情報の内容を確認することができる。
図14を参照すると、サーバ(100)は、平面図内に多様な形態の付加情報の内容を表現することができる。また、サーバ(100)は、3Dツアーの平面図上にユーザーが挿入した付加情報の位置を表示することができる。
たとえば、<c1>を参照すると、第1ツアー(T1)の第1平面図(GP1)上には、第1付加情報アイコン(IP11)及び第2付加情報アイコン(IP12)など複数個の付加情報のアイコンがそれぞれの付加情報を挿入した位置に表示することができる。ユーザーが第1平面図(GP1)上の第1付加情報アイコン(IP11)を選択した場合、付加情報画像を含む付加情報表示窓(GI1)を表示することができる。
<c2>を参照すると、第2ツアー(T2)の第2平面図(GP2)上には、第3付加情報アイコン(IP21)及び第4付加情報アイコン(IP22)など複数個の付加情報のアイコンをユーザーが付加情報を挿入した位置に表示することができる。ユーザーが平面図(GP2)上の第3付加情報アイコン(IP21)を選択した場合、付加情報として挿入された動画を含む付加情報表示窓(GI2)を表示することができる。
<c3>を参照すると、第3ツアー(T3)の第3平面図(GP3)上には、第5付加情報アイコン(IP31)及び第6付加情報アイコン(IP32)を含む複数個の付加情報のアイコンを表示することができる。ユーザーが平面図(GP3)上の第1部情報アイコン(IP31)を選択すると、ユーザーが挿入した文字を含む付加情報表示窓(GI3)を表示することができる。
図15を参照すると、サーバ(100)は、平面図内に挿入された付加情報を3Dツアー内で付加情報標柱の形で表示することができる。
このとき、サーバ(100)は、トラッキングを使用して平面図内に挿入された付加情報の位置を抽出した後、これに対応する位置に付加情報標柱を作成して挿入することができる。
具体的には、サーバ(100)は、3Dツアーの撮影過程で撮影された画像から複数個の特徴点を抽出することができる。続いて、サーバ(100)は、特徴点を介して撮影画像の変化による特徴点の移動方向及び距離を算出し、これをもとに付加情報の位置座標を抽出することができる。このとき、抽出された付加情報の位置座標は、2次元座標で構成することができる。
続いて、サーバ(100)は、抽出された付加情報の2次元座標を3Dツアー上の3次元座標に変換することができる。
続いて、サーバ(100)は、変換された3次元座標を利用して、3Dツアー上に入力された付加情報をマッピング(mapping)することができる。
続いて、サーバ(100)は、3Dツアー内のマッピングされた位置に3D付加情報標柱を表示することができる。
このとき、3D付加情報標柱の始点は、隣接する平面(例えば、床面または壁面)上に位置することができる。また、付加情報標柱の終点は、始点から所定の高さに設定することができる。 3D付加情報標柱を始点と終点が連結された直線の形で3Dツアー内に表示することができる。ただし、本発明がこれに限定されるものではなく、付加情報標柱の形は、曲線、円形など様々な変形を含むことができる。
たとえば、3Dツアー画面(TD)内の平面図(GP1)上には、第1付加情報アイコン(IP1)、第2付加情報アイコン(IP2)、第3付加情報アイコン(IP3)及び第4付加情報アイコン(IP4)を含む複数個の付加情報アイコンを表示することができる。
続いて、サーバ(100)は、特徴点抽出を介して平面図内の付加情報の位置座標を抽出し、抽出された2次元座標を3次元座標に変換して3Dツアー内の付加情報の挿入位置を選ぶことができる。
続いて、サーバ(100)は、3Dツアー内に挿入された付加情報に対応する付加情報標柱を作成して表示することができる。
このとき、3Dツアー画面(TD)上の付加情報標柱は、平面図上の付加情報アイコンの位置とそれぞれ対応することができる。
例えば、第1部情報標柱(IS1)を見ると、選定された位置に最も近い平面である机の平面を始点に設定することができる。また、第1付加情報アイコン(IP1)と対応する地点が終点に設定され、始点と終点を連結することにより付加情報標柱が表示することができる。
また、第2付加情報標柱(IS2)は、第2付加情報標柱(IS2)が選定された位置に最も近い平面である間仕切りの上部面を始点として表示することができる。また、第2付加情報標柱(IS2)は、第2付加情報アイコン(IS2)の位置座標に対応する地点が終点に設定され、始点と終点を連結することにより設定することができる。
また、第3付加情報標柱(IS3)は平面図(GP1)上の第3付加情報アイコン(IS3)の位置に最も近い平面である本棚の上のボックスの側面が始点として設定することができる。続いて、第3付加情報標柱(IS3)は、第3付加情報アイコン(IS3)の位置座標に対応する地点が終点に設定され、始点と終点を連結することにより、表示することができる。
また、第4付加情報標柱(IS4)は、選定された位置に最も近い平面である床面を始点として表示することができる。続いて、第4付加情報標柱(IS4)は、第4付加情報アイコン(IP4)の位置座標に対応する地点が終点と表示され、始点と終点を連結することにより表示することができる。
以下では、サーバ(100)で実行される付加情報の位置座標を抽出するトラッキング方法について詳細に説明する。
図16及び図17は、本発明の他の実施例に係る3Dツアー付加情報の表示システムで実行されるトラッキング方法を説明するための図面である。
図16を参照すると、サーバ(100)は、トラッキング機能を利用して、平面図内の付加情報の位置座標を抽出することができる。ここでは、トラッキング機能は、ユーザーが動画を撮影するときに、ユーザー端末(200)の動きを抽出する機能である。
トラッキング機能が実行される場合には、動画が撮影されている間、撮影されている動画から特徴点(PM)を抽出することができる。
続いて、サーバ(100)は、抽出された特徴点(PM)を介して、撮影画像の変化による特徴点(PM)の移動方向及び距離を算出することができる。これにより、サーバ(100)は、付加情報の位置変化及び方向変化を算出することができる。また、サーバー(100)は、移動距離(TD)を算出し、3Dツアー撮影画面内に表示することができる。
続いて、サーバ(100)は、抽出された位置の変化情報を参照して、現在の位置座標を算出することができる。
続いて、サーバ(100)は、算出された位置座標を用いて、平面図上に挿入された付加情報を3Dツアー内の対応する位置に3D付加情報標柱の形で表示することができる。
図17を参照すると、サーバ(100)は、ユーザー端末(200)の画面を分割し、分割された一側には平面図(GP)を表示し、分割された他側には3D撮影画面(TP)を表示することができる。
具体的には、ユーザー端末(200)の第1の領域(D1)には、平面図(GP)が提供され、第2の領域(D2)には、特定空間の3Dツアーの撮影ができる3D撮影画面(TP)を提供することができる。このとき、平面図(GP)は、3Dツアーを撮影する特定空間の平面図に対応することができる。
ユーザーが第2領域(D2)を介して撮影を進行する場合は、撮影される画像上で特徴点(PM)を抽出することができる。サーバ(100)は、抽出された特徴点(PM)を利用して、ユーザー端末(200)の現在位置の座標を抽出することができる。
続いて、ユーザー端末(200)の現在位置の座標が抽出されると、サーバ(100)は、第1画面(D1)の平面図(GP)上に、現在撮影されているユーザー端末(200)の位置(AP)を表示することができる。また、撮影視点の位置座標を用いて、第1撮影地点(P1)及び第2撮影地点(P2)を平面図(GP)上に表示することができ、複数の撮影地点を連結することにより、移動方向を示すことができる。また、ユーザー端末(200)が移動した移動経路(MP)を平面図(GP)上に表示することができる。
これにより、本発明に係る3Dツアー付加情報表示システムは、平面図上に挿入された付加情報を3Dツアー内の対応する位置に付加情報標柱の形で自動的に表示することによって、ユーザーが挿入した付加情報を平面図及び3Dツアー内で一緒に表示できるようにし、ユーザーの利便性を向上させることができる。
以上のように、本発明は、たとえ限定された実施例と図面によって説明されたが、本発明は、上記の実施例に限定されるものではなく、これは、本発明が属する分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形が可能である。したがって、本発明の思想は、以下に記載された特許請求の範囲によってのみ把握されるべきで、これの均等または等価的変形すべては、本発明の思想の範疇に属すると言えるだろう。
100 サーバ
110 プロセッサ
120 メモリ
110 プロセッサ
120 メモリ
Claims (10)
- ユーザー端末と連携された3Dツアー管理サーバで行われる3Dツアー付加情報表示方法において、
前記ユーザー端末に、特定空間に対する平面図及び3Dツアー撮影インタフェースを同時に表示する段階と、前記ユーザー端末から前記特定空間に対する3Dツアーの撮影画像を受信する段階と、
前記3Dツアーの撮影過程で、前記ユーザー端末を介して付加情報の入力を受ける段階と、
前記3Dツアーと入力された前記付加情報を合成する段階と、及び
前記3Dツアー又は前記平面図上に前記付加情報を表示する段階を含む、
3Dツアー付加情報表示方法。 - 前記3Dツアーと入力された前記付加情報を合成する段階は、
前記3Dツアーの撮影画像の変化をもとに、前記平面図上に追加される前記付加情報の位置座標を抽出する段階と、
前記入力された付加情報を前記抽出された位置座標にマッピングさせる段階を含む、
請求項1に記載の3Dツアー付加情報表示方法。 - 前記付加情報の位置を抽出する段階は、
前記3Dツアーの撮影画像上で、複数個の特徴点を抽出する段階と、
前記撮影画像の変化による前記特徴点の移動方向及び距離を算出し、これをもとに前記付加情報の位置座標を抽出する段階を含む
請求項2に記載の3Dツアー付加情報表示方法。 - 前記抽出された付加情報の位置座標は2次元座標で構成され、
前記付加情報を前記抽出された位置座標にマッピングさせる段階は、
前記抽出された付加情報の位置座標を前記3Dツアー上の3次元座標に変換する段階と、
前記2次元座標を用いて前記平面図上に前記付加情報をマッピングさせ、前記3次元座標を用いて前記3Dツアー上に前記付加情報をマッピングさせる段階を含む、
請求項2に記載の3Dツアー付加情報表示方法。 - 前記付加情報の入力を受ける段階は、
3D撮影のうち前記平面図上で前記付加情報を挿入する特定位置の入力を受ける段階と、
付加情報挿入インタフェースを介して前記特定位置に挿入される付加情報の入力を受ける段階を含む、
請求項1に記載の3Dツアー付加情報表示方法。 - 前記ユーザー端末の画面の一側には、前記3Dツアーの撮影過程が表示され、
前記ユーザー端末の画面の他側には、前記平面図が表示され、
前記特定位置の入力を受ける段階は、前記平面図上で、ユーザーが選択した位置情報を受信することを含む、
請求項5に記載の3Dツアー付加情報表示方法。 - 前記付加情報挿入インタフェースは、
メモ、写真、動画、及びインターネットリンクのいずれかの情報種類を選択して、当該情報種類に対応する付加情報の入力を受ける、
請求項5に記載の3Dツアー付加情報表示方法。 - 前記付加情報を表示する段階は、
前記平面図上の付加情報の挿入位置に付加情報アイコンを表示する段階と、
前記3Dツアー上に前記付加情報アイコンに対応する3D付加情報標柱を表示する段階を含む、
請求項1に記載の3Dツアー付加情報表示方法。 - 前記3D付加情報標柱は、
前記3Dツアーの床面または壁面上に位置する始点と、
前記付加情報アイコンの位置に対応する終点と、
前記始点と前記終点を連結するボディ部で構成される、
請求項8に記載の3Dツアー付加情報表示方法。 - プロセッサと、及び
前記プロセッサによって実行されるプログラムが格納されるメモリを含み、
前記プログラムは、
ユーザー端末に、特定空間に対する平面図及び3Dツアー撮影インタフェースを同時に表示するオペレーションと、
前記ユーザー端末から前記特定空間に対する3Dツアーを撮影した画像を受信するオペレーションと、
前記3Dツアーの撮影過程で、前記ユーザー端末を介して付加情報の入力を受けるオペレーションと、
前記3Dツアーと入力された前記付加情報を合成するオペレーションと、
前記3Dツアー又は前記平面図上に前記付加情報を表示するオペレーションを含む、
3Dツアー付加情報表示システム。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20190108825 | 2019-09-03 | ||
KR10-2019-0135475 | 2019-10-29 | ||
KR10-2019-0135429 | 2019-10-29 | ||
KR1020190135429A KR102234180B1 (ko) | 2019-09-03 | 2019-10-29 | 3d 투어 부가정보 표시 시스템 및 방법 |
KR1020190135475A KR102234660B1 (ko) | 2019-09-03 | 2019-10-29 | 3d 투어 부가정보 태깅 시스템 및 방법 |
JP2020181720A JP7148767B2 (ja) | 2019-09-03 | 2020-10-29 | 3dツアー付加情報表示システム及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020181720A Division JP7148767B2 (ja) | 2019-09-03 | 2020-10-29 | 3dツアー付加情報表示システム及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022118068A true JP2022118068A (ja) | 2022-08-12 |
Family
ID=75143347
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020181720A Active JP7148767B2 (ja) | 2019-09-03 | 2020-10-29 | 3dツアー付加情報表示システム及び方法 |
JP2022093226A Pending JP2022118068A (ja) | 2019-09-03 | 2022-06-08 | 3dツアー付加情報表示システム及び方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020181720A Active JP7148767B2 (ja) | 2019-09-03 | 2020-10-29 | 3dツアー付加情報表示システム及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11704756B2 (ja) |
JP (2) | JP7148767B2 (ja) |
KR (1) | KR102234660B1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11816757B1 (en) * | 2019-12-11 | 2023-11-14 | Meta Platforms Technologies, Llc | Device-side capture of data representative of an artificial reality environment |
KR102516780B1 (ko) * | 2021-05-17 | 2023-03-30 | 노원일 | 사용자 업로드 vr 시스템 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6388688B1 (en) * | 1999-04-06 | 2002-05-14 | Vergics Corporation | Graph-based visual navigation through spatial environments |
JP2003269972A (ja) * | 1999-05-14 | 2003-09-25 | Denso Corp | 地図表示装置 |
JP2009134280A (ja) * | 2007-10-29 | 2009-06-18 | Interman Corp | 実世界を表現する仮想空間を構築する地図画像生成提供方法、サーバ・コンピュータおよび立体地図画像生成装置 |
US10139985B2 (en) * | 2012-06-22 | 2018-11-27 | Matterport, Inc. | Defining, displaying and interacting with tags in a three-dimensional model |
JP6110780B2 (ja) * | 2013-12-05 | 2017-04-05 | 株式会社ジオ技術研究所 | 付加情報表示システム |
KR102063895B1 (ko) * | 2015-04-20 | 2020-01-08 | 삼성전자주식회사 | 서버, 사용자 단말 장치 및 그 제어 방법 |
KR101794931B1 (ko) * | 2016-08-26 | 2017-11-07 | 윤종선 | 관광 지도 서비스 제공 시스템 |
JP7073850B2 (ja) * | 2018-03-29 | 2022-05-24 | 株式会社リコー | 入力装置および入力装置の入力方法 |
-
2019
- 2019-10-29 KR KR1020190135475A patent/KR102234660B1/ko active IP Right Grant
-
2020
- 2020-10-29 US US17/084,338 patent/US11704756B2/en active Active
- 2020-10-29 JP JP2020181720A patent/JP7148767B2/ja active Active
-
2022
- 2022-06-08 JP JP2022093226A patent/JP2022118068A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2021072125A (ja) | 2021-05-06 |
US20210125295A1 (en) | 2021-04-29 |
KR20210028036A (ko) | 2021-03-11 |
JP7148767B2 (ja) | 2022-10-06 |
US11704756B2 (en) | 2023-07-18 |
KR102234660B1 (ko) | 2021-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11663785B2 (en) | Augmented and virtual reality | |
CN110602396B (zh) | 智能合影方法、装置、电子设备及存储介质 | |
US11100259B2 (en) | Method and system for displaying room interiors on a floor plan | |
CN103458180B (zh) | 通信终端和使用通信终端显示图像的显示方法 | |
JP2022118068A (ja) | 3dツアー付加情報表示システム及び方法 | |
US20130321461A1 (en) | Method and System for Navigation to Interior View Imagery from Street Level Imagery | |
CN104160369B (zh) | 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质 | |
US20130257858A1 (en) | Remote control apparatus and method using virtual reality and augmented reality | |
JP2011076249A (ja) | パノラマ画像表示装置およびパノラマ画像表示方法 | |
JPWO2006009257A1 (ja) | 画像処理装置および画像処理方法 | |
KR102435185B1 (ko) | 360°vr촬영 기반의 3차원 이미지 생성 및 360°vr 콘텐츠 서비스 제공 방법 | |
US9792021B1 (en) | Transitioning an interface to a neighboring image | |
KR20180029690A (ko) | 매물에 관한 가상현실영상 제공방법 및 제공서버, 매물에 관한 가상현실영상 제작방법 및 제작서버 | |
JP6617547B2 (ja) | 画像管理システム、画像管理方法、プログラム | |
JP5701967B2 (ja) | 画像表示装置および画像表示方法 | |
US11830092B2 (en) | Server and method for displaying additional information on 3D tour | |
JP2012220840A (ja) | 画像表示装置及び画像表示方法 | |
JP6122991B2 (ja) | 画像表示装置および画像表示方法 | |
KR102516780B1 (ko) | 사용자 업로드 vr 시스템 | |
US20180061131A1 (en) | Method for establishing location-based space object, method for displaying space object, and application system thereof | |
JP2015092421A (ja) | 画像表示装置および画像表示方法 | |
JP4368748B2 (ja) | コンテンツの編集方法、文書ファイル構造、情報処理装置およびシステム並びにプログラム | |
CN116778122A (zh) | 基于增强现实内容的方法、系统及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230904 |