JP2021072627A - 3dツアーの比較表示システム及び方法 - Google Patents

3dツアーの比較表示システム及び方法 Download PDF

Info

Publication number
JP2021072627A
JP2021072627A JP2020181719A JP2020181719A JP2021072627A JP 2021072627 A JP2021072627 A JP 2021072627A JP 2020181719 A JP2020181719 A JP 2020181719A JP 2020181719 A JP2020181719 A JP 2020181719A JP 2021072627 A JP2021072627 A JP 2021072627A
Authority
JP
Japan
Prior art keywords
tour
point
image
displaying
tours
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020181719A
Other languages
English (en)
Other versions
JP7078231B2 (ja
Inventor
キム ケン
Ken Kim
キム ケン
ウク チュン チ
Ji Wuck Jung
ウク チュン チ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3I Inc
Original Assignee
3I Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190135428A external-priority patent/KR102196683B1/ko
Application filed by 3I Inc filed Critical 3I Inc
Publication of JP2021072627A publication Critical patent/JP2021072627A/ja
Priority to JP2022077673A priority Critical patent/JP7379785B2/ja
Application granted granted Critical
Publication of JP7078231B2 publication Critical patent/JP7078231B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0096Synchronisation or controlling aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

【課題】本発明は、3Dツアーの比較表示システム及び方法に関する技術である。【解決手段】上記3Dツアーの比較表示方法は、互いに異なる第1及び第2ツアーに対するそれぞれの基準点を設定し、上記第1及び第2ツアーにそれぞれ含まれる複数の画像撮影地点に対する座標値を設定する段階、上記第1ツアーにおいて、上記第1ツアーに含まれる複数の画像撮影地点のうちのいずれかの第1地点を設定する段階、上記第2ツアーにおいて、上記第2ツアーに含まれる複数の画像撮影地点のうち上記第1地点の座標値と最も近くに位置する第2地点を選定する段階、及び分割された画面の一側に上記第1地点に関する画像を表示し、上記分割された画面の他側に上記第2地点に関する画像を表示する段階を含む。【選択図】図4

Description

本発明は、3Dツアーの比較表示システム及び方法{System and method for displaying 3d tour comparison}に関するものである。具体的に、本発明は、複数の3Dツアー相互間に対応する画像を比較して表示するインタフェースを提供するシステム及び方法に関するものである。また、本発明は、室内の位置追跡と360度の空間撮影を同時に行うことができる3Dツアーの撮影装置及び方法に関するものである。
3D空間を記録するための最も良い方法は、空間を全方位360度の方面で撮影して、360度の画像形態に保存し、それぞれの位置に対する360度の画像を連結して、3Dツアーの形にする方法である。
また、時間に応じて変化する空間(例えば、建築、インテリア)を記録する最も効率的な方法も、特定の時点によって記録しようとする空間を3Dツアーの形で撮影して保存することである。
既存の3D画像を表すインタフェースは、対象場所の特定位置で特定の瞬間に撮影された画像だけを提供する。したがって、時間に応じて変更される空間の様子を把握するために、ユーザーは異なる時間に撮影された特定の位置に対応するそれぞれの3D画像をいちいち探して比較しなければならない不便さがあった。
また、同じ空間を撮影しても、撮影された地点が完全に一致せず、撮影方向も互いに異なるため、ユーザーが対応する3D画像を探していちいち比較する場合、多くの時間と労力が要るという問題があった。
一方、360度の空間を撮影するためには、3Dツアーの撮影装置が使われる。また、360度の画像を連結して3Dツアーを作成するためには、撮影される360度画像の地点と撮影経路を知る必要がある。
一般的に、屋外空間の場合、撮影経路及び地点を追跡するためには、GPS(Global Positioning System)情報を利用することができる。しかし、室内空間ではGPS 情報が使えないため、撮影地点と経路をリアルタイムで追跡しにくい。
そこで、室内での位置追跡のために、SLAM(Simultaneous Localization and Mapping)技術を利用してリアルタイムで移動する位置と経路を推定することができる。室内空間を撮影する際、撮影経路の追跡と撮影地点を追跡する技術は様々な産業に有用に利用することができる。
しかし、このようなSLAMを使用するためには、追跡カメラ等の特殊な装備が必要となる。すなわち、SLAM技術を利用するためには360度の空間撮影の際、別途の位置測定装備を用意しなければならない不便さがあった。
また、3Dツアーを生成するための画像撮影装置とは別に、位置測定装備が用意されるため、画像撮影と位置測定が分離され、ユーザーが同時に制御しにくい問題があった。
また、3Dツアー生成のためのデータ収集の際、画像撮影と位置測定が分離されているため、位置測定データについて誤差が生じるという問題もあった。
本発明の目的は、同じ空間の異なる時点(すなわち、時間)に撮影した複数の3Dツアーについて、相互に対応する位置及び方向に対する画像を選定し、画面に同時に表示する3Dツアーの比較表示システム及び方法を提供することである。
なお、本発明の目的は、異なる撮影時点で撮影した複数の3Dツアーの中から特定の3Dツアーを選択し、一側と他側に表示することにより、複数の3Dツアーの比較ができるインタフェースを提供する3Dツアーの比較表示システム及び方法を提供することである。
本発明の目的は、360度の画像撮影と室内空間の位置追跡を同時に行うことにより、位置測定データの誤差を減少させることができる3Dツアーの撮影装置及び方法を提供することである。
また、本発明の目的は、チルト部を利用して360度の画像撮影モジュールと位置追跡モジュールとの間の位置及び角度を変更することにより、位置測定の正確度を高めることができる3Dツアーの撮影装置及び方法を提供することである。
また、本発明の目的は、位置追跡モジュールで撮影されたデータの特徴点が不足して位置測定に誤差が発生する場合、これに対する通知を提供して使用者が位置追跡モジュールの位置を変更できるようにする3Dツアーの撮影装置及び方法を提供することである。
本発明の目的等は、以上で言及した目的に制限されず、言及されていない本発明の他の目的及び利点等は、以下の説明によって理解することができ、本発明の実施例によってより明確に理解されるだろう。また、本発明の目的及びメリットは、特許請求の範囲に示した手段及びその組み合わせによって実現できることを容易に分かることだろう。
上記の技術的な課題を達成するための本発明の実施形態に係る3Dツアーの比表示方法は、互いに異なる第1及び第2ツアーに対するそれぞれの基準点を設定し、上記第1及び第2ツアーにそれぞれ含まれる複数の画像撮影地点に対する座標値を設定する段階と、上記第1ツアーにおいて、上記第1ツアーに含まれる複数の画像撮影地点のうちのいずれかの第1地点を設定する段階と、上記第2ツアーにおいて、上記第2ツアーに含まれる複数の画像撮影地点のうち上記第1地点の座標値と最も近くに位置する第2地点を選定する段階、及び分割された画面の一側に上記第1地点に関する画像を表示し、上記分割された画面の他側に上記第2地点に関する画像を表示する段階を含む。
また、上記第1地点で撮影され上記画面の一側に表示される画像の第1方向と、上記第2地点で撮影され上記画面の他側に表示される画像の第2方向を同一に設定する段階をさらに含むことができる。
また、ユーザーから上記第1地点に対する方向転換の制御信号の入力を受ける段階と、上記制御信号をもとに、上記第1地点の上記第1方向を変化させ、上記第1方向の変化に同期して上記第2地点の上記第2方向を変化させる段階をさらに含むことができる。
また、上記第1ツアーの第1基準点と上記第2ツアーの第2基準点を特定空間の基準位置に同一に設定することができる。
また、上記第2地点を選定する段階は、上記第2ツアーに含まれる複数の画像撮影地点の座標値と上記第1地点の座標値との間の距離をそれぞれ計算し、計算された距離が最も短い画像撮影地点を上記第2地点に選定することを含むことができる。
また、上記分割された画面は、二つ以上の画面に分割され、上記第1及び第2ツアーに含まれる複数の画像撮影地点が表示された平面図を、それぞれの上記分割された画面上に表示する段階をさらに含むことができる。
また、上記画像を表示する段階は、上記第1ツアーに対する第1平面図上に上記第1地点に対する位置及び方向を表示し、上記第2ツアーに対する第2平面図上に上記第2地点に対する位置及び方向を表示することを含むことができる。
また、上記画像を表示する段階は、上記第1地点に関する画像上に、上記第1地点に隣接する他地点の位置を示すアイコンをオーバーラップさせて表示し、上記第2地点に関する画像上に、上記第2地点と隣接する他地点の位置を示すアイコンをオーバーラップさせて表示することを含むことができる。
また、ユーザーから上記の第2ツアーと異なる第3ツアーに対する選択を受信する段階と、上記第3ツアーにおいて、上記第3ツアーに含まれる複数の画像撮影地点のうち上記第1地点の座標値に最も近い第3地点を選定する段階と、分割された画面の一側に上記第1地点に関する画像を表示し、上記分割された画面の他側に上記第3地点に関する画像を表示する段階をさらに含むことができる。
また、上記技術的な課題を達成するための本発明の実施形態に係る3Dツアーの比較表示システムは、プロセッサと、及び上記プロセッサによって実行されるプログラムが格納されているメモリを含み、上記プログラムは、互いに異なる第1及び第2ツアーに対するそれぞれの基準点を設定し、上記第1及び第2のツアーに含まれている複数の画像の撮影地点に対するそれぞれの座標値を設定するオペレーションと、上記第1ツアーにおいて、上記第1ツアーに含まれる複数の画像の撮影地点のいずれかの第1地点を設定するオペレーションと、上記第2ツアーにおいて、上記第2ツアーに含まれる複数の画像の撮影地点のうち、上記第1地点の座標値に最も近い第2地点を選定するオペレーションと、分割された画面の一側に上記第1地点に関する画像を表示し、上記分割された画面の他側に上記第2地点に関する画像を表示するオペレーションを含む。
また、上記プログラムは、上記第1地点で撮影され、上記一側に表示される画像の第1方向と、上記第2地点で撮影され、上記他側に表示される画像の第2方向を同一に設定するオペレーションをさらに含むことができる。
一方、上記技術的な課題を達成するための、本発明の実施形態に係る3Dツアーの撮影装置は、特定地点に対するアラウンドビュー画像を撮影するカメラモジュール、上記カメラモジュールの位置変化又は方向変化を感知する位置追跡モジュール、上記カメラモジュールと上記位置追跡モジュールとの間の位置又は角度を変化させるチルト部、及び上記カメラモジュール及び上記位置追跡モジュールから受信したデータをもとに、複数のアラウンドビュー画像と位置情報を含む3Dツアーを作成する制御モジュールを含む。
また、ユーザーに通知を提供する通知部をさらに含み、上記制御モジュールは、上記の位置変化又は上記の方向変化が感知されない場合、上記通知部を活性化させることができる。
また、制御モジュールは、上記位置追跡モジュールで感知された特徴点の数が基準値より低い場合、上記通知部に介して上記位置追跡モジュールの位置又は角度を調整することを知らせる通知を提供するか、ユーザー端末にインストールされたアプリケーションを介して上記通知を提供することができる。
また、上記制御モジュールは、上記カメラモジュールから受信した上記複数のアラウンドビュー画像と、上記位置追跡モジュールから受信された上記位置変化、又は上記方向変化をもとに算出された上記位置情報を用いて上記3Dツアーを作成するものの、上記3Dツアーは、上記カメラモジュールの移動経路と上記移動経路上にマッピングされた上記アラウンドビュー画像の撮影位置情報を含むことができる。
また、上記位置追跡モジュールは、互いに離隔された複数のセンサーを含むセンサー部と、上記センサー部で測定されたデータをもとに、上記カメラモジュールの位置変化又は方向変化を測定する変化測定部を含むことができる。
また、上記センサー部は、ライダー(LiDAR)センサー、RGBセンサー、赤外線センサー、紫外線センサー、超音波センサー、ジャイロセンサー、および加速度センサーの1つ以上のセンサーを含むことができる。
また、上記制御モジュールは、上記の位置追跡モジュールで感知されたデータと現在の位置情報を利用して、上記カメラモジュールの移動経路を導出することができる。
上記チルト部は、上記制御モジュールの制御信号をもとに、上記カメラモジュールと上記位置追跡モジュールとの間の位置又は角度を変化させる角度調整部をさらに含むことができる。
また、上記カメラモジュールは、複数個のカメラを含み、上記複数個のカメラで撮影された画像を連結して、1つの上記アラウンドビュー画像を作成することができる。
また、上記カメラモジュールは、一側を撮影するカメラ部と、基準軸を中心に上記カメラ部を回転させる回転部を含み、上記カメラ部から連続して撮影された複数の画像を連結して、1つの上記アラウンドビュー画像を作成することができる。
一方、本発明の実施形態に係る3Dツアーの撮影装置で実行される3Dツアーの撮影方法は、特定の地点に対するアラウンドビュー画像を撮影するカメラモジュールと、上記カメラモジュールの位置変化又は方向変化を感知する位置追跡モジュールを初期化する段階、上記位置追跡モジュールから受信されたデータをもとに、現在の位置情報及び移動経路を算出する段階、上記カメラモジュールから受信された撮影画像を上記算出された移動経路にマッピングして、3Dツアーを作成する段階及び上記作成された3Dツアーを上記3Dツアーの撮影装置と連携された装置に表示する段階を含む。
また、上記位置情報及び移動経路を算出する段階は、上記位置追跡モジュールにおいて、上記位置変化又は方向変化が感知されないか、感知された特徴点の数が基準値よりも低い場合には、上記位置追跡モジュールの位置又は角度を変更することを知らせる通知を発生させることをさらに含むことができる。
本発明に係る3Dツアーの比較表示システム及び方法は、異なる時点から撮影した複数の3Dツアーについて、相互に対応される位置及び方向に対する画像を選定し、画面に同時に表示することによって、複数の3Dツアーにそれぞれ対応する画像を、ユーザーがいちいち探さなければならない不便さを解消することができる。
また、本発明に係る3Dツアーの比較表示システム及び方法は、複数の3Dツアーを同時に表示し、他側に表示される3Dツアーを撮影時点によって選択し比較できるようにする。これにより、本発明は、同一空間の時間による変化を容易に把握できるようにし、ユーザーの利便性を向上させることができる。
本発明に係る3Dツアーの撮影装置及び方法は、360度の画像撮影と室内空間の位置追跡を同時に行うことにより、測定データの誤差を減少させ、3Dツアーの撮影の利便性を向上させることができる。
また、本発明に係る3Dツアーの撮影装置及び方法は、360度画像撮影モジュールと位置追跡モジュールとの間の撮影位置及び角度を変更することにより、位置測定の正確度を向上させることができる。また、3Dツアーを撮影しない場合、カメラモジュールと位置追跡モジュールを重ねて収納することができ、3Dツアーの撮影装置の携帯性を向上させることができる。
また、本発明に係る3Dツアーの撮影装置は、位置追跡モジュールで撮影されたデータの特徴点が不足し正確な位置測定が難しい場合、これに対する通知を提供して位置追跡モジュールの位置を変更するようにすることで、3Dツアーの製作時の繰り返し撮影の回数を減少させ、3Dツアーのデータの信頼性を向上させることができる。
本発明の効果は、前述した効果に限定されず、本発明の当業者らは、本発明の構成において、本発明の様々な効果を容易に導出することができる。
本発明の一実施形態に係る3Dツアーの比較表示システムを示す概略図である。 図1の3Dツアーの比較表示サーバの構成要素を説明するためのブロック図である。 本発明の他の実施形態に係る3Dツアーの比較表示システムの概略的な構成を説明するためのブロック図である。 本発明のいくつかの実施形態に係る3Dツアーの比較表示方法を説明するための流れ図である。 本発明のいくつかの実施形態に係る3Dツアーの比較表示システムで、互いに異なる3Dツアーの位置及び方向を同期させる方法を説明するための図面である。 本発明のいくつかの実施形態に係る3Dツアーの比較表示システムで提供する3Dツアーの比較インタフェースの一例を説明するための図面である。 本発明のいくつかの実施形態に係る3Dツアーの比較表示システムで提供する3Dツアーの比較インタフェースの一例を説明するための図面である。 本発明のいくつかの実施形態に係る3Dツアーの比較インタフェースで、撮影時点を変更する機能を説明するための図面である。 本発明のいくつかの実施形態に係る3Dツアーの比較表示システムが提供する3Dツアーの比較インタフェースの他の例を説明するための図面である。 本発明の他の実施形態に係る3Dツアーの撮影システムを概略的に示す図面である。 本発明の実施形態に係る3Dツアーの撮影装置を示す図面である。 本発明の実施形態に係る3Dツアーの撮影装置の構成要素を説明するためのブロック図である。 本発明の実施形態に係る3Dツアーの撮影装置の構成要素の一例を説明するためのブロック図である。 本発明の実施形態に係る3Dツアーの撮影装置の動作方法を説明するための流れ図である。 本発明の実施形態に係る3Dツアーの撮影装置の通知提供アルゴリズムを説明するための流れ図である。 本発明の実施形態に係る3Dツアーの撮影装置から導出される移動経路及び撮影インタフェースを説明するための図面である。 本発明の実施形態に係る3Dツアーの撮影装置から導出される移動経路及び撮影インタフェースを説明するための図面である。
本発明の利点及び特徴、そしてそれらを達成する方法は、添付される図面とともに詳細に後述されている実施例を参照すれば明確になるだろう。しかし、本発明は、以下で開示される実施例に限定されるものではなく、異なる様々な形態で実装されるものであり、単に本実施例らは、本発明の開示が完全であることにし、本発明が属する技術分野において通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇によって定義されるだけである。明細書全体にわたり同一参照符号は同一構成要素を指す。
本明細書で使用される用語は、実施例らを説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数形は文句で特に言及しない限り複数形も含む。明細書で使用される「含む(comprises)」及び/又は「含む(comprising)」は、言及される構成要素、段階、動作及び/又は素子は、1つ以上の他の構成要素、段階、動作及び/又は素子の存在又は追加を排除しない。
他の定義がなければ、本明細書で使用されるすべての用語(技術及び科学的用語を含む)は、本発明が属する技術分野において通常の知識を有する者に共通に理解される意味で使用されるだろう。また、一般的に使用される辞書に定義されている用語らは、明白に特別に定義されていない限り、理想的に又は過度に解釈されない。
3Dツアーの撮影装置は、一つまたは二つ以上の広角レンズを利用して周辺の背景情報を画像に生成することができる装置である。3Dツアーの撮影装置は、水平及び上下360度を全方向で撮影し、360度の写真及び映像を作る。3Dツアーの撮影装置で撮影された写真や映像は、サーバ及びユーザーの端末など、様々なところに送受信することができる。
本発明において「3Dツアー」は複数の地点でそれぞれ360度で撮影し、保存された画像(例えば、パノラマ画像)らの組み合わせで構成される。このとき、「3Dツアー」はそれぞれの画像が撮影された位置情報を含むことができ、それぞれの位置情報は平面図上にマッピングされてユーザーに提供することができる。
以下では、図面を参照して、本発明の実施形態に係る3Dツアーの比較表示システム及び方法について詳しく説明する。
図1は本発明の一実施例に係る3Dツアーの比較表示システムを示す概略図である。
図1を参照すると、本発明のいくつかの実施例に係る3Dツアーの比較表示システムは、サーバ(100)、ユーザー端末(200)、及び3Dツアーの撮影装置(300)を含む。
サーバ(100)とユーザー端末(200)は、サーバクライアントシステムとして実装することができる。このとき、サーバ(100)はユーザーが選択した3Dツアーの特定地点に対応した画像を選定し、ユーザー端末(200)に提供することができる。サーバ(100)は有線及び無線ネットワークを介してユーザー端末(200)とデータを送受信することができる。
3Dツアーの撮影装置(300)は、ユーザー端末(200)を介してサーバ(100)とデータを送受信することができる。ただし、本発明はこれに限定されるものではなく、3Dツアーの撮影装置(300)はネットワークを介してサーバ(100)と直接データを送受信することができる。
図面上には、1つのユーザー端末(200)及び3Dツアーの撮影装置(300)のみを図示しているが、本発明がこれに限定されるものではなく、サーバ(100)は複数のユーザー端末(200)及び3Dツアーの撮影装置(300)と連動され動作することができる。
サーバ(100)は、複数の3Dツアーを保存及び管理することができる。続いて、サーバ(100)は、ユーザーが選択した2以上の3Dツアーをユーザー端末(200)に提供することができる。このとき、サーバ(100)は2つ以上の3Dツアーに対する画像を分割された画面に同時に表示することができる。
このとき、サーバ(100)は一側に表示される3Dツアー(以下、第1ツアー)の画像と、他側に表示される3Dツアー(以下、第2ツアー)の画像が類似するように動作することができる。
具体的には、サーバ(100)は3Dツアーの撮影装置(300)を介して収集された画像の座標値をもとに、ユーザーが設定した画像と相互対応する画像を選定し、ユーザー端末(200)に提供することができる。すなわち、サーバ(100)は、一側に表示される第1ツアーの画像の撮影地点に対する座標値を用いて、これに対応する第2ツアーの画像を選定することができる。座標値を利用して画面の一側と他側に、相互対応する画像を選定する方法についての具体的な説明は以下で詳しく説明する。
以下では、本発明の一実施例に係る3D比較ツアーシステム(100)に含まれる各構成要素について詳しく説明する。
図2は、図1の3Dツアーの比較表示サーバの構成要素を説明するためのブロック図である。
図2を参照すると、本発明の一実施例に係るサーバ(100)は、座標設定部(101)、地点選定部(102)、方向設定部(103)、画面表示部(104)及びデータベース部(105)を含む。
座標設定部(101)は複数の3Dツアーに対するそれぞれの基準点を設定することができる。座標設定部(101)は、設定されたそれぞれの基準点をもとに、3Dツアー内に含まれるそれぞれの画像撮影地点に対する座標値を設定することができる。このとき、座標設定部(101)は、様々な種類の座標軸(例えば、直交座標系又は球面座標系)を利用して座標値を設定することができる。座標設定部(101)で設定された座標値は、互いに異なる3Dツアーについて相互対応する撮影地点の画像を選定するのに利用することができる。
地点選定部(102)は、比較基準となるツアー(例えば、第1ツアー)に対する特定画像撮影地点(例えば、第1地点)の座標値と、比較対象となるツアー(例えば、第2ツアー)に含まれる複数の画像撮影地点の全ての座標値との間の距離をそれぞれ計算することができる。続いて、地点選定部(102)は、計算された距離が最も短い地点を比較対象となるツアー(例えば、第2ツアー)の画像撮影地点(例えば、第2地点)に選定することができる。
方向設定部(103)は、画面の一側に表示される比較基準となるツアー(例えば、第1ツアー)の画像方向と、比較対象となるツアー(例えば、第2ツアー)の画像方向を一致させる。すなわち、方向設定部(103)は第1ツアーの第1地点に対する第1方向と、第2ツアーの第2地点に対する第2方向を同期させることができる。
画面表示部(104)は、ユーザーが比較しようとする互いに異なる複数の3Dツアーを分割された画面上に同時に表示することができる。
データベース部(105)は、異なる時点で撮影された複数の3Dツアーに関するデータを保存及び管理することができる。このとき、データベース部(105)はそれぞれのツアーに対する撮影画像、撮影日、撮影位置などを保存することができる。
図面に明確に図示していないが、本発明の一実施例に係るサーバ(100)はユーザー端末(200)及び3Dツアーの撮像装置(300)と通信する通信部(未図示)をさらに含むことができる。このとき、サーバ(100)は様々な通信規約をもとに他の外部機器とデータを送受信することができる。
以下では、本発明の他の実施形態に係る3Dツアーの比較表示システム(1000)の構成について詳しく説明する。
図3は、本発明の他の実施例に係る3Dツアーの比較表示システムの概略的な構成を説明するためのブロック図である。
図3を参照すると、本発明の他の実施形態に係る3Dツアーの比較表示システム(1000)は、本発明の技術的思想を実装するためのプログラムが格納されるメモリ(120)、及び上記メモリ(120)に格納されているプログラムを実行するためのプロセッサ(110)を含む。
このとき、プロセッサ(110)は、比較基準となる第1ツアー及び比較対象となる第2ツアーについて、同じ平面図内にそれぞれの同一基準点を設定し、基準点に対するそれぞれの座標値を設定する。このとき、第1ツアー及び第2ツアーは異なる時点で撮影された画像を含む互いに異なるツアーである。
続いて、プロセッサ(110)は、第1ツアーに含まれる複数の画像撮影地点のうち、1つの第1地点を設定し、第1地点の座標値と第2ツアー内に含まれる複数の画像撮影地点の座標値を比較する。
続いて、プロセッサ(110)は、上記第1地点の座標値と最も距離が短い第2ツアー内の画像撮影地点を第2地点に選定する。
続いて、プロセッサ(110)は分割画面の一側に上記第一地点の画像を表示し、他側に上記第2地点の画像を表示する。これらのプロセッサ(110)の動作は、あらかじめ設定された複数のオペレーションから構成されるプログラムを利用して行うことができる。
このとき、メモリ(120)には複数の時点で撮影された複数の3Dツアーに関連するデータが保存される。例えば、それぞれの3Dツアーは、撮影時点(例えば、撮影日)、撮影時点に撮影された複数の360度の撮影画像、それぞれの撮影画像に対する撮影位置の座標、及び当該座標がマッピングされた平面図に関するデータを含むことができる。
また、メモリ(120)には3Dツアーの比較表示方法に対するアルゴリズムを保存することができる。ここで、3Dツアーの比較表示方法は、複数の3Dツアーを分割画面上に同時に表示するインタフェース提供方法を意味する。このとき、プロセッサ(110)は、当該アルゴリズムの実行主体となることができる。
一方、3Dツアーの比較表示システム(1000)は、同一の空間に対して異なる時点(または、日付)に撮影された複数の3Dツアーに対して、相互対応する位置及び方向に対する画像を選定し、画面に同時に表示する3Dツアーの比較インタフェースを提供することができる。
このとき、3Dツアーの比較表示システム(1000)は、第1領域に表示される第1の3Dツアーの地点と最も近い他の第2の3Dツアーの地点を選定し、方向を同期させ、それぞれの互いに異なる3Dツアーに対する画像を画面に同時に表示するインタフェースを提供することができる。
また、3Dツアーの比較表示システム(1000)は、分割画面内で複数の3Dツアーの画像撮影時点を選択し、比較表示できるインタフェースを提供することもできる。
付加的に、プロセッサ(110)は3Dツアーの比較表示システム(1000)の実装例によって、CPU、モバイルプロセッサなど様々な名称で命名することができる。
メモリ(120)は、プログラムが格納され、プログラムを駆動させるためにプロセッサのアクセスが可能な、いかなる形態の記憶装置で実装化されても構わない。ハードウェア的実装例によって、メモリ(120)はいずれかの記憶装置ではなく、複数の記憶装置で実装化されることもある。また、メモリ(120)は主記憶装置のみならず、一時記憶装置を含むこともできる。また、メモリ(120)は揮発性メモリまたは不揮発性メモリとして実装化されることもあり、プログラムが格納されプロセッサによって駆動されるように、実装されるすべての形態の情報記憶手段を含む意味で定義することができる。
また、3Dツアーの比較表示システム(1000)は、実施例によってウェブサーバ、コンピュータ、モバイルフォン、タブレット、テレビ、セットトップボックスなど様々な方式で実装され、本明細書で定義される機能を実行できるいかなる形態のデータ処理装置も含む意味で定義することができる。
3Dツアーの比較表示システム(1000)は、実施例によって様々な周辺装置(例えば、周辺装置−1(131)乃至周辺装置−N(139))をさらに含むことができる。例えば、3Dツアーの比較表示システム(1000)は、3Dツアーの撮影装置(300)、キーボード、モニター、グラフィックカード、通信装置などの周辺装置をさらに含むことができる。
以下では、説明の便宜のために、図1のサーバ(100)で行われる3Dツアーの比較表示方法を例に挙げて説明する。
図4は、本発明のいくつかの実施例に係る3Dツアーの比較表示方法を説明するための流れ図である。
図4を参照すると、本発明の実施例に係る3Dツアーの比較表示方法において、まずサーバ(100)は、3Dツアーの互いに異なるツアーに含まれている同一の平面図上に基準点を設定する(S110)。
このとき、比較しようとするすべての3Dツアーの基準点と画像らの間のスケール(scale)は、同じ値を持たなければならない。このため、サーバ(100)は同一の平面図を含む複数の3Dツアーに対する基準点を統一させることができる。ここで、基準点は同一平面図上で自動的に設定されたり、ユーザーによって手動で設定された座標系を基準に設定されたりすることができる。サーバ(100)はX−Y座標系をもとに、基準点を設定することができるが、必要に応じて様々な座標系を利用することが可能である。
また、サーバー(100)は同一の平面図を持つ画像らの大きさを同一に変更することができる。
続いて、サーバ(100)は、ユーザー端末(200)を介してユーザーから比較基準となる第1ツアーと比較対象となる第2ツアーを選択してもらうことができる。このとき、互いに異なる第1ツアーと第2ツアーは同じ空間に対し、異なる撮影時点で撮影された複数の画像を含むことができる。
続いて、サーバ(100)は、比較基準となる第1ツアー内に含まれる第1地点に対する座標値を設定する(S120)。このとき、第1地点の座標値はユーザーが第1ツアー内の平面図を介して比較しようとする特定画像の撮影地点を選択することによって設定される。
続いて、サーバ(100)は、比較対象となる第2ツアー内で、第1地点の座標値に最も近い第2地点を選定する(S130)。サーバ(100)は、S120段階で選択された第1地点の座標値と、第2ツアー内に含まれる各画像の撮影地点の全ての座標値との間の距離をそれぞれ計算して比較し、計算された距離が第1地点と最も短い画像撮影地点を第2地点に選定することができる。
続いて、サーバ(100)は、第1地点で撮影された画像方向と、第2地点で撮影された画像の方向を同一に設定する(S140)。すなわち、第1地点に対する画像と、第2地点に対する画像の方向は相互に同期することができる。
続いて、サーバ(100)は、分割された画面上に、第1地点及び第2地点に対する同一方向の画像を同時に表示する(S150)。これにより、サーバ(100)は第1ツアーの第1地点で選択された画像とマッチング率が最も高い第2ツアーの画像を選定して表示することができる。
続いて、ユーザーが第1ツアーの第1地点の位置及び方向を変更する場合、サーバ(100)は、変更された位置及び方向に対応する第2ツアーの画像を選定して表示することができる。
もし、ユーザーが第1地点に対する視点方向を転換すれば、サーバ(100)はユーザー端末(200)から方向転換の制御信号を受信することになる。このとき、サーバ(100)は、入力された制御信号をもとに、第1地点の方向を変化させ、第1地点の方向の変化に同期され、第2地点の第2方向が変化することができる。
これは、第2ツアーの位置及び方向を変更する場合にも、そのまま適用することができる。すなわち、ユーザーが第2ツアーの位置と方向を変更する場合、サーバ(100)は、入力された制御信号を利用して、変更された位置及び方向に対応する第1ツアーの画像を選定して表示することができる。このような変更事項の適用は、リアルタイムで適用することができる。すなわち、第1ツアーと第2ツアーは相互同期し、ユーザーの入力に応じて変更された事項をリアルタイムで更新して表示することができる。
図5は、本発明のいくつかの実施例に係る3Dツアーの比較表示サーバにおいて、互いに異なる3Dツアーの位置及び方向を同期させる方法を説明するための図面である。 図5では、図4で説明した3Dツアーの比較表示方法を図式化し、簡単に説明する。
ここで、図5の<a1>は複数の画像撮影地点(例えば、V1乃至V6)を含む第1ツアーを示し、<a2>は複数の画像撮影地点(例えば、P1乃至P6)を含む第2ツアーを表す。
図5を参照すると、サーバ(100)は、第1ツアーの平面図上にそれぞれの複数の画像撮影地点(例えば、V1乃至V6)を表示し、平面図内で基準点(SP)を設定することができる。
同様に、サーバ(100)は、第2ツアーの平面図上にそれぞれの複数の画像撮影地点(例えば、P1乃至P6)を表示し、第2ツアーの平面図に対して第1ツアーと同一の基準点(SP)を設定することができる。
続いて、ユーザーが比較基準となる第1ツアー内で特定地点(V3)を選択すると、サーバ(100)は基準点(SP)を基準にして第1地点(V3)に対する座標値(以下、例えば(2、3))を算出する。また、サーバ(100)は、ユーザーが指定した第1地点(V3)の方向を導出する。
続いて、サーバ(100)は、選択された第1地点(V3)の座標値(2,3)と第2ツアーに含まれる複数の画像撮影地点(例えば、P1乃至P6)の座標値との間の距離をそれぞれ計算し、第1地点(V3)の座標値(2,3)と最も短い距離を有する地点を第2地点(P1)に設定することができる。
続いて、サーバ(100)は、第1地点(V3)からユーザーが眺める方向と第2地点(P1)からユーザーの眺める方向を一致させる。
続いて、サーバ(100)は、分割された画面上に第1地点(V3)の第1方向に対する画像を画面の一側(すなわち、第1領域)に表示し、第2地点(P1)の第2方向に対する画像を画面の他側(すなわち、第2領域)に表示することができる。
これにより、本発明のサーバ(100)は、異なる視点で撮影した複数の3Dツアーに対して、相互に対応する位置及び方向に対する画像を選定し、画面に同時に表示することができる。これにより、本発明のサーバ(100)は複数の3Dツアーに対して、それぞれの対応される画像をユーザーがいちいち探す不便さを解消することができる。
図6及び図7は、本発明のいくつかの実施例に係る3Dツアーの比較表示サーバが提供する3Dツアーの比較インタフェースの一例を説明するための図面である。ここで、図6は、複数の3Dツアーに対するそれぞれの平面図を示し、図7は、複数の3Dツアーで対応される位置及び方向の画像を比較表示する図面である。
図6を参照すると、第1ツアー及び第2ツアーは同じ場所に対する異なる時間に撮影された複数の画像撮影地点等を含むことができる。それぞれの複数の画像撮影地点を第1ツアー及び第2ツアーの平面図上にそれぞれ表示することができる。
<b1>を参照すると、ユーザーは設定した第1ツアー内から任意の第1地点(NP)を選択することができる。
続いて、<b2>を参照すると、サーバ(100)は第2ツアー内で、第1ツアーで選択された第1地点(NP)の座標値と同じ座標値を持つ位置座標(VP)を設定することができる。
続いて、サーバ(100)は、設定された位置座標(VP)と第2ツアー内のすべての地点に対する座標値の距離をそれぞれ計算し、最も短い距離を持つ第2ツアー内の地点(MP)を第2地点に選定することができる。
続いて、サーバ(100)は、第1地点(NP)に対する第1画像の方向と、第2地点(MP)に対する第2画像の方向を同一に設定することができる。
具体的には、図7を参照すると、サーバ(100)は分割画面上に、図6で設定した第1地点に対する第1画像と、第2地点に対する第2画像を同時に表示することができる。
すなわち、サーバ(100)は分割画面の第1領域(D1)には第1地点に対する第1画像を表示し、分割画面の第2領域(D2)には第2地点に対する第2画像を表示することができる。
このとき、第2ツアー内で第2地点に対する第2画像は、第1地点に対する第1画像と最も高い関連度を持つ画像であることができる。例えば、第2画像は、第1画像に含まれる構成要素と最も高いマッチング率を示すことができる。
それぞれのツアーの画面上には、それぞれのツアー内に異なる画像撮影地点の位置を示すアイコンを表示することができる。例えば、サーバ(100)は、第1領域(D1)に表示された第1ツアーの第1地点に対する画像を表示することができる。
このとき、第1地点に対する画像上には、第1地点に隣接する他の地点の位置及び方向を示す第1アイコン(DM11)及びまた他の地点の位置及び方向を示す第2アイコン(DM12)を画面上にオーバーラップして表示することがある。
同様に、第2領域(D2)に表示された第2ツアーの第2地点に関する画像上には、第2地点に隣接する他の地点の位置及び方向を示す第3アイコン(DM21)及びまた他の地点の位置及び方向を示す第4アイコン(DM22)をオーバーラップして表示することができる。
ユーザーが特定のアイコンをクリックする場合、当該ツアーの画面は当該アイコンに対応する画像撮影地点に移動することができ、当該画像撮影地点に対応する画像を画面に表示することができる。続いて、ユーザーは撮影地点から眺める方向を360度の範囲内で自由に変更することができる。
続いて、サーバ(100)は前述した3Dツアーの比較表示方法を利用し、比較基準となるツアーの変更された撮影地点に対応するように、比較対象となるツアー(すなわち、他側に表示されるツアー)の地点を併せて変更することができる。また、サーバ(100)は当該地点から眺める画像の方向も同一に変更することができる。
一方、サーバ(100)は、それぞれの分割画面上に第1ツアー及び第2ツアーに含まれる複数の画像撮影地点が表示された平面図を表示することができる。
例えば、分割画面上の第1領域(D1)には、第1ツアーの第1画像に対する第1平面図(GP1)を表示することができる。第1平面図(GP1)上には、画面に表示される第1地点(NP11)に対する位置及び方向を表示することができる。また、第1平面図(GP1)上には第1ツアーに含まれる他の画像撮影地点(AP12、AP13)を表示することができる。
分割画面上に、第2領域(D2)には、第2ツアーの第2画像に対する第2平面図(GP2)を表示することができる。同様に、第2平面図(GP2)上には第2地点(NP21)に対する位置及び方向を表示することができる。また、第2平面図(GP2)上には第2ツアーに含まれる他の画像撮影地点(AP22、AP23)を表示することができる。
このとき、ユーザーが選択した画像地点は、平面図上の周辺の他の地点と比較して、色、模様、及び大きさを異なるように表現することができる。
また、サーバ(100)は、分割画面の一側にメニューバー(SB)を表示する。ユーザーはメニューバー(SB)を利用して複数の3Dツアーのうち比較対象となるツアーを選択して表示することができる。3Dツアーの変更方法は図8を参照して詳しく後述する。
図7では、異なる時間に撮影したそれぞれのツアーに対する画像を、二つに分割された画面にそれぞれ表示することを例に挙げて示した。 ただし、本発明はこれに限定されるものではなく、分割画面は2以上の画面を互いに異なる大きさ及び配置に変更して構成することができる。また、図面に明確に図示してはいないが、分割画面の構成及び大きさはユーザーが変更することができ、サーバ(100)はこれらのインタフェース画面をユーザーのニーズに合わせて変更できるインタフェースを提供することができる。
図8は本発明のいくつかの実施形態に係る3Dツアーの比較インタフェースにおいて、撮影時点を変更する機能を説明するための図面である。
図8を参照すると、サーバ(100)は撮影時点に応じた比較分割画面を提供することができる。 このとき、ユーザーは分割されたそれぞれの画面に表示される複数の3Dツアーを選択することができる。
それぞれの画面の一側には3Dツアーの種類を選択できるボタンが備えられ、ユーザーは当該ボタンを押して、予め保存されている複数の3Dツアーの中から一つを選択することができる。それぞれの3Dツアーは異なる時点で撮影されたもので、ユーザーは比較基準となる時点で撮影されたツアーと、比較対象となる時点で撮影されたツアーを選択し、1つの画面に表示されるようにすることができる。
サーバー(100)は互いに異なる3Dツアーを選択することができる3Dツアー選択メニュー(それぞれSM1、SM2)を含むメニューバー(SB)を画面の一側に表示することができる。
具体的には、分割画面のうち第1領域(D1)下段には、比較基準となるツアーを選択できる第1選択メニュー(SM1)を表示することができる。例えば、ユーザーは、第1選択メニュー(SM1)で第1撮影時点(例えば、2018.03.01)に対する第1ツアー(T1;すなわち、比較基準となるツアー)を選択することができる。そのとき、第1領域(D1)上には、第1ツアーに含まれる画像を表示することができる。また、分割画面の第2領域(D2)下段には比較対象となるツアーを選択できる第2選択メニュー(SM2)を表示することができる。例えば、第2選択メニュー(SM2)から第2又は第3撮影時点(例えば、2019.05.08又は2019.05.09)に対する第2ツアー(T2)または第3ツアー(T3)を選択することができる。
また、3D比較ツアーシステム(100)は、比較対象となるツアーが変更されると、比較基準となるツアーの画像撮影地点及び方向に相互対応する比較対象となるツアーの画像撮影地点を選択して表示することができる。
例えば、第1領域(D1)に第1ツアー(T1)が設定された後、ユーザーが第2領域(D2)に第3ツアー(T3)を選択すると、サーバ(100)は、第1領域(D1)に表示される第1地点の座標値と第3ツアー(T3)に含まれる複数の画像撮影地点の座標値との間の距離を計算する。続いて、第3ツアー(T3)内で計算された距離が最も短い画像撮影地点を第3地点に選定し、第3地点に関する画像を第2領域(D2)に表示することができる。ただし、これは一例に過ぎず、本発明がこれに限られるものではない。
図9は、本発明のいくつかの実施例に係るサーバ(100)で提供する3Dツアーの比較インタフェースの他の例を説明するための図面である。本発明の3Dツアーの比較表示方法は建物工事現場の工事進行程度を把握するのに有用に活用できる。
例えば、図9を参照すると、3Dツアーの比較インタフェースの第1領域(D1)には、工事実施前の建物内部を撮影した画像の第1ツアーを表示し、第2領域(D2)には、工事実施後の様々な時点別の建物内部を撮影した画像の第2ツアーを表示することができる。
分割画面下段には、異なる時点に撮影された複数のツアーのうち、いずれかを選択することができる第1及び第2選択メニュー(SM1,SM2)を含むメニューバー(SB)が配置され、ユーザーは第1及び第2選択メニュー(SM1,SM2)を介して任意の時点に撮影された3Dツアーを自由に選択することができる。
それぞれの3Dツアー上には平面図を表示することができる。第1領域(D1)上には第1ツアーに対する第1平面図(GP1)を表示し、第2領域(D2)上には第2ツアーに対する第2平面図(GP2)を表示することができる。
第1ツアーに対する第1平面図(GP1)上で第1地点(NP31)を選択すると、上記第1平面図(GP1)上には上記第1地点(NP31)の位置及び方向が表示される。このとき、サーバ(100)は、第2ツアー内で同一の平面度に対して上記第1ツアーと上記第2ツアーの基準点を同一に設定することができる。
続いて、上記第1地点(NP31)の座標値と、上記第2ツアーに含まれる複数の画像撮影地点の座標値をそれぞれ計算し、計算された距離が最も短い座標値を第2地点(NP41)に選定することができる。
続いて、サーバ(100)は第1地点(NP31)から眺める方向と、第2地点(NP41)から眺める方向を一致させ、相互対応する画像を画面に同時に表示することができる。また、ユーザーが上記第1地点(NP31)に対して方向転換を行う場合、サーバ(100)は、ユーザーが入力した制御信号に基づいて上記第1地点(NP31)の上記第1方向を変化させることができ、上記第1方向の変化に同期して第2方向も一緒に変化させることができる。これにより、本発明のユーザーは建物の工事の進み具合を容易に確認し、比較することができる。
まとめると、本発明による3Dツアーの比較表示システム及び方法は、互いに異なる視点で撮影した複数の3Dツアーに対して、相互対応する位置及び方向性に対する画像を選定し、画面に同時に表示することにより、複数の3Dツアーに対してそれぞれの対応する画像をユーザーがいちいち探さなければならない不便さを解消することができる。
また、本発明に係る3Dツアーの比較表示システム及び方法は、複数の3Dツアーを同時に表示し、他側に表示される3Dツアーを撮影時点によって選択し比較できるようにする。これにより、本発明は同一空間の時間による変化を容易に把握できるようにし、ユーザーの利便性を向上させることができる。
一方、室内空間の撮影時の撮影経路の追跡と撮影地点を追跡する技術は、様々な産業に有用に使用することができる。建設、インテリア、施設管理、工場などは、GPS情報を受信できない室内空間で主に行われる産業であるという面で、室内空間の位置追跡と撮影を一緒に行うことができれば、有用な空間管理データを獲得することができる。
本発明では室内での位置追跡のためにSLAM(Simultaneous Localization and Mapping)技術を利用して3Dツアーの撮影装置の位置と経路を推定することができる。
また、前述したように、本発明における「3Dツアー」は、複数の地点でそれぞれ360度撮影し、保存された画像(例えば、パノラマ画像)の組み合わせで構成することができる。 このとき、「3Dツアー」は複数の画像が撮影されたそれぞれの位置情報及び方向情報を含むことができる。
ここで、それぞれの位置情報を平面図上にマッピングし、ユーザーに提供することができる。また、3Dツアーの撮影のために移動しながら導出された位置情報及び方向情報は、移動経路を導出するのに利用され、導出された移動経路をユーザーの端末上に表示することができる。
このとき、360度に撮影された画像と上記画像が撮影された位置情報及び方向情報は、以下で後述する本発明の3Dツアーの撮影装置及び方法により獲得することができる。
以下では、図面を参照して、本発明の実施例に係る3Dツアーの撮影装置及びその動作方法について詳しく説明する。
図10は、本発明の他の実施例に係る3Dツアーの撮影システムを概略的に示す図面である。
図10を参照すると、本発明の実施例に係る3Dツアーの撮影システムは、3Dツアーの撮影装置(300)、ユーザー端末(200)、及びサーバ(100)を含むことができる。
本発明の実施例では、ユーザー端末(200)は、携帯電話、スマートフォン及びウェアラブルデバイス(例えば、ウォッチ型端末等)等の固有識別番号を有する移動可能な電子装置を意味することができる。ここで、ユーザー端末(200)のオペレーティングシステム(OS)は、特定オペレーティングシステム(例えば、アイオーエス(ios)又はアンドロイド(Android(登録商標))オペレーティングシステム)に限定されないのはもちろんである。
また、ユーザー端末(200)は、ユーザーの入力を受信する入力部、ビジュアル情報をディスプレイするディスプレイ部、外部と信号を送受信する通信部、及びデータをプロセッシングし、ユーザー端末(200)内部の各ユニットを制御し、ユニット間のデータ送/受信を制御する制御部を含むことができる。以下、ユーザーの命令によって制御部がユーザー端末(200)の内部で行うものは、ユーザー端末(200)が行うものと通称する。
本発明の実施例では、ユーザー端末(200)は、インストールされたアプリケーションを介して3Dツアーの撮影装置(300)から撮影された画像、位置情報及び方向情報を受信することができる。
また、ユーザー端末(200)は3Dツアーの撮影装置(300)から受信された通知を表示することができる。ここで、ユーザー端末(200)は予めインストールされたアプリケーションを介して受信された通知をユーザーに提供することができる。
本発明の実施例では、ユーザー端末(200)は通信部を介して、移動通信のための技術標準又は通信方式によって構築された移動通信網上で3Dツアーの撮像装置(300)及びサーバ(100)のいずれかの無線信号を送受信することができる。本発明の一実施例では、ユーザー端末(200)は3Dツアーの撮影装置(300)にユーザーが入力した信号を送信することができ、ユーザー端末(200)にインストールされたアプリケーションを介して3Dツアーの撮影装置(300)から3Dツアー及び通知を受信することができる。
本発明の実施例では、3Dツアーの撮影装置(300)は特定地点に対する画像を撮影した後、撮影された画像に対する特徴点及び位置情報を収集することができる。続いて、3Dツアーの撮影装置(300)は収集されたデータを利用して3Dツアーを生成することができる。3Dツアーの撮影装置(300)から収集されたデータをユーザー端末(200)及びサーバ(100)に送受信することができる。
3Dツアーの撮影装置(300)は、撮影された画像の特徴点が不足している場合、3Dツアーの撮影装置(300)は、当該装置に備えられた通知部(350)またはユーザー端末(200)を介して、カメラモジュール(310)と位置追跡モジュール(320)との間の位置または角度を調整することを知らせる通知を提供することができる。
本発明の実施例では、サーバ(100)は3Dツアーの撮影装置(300)から受信したデータを管理及び保存することができ、保存されたデータを3Dツアーの撮影装置(300)及びユーザー端末(200)に共有することができる。ここで、サーバ(100)はクライアントに通信網を介して情報やサービスを提供するコンピュータシステムであり、コンピュータ(server program)または装置(device)を意味することができる。
このとき、サーバ(100)は、特定業者や個人によって直接運営乃至管理されたり、又は外部委託されたりすることができ、同一の主体によって運営されることも可能である。また、サーバ(100)で行う機能は、多数のサーバから分離して行うことができるのはもちろんである。
以下では、本発明の実施例に係る3Dツアーの撮影装置及び方法について具体的に述べる。
図11は本発明の実施例に係る3Dツアーの撮影装置を示す図面である。
図11を参照すると、本発明の実施例に係る3Dツアーの撮影装置(300)は、カメラモジュール(310)、位置追跡モジュール(320)、及びチルト部(330)で構成される。
カメラモジュール(310)は360度で周辺を撮影することができる装置である。カメラモジュール(310)は特定地点から特定角度で周辺を撮影した画像を保存することができる。 このとき、撮影された画像は、アラウンドビュー形式(例えば、複数の画像を結合した一つの画像又は特定地点を基準に特定角度以上回転しながら撮影された画像)として保存することができる。このとき、撮影される画像の形式を様々に変形して実施することができる。
本発明の一実施例において、カメラモジュール(310)は前方と後方を撮影できる複数のカメラからなることができる。このとき、複数個のカメラから撮影された複数の画像は、スティッチング(stiching)技術を用いて一つの画像に変換することができる。
具体的には、カメラモジュール(310)はカメラレンズ(CL)を利用して周辺を360度で撮影することができる。カメラモジュール(310)は複数個のカメラレンズ(CL)を含むことができ、複数個のカメラレンズ(CL)を多様な位置及び方向に配置されることで360度撮影に活用することができる。このとき、カメラモジュール(310)は広角レンズ、魚眼レンズなどを利用することができ、多様なレンズ群を360度撮影に利用することができる。
一方、本発明の他の実施例において、図面に明確に図示されていないが、カメラモジュール(310)は、一側のみを撮影できる単一のカメラ部と、基準軸を基準に360度回転する回転部と構成することができる。この場合、カメラモジュール(310)は、特定地点で基準軸を中心に360度回転して周辺を撮影することができる。このとき、カメラモジュール(310)によって連続的に撮影された画像は同様に、スティッチング(sitching)技術を介して連結され、一つの画像に変換することができる。
位置追跡モジュール(320)は、3Dツアーの撮影装置(300)の位置情報及びこの変化を測定する。位置追跡モジュール(320)はSLAM(Simultaneous localization and mapping)技術を利用して空間の地図を作成し、現在位置を推定することができる。
具体的には、SLAMはロボットが未知の環境を歩き回りながら、ロボットに取り付けられているセンサーのみで、外部の助けなしに自分の位置を認識しながら未知の環境に対する地図を作成する技術を意味する。SLAMは複数の物理的な空間の特徴点、またはランドマークを基準に移動ロボットの位置が推定することができる。
このために、位置追跡モジュール(320)はライダー(LiDAR)、カメラ(例えば、RGB、赤外線、紫外線)、超音波センサー、ジャイロセンサー、加速度センサーなどのセンサーを具備することができる。このとき、位置追跡モジュール(320)は複数のセンサーを利用して3Dツアーの撮影装置(300)の位置座標及び位置変化を測定することができる。
位置追跡モジュール(320)は複数のレンズに入る画像から特徴点を抽出して位置の変化を感知することができる。例えば、位置追跡モジュール(320)は、一側に位置する第1レンズ(L1)及び他側に位置する第2レンズ(L2)を介して画像を受信し、受信された複数の画像から特徴点を抽出することができる。続いて、位置追跡モジュール(320)は特徴点の移動方向及び移動速度を抽出することにより、位置変化及び方向変化を判断することができる。このとき、位置追跡モジュール(320)内の複数のレンズは多様な位置及び方向に位置することができる。
チルト部(330)はカメラモジュール(310)を基準に位置追跡モジュール(320)の位置及び方向が調節できるようにする。例えば、チルト部(330)は位置追跡モジュール(320)の位置を上下方向又は左右方向に回転させる構造を具備することができる。すなわち、チルト部(330)を利用して、ユーザーはカメラモジュール(310)を基準に位置追跡モジュール(320)の位置及び角度を調整することができる。
一方、3Dツアーの撮影装置(300)において、画像の特徴点を多く抽出できる方向へ位置追跡モジュール(320)の位置を調整することは、位置情報の誤差を減少させることにおいて最も重要である。
従って、現在撮影されている画像の特徴点が基準値より小さい場合、3Dツアーの撮影装置(300)はユーザーに位置追跡モジュール(320)の位置を変更することを知らせる通知を提供することができる。このような通知は通知部(図4の150)を介して光又は音の形で提供することができる。また、通知はユーザー端末(200)にインストールされたアプリケーションを介してユーザーに提供することができる。
追加的に、チルト部(330)はカメラモジュール(310)と位置追跡モジュール(320)が重なり合うように位置を変更させることができる。すなわち、カメラモジュール(310)と位置追跡モジュール(320)は同じ方向に整列することができる。これにより、3Dツアーの撮影装置(300)に対するユーザーの携帯利便性は向上することができ、ユーザーがカメラ撮影装置と位置追跡装置を別途に所持しなければならない不便さを軽減することができる。
以下では、3Dツアーの撮影装置(300)とデータを送受信する周辺装置について説明する。
図12は、本発明の実施例に係る3Dツアーの撮影装置の構成要素を説明するためのブロック図である。
図12を参照すると、本発明の実施例において、3Dツアーの撮影装置(300)はカメラモジュール(310)と位置追跡モジュール(320)の動作を制御する制御モジュール(340)をさらに含むことができる。
制御モジュール(340)はカメラモジュール(310)及び位置追跡モジュール(320)と有線又は無線で接続され、カメラモジュール(310)で撮影された画像及び位置追跡モジュール(320)で測定した位置情報を受信することができる。
ここで、撮影された画像は特定の地点で360度に撮影されたアラウンドビュー形式の画像であることができる。また、撮影された画像は同一プロジェクト内で撮影された複数の画像であることができ、この場合、制御モジュール(340)は位置追跡モジュール(320)から受信された位置情報をもとに複数の画像を結合して360度を全て表す一つの画像として作成することができる。
このとき、制御モジュール(340)から受信する位置情報は、特定座標系の座標値と、当該座標値の時間情報を含むことができる。すなわち、位置情報は時間に応じた座標値の動きを把握できる位置の変化情報を一緒に含むことができる。
また、制御モジュール(340)は無線通信モジュールを含むことができる。上記無線通信モジュールを用いて、制御モジュール(340)はユーザー端末(200)及びサーバ(100)と無線でデータの送受信することができる。
例えば、3Dツアーの撮影装置(300)は、ワイファイモジュール又はブルートゥース(登録商標)モジュールのような無線通信モジュールを利用して無線通信を行うことができる。そのとき、通信干渉を最小化するため、3Dツアーの撮影装置(300)とユーザー端末(200)との間の通信規約(例えば、ブルートゥース)と、3Dツアーの撮影装置(300)とサーバ(100)との間の通信規約(例えば、ワイファイ)は互いに異なることがある。
一方、ユーザーはユーザー端末(200)を介して3Dツアーの撮影装置(300)の動作を制御することができる。
例えば、ユーザー端末(200)に予めインストールされたアプリケーションで提供するインタフェースを介して、ユーザーは3Dツアーの撮影装置(300)のカメラモジュール(310)の動作を制御することができる。すなわち、ユーザーはユーザー端末(200)のアプリケーションを介してカメラモジュール(310)を遠隔制御し、撮影命令に介してそれぞれの撮影地点に対する360度の画像を獲得することができる。
また、3Dツアーの撮影装置(300)は、カメラモジュール(310)が撮影動作を行う間、位置追跡モジュール(320)を利用して位置情報を獲得することができる。
このとき、位置追跡モジュール(320)で撮影する画像の特徴点が基準値より低い場合、制御モジュール(340)は位置追跡モジュール(320)の角度及び位置を調整することを知らせる通知を通知部(350)又はユーザー端末(200)に提供することができる。
ユーザーは、ユーザー端末(200)に表示された通知をもとに位置追跡モジュール(320)の位置を変化させることができる。このとき、ユーザーは3Dツアーの撮影装置(300)のチルト部(330)を利用して位置追跡モジュール(320)の撮影位置及び方向を調整することができる。
また、チルト部(330)は、前述したように位置追跡モジュール(320)の撮影方向を上下左右に自由に変更でき、撮影角度を調節できる関節構造で構成することができる。このとき、チルト部(330)は位置追跡モジュール(320)の撮影方向を変更できる多様な構造を採択することができる。
続いて、制御モジュール(340)は位置追跡モジュール(320)の変化される位置によって、位置追跡モジュール(320)で撮影する画像の特徴点が基準値より高くなる場合、それに対する通知(例えば、位置設定完了の通知など)を追加して通知部(350)又はユーザー端末(200)に提供することができる。これにより、ユーザーは画像撮影に対するより正確な位置情報を獲得することができる。
サーバ(100)は3Dツアーの撮影装置(300)で撮影された360度の画像と位置情報を受信し、受信された複数の画像と位置情報をもとに3Dツアーを生成することができる。生成された3Dツアーはサーバ(100)の記憶域に保存管理され、保存された3Dツアーは必要に応じて3Dツアーの撮影装置(300)又はユーザー端末(200)に共有され、利用することができる。
以下では、本発明の実施例に係る3Dツアーの撮影装置の具体的な一例について詳しく説明する。
図13は、本発明の実施例に係る3Dツアーの撮影装置の構成要素の一例を説明するためのブロック図である。
図13を参照すると、3Dツアーの撮影装置(300)はカメラモジュール(310)、位置追跡モジュール(320)、チルト部(330)、制御モジュール(340)、通知部(350)及び通信部(360)を含むことができる。
まず、カメラモジュール(310)は複数個のカメラ部(311)を含むことができる。 このとき、カメラ部(311)は、様々な位置及び方向に位置する複数個のカメラを介して、互いに異なる位置及び方向の画像を撮影することができる。
また、カメラモジュール(310)は単一のカメラ部(311)と回転部(313)からなることができる。このとき、回転部(313)は、3Dツアーの撮影装置(300)の基準軸を中心にカメラ部(311)を回転させることにより、カメラ部(311)が360度の画像を撮影できるようにする。
位置追跡モジュール(320)はセンサー部(321)及び変化測定部(323)からなることができる。センサー部(321)は互いに離隔した複数のセンサーを含むことができ、センサーは様々な画像、位置情報及び方向情報を測定することができる。
ここで、センサー部(321)に備えられたセンサーには、ライダー(LiDAR)センサー、RGBセンサー、赤外線センサー、紫外線センサー、超音波センサー、ジャイロセンサー、加速度センサーなどが含まれる。
例えば、ジャイロセンサーは、回転する物体の角速度、すなわち、回転する物体の角度が1 秒ごとにどれくらい変わったかを測定することができるセンサーである。 ユーザーが3Dツアーの撮影装置(300)で撮影する場合、撮影された画像はジャイロセンサーによって回転角度に対する情報を含むことができる。3Dツアーの撮影装置(300)は、撮影された画像内の回転角度情報をもとに3Dツアーを作成することができる。
変化測定部(323)はセンサー部(321)で測定されたデータを受信することができる。変化測定部(323)は受信したデータを分析し、カメラモジュール(310)の位置変化又は方向変化を測定することができる。
制御モジュール(340)はカメラモジュール(310)及び位置追跡モジュール(320)からアラウンドビュー画像及び位置情報を受信することができる。上記位置情報には、カメラモジュール(310)の位置変化又は方向変化を含むことができる。
続いて、制御モジュール(340)は位置追跡モジュール(320)から受信した位置変化及び方向変化などのデータと現在の位置情報をもとにカメラモジュール(310)の移動経路を導出することができる。
また、制御モジュール(340)は受信したアラウンドビュー画像とカメラモジュール(310)の移動経路、画像の撮影位置情報及びデータをもとに、3Dツアーを作成することができる。
一方、制御モジュール(340)は位置追跡モジュール(320)で感知される画像の特徴点が基準値より小さい場合や、位置変化及び方向変化が感知されない場合に、ユーザーに通知を提供することができる。
このとき、通知は通知部(350)あるいはユーザー端末にインストールされたアプリケーションを介して、カメラモジュール(310)と位置追跡モジュール(320)の位置または角度を調整することを知らせる通知を含むことができる。通知は光または音の形で表示されたり、別途のメッセージを介して提供したりすることができる。
続いて、通知をもとにユーザーが位置追跡モジュール(320)の位置を変更した場合、制御モジュール(340)は位置追跡モジュール(320)で認識される画像の特徴点が基準値より高くなったか否かを判断することができる。
もし、特徴点が基準値より高くなった場合、制御モジュール(340)は通知部(350)またはユーザー端末(200)にインストールされたアプリケーションを介して位置変化認識がきちんと行われているという通知を表示することができる。
本発明の一実施例では、チルト部(330)は角度調節部(331)を含み、カメラモジュール(310)と位置追跡モジュール(320)の間に位置することができる。このとき、角度調節部(331)は小型モーター、油圧式構造などで構成することができる。
また、角度調節部(331)は制御モジュール(340)から受信した制御信号をもとに動作を制御することがある。もし、位置追跡モジュール(320)で撮影した画像の特徴点が基準より低い場合、制御モジュール(340)はチルト部(330)に位置追跡モジュール(320)の位置及び角度の調整を要請する制御信号を送信することができる。上記制御信号をもとに角度調節部(331)は位置追跡モジュール(320)の位置及び方向を変更することができる。
続いて、変更された位置で位置追跡モジュール(320)が撮影した画像の特徴点が基準点より高くなる場合、制御モジュール(340)は角度調節部(331)の動作を中止させる制御信号を送信することができる。
通知部(350)は位置追跡モジュール(320)の位置を変更することを知らせる通知をユーザーに提供することができる。通知部(350)は発光装置又は音発生装置を具備することができ、光又は音響を利用してユーザーに当該通知を提供することができる。
通信部(360)は無線通信プロトコルを利用する通信モジュール(例えば、ワイファイまたはブルートゥース)を介して、ユーザー端末(200)とデータを送受信することができる。また、通信部(360)は制御モジュール(340)から受信した制御信号及び通知等をユーザー端末(200)に送信することができる。
図14は本発明の実施例に係る3Dツアーの撮影装置の動作方法を説明するための流れ図である。図15 は本発明の実施例に係る3Dツアーの撮影装置の通知提供アルゴリズムを説明するための流れ図である。
図14を参照すると、3Dツアーの撮影装置(300)は、ユーザー端末(200)から空間撮影要請を受信する(S210)。このとき、ユーザーはユーザー端末(200)に予めインストールされたアプリケーションを利用して、3Dツアーの撮影装置(300)が空間撮影を行うことを命令することができる。
続いて、3Dツアーの撮影装置(300)はカメラモジュール(310)と位置追跡モジュール(320)を初期化する(S220)。これにより、3Dツアーの撮影装置(300)は空間撮影及び位置トラッキングを準備することができる。
続いて、3Dツアーの撮影装置(300)は位置追跡モジュール(320)から受信されるデータをもとに現在の位置情報及び移動経路を導出する(S230)。
具体的に、図15を参照すると、3Dツアーの撮影装置(300)は、3Dツアーの撮影装置(300)の位置追跡モジュール(320)に介して位置変化又は方向変化が感知されたか否かを判断する(S231)。このとき、位置追跡モジュール(320)は超音波センサー、ジャイロセンサー、加速度センサー等を利用して3Dツアーの撮影装置(300)の位置変化及び方向変化等を測定することができる。
続いて、3Dツアーの撮影装置(300)の位置変化又は方向変化が感知される場合、3Dツアーの撮影装置(300)は位置追跡モジュール(320)で感知された特徴点の数が基準値より小さいか否かを判断する(S233)。
もし、位置追跡モジュール(320)において、位置変化又は方向変化が感知されないか、又は感知された特徴点の数が基準値より小さい場合、3Dツアーの撮影装置(300)は通知部(350)を活性化させる(S235)。
このとき、制御モジュール(340)は通知部(350)に制御信号を発信することにより、位置追跡モジュール(320)の位置及び角度を調整することをユーザーに知らせることができる。また、ユーザー端末(200)にインストールされたアプリケーションを介して、位置追跡モジュール(320)の位置及び角度を調整することをユーザーに知らせることができる。ユーザーは、表示された通知を認識し、カメラモジュール(310)と位置追跡モジュール(320)との間の位置または角度を変化させる(S237)。
続いて、位置追跡モジュール(320)の位置及び角度が再設定されると、3Dツアーの撮影装置(300)はS231段階乃至S237段階を繰り返し実行する。
一方、位置追跡モジュール(320)で位置変化又は方向変化が感知され、感知された特徴点の数が基準値より高い場合、3Dツアーの撮影装置(300)内の通知部(350)は非活性化になる(S236)。
続いて、再び図5を参照すると、3Dツアーの撮影装置(300)は、カメラモジュール(310)から受信された撮影画像を導出された移動経路にマッピングする(S240)。すなわち、3Dツアーの撮影装置(300)の移動経路の中で画像が撮影された位置を表示し、撮影された画像を当該位置と連結させる。
続いて、3Dツアーの撮像装置(300)は、抽出された移動経路と、それに対応する画像をユーザー端末(200)に提供する。すなわち、3Dツアーの撮影装置(300)から受信された移動経路を平面図の形でユーザー端末(200)の画面に表示することができる。ユーザーは移動経路の中から画像が撮影された位置を選択することができ、この場合、ユーザー端末機(200)は当該位置に対する3D画像を表示することができる。
続いて、3Dツアーの撮影装置(300)は、撮影完了後カメラモジュール(310)及び位置追跡モジュール(320)から測定及び導出されたデータをもとに、3Dツアーを作成し、サーバ(100)(すなわち、クラウドサーバ)及びユーザー端末と共有する(S250)。
以下では、本発明の実施例に係る3Dツアー撮影過程から導出される移動経路及び3Dツアー撮影のインタフェースの一例を説明する。
図16及び図17は、本発明の実施例に係る3Dツアーの撮影装置から導出される移動経路及び撮影インタフェースを説明するための図面である。
図16を参照すると、図16は空間撮影地点と撮影過程において、3Dツアーの撮影装置(300)の移動経路(MP)及び現在位置(CP)を示す。
3Dツアーの撮影装置(300)は、初めて撮影された空間撮影地点を始点(SP)で設定することができる。
続いて、3Dツアーの撮影装置(300)は、位置追跡モジュール(320)で測定された位置変化及び方向変化により移動経路を導出し、導出された移動経路上の2番目の空間撮影地点(P2)、3番目の空間撮影地点(P3)、4番目の空間撮影地点(P4)で撮影されたアラウンドビュー画像を対応する移動経路(MP)上にマッピングすることができる。
このとき、3Dツアーの撮影装置(300)はSLAM技術を利用し、GPS信号なしでも3Dツアーの撮影装置(300)の位置変化及び現在位置座標を導出し、これをもとに正確な移動経路(MP)を導出することができる。
図17を参照すると、本発明の3Dツアーの撮影装置(300)に含まれる位置追跡モジュール(320)は、撮影される画面に含まれるそれぞれの特徴点等を導出する。
具体的には、3Dツアーの撮影装置(300)は画面の一側には移動経路(MP)が表示される平面図(GP)を表示し、画面の他側にはリアルタイムで撮影される画像を動画形式で表示することができる。
例えば、分割された画面の第1領域(D1)には平面図(GP)を表示し、第2領域(D2)には撮影される動画の画面(TP)を表示することができる。平面図(GP)上にはアラウンドビュー画像が撮影された地点を表示することができる。
位置追跡モジュール(320)はアラウンドビュー画像が撮影された位置を抽出して、平面図(GP)上に第1撮影地点(P1)、第2撮影地点(P2)と表し、現在の位置を示す現在撮影地点(CP)を表すことができる。
ユーザーは撮影ボタン(B1)をクリックして、アラウンドビュー画像の撮影を開始することができ、撮影中に撮影ボタン(B1)を再クリックすることで撮影を中止するか、または終了することができる。
撮影される画像内には、複数の特徴点(SP)が分布され、位置追跡モジュール(320)は分布された特徴点(SP)から位置変化または方向変化を抽出し、現在位置情報を利用して3Dツアーの撮影装置(300)の移動経路(MP)を計算することができる。
具体的に、位置追跡モジュール(320)は導出された特徴点の移動速度及び移動変位を抽出する。続いて、位置追跡モジュール(320)は抽出された特徴点の移動速度及び移動変位をもとに3Dツアーの撮影装置(300)の移動された位置に対する現在位置情報を計算することができる。続いて、制御モジュール(340)は位置追跡モジュール(320)で感知されるデータと現在の位置情報を利用して3Dツアーの撮影装置(300)の移動経路(MP)を計算することができる。
このとき、位置追跡モジュール(320)で撮影する画像の特徴点が基準値より小さい場合、制御モジュール(340)は位置追跡モジュール(320)の角度及び位置を調整することを知らせる通知をユーザー端末(200)に提供することができる。
ユーザーは、ユーザー端末(200)に表示された通知をもとに、位置追跡モジュール(320)の位置を変化させることができる。このとき、使用者は3Dツアーの撮影装置(300)のチルト部(330)を利用して位置追跡モジュール(320)の撮影方向を調整することができる。
続いて、制御モジュール(340)は位置追跡モジュール(320)の変化する位置によって、位置追跡モジュール(320)で撮影する画像の特徴点が基準値より高くなる場合、これに対する通知を追加にユーザー端末(200)に提供することができる。 これにより、ユーザーは画像撮影に対するより正確な位置情報を獲得することができる。
まとめると、本発明に係る3Dツアーの撮影装置(300)及び方法は、360度の画像撮影と室内空間の位置追跡を同時に行うことで、測定データの誤差を減少させ、3Dツアーの撮影利便性を向上させることができる。
また、本発明に係る3Dツアーの撮影装置(300)は、360度の画像撮影モジュールと位置追跡モジュールの撮影角度を変更することができるチルト部を利用して、位置測定の正確度を向上させることができ、カメラモジュールと位置追跡モジュールを重ねて保管することができるため、3Dツアーの撮影装置(300)の携帯性を向上させることができる。
また、本発明による3Dツアーの撮影装置(300)及び方法は、位置追跡モジュールで撮影されたデータの特徴点が不足して位置測定に誤差が発生する場合、これに対する通知を提供して位置追跡モジュールの位置を変更するようにすることで、3Dツアー製作時に繰り返される撮影回数を減少させ、3Dツアーのデータ信頼性を向上させることができる。
以上のように、本発明は限られた実施例と図面によって説明されているが、本発明は上記の実施例に限定されるものではなく、これは本発明の属する分野において通常の知識を有する者であれば、このような記載から様々な修正や変形が可能である。 したがって、本発明の思想は、以下に記載された特許請求の範囲によってのみ把握されるべきであり、これの均等又は等価的変形全ては本発明の思想の範疇に属すると言えるだろう。
1000 比較表示システム
110 プロセッサ
120 メモリ

Claims (10)

  1. 互いに異なる第1及び第2ツアーに対するそれぞれの基準点を設定し、前記第1及び第2ツアーにそれぞれ含まれる複数の画像撮影地点に対する座標値を設定する段階と、
    前記第1ツアーにおいて、前記第1ツアーに含まれる複数の画像撮影地点のうちのいずれかの第1地点を設定する段階と、
    前記第2ツアーにおいて、前記第2ツアーに含まれる複数の画像撮影地点のうち前記第1地点の座標値と最も近くに位置する第2地点を選定する段階と、及び
    分割された画面の一側に前記第1地点に関する画像を表示し、前記分割された画面の他側に前記第2地点に関する画像を表示する段階を含む3Dツアーの比較表示方法。
  2. 前記第1地点で撮影され前記画面の一側に表示される画像の第1方向と、前記第2地点で撮影され前記画面の他側に表示される画像の第2方向を同一に設定する段階をさらに含む、
    請求項1に記載の3Dツアーの比較表示方法。
  3. ユーザーから前記第1地点に対する方向転換の制御信号の入力を受ける段階と、
    前記制御信号をもとに、前記第1地点の前記第1方向を変化させ、前記第1方向の変化に同期して前記第2地点の前記第2方向を変化させる段階をさらに含む、
    請求項2に記載の3Dツアーの比較表示方法。
  4. 前記第1ツアーの第1基準点と前記第2ツアーの第2基準点は、特定空間の基準位置に同一に設定される、
    請求項1に記載の3Dツアーの比較表示方法。
  5. 前記第2地点を選定する段階は、
    前記第2ツアーに含まれる複数の画像撮影地点の座標値と前記第1地点の座標値との間の距離をそれぞれ計算し、計算された距離が最も短い画像撮影地点を前記第2地点に選定することを含む、
    請求項1に記載の3Dツアーの比較表示方法。
  6. 前記分割された画面は、二つ以上の画面に分割され、
    前記第1及び第2ツアーに含まれる複数の画像撮影地点が表示された平面図を、それぞれの前記分割された画面上に表示する段階をさらに含む、
    請求項1に記載の3Dツアーの比較表示方法。
  7. 前記画像を表示する段階は、
    前記第1地点に関する画像上に、前記第1地点に隣接する他地点の位置を示すアイコンをオーバーラップさせて表示し、
    前記第2地点に関する画像上に、前記第2地点と隣接する他地点の位置を示すアイコンをオーバーラップさせて表示することを含む、
    請求項1に記載の3Dツアーの比較表示方法。
  8. ユーザーから前記第2ツアーと異なる第3ツアーに対する選択を受信する段階と、
    前記第3ツアーにおいて、前記第3ツアーに含まれる複数の画像撮影地点のうち前記第1地点の座標値に最も近い第3地点を選定する段階と、
    分割された画面の一側に前記第1地点に関する画像を表示し、前記分割された画面の他側に前記第3地点に関する画像を表示する段階をさらに含む、
    請求項1に記載の3Dツアーの比較表示方法。
  9. プロセッサと、及び
    前記プロセッサによって実行されるプログラムが格納されているメモリを含み、
    前記プログラムは、
    互いに異なる第1及び第2ツアーに対するそれぞれの基準点を設定し、前記第1及び第2のツアーに含まれている複数の画像の撮影地点に対するそれぞれの座標値を設定するオペレーションと、
    前記第1ツアーにおいて、前記第1ツアーに含まれる複数の画像の撮影地点のいずれかの第1地点を設定するオペレーションと、
    前記第2ツアーにおいて、前記第2ツアーに含まれる複数の画像の撮影地点のうち、前記第1地点の座標値に最も近い第2地点を選定するオペレーションと、分割された画面の一側に前記第1地点に関する画像を表示し、前記分割された画面の他側に前記第2地点に関する画像を表示するオペレーションを含む、
    3Dツアーの比較表示システム。
  10. 前記プログラムは、
    前記第1地点で撮影され、前記一側に表示される画像の第1方向と、前記第2地点で撮影され、前記他側に表示される画像の第2方向を同一に設定するオペレーションをさらに含む、
    請求項9に記載の3Dツアーの比較表示システム。
JP2020181719A 2019-09-03 2020-10-29 3dツアーの比較表示システム及び方法 Active JP7078231B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022077673A JP7379785B2 (ja) 2019-09-03 2022-05-10 3dツアーの比較表示システム及び方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20190108822 2019-09-03
KR1020190135428A KR102196683B1 (ko) 2019-09-03 2019-10-29 3d 투어 촬영 장치 및 방법
KR10-2019-0135807 2019-10-29
KR1020190135807A KR102512560B1 (ko) 2019-09-03 2019-10-29 3d 투어 비교 표시 시스템 및 방법
KR10-2019-0135428 2019-10-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022077673A Division JP7379785B2 (ja) 2019-09-03 2022-05-10 3dツアーの比較表示システム及び方法

Publications (2)

Publication Number Publication Date
JP2021072627A true JP2021072627A (ja) 2021-05-06
JP7078231B2 JP7078231B2 (ja) 2022-05-31

Family

ID=75143350

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020181719A Active JP7078231B2 (ja) 2019-09-03 2020-10-29 3dツアーの比較表示システム及び方法
JP2022077673A Active JP7379785B2 (ja) 2019-09-03 2022-05-10 3dツアーの比較表示システム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022077673A Active JP7379785B2 (ja) 2019-09-03 2022-05-10 3dツアーの比較表示システム及び方法

Country Status (3)

Country Link
US (3) US11451720B2 (ja)
JP (2) JP7078231B2 (ja)
KR (2) KR102512560B1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022057800A (ja) * 2020-09-30 2022-04-11 株式会社リコー 画像通信システム、通信管理装置、通信管理方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012169723A (ja) * 2011-02-10 2012-09-06 Panasonic Corp 表示装置及びコンピュータプログラム
JP2018041259A (ja) * 2016-09-07 2018-03-15 株式会社ユピテル システム
WO2018220856A1 (ja) * 2017-06-02 2018-12-06 秀敏 櫻井 ストリートビューワーシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101782057B1 (ko) 2010-05-03 2017-09-26 삼성전자주식회사 지도 생성 장치 및 방법
KR101462174B1 (ko) * 2013-01-29 2014-11-20 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
DE102016200872A1 (de) 2016-01-22 2017-07-27 BSH Hausgeräte GmbH Gerät zur Herstellung eines Nahrungsmittels
JP2018013562A (ja) * 2016-07-20 2018-01-25 株式会社サイバーウォーカー 仮想現実システムに於ける外部制御手段
KR101952131B1 (ko) * 2017-09-05 2019-02-26 ㈜브이리얼 가상현실 컨텐츠 제작방법 및 프로그램
KR20190034130A (ko) 2017-09-22 2019-04-01 에스케이텔레콤 주식회사 지도 생성 장치 및 방법
KR102559011B1 (ko) * 2017-12-06 2023-07-24 주식회사 케이티 가상 현실 체험 서비스를 제공하는 방법, 단말 및 서버
US10937247B1 (en) * 2019-03-11 2021-03-02 Amazon Technologies, Inc. Three-dimensional room model generation using ring paths and photogrammetry

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012169723A (ja) * 2011-02-10 2012-09-06 Panasonic Corp 表示装置及びコンピュータプログラム
JP2018041259A (ja) * 2016-09-07 2018-03-15 株式会社ユピテル システム
WO2018220856A1 (ja) * 2017-06-02 2018-12-06 秀敏 櫻井 ストリートビューワーシステム

Also Published As

Publication number Publication date
US20210127073A1 (en) 2021-04-29
US11758081B2 (en) 2023-09-12
US11832016B2 (en) 2023-11-28
KR20210028037A (ko) 2021-03-11
JP7379785B2 (ja) 2023-11-15
US20220060640A1 (en) 2022-02-24
JP7078231B2 (ja) 2022-05-31
JP2022105568A (ja) 2022-07-14
KR102512560B1 (ko) 2023-03-22
US20210392277A1 (en) 2021-12-16
KR20230041678A (ko) 2023-03-24
US11451720B2 (en) 2022-09-20
KR102588858B1 (ko) 2023-10-16

Similar Documents

Publication Publication Date Title
US9479703B2 (en) Automatic object viewing methods and apparatus
US10924691B2 (en) Control device of movable type imaging device and control method of movable type imaging device
US11991477B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
JP2022501684A (ja) 撮影に基づく3dモデリングシステムおよび方法、自動3dモデリング装置および方法
JP2020149635A (ja) 撮像装置、画像通信システム、画像処理方法、プログラム
US20220070412A1 (en) Communication terminal, image communication system, method of displaying image, and recording medium
US11736802B2 (en) Communication management apparatus, image communication system, communication management method, and recording medium
US20220103763A1 (en) Communication management apparatus, image communication system, communication management method, and recording medium
JP2019211337A (ja) 情報処理装置、システム、情報処理方法及びプログラム
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
JP7379785B2 (ja) 3dツアーの比較表示システム及び方法
KR20100121086A (ko) 음원인식을 이용한 촬영영상 추적 ptz 카메라 운용시스템 및 그 방법
KR20140121345A (ko) 감시카메라 유닛 및 그 구동방법
JP2016194784A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
KR102196683B1 (ko) 3d 투어 촬영 장치 및 방법
JP7439398B2 (ja) 情報処理装置、プログラム及び情報処理システム
JP2021077127A (ja) アイウェア装置を用いた管理システムおよび管理方法
JP2012244311A (ja) カメラ遠隔制御装置およびカメラ遠隔制御方法
WO2019037517A1 (zh) 一种用于处理任务区域的任务的移动电子设备以及方法
JP2019139697A (ja) 表示装置、映像表示システム、及び映像表示方法
TWI814624B (zh) 環景影像的地標識別標註系統及其方法
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
JP2022186117A (ja) 通信端末、画像通信システム、画像表示方法およびプログラム
TW202143115A (zh) 基於光標籤的自動追蹤拍攝系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220510

R150 Certificate of patent or registration of utility model

Ref document number: 7078231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150