JP2020009447A - 拡張現実方法及び装置 - Google Patents

拡張現実方法及び装置 Download PDF

Info

Publication number
JP2020009447A
JP2020009447A JP2019126867A JP2019126867A JP2020009447A JP 2020009447 A JP2020009447 A JP 2020009447A JP 2019126867 A JP2019126867 A JP 2019126867A JP 2019126867 A JP2019126867 A JP 2019126867A JP 2020009447 A JP2020009447 A JP 2020009447A
Authority
JP
Japan
Prior art keywords
building
closest
target
buildings
annotation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019126867A
Other languages
English (en)
Other versions
JP6768123B2 (ja
Inventor
ジアン、ジーレイ
Zhilei Jiang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2020009447A publication Critical patent/JP2020009447A/ja
Application granted granted Critical
Publication of JP6768123B2 publication Critical patent/JP6768123B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Abstract

【課題】拡張現実方法及び装置を提供する。【解決手段】拡張現実方法は、予め設定された選択条件を満たす複数の建物の、三次元空間における建物の輪郭を記述するための輪郭データを取得するステップと、複数の建物のそれぞれの投影線分に基づいて、参照情報を生成するステップと、参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定するステップと、対象建物のアノテーション情報を重畳領域に重畳して、拡張現実画像を得るステップとを備える。【選択図】図2

Description

本発明は、コンピュータ分野に関し、具体的には拡張現実分野、特に拡張現実方法及び装置に関する。
現在、いくつかのナビゲーションアプリケーションにおいて、ユーザが撮影した建物の一部にアノテーション情報を表示する機能を提供している。従来の表示方法は、アノテーション情報を建物上の重畳位置に予め手動で設定し、アノテーション情報の建物における重畳位置がユーザの端末のカメラの画角範囲内に位置していなければ、アノテーション情報を表示できない。例えば、よく現われた、ユーザの位置で大型の建物の一部しか撮影できなくて、予め設定された重畳位置が撮影された部分に含まれていない場合に、アノテーション情報をユーザに表示することができないとともに、予め設定された複数の建物のアノテーション情報が重なってしまい、アノテーション情報を明確に表示できない課題が存在している。
本発明の実施例は、拡張現実方法及び装置を提供している。
第1態様において、本発明の実施例は、拡張現実方法を提供し、該方法は、予め設定された選択条件を満たす複数の建物の、三次元空間における建物の輪郭を記述するための輪郭データを取得するステップと、複数の建物のそれぞれの投影線分に基づいて、参照情報を生成するステップであって、建物の投影線分が建物の三次元空間における輪郭をユーザの端末の画面の位置する平面にマッピングすることによって得られ、参照情報は、水平方向において複数の建物のそれぞれに遮蔽が存在するか否か及び遮蔽が存在する場合の遮蔽状況を記述するために用いられるステップと、参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定するステップと、対象建物のアノテーション情報を、決定された重畳領域に重畳して、拡張現実画像を得るステップとを備える。
第2態様において、本発明の実施例は、拡張現実装置を提供し、該装置は、予め設定された選択条件を満たす複数の建物の、三次元空間における建物の輪郭を記述するための輪郭データを取得するように配置される取得ユニットと、複数の建物のそれぞれの投影線分に基づいて、参照情報を生成するように配置される生成ユニットであって、建物の投影線分が建物の三次元空間における輪郭をユーザの端末の画面の位置する平面にマッピングすることによって得られ、参照情報は、水平方向において複数の建物のそれぞれに遮蔽が存在するか否か及び遮蔽が存在する場合の遮蔽状況を記述するために用いられる生成ユニットと、参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定するように配置される決定ユニットと、対象建物のアノテーション情報を、決定された重畳領域に重畳して、拡張現実画像を得るように配置される表示ユニットとを備える。
本発明の実施例に係る拡張現実方法及び装置は、予め設定された選択条件を満たす複数の建物の、三次元空間における建物の輪郭を記述するための輪郭データを取得するステップと、複数の建物のそれぞれの投影線分に基づいて、参照情報を生成するステップであって、建物の投影線分が建物の三次元空間における輪郭をユーザの端末の画面の位置する平面にマッピングすることによって得られ、参照情報は、水平方向において複数の建物のそれぞれに遮蔽が存在するか否か及び遮蔽が存在する場合の遮蔽状況を記述するために用いられるステップと、参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定し、対象建物のアノテーション情報を、決定された重畳領域に重畳して、拡張現実画像を得るステップとによって、ユーザの端末のカメラによって様々な画角から建物又は建物の一部のみが撮影された場合にしても、建物のアノテーション情報を、撮影された画像に表示して拡張現実を達成することができ、しかも複数の建物のアノテーション情報が重ならずに明確に表示できるようになった。
本発明の他の特徴、目的及び利点は、以下の図面を参照してなされる非限定的な実施例に係る詳細な説明を読むことにより、より明らかになるであろう。
本発明の実施例を実現するために適用される例示的なシステムアーキテクチャを示す図である。
本発明に係る拡張現実方法の一実施例を示すフローチャートである。
本発明に係る拡張現実装置の一実施例を示す構造概略図である。
本発明の実施例を実施するための端末に適用されるコンピュータシステムを示す構造概略図である。
以下、添付図面及び実施例を参照しながら、本発明をより詳細に説明する。ここで説明する具体的な実施例は、関連する発明を説明するためのものに過ぎず、当該発明を限定するものではないことを理解されたい。また、説明の便宜上、図面には発明に関連する部分のみが示されていることに留意されたい。
なお、本発明の実施例及び実施例における特徴は、矛盾を生じない限り、相互に組み合わせることができる。以下、添付図面及び実施例を参照しながら、本発明を詳細に説明する。
本発明の実施例を実現するために適用される例示的システムアーキテクチャを示す図1を参照する。
図1に示すように、システムアーキテクチャは端末101、ネットワーク102及びサーバ103を備える。ネットワーク102は有線通信網又は無線通信網であってもよい。
サーバ103は電子地図サービスを提供するサーバであってもよい。サーバ103には複数の建物の輪郭データが予め対応して格納されている。建物の輪郭データが建物の地平面における輪郭データであってもよい。端末101はサーバ103から端末101のユーザ近傍の複数の建物の輪郭データを取得することができる。
本発明に係る拡張現実方法の一実施例のフローチャートを示す図2を参照する。本発明の実施例に係る拡張現実方法は、端末(例えば、図1における端末101)により実行されてもよい。該方法は次のステップを備える。
ステップ201において、予め設定された選択条件を満たす複数の建物の輪郭データを取得する。
本実施例において、建物はオフィスビル、ショッピングモール、住宅などであってもよい。ユーザの端末におけるカメラがオンにされて、ユーザがユーザの端末のカメラで取り込まれた画像においていくつかの建物のアノテーション情報が拡張表示される機能を使用する場合に、まず選択条件が予め設定された複数の建物の輪郭データを取得することができる。予め設定された選択条件は、少なくとも一部がユーザの端末のカメラの画角範囲内に位置するとともに、ユーザからの距離が近い順で順序付けした後、その順序が予め設定された順序よりも小さい大型建物を含んでもよい。言い換えれば、少なくとも一部がユーザの端末のカメラの画角範囲内に位置するユーザからの距離が最も近い複数の大型建物の輪郭データを取得する。複数の建物のそれぞれはいずれも少なくとも一部がユーザの端末のカメラで取り込まれた画像内に位置する。
ユーザの端末はユーザの位置及びユーザの端末のカメラの撮影角度を、電子地図サービスを提供するサーバに送信することができ、電子地図サービスを提供するサーバには、大量の建物の輪郭データ、大量の建物の電子地図における輪郭が予め格納されている。電子地図サービスを提供するサーバは、ユーザの位置及びユーザの端末のカメラの撮影角度に基づいて、少なくとも一部がユーザの端末のカメラの画角範囲内に位置するとともに、ユーザからの距離が近い順で順序付けした後にその順序が予め設定された順序よりも小さい大型建物を検索し、さらに検索された大型建物の輪郭データを取得することができる。建物の輪郭データが建物の三次元空間における地平面上の輪郭を記述する。
本実施例において、建物のアノテーション情報は、吹き出しと、吹き出し内にある建物の名称、建物とユーザの距離を含んでもよい。吹き出しの形状が矩形、気泡形状などであってもよい。
ステップ202において、複数の建物のそれぞれの投影線分に基づいて、参照情報を生成する。
本実施例において、予め設定された選択条件を満たす複数の建物の輪郭データを取得した後に、複数の建物の三次元空間における輪郭を決定することができる。まず、複数の建物のそれぞれに対して、建物毎の三次元空間における輪郭をユーザの端末の画面の位置する平面にそれぞれマッピングして、建物毎に対応する線分をそれぞれ得ることができる。建物毎に対応する線分の長さが三次元空間における実長であり、建物毎のユーザの端末の画面における投影線分をそれぞれ得るために、その実長をユーザの端末の画面における長さに変換する必要がある。言い換えれば、建物の三次元空間における輪郭をユーザの端末の画面にマッピングして、建物毎の投影線分を得ることに相当する。
本実施例において、建物の三次元空間における輪郭をユーザの端末の画面にマッピングする場合に、建物の三次元空間における輪郭上の三次元点のワールド座標系における三次元座標を、ユーザの端末の画面に対応する二次元座標系における二次元座標に変換することにより、建物の三次元空間における輪郭上の三次元点の、ユーザの端末の画面に対応する二次元点を決定し、全ての三次元点に対応する二次元点がいずれも同一水平線上に位置し、水平方向においてユーザの端末の画面の両端から最も近い二次元点をそれぞれ投影線分の一端の端点とし、さらに建物の投影線分を構成する。
例えば、建物の三次元空間における輪郭をユーザの端末の画面にマッピングする場合に、OpenGL(オープンジーエル、Open Graphics Library)によって提供されるMVP(Model View Projection)投影アルゴリズムを用いて、建物の三次元空間における輪郭上の三次元点のワールド座標系における三次元座標を、ユーザの端末の画面に対応する二次元座標系における二次元座標に変換することにより、さらに建物の三次元空間における輪郭をユーザの端末の画面にマッピングして、建物の投影線分を得ることができる。
本実施例において、建物毎に対して、建物の三次元空間における輪郭をユーザの端末の画面にマッピングする場合に、三次元空間における同一高さにおいて建物毎の三次元空間における輪郭をユーザの端末の画面の位置する平面にそれぞれマッピングして、建物毎に対応する線分を得ることができ、その後、ユーザの端末の画面における長さに変換し、建物毎のユーザの端末上の画面における投影線分を得る。したがって、建物毎のユーザの端末上の画面における投影線分が同一水平線上に位置する。
本実施例において、複数の異なる画面の幅を有する端末で同一建物を撮影する場合に、該建物の水平方向における最大実長と画面における該建物の水平方向における最大長さを予め決定することができる。水平方向の最大実長は、建物の三次元空間における輪郭上に横座標の最も小さい点と横座標の最も大きい点との間の距離である。画面における該建物の水平方向における最大長さは、画像における建物の輪郭上に横座標の最も小さい画素ドットと横座標の最も大きい画素ドットとの間の距離である。各幅の画面に対して、画面における該建物の水平方向における最大長さを、該建物の水平方向における最大実長で除算して得られた割合を、画面に対応する割合とすることができる。建物の三次元空間における輪郭をユーザの端末の画面の位置する平面にマッピングして、該建物に対応する線分を得た後、該建物に対応する線分の三次元空間における実長を、該端末の画面に対応する割合に乗じて、該建物の投影線分の長さを得ることができる。
本実施例において、複数の建物のそれぞれの投影線分に基づいて、参照情報を生成することができる。参照情報は、各建物が水平方向において他の建物で遮蔽されたか否か及び遮蔽された場合の遮蔽状況を記述することができ、遮蔽状況が部分遮蔽、完全遮蔽であってもよい。
本実施例において、建物が他の建物で遮蔽されたか否かとは、該建物が、ユーザからの距離が該建物のユーザからの距離よりも小さい他の建物で遮蔽されたか否かということを指す。言い換えれば、建物が他の建物で遮蔽されたか否かとは、該建物が、その前に位置する他の建物で遮蔽されたか否かということを指す。
本実施例において、複数の建物のそれぞれの三次元空間における輪郭をユーザの端末の画面にマッピングして、建物毎の投影線分が得られた後に、建物毎の投影線分に基づいて、各建物がその前に位置する他の建物で遮蔽されたか否かを判断し、遮蔽されたと判断した場合にさらに遮蔽状況が部分遮蔽であるかそれとも完全遮蔽であるかを判断する。
本実施例において、複数の建物のそれぞれの投影線分に基づいて、各建物がその前に位置する他の建物で遮蔽されたか否かを判断し、遮蔽されたと判断した場合に、さらに遮蔽状況が部分遮蔽であるかそれとも完全遮蔽であるかを判断し、複数の建物のそれぞれがその前に位置する他の建物で遮蔽されたか否か及び遮蔽された場合の遮蔽状況を記述する参照情報を生成することができる。
本実施例において、複数の建物のそれぞれに対して、該建物の投影線分及び該建物の前に位置する他の建物の投影線分に基づいて、水平方向において該建物が該他の建物で遮蔽されたか否かを判断し、遮蔽された場合の遮蔽状況を判断することができる。該建物の投影線分と該他の建物の投影線分とが同一水平線にある場合に、該建物の投影線分と該他の建物の投影線分とは同じサブ線分がない場合に、該建物が該他の建物で遮蔽されていない。該建物の投影線分と該他の建物の投影線分とが同一水平線にある場合に、該建物の投影線分と該他の建物の投影線分とは同じサブ線分を有するとともに、該建物の投影線分が該他の建物の有しないサブ線分を有する場合に、該建物が該他の建物で部分的に遮蔽されている。該建物の投影線分と該他の建物の投影線分とが同一水平線にある場合に、該建物の投影線分が該他の建物の投影線分のサブ線分となる場合に、該建物が該他の建物で完全遮蔽されている。
ステップ203において、参照情報に基づいて、複数の建物のうちの対象建物と、重畳領域とを決定する。
本実施例において、ユーザの端末で取り込まれた画像にアノテーション情報が表示されるべき建物が対象建物である。まず、複数の建物のうち少なくとも1つの建物で完全遮蔽された建物を決定することができ、その後、複数の建物のうち少なくとも1つの建物で完全遮蔽された建物を除いた建物、即ち建物のいずれかで完全遮蔽されていない建物を対象建物とする。ユーザからの距離が最も近い建物が建物のいずれかで完全遮蔽されていなければ、ユーザからの距離が最も近い建物を対象建物とする。言い換えれば、ユーザに表示するアノテーション情報は、各対象建物、即ち建物のいずれかで完全遮蔽されていない建物のアノテーション情報を備える。
本実施例において、建物のアノテーション情報は吹き出しと、吹き出し内にある建物の名称とを備える。吹き出しの形状が矩形、気泡形状などであってもよい。建物毎の吹き出しの形状及び面積がいずれも同じである。
本実施例において、建物の名称及びユーザからの距離が建物のアノテーション情報における吹き出しでユーザに表示されるので、建物のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域が、建物のアノテーション情報における吹き出しのユーザの端末で取り込まれた画像に占める領域に相当することができる。建物のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域を決定することは、建物のアノテーション情報における吹き出しのユーザの端末で取り込まれた画像に占める領域を決定することに相当する。対象建物毎のアノテーション情報の重畳領域の中心点が、対象建物毎のアノテーション情報における吹き出しの中心点に相当することができる。
まず、対象建物毎のアノテーション情報における吹き出しの中心点の横座標値を決定することができる。横座標値がユーザの端末の画面の1つのコーナー点、例えば左下コーナーを座標系の原点とする座標系における横座標値であってもよい。対象建物毎のアノテーション情報の吹き出しの中心点の横座標値は、全ての対象建物のうちいずれか2つの対象建物のアノテーション情報における吹き出しが水平方向に重ならないようにするべきである。いずれか2つの対象建物のアノテーション情報における吹き出しが水平方向において重ならないようにすることは、いずれか2つの対象建物のアノテーション情報における吹き出しの中心点が同一水平線に位置する場合に、いずれか2つの対象建物のアノテーション情報における吹き出しが水平方向に重ならないことに相当する。
対象建物毎のアノテーション情報の吹き出しの中心点の横座標値が決定された後に、対象建物毎のアノテーション情報の吹き出しの中心点の縦座標を決定することができる。対象建物毎のアノテーション情報の吹き出しの中心点の縦座標は、全ての対象建物のうちいずれか2つの対象建物の吹き出しが垂直方向に重ならないようにするべきである。いずれか2つの対象建物のアノテーション情報における吹き出しが垂直方向に重ならないようにすることは、いずれか2つの対象建物のアノテーション情報における吹き出しの中心点が同一垂直線に位置する場合に、いずれか2つの対象建物のアノテーション情報における吹き出しが垂直方向に重ならないことに相当する。
対象建物毎のアノテーション情報の吹き出しの中心点の横座標及び縦座標が決定された後に、対象建物毎のアノテーション情報の吹き出しの中心点の位置を得ることができる。さらに形状及び面積がいずれも同じである対象建物毎のアノテーション情報の吹き出しの、ユーザの端末で取り込まれた画像に占める領域をそれぞれ決定することにより、対象建物毎のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域を決定することができる。
本実施例のいくつかの任意選択実施形態において、複数の建物のうちユーザからの距離が最も近い建物が他の全ての建物を完全遮蔽した場合に、ユーザからの距離が最も近い建物の投影線分の長さが画面の幅よりも大きいことに基づいて、複数の建物のうちユーザからの距離が最も近い建物が他の全ての建物を完全遮蔽することを判定することができ、水平方向において複数の建物のうちユーザからの距離が最も近い建物が他の全ての建物を完全遮蔽することを示す指示情報を生成することができる。従って、参照情報は、水平方向において複数の建物のうちユーザからの距離が最も近い建物が他の全ての建物を完全遮蔽することを示す指示情報を備える。複数の建物のうちの対象建物を決定して、対象建物のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域を決定する場合に、ユーザからの距離が最も近い建物を対象建物とすることができる。言い換えれば、ユーザからの距離が最も近い建物のアノテーション情報だけをユーザに表示する。ユーザからの距離が最も近い建物の投影線分の中心点の横座標を、ユーザからの距離が最も近い建物のアノテーション情報の画像における重畳領域の中心点の横座標とすることができる。その後、ユーザからの距離が最も近い建物のアノテーション情報の画像における重畳領域の中心点の縦座標を決定することができ、ユーザからの距離が最も近い建物のアノテーション情報における吹き出しの中心点の位置を決定することができる。
本実施例のいくつかの任意選択実施形態において、複数の建物には水平方向に少なくとも1つの建物で完全遮蔽される建物及び建物のいずれかで完全遮蔽されていない建物が含まれる場合に、建物毎の投影線分に基づいて、複数の建物には水平方向に少なくとも1つの建物で完全遮蔽される建物及び建物のいずれかで完全遮蔽されていない建物が含まれることを決定することができる。生成される参照情報はさらに、複数の建物のうち水平方向に少なくとも1つの建物で完全遮蔽される建物のタグと、複数の建物のうち建物のいずれかで完全遮蔽されていない建物のタグとを備える。
参照情報に基づいて、表示すべきアノテーション情報と、表示すべきアノテーション情報のユーザの端末で取り込まれた画像における重畳領域とを決定する場合に、参照情報における水平方向に少なくとも1つの建物で完全遮蔽される建物のタグと、建物のいずれかで完全遮蔽されていない建物のタグとに基づいて、複数の建物のうち少なくとも1つの建物で完全遮蔽される建物と、建物のいずれかで完全遮蔽されていない建物とを決定することができる。その後、水平方向に建物のいずれかで完全遮蔽されていない建物を対象建物とすることができる。対象建物の数が複数であってもよい。
まず、対象建物のうち最も近い建物と対象建物のうち2番目に近い建物との間の第1遮蔽関連状況に基づいて、最も近い建物と2番目に近い建物のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域を決定することができる。最も近い建物は全ての対象建物のうちユーザからの距離が最も近い対象建物であり、2番目に近い建物は全ての対象建物のうちユーザからの距離が2番目に近い対象建物である。第1遮蔽関連状況は、2番目に近い建物が最も近い建物で遮蔽されていないこと、2番目に近い建物が最も近い建物で部分的に遮蔽されて2番目に近い建物の最も近い建物で遮蔽されていない部分が最も近い建物の片側に位置すること、2番目に近い建物が最も近い建物で部分的に遮蔽されて2番目に近い建物の最も近い建物で遮蔽されていない部分が最も近い建物の両側に配置されることであってもよい。
最も近い建物の投影線分と2番目に近い建物の投影線分とが同一水平線にある場合に、2番目に近い建物の投影線分と最も近い建物の投影線分とは同じサブ線分がない場合に、2番目に近い建物が最も近い建物で遮蔽されていない。最も近い建物の投影線分と2番目に近い建物の投影線分とが同一水平線にある場合に、2番目に近い建物の投影線分上の最も近い建物の投影線分に属しないサブ線分が最も近い建物の投影線分の片側、即ち左側又は右側に位置する場合に、2番目に近い建物が最も近い建物で部分的に遮蔽されて2番目に近い建物の最も近い建物で遮蔽されていない部分が最も近い建物の片側に位置する。最も近い建物の投影線分と2番目に近い建物の投影線分とが同一水平線にある場合に、最も近い建物の投影線分の両側に2番目に近い建物の投影線分上の最も近い建物の投影線分に属しないサブ線分を有する場合に、2番目に近い建物が最も近い建物で部分的に遮蔽されて2番目に近い建物の最も近い建物で遮蔽されていない部分が最も近い建物の両側に配置される。
第1遮蔽関連状況は、最も近い建物が2番目に近い建物で遮蔽されていないことである場合に、2番目に近い建物の投影線分の中心点の横座標を、2番目に近い建物のアノテーション情報における吹き出しの中心点の横座標とし、同時に、最も近い建物の投影線分の中心点の横座標を、最も近い建物のアノテーション情報における吹き出しの中心点の横座標とすることができる。
第1遮蔽関連状況は、2番目に近い建物が最も近い建物で部分的に遮蔽されて遮蔽されていない部分が2番目に近い建物の片側にあるか又は最も近い建物が2番目に近い建物で部分的に遮蔽されて遮蔽されていない部分が最も近い建物の両側に配置されることである場合に、2番目に近い建物の投影線分と最も近い建物の投影線分とが同一水平線にある場合に、2番目に近い建物の投影線分上の、最も近い建物の投影線分に属しないサブ線分の中心点を2番目に近い建物のアノテーション情報における吹き出しの中心点とすることができる。同時に、最も近い建物の投影線分の中心点の横座標を、最も近い建物のアノテーション情報における吹き出しの中心点の横座標とする。
2番目に近い建物及び最も近い建物のアノテーション情報における吹き出しの中心点の横座標が決定された後に、2番目に近い建物及び最も近い建物のアノテーション情報における吹き出しの中心点の縦座標を決定することができ、2番目に近い建物及び最も近い建物のアノテーション情報における吹き出しの中心点の縦座標は、垂直方向において2番目に近い建物のアノテーション情報における吹き出しと、最も近い建物のアノテーション情報における吹き出しとが重ならないようにすることができる。最も近い建物及び2番目に近い建物のアノテーション情報における吹き出しの中心点の横座標及び縦座標が決定された後に、最も近い建物及び2番目に近い建物のアノテーション情報における吹き出しの中心点の位置を同時に決定することができ、従って、最も近い建物及び2番目に近い建物のアノテーション情報における吹き出しのユーザの端末で撮影された画像に占める領域を決定することができ、即ち最も近い建物及び2番目に近い建物のアノテーション情報のユーザの端末で撮影された画像における重畳領域を決定することができる。
対象建物のうち最も近い建物及び2番目に近い建物を除く対象建物毎に対して、それぞれ対象建物と対象建物の前にある対象建物との間の第2遮蔽関連状況に基づいて、対象建物のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域を決定し、即ち対象建物のアノテーション情報における吹き出しのユーザの端末で取り込まれた画像に占める領域を決定する。最も近い建物及び2番目に近い建物を除く対象建物の前にある対象建物とは、ユーザからの距離が該対象建物のユーザからの距離よりも小さい、最も近い建物及び2番目に近い建物を除くその他の対象建物のうち、ユーザからの距離が最も大きい対象建物のことを指す。
最も近い建物及び2番目に近い建物を除く対象建物とその前の対象建物との第2遮蔽関連状況は、該対象建物がその前の対象建物で遮蔽されていないこと、該対象建物がその前の対象建物で部分的に遮蔽されて該対象建物の、その前の対象建物で遮蔽されていない部分がその前の対象建物の片側に位置すること、該対象建物がその前の対象建物で部分的に遮蔽されて該対象建物の、その前の対象建物で遮蔽されていない部分がその前の対象建物の両側に配置されることであってもよい。
最も近い建物及び2番目に近い建物を除く対象建物のそれぞれに対して、ユーザからの距離の近い順に基づいて、対象建物毎のアノテーション情報における吹き出しの中心点の位置を順次決定する。
最も近い建物及び2番目に近い建物を除く対象建物のアノテーション情報における吹き出しの中心点の位置を決定する場合に、該対象建物の前にある対象建物のアノテーション情報における吹き出しの中心点の位置が既に決定され、決定後の前にある建物のアノテーション情報における吹き出しの中心点がそのままに保持される。該対象建物とその前の対象建物との第2遮蔽関連状況は、該対象建物が該その前の建物で遮蔽されていないことである場合に、該対象建物の投影線分の中心点の横座標を、該対象建物のアノテーション情報における吹き出しの中心点の横座標とすることができる。該対象建物とその前の対象建物との第2遮蔽関連状況は、該対象建物が該その前の対象建物で部分的に遮蔽されて、遮蔽されていない部分が該その前の対象建物の片側にあるか又は該その前の対象建物の両側に配置されることである場合に、該対象建物と該その前の対象建物とが同一水平線にある場合において、該対象建物上の該その前の対象建物の投影線分に属しないサブ線分の中心点を、該対象建物のアノテーション情報における吹き出しの中心点とすることができる。該対象建物のアノテーション情報における吹き出しの中心点の横座標が決定された後に、該対象建物のアノテーション情報における吹き出しの中心点の縦座標を決定することができる。該対象建物のアノテーション情報における吹き出しの中心点の縦座標は、垂直方向において該対象建物のアノテーション情報における吹き出しと該その前の対象建物のアノテーション情報における吹き出しとが重ならないようにすることができる。
本実施例のいくつかの任意選択実施形態において、最も近い建物と2番目に近い建物との間の第1遮蔽関連状況は、最も近い建物が2番目に近い建物で遮蔽されていないか又は最も近い建物が2番目に近い建物で部分的に遮蔽されて、遮蔽されていない部分が最も近い建物の両側に配置されることである場合に、2番目に近い建物の投影線分の中心点の横座標を2番目に近い建物のアノテーション情報における吹き出しの中心点の横座標とし、同時に、最も近い建物の投影線分の中心点の横座標を最も近い建物のアノテーション情報における吹き出しの中心点の横座標とすることができる。
最も近い建物と2番目に近い建物との間の第1遮蔽関連状況は、2番目に近い建物が最も近い建物で部分的に遮蔽されて、遮蔽されていない部分が2番目に近い建物の片側にあることである場合に、2番目に近い建物の投影線分と最も近い建物の投影線分とが同一水平線にある場合において、最も近い建物で遮蔽されていない部分に対応するサブ線分即ち2番目に近い建物の投影線分上の最も近い建物の投影線分に属しないサブ線分の中心点を、2番目に近い建物のアノテーション情報における吹き出しの中心点とすることができる。同時に、最も近い建物の投影線分の中心点の横座標を、最も近い建物のアノテーション情報における吹き出しの中心点の横座標とする。
本実施例のいくつかの任意選択実施形態において、対象建物毎のアノテーション情報の前記画像における重畳領域の中心点の縦座標が決定された場合に、ユーザからの距離に基づいて全ての対象建物を順序付けし、順序付け後の対象建物毎の順序に基づいて、対象建物毎のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域の中心点の縦座標を決定し、即ち対象建物毎のアノテーション情報における吹き出しを決定することができる。
ユーザからの距離が近い順で対象建物を順序付けすることができ、対象建物の順序が遠いほど、縦座標の数値が大きい。言い換えれば、対象建物の順序が遠いほど、該対象建物のアノテーション情報における吹き出しのユーザの端末の画面における位置が高い。対象建物毎のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域の中心点の縦座標は、いずれか2つの対象建物のアノテーション情報における吹き出しが垂直方向において重ならないようにすることができる。
建物の輪郭、建物の他の特徴などに応じて、ユーザの端末で取り込まれた画像における各対象建物の画像における高さをおおざっぱに決定することができ、さらに対象建物のアノテーション情報における吹き出しの縦座標の最大値を決定することができ、決定された対象建物のアノテーション情報における吹き出しの中心点の縦座標が、縦座標の最大値よりも小さくすべきである。言い換えれば、決定された対象建物のアノテーション情報における吹き出しの中心点の縦座標が縦座標の最大値よりも大きい場合に、対象建物のアノテーション情報における吹き出しの部分が画像において対象建物の画像における最高高さを超える可能性がある。
ステップ204において、対象建物のアノテーション情報を重畳領域に重畳して、拡張現実画像を得る。
本実施例において、対象建物毎のユーザの端末で取り込まれた画像における重畳領域が決定された後、即ち対象建物毎のアノテーション情報における吹き出しのユーザの端末で取り込まれた画像に占める領域が決定された後に、対象建物のアノテーション情報を、決定された重畳領域に重畳することができる。言い換えれば、対象建物毎のアノテーション情報における吹き出しを、決定された吹き出しのユーザの端末で取り込まれた画像に占める領域に設定する。対象建物毎の少なくとも一部がユーザの端末で取り込まれた画像内に位置し、対象建物毎の吹き出しの少なくとも一部がユーザの端末で取り込まれた画像における所属する対象建物のある領域にある。従って、ユーザの端末で取り込まれた画像には対象建物毎のアノテーション情報における吹き出し内に位置する対象建物の名称及び対象建物のユーザからの距離が含まれ、拡張現実画像が得られる。いずれか2つの対象建物のアノテーション情報における吹き出しが水平方向に重ならなく、いずれか2つの対象建物のアノテーション情報における吹き出しが垂直方向に重ならないことが決定されたため、従って、ユーザに表示する際に、拡張現実画像におけるいずれか2つの対象建物の吹き出し内に位置する対象建物の名称及び対象建物のユーザからの距離も重なることはない。
図3を参照すると、上記の各図面に示された方法の実施態様として、本発明は、装置の一実施例を提供し、該装置の実施例は、図2に示された方法の実施例に対応している。
図3に示すように、本実施例の装置は、取得ユニット301と、生成ユニット302と、決定ユニット303と、表示ユニット304とを備える。取得ユニット301は予め設定された選択条件を満たす複数の建物の輪郭データを取得するように配置され、前記輪郭データが建物の三次元空間における輪郭を記述するために用いられ、生成ユニット302は複数の建物のそれぞれの投影線分に基づいて、参照情報を生成するように配置され、建物の投影線分が建物の三次元空間における輪郭をユーザの端末の画面の所在平面にマッピングすることによって得られ、参照情報は、水平方向において複数の建物のうち建物の間に遮蔽が存在するか否か及び遮蔽が存在する場合の遮蔽状況を記述するために用いられ、決定ユニット303は参照情報に基づいて、複数の建物のうち対象建物と、対象建物のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域とを決定するように配置され、表示ユニット304は対象建物のアノテーション情報を、決定された重畳領域に重畳して、拡張現実画像を得るように配置される。
本実施例のいくつかの任意選択実施形態において、決定ユニットは第1対象建物・重畳領域決定サブユニットを備え、該第1対象建物・重畳領域決定サブユニットは、参照情報が水平方向において複数の建物のうちユーザからの距離が最も近い建物が他の全ての建物を完全遮蔽することを示す指示情報を備える場合に、複数の建物のうちユーザからの距離が最も近い建物を対象建物とし、前記ユーザからの距離が最も近い建物の投影線分の中心点に基づいて、前記ユーザからの距離が最も近い建物の前記画像における重畳領域の中心点を決定するように配置される。
本実施例のいくつかの任意選択実施形態において、決定ユニットは第2対象建物・重畳領域決定サブユニットを備え、該第2対象建物・重畳領域決定サブユニットは、参照情報が水平方向において複数の建物のうち少なくとも1つの建物で完全遮蔽される建物のタグと、建物のいずれかで完全遮蔽されていない建物のタグとを備える場合に、水平方向に建物のいずれかで完全遮蔽されていない建物を対象建物に決定し、最も近い建物と2番目に近い建物との間の第1遮蔽関連状況に基づいて、最も近い建物のアノテーション情報の前記画像における重畳領域と、2番目に近い建物のアノテーション情報の前記画像における重畳領域とを決定し、ここでは最も近い建物は全ての対象建物のうちユーザからの距離が最も近い対象建物であり、2番目に近い建物は全ての対象建物のうちユーザからの距離が2番目に近い対象建物であり、全ての対象建物のうち最も近い建物及び2番目に近い建物を除く対象建物のそれぞれに対して、対象建物と前記対象建物の前にある対象建物との間の第2遮蔽関連状況に基づいて、前記対象建物のアノテーション情報の前記画像における重畳領域を決定するように配置される。
本実施例のいくつかの任意選択実施形態において、第2対象建物・重畳領域決定サブユニットは、さらに、最も近い建物の投影線分の中心点の横座標を、最も近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とし、第1遮蔽関連状況が予め設定された遮蔽関連状況である場合に、2番目に近い建物の投影線分の、最も近い建物で遮蔽されていない部分に対応するサブ線分の中心点の横座標を、2番目に近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とし、予め設定された遮蔽関連状況は、2番目に近い建物が最も近い建物で部分的に遮蔽されて、2番目に近い建物の最も近い建物で遮蔽されていない部分が最も近い建物の片側に位置することを備え、第1遮蔽関連状況が予め設定された遮蔽関連状況ではない場合に、2番目に近い建物の投影線分の中心点の横座標を、2番目に近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とするように配置される。
本実施例のいくつかの任意選択実施形態において、拡張現実装置は、ユーザからの距離によって全ての対象建物を順序付けし、順序付け後の対象建物それぞれの順序に基づいて、対象建物毎のアノテーション情報の前記画像における重畳領域の中心点の縦座標を決定するように配置される縦座標決定ユニットをさらに備える。
図4は、本発明の実施例を実現するためのサーバに適用されるコンピュータシステムを示す構造概略図である。
図4に示すように、コンピュータシステムは、読み出し専用メモリ(ROM)402に格納されているプログラム又は記憶部408からランダムアクセスメモリ(RAM)403にロードされたプログラムによって様々で、適当な動作及び処理を実行することができる中央処理装置(CPU)401を備える。RAM403には、コンピュータシステムの操作に必要な様々なプログラム及びデータがさらに格納されている。CPU401、ROM402及びRAM403がバス404を介して互いに接続されている。入力/出力(I/O)インターフェース405もバス404に接続されている。
入力部406、出力部407、ハードディスクなどを備える記憶部408、並びにLANカード、モデムなどを備えるネットワークインターフェースカードの通信部409は、I/Oインターフェース405に接続されている。通信部409は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ410も必要に応じてI/Oインターフェース405に接続されている。リムーバブルメディア411は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどが挙げられ、必要に応じてドライバ410に取り付けられることによって、リムーバブルメディアから読み出されたコンピュータプログラムが所望により記憶部408にインストールされる。
特に、本発明の実施例に記載されたプロセスは、コンピュータプログラムとして実現されてもよい。例えば、本発明の実施例は、コンピュータ可読媒体に担持されるコンピュータプログラムを備えるコンピュータプログラム製品を備え、該コンピュータプログラムは、フローチャートで示される方法を実行するための命令を備える。該コンピュータプログラムは、通信部409を介してネットワークからダウンロードされてインストールされてもよく、及び/又はリムーバブルメディア411からインストールされてもよい。該コンピュータプログラムが中央処理装置(CPU)401によって実行される場合に、本発明の方法で限定された上記の機能を実行する。
本発明はさらに、端末を提供しており、該端末には、1つ又は複数のプロセッサと、前記実施例に記載された操作を実行するための命令が含まれる1つ又は複数のプログラムを格納するためのメモリとが配置されてもよい。1つ又は複数のプログラムが1つ又は複数のプロセッサで実行される場合に、1つ又は複数のプロセッサが上記の実施例に記載された操作を実行する。
本発明はさらに、コンピュータ可読媒体を提供しており、該コンピュータ可読媒体は、端末に含まれるものであってもよく、独立に存在して端末に組み立てられていないものであってもよい。前記コンピュータ可読媒体には1つ又は複数のプログラムが担持され、1つ又は複数のプログラムがサーバで実行される場合に、端末は、予め設定された選択条件を満たす複数の建物の輪郭データを取得し、前記輪郭データが建物の三次元空間における輪郭を記述するために用いられ、複数の建物のそれぞれの投影線分に基づいて、参照情報を生成し、建物の投影線分が建物の三次元空間における輪郭をユーザの端末の画面の所在平面にマッピングすることによって得られ、参照情報は、水平方向において複数の建物のそれぞれの間に遮蔽が存在するか否か及び遮蔽が存在する場合の遮蔽状況を記述するために用いられ、参照情報に基づいて、複数の建物のうち対象建物と、対象建物のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域とを決定し、対象建物のアノテーション情報を、決定された重畳領域に重畳して、拡張現実画像を得る。
注意すべきなのは、本発明に記載したコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体、又はこれらの任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置若しくはデバイス、又はこれらの任意の組み合わせを含むことができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、1本又は複数の導線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROM若しくはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ(CD−ROM)、光メモリ、磁気メモリ、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。本発明において、コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスで使用可能な、又はそれらに組み込まれて使用可能なプログラムを包含又は格納する任意の有形の媒体であってもよい。本発明において、コンピュータ可読信号媒体は、ベースバンド内で、又はキャリアの一部として伝送される、コンピュータ可読プログラムコードが担持されたデータ信号を含んでもよい。このような伝送されたデータ信号は、様々な形態をとることができ、電磁信号、光信号、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。コンピュータ可読信号媒体は、さらにコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよい。該コンピュータ可読媒体は、命令実行システム、装置若しくはデバイスによって使用されるか、又はそれらに組み込まれて使用されるプログラムを、送信、伝送又は転送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適切な媒体で伝送することができ、無線、有線、光ケーブル、RFなど、又はこれらの任意の適切な組み合わせを含むが、これらに限定されない。
図面におけるフローチャート及びブロック図は、本発明の各実施例に係るシステム、方法及びコンピュータプログラム製品により実現可能なシステムアーキテクチャ、機能及び操作を示す。ここで、フローチャート又はブロック図における各ブロックは、モジュール、プログラムセグメント若しくはコードの一部を表してもよく、該モジュール、プログラムセグメント、又はコードの一部は、規定されたロジック機能を達成するための1つ以上の実行可能な命令を含む。なお、いくつかの代替実施態様において、ブロック内に示された機能は、図面に示された順番とは異なるもので実行されてもよい。例えば、連続して示された2つのブロックは、実際には関連する機能に応じて、ほぼ並行に実行されてもよく、逆の順番で実行されてもよい。なお、ブロック図及び/又はフローチャートにおける各ブロック、並びに、ブロック図及び/又はフローチャートにおけるブロックの組み合わせは、規定された機能若しくは操作を実行する、ハードウェアに基づく専用システムで実現されてもよいか、又は専用ハードウェアとコンピュータ命令との組み合わせで実行されてもよい。
以上の記載は、本発明の好ましい実施例、及び使用される技術的原理に関する説明に過ぎない。本発明に係る発明の範囲が、上記の技術的特徴の特定の組み合わせからなる技術案に限定されるものではなく、上記の本発明の趣旨を逸脱しない範囲で、上記の技術的特徴又はそれらの同等の特徴を任意に組み合わせてなる他の技術案も含むべきであることを、当業者に理解されたい。例えば、上記の特徴と、本発明に開示された類似の機能を持っている技術的特徴(これらに限定されていない)とを互いに置き換えてなる技術案が挙げられる。

Claims (12)

  1. 拡張現実方法であって、
    予め設定された選択条件を満たす複数の建物の、三次元空間における建物の輪郭を記述するための輪郭データを取得するステップと、
    複数の建物のそれぞれの投影線分に基づいて、参照情報を生成するステップであって、建物の投影線分が建物の三次元空間における輪郭をユーザの端末の画面の所在平面にマッピングすることによって得られ、参照情報は、水平方向において複数の建物のそれぞれに遮蔽が存在するか否か及び遮蔽が存在する場合の遮蔽状況を記述するために用いられるステップと、
    参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定するステップと、
    対象建物のアノテーション情報を、決定された重畳領域に重畳して、拡張現実画像を得るステップとを備える拡張現実方法。
  2. 参照情報は、水平方向において複数の建物のうちユーザからの距離が最も近い建物が他の全ての建物を完全遮蔽することを示す指示情報を備え、
    前記参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定するステップは、
    複数の建物のうちユーザからの距離が最も近い建物を対象建物とすることと、
    前記ユーザからの距離が最も近い建物の投影線分の中心点に基づいて、前記ユーザからの距離が最も近い建物の前記画像における重畳領域の中心点を決定することとを備える請求項1に記載の方法。
  3. 参照情報は、水平方向において複数の建物のうち、少なくとも1つの建物で完全遮蔽された建物のタグと、建物のいずれかで完全遮蔽されていない建物のタグとを含み、
    前記参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定するステップは、
    水平方向において建物のいずれかで完全遮蔽されていない建物を対象建物とすることと、
    最も近い建物と2番目に近い建物との間の第1遮蔽関連状況に基づいて、最も近い建物のアノテーション情報の前記画像における重畳領域と、2番目に近い建物のアノテーション情報の前記画像における重畳領域とを決定することであって、最も近い建物は全ての対象建物のうちユーザからの距離が最も近い対象建物であり、2番目に近い建物は全ての対象建物のうちユーザからの距離が2番目に近い対象建物であることと、
    全ての対象建物のうち、最も近い建物及び2番目に近い建物を除いた対象建物のそれぞれに対して、対象建物と前記対象建物の前の対象建物との間の第2遮蔽関連状況に基づいて、前記対象建物のアノテーション情報の前記画像における重畳領域を決定することとを備える請求項1に記載の方法。
  4. 前記最も近い建物と2番目に近い建物との間の第1遮蔽関連状況に基づいて、最も近い建物のアノテーション情報の前記画像における重畳領域と、2番目に近い建物のアノテーション情報の前記画像における重畳領域とを決定することは、
    最も近い建物の投影線分の中心点の横座標を、最も近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とすることと、
    第1遮蔽関連状況が予め設定された遮蔽関連状況である場合に、2番目に近い建物の投影線分のうち、最も近い建物で遮蔽されていない部分に対応するサブ線分の中心点の横座標を、2番目に近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とすることであって、予め設定された遮蔽関連状況は、2番目に近い建物が最も近い建物で部分的に遮蔽されて、2番目に近い建物の最も近い建物で遮蔽されていない部分が最も近い建物の片側に位置することと、
    第1遮蔽関連状況が予め設定された遮蔽関連状況ではない場合に、2番目に近い建物の投影線分の中心点の横座標を、2番目に近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とすることと、を備える請求項3に記載の方法。
  5. 前記方法はさらに、
    ユーザからの距離によって全ての対象建物を順序付けするステップと、
    順序付け後の対象建物それぞれの順序に基づいて、対象建物毎のアノテーション情報の前記画像における重畳領域の中心点の縦座標を決定するステップと、を備える請求項4に記載の方法。
  6. 拡張現実装置であって、
    予め設定された選択条件を満たす複数の建物の、三次元空間における建物の輪郭を記述するための輪郭データを取得するように配置される取得ユニットと、
    複数の建物のそれぞれの投影線分に基づいて、参照情報を生成するように配置される生成ユニットであって、建物の投影線分が建物の三次元空間における輪郭をユーザの端末の画面の所在平面にマッピングすることによって得られ、参照情報は、水平方向において複数の建物のそれぞれに遮蔽が存在するか否か及び遮蔽が存在する場合の遮蔽状況を記述するために用いられる生成ユニットと、
    参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定するように配置される決定ユニットと、
    対象建物のアノテーション情報を、決定された重畳領域に重畳して、拡張現実画像を得るように配置される表示ユニットとを備える拡張現実装置。
  7. 決定ユニットは、
    参照情報が水平方向において複数の建物のうち、ユーザからの距離が最も近い建物が他の全ての建物を完全遮蔽することを示す指示情報を備える場合に、複数の建物のうちユーザからの距離が最も近い建物を対象建物とし、前記ユーザからの距離が最も近い建物の投影線分の中心点に基づいて、前記ユーザからの距離が最も近い建物の前記画像における重畳領域の中心点を決定するように配置される第1対象建物・重畳領域決定サブユニットを備える請求項6に記載の装置。
  8. 決定ユニットは、
    参照情報が水平方向において複数の建物のうち、少なくとも1つの建物で完全遮蔽された建物のタグと、建物のいずれかで完全遮蔽されていない建物のタグとを備える場合に、水平方向において建物のいずれかで完全遮蔽されていない建物を対象建物とし、最も近い建物と2番目に近い建物との間の第1遮蔽関連状況に基づいて、最も近い建物のアノテーション情報の前記画像における重畳領域と、2番目に近い建物のアノテーション情報の前記画像における重畳領域とを決定し、ここでは、最も近い建物は全ての対象建物のうちユーザからの距離が最も近い対象建物であり、2番目に近い建物は全ての対象建物のうちユーザからの距離が2番目に近い対象建物であり、全ての対象建物のうち、最も近い建物及び2番目に近い建物を除いた対象建物のそれぞれに対して、対象建物と前記対象建物の前の対象建物との間の第2遮蔽関連状況に基づいて、前記対象建物のアノテーション情報の前記画像における重畳領域を決定するように配置される第2対象建物・重畳領域決定サブユニットを備える請求項6に記載の装置。
  9. 前記第2対象建物・重畳領域決定サブユニットはさらに、最も近い建物の投影線分の中心点の横座標を、最も近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とし、第1遮蔽関連状況が予め設定された遮蔽関連状況である場合に、2番目に近い建物の投影線分のうち、最も近い建物で遮蔽されていない部分に対応するサブ線分の中心点の横座標を、2番目に近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とし、予め設定された遮蔽関連状況は、2番目に近い建物が最も近い建物で部分的に遮蔽されて、2番目に近い建物の最も近い建物で遮蔽されていない部分が最も近い建物の片側に位置することを備え、第1遮蔽関連状況が予め設定された遮蔽関連状況ではない場合に、2番目に近い建物の投影線分の中心点の横座標を、2番目に近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とするように配置される請求項8に記載の装置。
  10. 前記装置は、
    ユーザからの距離によって全ての対象建物を順序付けし、順序付け後の対象建物それぞれの順序に基づいて、対象建物毎のアノテーション情報の前記画像における重畳領域の中心点の縦座標を決定するように配置される縦座標決定ユニットをさらに備える請求項9に記載の装置。
  11. 端末であって、
    1つ又は複数のプロセッサと、
    1つ又は複数のプログラムを格納するためのメモリとを備え、
    前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサで実行される場合に、前記1つ又は複数のプロセッサに請求項1〜5のいずれか一項に記載の方法を実現させることを特徴とする端末。
  12. コンピュータプログラムが格納されているコンピュータ可読媒体であって、該プログラムがプロセッサで実行される場合に、請求項1〜5のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読媒体。
JP2019126867A 2018-07-09 2019-07-08 拡張現実方法及び装置 Active JP6768123B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810743420.7 2018-07-09
CN201810743420.7A CN108898678B (zh) 2018-07-09 2018-07-09 增强现实方法和装置

Publications (2)

Publication Number Publication Date
JP2020009447A true JP2020009447A (ja) 2020-01-16
JP6768123B2 JP6768123B2 (ja) 2020-10-14

Family

ID=64348160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019126867A Active JP6768123B2 (ja) 2018-07-09 2019-07-08 拡張現実方法及び装置

Country Status (5)

Country Link
US (1) US10783373B2 (ja)
EP (1) EP3594907B1 (ja)
JP (1) JP6768123B2 (ja)
KR (1) KR102219966B1 (ja)
CN (1) CN108898678B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7265822B2 (ja) * 2018-08-27 2023-04-27 キヤノン株式会社 表示制御装置および表示制御方法、並びにプログラム
CN111382225B (zh) * 2020-03-18 2023-08-04 北京山维科技股份有限公司 一种建筑规划测量成果数据的存储方法及系统
CN111325984B (zh) * 2020-03-18 2023-05-05 阿波罗智能技术(北京)有限公司 样本数据的获取方法、装置和电子设备
CN111737392B (zh) * 2020-06-22 2024-04-02 北京百度网讯科技有限公司 合并楼块数据的方法、装置、设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060034535A1 (en) * 2004-08-10 2006-02-16 Koch Roger D Method and apparatus for enhancing visibility to a machine operator
US20110161875A1 (en) * 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
KR101329882B1 (ko) * 2010-08-12 2013-11-15 주식회사 팬택 Ar 정보창 표시를 위한 사용자 장치 및 그 방법
JP5955662B2 (ja) * 2012-06-25 2016-07-20 アルパイン株式会社 拡張現実システム
US9378591B2 (en) * 2012-07-27 2016-06-28 Nokia Technologies Oy Method and apparatus for detecting occlusion in an augmented reality display
CN110084878B (zh) * 2012-12-21 2023-07-07 苹果公司 用于在真实环境中表示虚拟信息的方法
CN104102678B (zh) * 2013-04-15 2018-06-05 腾讯科技(深圳)有限公司 增强现实的实现方法以及实现装置
EP3742405A3 (en) * 2013-09-24 2021-01-13 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
CN104596523B (zh) * 2014-06-05 2019-05-07 腾讯科技(深圳)有限公司 一种街景目的地引导方法和设备
CN107622241A (zh) * 2017-09-21 2018-01-23 百度在线网络技术(北京)有限公司 用于移动设备的显示方法和装置

Also Published As

Publication number Publication date
US20200012857A1 (en) 2020-01-09
KR20200006001A (ko) 2020-01-17
US10783373B2 (en) 2020-09-22
CN108898678A (zh) 2018-11-27
EP3594907A1 (en) 2020-01-15
CN108898678B (zh) 2020-02-21
EP3594907B1 (en) 2021-04-28
JP6768123B2 (ja) 2020-10-14
KR102219966B1 (ko) 2021-02-24

Similar Documents

Publication Publication Date Title
JP2020009447A (ja) 拡張現実方法及び装置
CN107945112B (zh) 一种全景图像拼接方法及装置
US8970586B2 (en) Building controllable clairvoyance device in virtual world
CN110062176B (zh) 生成视频的方法、装置、电子设备和计算机可读存储介质
US9361731B2 (en) Method and apparatus for displaying video on 3D map
CN113256742B (zh) 界面展示方法、装置、电子设备和计算机可读介质
CN112529097B (zh) 样本图像生成方法、装置以及电子设备
US20200380729A1 (en) Camera parameter estimation device, method and program
CN108495113A (zh) 用于双目视觉系统的控制方法和装置
CN113724391A (zh) 三维模型构建方法、装置、电子设备和计算机可读介质
JP2021192244A (ja) 位置情報の生成方法、関連装置及びコンピュータプログラム製品
CN110378948B (zh) 3d模型重建方法、装置及电子设备
US10664948B2 (en) Method and apparatus for processing omni-directional image
US10635925B2 (en) Method and system for display the data from the video camera
US20130120373A1 (en) Object distribution range setting device and object distribution range setting method
CN114089836B (zh) 标注方法、终端、服务器和存储介质
CN115393423A (zh) 目标检测方法和装置
CN110390717B (zh) 3d模型重建方法、装置及电子设备
CN112465692A (zh) 图像处理方法、装置、设备及存储介质
CN116188668B (zh) 一种基于ios平台的阴影渲染的方法、介质及电子设备
KR102534449B1 (ko) 이미지 처리 방법, 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체
CN117274558B (zh) 一种视觉定位的ar导航方法、装置、设备及存储介质
US20230316574A1 (en) Matching objects in images
CN112270242B (zh) 轨迹的显示方法、装置、可读介质和电子设备
CN110781888B (zh) 回归视频画面中屏幕的方法、装置、可读介质及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190711

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200918

R150 Certificate of patent or registration of utility model

Ref document number: 6768123

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250