JP2019526874A - 球面パノラマ画像へのマッピングを実行するための方法及び装置 - Google Patents

球面パノラマ画像へのマッピングを実行するための方法及び装置 Download PDF

Info

Publication number
JP2019526874A
JP2019526874A JP2019533267A JP2019533267A JP2019526874A JP 2019526874 A JP2019526874 A JP 2019526874A JP 2019533267 A JP2019533267 A JP 2019533267A JP 2019533267 A JP2019533267 A JP 2019533267A JP 2019526874 A JP2019526874 A JP 2019526874A
Authority
JP
Japan
Prior art keywords
image
spherical
pasted
coordinate system
pasting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019533267A
Other languages
English (en)
Other versions
JP6771106B2 (ja
Inventor
諸加丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Publication of JP2019526874A publication Critical patent/JP2019526874A/ja
Application granted granted Critical
Publication of JP6771106B2 publication Critical patent/JP6771106B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/14—
    • G06T3/08—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T3/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

本願は、球面パノラマ画像上に画像貼付けするための方法及び装置を開示する。方法は、第１球面パノラマ画像に対する球面座標系を確立し、第１球面パノラマ画像を球面上にマッピングして、第１球面パノラマ画像の球面投影画像を取得し、ユーザの選択に従って、球面投影画像内の第１画像貼付領域を決定し、対応する画像を平面画像に変換し、貼付対象の画像の形状を平面画像の形状に変換し、形状が変換された貼付対象の画像を球面座標系にマッピングし、球面座標系にマッピングされた貼付対象の画像を、第１画像貼付領域と画像とが重なる位置まで回転させ、第２球面パノラマ画像に変換された後に貼付対象の画像を変換し、第１画像貼付領域に対応する第２画像貼付領域を決定し、第２球面パノラマ画像を第２画像貼付領域に補間して、第１球面パノラマ画像に貼付対象の画像の貼り付けを完了する。【選択図】図１

Description

本願は、パノラマ画像処理の分野に関し、特に、球面パノラマ画像上に画像を貼り付けるための方法及び装置に関する。
社会の進歩に伴い、人々は写真の所与の位置又は写真上に表示されている特定の平面上に画像を貼り付ける必要がある。
既存の画像貼付け技術は、単眼画像化原理（monocular imaging principle）に準拠する２Ｄ画像（平面画像）上に画像をマッピングする。
パノラマ画像コレクター（collector）及びパノラマ画像接合技術の発展に伴い、現在ではパノラマ画像を容易に得ることができ、特に水平方向３６０度及び垂直方向９０度をカバーする球面パノラマ画像が仮想現実の分野で広く用いられている。しかしながら、球面パノラマ画像は単眼画像化原理ともはや一致しないため、先行技術を用いて球面パノラマ画像上に貼り付ける画像は画像の歪みを引き起こす。
従って、球面パノラマ画像上に歪みのない画像貼付けを実現することが、解決されるべき緊急の問題である。
本願の実施形態の目的は、球面パノラマ画像上に歪みのない画像貼付けを実現するために、球面パノラマ画像上に画像を貼り付けるための方法及び装置を提供することである。
上記目的を達成するために、本願の実施の形態は、球面パノラマ画像に画像貼付けを実行する方法を開示する。
該方法は、
第１球面パノラマ画像に対する球面座標系を確立し、
前記第１球面パノラマ画像を前記球面座標系に対応する球面上にマッピングして、前記第１球面パノラマ画像の球面投影画像を取得し、
前記球面投影画像に対するユーザの選択操作に従って、前記球面投影画像への貼付対象の画像の第１画像貼付領域を決定し、
前記第１画像貼付領域に対応する前記画像を平面画像に変換し、
貼付対象の前記画像の形状を前記平面画像の形状に変換し、
形状が変換された貼付対象の前記画像を前記球面座標系にマッピングし、
前記球面座標系にマッピングされた貼付対象の前記画像を、前記第１画像貼付領域と前記画像とが重なる位置まで回転させ、
前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を第２球面パノラマ画像に変換し、
前記第１球面パノラマ画像における前記第１画像貼付領域に対応する第２画像貼付領域を決定し、
前記第２球面パノラマ画像を第２画像貼付領域に補間して、前記第１球面パノラマ画像に貼付対象の前記画像の貼付けを完了する
ことを含む。
このましくは、前記第１画像貼付領域に対応する前記画像を前記平面画像に変換することは、
前記第１画像貼付領域の中心点座標を決定し、
前記中心点座標に従って前記球面投影画像を回転させ、
座標が経度及び緯度で表される場合、回転された前記球面投影画像内の前記中心点座標は（０、０）であり、
回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像を次の式、
に従って前記平面画像に変換することを含み得る。
ここで、（λ’、φ’）は回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の前記球面座標系内の座標であり、λ’、φ’はそれぞれ回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
好ましくは、貼付対象の前記画像の形状を前記平面画像の形状に変換することは、
前記平面画像と貼付対象の前記画像とに従ってホモグラフィ行列を決定し、
前記ホモグラフィ行列に従って貼付対象の前記画像に平面透視変換を実行して、貼付対象の前記画像の形状を前記平面画像の形状に変換することを含み得る。
好ましくは、形状変換された貼付対象の前記画像を前記球面座標系にマッピングすることは、
次の式、
に従って、前記球面座標系への形状変換された貼付対象の前記画像をマッピングすることを含み得る。
ここで、（ｕ、ｖ）は形状変換された貼付対象の前記画像内の点の平面座標系における座標であり、（λ、φ）は前記球面座標系にマッピングされた（ｕ、ｖ）座標点の座量であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
好ましくは、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を前記第２球面パノラマ画像に変換することは、
次の式、
に従って、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を前記第２球面パノラマ画像に変換することを含み得る。
ここで、（λ’、φ’）は前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の前記球面座標系における座標であり、λ’、φ’はそれぞれ前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ前記第１球面パノラマ画像の高さ及び幅である。
上記目的を達成するために、本願の実施の形態は、また、球面パノラマ画像に画像貼付けを実行するための装置を開示する。該装置は、確立モジュール、第１マッピングモジュール、第１決定モジュール、第１変換モジュール、第２変換モジュール、第２マッピングモジュール、回転モジュール、第３変換モジュール、第２決定モジュール、及び補間モジュールを含み得る。
前記確立モジュールは、第１球面パノラマ画像に対する球面座標系を確立するのに用いられ、
前記第１マッピングモジュールは、前記第１球面パノラマ画像を前記球面座標系に対応する球面上にマッピングして、前記第１球面パノラマ画像の球面投影画像を取得するのに用いられ、
前記第１決定モジュールは、前記球面投影画像に対するユーザの選択操作に従って、前記球面投影画像への貼付対象の画像の第１画像貼付領域を決定するのに用いられ、
前記第１変換モジュールは、前記第１画像貼付領域に対応する前記画像を平面画像に変換するのに用いられ、
前記第２変換モジュールは、貼付対象の前記画像の形状を前記平面画像の形状に変換するのに用いられ、
前記第２マッピングモジュールは、形状変換された貼付対象の前記画像を前記球面座標系にマッピングするのに用いられ、
前記回転モジュールは、前記球面座標系にマッピングされた貼付対象の前記画像を、前記第１画像貼付領域と前記画像とが重なる位置まで回転させるのに用いられ、
前記第３変換モジュールは、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を第２球面パノラマ画像に変換するのに用いられ、
前記第２決定モジュールは、前記第１球面パノラマ画像における前記第１画像貼付領域に対応する第２画像貼付領域を決定するのに用いられ、
前記補間モジュールは、前記第２球面パノラマ画像を第２画像貼付領域に補間して、前記第１球面パノラマ画像に貼付対象の前記画像の貼付けを完了するのに用いられる。
好ましくは、前記第１変換モジュールは、
前記第１画像貼付領域の中心点座標を決定し、
前記中心点座標に従って前記球面投影画像を回転させ、
座標が経度及び緯度で表される場合、回転された前記球面投影画像内の前記中心点座標は（０、０）であり、
回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像を次の式、
に従って前記平面画像に変換するのに用いられ得る。
ここで、（λ’、φ’）は回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の前記球面座標系内の座標であり、λ’、φ’はそれぞれ回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
好ましくは、前記第２変換モジュールは、
前記平面画像と貼付対象の前記画像とに従ってホモグラフィ行列を決定し、
前記ホモグラフィ行列に従って貼付対象の前記画像に平面透視変換を実行して、貼付対象の前記画像の形状を前記平面画像の形状に変換するのに用いられ得る。
好ましくは、前記第２マッピングモジュールは、
次の式
に従って、前記球面座標系への形状変換された貼付対象の前記画像をマッピングするのに用いられ得る。
ここで、（ｕ、ｖ）は形状変換された貼付対象の前記画像内の点の平面座標系における座標であり、（λ、φ）は前記球面座標系にマッピングされた（ｕ、ｖ）の座標の点の座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
好ましくは、前記第３変換モジュールは、
次の式、
に従って、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を前記第２球面パノラマ画像に変換するのに用いられ得る。
ここで、（λ’、φ’）は前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の前記球面座標系における座標であり、λ’、φ’はそれぞれ前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ前記第１球面パノラマ画像の高さ及び幅である。
上記目的を達成するために、本願の実施の形態は、また、電子機器を開示する。該電子機器は、プロセッサと、通信インタフェースと、メモリと、通信バスとを含み、前記プロセッサ、前記通信インタフェース、前記メモリは、前記通信バスを介して互いに通信する。
前記メモリは、コンピュータプログラムを格納するのに用いられ、
前記プロセッサは、前記メモリに格納されたコンピュータプログラムを実行するときに、請求項１〜５のいずれか一項に記載の方法を実行するのに用いられる。
上記目的を達成するために、本願の実施の形態は、また、コンピュータ可読記憶媒体を開示する。該コンピュータ可読記憶媒体は、プロセッサによって実行されると、前記プロセッサに上記方法のいずれか一つを実行させるコンピュータプログラムを格納する。
上記目的を達成するために、本願の実施の形態は、また、コンピュータプログラムを開示する。該コンピュータプログラムは、実行されると上記方法のいずれか一つを実行することができる。
本願は、球面パノラマ画像上に画像を貼り付けるための方法を提供する。該方法は、第１球面パノラマ画像に対する球面座標系を確立し、前記第１球面パノラマ画像を前記球面座標系に対応する球面上にマッピングして、前記第１球面パノラマ画像の球面投影画像を取得し、前記球面投影画像に対するユーザの選択操作に従って、前記球面投影画像への貼付対象の画像の第１画像貼付領域を決定し、前記第１画像貼付領域に対応する前記画像を平面画像に変換し、貼付対象の前記画像の形状を前記平面画像の形状に変換し、形状が変換された貼付対象の前記画像を前記球面座標系にマッピングし、前記球面座標系にマッピングされた貼付対象の前記画像を、前記第１画像貼付領域と前記画像とが重なる位置まで回転させ、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を第２球面パノラマ画像に変換し、前記第１球面パノラマ画像における前記第１画像貼付領域に対応する第２画像貼付領域を決定し、前記第２球面パノラマ画像を第２画像貼付領域に補間して、前記第１球面パノラマ画像に貼付対象の前記画像の貼付けを完了することを含む。
本願の実施形態では、第１画像貼付領域に対応する画像は、単眼透視画像化原理（monocular perspective imaging principle）に準拠した平面画像である平面画像に変換される。従って、平面画像に従って形状変換された後の貼付対象の画像も単眼透視画像化原理に従う。すなわち、形状が球面座標系に変換された貼付対象の画像をマッピングした後に、マッピング後の貼付対象の画像に歪みが生じず、球面パノラマ画像に歪みのない画像貼り付けを実施することができる。
なお、本願を実施するいかなる製品又は方法も、同時に上記の利点すべてを達成するために必ずしも必要ではない。
本願の実施形態又は従来技術における技術的解決策をより明確に説明するために、実施形態又は従来技術の説明において用いられる以下の図面について以下に簡単に説明する。
本願の実施形態において提供される球面パノラマ画像上に画像を貼り付けるための方法のフロー図である。 本願の実施形態において提供される第１球面パノラマ画像の概略図である。 本願の実施形態において提供される貼付対象の画像の概略図である。 本願の実施形態において提供される球面パノラマ画像上に貼付対象の画像をマッピングした第１結果の概略図である。 本願の実施形態において提供される球面パノラマ画像上に貼付対象の画像をマッピングした第２結果の概略図である。 本願の実施形態において提供される球面パノラマ画像上に画像を貼り付けるための装置の概略構造図である。 本願の実施形態において提供される電子機器の概略構造図である。
本願の実施形態における技術的解決策を、本願の実施形態の添付の図面を参照して以下に説明する。
図１は、本願の実施形態において提供される球面パノラマ画像上に画像を貼り付けるための方法の概略フロー図であり、以下を含むことができる。
Ｓ１０１：第１球面パノラマ画像に対する球面座標系を確立する。
具体的には、第１球面パノラマ画像Ａに対する球面座標系Ｍが確立される。第１球面パノラマ画像Ａは、水平方向に３６０度の視野をカバーし、垂直方向に１８０度の視野をカバーする画像であり、アスペクト比は２：１である。
例示的に、図２ａは、本願の実施形態において提供される第１球面パノラマ画像の概略図である。
典型的には、球面パノラマ画像は、エクイレクタングラー画像とも呼ばれ得る。
Ｓ１０２：第１球面パノラマ画像を球面座標系に対応する球面上にマッピングして、第１球面パノラマ画像の球面投影画像を取得する。
具体的には、第１球面パノラマ画像Ａの座標と球面座標系Ｍの座標とは一対一に対応しているため、第１球面パノラマ画像Ａは球面座標系Ｍの球面上に投影され、球面パノラマ画像Ａに対応する球面投影画像Ｂが得られる。
本願の実施形態では、球面パノラマ画像は平面画像（単眼画像化原理に準拠した２Ｄ画像）として理解することができる。この球面パノラマ画像は幅と高さを有し、球面パノラマ画像の座標系はｘｙ座標系である。また、球面投影画像は、正の球面曲面画像、楕円曲面画像などの曲面画像と理解することができる。球面投影画像は半径を有していてもよく、球面投影画像の座標系は経度及び緯度（λ、φ）座標系であってもよい。
具体的には、第１球面パノラマ画像Ａは、
式
に従って、球面座標系Ｍ内の球面上にマッピングすることができる。
ここで、（ｘ、ｙ）は第１球面パノラマ画像Ａ上の点の座標であり、（λ、φ）は球面座標系Ｍに投影される（ｘ、ｙ）の座標を有する点の座標であり、λ、φはそれぞれ球面座標系Ｍの球面上の点の経度及び緯度であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
Ｓ１０３：球面投影画像に対するユーザの選択操作に従って、球面投影画像への貼付対象の画像の第１画像貼付領域を決定する。
貼付対象の画像は予め取得しておいてもよい。具体的には、貼付対象の画像は、ユーザにより指定されてもよいし、他の装置から送信されてもよい。例えば、貼付対象の画像は、図２ｂに示す通りであり得る。
図２ａに対応する球面投影画像において、ユーザによって選択された画像貼付領域がビルボードであると仮定すると、第１画像貼付領域はビルボードに基づいて決定され得る。通常、ユーザは、所望の画像貼付領域の頂点に基づいて第１画像貼付領域を決定したい。ユーザが複数の頂点を選択することができ、これらの頂点からなる第１画像貼付領域が選択された頂点に基づいて決定され得ることを理解されたい。
実用的な用途では、ユーザは球面投影画像Ｂ上の点を選択することもでき、それから、第１画像貼付領域をその点に基づいて決定することができる。例えば、ユーザが選択した点が各点の画素値が互いに類似している領域内の点である場合、その領域を第１画像貼付領域等とすることができるが、この特定の方法に限られない。
Ｓ１０４：第１画像貼付領域に対応する画像を平面画像に変換して、平面画像の形状を取得する。
以上の説明によれば、球面投影画像は曲面画像であり、第１画像貼付領域は球面投影画像内の領域である。従って、第１画像貼付領域に対応する画像も曲面画像であり、Ｓ１０４では、第１画像貼付領域に対応する曲面画像が平面画像に変換される。
平面画像は球面投影画像の一部の領域（第１画像貼付領域）内の画像を変形することにより得られ、平面画像は正規の大きさの完全画像ではない。例えば、球面投影画像がビルボードを含み、ビルボードが配置されている領域内の画像が平面画像に変換された後、平面画像は台形又は他の非長方形の形状であり得、画像化原理は近大遠小（near-large and far-small）である。
具体的には、第１画像貼付領域の中心点座標を求めることができる。球面投影画像は中心点座標に従って回転させることができる。座標が経度及び緯度で表される場合、回転された球面投影画像における中心点座標の座標は（０、０）である。そして、回転された球面投影画像の第１画像貼付領域に対応する画像は、
式
に従って平面画像に変換される。
ここで、（λ’、φ’）は回転された球面投影画像内の第１画像貼付領域に対応する画像内の点の球面座標系内の座標であり、λ’、φ’はそれぞれ回転された球面投影画像内の前１画像貼付領域に対応する画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
実際の用途では、第１画像貼付領域の中心点は、式
に従って決定され得る。
ここで、λ０、φ０はそれぞれ、球面座標系Ｍにおける第１画像貼付領域の中心点の経度及び緯度であり、ｓはユーザが選択したポイント数であり、λｉ、φｉは、それぞれ、第１画像貼付領域内のｓ個の選択された点のうちのｉ番目の点の経度及び緯度である。
球面投影画像Ｂは、決定された中心点の座標（λ０、φ０）に従って回転される。座標が経度及び緯度で表される場合、（λ０、φ０）座標を有する中心点の回転された球面投影画像における座標は（０、０）である。
球面投影画像Ｂを回転させた後に得られる第１画像貼付領域内の点のステレオ直角座標系における座標は、
式
に従って決定される。
ここで、ｘ、ｙ、ｚはそれぞれステレオ直角座標系のｘ軸、ｙ軸、ｚ軸上の第１画像貼付領域内の各点の座標の値であり、（λ０、φ０）は第１画像貼付領域の中心点の座標であり、λ０、φ０は、第１画像貼付領域の中心点の経度及び緯度であり、λ、φは第１画像貼付領域内の点に対応する経度及び緯度である。
ｘ、ｙ、ｚによれば、球面座標系Ｍにおける第１画像貼付領域内の点の座標は、
式
により決定される。
ここで、（ｘ、ｙ）はｘ軸の値とｙ軸の値で表される第１画像貼付領域内の点の座標であり、ｘ、ｙはそれぞれｘ軸とｙ軸上の第１画像貼付領域内の点の値であり、（λ’、φ’）は球面座標系Ｍにおける第１画像貼付領域内の点の座標であり、λ’、φ’はそれぞれ第１画像貼付領域内の点の経度及び緯度である。
第１画像貼付領域に対応する画像は、
式
に従って平面画像に変換される。
ここで、（λ’、φ’）は回転された球面投影画像内にあり、第１画像貼付領域に対応する画像内の点の球面座標系での座標であり、λ’、φ’はそれぞれ回転された球面投影画像内にあり、第１画像貼付領域に対応する画像内の点の経度及び緯度であり、（ｕ、ｖ）は平面直角座標系において座標が（λ’、φ’）である対応する点の座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
Ｓ１０５：貼付対象の画像の形状を平面画像の形状に変換する。
上記の説明によれば、第１画像貼付領域の画像を平面画像に変換する場合、近大遠小の画像化原理に起因して、平面画像は台形又は他の非長方形の形状であり得る。ここでは平面画像の形状が台形であると仮定する。図２ｂに示すように、貼付対象の画像の形状は長方形であり、その長方形は台形に変換される。
具体的には、平面画像と貼付対象の画像とに従ってホモグラフィ行列を決定することができる。ホモグラフィ行列に従って貼付対象の画像に平面透視変換が実行され、貼付け対象の画像の形状が平面画像の形状に変換される。
実際の用途では、決定された第１画像貼付領域をＣとし、Ｓ１０４でＣに従って得られた平面画像をＤとする。平面画像Ｄの各頂点と貼付対象の画像Ｐの各頂点との対応関係に従って、ホモグラフィ行列Ｈが決定される。そして、Ｈと、
式
に従って、貼付対象の画像Ｐを平面透視変換して貼付対象の画像Ｐを平面画像Ｄの形状に変換し、変換された貼付対象の画像Ｐ’を得る。
Ｓ１０３でユーザが球面投影画像Ｂ上の点を選択した場合、平面画像Ｄと貼付対象の画像Ｐとの間のホモグラフィ行列Ｈは、
のようになる。そして、
に従って、貼付対象の画像Ｐに平面透視変換が実行される。
典型的には、行列
で貼付対象の画像Ｐに平面透視変換を実行した後に得られる画像の形状と、貼付対象の画像Ｐに変化はない。
Ｓ１０６：形状が変換された貼付対象の画像を球面座標系にマッピングする。
具体的には、形状が変換された貼付対象の画像は、
式
に従って、球面座標系にマッピングすることができる。
ここで、（ｕ、ｖ）は形状変換された貼付対象の画像内の点の平面座標系における座標であり、（λ、φ）は球面座標系にマッピングされた（ｕ、ｖ）の座標の点の座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
通常、形状が変換された貼付対象の画像は、割り当てられた視野角で球面座標系にマッピングされる（視野角の中心点の経度及び緯度はいずれもゼロである）。
Ｓ１０７：球面座標系にマッピングされた貼付対象の画像を、第１画像貼付領域と画像とが重なる位置まで回転させる。
なお、貼付対象の画像は予め取得されており、貼付対象の画像を球面座標系にマッピングした後は、貼付対象の画像と球面投影画像との位置関係は固定されていない。そのため、貼付対象の画像を球面投影画像内で第１画像貼付領域と一致する位置まで回転させる必要がある。
具体的には、球面座標系Ｍにマッピングされた貼付対象の画像をＰ”とし、貼付対象の画像Ｐ”を第１画像貼付領域と一致する位置まで回転させたとする。
実際の用途では、回転後の貼付対象の画像Ｐ”内の点の、ステレオ直角座標系における座標は、
式
に従って決定される。
ここで、ｘ’、ｙ’、ｚ’は回転された後の貼付対象の画像Ｐ”内の点のステレオ直角座標系におけるｘ軸、ｙ軸、ｚ軸の対応する値であり、λ０、φ０は、第１画像貼付領域の中心点の経度及び緯度であり、λ、φは回転された後の貼付対象の画像Ｐ”内の点に対応する経度及び緯度である。
ｘ’、ｙ’、ｚ’に従って、回転された後の貼付対象の画像Ｐ”内の点の球面座標系Ｍにおける座標は、
式
によって決定される。
ここで、（ｘ’、ｙ’）はｘ軸の値とｙ軸の値で表される回転された後の貼付対象の画像Ｐ”内の点の座標であり、ｘ’、ｙ’はそれぞれｘ軸とｙ軸上の回転された後の貼付対象の画像内の点の値であり、（λ’、φ’）は球面座標系Ｍにおける座標が（ｘ’、ｙ’）である点の座標であり、λ’、φ’はそれぞれ回転された後の貼付対象の画像内の点の経度及び緯度である。
Ｓ１０８：第１画像貼付領域が画像と重なる位置まで回転させた貼付対象の画像を第２球面パノラマ画像に変換する。
上記の説明によれば、球面パノラマ画像は、平面画像（単眼画像化原理に準拠した２Ｄ画像）として理解することができる。球面パノラマ画像は幅と高さを有し、球面パノラマ画像の座標系はｘｙ座標系とすることができる。ここで貼付対象の画像はＳ１０６でマッピングされた後に曲面画像に変換されている。Ｓ１０８では、曲面画像に変換された貼付対象の画像を、再び平面画像（第２球面パノラマ画像）に変換する必要がある。
具体的には、第１画像貼付領域と画像とが重なる位置まで回転された貼付対象の画像を、
式
に従って、第２球面パノラマ画像に変換することができる。
ここで、（λ’、φ’）は第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の球面座標系における座標であり、λ’、φ’はそれぞれ第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ前記第１球面パノラマ画像の高さ及び幅である。
実際の用途では、Ｓ１０７で取得した、第１画像貼付領域と一致する位置まで回転された貼付対象の画像内の点の座標（λ’、φ’）に従って、回転させた後の貼付対象の画像Ｐ”を、以下の式
で第２球面パノラマ画像に変換する。
ここで、（λ’、φ’）は回転された後の貼付対象の画像Ｐ”内の点の球面座標系における座標であり、λ’、φ’はそれぞれ回転された後の貼付対象の画像Ｐ”内の点の経度及び緯度であり、（ｘ、ｙ）は（λ’、φ’）の座標の点の平面直角座標系における座標であり、ｍ及びｎはそれぞれ第１球面パノラマ画像の長さ及び幅である。
Ｓ１０９：第１球面パノラマ画像における第１画像貼付領域に対応する第２画像貼付領域を決定する。
具体的には、第１球面パノラマ画像Ａにおける第１画像貼付領域に対応する第２画像貼付領域である。
説明を区別するために、ここでは、第１球面パノラマ画像における画像貼付領域を第２画像貼付領域と呼び、球面投影画像における画像貼付領域を第１画像貼付領域と呼ぶ。
Ｓ１０１０：第２球面パノラマ画像を第２画像貼付領域に補間して、第１球面パノラマ画像に貼付対象の画像の貼付けを完了する。
具体的には、Ｓ１０９で決定された第２画像貼付領域に基づいて、第２球面パノラマ画像を第２画像貼付領域に補間して、第１パノラマ画像に貼付対象の画像のマッピングを完了する。なお、ここでいう第２球面パノラマ画像は貼付対象の画像から変換され、貼付対象の画像を第１球面パノラマ画像にマッピングすることは、第２球面パノラマ画像を第１球面パノラマ画像内の画像貼付領域（第２画像貼付領域）に補間することにより完了することに留意されたい。
第２球面パノラマ画像を第２画像貼付領域に補間することは従来技術であり、ここでは説明しないことに留意されたい。
ユーザが球面投影画像内の点を選択した場合、例示的に、図２ｃは、本願の実施形態において提供される球面パノラマ画像上に貼付対象の画像をマッピングした結果の概略図である。
ユーザが球面投影画像内のビルボードの４つの頂点を選択した場合、例示的に、図２ｄは、本願の実施形態において提供される球面パノラマ画像上に貼付対象の画像をマッピングした結果の概略図である。
本願の実施形態を実施することにより、第１画像貼付領域に対応する画像は、単眼透視画像化原理に準拠した平面画像である平面画像に変換される。従って、平面画像に基づいてその形状が変換された後の貼付対象の画像も単眼透視画像化原理に従う。すなわち、形状が球面座標系に変換された貼付対象の画像をマッピングした後に、マッピング後の貼付対象の画像に歪みが生じず、球面パノラマ画像に歪みのない画像貼り付けを実施することができる。
図１に示す方法の実施形態に対応して、図３は、本願の実施形態において提供される球面パノラマ画像上に画像を貼り付けるための装置の概略構造図であり、確立モジュール３０１、第１マッピングモジュール３０２、第１決定モジュール３０３、第１変換モジュール３０４、第２変換モジュール３０５、第２マッピングモジュール３０６、回転モジュール３０７、第３変換モジュール３０８、第２決定モジュール３０９及び補間モジュール３０１０を含み得る。
確立モジュール３０１は、第１球面パノラマ画像に対する球面座標系を確立するのに用いられ、
第１マッピングモジュール３０２は、第１球面パノラマ画像を球面座標系に対応する球面上にマッピングして、第１球面パノラマ画像の球面投影画像を取得するのに用いられ、
第１決定モジュール３０３は、球面投影画像に対するユーザの選択操作に従って、球面投影画像への貼付対象の画像の第１画像貼付領域を決定するのに用いられ、
第１変換モジュール３０４は、第１画像貼付領域に対応する画像を平面画像に変換するのに用いられる。
具体的には、第１変換モジュール３０４は特に、
第１画像貼付領域の中心点座標を決定し、
中心点座標に従って球面投影画像を回転させ、
座標が経度及び緯度で表される場合、回転された球面投影画像内の中心点座標は（０、０）であり、
回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像を次の式、
に従って平面画像に変換するのに用いられる。
ここで、（λ’、φ’）は回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の前記球面座標系内の座標であり、λ’、φ’はそれぞれ回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
第２変換モジュール３０５は、貼付対象の画像の形状を平面画像の形状に変換するために用いられる。
具体的には、第２変換モジュール３０５は、特に、
平面画像と貼付対象の画像とに従ってホモグラフィ行列を決定し、
ホモグラフィ行列に従って貼付対象の画像に平面透視変換を実行して、貼付対象の画像の形状を平面画像の形状に変換するのに用いられる。
第２マッピングモジュール３０６は、形状変換された貼付対象の画像を球面座標系にマッピングするのに用いられる。
具体的には、第２マッピングモジュール３０６は、特に、
次の式、
に従って、球面座標系への形状変換された貼付対象の画像をマッピングするのに用いられる。
ここで、（ｕ、ｖ）は形状変換された貼付対象の画像内の点の平面座標系における座標であり、（λ、φ）は球面座標系にマッピングされた（ｕ、ｖ）の座標の点の座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
回転モジュール３０７は、球面座標系にマッピングされた貼付対象の画像を、第１画像貼付領域と画像とが重なる位置まで回転させるのに用いられる。
第３変換モジュール３０８は、第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像を第２球面パノラマ画像に変換するのに用いられる。
具体的には、第３変換モジュール３０８は、特に
次の式、
に従って、第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像を第２球面パノラマ画像に変換するのに用いられる。
ここで、（λ’、φ’）は第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の球面座標系における座標であり、λ’、φ’はそれぞれ第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ第１球面パノラマ画像の高さ及び幅である。
第２決定モジュール３０９は、第１球面パノラマ画像における第１画像貼付領域に対応する第２画像貼付領域を決定するために用いられる。
補間モジュール３０１０は、第２球面パノラマ画像を第２画像貼付領域に補間して、第１球面パノラマ画像に貼付対象の画像の貼付けを完了するのに用いられる。
本願の実施形態では、第１画像貼付領域に対応する画像は、単眼透視画像化原理に準拠した平面画像である平面画像に変換される。従って、平面画像に従って形状変換された後の貼付対象の画像も単眼透視画像化原理に従う。すなわち、形状が球面座標系に変換された貼付対象の画像をマッピングした後に、マッピング後の貼付対象の画像に歪みが生じず、球面パノラマ画像に歪みのない画像貼り付けを実施することができる。
本実施形態はまた、プロセッサ４０１、通信インタフェース４０２、メモリ４０３及び通信バス４０４を含む、図４に示されるような電子機器を提供する。プロセッサ４０１、通信インタフェース４０２、メモリ４０３間の相互の通信は、通信バス４０４を介して達成される。
メモリ４０３は、コンピュータプログラムを格納するのに用いられる。
プロセッサ４０１は、メモリ４０３に格納されたプログラムが実行されるときに以下のステップを実行するのに用いられる。
第１球面パノラマ画像に対する球面座標系を確立し、
第１球面パノラマ画像を球面座標系に対応する球面上にマッピングして、第１球面パノラマ画像の球面投影画像を取得し、
球面投影画像に対するユーザの選択操作に従って、球面投影画像への貼付対象の画像の第１画像貼付領域を決定し、
第１画像貼付領域に対応する画像を平面画像に変換し、
貼付対象の画像の形状を平面画像の形状に変換し、
形状が変換された貼付対象の画像を球面座標系にマッピングし、
球面座標系にマッピングされた貼付対象の画像を、第１画像貼付領域と画像とが重なる位置まで回転させ、
第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像を第２球面パノラマ画像に変換し、
第１球面パノラマ画像における第１画像貼付領域に対応する第２画像貼付領域を決定し、
第２球面パノラマ画像を第２画像貼付領域に補間して、第１球面パノラマ画像に貼付対象の画像の貼付けを完了する。
一実施例では、プロセッサ４０１は、メモリ４０３に格納されたプログラムが実行されるときに、以下のステップを実行するのにも用いられる。
第１画像貼付領域の中心点座標を決定し、
中心点座標に従って球面投影画像を回転させ、
座標が経度及び緯度で表される場合、回転された球面投影画像内の中心点座標は（０、０）であり、
回転された球面投影画像内の第１画像貼付領域に対応する画像を次の式、
に従って平面画像に変換する。
ここで、（λ’、φ’）は回転された球面投影画像内の第１画像貼付領域に対応する画像内の点の球面座標系内の座標であり、λ’、φ’はそれぞれ回転された球面投影画像内の第１画像貼付領域に対応する画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
一実施例では、プロセッサ４０１は、メモリ４０３に格納されたプログラムが実行されるときに、以下のステップを実行するのにも用いられる。
平面画像と貼付対象の画像とに従ってホモグラフィ行列を決定し、
ホモグラフィ行列に従って貼付対象の画像に平面透視変換を実行して、貼付対象の画像の形状を前記平面画像の形状に変換する。
一実施例では、プロセッサ４０１は、メモリ４０３に格納されたプログラムが実行されるときに、以下のステップを実行するのにも用いられる。
次の式、
に従って、球面座標系への形状変換された貼付対象の画像をマッピングする。
ここで、（ｕ、ｖ）は形状変換された貼付対象の画像内の点の平面座標系における座標であり、（λ、φ）は球面座標系にマッピングされた（ｕ、ｖ）の座標の点の座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
一実施例では、プロセッサ４０１は、メモリ４０３に格納されたプログラムが実行されるときに、以下のステップを実行するのにも用いられる。
次の式、
に従って、第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像を第２球面パノラマ画像に変換する。
ここで、（λ’、φ’）は第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の球面座標系における座標であり、λ’、φ’はそれぞれ第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ第１球面パノラマ画像の高さ及び幅である。
上述の電子機器で言及される通信バスは、Peripheral Component Interconnect（ＰＣＩ）バス又はExtended Industry Standard Architecture（ＥＩＳＡ）バスなどであり得る。通信バスは、アドレスバス、データバス、コントロールバスなどに分けられる。表現を容易にするために、図は１本の太線でのみ表されているが、これはバスが１本のみであること又は１種類のバスであることを表すものではない。
通信インタフェースは、上記電子機器及び他の機器との間の通信に用いられる。
メモリは、ランダムアクセスメモリ（ＲＡＭ）を含んでもよく、又は少なくとも１つのディスクメモリなどの不揮発性メモリ（ＮＶＭ）を含んでもよい。任意に、メモリは、前述のプロセッサから離れて配置されている少なくとも１つの記憶装置とすることもできる。
上記プロセッサは、中央処理装置（ＣＰＵ）、ネットワークプロセッサ（ＮＰ）などを含む一般的なプロセッサとすることができる。それはまた、デジタル信号処理（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであり得る。
図４に示すように本願の実施形態を実施することにより、第１画像貼付領域に対応する画像は、単眼透視画像化原理に準拠した平面画像である平面画像に変換される。従って、平面画像に従って形状変換された後の貼付対象の画像も単眼透視画像化原理に従う。すなわち、形状が球面座標系に変換された貼付対象の画像をマッピングした後に、マッピング後の貼付対象の画像に歪みが生じず、球面パノラマ画像に歪みのない画像貼り付けを実施することができる。
本願の実施形態はまた、コンピュータプログラムを格納するコンピュータ可読記憶媒体を提供する。プロセッサによって実行されると、コンピュータプログラムは以下のステップを実行することができる。
第１球面パノラマ画像に対する球面座標系を確立し、
前記第１球面パノラマ画像を前記球面座標系に対応する球面上にマッピングして、前記第１球面パノラマ画像の球面投影画像を取得し、
前記球面投影画像に対するユーザの選択操作に従って、前記球面投影画像への貼付対象の画像の第１画像貼付領域を決定し、
前記第１画像貼付領域に対応する前記画像を平面画像に変換し、
貼付対象の前記画像の形状を前記平面画像の形状に変換し、
形状が変換された貼付対象の前記画像を前記球面座標系にマッピングし、
前記球面座標系にマッピングされた貼付対象の前記画像を、前記第１画像貼付領域と前記画像とが重なる位置まで回転させ、
前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を第２球面パノラマ画像に変換し、
前記第１球面パノラマ画像における前記第１画像貼付領域に対応する第２画像貼付領域を決定し、
前記第２球面パノラマ画像を第２画像貼付領域に補間して、前記第１球面パノラマ画像に貼付対象の前記画像の貼付けを完了する。
一実施例では、コンピュータプログラムがプロセッサによって実行されているときに、以下のステップを実行することができる。
第１画像貼付領域の中心点座標を決定し、
中心点座標に従って球面投影画像を回転させ、
座標が経度及び緯度で表される場合、回転された球面投影画像内の中心点座標は（０、０）であり、
回転された球面投影画像内の第１画像貼付領域に対応する画像を次の式、
に従って前記平面画像に変換する。
ここで、（λ’、φ’）は回転された球面投影画像内の第１画像貼付領域に対応する画像内の点の球面座標系内の座標であり、λ’、φ’はそれぞれ回転された球面投影画像内の第１画像貼付領域に対応する画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
一実施例では、コンピュータプログラムがプロセッサによって実行されるときに、以下のステップを実行することができる。
平面画像と貼付対象の画像とに従ってホモグラフィ行列を決定し、
ホモグラフィ行列に従って貼付対象の画像に平面透視変換を実行して、貼付対象の画像の形状を平面画像の形状に変換する。
一実施例では、プロセッサ４０１は、メモリ４０３に格納されたプログラムが実行されるときに、以下のステップを実行するのにも用いられる。
形状変換された貼付対象の前記画像を前記球面座標系にマッピングすることは、
次の式、
に従って、球面座標系への形状変換された貼付対象の画像をマッピングする。
ここで、（ｕ、ｖ）は形状変換された貼付対象の画像内の点の平面座標系における座標であり、（λ、φ）は球面座標系にマッピングされた（ｕ、ｖ）の座標の点の座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
一実施例では、コンピュータプログラムがプロセッサによって実行されるときに、以下のステップを実行することができる。
次の式、
に従って、第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像を第２球面パノラマ画像に変換する。
ここで、（λ’、φ’）は第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の球面座標系における座標であり、λ’、φ’はそれぞれ第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ第１球面パノラマ画像の高さ及び幅である。
本願の実施形態はまた、実行されると球面パノラマ画像上に画像を貼り付けるための上記方法のうちのいずれか１つを実行することができるコンピュータプログラムを提供する。
上記の実施形態では、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組み合わせによって全体的に又は部分的に実施され得る。ソフトウェアを用いて実施される場合、全体として又は部分的にコンピュータプログラム製品の形で実施することができる。コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータにアップロードされ実行されると、本願の実施形態に記載されたプロセス又は機能が全体的に又は部分的に生成される。コンピュータは、一般的なコンピュータ、専用のコンピュータ、コンピュータネットワーク又は他のプログラム可能な装置とすることができる。コンピュータ命令は、コンピュータ可読記憶媒体に格納することができ、又はコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信することができる。例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ又はデータセンタから他のウェブサイト、コンピュータ、サーバ又はデータセンタに有線方式（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（ＤＳＬ））、又は、無線方式（例えば、赤外線、無線、マイクロ波など）で送信することができる。コンピュータ可読記憶媒体は、コンピュータによってアクセスすることができる任意の利用可能な媒体又は１つ又は複数の利用可能な媒体を含む、サーバ、データセンタなどのデータ記憶装置とすることができる。利用可能な媒体は、磁気媒体（例えばフロッピーディスク、ハードディスク、磁気テープ）、光学媒体（例えばＤＶＤ）又は半導体媒体（例えばソリッドステートディスク（ＳＳＤ）等であり得る。
本明細書における「第１」、「第２」などの関係用語は、ある物又は動作を別の物又は動作と区別するために使用されているのみであり、必ずしもこれらの間の実際の関係又は順序があることを要求又は示唆するものではない。さらに、用語「include」、「comprise」又はそれらの他の変形は、非排他的な包含をカバーすることを意図しており、一連の要素を含むプロセス、方法、物品又は装置は、列挙された要素だけでなく、特に列挙されていないもの、又は、プロセス、方法、物品又は装置に固有の要素も含む。さらに限定することなく、文「comprise(s) a…」又は「include(s) a...」によって定義される要素は、これらの要素から構成されるプロセス、方法、物品又は装置に他の同一の要素があることを排除するものではない。
本明細書における様々な実施形態は相互に連関して記載されており、様々な実施形態における同一又は類似の部分は互いに参照することができ、各実施形態に対する説明は全て他の実施形態との相違点に焦点を合わせている。特に、装置の実施形態、機器の実施形態、コンピュータ可読媒体の実施形態、コンピュータプログラムの実施形態は、それらが方法の実施形態と実質的に類似しているため、その説明は簡略化されており、その関連する内容は方法の実施形態の部分説明を参照することができる。
上述の方法の実施形態を実施する際のステップの全部又は一部の実施は、関連するハードウェアに命令するためのプログラムによって達成することができ、そのプログラムはコンピュータ可読記憶媒体に格納することができることを当業者は理解するであろう。ここで言及される記憶媒体は、例えば、ＲＯＭ／ＲＡＭ、ディスク、ＣＤなどである。
上記説明は、本願の好ましい実施形態にすぎず、本願を限定することを意図するものではない。本願の精神及び原理内の任意の変更、等価の置換、改良などは、本願の範囲内に含まれることが意図されている。
本願は、２０１６年９月２９日に中国国家知的財産権局に提出された「球面パノラマ画像にマッピングを行うための方法及び装置」という名称の中国特許出願第２０１６１０８６８０６０．４号の優先権を主張し、その全体が参照により本明細書に組み込まれる。

Claims (13)

  1. 球面パノラマ画像に画像貼付けを実行するための方法であって、
    第１球面パノラマ画像に対する球面座標系を確立し、
    前記第１球面パノラマ画像を前記球面座標系に対応する球面上にマッピングして、前記第１球面パノラマ画像の球面投影画像を取得し、
    前記球面投影画像に対するユーザの選択操作に従って、前記球面投影画像への貼付対象の画像の第１画像貼付領域を決定し、
    前記第１画像貼付領域に対応する前記画像を平面画像に変換し、
    貼付対象の前記画像の形状を前記平面画像の形状に変換し、
    形状変換された貼付対象の前記画像を前記球面座標系にマッピングし、
    前記球面座標系にマッピングされた貼付対象の前記画像を、前記第１画像貼付領域と前記画像とが重なる位置まで回転させ、
    前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を第２球面パノラマ画像に変換し、
    前記第１球面パノラマ画像における前記第１画像貼付領域に対応する第２画像貼付領域を決定し、
    前記第２球面パノラマ画像を第２画像貼付領域に補間して、前記第１球面パノラマ画像に貼付対象の前記画像の貼付けを完了する
    ことを含む、方法。
  2. 請求項１に記載の方法であって、
    前記第１画像貼付領域に対応する前記画像を前記平面画像に変換することは、
    前記第１画像貼付領域の中心点座標を決定し、
    前記中心点座標に従って前記球面投影画像を回転させ、
    座標が経度及び緯度で表される場合、回転された前記球面投影画像内の前記中心点座標は（０、０）であり、
    回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像を次の式、
    に従って前記平面画像に変換することを含む。
    ここで、（λ’、φ’）は回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の前記球面座標系内の座標であり、λ’、φ’はそれぞれ回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
  3. 請求項１に記載の方法であって、
    貼付対象の前記画像の形状を前記平面画像の形状に変換することは、
    前記平面画像と貼付対象の前記画像とに従ってホモグラフィ行列を決定し、
    前記ホモグラフィ行列に従って貼付対象の前記画像に平面透視変換を実行して、貼付対象の前記画像の形状を前記平面画像の形状に変換することを含む。
  4. 請求項１に記載の方法であって、
    形状変換された貼付対象の前記画像を前記球面座標系にマッピングすることは、
    次の式、
    に従って、前記球面座標系への形状変換された貼付対象の前記画像をマッピングすることを含む。
    ここで、（ｕ、ｖ）は形状変換された貼付対象の前記画像内の点の平面座標系における座標であり、（λ、φ）は前記球面座標系にマッピングされた（ｕ、ｖ）の座標の点の座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
  5. 請求項１に記載の方法であって、
    前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を前記第２球面パノラマ画像に変換することは、
    次の式、
    に従って、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を前記第２球面パノラマ画像に変換することを含む。
    ここで、（λ’、φ’）は前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の前記球面座標系における座標であり、λ’、φ’はそれぞれ前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ前記第１球面パノラマ画像の高さ及び幅である。
  6. 球面パノラマ画像に画像貼付けを実行するための装置であって、
    確立モジュール、第１マッピングモジュール、第１決定モジュール、第１変換モジュール、第２変換モジュール、第２マッピングモジュール、回転モジュール、第３変換モジュール、第２決定モジュール、及び補間モジュールを含み、
    前記確立モジュールは、第１球面パノラマ画像に対する球面座標系を確立するのに用いられ、
    前記第１マッピングモジュールは、前記第１球面パノラマ画像を前記球面座標系に対応する球面上にマッピングして、前記第１球面パノラマ画像の球面投影画像を取得するのに用いられ、
    前記第１決定モジュールは、前記球面投影画像に対するユーザの選択操作に従って、前記球面投影画像への貼付対象の画像の第１画像貼付領域を決定するのに用いられ、
    前記第１変換モジュールは、前記第１画像貼付領域に対応する前記画像を平面画像に変換するのに用いられ、
    前記第２変換モジュールは、貼付対象の前記画像の形状を前記平面画像の形状に変換するのに用いられ、
    前記第２マッピングモジュールは、形状変換された貼付対象の前記画像を前記球面座標系にマッピングするのに用いられ、
    前記回転モジュールは、前記球面座標系にマッピングされた貼付対象の前記画像を、前記第１画像貼付領域と前記画像とが重なる位置まで回転させるのに用いられ、
    前記第３変換モジュールは、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を第２球面パノラマ画像に変換するのに用いられ、
    前記第２決定モジュールは、前記第１球面パノラマ画像における前記第１画像貼付領域に対応する第２画像貼付領域を決定するのに用いられ、
    前記補間モジュールは、前記第２球面パノラマ画像を第２画像貼付領域に補間して、前記第１球面パノラマ画像に貼付対象の前記画像の貼付けを完了するのに用いられる、
    装置。
  7. 請求項６に記載の装置であって、
    前記第１変換モジュールは、
    前記第１画像貼付領域の中心点座標を決定し、
    前記中心点座標に従って前記球面投影画像を回転させ、
    座標が経度及び緯度で表される場合、回転された前記球面投影画像内の前記中心点座標は（０、０）であり、
    回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像を次の式、
    に従って前記平面画像に変換するのに用いられる。
    ここで、（λ’、φ’）は回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の前記球面座標系内の座標であり、λ’、φ’はそれぞれ回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
  8. 請求項６に記載の装置であって、
    前記第２変換モジュールは、
    前記平面画像と貼付対象の前記画像とに従ってホモグラフィ行列を決定し、
    前記ホモグラフィ行列に従って貼付対象の前記画像に平面透視変換を実行して、貼付対象の前記画像の形状を前記平面画像の形状に変換するのに用いられる。
  9. 請求項６に記載の装置であって、
    前記第２マッピングモジュールは、
    次の式、
    に従って、前記球面座標系への形状変換された貼付対象の前記画像をマッピングするのに用いられる。
    ここで、（ｕ、ｖ）は形状変換された貼付対象の前記画像内の点の平面座標系における座標であり、（λ、φ）は前記球面座標系にマッピングされた（ｕ、ｖ）の座標の点の座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
  10. 請求項６に記載の装置であって、
    前記第３変換モジュールは、
    次の式、
    に従って、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を前記第２球面パノラマ画像に変換するのに用いられる。
    ここで、（λ’、φ’）は前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の前記球面座標系における座標であり、λ’、φ’はそれぞれ前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ前記第１球面パノラマ画像の高さ及び幅である。
  11. プロセッサと、通信インタフェースと、メモリと、通信バスとを含み、前記プロセッサ、前記通信インタフェース、前記メモリは、前記通信バスを介して互いに通信する電子機器であって、
    前記メモリは、コンピュータプログラムを格納するのに用いられ、
    前記プロセッサは、前記メモリに格納されたコンピュータプログラムを実行するときに、請求項１〜５のいずれか一項に記載の方法を実行するのに用いられる。
  12. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、プロセッサによって実行されると、前記プロセッサに請求項１〜５のいずれか一項に記載の方法を実行させるコンピュータプログラムを格納する。
  13. コンピュータプログラムであって、前記コンピュータプログラムは、実行されると請求項１〜５のいずれか一項に記載の方法を実行することができる。
JP2019533267A 2016-09-29 2017-08-15 球面パノラマ画像へのマッピングを実行するための方法及び装置 Active JP6771106B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610868060.4A CN106548446B (zh) 2016-09-29 2016-09-29 一种在球面全景图像上贴图的方法及装置
CN201610868060.4 2016-09-29
PCT/CN2017/097489 WO2018059146A1 (zh) 2016-09-29 2017-08-15 一种在球面全景图像上贴图的方法及装置

Publications (2)

Publication Number Publication Date
JP2019526874A true JP2019526874A (ja) 2019-09-19
JP6771106B2 JP6771106B2 (ja) 2020-10-21

Family

ID=58368209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019533267A Active JP6771106B2 (ja) 2016-09-29 2017-08-15 球面パノラマ画像へのマッピングを実行するための方法及び装置

Country Status (10)

Country Link
US (1) US10789672B2 (ja)
EP (1) EP3522105B1 (ja)
JP (1) JP6771106B2 (ja)
KR (1) KR102183050B1 (ja)
CN (1) CN106548446B (ja)
AU (1) AU2017333469B2 (ja)
CA (1) CA3029590C (ja)
SG (1) SG11201900009RA (ja)
TW (1) TWI647656B (ja)
WO (1) WO2018059146A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548446B (zh) 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置
US10339627B2 (en) * 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
WO2018196682A1 (en) * 2017-04-27 2018-11-01 Mediatek Inc. Method and apparatus for mapping virtual-reality image to a segmented sphere projection format
CN107133918B (zh) * 2017-05-05 2020-06-12 陈健 一种在三维场景中任意位置生成全景图的方法
CN109472736A (zh) * 2017-09-07 2019-03-15 微鲸科技有限公司 图像处理方法及设备
CN108122283B (zh) * 2017-12-20 2021-05-11 成都索贝数码科技股份有限公司 一种利用坐标变换编辑vr影像的方法
CN108681987A (zh) * 2018-05-10 2018-10-19 广州腾讯科技有限公司 生成全景切片图的方法和装置
JP2020043387A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び、記憶媒体
CN109829851B (zh) * 2019-01-17 2020-09-18 厦门大学 一种基于球面对齐估计的全景图像拼接方法及存储设备
CN111080523B (zh) * 2019-12-17 2023-10-24 天津津航技术物理研究所 红外周视搜索系统及基于角度信息的红外周视图像拼接方法
CN111429529B (zh) * 2020-04-10 2024-02-20 浙江大华技术股份有限公司 一种坐标转换的标定方法、电子设备以及计算机存储介质
CN111582080B (zh) * 2020-04-24 2023-08-08 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置
CN112308986B (zh) * 2020-11-03 2024-04-12 豪威科技(武汉)有限公司 车载图像拼接方法、系统以及装置
CN112915534B (zh) * 2021-02-24 2021-09-07 武汉欢乐泡泡信息技术有限公司 游戏的图像计算方法及装置
JP7269300B2 (ja) 2021-06-24 2023-05-08 仁宝電脳工業股▲ふん▼有限公司 ドローンゲームのレンダリング方法
CN114168101A (zh) * 2021-12-01 2022-03-11 北京凯视达科技股份有限公司 一种将球形全景视频贴到立方体屏幕上显示的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233996A (ja) * 2006-02-06 2007-09-13 Olympus Imaging Corp 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP2010014710A (ja) * 2008-06-30 2010-01-21 Intel Corp 電子デバイスにおける温度測定
JP2012080433A (ja) * 2010-10-05 2012-04-19 Sony Computer Entertainment Inc パノラマ画像表示装置およびパノラマ画像表示方法
JP2012256274A (ja) * 2011-06-10 2012-12-27 Panasonic Corp 画像生成装置、画像生成方法、及びコンピュータプログラム
JP2013143725A (ja) * 2012-01-12 2013-07-22 Casio Comput Co Ltd 画像表示装置、画像表示方法及びプログラム
JP2016062486A (ja) * 2014-09-19 2016-04-25 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
JP4052357B2 (ja) * 1999-02-23 2008-02-27 松下電工株式会社 仮想環境体験表示装置
KR100739686B1 (ko) * 2004-08-13 2007-07-13 경희대학교 산학협력단 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치
US20100103175A1 (en) * 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
US20100250120A1 (en) * 2009-03-31 2010-09-30 Microsoft Corporation Managing storage and delivery of navigation images
TWM396430U (en) 2010-09-09 2011-01-11 Tlj Intertech Inc Multi-view-angle-range 3D jigsaw puzzle system
TWI528328B (zh) 2012-04-20 2016-04-01 財團法人資訊工業策進會 依據貼圖影像內容決定選擇細節層次之三維貼圖處理方法、裝置以及儲存其之電腦可讀取記錄媒體
US9330501B2 (en) * 2012-08-20 2016-05-03 Autodesk, Inc. Systems and methods for augmenting panoramic image data with performance related data for a building
CN102915526B (zh) * 2012-09-18 2014-12-17 合肥工业大学 基于互补场景模型的球面全景图缺失信息修复方法
CN103017653B (zh) * 2012-11-27 2015-06-24 武汉海达数云技术有限公司 一种球面全景影像与三维激光扫描点云的配准及测量方法
CN103092612B (zh) 2012-12-31 2016-12-28 深圳天珑无线科技有限公司 实现安卓操作系统3d桌面贴图的方法及电子装置
JP6292227B2 (ja) * 2013-04-30 2018-03-14 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN105205853A (zh) * 2014-06-20 2015-12-30 西安英诺视通信息技术有限公司 一种用于全景视图管理的3d图像拼接合成方法
TWI549478B (zh) 2014-09-04 2016-09-11 宏碁股份有限公司 產生三維影像的方法及其電子裝置
CN104183006A (zh) 2014-09-05 2014-12-03 国家电网公司 一种基于Web3D模型的动态贴图方法
US9729850B2 (en) * 2015-02-17 2017-08-08 Nextvr Inc. Methods and apparatus for receiving and/or using reduced resolution images
CN105654538A (zh) 2015-12-24 2016-06-08 成都君乾信息技术有限公司 一种用于3d模型的贴图数据重构处理系统及处理方法
CN105957008B (zh) * 2016-05-10 2019-08-16 厦门美图之家科技有限公司 基于移动终端的全景图像实时拼接方法及系统
CN105872386A (zh) * 2016-05-31 2016-08-17 深圳易贝创新科技有限公司 一种全景摄像装置以及全景图片生成方法
CN106548446B (zh) * 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233996A (ja) * 2006-02-06 2007-09-13 Olympus Imaging Corp 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP2010014710A (ja) * 2008-06-30 2010-01-21 Intel Corp 電子デバイスにおける温度測定
JP2012080433A (ja) * 2010-10-05 2012-04-19 Sony Computer Entertainment Inc パノラマ画像表示装置およびパノラマ画像表示方法
US20130314402A1 (en) * 2010-10-05 2013-11-28 Sony Computer Entertainment Inc. Apparatus and method for displaying images
JP2012256274A (ja) * 2011-06-10 2012-12-27 Panasonic Corp 画像生成装置、画像生成方法、及びコンピュータプログラム
JP2013143725A (ja) * 2012-01-12 2013-07-22 Casio Comput Co Ltd 画像表示装置、画像表示方法及びプログラム
JP2016062486A (ja) * 2014-09-19 2016-04-25 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Also Published As

Publication number Publication date
US20190311459A1 (en) 2019-10-10
CN106548446A (zh) 2017-03-29
TW201814656A (zh) 2018-04-16
CN106548446B (zh) 2019-08-09
EP3522105B1 (en) 2023-10-04
EP3522105A4 (en) 2019-09-25
AU2017333469A1 (en) 2019-01-24
CA3029590C (en) 2022-05-03
WO2018059146A1 (zh) 2018-04-05
AU2017333469B2 (en) 2019-10-31
SG11201900009RA (en) 2019-04-29
CA3029590A1 (en) 2018-04-05
US10789672B2 (en) 2020-09-29
TWI647656B (zh) 2019-01-11
KR102183050B1 (ko) 2020-11-26
JP6771106B2 (ja) 2020-10-21
KR20190026876A (ko) 2019-03-13
EP3522105A1 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
JP6771106B2 (ja) 球面パノラマ画像へのマッピングを実行するための方法及び装置
US10923004B2 (en) Information processing apparatus, information processing method, and computer program product for arranging a planar image within a panoramic image
CN108470379B (zh) 三维图像融合方法和装置
CN109547766B (zh) 一种全景图像生成方法及装置
EP2568436A1 (en) Image viewer for panoramic images
JP7089581B2 (ja) 測量調査標本点の計画方法、測量調査標本点計画装置、制御端末及びコンピュータ記憶媒体
US10726580B2 (en) Method and device for calibration
JP2019532531A (ja) パノラマ画像圧縮方法および装置
JP2020034554A (ja) インテリジェント路側ユニットの標定方法、装置および機器
JP6310320B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、プログラム
WO2021098361A1 (zh) 地形图编辑方法、装置、电子设备及计算机可读介质
CN109801354B (zh) 全景处理方法和装置
EP3692495A1 (en) Systems and methods for generating panorama image
US20220116581A1 (en) Information processing apparatus, information processing method, and program
JP7220784B2 (ja) 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体
CN111292245A (zh) 图像处理方法和装置
CN117315035B (zh) 一种车辆朝向的处理方法、装置以及处理设备
US11474679B2 (en) Image identification system
CN113763530B (zh) 图像处理方法、装置、计算设备及存储介质
US11875462B2 (en) Systems for augmented reality authoring of remote environments
JP2023174456A (ja) イメージ内の座標間の実際距離を算出する方法及び装置
CN115564879A (zh) 图像处理方法、装置、电子设备及存储介质
CN117354576A (zh) 一种录制布局的生成方法、装置及电子设备
CN110572578A (zh) 图像处理方法、装置、计算设备以及介质
JP2012185399A (ja) 地図画像処理装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200928

R150 Certificate of patent or registration of utility model

Ref document number: 6771106

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250