JP2019526875A - 投影画像構築方法及び装置 - Google Patents

投影画像構築方法及び装置 Download PDF

Info

Publication number
JP2019526875A
JP2019526875A JP2019533268A JP2019533268A JP2019526875A JP 2019526875 A JP2019526875 A JP 2019526875A JP 2019533268 A JP2019533268 A JP 2019533268A JP 2019533268 A JP2019533268 A JP 2019533268A JP 2019526875 A JP2019526875 A JP 2019526875A
Authority
JP
Japan
Prior art keywords
image
pixel
cylindrical surface
panoramic image
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019533268A
Other languages
English (en)
Other versions
JP7010952B2 (ja
Inventor
諸加丹
王涛
劉鴻彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Publication of JP2019526875A publication Critical patent/JP2019526875A/ja
Application granted granted Critical
Publication of JP7010952B2 publication Critical patent/JP7010952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本願は、投影画像を構築するための方法及び装置を提供する。投影画像を構築する方法は、円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得し、円筒面正積投影画像における各画素の２次元座標を取得し、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像の２次元座標を取得し、正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成する。パノラマ画像又はビデオの解像度及びビットレートは、本願の方法によって低減することができる。【選択図】図１

Description

本願は、画像処理の分野に関し、より詳細には投影画像を構築するための方法及び装置に関する。
近年、パノラマカメラ（Ｇｏｏｇｌｅジャンプ、ＯＺＯ、Ｅｙｅｓｉｒ、Ｔｅｃｈｅ、Ｕｐａｎｏなど）や高度なバーチャルリアリティ（ＶＲ）ディスプレイデバイス（Ｏｃｕｌｕｓ ＶＲ、Ｓａｍｓｕｎｇ Ｇｅａｒ ＶＲ、ＨＴＣ ｖｉｖｅなど）の出現により、パノラマビデオは、技術の研究開発及び製品コンテンツの革新に多くの注目を集めており、ＶＲ映画館、パノラマゲーム、パノラマ教育、パノラマ医療、パノラマツーリズムなどの様々な分野で広く用いられている。
ユーザが視聴するローカルビューコンテンツをプレーヤに明確に表示するには、通常、４Ｋ以上の超高解像度でパノラマビデオを撮影する必要がある。４Ｋ以上（３８４０ｐｘ ＊１９２０ｐｘ以上）の超高解像度ビデオは、大量の画素を有しているため、パノラマビデオの保存、圧縮、転送、デコード、レンダリングに大きなデータチャレンジをもたらす。大きなデータチャレンジでは、パノラマビデオの解像度とビットレートをどのように下げるかが、パノラマビデオで解決しなければならない重要な問題の１つとなっている。
上述の技術的問題を解決するために、本願の実施形態は、パノラマ画像又はビデオの解像度及びビットレートを低減するために投影画像を構築するための方法及び装置を提供する。技術的解決策を以下に説明する。
投影画像を構築する方法は、
円筒面正積投影モデル（cylindrical surface equal-area projection model）を用いて正距円筒パノラマ画像（equirectangular panoramic image）上に投影を行って円筒面正積投影画像（cylindrical surface equal-area projection image）を取得し、
前記円筒面正積投影画像における各画素の２次元座標を取得し、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
選択的に、前記円筒面正積投影画像の各画素の前記２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像内の２次元座標を取得することは、
前記円筒面正積投影画像の各画素の取得された２次元座標に対して式
Figure 2019526875
 を用いて座標変換を行い、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の前記２次元座標を取得することを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
選択的に、前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することを含む。
選択的に、前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することを含む。
投影画像を構築する装置は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得するのに用いられる、投影モジュールと、
前記円筒面正積投影画像における各画素の２次元座標を取得するのに用いられる、第１取得モジュールと、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得するのに用いられる、変換モジュールと、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第１生成モジュールと、
を備える。
選択的に、前記変換モジュールは、
前記円筒面正積投影画像の各画素の取得された２次元座標に対して式
Figure 2019526875
 を用いて座標変換を行い、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の前記２次元座標を取得するのに用いられる、変換ユニットを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
選択的に、前記第１生成モジュールは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第１生成ユニットを含む。
選択的に、前記第１生成モジュールは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第２生成ユニットを含む。
プロセッサと、通信インターフェースと、メモリと、通信バスとを備え、前記プロセッサ、前記通信インターフェース、前記メモリは、前記通信バスを介して互いに通信する電子機器であって、
前記メモリは、コンピュータプログラムを格納するのに用いられ、
前記プロセッサは、前記メモリに格納されたコンピュータプログラムを実行するときに、本願の実施の形態に係る投影画像を構築する方法のステップを実行するのに用いられる。投影画像を構築する方法は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得し、
前記円筒面正積投影画像における各画素の２次元座標を取得し、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、プロセッサによって実行されると、本願の実施の形態に係る投影画像を構築する方法のステップを実行させるコンピュータプログラムを格納する。投影画像を構築する方法は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得し、
前記円筒面正積投影画像における各画素の２次元座標を取得し、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
従来技術と比較して、本願には以下の利点がある。
パノラマ画像又はパノラマビデオのストレージフォーマットとしての正距円筒パノラマ画像は、現在、パノラマ画像又はパノラマビデオのより高い解像度及びより大きなビットレートの原因となる。これは、正距円筒パノラマ画像の同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きいためである。本願では、パノラマ画像又はパノラマ動画の解像度及びビットレートを低減するために、パノラマ画像のストレージフォーマットとして、正距円筒パノラマ画像の代わりに円筒面正積投影変換されたパノラマ画像を用いる。
パノラマ画像又はパノラマビデオのストレージフォーマットとして、円筒面正積投影変換されたパノラマ画像を用いることにより、パノラマ画像又はビデオの解像度及びビットレートを低減することができる。これは、正距円筒パノラマ画像を円筒面正積投影モデルで投影することで、赤道付近のテクスチャに変形や小さな変形がないことが保証されるため、パノラマ画像又はパノラマビデオの精細度が保証され、正距円筒パノラマ画像と比較して、投影によって得られた円筒面正積投影画像の２つの極のテクスチャは、ｙ軸方向にさらに圧縮され、それによって、２つの極のテクスチャ面積及び赤道付近のテクスチャ面積とが等しくなることが保証されるからである。従って、画素補間後に得られる円筒面正積投影変換されたパノラマ画像によって、パノラマ画像又はパノラマビデオの解像度及びビットレートを低減させることができる。
本願の実施形態の技術的解決策を説明するために、実施形態の説明に必要とされる図面の簡単な紹介が与えられる。明らかに、以下の説明における図面は本願のいくつかの実施形態を示すに過ぎず、当業者は創造的な努力なしにこれらの図面から他の図面を導き出すことができる。
図１は、本願に係る投影画像を構築するための方法のフロー図である。 図２は、本願に係る正距円筒パノラマ画像の概略図である。 図３は、本願による円筒面正積投影画像の概略図である。 図４（ａ）は、正距円筒パノラマ画像の座標系を示す。 図４（ｂ）は、緯度及び経度で表される球面パノラマ画像の球面座標系を示す。 図５は、本願に係る投影画像を構築するための装置の論理構造の概略図である。
本願の実施形態の図面を参照して、本願の実施形態の技術的解決策を以下に明確かつ完全に説明する。明らかに、記載された実施形態は、本願の全ての実施形態の代わりのいくつかの実施形態にすぎない。いかなる創造的な努力なしに本願の実施形態に基づいて当業者によって得られる他のすべての実施形態は、本願の範囲内である。
実施の形態１
図１は、本願に係る投影画像を構築するための方法のフロー図を示しており、この方法は以下のステップＳ１１〜Ｓ１４を含み得る。
ステップＳ１１では、円筒面正積投影モデルを用いて正距円筒パノラマ画像に投影を行い、円筒面正積投影画像を取得する。
正距円筒パノラマ画像は、球面パノラマ画像、すなわちパノラマ画像又はパノラマビデオ用のストレージフォーマットである。正距円筒パノラマ画像と球面パノラマ画像との間の対応は、以下の通りである。
Figure 2019526875
 （λ、φ）は球面パノラマ画像の球面座標を表し、（ｘ、ｙ）は正距円筒パノラマ画像の画像座標を表す。
図２は、球面パノラマ画像を正距円筒パノラマ画像のフォーマットで格納したときに得られる正距円筒パノラマ画像を示す。図２に示すように、正距円筒パノラマ画像の変形則は、２つの極の円が水平方向に楕円に引き伸ばされるということである。つまり、正距円筒のサンプリングによって極付近のテクスチャが水平方向に引き伸ばされる。すなわち、同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きい。図２に示すように、正距円筒パノラマ画像の変形則は、球面パノラマ画像（すなわち、パノラマ画像又はパノラマビデオ）の高解像度及びより大きいビットレートをもたらす。
極での変形を減らして補正し、それによって球面パノラマ画像（すなわち、パノラマ画像又はパノラマビデオ）の解像度及びビットレートを低減するために、実施形態における円筒面正積投影モデルを用いて、正距投影パノラマ画像への投影が実行される。
円筒面正積投影モデルを用いて正距円筒パノラマ画像に投影することにより、球面パノラマ画像（すなわち、パノラマ画像又はパノラマビデオ）の解像度及びビットレートを低減させることができる原理は、以下の通りである。
図３は、円筒面正積投影モデルを用いて正距円筒パノラマ画像に投影して得られた円筒面正積投影画像を示している。図３に示すように、円筒面正積投影画像の変形則は、正距円筒パノラマ画像における２つの極の円がさらにｙ軸方向に圧縮されていることである。円筒面正積投影画像の変形則は、球面パノラマ画像における２次元サンプリング（球面ラジアンサンプリング）の均一性を保証し、その結果、極の円の面積は赤道の中心の円の面積と等しくなる。従って、球面パノラマ画像（すなわち、パノラマ画像又はパノラマビデオ）の解像度及びビットレートが低減する。
具体的には、円筒面正積投影モデルを用いて正距円筒パノラマ画像に投影することは、
円筒面正積投影式
Figure 2019526875
 を使用して正距円筒パノラマ画像に投影を実行する。
式
Figure 2019526875
 において、
ｘは円筒面正積投影画像の横座標、ｙは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータである。
φ０の値を設定することで、円筒面正積投影画像のアスペクト比を変えることができるため、円筒面正積投影画像の大きさをカスタマイズすることができる。
このステップでは、投影により得られた円筒面正積投影画像には、各画素の２次元座標が存在するが、各画素に対する画素値は存在しない。
ステップＳ１２では、円筒面正積投影画像の各画素の２次元座標が取得される。
円筒面正積投影画像が取得された後、円筒面正積投影変換された完全なパノラマ画像を得るためには、円筒面正積投影画像を画素で埋める必要がある。円筒面正積投影画像を画素で埋めるためには、まず、円筒面正積投影画像の座標系を正距円筒パノラマ画像の座標系に変換する必要があり、それにより、円筒面正積投影画像の各座標に対応する画素値を、正距円筒パノラマ画像に対応する元の球面パノラマ画像中に見つけることができる。具体的な処理は、ステップＳ１２〜Ｓ１４を含む。
ステップＳ１３では、円筒面正積投影画像における各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得する。
ステップＳ１４では、正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において得られた２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成する。
パノラマ画像又はパノラマビデオのストレージフォーマットとしての正距円筒パノラマ画像は、現在、パノラマ画像又はパノラマビデオのより高い解像度及びより大きなビットレートの原因となる。これは、正距円筒パノラマ画像の同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きいためである。本願では、パノラマ画像又はパノラマ動画の解像度及びビットレートを低減するために、パノラマ画像のストレージフォーマットとして、正距円筒パノラマ画像の代わりに円筒面正積投影変換されたパノラマ画像を用いる。
パノラマ画像又はパノラマビデオのストレージフォーマットとして、円筒面正積投影変換されたパノラマ画像を用いることにより、パノラマ画像又はビデオの解像度及びビットレートを低減することができる。これは、正距円筒パノラマ画像を円筒面正積投影モデルで投影することで、赤道付近のテクスチャに変形や小さな変形がないことが保証されるため、パノラマ画像又はパノラマビデオの精細度が保証され、正距円筒パノラマ画像と比較して、投影によって得られた円筒面正積投影画像の２つの極のテクスチャは、ｙ軸方向にさらに圧縮され、それによって、２つの極のテクスチャ面積及び赤道付近のテクスチャ面積とが等しくなることが保証されるからである。従って、画素補間後に得られる円筒面正積投影変換されたパノラマ画像によって、パノラマ画像又はパノラマビデオの解像度及びビットレートを低減させることができる。
円筒面正積投影モデルを用いて正距円筒パノラマ画像に投影することで、２つの極のテクスチャをさらにｙ軸方向に圧縮する。これは、極付近の画像の精細度の低下につながるが、ほとんどの場合、注意は、パノラマ画像又はパノラマビデオの赤道付近の領域に集中している。従って、多くの用途において、極付近の画像の精細度の低減は表示効果に与える影響が少ない。
本願では、円筒面正積投影画像における各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得する処理は、具体的には、
円筒面等面積投影画像における各画素の取得された２次元座標に対して、式
Figure 2019526875
 を用いて座標変換を行い、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得する。
式
Figure 2019526875
 において、ｘは正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは円筒面正積投影画像の画素の横座標を表し、ｖは円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
式
Figure 2019526875
 を生成するプロセスは、具体的には以下を含む。
球形パノラマ画像を円筒面等面積投影画像に投影するための式
Figure 2019526875
 を取得し、
ここで、式
Figure 2019526875
 において、ｘは円筒面正積投影画像の横座標、ｙは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータであり、
正距円筒パノラマ画像から球状パノラマ画像への座標変換関係
Figure 2019526875
 を取得し、
ここで、
Figure 2019526875
 において、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、ｘは正距円筒パノラマ画像内の画素の横座標を表し、ｙは正距円筒パノラマ画像の画素の縦座標を表す。
正距円筒パノラマ画像から球面パノラマ画像への座標変換関係は、図４（ａ）及び図４（ｂ）に見ることができる。図４（ａ）は、正距円筒パノラマ画像の座標系を示し、図４（ｂ）は、緯度経度で表した球面パノラマ画像の球面座標系を示している。
式
Figure 2019526875
 は、
球面パノラマ画像を円筒面正積投影画像に投影するための式
Figure 2019526875
 と正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
Figure 2019526875
 とを数学的に組み合わせることによって得られる。
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成する処理は、
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、保管アルゴリズム（バイリニア補間アルゴリズム又はスプライン補間アルゴリズムなどの任意の既存の補間鳴子リズムであり得る）を用いて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを含む。
具体的には、バイリニア補間アルゴリズムを用いて円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することは、
正距円筒パノラマ画像の各画素の色情報と、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像において取得された２次元座標とをバイリニア補間モデルに入力し、
バイリニア補間モデルにより出力される円筒面正積投影変換されたパノラマパノラマ画像の各画素の画素値を取得する。
バイリニア補間モデルは、バイリニア補間アルゴリズムによって作成されたモデルである。
スプライン補間アルゴリズムを用いて円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することは、
正距円筒パノラマ画像の各画素の色情報と、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像において取得された２次元座標とをバイリニア補間モデルに入力し、
バイリニア補間モデルにより出力される円筒面正積投影変換されたパノラマパノラマ画像の各画素の画素値を取得する。
スプライン補間モデルは、スプライン補間アルゴリズムによって作成されたモデルである。
以上説明した実施形態について、具体例を参照しつつ説明する。
ステップ１：円筒面正積投影モデルを用いて正距円筒パノラマ画像に投影を行って円筒面正積投影画像を取得する。
例えば、円筒面正積投影画像の幅ｗ及び高さｈを予め設定することができる。
このステップでは、投影により得られた円筒面正積投影画像には、各画素の２次元座標ｕ、ｖが存在するが、各画素について画素値は存在しない。
ステップ２：円筒面正積投影画像における各画素の２次元座標（ｕ、ｖ）を取得する。
ステップ３：円筒面正積投影画像における各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得することは、具体的には、
円筒面正積投影画像における各画素の取得された２次元座標を式
Figure 2019526875
 を用いて、
座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得するプロセスを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。ｕの値は０からｗ−１の範囲、すなわち［０、ｗ−１］であり、ｖの値は０からｈ−１の範囲、すなわち［０、ｈ−１］である。ｗは円筒面正積投影画像の幅、ｈは円筒面正積投影画像の高さを表す。
式
Figure 2019526875
 を生成するプロセスは、具体的には、以下を含む。
球面パノラマ画像を円筒面正積投影画像に投影するための式
Figure 2019526875
 を取得し、
ここで、式
Figure 2019526875
 において、ｕは円筒面正積投影画像の横座標、ｖは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標を表し、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータであり、
正距円筒パノラマ画像から球状パノラマ画像への座標変換関係
Figure 2019526875
 を取得し、
ここで、
Figure 2019526875
 において、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、ｘは正距円筒パノラマ画像内の画素の横座標を表し、ｙは正距円筒パノラマ画像の画素の縦座標を表す。
正距円筒パノラマ画像から球面パノラマ画像への座標変換関係は、図４（ａ）及び図４（ｂ）に見ることができる。図４（ａ）は、正距円筒パノラマ画像の座標系を示し、図４（ｂ）は、緯度経度で表した球面パノラマ画像の球面座標系を示している。
正距円筒パノラマ画像と円筒面正積投影画像との間の変換式
Figure 2019526875
 は、球面パノラマ画像を円筒面正積投影画像に投影するための式
Figure 2019526875
 と正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
Figure 2019526875
 とを数学的に組み合わせることによって得られる。
ステップ４：正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において得られた２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成する。
実施の形態２
上述した方法の実施形態によれば、この実施形態は、図５に示すように、投影画像を構築するための装置を提供する。投影画像を構築するための装置は、投影モジュール５１、第１取得モジュール５２、変換モジュール５３、第１生成モジュール５４を含む。
投影モジュール５１は、円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得するのに用いられる。
第１取得モジュール５２は、円筒面正積投影画像における各画素の２次元座標を取得するのに用いられる。
変換モジュール５３は、円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像の２次元座標を取得するのに用いられる。
第１生成モジュール５４は、正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するのに用いられる。
本実施形態では、変換モジュール５３は、具体的には、
円筒面正積投影画像の各画素の取得された２次元座標に対して式
Figure 2019526875
 を用いて座標変換を行い、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の前記２次元座標を取得するのに用いられる、変換ユニットを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
この実施形態では、投影画像を構築するための装置は、第２取得モジュール、第３取得モジュール、第２生成モジュールをさらに備える。
第２取得モジュール、第３取得モジュール、第２生成モジュールは、式
Figure 2019526875
 を生成するのに用いられる。
第２取得モジュールは、球面パノラマ画像を円筒面正積投影画像に投影するための式
Figure 2019526875
 を取得するために用いられる。ここで、ｘは円筒面正積投影画像の横座標、ｙは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータである。
第３取得モジュールは、正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
Figure 2019526875
 を取得するために用いられ、
ここで、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、ｘは正距円筒パノラマ画像内の画素の横座標を表し、ｙは正距円筒パノラマ画像の画素の縦座標を表す。
第２生成モジュールは、球面パノラマ画像を円筒面正積投影画像に投影するための式
Figure 2019526875
 と、正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
Figure 2019526875
 とを数学的に組み合わせることによって、
式
Figure 2019526875
 を得るために用いられる。
実施形態において、第１生成モジュール５４は、具体的には、第１生成ユニット又は第２生成ユニットを含み得る。
第１生成ユニットは、正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するように構成されている。
第２生成ユニットは、正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するのに用いられる。
上記実施形態の他の実施形態では、投影画像を構築するための装置は、第２取得モジュールと、第３取得モジュールと、第２生成モジュールとをさらに備える。
第２取得モジュール、第３取得モジュール、第２生成モジュールは、式
Figure 2019526875
 を生成するのに用いられる。
第２取得モジュールは、球面パノラマ画像を円筒面正積投影画像に投影するための式
Figure 2019526875
 を取得するために用いられる。ここで、ｘは円筒面正積投影画像の横座標、ｙは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータである。
ｕの値は０からｗ−１の範囲、すなわち［０、ｗ−１］であり、ｖの値は０からｈ−１の範囲、すなわち［０、ｈ−１］である。ｗは円筒面正積投影画像の幅、ｈは円筒面正積投影画像の高さを表す。
第３取得モジュールは、正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
Figure 2019526875
 を取得するために用いられる。
ここで、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、ｘは正距円筒パノラマ画像内の画素の横座標を表し、ｙは正距円筒パノラマ画像の画素の縦座標を表す。
第２生成モジュールは、球面パノラマ画像を円筒面正積投影画像に投影するための式
Figure 2019526875
 と、正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
Figure 2019526875
 とを数学的に組み合わせることによって、
式
Figure 2019526875
 を得るために用いられる。
実施の形態３
上述の方法の実施形態によれば、実施形態は、プロセッサと、通信インターフェースと、メモリと、通信バスとを備える電子機器を提供し、プロセッサ、通信インターフェース、メモリは、通信バスを介して互いに通信する。
メモリはコンピュータプログラムを格納するのに用いられる。
プロセッサは、メモリに格納されたプログラムを実行するときに、本願の実施形態に係る投影画像を構築するための方法を実行するのに用いられる。投影画像を構築するための方法は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得し、
円筒面正積投影画像における各画素の２次元座標を取得し、
円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像の２次元座標を取得し、
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
パノラマ画像又はパノラマビデオのストレージフォーマットとしての正距円筒パノラマ画像は、現在、パノラマ画像又はパノラマビデオのより高い解像度及びより大きなビットレートの原因となる。これは、正距円筒パノラマ画像の同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きいためである。本願では、パノラマ画像又はパノラマ動画の解像度及びビットレートを低減するために、パノラマ画像のストレージフォーマットとして、正距円筒パノラマ画像の代わりに円筒面正積投影変換されたパノラマ画像を用いる。
パノラマ画像又はパノラマビデオのストレージフォーマットとして、円筒面正積投影変換されたパノラマ画像を用いることにより、パノラマ画像又はビデオの解像度及びビットレートを低減することができる。これは、正距円筒パノラマ画像を円筒面正積投影モデルで投影することで、赤道付近のテクスチャに変形や小さな変形がないことが保証されるため、パノラマ画像又はパノラマビデオの精細度が保証され、正距円筒パノラマ画像と比較して、投影によって得られた円筒面正積投影画像の２つの極のテクスチャは、ｙ軸方向にさらに圧縮され、それによって、２つの極のテクスチャ面積及び赤道付近のテクスチャ面積とが等しくなることが保証されるからである。従って、画素補間後に得られる円筒面正積投影変換されたパノラマ画像によって、パノラマ画像又はパノラマビデオの解像度及びビットレートを低減させることができる。
実施の形態２
上述の方法の実施形態によれば、この実施形態は、プロセッサによって実行されると、プロセッサに、本発明の実施形態に係る投影画像を構築する方法を実行させるコンピュータプログラムを格納するコンピュータ可読記憶媒体を提供する。投影画像を構築するための方法は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得し、
円筒面正積投影画像における各画素の２次元座標を取得し、
円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像の２次元座標を取得し、
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
パノラマ画像又はパノラマビデオのストレージフォーマットとしての正距円筒パノラマ画像は、現在、パノラマ画像又はパノラマビデオのより高い解像度及びより大きなビットレートの原因となる。これは、正距円筒パノラマ画像の同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きいためである。本願では、パノラマ画像又はパノラマ動画の解像度及びビットレートを低減するために、パノラマ画像のストレージフォーマットとして、正距円筒パノラマ画像の代わりに円筒面正積投影変換されたパノラマ画像を用いる。
パノラマ画像又はパノラマビデオのストレージフォーマットとして、円筒面正積投影変換されたパノラマ画像を用いることにより、パノラマ画像又はビデオの解像度及びビットレートを低減することができる。これは、正距円筒パノラマ画像を円筒面正積投影モデルで投影することで、赤道付近のテクスチャに変形や小さな変形がないことが保証されるため、パノラマ画像又はパノラマビデオの精細度が保証され、正距円筒パノラマ画像と比較して、投影によって得られた円筒面正積投影画像の２つの極のテクスチャは、ｙ軸方向にさらに圧縮され、それによって、２つの極のテクスチャ面積及び赤道付近のテクスチャ面積とが等しくなることが保証されるからである。従って、画素補間後に得られる円筒面正積投影変換されたパノラマ画像によって、パノラマ画像又はパノラマビデオの解像度及びビットレートを低減させることができる。
本明細書における様々な実施形態は、説明のために対応する方法を採用することに留意されたい。様々な実施形態における同一又は類似の部分は互いに参照することができ、各実施形態は他の実施形態との相違点に焦点を合わせている。装置の実施形態については、それらは方法の実施形態に類似しているため、その説明は比較的簡略である。関連部分は、方法の実施形態の説明の部分を参照することができる。
本明細書における「第１」、「第２」などの関係用語は、ある物又は動作を別の物又は動作と区別するために使用されているのみであり、必ずしもこれらの間の実際の関係又は順序があることを要求又は示唆するものではない。さらに、用語「include」、「comprise」又はそれらの他の変形は、非排他的な包含をカバーすることを意図しており、一連の要素を含むプロセス、方法、物品又は装置は、列挙された要素だけでなく、特に列挙されていないもの、又は、プロセス、方法、物品又は装置に固有の要素も含む。さらに限定することなく、文「comprise(s) a...」又は「include(s) a...」によって定義される要素は、これらの要素から構成されるプロセス、方法、物品又は装置に他の同一の要素があることを排除するものではない。
本願によって提供される投影画像を構築するための方法及び装置は、本明細書において詳細に説明されている。本願の原理及び実施形態は、特定の例を参照して説明された。上記の実施形態の説明は、単に本願の方法及びその中核的概念を理解するのを助けるためのものである。本願の教示に従って、実施形態及び適用範囲に変更があってもよいことが当業者には明らかであろう。従って、本明細書の明細書は本願を限定するものとして解釈されるべきではない。
本願は、２０１６年１２月２０日に中国国家知的財産権局に提出された「投影画像を構築するための方法及び装置」という名称の中国特許出願第２０１６１１１８７１３８．２号の優先権を主張し、その全体が参照により本明細書に組み込まれる。

Claims (10)

  1. 投影画像を構築する方法であって、
    円筒面正積投影モデル（cylindrical surface equal-area projection model）を用いて正距円筒パノラマ画像（equirectangular panoramic image）上に投影を行って円筒面正積投影画像（cylindrical surface equal-area projection image）を取得し、
    前記円筒面正積投影画像における各画素の２次元座標を取得し、
    前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
    前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える、
    方法。
  2. 請求項１に記載の方法であって、前記円筒面正積投影画像の各画素の前記２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像内の２次元座標を取得することは、
    前記円筒面正積投影画像の各画素の取得された２次元座標に対して式
    Figure 2019526875
     を用いて座標変換を行い、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の前記２次元座標を取得することを含む。
    ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
  3. 請求項１に記載の方法であって、前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することは、
    前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することを含む。
  4. 請求項１に記載の方法であって、前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することは、
    前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することを含む。
  5. 投影画像を構築する装置であって、
    円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得するのに用いられる、投影モジュールと、
    前記円筒面正積投影画像における各画素の２次元座標を取得するのに用いられる、第１取得モジュールと、
    前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得するのに用いられる、変換モジュールと、
    前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第１生成モジュールと、
    を備える、
    装置。
  6. 請求項５に記載の装置であって、
    前記変換モジュールは、
    前記円筒面正積投影画像の各画素の取得された２次元座標に対して式
    Figure 2019526875
     を用いて座標変換を行い、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の前記２次元座標を取得するのに用いられる、変換ユニットを含む。
    ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
  7. 請求項５に記載の装置であって、
    前記第１生成モジュールは、
    前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第１生成ユニットを含む。
  8. 請求項５に記載の装置であって、
    前記第１生成モジュールは、
    前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第２生成ユニットを含む。
  9. プロセッサと、通信インターフェースと、メモリと、通信バスとを備え、前記プロセッサ、前記通信インターフェース、前記メモリは、前記通信バスを介して互いに通信する電子機器であって、
    前記メモリは、コンピュータプログラムを格納するのに用いられ、
    前記プロセッサは、前記メモリに格納されたコンピュータプログラムを実行するときに、請求項１〜４のいずれか一項に記載の方法のステップを実行するのに用いられる、
    電子機器。
  10. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、プロセッサによって実行されると、前記プロセッサに請求項１〜４のいずれか一項に記載の方法のステップを実行させるコンピュータプログラムを格納する、
    コンピュータ可読記憶媒体。
JP2019533268A 2016-12-20 2017-08-30 投影画像構築方法及び装置 Active JP7010952B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201611187138.2A CN106780310B (zh) 2016-12-20 2016-12-20 一种投影图构建方法及装置
CN201611187138.2 2016-12-20
PCT/CN2017/099686 WO2018113339A1 (zh) 2016-12-20 2017-08-30 一种投影图构建方法及装置

Publications (2)

Publication Number Publication Date
JP2019526875A true JP2019526875A (ja) 2019-09-19
JP7010952B2 JP7010952B2 (ja) 2022-02-10

Family

ID=58894256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019533268A Active JP7010952B2 (ja) 2016-12-20 2017-08-30 投影画像構築方法及び装置

Country Status (10)

Country Link
US (1) US10991068B2 (ja)
EP (1) EP3561762A4 (ja)
JP (1) JP7010952B2 (ja)
KR (1) KR102327972B1 (ja)
CN (1) CN106780310B (ja)
AU (1) AU2017383979B2 (ja)
CA (1) CA3028863C (ja)
MY (1) MY201632A (ja)
TW (1) TWI635461B (ja)
WO (1) WO2018113339A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780310B (zh) 2016-12-20 2020-11-24 北京奇艺世纪科技有限公司 一种投影图构建方法及装置
CN108230454B (zh) * 2017-12-28 2021-09-28 瑞庭网络技术（上海）有限公司 一种全景图片的切图方法、装置及存储介质
CN111091491B (zh) * 2019-12-20 2023-05-05 知鱼科技丹阳有限公司 一种等距圆柱投影的全景视频像素再分配方法及系统
CN111954054B (zh) * 2020-06-05 2022-03-04 筑觉绘(上海)科技有限公司 图像处理方法、系统、存储介质及计算机设备
JP2023154169A (ja) * 2022-04-06 2023-10-19 キヤノン株式会社 画像処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309802A (ja) * 2006-08-17 2006-11-09 Sony Corp 画像処理装置及び画像処理方法
JP2014134856A (ja) * 2013-01-08 2014-07-24 Nec Corp 被写体識別装置、被写体識別方法および被写体識別プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6043837A (en) 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
TW358189B (en) 1998-01-15 1999-05-11 Ind Tech Res Inst A field-surrounding image simulation real-time play system and method
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
TW413796B (en) 1998-06-25 2000-12-01 Ind Tech Res Inst A method and system for establishing environment image
CN100390666C (zh) 2004-12-17 2008-05-28 上海杰图软件技术有限公司 基于圆鱼眼或鼓形图像快速生成高清晰度全景的智能化方法
KR100882011B1 (ko) 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
KR100988872B1 (ko) * 2009-07-08 2010-10-20 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
CN101639621B (zh) * 2009-08-04 2011-11-16 厦门力鼎光电技术有限公司 以圆柱型模式或透视模式输出影像的方法
CN102831626B (zh) * 2012-06-18 2014-11-26 清华大学 极地投影模式下多变量时空数据的可视化方法
CN103617606B (zh) * 2013-11-26 2016-09-14 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN104392201B (zh) * 2014-09-28 2017-05-31 燕山大学 一种基于全向视觉的人体跌倒识别方法
CN105550984B (zh) 2015-12-30 2019-04-12 北京奇艺世纪科技有限公司 一种鱼眼图像校正和漫游显示的方法及装置
US20170302714A1 (en) * 2016-04-15 2017-10-19 Diplloid Inc. Methods and systems for conversion, playback and tagging and streaming of spherical images and video
US11042962B2 (en) * 2016-04-18 2021-06-22 Avago Technologies International Sales Pte. Limited Hardware optimisation for generating 360° images
CN106056531B (zh) 2016-05-13 2019-07-16 杭州当虹科技股份有限公司 一种360度全景视频球面展开到平面的显示方法
CN105933707B (zh) 2016-06-30 2019-02-22 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置
US10148939B2 (en) * 2016-07-19 2018-12-04 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
CN106127681B (zh) 2016-07-19 2019-08-13 刘牧野 一种图像采集方法、虚拟现实图像传输方法及显示方法
CN106780310B (zh) * 2016-12-20 2020-11-24 北京奇艺世纪科技有限公司 一种投影图构建方法及装置
US10614609B2 (en) * 2017-07-19 2020-04-07 Mediatek Inc. Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309802A (ja) * 2006-08-17 2006-11-09 Sony Corp 画像処理装置及び画像処理方法
JP2014134856A (ja) * 2013-01-08 2014-07-24 Nec Corp 被写体識別装置、被写体識別方法および被写体識別プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
若狭 一樹: "全天球カメラとスマートフォンを用いた都市の全方位緑視率測定手法の提案", 東京大学大学院新領域創成科学研究科社会文化環境学専攻 ２０１５年度修士論文, JPN7020004033, 24 March 2016 (2016-03-24), ISSN: 0004406345 *

Also Published As

Publication number Publication date
JP7010952B2 (ja) 2022-02-10
CA3028863C (en) 2022-03-29
CA3028863A1 (en) 2018-06-28
AU2017383979A1 (en) 2019-01-24
KR20190021394A (ko) 2019-03-05
US10991068B2 (en) 2021-04-27
CN106780310A (zh) 2017-05-31
TW201824176A (zh) 2018-07-01
MY201632A (en) 2024-03-06
US20190340726A1 (en) 2019-11-07
TWI635461B (zh) 2018-09-11
CN106780310B (zh) 2020-11-24
EP3561762A4 (en) 2019-12-11
EP3561762A1 (en) 2019-10-30
WO2018113339A1 (zh) 2018-06-28
AU2017383979B2 (en) 2020-02-27
KR102327972B1 (ko) 2021-11-17

Similar Documents

Publication Publication Date Title
JP7010952B2 (ja) 投影画像構築方法及び装置
KR102208773B1 (ko) 파노라마 영상 압축 방법 및 장치
US10595004B2 (en) Electronic device for generating 360-degree three-dimensional image and method therefor
WO2019153671A1 (zh) 图像超分辨率方法、装置及计算机可读存储介质
WO2018133692A1 (zh) 实现增强现实的方法、计算机设备及存储介质
US20170186243A1 (en) Video Image Processing Method and Electronic Device Based on the Virtual Reality
US11776209B2 (en) Image processing method and apparatus, electronic device, and storage medium
WO2016066147A2 (zh) 一种用于处理图像的方法与设备
WO2020228347A1 (zh) 基于超像素的对象三维模型生成方法、系统及存储介质
WO2023231918A1 (zh) 图像处理方法、装置、电子设备及存储介质
US20230336795A1 (en) Smart client for streaming of scene-based immersive media
CN116486009A (zh) 单目三维人体重建方法、装置以及电子设备
CN106503174B (zh) 一种基于网络三维建模的场景可视化方法及系统
Gutenko et al. Remote volume rendering pipeline for mHealth applications
CN107145319B (zh) 一种数据共享方法、设备和系统
US11991424B2 (en) Immersive media data complexity analyzer for transformation of asset formats
US20230147879A1 (en) Redundant cache for reusable immersive media assets
US20240104803A1 (en) Scene graph translation
US11930059B2 (en) Immersive media streaming prioritized by frequency of asset reuse
US11983214B2 (en) Reuse of redundant assets with client query
US20230146230A1 (en) Immersive media analyzer for reuse of scene assets
US20230144442A1 (en) Immersive media streaming prioritized by asset complexity
US20170186233A1 (en) Method and electronic device for implementing page scrolling special effect
CN116977194A (zh) 一种视频处理方法、装置及计算机设备、存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211108

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211108

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211116

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220113

R150 Certificate of patent or registration of utility model

Ref document number: 7010952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150