JP2019532531A - パノラマ画像圧縮方法および装置 - Google Patents

パノラマ画像圧縮方法および装置 Download PDF

Info

Publication number
JP2019532531A
JP2019532531A JP2019504789A JP2019504789A JP2019532531A JP 2019532531 A JP2019532531 A JP 2019532531A JP 2019504789 A JP2019504789 A JP 2019504789A JP 2019504789 A JP2019504789 A JP 2019504789A JP 2019532531 A JP2019532531 A JP 2019532531A
Authority
JP
Japan
Prior art keywords
spherical model
panoramic image
coordinates
image
dimensional orthogonal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019504789A
Other languages
English (en)
Other versions
JP6764995B2 (ja
Inventor
加丹 ▲諸▼
加丹 ▲諸▼
涛 王
涛 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Publication of JP2019532531A publication Critical patent/JP2019532531A/ja
Application granted granted Critical
Publication of JP6764995B2 publication Critical patent/JP6764995B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

パノラマ画像圧縮方法および装置を提供する。その方法は、圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するステップと、ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するステップと、第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立するステップと、第１のマッピング関係に従って、第１のパノラマ画像から第２のパノラマ画像における平面２次元直交座標に対応する画素をサンプリングし、第１のパラレル画像を圧縮するために、画素を含む第２のパノラマ画像を構成するステップとを備える。ユーザの主視野画像に対して相対的に高いサンプリングレートが使用され、それ以外の部分に対して相対的に低いサンプリングレートが使用されるので、第１のパノラマ画像はより小さな第２のパノラマ画像に圧縮される。

Description

本出願は、「パノラマ画像圧縮方法および装置」という名称で２０１６年１２月２９日に中華人民共和国の知識産権局に出願された中国特許出願第２０１６１１２４８８３６．９号に対する優先権を主張し、参照によってその全体をここに統合する。
本出願は、画像圧縮の技術分野に関し、特にパノラマ画像圧縮方法および装置に関する。
近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）の急速な発展に伴い、ＶＲで使用される様々なハードウェアとソフトウェアが次々に登場した。それらの中で、パノラマビデオＶＲは、技術の研究開発や製品のイノベーションの焦点となっており、バーチャルシネマ、パノラマゲーム、パノラマ教育、パノラマ医学療法、パノラマ観光旅行のような多くの分野で広く利用され、広い可能性と大きな経済価値を有する。
パノラマビデオは、通常、ユーザの視野角の一部の内容がプレーヤに明瞭に表示されることができるように、４Ｋを超える超高解像度でパノラマ画像をキャプチャすることを必要とする。４Ｋを超える超高解像度を持つパノラマ画像は３８４０×１９２０を超える多数の画素を有するため、これはパノラマ画像の格納、圧縮、送信、復号および、レンダリングに大きなデータ量の課題をもたらす。また、パノラマ画像はフルアングルの画像を含むが、見るときには、人間の目の制限のために、ユーザは制限された視野で画像コンテンツを見ることができるのみである。一般に、パノラマ画像では、表示エリアの画素は、人間の目に見える制限された視野角のビデオコンテンツにおいてパノラマ画像の全画素の１／１８のみを占める。
先行技術では、パノラマ画像の圧縮において、圧縮率が高い場合、ユーザが見るときにパノラマ画像が鮮明ではないが、圧縮率が高くない場合、パノラマ画像が大きすぎて記録、送信、および復号のために不利である。要するに、パノラマ画像の圧縮とユーザが見るときの精細度とを同時に保証することはできない。
本発明の実施形態は、元のパノラマ画像の一様ではないサンプリングと圧縮によって高い圧縮率を保証しながら、ユーザの主視野角での部分画像の精細度を改善するパノラマ画像圧縮方法および装置を提供することを目的とする。具体的な技術的解決策は以下の通りである。
本発明の実施形態はパノラマ画像圧縮方法を開示する。パノラマ画像圧縮方法は以下を含む。：
圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するステップ。この場合、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するステップ。この場合、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立するステップ。この場合、第２のパノラマ画像は第２の球形モデルを広げることによって取得されるパノラマ画像であり、第２のパノラマ画像における平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；および、
第１のマッピング関係に従って、第１のパノラマ画像から第２のパノラマ画像における平面２次元直交座標に対応する画素をサンプリングし、第１のパラレル画像の圧縮を実現するために、画素を含む第２のパノラマ画像を構成するステップ。
任意には、ユーザの主視野画像に従って第１の球形モデル内で第２の球形モデルを生成するステップは、以下を含む。：
第２のパノラマ画像の予め設定された解像度に従って第２の球形モデルの半径を決定するステップ。および、
ユーザの主視野画像に従って第１の球形モデル内で第２の球形モデルの球の中心の位置を決定するステップ。
任意には、第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立するステップは、以下を含む。：
第１のパノラマ画像における全画素の平面２次元直交座標と第１の球形モデルにおける座標との間で第１の対応を確立するステップ。；
第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立するステップ。；
第２の球形モデルにおける座標と第２のパノラマ画像における平面２次元直交座標との間で第３の対応を確立するステップ。：そして、
第３の対応に従って第２のパノラマ画像における平面２次元直交座標を第２の球形モデルにおける座標と関連付け、第２の対応に従って第２の球形モデルにおける座標を第１の球形モデルにおける座標と関連付け、第１の対応に従って第１の球形モデルにおける座標を第１のパノラマ画像における平面２次元直交座標と関連付け、第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座との間で第１のマッピング関係を確立するステップ。
任意には、第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立するステップの前に、その方法は、更に以下を含む。：
第２の球形モデルの球の中心が第１の球形モデルの３次元直交座標系のｘ軸上にない場合、第１の球形モデルの３次元直交座標系上で座標系の変換を実行するステップ。この場合、座標系の変換は、第２の球形モデルの球の中心が回転されたｘ軸上にあるように第１の球形モデルのｘ軸を回転させるステップを含む。
本発明の実施形態はパノラマ画像表示方法を開示する。パノラマ画像表示方法は以下を含む。：
圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するステップ。この場合、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するステップ。この場合、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
２次元投影面における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立するステップ。この場合、２次元投影面は第２の球形モデルを通して生成される投影面であり、２次元投影面の平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；および、
第２のマッピング関係に従って、第１のパノラマ画像から２次元投影面における平面２次元直交座標に対応する画素をサンプリングし、ユーザが直接見ることができる画素を含む２次元投影面を構成するステップ。
任意には、２次元投影面における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立するステップは、以下を含む。：
第１のパノラマ画像における全画素の平面２次元直交座標と第１の球形モデルにおける座標との間で第１の対応を確立するステップ。；
第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立するステップ。；
第２の球形モデルにおける座標と２次元投影面の平面２次元直交座標との間で第４の対応を確立するステップ。；および、
第４の対応に従って２次元投影面の平面２次元直交座標を第２の球形モデルにおける座標と関連付け、第２の対応に従って第２の球形モデルにおける座標を第１の球形モデルにおける座標と関連付け、第１の対応に従って第１の球形モデルにおける座標を第１のパノラマ画像における平面２次元直交座標と関連付け、２次元投影面の平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立するステップ。
本発明の実施形態はパノラマ画像圧縮装置を開示する。パノラマ画像圧縮装置は以下を含む。：
圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するために使用される取得モジュール。ここで、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するために使用される生成モジュール。ここで、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立するために使用されるマッピングモジュール。ここで、第２のパノラマ画像は第２の球形モデルを広げることによって取得されるパノラマ画像であり、第２のパノラマ画像における平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；および、
第１のマッピング関係に従って、第１のパノラマ画像から第２のパノラマ画像における平面２次元直交座標に対応する画素をサンプリングし、第１のパラレル画像の圧縮を実現するために、画素を含む第２のパノラマ画像を構成するために使用されるサンプリングモジュール。
任意には、生成モジュールは、特に以下のために使用される。：
第２のパノラマ画像の予め設定された解像度に従って第２の球形モデルの半径を決定すること。および、
ユーザの主視野画像に従って第１の球形モデル内で第２の球形モデルの球の中心の位置を決定すること。
任意には、マッピングモジュールは、以下を含む。：
第１のパノラマ画像における全画素の平面２次元直交座標と第１の球形モデルにおける座標との間で第１の対応を確立するために使用される第１の対応サブモジュール。；
第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立するために使用される第２の対応サブモジュール。；
第２の球形モデルにおける座標と第２のパノラマ画像における平面２次元直交座標との間で第３の対応を確立するために使用される第３の対応サブモジュール。；および、
第３の対応に従って第２のパノラマ画像における平面２次元直交座標を第２の球形モデルにおける座標と関連付け、第２の対応に従って第２の球形モデルにおける座標を第１の球形モデルにおける座標と関連付け、第１の対応に従って第１の球形モデルにおける座標を第１のパノラマ画像における平面２次元直交座標と関連付け、第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座との間で第１のマッピング関係を確立するために使用される第１のマッピングサブモジュール。
任意には、その装置は、更に、以下を有する。：
第２の対応サブモジュールが第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立する前に、第２の球形モデルの球の中心が第１の球形モデルの３次元直交座標系のｘ軸上にない場合、第１の球形モデルの３次元直交座標系上で座標系の変換を実行するために使用される選択サブモジュール。ここで、座標系の変換は、第２の球形モデルの球の中心が回転されたｘ軸上にあるように第１の球形モデルのｘ軸を回転させることを含む。
本発明の実施形態はパノラマ画像表示装置を開示する。パノラマ画像表示装置は以下を含む。：
圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するために使用される取得モジュール。ここで、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するために使用される生成モジュール。ここで、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
２次元投影面における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立するために使用されるマッピング確立モジュール。ここで、２次元投影面は第２の球形モデルを通して生成される投影面であり、２次元投影面の平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；および、
第２のマッピング関係に従って、第１のパノラマ画像から２次元投影面における平面２次元直交座標に対応する画素をサンプリングし、ユーザが直接見ることができる画素を含む２次元投影面を構成するために使用される画素サンプリングモジュール。
本発明の実施形態は電子装置を開示する。その電子装置はプロセサと通信インタフェースとメモリと通信バスとを備える。ここで、プロセサと通信インタフェースとメモリとは通信バスを介して互いに通信する。；
メモリは、コンピュータプログラムを記憶するために使用される；そして、
プロセサは、メモリに記憶されているプログラムを実行するために使用され、本発明の実施形態によって提供されるパノラマ画像圧縮方法を実行する。パノラマ画像圧縮方法は以下を含む。：
圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するステップ。この場合、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するステップ。この場合、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立するステップ。この場合、第２のパノラマ画像は第２の球形モデルを広げることによって取得されるパノラマ画像であり、第２のパノラマ画像における平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；および、
第１のマッピング関係に従って、第１のパノラマ画像から第２のパノラマ画像における平面２次元直交座標に対応する画素をサンプリングし、第１のパラレル画像の圧縮を実現するために、画素を含む第２のパノラマ画像を構成するステップ。
本発明の実施形態は電子装置を開示する。その電子装置はプロセサと通信インタフェースとメモリと通信バスとを備える。ここで、プロセサと通信インタフェースとメモリとは通信バスを介して互いに通信する。；
メモリは、コンピュータプログラムを記憶するために使用される；そして、
プロセサは、メモリに記憶されているプログラムを実行するために使用され、本発明の実施形態によって提供されるパノラマ画像表示方法を実行する。パノラマ画像表示方法は以下を含む。：
圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するステップ。この場合、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するステップ。この場合、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
２次元投影面における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立するステップ。この場合、２次元投影面は第２の球形モデルを通して生成される投影面であり、２次元投影面の平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；および、
第２のマッピング関係に従って、第１のパノラマ画像から２次元投影面における平面２次元直交座標に対応する画素をサンプリングし、ユーザが直接見ることができる画素を含む２次元投影面を構成するステップ。
本発明の実施形態は、読み取り可能なコンピュータ記憶媒体を開示する。それはコンピュータプログラムを記憶し、コンピュータプログラムは、プロセサによって実行されるとき、本発明の実施形態によって提供されるパノラマ画像圧縮方法を実行する。そのパノラマ画像圧縮方法は以下を含む。：
圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するステップ。この場合、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するステップ。この場合、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立するステップ。この場合、第２のパノラマ画像は第２の球形モデルを広げることによって取得されるパノラマ画像であり、第２のパノラマ画像における平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；および、
第１のマッピング関係に従って、第１のパノラマ画像から第２のパノラマ画像における平面２次元直交座標に対応する画素をサンプリングし、第１のパラレル画像の圧縮を実現するために、画素を含む第２のパノラマ画像を構成するステップ。
本発明の実施形態は、読み取り可能なコンピュータ記憶媒体を開示する。それはコンピュータプログラムを記憶し、コンピュータプログラムは、プロセサによって実行されるとき、本発明の実施形態によって提供されるパノラマ画像表示方法を実行する。そのパノラマ画像表示方法は以下を含む。：
圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するステップ。この場合、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するステップ。この場合、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
２次元投影面における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立するステップ。この場合、２次元投影面は第２の球形モデルを通して生成される投影面であり、２次元投影面の平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；および、
第２のマッピング関係に従って、第１のパノラマ画像から２次元投影面における平面２次元直交座標に対応する画素をサンプリングし、ユーザが直接見ることができる画素を含む２次元投影面を構成するステップ。
本発明の実施形態よって提供されるパノラマ画像圧縮方法および装置は、圧縮対象のパノラマ画像を非一様にサンプリングすることによって一様ではないパノラマ画像に圧縮する。ユーザの主視野画像での画像の一部に対して、ユーザが見る画像の解像度を保証するためにより高いサンプリングレートが設定され、画像の他の部分に対して、全体の圧縮後により小さなパノラマ画像を可能にし、格納、送信および復号を容易にするためにより低いサンプリングレートが使用される。当然ながら、本発明を実施する製品または方法のいずれも、必ずしも上述の全ての利点を同時に達成する必要はない。
本発明の実施形態または先行技術における技術的解決策をより明確に説明するために、実施形態または先行技術の説明に必要とされる図面に対して以下に簡単な説明を与える。以下の説明は本発明のいくつかの実施形態のみに対するものであり、当業者がいかなる創造的な努力もなしにこれらの図面に基づいて他の図面を得ることができることは明らかである。
本発明の実施形態によって提供されるパノラマ画像圧縮方法を示すフローチャートである。 本発明の実施形態によって提供されるEquirectangularパノラマ画像の概略図である。 本発明の実施形態によって提供されるEquirectangularパノラマ画像から変換された球形モデルを示す図である。 本発明の実施形態によって提供されるλとΦの値の範囲を示す図である。 本発明の実施形態によって提供される第１の球形モデル内で第２の球形モデルを生成する概略図である。 本発明の実施形態によって提供される第２の球形モデルの球の中心位置を示す概略図である。 本発明の実施形態によって提供される球形モデルを２次元投影面に投影する概略図である。 本発明の実施形態によって提供されるパノラマ画像圧縮方法を示す概略フローチャートである。 本発明の実施形態によって提供されるパノラマ画像圧縮装置の構造図である。
本発明の実施形態の添付図面を参照して本発明の実施形態における技術的解決策を以下に明確および完全に説明する。記載された実施形態は、本発明の実施形態の一部のみであって、実施形態の全てではないことは明らかである。本発明の実施形態に基づいて当業者によって創造的作業無しに得られる他のすべての実施形態は、本発明の保護範囲に含まれる。
図１を参照すると、図１は、本発明の実施形態によって提供されるパノラマ画像圧縮方法のフローチャートであり、以下を含む。
ステップ１０１：圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得する。この場合、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間には対応がある。
パノラマ画像は、全ての角度の視野角で記録され、レンダリングされることができる画像である。ＶＲの分野で最も一般的に使用されるパノラマ画像は、Equirectangular（等長直交投影）フォーマットのパノラマ画像である。Equirectangularパノラマ画像は、３６０°の水平方向の視野角と１８０°の垂直方向の視野角をカバーすることができ、従って全体の光景を囲む絵を作成することができる。本発明の実施形態は、例としてEquirectangularパノラマ画像を使うことによって説明される。けれども、本発明の実施形態はEquirectangularパノラマ画像で使用されるだけでなく、また、本発明の実施形態によって提供される方法によって他のフォーマットのパノラマ画像を圧縮することができる。
図２を参照すると、図２は、本発明の実施形態によって提供されるEquirectangularパノラマ画像の概略図である。ここで、ｍはパノラマ画像の高さであり、ｎはパノラマ画像の幅である。パノラマ画像の各座標は画素に対応する。
パノラマ画像は球形モデルに変換されることができるが、球形モデルは３６０度の完全な球面に覆われたパノラマ画像に相当し、全視野角の全ての画像を球形モデルの中で見ることができ、その球形モデルの半径は式（１）で表されることができる。：
Figure 2019532531
 ここで、Rは球形モデルの半径であり、ｎはパノラマ画像の幅であり、πは円周率である。
図３を参照すると、図３は、本発明の実施形態によって提供されるEquirectangularパノラマ画像から変換された球形モデルである。ここで、点ｒは球形モデルの表面上の任意の点であり、λは球形モデルの座標における経度を表し、Φは球形モデルの座標における緯度を表す。
図４は、本発明の実施形態によって提供されるλとΦの値の範囲の図である。ここで、λの値の範囲は（−π、π）であり、Φの値の範囲は（−π／２、π／２）である。
球形モデルの表面上では、任意の点の座標は極座標または３次元直交座標によって表されることができる。３次元直交座標と球面の極座標は次の式（２）によって変換されることができる。：
Figure 2019532531
ここで、ｘ１，ｙ１，ｚ１は球形モデルの表面上の点の３次元直交座標を表し、λは球形モデルの座標における経度を表し、Φは球形モデルの座標における緯度、すなわち球形モデルの極座標を表し、Ｒは球形モデルの半径を表す。上式を用いると、球形モデルの半径Ｒが乗じられない場合は単位円で構成される球形モデルにおける３次元直交座標の位置を表すことができ、球形モデルの半径Ｒが乗じられる場合はパノラマ画像の実際の大きさで構成される球形モデルにおける３次元直交座標の位置を表すことができる。
パノラマ画像が球形モデルに変換されると、パノラマ画像内の全画素の平面２次元直交座標は球形モデルの座標と対応を持つ。具体的には、パノラマ画像の平面２次元直交座標と球形モデルの座標との間の対応は、以下の式（３）によって決定されることができる。：
Figure 2019532531
ここで、x，yは球形モデルにおける画素の平面２次元直交座標であり、ｍはパノラマ画像の高さであり、ｎはパノラマ画像の幅であり、λは球形モデルにおける座標の経度を表し、Φは球形モデルにおける座標の緯度を表し、πは円周率である。
この式はパノラマ画像の平面２次元直交座標と球形モデルの座標との間の対応を表し、パノラマ画像の２次元直交座標が知られているときには対応する球形モデルの座標を得ることができ、同様に球形モデルの座標が知られているときには対応するパノラマ画像の２次直交座標を得ることができる。 従って、パノラマ画像と球面モデルの間で自由な変換を実現することができる。この場合、球形モデルの座標は極座標であってもよく、または変換を経て３次元直交座標であってもよい。
第１のパノラマ画像が圧縮対象のパノラマ画像であるとき、その第１のパノラマ画像は上式によって第１の球形モデルに変換されることができる。
ステップ１０２：ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成する。この場合、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。
ユーザはパノラマ画像を見るときにその画像の一部に焦点を合わせる。画像のこの部分はユーザの主視野画像として圧縮中にできるだけ多く残されるべきであり、一方ユーザが焦点を合わせない画像の部分は大きく圧縮されることができる。例えば、パノラマ画像がバスケットボールの試合のパノラマ画像である場合、ユーザーが焦点を合わせる部分はプレイしているエリアにおける試合に関連する画像である。この部分がユーザの主視野画像であり、解像度とユーザーエクスペリエンスを確保するために圧縮中にできるだけ少ししか圧縮されるべきではない。一方、観客とベンチのようにユーザが焦点を合さない部分は解像度が高いことを必要とされないので、高い圧縮率を有することができる。
従って、第１のパノラマ画像に対して、ユーザの主視野画像を予め取得することができる。第１の球形モデルが得られた後に、球面のどの部分にユーザの主視野画像があるのかを決定することも可能である。
図５を参照すると、図５は、本発明の実施形態によって提供される第１の球形モデル内に第２の球形モデルを生成する概略図であり、第２の球面モデル５０２は第１の球面モデル５０１の中に含まれている。ユーザが主視野角で見る画像は第１の球形モデルの上半分の円に位置し、すなわち、ユーザが主視野角で見る画像は第１の球形モデルの上部に対応し、結果として、第２の球形モデル５０２の球の中心は第１の球形モデル５０１の球の中心と第１の球形モデル５０１の最上部との間に位置することが分かる。
ステップ１０３：第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立する。この場合、第２のパノラマ画像は第２の球形モデルを広げることによって取得されるパノラマ画像であり、第２のパノラマ画像における平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。
パノラマ画像と球形モデルは、ステップ１０１の式（３）に基づいて相互に変換されることができる。従って、生成された後に第２の球形モデルは第２のパノラマ画像に変換されることができる。けれども、第２のパノラマ画像は、第２の球形モデルの座標変換によってのみ取得され、画素の個別の値の代わりに画素の座標のみを含む。第２の球形モデルから変換された第２のパノラマ画像は、第２のパノラマ画像における論理平面２次元直交座標と第２の球形モデルにおける座標との間の対応が確立される限り、画素を含まない空のパノラマ画像であることができ、また、仮想の論理パノラマ画像であることができる。
第２の球形モデルが第１の球形モデル内に生成された後に、第１の球形モデルにおける座標と第２の球形モデルにおける座標との間のマッピング投影関係を決定することができる。すなわち、第２の球形モデルにおける座標の点は、第１の球形モデルにおける座標の点に対応しなければならない。
第２の球形モデルにおける座標と第１の球形モデルにおける座標との間のマッピング投影関係、およびパノラマ画像と球形モデルとの間の相互変換関係によって、第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立することができる。第２のパノラマ画像における各点について、それに対応する第１のパノラマ画像における座標の点を得ることができる。
ステップ１０４：第１のマッピング関係に従って、第１のパノラマ画像から第２のパノラマ画像における平面２次元直交座標に対応する画素をサンプリングし、第１のパラレル画像の圧縮を実現するために、画素を含む第２のパノラマ画像を構成する。
第１のマッピング関係が確立された後に、第１のパノラマ画像における対応する目標座標が第２のパノラマ画像における各画素の座標に従って見い出され、第１のパノラマ画像における目標座標に対応する画素の画素値がサンプリングされ、第２のパノラマ画像に入れられることができる。画素の画素値を含む第２のパノラマ画像を構成するために、第２のパノラマ画像における各画素の座標点は１回サンプリングされる。
第２の球形モデルの半径は第１の球形モデルの半径より小さいので、第２のパノラマ画像は第１のパノラマ画像より小さく、すなわち第２のパノラマ画像の全画素は第１のパノラマ画像の全画素より少なく、第１のパノラマ画像の圧縮を実現する。
第２の球形モデルの球の中心はユーザの主視野画像に近い。図５を参照すると、図５では、第２の球形モデル５０２は、２つの領域、すなわち領域１と領域２を有する。領域１と領域２は第２の球形モデル５０２上で同じ面積を有するが、対応する第１の球形モデル５０１上では明らかに異なる面積を有し、領域１はより小さな面積に対応するのに対して、領域２はより大きな面積に対応する。第２の球形モデルを第２のパノラマ画像に変換すると、領域１と領域２とは第２のパノラマ画像上で同じ面積を有する、すなわち同じ画素数を有する。けれども、サンプリングされるとき、第１のパノラマ画像上での領域１に対応する部分のサンプリングは密に実行されるのに対し、第１のパノラマ画像上での領域２に対応する部分のサンプリングはまばらに実行される。そして、領域１に対応する部分がユーザの主視野画像であるため、ユーザの主視野画像に対するより低い圧縮率と他の部分に対するより高い圧縮率とが保証され、一様ではない圧縮が実現される。
もちろん、本発明の実施形態において、第２の球形モデル５０２の球の中心が第１の球形モデル５０１の球の中心と一致すれば、第１のパノラマ画像の一様な圧縮を実現することができる。
本発明の実施形態において、第１の球形モデル内で、ユーザの主視野角での画像に近い非対称の第２の球形モデルを生成し、第２の球形モデルを第２のパノラマ画像に変換した後に、第２のパノラマ画像における座標に従って第１のパノラマ画像をサンプリングした画素を通して、第１のパノラマ画像の一様ではない圧縮を実現することができる。その間にユーザの主視野角での画像の解像度を確保するためにユーザの主視野角での画像に対してより高いサンプリングレートが使用され、他の画像に対してより低いサンプリングレートが使用されるので、第１のパノラマ画像に対して圧縮された第２のパノラマ画像はより小さく、それはパノラマ画像ファイルの格納、送信および復号を容易にする。
任意には、本発明の実施形態によって提供されるパノラマ画像圧縮方法において、ユーザの主視野画像に従って第１の球形モデル内で第２の球形モデルを生成するステップは、以下を含む。：
第１のステップ：第２のパノラマ画像の予め設定された解像度に従って第２の球形モデルの半径を決定する。
多くの場合、実際には、圧縮後の第２のパノラマ画像の解像度または圧縮後の目標解像度を事前に取得することができる。解像度は、例えば１９２０×９６０などの画素数で表すことができる。そのような解像度は、第２のパノラマ画像の幅と高さ、すなわちｎ’＝１９２０，ｍ’＝ ９６０として使用されることができる。ここで、ｎ’は第２のパノラマ画像の幅であり、ｍ’は第２のパノラマ画像の高さであるので、第２のパノラマ画像の半径Ｒは式（１）、すなわちＲ＝ｎ’／（２π）によって得られる。
第２のステップ：ユーザの主視野画像に従って第１の球形モデル内における第２の球形モデルの球の中心の位置を決定する。
第１の球形モデル内における第２の球形モデルの球の中心の位置は、主視野画像を見るユーザの様々な必要性に従って決定されることができる。例えば、ユーザが主視野画像以外の画像を見ないとき、第２の球形モデルの球の中心をユーザの主視野画像により近くすることができる。ユーザが他の画像のいくつかを見たい場合は、第２の球形モデルの球の中心を他の画像の方に偏らせることができ、ユーザが画像全体を見たい場合は、第２の球形モデルの球の中心を第１の球形モデルの球の中心に近く設定することができる。
本発明の実施形態では、第２のパノラマ画像の予め設定された解像度に基づいて第２の球形モデルの半径を予め設定することによって、第２の球形モデルの生成はより容易にされ、画像圧縮の間に圧縮後の目標解像度が正確に達成されることができる。様々な一様でない圧縮結果を得て異なるユーザの要求を満足させるために、ユーザの主視野画像によって第２の球形モデルの球の中心位置を柔軟に調整することができる。
任意には、本発明の実施形態によって提供されるパノラマ画像圧縮方法において、第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立するステップは、以下を含む。：
第１のステップ：第１のパノラマ画像における全画素の平面２次元直交座標と第１の球形モデルにおける座標との間で第１の対応を確立する。
第１のパノラマ画像における全画素の平面２次元直交座標と第１の球形モデルの座標との間の第１の対応が、式（３）に基づいて取得されることができる。第１のパノラマ画像における各画素の座標は、第１の球形モデルにおける対応する座標によって取得されることができる。
第２のステップ：第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立する。
式（３）を用いて球形モデルへパノラマ画像を変換する間に、球形モデルにおいて３次元直交座標系を確立することができる。
具体的には、式（３）を用いてパノラマ画像における２次元直交座標を球形モデルにおける座標に変換する間に、パノラマ画像における２次元直交座標では、ｘ＞ｍ／２の場合、座標ｘを通して変換されたΦは正であり、ｘ＜ｍ／２の場合、座標ｘを通して変換されたΦは負である。同様にｙ＞ｎ／２の場合、座標ｙを通して変換されたλは正であり、ｙ＜ｎ／２の場合、座標ｙを通して変換されたλは負である。ここで、x，yは球形モデルにおける画素の平面２次元直交座標であり、mはパノラマ画像の高さであり、ｎはパノラマ画像の幅であり、λは球形モデルにおける座標の経度を表し、Φは球形モデルにおける座標の緯度を表す。λとΦの符号、すなわち正または負に応じて、球形モデルの３次元直交座標系のｘ軸とｙ軸を決定することができ、すなわち、ｘ軸はΦの正または負の角度を決定し、ｙ軸はλの正および負の角度を決定する。球形モデルの３次元直交座標系のｚ軸は、ｘ軸とｙ軸に直角であり、ｘ軸とｙ軸によって決定されることができる。
図６を参照すると、図６は第２の球形モデルの球の中心位置の概略図である。
図６では、第２の球形モデル６０２の球の中心は、第１の球形モデル６０１の３次元直交座標系のｘ軸上に位置し、第１の球形モデル６０１の３次元直交座標系における第２の球形モデル６０２の球の中心位置は、（ｔ，０，０）である。
第１の球形モデル６０１上の座標点ｐについて、幾何学的方法を用いて、点ｐから第１の球形モデル６０１の球の中心Ｏへの直線、および点ｐから第２の球面モデル６０２の球の中心ｏへの直線に基づいて一次方程式が確立されることができ、たとえば、一次方程式は次のようになる。
Figure 2019532531
ここで、λは第１の球形モデル６０１における座標の経度を表し、この式中のφはΦである。Φは第１の球形モデル６０１における座標の緯度を表し、λ’は第２の球形モデル６０２における座標の経度を表し、Φ’は第２の球形モデル６０２における座標の緯度を表し、Ｒは第１の球形モデル６０１の半径を表し、ｔは第１の球形モデル６０１のｘ軸上の第２の球形モデル６０２の球の中心ｏの位置を表す。
上記１次方程式を解くために、第２の球形モデル６０２の球の中心ｏが第１の球形モデル６０１の３次元直交座標系のｘ軸上にあるとき、第１の球形モデル６０１における座標と第２の球形モデル６０２における座標を表す次の式（４）が確立されることができる。
Figure 2019532531
 ここで
Figure 2019532531
上式（４）において、λは第１の球形モデル６０１における座標の経度を表し、Φは第１の球形モデル６０１における座標の緯度を表し、λ’は第２の球形モデル６０２における座標の経度を表し、Φ’は第２の球形モデル６０２における座標の緯度を表し、Ｒは第１の球形モデル６０１の半径を表し、ｔは第１の球形モデル６０１のｘ軸上の第２の球形モデル６０２の球の中心ｏの位置を表す。
上式（４）は、第１の球形モデルと第２の球形モデルとの間の幾何学的関係に基づく幾何学的方法により導かれる式であり、一意ではない。他の幾何学的方法によって他の式を導き出すこともでき、これもまた第１の球形モデルにおける座標と第２の球形モデルにおける座標との間の対応を反映することができる。本発明の全ての実施形態は、第１の球形モデルにおける座標と第２の球形モデルにおける座標との間の対応を反映する式によって満たされる限り、本発明の実施形態の保護範囲に含まれる。
第３のステップ：第２の球形モデルにおける座標と第２のパノラマ画像における平面２次元直交座標との間で第３の対応を確立する。
また、式（３）を適用することによって、第２の球形モデルにおける座標と第２のパノラマ画像における平面２次元直交座標との間で第３の対応を確立することができる。満たされるべき第２のパノラマ画像の各画素の座標は、第２の球形モデルにおける対応する座標によって取得されることができる。
第４のステップ：第３の対応に従って第２のパノラマ画像における平面２次元直交座標を第２の球形モデルにおける座標と関連付け、第２の対応に従って第２の球形モデルにおける座標を第１の球形モデルにおける座標と関連付け、第１の対応に従って第１の球形モデルにおける座標を第１のパノラマ画像における平面２次元直交座標と関連付け、第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座との間で第１のマッピング関係を確立する。
第１のマッピング関係を確立するために、式（３）と式（４）を使うことによって、第２のパノラマ画像における平面２次元直交座標を、第２の球形モデルにおける座標と関連付け、第２の球形モデルにおける座標を通して第１の球形モデルにおける座標と関連付け、最終的に第１のパノラマ画像における平面２次元直交座標と関連付ける。
本発明の実施形態では、式（３）と式（４）を使うことによって、第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間の第１のマッピング関係が確立されるので、座標の対応がより正確であり、コンピュータのような装置で実現することがより容易であり、座標の対応の効率を改善し、さらに圧縮効率を改善する。
任意には、本発明の実施形態によって提供されるパノラマ画像圧縮方法において、第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立するステップの前に、その方法はさらに以下を含むことができる。：
第２の球形モデルの球の中心が第１の球形モデルの３次元直交座標系のｘ軸上にない場合、第１の球形モデルの３次元直交座標系上で座標系の変換を実行するステップ。この場合、座標系の変換は、回転後に第２の球形モデルの球の中心がｘ軸上にあるように第１の球形モデルのｘ軸を回転させるステップを含む。
第２の球形モデルの球の中心の位置は、ユーザの主視野画像に従って決定され、従ってどの位置であってもよく、第２の球形モデルの球の中心が第１の球形モデルの３次元直交座標系のｘ軸上に位置していない場合、式（４）は第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立するために適用されることはできない。従って、回転後に第２の球形モデルの球の中心がｘ軸上に位置するように、次の式（５）を適用して第１の球形モデルの３次元直交座標系を回転させることが必要である。
第１の球形モデル上での第２の球形モデルの球の中心の位置を第１の球形モデルの極座標を用いて（ｔ、λ０、Φ０）と表すと、式（５）は次のようになる。：
Figure 2019532531
ここで、ｘ，ｙ，ｚは第１の球形モデルにおける３次元直交座標を表し、ｘ”，ｙ”，ｚ”は座標系の回転後の第１の球形モデルにおける３次元直交座標を表し、λ０は第１の球形モデルの座標における第２の球形モデルの球の中心の経度を表し、Φ０は第１の球形モデルの座標における第２の球形モデルの球の中心の緯度を表す。
式（５）の適用の前に、第１の球形モデルにおける極座標を第１の球形モデルにおける３次元直交座標ｘ，ｙ，ｚに変換するために式（２）を適用することが必要であり、式（５）による変換後に得られる第１の球形モデルにおける３次元直交座標がｘ”，ｙ”，ｚ”である。同様に、式（２）の逆変換を用いて第１の球形モデルにおける３次元直交座標を第１の球形モデルにおける極座標に変換することができる。第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立するために、このようにして最終的に得られた結果を計算のために式（４）に直接代入することができる。
任意には、本発明の実施形態によって提供されるパノラマ画像圧縮方法では、第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立するステップの後に、その方法はさらに以下を含むことができる。：
第１のステップ：第２の球形モデルを通してユーザが直接見ることができる２次元投影面を生成し、第２の球形モデルにおける座標と２次元投影面の平面２次元直交座標との間で第４の対応を確立する。
図７を参照すると、図７は球形モデルを２次元投影面に投影する概略図である。
パノラマ画像は、球形モデルの座標の表示と見なすことができ、スクリーンまたはＨＭＤ（ヘッドマウントディスプレイ）にレンダリングされるときに単眼式撮像原理と一致することが必要とされる、すなわちスクリーンまたはＨＭＤ上に最終的に表示される画像はユーザによって見られることができるひずみが無い遠近法の２次元投影面である。
図７において、第２の球形モデル７０１における座標と２次元投影面７０２の平面２次元直交座標との間の第４の対応は、式（６）を使用して確立されることができる。：
Figure 2019532531
ここで、λ ’は第２の球形モデル７０１における座標の経度を表し、Φ’は第２の球形モデル７０１における座標の緯度を表し、ｘ’とｙ’は２次元投影面７０２の平面２次元直交座標を表し、ｒは第２の球形モデルの半径を表す。
第２のステップ：第４の対応に従って２次元投影面の平面２次元直交座標を第２の球形モデルにおける座標と関連付け、第２の対応に従って第２の球形モデルにおける座標を第１の球形モデルにおける座標と関連付け、第１の対応に従って第１の球形モデルにおける座標を第１のパノラマ画像における平面２次元直交座標と関連付け、２次元投影面の平面２次元直交座標と第１のパノラマ画像における平面２次元直交座との間で第２のマッピング関係を確立する。
式（６）を使うことによって、２次元投影面の平面２次元直交座標を、第２の球形モデルにおける座標と関連付け、第２の球形モデルにおける座標を通して第１の球形モデルにおける座標と関連付け、最終的に第１のパノラマ画像における平面２次元直交座標と関連付け、第２のマッピング関係を確立する。
第３のステップ：第２のマッピング関係に従って、第１のパノラマ画像から２次元投影面における平面２次元直交座標に対応する全ての画素をサンプリングし、ユーザが直接見ることができる画素を含む２次元投影面を構成する。
第２のマッピング関係の確立後に、２次元投影面の各座標に従って、第１のパノラマ画像に対応する座標を見い出し、２次元投影面に入れるために座標の対応する画素をサンプリングすることができる。ユーザが直接見ることができる画素を含む２次元投影面を構成するために、２次元投影面における各画素の座標点は１回サンプリングされる。
本発明の実施形態では、第２の球形モデルの生成後に、第２の球形モデルにおける座標とユーザが直接見ることができる２次元投影面の座標との間で第４の対応を確立し、それによって第２のマッピング関係を構成し、次に画素を含む２次元投影面を生成するために、２次元投影面に基づいて第１のパノラマ画像から画素をサンプリングすることができる。このように、第１のパノラマ画像の圧縮中に、ユーザが直接見ることができる２次元投影面を生成することができ、従ってリアルタイムの圧縮と表示を実現することができ、本発明の実施形態の利用範囲を広げることができる。
すなわち、上述した第１のステップから第３のステップは、パノラマ画像表示方法を提供し、それは次のステップ１から４を含む。：
ステップ１：圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得する。この場合、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
ステップ２：ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成する。この場合、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
ステップ３：２次元投影面における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立する。この場合、２次元投影面は第２の球形モデルを通して生成される投影面であり、２次元投影面の平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；
ステップ４：第２のマッピング関係に従って、第１のパノラマ画像から２次元投影面における平面２次元直交座標に対応する画素をサンプリングし、ユーザが直接見ることができる画素を含む２次元投影面を構成する。
上記から分かるように、本実施形態は、圧縮対象のパノラマ画像を非一様にサンプリングすることによって、直接に見られることができる一様ではない２次元投影面が圧縮対象のパノラマ画像によって形成される間に、圧縮対象のパノラマ画像を圧縮する。その間にユーザの主視野角での画像の解像度を確保するためにユーザの主視野角での画像に対してより高いサンプリングレートが使用され、他の画像に対してより低いサンプリングレートが使用されるので、２次元投影面マップの全体の大きさは小さい。従って、本実施形態は、画像を明瞭に表示することを可能にし、２次元投影面の表示された画像が圧縮後の画像であることを可能にする。
任意には、本発明の実施形態によって提供されるパノラマ画像表示方法において、ユーザの主視野画像に従って第１の球形モデル内で第２の球形モデルを生成するステップは、以下を含む。：
第２のパノラマ画像の予め設定された解像度に従って第２の球形モデルの半径を決定するステップ；およびユーザの主視野画像に従って第１の球形モデル内における第２の球形モデルの球の中心の位置を決定するステップ。
本実施形態では、第２のパノラマ画像の予め設定された解像度に基づいて第２の球形モデルの半径を予め設定することによって、第２の球形モデルの生成はより容易にされ、画像圧縮の間に圧縮後の目標解像度が正確に達成されることができる。様々な一様でない圧縮結果を得て異なるユーザの要求を満足させるために、ユーザの主視野画像によって第２の球形モデルの球の中心位置を柔軟に調整することができる。
任意には、本発明の実施形態によって提供されるパノラマ画像表示方法において、２次元投影面の平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立するステップは、以下を含むことができる。：
第１のパノラマ画像における全画素の平面２次元直交座標と第１の球形モデルにおける座標との間で第１の対応を確立するステップ。；
第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立するステップ。；
第２の球形モデルにおける座標と２次元投影面の平面２次元直交座標との間で第４の対応を確立するステップ。；および、
第４の対応に従って２次元投影面の平面２次元直交座標を第２の球形モデルにおける座標と関連付け、第２の対応に従って第２の球形モデルにおける座標を第１の球形モデルにおける座標と関連付け、第１の対応に従って第１の球形モデルにおける座標を第１のパノラマ画像における平面２次元直交座標と関連付け、２次元投影面の平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立するステップ。
本発明の実施形態では、第４の対応が式（６）によって得られることができる、すなわち２次元投影面の平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間の第１のマッピング関係が式（３）と式（４）を使うことによって確立されるので、座標の対応がより正確であり、コンピュータのような装置で実現することがより容易であり、座標の対応の効率を改善し、さらに圧縮効率を改善する。
任意には、本発明の実施形態によって提供されるパノラマ画像表示方法では、第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立するステップの前に、その方法はさらに以下を含むことができる。：
第２の球形モデルの球の中心が第１の球形モデルの３次元直交座標系のｘ軸上にない場合、第１の球形モデルの３次元直交座標系上で座標系の変換を実行するステップ。この場合、座標系の変換は、第２の球形モデルの球の中心が回転されたｘ軸上にあるように第１の球形モデルのｘ軸を回転させるステップを含む。
本発明の実施形態では、第２の球形モデルの球の中心が第１の球形モデルの３次元直交座標系のｘ軸上にない場合、第２の球形モデルの球の中心は座標系の変換によって回転後にｘ軸上に位置し、それは第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応の確立を容易にし、処理の複雑さを低減することができる。
図８を参照すると、図８は、本発明の実施形態によって提供されるパノラマ画像圧縮方法を示すフローチャートであり、以下のステップを含む。
第１のステップ：第１のパノラマ画像８０１を取得する。その解像度は３８４０×１９２０であり、第１のパノラマ画像のために幅はｎ＝３８４０、および高さはｍ＝１９２０である。
第２のステップ：第１のパノラマ画像８０１における画素に対応する全ての平面２次元直交座標を球形モデルにおける座標に変換し、第１の球形モデル８０２を形成し、第１のパノラマ画像８０１における平面２次元直交座標と第１の球形モデル８０２における座標との間で第１の対応を確立し、Ｒ＝３８４０／２πとして式（１）によって第１の球形モデル８０２の半径を決定する。
第３のステップ：第１のパノラマ画像を１９２０×９６０のパノラマ画像に圧縮する。すなわち、圧縮後に得られる第２のパノラマ画像８０４の解像度は１９２０×９６０であり、すなわち第２のパノラマ画像のために幅はｎ’＝１９２０、高さはｍ’＝９６０である。 そして、ｒ＝１９２０／２πとして式（１）によって第２の球形モデル８０３の半径を得る。
第４のステップ：ユーザの主視野角で予め設定された画像と第２の球形モデルとに従って第２の球形モデル８０３の球の中心の位置を決定する。
第５のステップ：式（２）と式（５）を使うことによって第１の球形モデル８０２の３次元直交座標系において座標系の変換を実行する。特に、第２の球形モデル８０３の球の中心が回転後にｘ軸上に位置するように第１の球形モデル８０２のｘ軸を回転させる。
第６のステップ：式（４）を使うことによって第１の球形モデル８０２における座標と第２の球形モデル８０３における座標との間で第２の対応を確立する。
第７のステップ：画素を含まない第２のパノラマ画像８０４を形成するために式（２）を使うことによって第２の球形モデル８０３における座標を２次元直交座標に変換し、第２のパノラマ画像８０４における平面２次元直交座標と第２の球形モデル８０３における座標との間で第３の対応を確立する。
第８のステップ：第３の対応と第２の対応と第１の対応によって構成される第１のマッピング関係に基づいて、第２のパノラマ画像８０４における各画素の座標を第１のパノラマ画像８０１における画素の座標と関連付ける。
最終ステップ：画素を含む第２のパノラマ画像８０４を構成するために、第１のパノラマ画像８０１から第２のパノラマ画像８０４における画素の座標に対応する全ての画素をサンプリングする。従って、第１のパノラマ画像８０１の圧縮が実現される。
図９を参照すると、図９は本発明の実施形態によって提供されるパノラマ画像圧縮装置の構造図であり、以下を含む。：
取得モジュール９０１：圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するために使用される。ここで、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
生成モジュール９０２：ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するために使用される。ここで、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
マッピングモジュール９０３：第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立するために使用される。ここで、第２のパノラマ画像は第２の球形モデルを広げることによって取得されるパノラマ画像であり、第２のパノラマ画像における平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；および、
サンプリングモジュール９０４：第１のマッピング関係に従って、第１のパノラマ画像から第２のパノラマ画像における平面２次元直交座標に対応する画素をサンプリングし、第１のパラレル画像の圧縮を実現するために、画素を含む第２のパノラマ画像を構成するために使用される。
本発明の実施形態において、第１の球形モデル内で、ユーザの主視野角での画像に近い非対称の第２の球形モデルを生成し、第２の球形モデルを第２のパノラマ画像に変換した後に、第２のパノラマ画像における座標に従って第１のパノラマ画像をサンプリングした画素を通して、第１のパノラマ画像の一様ではない圧縮を実現することができる。その間にユーザの主視野角での画像の解像度を確保するためにユーザの主視野角での画像に対してより高いサンプリングレートが使用され、他の画像に対してより低いサンプリングレートが使用されるので、第１のパノラマ画像に対して圧縮された第２のパノラマ画像はより小さく、それはパノラマ画像ファイルの格納、送信および復号を容易にする。
本発明の実施形態によって提供される装置は、上述したパノラマ画像圧縮方法に適用する装置である。従って、上述したパノラマ画像圧縮方法の全ての実施形態はこの装置に適用可能であり、それらは同一または類似の有利な効果を達成することができる。
任意には、本発明の実施形態によって提供されるパノラマ画像圧縮装置では、生成モジュール９０２は、特に以下のために使用される。：
第２のパノラマ画像の予め設定された解像度に従って第２の球形モデルの半径を決定すること。および、
ユーザの主視野画像に従って第１の球形モデル内で第２の球形モデルの球の中心の位置を決定すること。
任意には、本発明の実施形態によって提供されるパノラマ画像圧縮装置では、マッピングモジュール９０３は以下を含む。：
第１のパノラマ画像における全画素の平面２次元直交座標と第１の球形モデルにおける座標との間で第１の対応を確立するために使用される第１の対応サブモジュール。；
第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立するために使用される第２の対応サブモジュール。；
第２の球形モデルにおける座標と第２のパノラマ画像における平面２次元直交座標との間で第３の対応を確立するために使用される第３の対応サブモジュール。；および、
第３の対応に従って第２のパノラマ画像における平面２次元直交座標を第２の球形モデルにおける座標と関連付け、第２の対応に従って第２の球形モデルにおける座標を第１の球形モデルにおける座標と関連付け、第１の対応に従って第１の球形モデルにおける座標を第１のパノラマ画像における平面２次元直交座標と関連付け、第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座との間で第１のマッピング関係を確立するために使用される第１のマッピングサブモジュール。
任意には、本発明の実施形態によって提供されるパノラマ画像圧縮装置では、その装置はさらに以下を含む。：
第２の対応サブモジュールが第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立する前に、第２の球形モデルの球の中心が第１の球形モデルの３次元直交座標系のｘ軸上にない場合、第１の球形モデルの３次元直交座標系上で座標系の変換を実行するために使用される選択サブモジュール。ここで、座標系の変換は、第２の球形モデルの球の中心が回転されたｘ軸上にあるように第１の球形モデルのｘ軸を回転させることを含む。
本発明の実施形態は、さらに以下を有するパノラマ画像表示装置を提供する。：
圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するために使用される取得モジュール。ここで、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するために使用される生成モジュール。ここで、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
２次元投影面における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立するために使用されるマッピング確立モジュール。ここで、２次元投影面は第２の球形モデルを通して生成される投影面であり、２次元投影面の平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；および、
第２のマッピング関係に従って、第１のパノラマ画像から２次元投影面における平面２次元直交座標に対応する画素をサンプリングし、ユーザが直接見ることができる画素を含む２次元投影面を構成するために使用される画素サンプリングモジュール。
上記から分かるように、本実施形態は、圧縮対象のパノラマ画像を非一様にサンプリングすることによって、直接に見られることができる一様ではない２次元投影面が圧縮対象のパノラマ画像によって形成される間に、圧縮対象のパノラマ画像を圧縮することができる。その間にユーザの主視野角で画像の解像度を確保するためにユーザの主視野角での画像に対してより高いサンプリングレートが使用され、他の画像に対してより低いサンプリングレートが使用される。従って、本実施形態は、画像を明瞭に表示することを可能にし、２次元投影面の表示された画像が圧縮後の画像であることを可能にする。
任意には、本実施形態によって提供されるパノラマ画像表示装置では、マッピング確立モジュールは特に以下のために使用されることができる。
第１のパノラマ画像における全画素の平面２次元直交座標と第１の球形モデルにおける座標との間で第１の対応を確立すること。；
第１の球形モデルにおける座標と第２の球形モデルにおける座標との間で第２の対応を確立すること。；
第２の球形モデルにおける座標と２次元投影面の平面２次元直交座標との間で第４の対応を確立すること。；および、
第４の対応に従って２次元投影面の平面２次元直交座標を第２の球形モデルにおける座標と関連付け、第２の対応に従って第２の球形モデルにおける座標を第１の球形モデルにおける座標と関連付け、第１の対応に従って第１の球形モデルにおける座標を第１のパノラマ画像における平面２次元直交座標と関連付け、２次元投影面の平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立すること。
上述した装置の実施形態は方法の実施形態に基づいて得られ、方法と同じ技術的効果を有するので、装置の実施形態の技術的効果はここでは繰り返して説明しない。装置の実施形態は方法の実施形態と実質的に同様であるので、装置の実施形態は簡潔に説明され、関連する内容に対して方法の実施形態の記載が参照されることができる。
本発明の実施形態は電子装置を提供する。その電子装置はプロセサと通信インタフェースとメモリと通信バスとを備える。ここで、プロセサと通信インタフェースとメモリとは通信バスを介して互いに通信する。；
メモリは、コンピュータプログラムを記憶するために使用される；そして、
プロセサは、メモリに記憶されているプログラムを実行するために使用され、本発明の実施形態によって提供されるパノラマ画像圧縮方法を実行する。パノラマ画像圧縮方法は以下を含む。：
圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するステップ。この場合、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するステップ。この場合、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立するステップ。この場合、第２のパノラマ画像は第２の球形モデルを広げることによって取得されるパノラマ画像であり、第２のパノラマ画像における平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；および、
第１のマッピング関係に従って、第１のパノラマ画像から第２のパノラマ画像における平面２次元直交座標に対応する画素をサンプリングし、第１のパラレル画像の圧縮を実現するために、画素を含む第２のパノラマ画像を構成するステップ。
電子装置のために示された通信バスは、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスまたはＥＩＳＡ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等であることができる。通信バスはアドレスバス、データバス、制御バスなどに分類されることができる。表現を容易にするために、それは図中で１本の太いラインのみによって示されるが、それは１本のバスまたは１種類のバスのみがあることを意味しない。
通信インタフェースは、上述した電子装置と他の装置との間の通信のために使用される。
メモリは、ランダムアクセスメモリ（ＲＡＭ）を含んでもよいし、また少なくとも１つのディスクメモリのような不揮発性メモリ（ＮＶＭ）を含んでもよい。また、任意には、メモリは上述したプロセサから離れて置かれた少なくとも１つの記憶装置であることができる。
プロセサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＮＰ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ）などを含む汎用プロセサであることができる。；また、それは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）または他のプログラマブル論理デバイス、ディスクリートゲート、またはトランジスタ論理デバイス、ディスクリートハードコンポーネントであることができる。
本実施形態は図１に示す方法の実施形態と同じ独創的なアイデアに基づいて得られるので、本実施形態の特定の実施形態は図１に示す方法の実施形態における内容を全て適用することができる。
本発明の実施形態において、圧縮対象のパノラマ画像はその画像を非一様にサンプリングすることによって一様ではないパノラマ画像に圧縮されることができる。ユーザの主視野画像での画像の一部に対して、ユーザが見る画像の解像度を保証するためにより高いサンプリングレートが設定され、画像の他の部分に対して、全体の圧縮後により小さなパノラマ画像を可能にし、格納、送信および復号を容易にするためにより低いサンプリングレートが使用される。
本発明の実施形態は他の電子装置を提供する。その電子装置はプロセサと通信インタフェースとメモリと通信バスとを備える。ここで、プロセサと通信インタフェースとメモリとは通信バスを介して互いに通信する。；
メモリは、コンピュータプログラムを記憶するために使用される；そして、
プロセサは、メモリに記憶されているプログラムを実行するために使用され、本発明の実施形態によって提供されるパノラマ画像表示方法を実行する。パノラマ画像表示方法は以下を含む。：
圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するステップ。この場合、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するステップ。この場合、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
２次元投影面における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立するステップ。この場合、２次元投影面は第２の球形モデルを通して生成される投影面であり、２次元投影面の平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；および、
第２のマッピング関係に従って、第１のパノラマ画像から２次元投影面における平面２次元直交座標に対応する画素をサンプリングし、ユーザが直接見ることができる画素を含む２次元投影面を構成するステップ。
上記から分かるように、本実施形態は、圧縮対象のパノラマ画像を非一様にサンプリングすることによって、直接に見られることができる一様ではない２次元投影面が圧縮対象のパノラマ画像によって形成される間に、圧縮対象のパノラマ画像を圧縮することができる。その間にユーザの主視野角で画像の解像度を確保するためにユーザの主視野角での画像に対してより高いサンプリングレートが使用され、他の画像に対してより低いサンプリングレートが使用される。従って、本実施形態は、画像を明瞭に表示することを可能にし、２次元投影面の表示された画像が圧縮後の画像であることを可能にする。
本発明の実施形態は、読み取り可能なコンピュータ記憶媒体を提供する。それはコンピュータプログラムを記憶し、コンピュータプログラムは、プロセサによって実行されるとき、本発明の実施形態によって提供されるパノラマ画像圧縮方法を実行する。そのパノラマ画像圧縮方法は以下を含む。：
圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するステップ。この場合、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するステップ。この場合、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
第２のパノラマ画像における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立するステップ。この場合、第２のパノラマ画像は第２の球形モデルを広げることによって取得されるパノラマ画像であり、第２のパノラマ画像における平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；および、
第１のマッピング関係に従って、第１のパノラマ画像から第２のパノラマ画像における平面２次元直交座標に対応する画素をサンプリングし、第１のパラレル画像の圧縮を実現するために、画素を含む第２のパノラマ画像を構成するステップ。
本発明の実施形態において、圧縮対象のパノラマ画像はその画像を非一様にサンプリングすることによって一様ではないパノラマ画像に圧縮されることができる。ユーザの主視野画像での画像の一部に対して、ユーザが見る画像の解像度を保証するためにより高いサンプリングレートが設定され、画像の他の部分に対して、全体の圧縮後により小さなパノラマ画像を可能にし、格納、送信および復号を容易にするためにより低いサンプリングレートが使用される。
本発明の実施形態は、読み取り可能なコンピュータ記憶媒体を提供する。それはコンピュータプログラムを記憶し、コンピュータプログラムは、プロセサによって実行されるとき、本発明の実施形態によって提供されるパノラマ画像表示方法を実行する。そのパノラマ画像表示方法は以下を含む。：
圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するステップ。この場合、第１のパノラマ画像中の全画素の平面２次元直交座標と第１の球形モデルにおける座標との間に対応がある。；
ユーザの主視野画像に従って第１の球形モデル内に第２の球形モデルを生成するステップ。この場合、第２の球形モデルは第１の球形モデルに含まれ、第２の球形モデルの球の中心は第１の球形モデルの球の中心とユーザの主視野画像との間に位置する。第２の球形モデルの半径は第１の球形モデルの半径より小さく、ユーザの主視野画像はユーザによって主に見られる第１のパノラマ画像の部分画像である。；
２次元投影面における平面２次元直交座標と第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立するステップ。この場合、２次元投影面は第２の球形モデルを通して生成される投影面であり、２次元投影面の平面２次元直交座標と第２の球形モデルにおける座標との間に対応がある。；および、
第２のマッピング関係に従って、第１のパノラマ画像から２次元投影面における平面２次元直交座標に対応する画素をサンプリングし、ユーザが直接見ることができる画素を含む２次元投影面を構成するステップ。
上記から分かるように、本実施形態は、圧縮対象のパノラマ画像を非一様にサンプリングすることによって、直接に見られることができる一様ではない２次元投影面が圧縮対象のパノラマ画像によって形成される間に、圧縮対象のパノラマ画像を圧縮することができる。その間にユーザの主視野角で画像の解像度を確保するためにユーザの主視野角での画像に対してより高いサンプリングレートが使用され、他の画像に対してより低いサンプリングレートが使用される。従って、本実施形態は、画像を明瞭に表示することを可能にし、２次元投影面の表示された画像が圧縮後の画像であることを可能にする。
ここにおいて、「第１」と「第２」などのような関係用語は、単に１つの物または動作を別の物または動作と区別するために使用されるのみであり、必ずしもこれらの物または動作の間に実際の関係または順序があることを必要としたり暗示したりするわけではない。さらに、「含む」、「有する」または「持つ」という用語、またはそれらの任意の他の変形は、非排他的な包含を意味しており、複数の要素を含むプロセス、方法、物、または装置が明確に書かれたそれらの要素だけでなく、明確には書かれていない他の要素、またはそれらのプロセス、方法、物、または装置に本来備わっている要素を有することを意味する。さらなる制限無しに、「〜を含む」という表現によって定義される要素は、それらの明確に書かれた要素を含むプロセス、方法、物、または装置に追加の同等の要素があることを排除するものではない。
本明細書における全ての実施形態は相互に関連付けて説明されており、様々な実施形態における同一または類似の部分は互いに参照されることができ、各実施形態のための説明は他の実施形態との相違点に全て重点を置いている。
上述した実施形態は単に本発明の好ましい実施形態であり、本発明の保護範囲を制限することを意図するものではない。本発明の精神および原理の範囲内でなされたいかなる修正、代替案、改良なども本発明の保護範囲に含まれる。

Claims (15)

  1. 圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するステップを備え、当該第１のパノラマ画像中の全画素の平面２次元直交座標と当該第１の球形モデルにおける座標との間に対応があり、
    ユーザの主視野画像に従って前記第１の球形モデル内に第２の球形モデルを生成するステップを備え、当該第２の球形モデルは前記第１の球形モデルに含まれ、当該第２の球形モデルの球の中心は前記第１の球形モデルの球の中心と前記ユーザの主視野画像との間に位置し、当該第２の球形モデルの半径は前記第１の球形モデルの半径より小さく、前記ユーザの主視野画像はユーザによって主に見られる前記第１のパノラマ画像の部分画像であり、
    第２のパノラマ画像における平面２次元直交座標と前記第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立するステップを備え、当該第２のパノラマ画像は前記第２の球形モデルを広げることによって取得されるパノラマ画像であり、当該第２のパノラマ画像における平面２次元直交座標と前記第２の球形モデルにおける座標との間に対応があり、
    前記第１のマッピング関係に従って、前記第１のパノラマ画像から前記第２のパノラマ画像における平面２次元直交座標に対応する画素をサンプリングし、前記第１のパラレル画像の圧縮を実現するために、画素を含む前記第２のパノラマ画像を構成するステップを備える、
    パノラマ画像圧縮方法。
  2. 前記ユーザの主視野画像に従って前記第１の球形モデル内で前記第２の球形モデルを生成するステップと、
    前記第２のパノラマ画像の予め設定された解像度に従って前記第２の球形モデルの半径を決定するステップと、
    前記ユーザの主視野画像に従って前記第１の球形モデル内の前記第２の球形モデルの球の中心の位置を決定するステップと、
    を備える請求項１に記載のパノラマ画像圧縮方法。
  3. 前記第２のパノラマ画像における平面２次元直交座標と前記第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立するステップが、
    前記第１のパノラマ画像における全画素の平面２次元直交座標と前記第１の球形モデルにおける座標との間で第１の対応を確立するステップと、
    前記第１の球形モデルにおける座標と前記第２の球形モデルにおける座標との間で第２の対応を確立するステップと、
    前記第２の球形モデルにおける座標と前記第２のパノラマ画像における平面２次元直交座標との間で第３の対応を確立するステップと、
    前記第３の対応に従って前記第２のパノラマ画像における平面２次元直交座標を前記第２の球形モデルにおける座標と関連付け、前記第２の対応に従って前記第２の球形モデルにおける座標を前記第１の球形モデルにおける座標と関連付け、前記第１の対応に従って前記第１の球形モデルにおける座標を前記第１のパノラマ画像における平面２次元直交座標と関連付け、前記第２のパノラマ画像における平面２次元直交座標と前記第１のパノラマ画像における平面２次元直交座との間で前記第１のマッピング関係を確立するステップと、
    を備える請求項１に記載のパノラマ画像圧縮方法。
  4. 前記第１の球形モデルにおける座標と前記第２の球形モデルにおける座標との間で前記第２の対応を確立するステップの前に、
    前記第２の球形モデルの球の中心が前記第１の球形モデルの３次元直交座標系のｘ軸上にない場合、前記第１の球形モデルの３次元直交座標系上で座標系の変換を実行するステップを備え、当該座標系の変換は、前記第２の球形モデルの球の中心が回転されたｘ軸上にあるように前記第１の球形モデルのｘ軸を回転させるステップを含む、
    請求項３に記載のパノラマ画像圧縮方法。
  5. 圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するステップを備え、当該第１のパノラマ画像中の全画素の平面２次元直交座標と当該第１の球形モデルにおける座標との間に対応があり、
    ユーザの主視野画像に従って前記第１の球形モデル内に第２の球形モデルを生成するステップを備え、当該第２の球形モデルは前記第１の球形モデルに含まれ、当該第２の球形モデルの球の中心は前記第１の球形モデルの球の中心と前記ユーザの主視野画像との間に位置し、当該第２の球形モデルの半径は前記第１の球形モデルの半径より小さく、前記ユーザの主視野画像はユーザによって主に見られる前記第１のパノラマ画像の部分画像であり、
    ２次元投影面における平面２次元直交座標と前記第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立するステップを備え、当該２次元投影面は前記第２の球形モデルを通して生成される投影面であり、当該２次元投影面の平面２次元直交座標と前記第２の球形モデルにおける座標との間に対応があり、
    前記第２のマッピング関係に従って、前記第１のパノラマ画像から前記２次元投影面における平面２次元直交座標に対応する画素をサンプリングし、ユーザが直接見ることができる画素を含む前記２次元投影面を構成するステップを備える、
    パノラマ画像表示方法。
  6. 前記２次元投影面の平面２次元直交座標と前記第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立するステップが、
    前記第１のパノラマ画像における全画素の平面２次元直交座標と前記第１の球形モデルにおける座標との間で第１の対応を確立するステップと、
    前記第１の球形モデルにおける座標と前記第２の球形モデルにおける座標との間で第２の対応を確立するステップと、
    前記第２の球形モデルにおける座標と前記２次元投影面の平面２次元直交座標との間で第４の対応を確立するステップと、
    前記第４の対応に従って前記２次元投影面の平面２次元直交座標を前記第２の球形モデルにおける座標と関連付け、前記第２の対応に従って前記第２の球形モデルにおける座標を前記第１の球形モデルにおける座標と関連付け、前記第１の対応に従って前記第１の球形モデルにおける座標を前記第１のパノラマ画像における平面２次元直交座標と関連付け、前記２次元投影面の平面２次元直交座標と前記第１のパノラマ画像における平面２次元直交座標との間で前記第２のマッピング関係を確立するステップと、
    を備える請求項５に記載のパノラマ画像表示方法。
  7. 圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するために使用される取得モジュールを備え、当該第１のパノラマ画像中の全画素の平面２次元直交座標と当該第１の球形モデルにおける座標との間に対応があり、
    ユーザの主視野画像に従って前記第１の球形モデル内に第２の球形モデルを生成するために使用される生成モジュールを備え、当該第２の球形モデルは前記第１の球形モデルに含まれ、当該第２の球形モデルの球の中心は前記第１の球形モデルの球の中心と前記ユーザの主視野画像との間に位置し、当該第２の球形モデルの半径は前記第１の球形モデルの半径より小さく、前記ユーザの主視野画像はユーザによって主に見られる前記第１のパノラマ画像の部分画像であり、
    第２のパノラマ画像における平面２次元直交座標と前記第１のパノラマ画像における平面２次元直交座標との間で第１のマッピング関係を確立するために使用されるマッピングモジュールを備え、当該第２のパノラマ画像は前記第２の球形モデルを広げることによって取得されるパノラマ画像であり、当該第２のパノラマ画像における平面２次元直交座標と前記第２の球形モデルにおける座標との間に対応があり、
    前記第１のマッピング関係に従って、前記第１のパノラマ画像から前記第２のパノラマ画像における平面２次元直交座標に対応する画素をサンプリングし、前記第１のパラレル画像の圧縮を実現するために、画素を含む前記第２のパノラマ画像を構成するために使用されるサンプリングモジュールを備える、
    パノラマ画像圧縮装置。
  8. 前記生成モジュールが、特に、
    前記第２のパノラマ画像の予め設定された解像度に従って前記第２の球形モデルの半径を決定すること、および、
    前記ユーザの主視野画像に従って前記第１の球形モデル内の前記第２の球形モデルの球の中心の位置を決定すること、
    のために使用される請求項７に記載のパノラマ画像圧縮装置。
  9. 前記マッピングモジュールが、
    前記第１のパノラマ画像における全画素の平面２次元直交座標と前記第１の球形モデルにおける座標との間で第１の対応を確立するために使用される第１の対応サブモジュールと、
    前記第１の球形モデルにおける座標と前記第２の球形モデルにおける座標との間で第２の対応を確立するために使用される第２の対応サブモジュールと、
    前記第２の球形モデルにおける座標と前記第２のパノラマ画像における平面２次元直交座標との間で第３の対応を確立するために使用される第３の対応サブモジュールと、
    前記第３の対応に従って前記第２のパノラマ画像における平面２次元直交座標を前記第２の球形モデルにおける座標と関連付け、前記第２の対応に従って前記第２の球形モデルにおける座標を前記第１の球形モデルにおける座標と関連付け、前記第１の対応に従って前記第１の球形モデルにおける座標を前記第１のパノラマ画像における平面２次元直交座標と関連付け、前記第２のパノラマ画像における平面２次元直交座標と前記第１のパノラマ画像における平面２次元直交座との間で前記第１のマッピング関係を確立するために使用される第１のマッピングサブモジュールと、
    を備える請求項７に記載のパノラマ画像圧縮装置。
  10. 前記第２の対応サブモジュールが前記第１の球形モデルにおける座標と前記第２の球形モデルにおける座標との間で前記第２の対応を確立する前に、前記第２の球形モデルの球の中心が前記第１の球形モデルの３次元直交座標系のｘ軸上にない場合、前記第１の球形モデルの３次元直交座標系上で座標系の変換を実行するために使用される選択サブモジュールを備え、当該座標系の変換は、前記第２の球形モデルの球の中心が回転されたｘ軸上にあるように前記第１の球形モデルのｘ軸を回転させることを含む請求項９に記載のパノラマ画像圧縮装置。
  11. 圧縮対象の第１のパノラマ画像によって形成される第１の球形モデルを取得するために使用される取得モジュールを備え、当該第１のパノラマ画像中の全画素の平面２次元直交座標と当該第１の球形モデルにおける座標との間に対応があり、
    ユーザの主視野画像に従って前記第１の球形モデル内に第２の球形モデルを生成するために使用される生成モジュールを備え、当該第２の球形モデルは前記第１の球形モデルに含まれ、当該第２の球形モデルの球の中心は前記第１の球形モデルの球の中心と前記ユーザの主視野画像との間に位置し、当該第２の球形モデルの半径は前記第１の球形モデルの半径より小さく、前記ユーザの主視野画像はユーザによって主に見られる前記第１のパノラマ画像の部分画像であり、
    ２次元投影面における平面２次元直交座標と前記第１のパノラマ画像における平面２次元直交座標との間で第２のマッピング関係を確立するために使用されるマッピング確立モジュールを備え、当該２次元投影面は前記第２の球形モデルを通して生成される投影面であり、当該２次元投影面の平面２次元直交座標と前記第２の球形モデルにおける座標との間に対応があり、
    前記第２のマッピング関係に従って、前記第１のパノラマ画像から前記２次元投影面における平面２次元直交座標に対応する画素をサンプリングし、ユーザが直接見ることができる画素を含む前記２次元投影面を構成するために使用される画素サンプリングモジュールを備える、
    パノラマ画像表示装置。
  12. プロセサと通信インタフェースとメモリと通信バスとを備え、
    前記プロセサと前記通信インタフェースと前記メモリとが、前記通信バスを介して互いに通信し、
    前記メモリが、コンピュータプログラムを記憶するために使用され、
    前記プロセサが、前記メモリに記憶されているプログラムを実行することによって請求項１ないし４のいずれか１項に記載のパノラマ画像圧縮方法を実行するために使用される、
    電子装置。
  13. プロセサと通信インタフェースとメモリと通信バスとを備え、
    前記プロセサと前記通信インタフェースと前記メモリとが前記通信バスを介して互いに通信し、
    前記メモリが、コンピュータプログラムを記憶するために使用され、
    前記プロセサが、前記メモリに記憶されているプログラムを実行することによって請求項５または６に記載のパノラマ画像表示方法を実行するために使用される、
    電子装置。
  14. コンピュータプログラムを記憶し、当該コンピュータプログラムがプロセサによって実行されるとき、当該コンピュータプログラムが請求項１ないし４のいずれか１項に記載のパノラマ画像圧縮方法を実行する読み取り可能なコンピュータ記憶媒体。
  15. コンピュータプログラムを記憶し、当該コンピュータプログラムがプロセサによって実行されるとき、当該コンピュータプログラムが請求項５または６に記載のパノラマ画像表示方法を実行する読み取り可能なコンピュータ記憶媒体。
JP2019504789A 2016-12-29 2017-08-30 パノラマ画像圧縮方法および装置 Active JP6764995B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201611248836.9A CN106651764B (zh) 2016-12-29 2016-12-29 一种全景图压缩方法及装置
CN201611248836.9 2016-12-29
PCT/CN2017/099694 WO2018120888A1 (zh) 2016-12-29 2017-08-30 一种全景图压缩方法及装置

Publications (2)

Publication Number Publication Date
JP2019532531A true JP2019532531A (ja) 2019-11-07
JP6764995B2 JP6764995B2 (ja) 2020-10-07

Family

ID=58836039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019504789A Active JP6764995B2 (ja) 2016-12-29 2017-08-30 パノラマ画像圧縮方法および装置

Country Status (11)

Country Link
US (1) US10812833B2 (ja)
EP (1) EP3471052B1 (ja)
JP (1) JP6764995B2 (ja)
KR (1) KR102208773B1 (ja)
CN (1) CN106651764B (ja)
AU (1) AU2017386420B2 (ja)
CA (1) CA3028518C (ja)
ES (1) ES2886637T3 (ja)
MY (1) MY194491A (ja)
TW (1) TWI619091B (ja)
WO (1) WO2018120888A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651764B (zh) 2016-12-29 2019-10-15 北京奇艺世纪科技有限公司 一种全景图压缩方法及装置
CN107124590A (zh) * 2017-05-24 2017-09-01 深圳市酷开网络科技有限公司 基于声源定向的全景视频压缩方法、存储介质及摄像机
CN107577338A (zh) * 2017-07-25 2018-01-12 北京小鸟看看科技有限公司 一种全景图像的投射方法、装置及头戴显示设备
CN109427087A (zh) * 2017-08-22 2019-03-05 优酷网络技术（北京）有限公司 图像处理方法和装置
WO2019037558A1 (zh) 2017-08-22 2019-02-28 优酷网络技术（北京）有限公司 图像处理方法和装置
CN107622474B (zh) * 2017-09-26 2021-03-30 北京大学深圳研究生院 基于主视点的全景视频映射方法
CN108122283B (zh) * 2017-12-20 2021-05-11 成都索贝数码科技股份有限公司 一种利用坐标变换编辑vr影像的方法
WO2020019304A1 (zh) * 2018-07-27 2020-01-30 深圳市大疆创新科技有限公司 获取三维场景的方法与装置
CN110618973A (zh) * 2019-09-09 2019-12-27 大唐网络有限公司 图像的存储方法和装置
CN110910306B (zh) * 2019-11-28 2022-06-21 深圳市信义科技有限公司 一种将全景地图中球面坐标转换为直线段的方法
CN115134604A (zh) * 2021-03-26 2022-09-30 影石创新科技股份有限公司 全景视频压缩方法、装置、计算机设备和存储介质
CN114693691B (zh) * 2022-03-23 2023-05-02 成都智元汇信息技术股份有限公司 一种双源双视角基于坐标映射的切图方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2490179A1 (en) * 2011-02-18 2012-08-22 Alcatel Lucent Method and apparatus for transmitting and receiving a panoramic video stream
US20130243351A1 (en) * 2012-03-19 2013-09-19 Adobe Systems Incorporated Methods and Apparatus for Interfacing Panoramic Image Stitching with Post-Processors
JP2014127001A (ja) * 2012-12-26 2014-07-07 Ricoh Co Ltd 画像処理システム、画像処理方法およびプログラム
JP2015521442A (ja) * 2012-07-04 2015-07-27 インテル コーポレイション パノラマベースの３ｄビデオコーディング

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613344B2 (en) 2003-12-08 2009-11-03 Electronics And Telecommunications Research Institute System and method for encoding and decoding an image using bitstream map and recording medium thereof
KR100613752B1 (ko) 2004-03-11 2006-08-22 경북대학교 산학협력단 파노라마 영상의 스트리밍 방법
US7961983B2 (en) * 2007-07-18 2011-06-14 Microsoft Corporation Generating gigapixel images
CN101271187B (zh) * 2008-03-20 2012-04-25 汤一平 无死角的双目立体全方位视觉传感装置
CN101706967B (zh) 2009-11-18 2011-10-05 电子科技大学 一种真实感云层的综合模拟方法
JP2011217300A (ja) * 2010-04-02 2011-10-27 Masamichi Tokuzawa ３６０度ライブ・パノラマ配信システム
CN102508398B (zh) * 2011-11-09 2015-03-25 东莞市环宇文化科技有限公司 用计算机对平面待显示图进行球幕投影化处理的方法
US9973692B2 (en) * 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
JP2015149600A (ja) * 2014-02-06 2015-08-20 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR102206244B1 (ko) * 2014-08-27 2021-01-22 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN104244019B (zh) 2014-09-18 2018-01-19 孙轩 一种全景视频影像室内分屏显示方法及显示系统
CN105631809B (zh) * 2015-12-31 2018-11-06 北京理工大学 一种非均匀分辨率球面全景图生成方法
US9984436B1 (en) * 2016-03-04 2018-05-29 Scott Zhihao Chen Method and system for real-time equirectangular projection
CN105913379A (zh) * 2016-04-29 2016-08-31 乐视控股（北京）有限公司 虚拟现实终端及其图片的显示方法和装置
CN105915907B (zh) * 2016-06-07 2019-07-26 北京圣威特科技有限公司 全景图的压缩方法、装置及系统
CN106023070B (zh) * 2016-06-14 2017-10-03 北京岚锋创视网络科技有限公司 实时全景拼接方法和装置
CN105933707B (zh) 2016-06-30 2019-02-22 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置
KR102560029B1 (ko) * 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
CN106651764B (zh) 2016-12-29 2019-10-15 北京奇艺世纪科技有限公司 一种全景图压缩方法及装置
CN107146274B (zh) * 2017-05-05 2021-06-22 上海兆芯集成电路有限公司 图像数据处理系统、纹理贴图压缩和产生全景视频的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2490179A1 (en) * 2011-02-18 2012-08-22 Alcatel Lucent Method and apparatus for transmitting and receiving a panoramic video stream
US20130243351A1 (en) * 2012-03-19 2013-09-19 Adobe Systems Incorporated Methods and Apparatus for Interfacing Panoramic Image Stitching with Post-Processors
JP2015521442A (ja) * 2012-07-04 2015-07-27 インテル コーポレイション パノラマベースの３ｄビデオコーディング
JP2014127001A (ja) * 2012-12-26 2014-07-07 Ricoh Co Ltd 画像処理システム、画像処理方法およびプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHUAI LIU ET AL.: "Multi-resolution panoramic modeling based on spherical projective geometry", PROCEEDINGS OF 2012 2ND INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND NETWORK TECHNOLOGY, JPN6020008186, December 2012 (2012-12-01), pages 2171 - 2174, XP032420259, ISSN: 0004295877, DOI: 10.1109/ICCSNT.2012.6526348 *
松場亮太郎 他: "パノラマ仮想空間構築のためのＲＡＮＳＡＣを用いた方位推定方法", ＦＩＴ２０１３ 第１２回情報科学技術フォーラム 講演論文集 第２分冊, vol. D-023, JPN6020008181, August 2013 (2013-08-01), pages 135 - 136, ISSN: 0004295875 *
池田隼 他: "パノラマ画像を用いた仮想空間構築", 日本データベース学会ＬＥＴＴＥＲＳ, vol. 第5巻，第1号, JPN6020008182, June 2006 (2006-06-01), pages 97 - 100, ISSN: 0004295876 *

Also Published As

Publication number Publication date
KR102208773B1 (ko) 2021-01-29
AU2017386420A1 (en) 2019-01-24
CA3028518C (en) 2021-04-06
ES2886637T3 (es) 2021-12-20
US20200177925A1 (en) 2020-06-04
US10812833B2 (en) 2020-10-20
MY194491A (en) 2022-11-30
JP6764995B2 (ja) 2020-10-07
CA3028518A1 (en) 2018-07-05
CN106651764A (zh) 2017-05-10
CN106651764B (zh) 2019-10-15
KR20190039118A (ko) 2019-04-10
WO2018120888A1 (zh) 2018-07-05
TW201824175A (zh) 2018-07-01
EP3471052A4 (en) 2019-06-19
AU2017386420B2 (en) 2020-04-23
EP3471052B1 (en) 2021-06-09
TWI619091B (zh) 2018-03-21
EP3471052A1 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
JP6764995B2 (ja) パノラマ画像圧縮方法および装置
Zakharchenko et al. Quality metric for spherical panoramic video
CN108470379B (zh) 三维图像融合方法和装置
KR102183050B1 (ko) 구면 파노라마 영상에 매핑을 수행하는 방법 및 장치
TWI637355B (zh) 紋理貼圖之壓縮方法及其相關圖像資料處理系統與產生３６０度全景視頻之方法
WO2018077071A1 (zh) 一种全景图像的生成方法及装置
JP2004187298A (ja) パノラマ画像および全方位画像の描画および符号化
WO2021208486A1 (zh) 一种相机坐标变换方法、终端以及存储介质
CN110648274B (zh) 鱼眼图像的生成方法及装置
CN114549289A (zh) 图像处理方法、装置、电子设备和计算机存储介质
US11380049B2 (en) Finite aperture omni-directional stereo light transport
TW201824176A (zh) 投影圖構建方法及裝置
WO2017113729A1 (zh) 360度图像加载方法、加载模块及移动终端
WO2018052100A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
WO2019042028A1 (zh) 全视向的球体光场渲染方法
US10699372B2 (en) Image generation apparatus and image display control apparatus
JP4554231B2 (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
JP5926626B2 (ja) 画像処理装置及びその制御方法、プログラム
CN114596407A (zh) 资源对象三维模型生成交互方法和装置，显示方法和装置
CN112652056A (zh) 一种3d信息展示方法及装置
CN111161426A (zh) 基于全景图像的三维显示方法和系统
US20220044351A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
JP2024079369A (ja) 全方位画像の物体検出装置、および、全方位画像の物体検出方法
Sacht et al. Complex Plane Transformations for Manipulation and Visualization of Panoramas.
JP2000306117A (ja) 三次元画像生成装置、三次元画像生成表示装置、データ保持装置、及びその方法、媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200914

R150 Certificate of patent or registration of utility model

Ref document number: 6764995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250