JP2008510357A - Image encoding method, encoding device, image decoding method, and decoding device - Google Patents

Image encoding method, encoding device, image decoding method, and decoding device Download PDF

Info

Publication number
JP2008510357A
JP2008510357A JP2007525547A JP2007525547A JP2008510357A JP 2008510357 A JP2008510357 A JP 2008510357A JP 2007525547 A JP2007525547 A JP 2007525547A JP 2007525547 A JP2007525547 A JP 2007525547A JP 2008510357 A JP2008510357 A JP 2008510357A
Authority
JP
Japan
Prior art keywords
image
region
interest
omnidirectional
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007525547A
Other languages
Japanese (ja)
Inventor
パク，グァン−フン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020040075972A external-priority patent/KR100739686B1/en
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2008510357A publication Critical patent/JP2008510357A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

全方向画像をエンコーディングして第１ビットストリームを生成する第１エンコーダと、第１ビットストリームをデコーディング装置に伝送し、第１ビットストリームに基づいて再生された画像から選択された関心領域の位置情報をデコーディング装置から受信するデータ通信部と、位置情報に基づいて関心領域に関連した画像をエンコーディングして第２ビットストリームを生成する第２エンコーダと、を備えることを特徴とする画像のエンコーディング装置である。
A first encoder that encodes an omnidirectional image to generate a first bitstream; and a position of a region of interest selected from an image that is transmitted based on the first bitstream and transmitted to the decoding device An image encoding comprising: a data communication unit that receives information from a decoding device; and a second encoder that encodes an image related to a region of interest based on position information to generate a second bitstream. Device.

Description

本発明は、画像エンコーディング及びデコーディングに係り、さらに詳細には、３次元実感放送などに適用される全方向画像のエンコーディング及びデコーディングに関する。   The present invention relates to image encoding and decoding, and more particularly to encoding and decoding of an omnidirectional image applied to 3D actual broadcasting and the like.

全方向ビデオカメラシステムは、固定視点を基準に３６０°全方向撮影の可能なカメラシステムをいう。全方向ビデオカメラシステムは、カメラに双曲面ミラーのような特殊形態のミラーや、魚眼レンズのような特殊レンズを装着するか、複数のカメラを利用して全方向を撮影する。このような全方向ビデオカメラシステムから生成されたビデオ情報を放送及び伝送に適用させるための全方向ビデオエンコーディング方法についての研究が進められている。   An omnidirectional video camera system refers to a camera system capable of 360 ° omnidirectional imaging with a fixed viewpoint as a reference. In the omnidirectional video camera system, a specially shaped mirror such as a hyperboloid mirror or a special lens such as a fisheye lens is attached to the camera, or a plurality of cameras are used to shoot in all directions. Research on an omnidirectional video encoding method for applying video information generated from such an omnidirectional video camera system to broadcasting and transmission is underway.

全方向ビデオエンコーディング方法が適用される一例として、三次元実感放送がある。三次元実感放送の一例を挙げれば、野球競技などで多様な視点からの光景についての画像情報は、視聴者側の端末に全て与えられる。すなわち、投手の立場からの視点、捕手の立場からの視点、打者の立場からの視点、一塁席観衆の立場からの視点などでの多様な画像情報が視聴者に提供される。視聴者は、見たい視点を自ら決定して、その視点からの画像を視聴しうる。   As an example to which the omnidirectional video encoding method is applied, there is 3D reality broadcasting. As an example of a three-dimensional reality broadcast, image information about scenes from various viewpoints in a baseball game or the like is all given to a terminal on the viewer side. That is, the viewer is provided with various image information from the viewpoint of the pitcher, the viewpoint from the catcher, the viewpoint from the batter's position, the viewpoint from the position of the first-seat audience, and the like. The viewer can determine the viewpoint he / she wants to see and view an image from that viewpoint.

三次元実感放送の一例として、クイックタイム（Ｑｕｉｃｋ Ｔｉｍｅ ＶＲ（登録商標））がある。クイックタイムＶＲ（登録商標）は、写真などを３６０°円筒型または立方体パノラミックビューで製作して、３６０°回転やズームなどを行えるようになっているが、あらゆるパノラミック画像情報を視聴前にユーザのコンピュータにダウンローディングせねばならないという短所と、画質が相当劣化するという短所とがある。   As an example of the three-dimensional actual broadcasting, there is a quick time (Quick Time VR (registered trademark)). Quicktime VR (registered trademark) is a 360 ° cylindrical or cubic panoramic view that can be used for 360 ° rotation and zooming. However, before viewing any panoramic image information, There is a disadvantage that the computer must be downloaded, and a disadvantage that the image quality is considerably deteriorated.

従来の技術によれば、全方向動画をエンコーディングするための方法論として、既存のＭＰＥＧ−４、Ｈ.２６４などの２次元画像のエンコーディング方法をそのまま全方向三次元画像に適用するための研究が進められている。図１は、従来の技術による全方向動画エンコーディング／デコーディングシステムの概念図である。図１に示すように、全方向画像撮影手段１１０を利用して全方向画像を得た後、画像変換部１２０は、既存のＭＰＥＧ−４エンコーダ１３０により処理可能な画像フォーマットに、全方向画像を所定のフォーマットの画像に変換する。   According to the prior art, as a methodology for encoding an omnidirectional video, research for applying an existing encoding method of a two-dimensional image such as MPEG-4 or H.264 to an omnidirectional three-dimensional image is proceeding. It has been. FIG. 1 is a conceptual diagram of a conventional omnidirectional video encoding / decoding system. As shown in FIG. 1, after obtaining an omnidirectional image using the omnidirectional image capturing unit 110, the image conversion unit 120 converts the omnidirectional image into an image format that can be processed by the existing MPEG-4 encoder 130. Convert to an image of a predetermined format.

レンズ及びミラーを利用した全方向カメラシステムまたは複数のカメラを利用した全方向カメラシステムにより撮影された画像は、３次元の球形環境に対応する特徴を有する。従来のビデオコーデックは、２次元平面画像を入力されて圧縮して伝送するため、全方向カメラシステムにより撮影された３次元画像を２次元平面画像に変換する必要がある。３次元画像を２次元平面画像に変換するための方法としては、地図製作プロジェクション方式と多角形プロジェクション方式とに大別される。   An image taken by an omnidirectional camera system using a lens and a mirror or an omnidirectional camera system using a plurality of cameras has characteristics corresponding to a three-dimensional spherical environment. Since the conventional video codec receives and compresses a two-dimensional planar image, it needs to convert the three-dimensional image captured by the omnidirectional camera system into a two-dimensional planar image. Methods for converting a three-dimensional image into a two-dimensional planar image are roughly classified into a map production projection method and a polygon projection method.

地図製作プロジェクション方式は、世界地図を製作する方式と同様に球形を完全な直方形に変換させる方式である。多角形プロジェクション方式は、球形に対して多面体を内接させることによって、３次元画像を２次元平面画像に変換する。   The map production projection method is a method in which a spherical shape is converted into a complete rectangular shape in the same manner as a method for producing a world map. The polygon projection method converts a three-dimensional image into a two-dimensional planar image by inscribing a polyhedron with respect to a sphere.

ＭＰＥＧ−４エンコーダ１３０は、変換された画像をエンコーディングしてビットストリームを生成した後、ユーザ側のデコーディング装置に伝送する。ＭＰＥＧ−４デコーダ１４０及び画像変換部１５０は、それぞれビットストリームをデコーディング及び画像変換した後、ディスプレイ１６０を通じて全方向画像をユーザに提供する。   The MPEG-4 encoder 130 encodes the converted image to generate a bitstream, and then transmits the bitstream to a user-side decoding device. The MPEG-4 decoder 140 and the image conversion unit 150 provide the omnidirectional image to the user through the display 160 after decoding and image conversion of the bitstream, respectively.

ユーザに伝送する全方向画像データの量は、非常に多いため、リアルタイムでユーザに伝達するためには、非常に広い伝送帯域幅が必要であり、伝送遅延、ユーザ側のデコーディング装置の性能限界などの多様な問題が発生する。   Since the amount of omnidirectional image data to be transmitted to the user is very large, to transmit to the user in real time, a very wide transmission bandwidth is required, transmission delay, performance limit of the decoding device on the user side Various problems occur.

さらに、全方向画像と２次元画像との特性が異なるにもかかわらず、従来の２次元画像のエンコーディング技法を全方向画像にそのまま適用させる場合、エンコーディングの効率が低下する。   Further, when the conventional two-dimensional image encoding technique is applied to an omnidirectional image as it is even though the omnidirectional image and the two-dimensional image have different characteristics, the encoding efficiency decreases.

本発明が解決しようとする技術的課題は、全方向画像をさらに効率的に伝送でき、全方向画像のうち、ユーザの関心領域に対しては、さらに改善された画質の画像をユーザに提供できる画像のエンコーディング方法及びエンコーディング装置を提供することである。   A technical problem to be solved by the present invention is that an omnidirectional image can be transmitted more efficiently, and an image of improved quality can be provided to a user's region of interest among the omnidirectional images. An image encoding method and an encoding apparatus are provided.

本発明が解決しようとする他の技術的課題は、全方向画像のうち、ユーザの関心領域に対しては、さらに改善された画質の画像を提供されてユーザにディスプレイできる画像のデコーディング方法及びデコーディング装置を提供することである。   Another technical problem to be solved by the present invention is a decoding method of an image that can be displayed to a user by providing an image of further improved image quality to a user's region of interest among omnidirectional images, and It is to provide a decoding device.

前記課題を解決するための本発明の一実施形態に係る画像のエンコーディング方法は、全方向画像をエンコーディングして第１ビットストリームを生成した後、デコーディング装置に伝送するステップと、前記第１ビットストリームに基づいて再生された画像から選択された関心領域の位置情報を前記デコーディング装置から受信するステップと、前記位置情報に基づいて前記関心領域に関連した画像をエンコーディングして第２ビットストリームを生成するステップとを含むことを特徴とする。   An image encoding method according to an embodiment of the present invention for solving the above-described problem includes a step of encoding an omnidirectional image to generate a first bit stream, and then transmitting the first bit stream to the decoding apparatus. Receiving position information of a region of interest selected from an image reproduced based on the stream from the decoding device; and encoding a second bitstream by encoding an image related to the region of interest based on the position information. And generating.

前記課題を解決するための本発明の一実施形態に係る画像のエンコーディング装置は、全方向画像をエンコーディングして第１ビットストリームを生成する第１エンコーダと、前記第１ビットストリームをユーザのデコーディング装置に伝送し、前記第１ビットストリームに基づいて再生された画像から前記ユーザの関心領域の位置情報を前記デコーディング装置から受信するデータ通信部と、前記位置情報に基づいて前記関心領域に関連した画像をエンコーディングして第２ビットストリームを生成する第２エンコーダと、を備えることを特徴とする。   An image encoding apparatus according to an embodiment of the present invention for solving the above problems includes a first encoder that encodes an omnidirectional image to generate a first bit stream, and a user decoding the first bit stream. A data communication unit for receiving position information of the user's region of interest from the decoding device from an image transmitted to the device and reproduced based on the first bitstream, and related to the region of interest based on the position information And a second encoder that encodes the generated image to generate a second bit stream.

前記他の課題を解決するための本発明の一実施形態に係る画像のデコーディング方法は、全方向画像をエンコーディングすることによって生成された第１ビットストリームをエンコーディング装置から受信するステップと、前記第１ビットストリームをデコーディングして再生画像をディスプレイするステップと、前記ディスプレイされる再生画像のうち、選択された関心領域の位置情報を前記エンコーディング装置に伝送するステップと、前記関心領域に関連した画像をエンコーディングすることによって生成された第２ビットストリームを前記エンコーディング装置から受信するステップと、前記第２ビットストリームをデコーディングするステップとを含むことを特徴とする。   An image decoding method according to an embodiment of the present invention for solving the other problem includes receiving a first bitstream generated by encoding an omnidirectional image from an encoding device, Decoding one bitstream to display a reproduced image; transmitting position information of a selected region of interest among the displayed reproduced images to the encoding device; and an image associated with the region of interest Receiving a second bit stream generated by encoding the second bit stream from the encoding device, and decoding the second bit stream.

前記他の課題を解決するための本発明の一実施形態に係る画像のデコーディング装置は、全方向画像をエンコーディングすることによって生成された第１ビットストリームをエンコーディング装置から受信してデコーディングする第１デコーダと、前記第１デコーダによりデコーディングされた再生全方向画像をディスプレイする第１ディスプレイと、前記第１ディスプレイを通じて再生された画像から選択された関心領域の位置情報を前記エンコーディング装置に伝送するデータ通信部と、前記関心領域に関連した画像をエンコーディングすることによって生成された第２ビットストリームを前記エンコーディング装置から受信してデコーディングする第２デコーダとを備えることを特徴とする。   An image decoding apparatus according to an embodiment of the present invention for solving the other problems is a first decoding apparatus that receives and decodes a first bitstream generated by encoding an omnidirectional image from the encoding apparatus. 1 decoder, a first display for displaying the reproduced omnidirectional image decoded by the first decoder, and position information of a region of interest selected from the image reproduced through the first display is transmitted to the encoding device. A data communication unit, and a second decoder for receiving and decoding a second bit stream generated by encoding an image related to the region of interest from the encoding device.

本発明によれば、帯域幅に制限のあるチャンネルを通じて簡略な全方向画像をユーザ側のデコーディング装置に伝送し、全方向画像のうち、ユーザの関心領域に対しては、高画質の画像をユーザにリアルタイムで提供しうる。   According to the present invention, a simple omnidirectional image is transmitted to a decoding device on the user side through a channel with limited bandwidth, and a high-quality image is displayed for a region of interest of the user among the omnidirectional images. Can be provided to users in real time.

以下、添付された図面を参照して、本発明に係る実施形態を詳細に説明する。   Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

ユーザは、全方向カメラシステムにより獲得された画像のあらゆる部分に対して関心があるものではなく、全画像についての情報に基づいて、ユーザが視点変化を行って、関心部の画像を細密に見ようとすることが一般的である。したがって、本発明では、現在、ユーザの関心外に該当する部分の画像に対しては、最小の伝送帯域幅を利用してユーザ側に伝送し、関心領域は、高画質画像を伝送する。すなわち、より低い画質の全体パノマラ画像をユーザ側のデコーディング装置に提供して、ユーザをして概略的なパノマラ画像を提供し、ユーザがより高画質の詳細な画像を見ようとする関心領域を選択して、エンコーディング装置側にその関心領域についての位置情報を提供すれば、その関心領域に対する高画質画像をユーザ側のデコーディング装置に提供する。   The user is not interested in every part of the image acquired by the omnidirectional camera system, but based on information about the whole image, the user can change the viewpoint and look closely at the image of the part of interest. It is common to do. Therefore, in the present invention, the image of the portion that is currently outside the user's interest is transmitted to the user side using the minimum transmission bandwidth, and the region of interest transmits a high-quality image. That is, the entire panomara image having a lower image quality is provided to the decoding device on the user side, the user is provided with a rough panomara image, and the region of interest in which the user wants to view a higher-quality detailed image is determined. By selecting and providing position information about the region of interest to the encoding device side, a high-quality image for the region of interest is provided to the decoding device on the user side.

図２は、本発明の一実施形態に係る画像のエンコーディング装置のブロック図である。図２に示すように、本発明の一実施形態に係る画像のエンコーディング装置は、第１エンコーダ２１０、データ通信部２２０、第１変換部２４０、第２変換部２３０、関心領域選択部２５０、減算部２６０及び第２エンコーダ２７０を備える。   FIG. 2 is a block diagram of an image encoding apparatus according to an embodiment of the present invention. As shown in FIG. 2, an image encoding apparatus according to an embodiment of the present invention includes a first encoder 210, a data communication unit 220, a first conversion unit 240, a second conversion unit 230, a region of interest selection unit 250, a subtraction. A unit 260 and a second encoder 270.

全方向カメラシステム（図示せず）により撮影された全方向画像が、第１エンコーダ２１０及び第１変換部２４０に入力される。図２に示す本実施形態に係る全方向画像は、環状の画像となりうるが、これに限定されるものではない。   An omnidirectional image captured by an omnidirectional camera system (not shown) is input to the first encoder 210 and the first converter 240. The omnidirectional image according to the present embodiment illustrated in FIG. 2 can be a circular image, but is not limited thereto.

全方向カメラシステムは、特殊レンズまたはミラーとレンズとを組み合わせたカメラシステムであって、固定視点を基準に３６０°全方向を撮影しうる。全方向カメラシステムの一例として、日本ソニー社のモデルＴＲＶ ９００またはモデルＨＤＷ Ｆ９００がある。前者は、前方１８０°の光景のみを撮影するカメラであり、後者は、３６０°全方向の光景を撮影できるカメラである。その他に複数のカメラを利用して全方向画像を得る全方向カメラシステムも存在する。   The omnidirectional camera system is a camera system in which a special lens or a mirror and a lens are combined, and can shoot 360 ° in all directions with a fixed viewpoint as a reference. As an example of the omnidirectional camera system, there is a model TRV 900 or a model HDW F900 manufactured by Sony Japan. The former is a camera that captures only a 180 ° front view, and the latter is a camera that can capture a 360 ° omnidirectional view. In addition, there are omnidirectional camera systems that obtain omnidirectional images using a plurality of cameras.

一方、環状画像は、全方向カメラシステムのうち、ミラー基盤のカメラシステムによりミラーに反射されて撮影された画像であって、３６０°全方向画像が含まれた画像である。   On the other hand, the annular image is an image that is captured by being reflected by a mirror by a mirror-based camera system in the omnidirectional camera system, and includes 360 ° omnidirectional images.

第１エンコーダ２１０は、環状画像を入力されて所定の方式によって環状画像エンコーディングを行って、環状画像ビットストリームを生成する。第１エンコーダ２１０として、ＭＰＥＧ−４ Ｐａｒｔ２の規格によるエンコーダまたはＨ.２６４（またはＭＰＥＧ−４ Ｐａｒｔ １０ ＡＶＣ）の規格によるエンコーダを使用しうる。しかし、これに限定されず、環状画像に適するように若干の変形を加えたエンコーダを使用してもよい。   The first encoder 210 receives a circular image and performs circular image encoding according to a predetermined method to generate a circular image bitstream. As the first encoder 210, an encoder according to the MPEG-4 Part 2 standard or an encoder according to the H.264 (or MPEG-4 Part 10 AVC) standard may be used. However, the present invention is not limited to this, and an encoder that is slightly modified so as to be suitable for a circular image may be used.

第１エンコーダ２１０により生成された環状画像ビットストリームは、データ通信部２２０を通じて図３に示すような画像のデコーディング装置に伝送される。画像のデコーディング装置は、環状画像ビットストリームをデコーディングして再生された環状画像を得て、再生された環状画像を再びパノマラ画像に変換して、パノマラ画像ディスプレイ３３０を通じて再生される。さらに、第１エンコーダ２１０は、生成された環状画像ビットストリームを特定の帯域幅に合わせて再生された環状画像を別途に生成した後、再生された環状画像バッファ（図示せず）に保存する。第１エンコーダ２１０は、生成された環状画像ビットストリームをデコーディングすることによって再生された環状画像を生成する。したがって、第１エンコーダ２１０は、エンコーディングだけでなく、デコーディングの機能を有する。第１エンコーダ２１０によって再生された環状画像は、第２変換部２３０に入力される。   The annular image bitstream generated by the first encoder 210 is transmitted to an image decoding apparatus as shown in FIG. The image decoding apparatus obtains a reproduced annular image by decoding the annular image bitstream, converts the reproduced annular image into a panomara image again, and reproduces it through the panomara image display 330. Further, the first encoder 210 separately generates a ring image reproduced from the generated ring image bit stream in accordance with a specific bandwidth, and then stores the ring image in a reproduced ring image buffer (not shown). The first encoder 210 generates a reproduced circular image by decoding the generated circular image bitstream. Therefore, the first encoder 210 has a function of decoding as well as encoding. The annular image reproduced by the first encoder 210 is input to the second conversion unit 230.

第１変換部２４０は、第１ＡＰＣ（Ａｎｎｕｌａｒ−ｔｏ−Ｐａｎｏｒａｍａ Ｃｏｎｖｅｒｓｉｏｎ）部２４１及び第１ ＰＰＩＣ（Ｐａｎｏｒａｍａ−ｔｏ−Ｐｅｒｓｐｅｃｔｉｖｅ Ｉｍａｇｅ Ｃｏｎｖｅｒｓｉｏｎ）部２４３を備える。第２変換部２３０は、第２ＡＰＣ部２３１及び第２ＰＰＩＣ部２３３を備える。   The first conversion unit 240 includes a first APC (annular-to-panorama conversion) unit 241 and a first PPIC (panorama-to-perspective image conversion) unit 243. The second conversion unit 230 includes a second APC unit 231 and a second PPIC unit 233.

第１変換部２４０及び第２変換部２３０は、本来の環状画像及び再生された環状画像を入力されて、環状画像を所定の画像フォーマットに変換する。第１ＡＰＣ部２４１及び第２ＡＰＣ部２３１は、それぞれ本来の環状画像及び再生された環状画像を第１パノマラ画像及び第２パノマラ画像に変換する。第１ＡＰＣ部２４１及び第２ＡＰＣ部２３１で本来の環状画像及び再生された環状画像を２次元平面画像（すなわち、第１パノマラ画像及び第２パノマラ画像）に変換するための方法として、地図製作プロジェクション方式及び多角形プロジェクション方式などがある。第１ＰＰＩＣ部２４３及び第２ＰＰＩＣ部２３３は、第１パノマラ画像及び第２パノマラ画像を第１投影画像及び第２投影画像にそれぞれ変換する。第１ＰＰＩＣ部２４３及び第２ＰＰＩＣ部２３７で第１パノマラ画像及び第２パノマラ画像を第１投影画像及び第２投影画像に変換する方法としては、平行投影法及び透視投影法が主に使用される。   The first conversion unit 240 and the second conversion unit 230 receive the original ring image and the reproduced ring image, and convert the ring image into a predetermined image format. The first APC unit 241 and the second APC unit 231 convert the original annular image and the reproduced annular image into the first panomara image and the second panomara image, respectively. As a method for converting the original annular image and the reproduced annular image in the first APC unit 241 and the second APC unit 231 into a two-dimensional planar image (that is, the first panomara image and the second panomara image), a map production projection method And a polygon projection method. The first PPIC unit 243 and the second PPIC unit 233 convert the first panomara image and the second panomara image into a first projection image and a second projection image, respectively. As a method for converting the first panomara image and the second panomara image into the first projection image and the second projection image by the first PPIC unit 243 and the second PPIC unit 237, a parallel projection method and a perspective projection method are mainly used.

関心領域選択部２５０は、図３に示すデコーディング装置から、ユーザが選択した関心領域の位置情報を入力されて、第１ＰＰＩＣ部２４３及び第２ＰＰＩＣ部２３３を制御して、第１ＰＰＩＣ部２４３及び第２ＰＰＩＣ部２３３をして関心領域に該当する第１投影画像及び第２投影画像を出力させる。   The region-of-interest selection unit 250 receives the position information of the region of interest selected by the user from the decoding apparatus shown in FIG. 3 and controls the first PPIC unit 243 and the second PPIC unit 233 to control the first PPIC unit 243 and The 2PPIC unit 233 outputs a first projection image and a second projection image corresponding to the region of interest.

減算部２６０は、第１ＰＰＩＣ部２４３から出力される第１投影画像と、第２ＰＰＩＣ部２３３から出力される第２投影画像との誤差画像を第２エンコーダ２７０に出力する。第２エンコーダ２７０は、その誤差画像を所定の方式によってエンコーディングして、デコーディング装置に伝送するための投影画像ビットストリームを生成する。第２エンコーダ２７０として、ＭＰＥＧ−４ Ｐａｒｔ２の規格によるエンコーダまたはＨ.２６４（またはＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ）の規格によるエンコーダを使用しうる。しかし、これに限定されない。   The subtraction unit 260 outputs an error image between the first projection image output from the first PPIC unit 243 and the second projection image output from the second PPIC unit 233 to the second encoder 270. The second encoder 270 encodes the error image using a predetermined method, and generates a projection image bit stream to be transmitted to the decoding apparatus. As the second encoder 270, an encoder according to the MPEG-4 Part 2 standard or an encoder according to the H.264 (or MPEG-4 Part 10 AVC) standard may be used. However, it is not limited to this.

図４は、本発明の一実施形態に係る画像のエンコーディング方法のフローチャートである。図２ないし図４に示すように、全方向カメラシステム（図示せず）により全方向の環状画像が生成されれば（Ｓ４１０）、全方向の環状画像が第１エンコーダ２１０に入力される。全方向の環状画像は、第１エンコーダ２１０によりＭＰＥＧ−４ Ｐａｒｔ ２またはＨ.２６４などの所定のエンコーディング方式によってエンコーディングされて、環状画像ビットストリームが生成される（Ｓ４２０）。環状画像ビットストリーム（第１ビットストリーム）は、データ通信部２２０を通じて所定のチャンネルを経て、図３に示すようなユーザ側のデコーディング装置に伝送される（Ｓ４３０）。   FIG. 4 is a flowchart of an image encoding method according to an embodiment of the present invention. As shown in FIGS. 2 to 4, if an omnidirectional annular image is generated by an omnidirectional camera system (not shown) (S 410), the omnidirectional annular image is input to the first encoder 210. The circular image in all directions is encoded by the first encoder 210 using a predetermined encoding method such as MPEG-4 Part 2 or H.264 to generate a circular image bit stream (S420). The annular image bit stream (first bit stream) is transmitted through the data communication unit 220 through a predetermined channel to a decoding device on the user side as shown in FIG. 3 (S430).

環状画像ビットストリームを受信したユーザ側画像のデコーディング装置は、その環状画像ビットストリーム（第１ビットストリーム）をデコーディングして再生された環状画像を得、再生された環状画像を再びパノマラ画像に変換して、パノマラ画像ディスプレイ３３０を通じて再生される。もちろん、パノマラ画像ディスプレイ３３０を通じて再生されるパノマラ画像の画質は保証できないが、ユーザは、パノマラ画像ディスプレイ３３０を通じて全体画像が見られる。パノマラ画像ディスプレイ３３０を通じた全体画像の視聴中、ユーザは、全体画像のうち、より詳細に視聴したい関心領域を選択する命令をユーザインターフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＵＩ）３４０を利用して入力する。   The decoding apparatus for the user-side image that has received the circular image bit stream obtains a reproduced circular image by decoding the circular image bit stream (first bit stream), and converts the reproduced circular image into a pano-mala image again. It is converted and played back through the panorama image display 330. Of course, the image quality of the panorama image reproduced through the panorama image display 330 cannot be guaranteed, but the user can view the entire image through the panomara image display 330. While viewing the entire image through the panorama image display 330, the user inputs a command for selecting a region of interest to be viewed in more detail from the entire image using a user interface (UI) 340.

ＵＩ ３４０から出力された関心領域の位置情報は、データ通信部３５０を通じて図２に示す画像のエンコーディング装置に伝送する。伝送された関心領域の位置情報は、データ通信部２２０を通じて受信される（Ｓ４４０）。関心領域の位置情報は、再び関心領域選択部２５０に提供される。関心領域選択部２５０は、入力された関心領域の位置情報によって、第１ＰＰＩＣ部２４３及び第２ＰＰＩＣ部２３３が関心領域に該当する画像を出力するように制御する。第１ＰＰＩＣ部２４３は、第１ＡＰＣ部２４１から出力された第１パノマラ画像のうち、関心領域に該当する画像を抽出した後に第１投影画像に変換する。同様に、第２ＰＰＩＣ部２３３は、第２ＡＰＣ部２３１から出力された第２パノマラ画像のうち、関心領域に該当する画像を抽出した後に第２投影画像に変換する。   The position information of the region of interest output from the UI 340 is transmitted to the image encoding device illustrated in FIG. The transmitted position information of the region of interest is received through the data communication unit 220 (S440). The position information of the region of interest is provided to the region of interest selection unit 250 again. The region-of-interest selection unit 250 controls the first PPIC unit 243 and the second PPIC unit 233 to output an image corresponding to the region of interest according to the input position information of the region of interest. The first PPIC unit 243 extracts an image corresponding to the region of interest from the first panorama image output from the first APC unit 241 and converts the extracted image into a first projection image. Similarly, the second PPIC unit 233 extracts an image corresponding to the region of interest from the second panomara image output from the second APC unit 231 and converts it into a second projection image.

第１ＰＰＩＣ部２４３から出力された第１投影画像は、本来の環状画像を第１パノラマ画像に変換し、第１パノマラ画像を第１投影画像に変換した結果である。第２ＰＰＩＣ部２３３の出力された第２投影画像は、第１エンコーダ２１０から出力された再生された環状画像を第２パノマラ画像に変換し、第２パノマラ画像を第２投影画像に変換した結果である。すなわち、第１ＰＰＩＣ部２４３から出力された第１投影画像は、関心領域の本来の画像と言え、第２ＰＰＩＣ部２３３の出力画像は、関心領域の再生画像と言える。   The first projection image output from the first PPIC unit 243 is a result of converting the original annular image into the first panorama image and converting the first panorama image into the first projection image. The second projection image output from the second PPIC unit 233 is a result of converting the reproduced annular image output from the first encoder 210 into a second panomara image and converting the second panomara image into a second projection image. is there. That is, the first projection image output from the first PPIC unit 243 can be said to be an original image of the region of interest, and the output image of the second PPIC unit 233 can be said to be a reproduced image of the region of interest.

減算部２６０は、第１ＰＰＩＣ部２４３の出力画像と第２ＰＰＩＣ部２３３の出力画像との間の誤差画像を第２エンコーダ２７０に出力する。関心領域の本来の画像をエンコーディングするよりは、関心領域の本来の画像と関心領域の再生画像との間の誤差をエンコーディングすることが伝送データの量を減少させうる。第２エンコーダ２７０は、その誤差画像をＭＰＥＧ−４ Ｐａｒｔ２またはＨ.２６４などの所定のエンコーディング方式によってエンコーディングしてデコーディング装置に伝送するための投影画像ビットストリーム、すなわち、第２ビットストリームを生成する（Ｓ４５０）。第２エンコーダ２７０により生成された投影画像ビットストリーム（第２ビットストリーム）は、デコーディング装置に伝送されて（Ｓ４６０）、ユーザは、自身が選択した関心領域に関するさらに詳細な画像を視聴しうる。   The subtraction unit 260 outputs an error image between the output image of the first PPIC unit 243 and the output image of the second PPIC unit 233 to the second encoder 270. Rather than encoding the original image of the region of interest, encoding the error between the original image of the region of interest and the reconstructed image of the region of interest can reduce the amount of transmitted data. The second encoder 270 generates a projection image bit stream for encoding the error image by a predetermined encoding method such as MPEG-4 Part 2 or H.264 and transmitting the encoded image to a decoding apparatus, that is, a second bit stream. (S450). The projection image bit stream (second bit stream) generated by the second encoder 270 is transmitted to the decoding apparatus (S460), and the user can view a more detailed image related to the region of interest selected by the user.

図３は、本発明の一実施形態に係る画像のデコーディング装置のブロック図である。図３に示すように、本発明の一実施形態に係る画像のデコーディング装置は、第１デコーダ３１０、変換部３２０、ＵＩ ３４０、データ通信部３５０、関心領域選択部３６０、第２デコーダ３７０及び合成部３８０を備える。   FIG. 3 is a block diagram of an image decoding apparatus according to an embodiment of the present invention. As shown in FIG. 3, an image decoding apparatus according to an embodiment of the present invention includes a first decoder 310, a conversion unit 320, a UI 340, a data communication unit 350, a region of interest selection unit 360, a second decoder 370, and A synthesis unit 380 is provided.

図３に示す画像のデコーディング装置は、図２に示すような画像のエンコーディング装置により生成された環状画像ビットストリーム及び投影画像ビットストリームを受信して、パノマラ画像ディスプレイ３３０及び投影画像ディスプレイ（図示せず）を通じてそれぞれパノマラ画像及び関心領域に関する投影画像をユーザに表示させる。   The image decoding apparatus shown in FIG. 3 receives the annular image bit stream and the projection image bit stream generated by the image encoding apparatus as shown in FIG. 2, and receives a panorama image display 330 and a projection image display (not shown). Z), a panorama image and a projection image related to the region of interest are displayed to the user.

第１デコーダ３１０は、環状画像をエンコーディングすることによって生成された環状画像ビットストリームを入力されてデコーディングする。変換部３２０は、ＡＰＣ部３２１及びＰＰＩＣ部３２３を備える。変換部３２０は、第１デコーダ３１０から出力された再生された環状画像を入力されて、所定の画像フォーマットに変換する。ＡＰＣ部３２１は、環状画像をパノマラ画像に変換し、ＰＰＩＣ部３２３は、パノマラ画像を投影画像に変換する。   The first decoder 310 receives and decodes the circular image bitstream generated by encoding the circular image. The conversion unit 320 includes an APC unit 321 and a PPIC unit 323. The conversion unit 320 receives the reproduced circular image output from the first decoder 310 and converts it into a predetermined image format. The APC unit 321 converts the annular image into a panorama image, and the PPIC unit 323 converts the panorama image into a projection image.

ＵＩ ３４０は、ユーザからの命令を入力される。データ通信部３５０は、画像のエンコーディング装置とのデータの送受信を行う。関心領域選択部３６０は、ＵＩ ３４０からユーザが選択した関心領域の位置情報を入力されて、ＰＰＩＣ部３２３が関心領域に該当する画像を出力するように制御する。   The UI 340 receives a command from a user. The data communication unit 350 transmits / receives data to / from the image encoding apparatus. The region-of-interest selection unit 360 receives position information of the region of interest selected by the user from the UI 340, and controls the PPIC unit 323 to output an image corresponding to the region of interest.

合成部３８０は、第２デコーダ３７９の出力画像とＰＰＩＣ部３２３の出力画像とを合成することによって、投影画像ディスプレイ部によってディスプレイされる投影画像を生成する。前述したように、投影画像ビットストリームは、関心領域の本来の画像をエンコーディングしたものではなく、関心領域の本来の画像と関心領域の再生画像との誤差画像をエンコーディングすることによって生成されたので、第２デコーダ３７９の出力画像は、関心領域の本来の画像と関心領域の再生画像との誤差画像である。したがって、完全な投影画像は、第２デコーダ３７９の出力画像の誤差画像と、ＰＰＩＣ部３２３の出力画像の関心領域の再生画像とを合成することによって得られる。   The synthesizing unit 380 synthesizes the output image of the second decoder 379 and the output image of the PPIC unit 323, thereby generating a projection image displayed by the projection image display unit. As described above, the projection image bitstream is not an encoding of the original image of the region of interest, but is generated by encoding an error image between the original image of the region of interest and the reproduced image of the region of interest. The output image of the second decoder 379 is an error image between the original image of the region of interest and the reproduced image of the region of interest. Therefore, a complete projection image is obtained by combining the error image of the output image of the second decoder 379 and the reproduced image of the region of interest of the output image of the PPIC unit 323.

図５は、本発明の一実施形態に係る画像のデコーディング方法のフローチャートである。図３ないし図５に示すように、全方向環状画像をエンコーディングすることによって生成された環状画像ビットストリーム、すなわち、第１ビットストリームがデータ通信部３５０を通じて受信される（Ｓ５１０）。受信された環状画像ビットストリーム（第１ビットストリーム）は、第１デコーダ３１０によりデコーディングされた後、ＡＰＣ部３２１によりパノマラ画像に変換される。そのパノマラ画像は、パノマラ画像ディスプレイ３３０を通じて再生される（Ｓ５２０）。   FIG. 5 is a flowchart of an image decoding method according to an embodiment of the present invention. As shown in FIGS. 3 to 5, a circular image bit stream generated by encoding an omnidirectional circular image, that is, a first bit stream is received through the data communication unit 350 (S510). The received circular image bit stream (first bit stream) is decoded by the first decoder 310 and then converted to a panorama image by the APC unit 321. The pano mara image is reproduced through the pano mara image display 330 (S520).

ユーザは、パノマラ画像ディスプレイ３３０を通じて、高画質画像ではないが、全方向光景を含むパノマラ画像が見られる。パノマラ画像ディスプレイ３３０を通じた全体画像の視聴中、ユーザは、全体画像のうち、さらに詳細に視聴したい関心領域を選択する命令をＵＩ ３４０を利用して入力する（Ｓ５３０）。ＵＩ ３４０から出力された関心領域の位置情報は、データ通信部３５０を通じて、図２に示すような画像のエンコーディング装置に伝送される（Ｓ５４０）。画像のエンコーディング装置は、受信した関心領域の位置情報に基づいて、関心領域に関するさらに高画質の投影画像データを含む投影画像ビットストリームを図３の画像のデコーディング装置に伝送する。   The user can view a pano-mala image including an omni-directional scene through the pano-mala image display 330, although it is not a high-quality image. While viewing the entire image through the panorama image display 330, the user inputs a command for selecting a region of interest to be viewed in more detail from the entire image using the UI 340 (S530). The position information of the region of interest output from the UI 340 is transmitted to the image encoding apparatus as illustrated in FIG. 2 through the data communication unit 350 (S540). Based on the received position information of the region of interest, the image encoding device transmits a projection image bit stream including higher-quality projection image data related to the region of interest to the image decoding device of FIG.

投影画像ビットストリーム、すなわち、第２ビットストリームは、データ通信部３５０を通じて受信された後（Ｓ５５０）、第２デコーダ３７０に提供される。投影画像ビットストリーム（第２ビットストリーム）は、第２デコーダ３７０によりデコーディングされて、合成部３８０に出力される。合成部３８０は、第２デコーダ３７９の出力画像とＰＰＩＣ部３２３の出力画像とを合成することによって、ユーザにディスプレイする投影画像を生成する。合成部３８０により合成された関心領域に関する投影画像は、投影画像ディスプレイ（図示せず）を通じてユーザに再生される（Ｓ５６０）。   The projection image bit stream, that is, the second bit stream is received through the data communication unit 350 (S550) and then provided to the second decoder 370. The projection image bit stream (second bit stream) is decoded by the second decoder 370 and output to the synthesis unit 380. The synthesizer 380 synthesizes the output image of the second decoder 379 and the output image of the PPIC unit 323 to generate a projection image to be displayed to the user. The projection image related to the region of interest synthesized by the synthesis unit 380 is played back to the user through a projection image display (not shown) (S560).

図６は、本発明の他の実施形態に係る画像のエンコーディング装置のブロック図である。図６に示す画像のエンコーディング装置は、図２に示す画像のエンコーディング装置の構造と類似している。ただし、空間的スケーラビリティの機能を付加するために、図６に示す画像のエンコーディング装置は、ダウンサンプリング部２０５及びアップサンプリング部２１５をさらに備えるという点で異なる。   FIG. 6 is a block diagram of an image encoding apparatus according to another embodiment of the present invention. The image encoding apparatus shown in FIG. 6 is similar to the structure of the image encoding apparatus shown in FIG. However, in order to add a spatial scalability function, the image encoding apparatus shown in FIG. 6 is different in that it further includes a downsampling unit 205 and an upsampling unit 215.

図７は、本発明の他の実施形態に係る画像のデコーディング装置のブロック図であって、図６に示す画像のエンコーディング装置に対応する画像のデコーディング装置である。図７に示す画像のデコーディング装置は、図３に示す画像のデコーディング装置の構造と類似している。ただし、空間的スケーラビリティの機能の付加された図６に示す画像のエンコーディング装置に対応するために、第１デコーダ３１０の出力画像をアップサンプリングするためのアップサンプリング部３１５をさらに備えるという点で異なる。   7 is a block diagram of an image decoding apparatus according to another embodiment of the present invention, which is an image decoding apparatus corresponding to the image encoding apparatus shown in FIG. The image decoding apparatus shown in FIG. 7 is similar to the structure of the image decoding apparatus shown in FIG. However, it differs in that an up-sampling unit 315 for up-sampling the output image of the first decoder 310 is further provided to correspond to the image encoding apparatus shown in FIG. 6 to which a spatial scalability function is added.

また、本発明は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られうるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存され、かつ実行されうる。   The present invention can also be embodied as computer readable code on a computer readable recording medium. Computer-readable recording media include all types of recording devices that can store data which can be read by a computer system. Examples of computer-readable recording media include ROM (Read Only Memory), RAM (Random Access Memory), CD-ROM, magnetic tape, floppy (registered trademark) disk, optical data storage device, etc. Also included are those embodied in the form of a carrier wave (for example, transmission over the Internet). The computer-readable recording medium can be distributed in a computer system connected to a network, stored as a computer-readable code in a distributed manner, and executed.

以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されうるということが理解できるであろう。本発明の範囲は、前述した説明ではなく、特許請求の範囲に記載されており、それと同等な範囲内にある全ての差異点は、本発明に含まれたものと解釈されねばならない。   In the above, this invention was demonstrated centering on the desirable embodiment. Those skilled in the art will appreciate that the present invention may be embodied in variations that do not depart from the essential characteristics of the invention. The scope of the present invention is described not in the above description but in the claims, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

従来の技術による全方向動画エンコーディング／デコーディングシステムの概念図である。1 is a conceptual diagram of a conventional omnidirectional video encoding / decoding system. 本発明の一実施形態に係る画像のエンコーディング装置のブロック図である。1 is a block diagram of an image encoding apparatus according to an embodiment of the present invention. 本発明の一実施形態に係る画像のデコーディング装置のブロック図である。1 is a block diagram of an image decoding apparatus according to an embodiment of the present invention. 本発明の一実施形態に係る画像のエンコーディング方法のフローチャートである。3 is a flowchart of an image encoding method according to an embodiment of the present invention. 本発明の一実施形態に係る画像のデコーディング方法のフローチャートである。3 is a flowchart of an image decoding method according to an embodiment of the present invention. 本発明の他の実施形態に係る画像のエンコーディング装置のブロック図である。It is a block diagram of the encoding apparatus of the image which concerns on other embodiment of this invention. 本発明の他の実施形態に係る画像のデコーディング装置のブロック図である。It is a block diagram of an image decoding apparatus according to another embodiment of the present invention.

Claims (39)

画像のエンコーディング方法において、
全方向画像をエンコーディングして第１ビットストリームを生成した後、デコーディング装置に伝送するステップと、
前記第１ビットストリームに基づいて、再生された画像から選択された関心領域の位置情報を前記デコーディング装置から受信するステップと、
前記位置情報に基づいて、前記関心領域に関連した画像をエンコーディングして第２ビットストリームを生成するステップとを含むことを特徴とする方法。 In the image encoding method,
Encoding an omnidirectional image to generate a first bitstream and then transmitting to the decoding device;
Receiving position information of a region of interest selected from a reproduced image based on the first bitstream from the decoding device;
Encoding a picture associated with the region of interest based on the location information to generate a second bitstream. 前記第２ビットストリームを生成するステップは、
前記全方向画像から前記関心領域に対応する第１画像を得るステップと、
前記第１ビットストリームをデコーディングして再生された全方向画像を得るステップと、
前記再生された全方向画像から前記関心領域に対応する第２画像を得るステップと、
前記第１画像と前記第２画像との誤差画像を求めた後、前記誤差画像をエンコーディングして前記第２ビットストリームを生成するステップと、を含むことを特徴とする請求項１に記載の方法。 Generating the second bitstream comprises:
Obtaining a first image corresponding to the region of interest from the omnidirectional image;
Decoding the first bitstream to obtain a reproduced omnidirectional image;
Obtaining a second image corresponding to the region of interest from the reproduced omnidirectional image;
The method of claim 1, further comprising: obtaining an error image between the first image and the second image, and then encoding the error image to generate the second bitstream. . 前記第１画像を得るステップは、
前記全方向画像をパノマラ画像に変換して第１パノマラ画像を得るステップと、
前記第１パノマラ画像から前記第１画像を得るステップとを含み、
前記第２画像を得るステップは、
前記再生された全方向画像をパノマラ画像に変換して第２パノマラ画像を得るステップと、
前記第２パノマラ画像から前記第２画像を得るステップと、を含むことを特徴とする請求項２に記載の方法。 Obtaining the first image comprises:
Converting the omnidirectional image into a pano-mala image to obtain a first pano-mala image;
Obtaining the first image from the first panomara image,
Obtaining the second image comprises:
Converting the regenerated omnidirectional image into a panorama image to obtain a second panomara image;
Obtaining the second image from the second panomara image. 前記第１パノマラ画像から前記第１画像を得るステップは、
前記第１パノマラ画像から前記関心領域を選択するステップと、
前記第１パノマラ画像から選択された関心領域を投影画像に変換して前記第１画像を得るステップとを含み、
前記第２パノマラ画像から前記第２画像を得るステップは、
前記第２パノマラ画像から前記関心領域を選択するステップと、
前記第２パノマラ画像から選択された関心領域を投影画像に変換して前記第２画像を得るステップとを含むことを特徴とする請求項３に記載の方法。 Obtaining the first image from the first panomara image comprises:
Selecting the region of interest from the first panorama image;
Converting the region of interest selected from the first panomara image into a projected image to obtain the first image;
Obtaining the second image from the second panomara image comprises:
Selecting the region of interest from the second panomara image;
The method of claim 3, comprising: converting a region of interest selected from the second panomara image into a projected image to obtain the second image. 前記第１ビットストリームの生成以前に前記全方向画像をダウンサンプリングするステップをさらに含み、
前記再生された全方向画像を得るステップは、
前記ダウンサンプリングに対応するアップサンプリングステップを含むことを特徴とする請求項２に記載の方法。 Further comprising down-sampling the omnidirectional image prior to generation of the first bitstream;
Obtaining the reconstructed omnidirectional image comprises:
The method of claim 2, further comprising an upsampling step corresponding to the downsampling. 画像のエンコーディング方法において、
第１解像度で入力された全方向画像をエンコーディングし、エンコーディングされた全方向画像を出力するステップと、
入力位置情報によって決定された前記入力全方向画像の領域に対応する画像をエンコーディングし、第２解像度で前記入力全方向画像の領域に対応する画像をエンコーディングして出力するステップとを含むことを特徴とする方法。 In the image encoding method,
Encoding an omnidirectional image input at a first resolution and outputting an encoded omnidirectional image;
Encoding an image corresponding to the area of the input omnidirectional image determined by the input position information, and encoding and outputting an image corresponding to the area of the input omnidirectional image at a second resolution. And how to. 前記第２解像度は、第１解像度よりさらに高いことを特徴とする請求項６に記載の方法。   The method of claim 6, wherein the second resolution is higher than the first resolution. 前記入力全方向画像の領域に対応する画像をエンコーディングするステップは、
前記第１解像度でエンコーディングされて出力された全方向画像をデコーディングするステップと、
前記入力位置情報によって前記デコーディングされた全方向画像の領域の第１投影画像を生成するステップと、
前記入力位置情報によって前記入力全方向画像の領域の第２投影画像を生成するステップと、
前記第２投影画像と第１投影画像との間のエラー画像を計算するステップと、
前記計算されたエラー画像をエンコーディングするステップとを含むことを特徴とする請求項６に記載の方法。 Encoding an image corresponding to a region of the input omnidirectional image,
Decoding an omnidirectional image encoded and output at the first resolution;
Generating a first projection image of a region of the decoded omnidirectional image according to the input position information;
Generating a second projection image of the region of the input omnidirectional image according to the input position information;
Calculating an error image between the second projection image and the first projection image;
7. The method of claim 6, comprising encoding the calculated error image. 画像のエンコーディング装置において、
全方向画像をエンコーディングして第１ビットストリームを生成する第１エンコーダと、
前記第１ビットストリームをユーザのデコーディング装置に伝送し、前記第１ビットストリームに基づいて再生された画像で前記ユーザの関心領域の位置情報を前記デコーディング装置から受信するデータ通信部と、
前記位置情報に基づいて前記関心領域に関連した画像をエンコーディングして第２ビットストリームを生成する第２エンコーダとを備えることを特徴とする装置。 In an image encoding device,
A first encoder that encodes an omnidirectional image to generate a first bitstream;
A data communication unit that transmits the first bit stream to a user decoding device and receives position information of the region of interest of the user from the decoding device in an image reproduced based on the first bit stream;
And a second encoder that encodes an image associated with the region of interest based on the position information to generate a second bitstream. 前記関心領域の位置情報を入力されて領域選択制御信号を出力する関心領域選択部と、
前記領域選択制御信号によって、前記全方向画像から前記関心領域に対応する第１画像を出力する第１変換部と、
前記第１エンコーダは、前記第１ビットストリームをデコーディングして再生された全方向画像を出力し、
前記領域選択制御信号によって、前記再生された全方向画像から前記関心領域に対応する第２画像を出力する第２変換部と、
前記第１画像と前記第２画像との間の誤差画像を前記第２エンコーダに出力する減算部とをさらに備えることを特徴とする請求項９に記載の装置。 A region-of-interest selection unit that receives the position information of the region of interest and outputs a region selection control signal;
A first converter that outputs a first image corresponding to the region of interest from the omnidirectional image by the region selection control signal;
The first encoder outputs an omnidirectional image reproduced by decoding the first bitstream;
A second conversion unit that outputs a second image corresponding to the region of interest from the reproduced omnidirectional image by the region selection control signal;
The apparatus according to claim 9, further comprising: a subtracting unit that outputs an error image between the first image and the second image to the second encoder. 前記第１変換部は、
前記全方向画像をパノマラ画像に変換して第１パノマラ画像を出力する第１パノマラ画像変換部と、
前記第１パノマラ画像で前記関心領域に対応する領域を投影画像に変換して前記第１投影画像を出力する第１投影画像変換部とを備え、
前記第２変換部は、
前記再生された全方向画像をパノマラ画像に変換して第２パノマラ画像を出力する第２パノマラ画像変換部と、
前記第２パノマラ画像で前記関心領域に対応する領域を投影画像に変換して前記第２投影画像を出力する第２投影画像変換部と、を備えることを特徴とする請求項１０に記載の装置。 The first converter is
A first panomar image conversion unit that converts the omnidirectional image into a panomara image and outputs a first panomara image;
A first projection image conversion unit that converts a region corresponding to the region of interest in the first panomara image into a projection image and outputs the first projection image;
The second converter is
A second panomara image converter for converting the reproduced omnidirectional image into a panomara image and outputting a second panomara image;
11. The apparatus according to claim 10, further comprising: a second projection image conversion unit configured to convert a region corresponding to the region of interest in the second panomara image into a projection image and output the second projection image. . 前記全方向画像をダウンサンプリングして前記第１エンコーダに出力するダウンサンプリング部と、
前記第１エンコーダから出力された前記再生された全方向画像を、前記ダウンサンプリングに対応するアップサンプリングを行って出力するアップサンプリング部とを備えることを特徴とする請求項１０に記載の装置。 A downsampling unit that downsamples the omnidirectional image and outputs it to the first encoder;
The apparatus according to claim 10, further comprising: an upsampling unit configured to perform upsampling corresponding to the downsampling and output the reproduced omnidirectional image output from the first encoder. 画像のエンコーディング装置において、
入力全方向画像をエンコーディングし、前記エンコーディングされた入力全方向画像をデコーディングする第１エンコーディング部と、
前記入力全方向画像から選択された関心領域の入力位置情報を受信し、前記受信された位置情報によって、前記入力全方向画像及び前記デコーディングされた全方向画像のそれぞれで選択された関心領域の第１投影画像及び第２投影画像を生成する関心領域部と、
前記選択された関心領域の第１投影画像と第２投影画像との間のエラー画像をエンコーディングする第２エンコーディング部と、を備えることを特徴とする装置。 In an image encoding device,
A first encoding unit that encodes an input omnidirectional image and decodes the encoded input omnidirectional image;
The input position information of the region of interest selected from the input omnidirectional image is received, and the region of interest selected in each of the input omnidirectional image and the decoded omnidirectional image according to the received position information. A region of interest for generating a first projection image and a second projection image;
And a second encoding unit for encoding an error image between the first projection image and the second projection image of the selected region of interest. 前記第２エンコーディング部は、前記第１エンコーディング部でエンコーディングされた全方向画像を伝送するときの解像度よりさらに高い解像度でエンコーディングされたエラー画像を伝送することを特徴とする請求項１３に記載の装置。   The apparatus of claim 13, wherein the second encoding unit transmits an error image encoded at a higher resolution than a resolution at the time of transmitting the omnidirectional image encoded by the first encoding unit. . 前記関心領域部は、
前記入力全方向画像で選択された領域の第１投影画像を生成する第１変換部と、
前記デコーディングされた全方向画像で選択された領域の第２投影画像を生成する第２変換部と、
前記選択された関心領域の入力位置情報を受信し、前記受信された位置情報によって前記第１変換部及び第２変換部を制御する関心領域選択部と、をさらに備えることを特徴とする請求項１３に記載の装置。 The region of interest is
A first conversion unit that generates a first projection image of a region selected in the input omnidirectional image;
A second conversion unit that generates a second projection image of a region selected in the decoded omnidirectional image;
And a region of interest selection unit that receives input position information of the selected region of interest and controls the first conversion unit and the second conversion unit according to the received position information. 13. The apparatus according to 13. 前記第１変換部は、
前記入力全方向画像を第１パノマラ画像に変換する第１全方向パノマラ変換部と、
前記入力位置情報によって前記第１パノマラ画像の一部を前記第１投影画像に変換する第１パノマラ投影画像変換部とをさらに備え、
前記第２変換部は、
前記デコーディングされた全方向画像を第２パノマラ画像に変換する第２全方向パノマラ変換部と、
前記入力位置情報によって前記第２パノマラ画像を前記第２投影画像に変換する第２パノマラ投影画像変換部と、をさらに備えることを特徴とする請求項１５に記載の装置。 The first converter is
A first omnidirectional panomara conversion unit for converting the input omnidirectional image into a first panomara image;
A first panomara projection image conversion unit that converts a part of the first panomara image into the first projection image according to the input position information;
The second converter is
A second omnidirectional panomara conversion unit for converting the decoded omnidirectional image into a second panomara image;
The apparatus according to claim 15, further comprising: a second panomara projection image conversion unit that converts the second panomara image into the second projection image according to the input position information. 前記エンコーディングされた全方向画像及び前記エンコーディングされたエラー画像を外部のデコーディング装置に伝送し、前記外部デコーディング装置から選択された関心領域の入力位置情報を受信し、前記関心領域部に受信された位置情報を伝送するデータ通信部をさらに備えることを特徴とする請求項１３に記載の装置。   The encoded omnidirectional image and the encoded error image are transmitted to an external decoding device, and input position information of a region of interest selected from the external decoding device is received and received by the region of interest. The apparatus of claim 13, further comprising a data communication unit for transmitting the location information. 前記関心領域は、前記デコーディングされた全方向画像から選択されることを特徴とする請求項１３に記載の装置。   The apparatus of claim 13, wherein the region of interest is selected from the decoded omnidirectional image. 画像のデコーディング方法において、
全方向画像をエンコーディングすることによって生成された第１ビットストリームをエンコーディング装置から受信するステップと、
前記第１ビットストリームをデコーディングして再生画像をディスプレイするステップと、
前記ディスプレイされる再生画像のうち、選択された関心領域の位置情報を前記エンコーディング装置に伝送するステップと、
前記関心領域に関連した画像をエンコーディングすることによって生成された第２ビットストリームを前記エンコーディング装置から受信するステップと、
前記第２ビットストリームをデコーディングするステップと、を含むことを特徴とする方法。 In the image decoding method,
Receiving a first bitstream generated by encoding an omnidirectional image from an encoding device;
Decoding the first bitstream to display a reproduced image;
Transmitting position information of a selected region of interest among the displayed reproduced images to the encoding device;
Receiving a second bitstream generated by encoding an image associated with the region of interest from the encoding device;
Decoding the second bitstream. 前記第２ビットストリームをデコーディングするステップは、
前記第２ビットストリームをデコーディングして前記関心領域に対応する第１画像を得るステップと、
前記再生画像から関心領域に対応する第２画像を得るステップと、
前記第１画像と前記第２画像とを結合することによって前記関心領域に対応する結合された投影画像を生成するステップとを含むことを特徴とする請求項１９に記載の方法。 Decoding the second bitstream comprises:
Decoding the second bitstream to obtain a first image corresponding to the region of interest;
Obtaining a second image corresponding to a region of interest from the reproduced image;
20. The method of claim 19, comprising: combining the first image and the second image to generate a combined projection image corresponding to the region of interest. 前記第２画像を得るステップは、
前記再生された画像をパノマラ画像に変換するステップと、
前記パノマラ画像から前記関心領域を選択するステップと、
前記関心領域を投影画像に変換して前記第２画像を得るステップとを含むことを特徴とする請求項２０に記載の方法。 Obtaining the second image comprises:
Converting the reproduced image into a panorama image;
Selecting the region of interest from the panorama image;
21. The method of claim 20, comprising converting the region of interest into a projected image to obtain the second image. 前記エンコーディング装置により全方向画像のエンコーディング時、ダウンサンプリングされた場合に、前記再生された全方向画像を、前記ダウンサンプリングに対応するアップサンプリングを行うステップをさらに含むことを特徴とする請求項２０に記載の方法。   21. The method of claim 20, further comprising the step of performing upsampling corresponding to the downsampling on the reproduced omnidirectional image when the encoding device is downsampled during encoding of the omnidirectional image. The method described. エンコーディングされた画像のビューイング方法において、
入力されたエンコーディング全方向画像をデコーディングし、デコーディングされた全方向画像をディスプレイするステップと、
前記デコーディングされた全方向画像で関心領域を選択し、前記選択された関心領域の位置情報を出力するステップと、
入力エンコーディングエラー画像をデコーディングし、前記デコーディングされたエラー画像を前記デコーディングされた全方向画像で選択された関心領域と結合し、結合された関心領域画像を生成するステップと、
前記結合された関心領域画像をディスプレイするステップとを含むことを特徴とする方法。 In the method of viewing the encoded image,
Decoding the input encoded omnidirectional image and displaying the decoded omnidirectional image;
Selecting a region of interest in the decoded omnidirectional image and outputting position information of the selected region of interest;
Decoding an input encoding error image, combining the decoded error image with a region of interest selected in the decoded omnidirectional image, and generating a combined region of interest image;
Displaying said combined region-of-interest image. 前記入力エンコーディングエラー画像は、前記選択された関心領域の出力位置情報によって生成されることを特徴とする請求項２３に記載の方法。   The method of claim 23, wherein the input encoding error image is generated by output position information of the selected region of interest. 前記デコーディングされたエラー画像を、前記デコーディングされた全方向画像で選択された関心領域と結合するステップは、
前記デコーディングされた全方向画像をパノマラ画像に変換するステップと、
前記選択された関心領域によって前記パノマラ画像の一部を投影画像に変換するステップとをさらに含むことを特徴とする請求項２３に記載の方法。 Combining the decoded error image with a region of interest selected in the decoded omnidirectional image comprises:
Converting the decoded omnidirectional image into a panorama image;
24. The method of claim 23, further comprising: converting a portion of the panorama image into a projected image according to the selected region of interest. 画像のデコーディング装置において、
全方向画像をエンコーディングすることによって生成された第１ビットストリームをエンコーディング装置から受信してデコーディングする第１デコーダと、
前記第１デコーダによりデコーディングされた再生全方向画像をディスプレイする第１ディスプレイと、
前記第１ディスプレイを通じて再生された画像から選択された関心領域の位置情報を前記エンコーディング装置に伝送するデータ通信部と、
前記関心領域に関連した画像をエンコーディングすることによって生成された第２ビットストリームを前記エンコーディング装置から受信してデコーディングする第２デコーダとを備えることを特徴とする装置。 In the image decoding device,
A first decoder for receiving and decoding a first bitstream generated by encoding an omnidirectional image from an encoding device;
A first display for displaying the reproduced omnidirectional image decoded by the first decoder;
A data communication unit for transmitting position information of a region of interest selected from an image reproduced through the first display to the encoding device;
A device comprising: a second decoder for receiving and decoding a second bitstream generated by encoding an image associated with the region of interest from the encoding device. 前記選択された関心領域の位置情報を入力されて領域選択制御信号を出力する関心領域選択部と、
前記領域選択制御信号によって、前記第１デコーダによりデコーディングされた画像から前記関心領域に対応する画像を出力する変換部と、
前記第２デコーダによりデコーディングされた画像と、前記変換部にから出力された画像とを合成する合成部とを備えることを特徴とする請求項２６に記載の装置。 A region-of-interest selecting unit that receives position information of the selected region of interest and outputs a region selection control signal;
A conversion unit for outputting an image corresponding to the region of interest from an image decoded by the first decoder by the region selection control signal;
27. The apparatus according to claim 26, further comprising: a synthesis unit that synthesizes the image decoded by the second decoder and the image output from the conversion unit. 前記変換部は、
前記第１デコーダによりデコーディングされた全方向画像をパノマラ画像に変換するパノマラ画像生成部と、
前記領域選択制御信号によって、前記パノマラ画像から前記関心領域に対応する領域を投影画像に変換した後に前記合成部に出力する投影画像生成部とを備えることを特徴とする請求項２７に記載の装置。 The converter is
A panorama image generating unit that converts the omnidirectional image decoded by the first decoder into a panorama image;
28. The apparatus according to claim 27, further comprising: a projection image generation unit configured to convert a region corresponding to the region of interest from the panorama image into a projection image by the region selection control signal and output the projection image to the synthesis unit. . 前記エンコーディング装置により前記再生された全方向画像に関して、前記全方向画像をエンコーディングする時に行われたダウンサンプリングに対応するアップサンプリングを行うアップサンプリング部をさらに備えることを特徴とする請求項２７に記載の装置。   28. The method according to claim 27, further comprising an upsampling unit that performs upsampling corresponding to downsampling performed when the omnidirectional image is encoded with respect to the omnidirectional image reproduced by the encoding device. apparatus. 画像のデコーディング装置において、
入力エンコーディングされた全方向画像をデコーディングする第１デコーディング部と、
前記デコーディングされた全方向画像で関心領域を選択し、前記選択された関心領域の位置情報を出力し、前記デコーディングされた全方向画像で選択された関心領域の投影画像を生成する関心領域部と、
入力エラー画像をデコーディングする第２デコーディング部と、
前記デコーディングされた全方向画像で選択された関心領域の投影画像と、前記デコーディングされたエラー画像とを結合し、結合された関心領域画像を生成する計算部とを備えることを特徴とする装置。 In the image decoding device,
A first decoding unit for decoding an input-encoded omnidirectional image;
A region of interest that selects a region of interest in the decoded omnidirectional image, outputs position information of the selected region of interest, and generates a projected image of the region of interest selected in the decoded omnidirectional image And
A second decoding unit for decoding the input error image;
And a calculation unit configured to combine the projection image of the region of interest selected in the decoded omnidirectional image and the decoded error image to generate a combined region of interest image. apparatus. 前記関心領域部は、
前記デコーディングされた全方向画像をディスプレイするディスプレイ部と、
前記ディスプレイされる全方向画像によって、ユーザに前記関心領域を選択せしめるユーザインターフェースと、
前記デコーディングされた全方向画像で選択された関心領域の投影画像を生成する変換部とをさらに備えることを特徴とする請求項３０に記載の装置。 The region of interest is
A display unit for displaying the decoded omnidirectional image;
A user interface that allows a user to select the region of interest according to the displayed omnidirectional image;
The apparatus according to claim 30, further comprising: a conversion unit that generates a projection image of a region of interest selected in the decoded omnidirectional image. 前記変換部は、
前記デコーディングされた全方向画像をパノマラ画像に変換し、前記パノマラ画像をディスプレイする前記ディスプレイ部に出力する全方向パノマラ変換部と、
前記選択された関心領域に対応する前記パノマラ画像の部分を、前記選択された領域の投影画像に変換するパノマラ投影画像変換部とをさらに備えることを特徴とする請求項３１に記載の装置。 The converter is
Converting the decoded omnidirectional image into a panorama image and outputting the panomara image to the display unit for displaying the panomara image; and
32. The apparatus according to claim 31, further comprising a panorama projection image conversion unit that converts a portion of the panorama image corresponding to the selected region of interest into a projection image of the selected region. 前記デコーディングされた全方向画像及び前記結合された関心領域画像をディスプレイする一つ以上のディスプレイ部をさらに備えることを特徴とする請求項３０に記載の装置。   The apparatus of claim 30, further comprising one or more display units for displaying the decoded omnidirectional image and the combined region-of-interest image. 画像エンコーディング及びデコーディング装置において、
入力全方向画像をエンコーディングし、前記エンコーディングされた全方向画像を伝送し、前記入力全方向画像の関心領域の位置情報を受信し、前記入力全方向画像で前記受信された位置情報によって決定された部分に対応するエラー画像をエンコーディングし、前記エンコーディングされたエラー画像を伝送するエンコーディング部と、
前記エンコーディングされた全方向画像を受信してデコーディングし、前記デコーディングされた全方向画像に基づいて前記関心領域を選択し、前記エンコーディング部に前記関心領域の位置情報を伝送し、前記デコーディングされたエラー画像と、前記位置情報によって決定された前記デコーディングされた全方向画像部分の画像とを結合して、前記選択された関心領域の結合された画像を生成するデコーディング部とを備えることを特徴とする装置。 In an image encoding and decoding device,
Encoding an input omnidirectional image, transmitting the encoded omnidirectional image, receiving position information of a region of interest in the input omnidirectional image, determined by the received position information in the input omnidirectional image An encoding unit that encodes an error image corresponding to the portion and transmits the encoded error image;
Receiving and decoding the encoded omnidirectional image, selecting the region of interest based on the decoded omnidirectional image, transmitting position information of the region of interest to the encoding unit; A decoding unit configured to combine the error image thus generated and the image of the decoded omnidirectional image portion determined by the position information to generate a combined image of the selected region of interest. A device characterized by that. 画像のエンコーディング方法を実現させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体において、
前記画像のエンコーディング方法は、
全方向画像をエンコーディングして第１ビットストリームを生成した後、デコーディング装置に伝送するステップと、
前記第１ビットストリームに基づいて再生された画像から選択された関心領域の位置情報を前記デコーディング装置から受信するステップと、
前記位置情報に基づいて、前記関心領域に関連した画像をエンコーディングして第２ビットストリームを生成するステップとを含むことを特徴とする記録媒体。 In a computer-readable recording medium on which a program for realizing an image encoding method is recorded,
The encoding method of the image is:
Encoding an omnidirectional image to generate a first bitstream and then transmitting to the decoding device;
Receiving position information of a region of interest selected from an image reproduced based on the first bitstream from the decoding device;
Encoding a picture related to the region of interest based on the position information to generate a second bit stream. 画像のデコーディング方法を実現させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体において、
前記画像のデコーディング方法は、
全方向画像をエンコーディングすることによって生成された第１ビットストリームをエンコーディング装置から受信するステップと、
前記第１ビットストリームをデコーディングして再生画像をディスプレイするステップと、
前記再生画像のうち、選択された関心領域の位置情報を前記エンコーディング装置に伝送するステップと、
前記関心領域に関連した画像をエンコーディングすることによって生成された第２ビットストリームを前記エンコーディング装置から受信するステップと、
前記第２ビットストリームをデコーディングするステップとを含むことを特徴とする記録媒体。 In a computer-readable recording medium recording a program for realizing an image decoding method,
The decoding method of the image is:
Receiving a first bitstream generated by encoding an omnidirectional image from an encoding device;
Decoding the first bitstream to display a reproduced image;
Transmitting the position information of the selected region of interest among the reproduced images to the encoding device;
Receiving a second bitstream generated by encoding an image associated with the region of interest from the encoding device;
And a step of decoding the second bit stream. 画像のエンコーディング方法を実現させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体において、
前記画像のエンコーディング方法は、
第１解像度で入力された全方向画像をエンコーディングし、エンコーディングされた全方向画像を出力するステップと、
入力位置情報によって決定された前記入力全方向画像の領域に対応する画像をエンコーディングし、第２解像度で前記入力全方向画像の領域に対応する画像をエンコーディングして出力するステップとを含むことを特徴とする記録媒体。 In a computer-readable recording medium on which a program for realizing an image encoding method is recorded,
The encoding method of the image is:
Encoding an omnidirectional image input at a first resolution and outputting an encoded omnidirectional image;
Encoding an image corresponding to the area of the input omnidirectional image determined by the input position information, and encoding and outputting an image corresponding to the area of the input omnidirectional image at a second resolution. A recording medium. 画像のエンコーディング方法を実現させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体において、
前記画像のエンコーディング方法は、
入力全方向画像をエンコーディングし、前記エンコーディングされた全方向画像を出力するステップと、
前記エンコーディングされた全方向画像をデコーディングし、前記入力全方向画像の領域と、対応する前記デコーディングされた全方向画像の領域との間のエラー画像をエンコーディングして出力するステップとを含み、前記デコーディングされた全方向画像の領域は、入力関心領域情報に基づいて決定されることを特徴とする記録媒体。 In a computer-readable recording medium on which a program for realizing an image encoding method is recorded,
The encoding method of the image is:
Encoding an input omnidirectional image and outputting the encoded omnidirectional image;
Decoding the encoded omnidirectional image and encoding and outputting an error image between a region of the input omnidirectional image and a corresponding region of the decoded omnidirectional image; The area of the decoded omnidirectional image is determined based on input region-of-interest information. エンコーディングされた画像の視聴方法を実現させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体において、
前記視聴方法は、
入力されたエンコーディング全方向画像をデコーディングし、デコーディングされた全方向画像をディスプレイするステップと、
前記デコーディングされた全方向画像で関心領域を選択し、前記選択された関心領域の位置情報を出力するステップと、
入力エンコーディングエラー画像をデコーディングし、前記デコーディングされたエラー画像を、前記デコーディングされた全方向画像で選択された関心領域と結合して、結合された関心領域画像を生成するステップと、
前記結合された関心領域画像をディスプレイするステップとを含むことを特徴とする方法。 In a computer-readable recording medium on which a program for realizing a method for viewing an encoded image is recorded,
The viewing method is:
Decoding the input encoded omnidirectional image and displaying the decoded omnidirectional image;
Selecting a region of interest in the decoded omnidirectional image and outputting position information of the selected region of interest;
Decoding an input encoding error image and combining the decoded error image with a region of interest selected in the decoded omnidirectional image to generate a combined region of interest image;
Displaying said combined region-of-interest image.
JP2007525547A 2004-08-13 2005-08-12 Image encoding method, encoding device, image decoding method, and decoding device Pending JP2008510357A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US60114704P 2004-08-13 2004-08-13
KR1020040075972A KR100739686B1 (en) 2004-08-13 2004-09-22 Method and apparatus for coding image, method and apparatus for decoding image data
PCT/KR2005/002638 WO2006016782A1 (en) 2004-08-13 2005-08-12 Method and apparatus to encode image, and method and apparatus to decode image data

Publications (1)

Publication Number Publication Date
JP2008510357A true JP2008510357A (en) 2008-04-03

Family

ID=35839504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007525547A Pending JP2008510357A (en) 2004-08-13 2005-08-12 Image encoding method, encoding device, image decoding method, and decoding device

Country Status (3)

Country Link
EP (1) EP1782632A1 (en)
JP (1) JP2008510357A (en)
WO (1) WO2006016782A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015521442A (en) * 2012-07-04 2015-07-27 インテル コーポレイション Panorama-based 3D video coding
JP2016513390A (en) * 2013-02-20 2016-05-12 ムーバー インコーポレイテッドＭｏｏｏｖｒ Ｉｎｃ． Complex dimension content service providing system using 2D-3D complex dimension content file, service providing method thereof, and complex dimension content file
US9466090B2 (en) 2013-06-20 2016-10-11 Intel Corporation Subset based compression and decompression of graphics data
KR101821352B1 (en) * 2016-03-30 2018-01-25 (주)씨소 Records the location of the event system of omnidirectional camera and method using the same
US10387991B2 (en) 2016-07-01 2019-08-20 Intel Corporation Method and apparatus for frame buffer compression

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8842974B2 (en) * 2010-10-01 2014-09-23 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program, and content delivery system
KR101915037B1 (en) 2016-07-01 2018-11-06 에스케이 텔레콤주식회사 Method and Apparatus for Generating Video Bit Stream for Streaming High Resolution Video
CN106911902B (en) * 2017-03-15 2020-01-07 微鲸科技有限公司 Video image transmission method, receiving method and device
EP3634005A1 (en) * 2018-10-05 2020-04-08 Nokia Technologies Oy Client device and method for receiving and rendering video content and server device and method for streaming video content

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284095A (en) * 1994-04-12 1995-10-27 Nippon Telegr & Teleph Corp <Ntt> View point adaptive-type image transmitting method and image transmitting device
JPH07288806A (en) * 1994-04-20 1995-10-31 Hitachi Ltd Moving image communication system
JPH11205772A (en) * 1998-01-16 1999-07-30 Matsushita Joho System Kk Omnidirectionally picked-up image sending system and its method
US6014671A (en) * 1998-04-14 2000-01-11 International Business Machines Corporation Interactive retrieval and caching of multi-dimensional data using view elements
US6043837A (en) * 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
US6121970A (en) * 1997-11-26 2000-09-19 Mgi Software Corporation Method and system for HTML-driven interactive image client
JP2000270297A (en) * 1999-03-12 2000-09-29 Toshiba Video Products Japan Kk Monitor camera system having digital video recording and reproducing function
JP2002312778A (en) * 2001-04-09 2002-10-25 Be Here Corp Method and device for electronically distributing motion panoramic image
JP2004134914A (en) * 2002-10-09 2004-04-30 Matsushita Electric Ind Co Ltd Moving picture encoding method and moving picture encoder
JP2004153605A (en) * 2002-10-31 2004-05-27 Victor Co Of Japan Ltd Image pickup device and system for transmitting pick-up image

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272235B1 (en) * 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6192393B1 (en) * 1998-04-07 2001-02-20 Mgi Software Corporation Method and system for panorama viewing
KR100405060B1 (en) * 2000-08-24 2003-11-07 휴먼드림 주식회사 Enlarged Digital Image Providing Method and Apparatus Using Data Communication Networks
FR2828754A1 (en) * 2001-08-14 2003-02-21 Koninkl Philips Electronics Nv VISUALIZATION OF A PANORAMIC VIDEO EDITION BY APPLYING NAVIGATION COMMANDS TO THE SAME

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284095A (en) * 1994-04-12 1995-10-27 Nippon Telegr & Teleph Corp <Ntt> View point adaptive-type image transmitting method and image transmitting device
JPH07288806A (en) * 1994-04-20 1995-10-31 Hitachi Ltd Moving image communication system
US6043837A (en) * 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
US6121970A (en) * 1997-11-26 2000-09-19 Mgi Software Corporation Method and system for HTML-driven interactive image client
JPH11205772A (en) * 1998-01-16 1999-07-30 Matsushita Joho System Kk Omnidirectionally picked-up image sending system and its method
US6014671A (en) * 1998-04-14 2000-01-11 International Business Machines Corporation Interactive retrieval and caching of multi-dimensional data using view elements
JP2000270297A (en) * 1999-03-12 2000-09-29 Toshiba Video Products Japan Kk Monitor camera system having digital video recording and reproducing function
JP2002312778A (en) * 2001-04-09 2002-10-25 Be Here Corp Method and device for electronically distributing motion panoramic image
JP2004134914A (en) * 2002-10-09 2004-04-30 Matsushita Electric Ind Co Ltd Moving picture encoding method and moving picture encoder
JP2004153605A (en) * 2002-10-31 2004-05-27 Victor Co Of Japan Ltd Image pickup device and system for transmitting pick-up image

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015521442A (en) * 2012-07-04 2015-07-27 インテル コーポレイション Panorama-based 3D video coding
JP2016513390A (en) * 2013-02-20 2016-05-12 ムーバー インコーポレイテッドＭｏｏｏｖｒ Ｉｎｃ． Complex dimension content service providing system using 2D-3D complex dimension content file, service providing method thereof, and complex dimension content file
US9466090B2 (en) 2013-06-20 2016-10-11 Intel Corporation Subset based compression and decompression of graphics data
KR101821352B1 (en) * 2016-03-30 2018-01-25 (주)씨소 Records the location of the event system of omnidirectional camera and method using the same
US10387991B2 (en) 2016-07-01 2019-08-20 Intel Corporation Method and apparatus for frame buffer compression

Also Published As

Publication number Publication date
WO2006016782A1 (en) 2006-02-16
EP1782632A1 (en) 2007-05-09

Similar Documents

Publication Publication Date Title
KR100739686B1 (en) Method and apparatus for coding image, method and apparatus for decoding image data
US10567464B2 (en) Video compression with adaptive view-dependent lighting removal
US10341632B2 (en) Spatial random access enabled video system with a three-dimensional viewing volume
US10419737B2 (en) Data structures and delivery methods for expediting virtual reality playback
US10546424B2 (en) Layered content delivery for virtual and augmented reality experiences
JP7135141B2 (en) Information processing system, information processing method, and information processing program
US11218683B2 (en) Method and an apparatus and a computer program product for adaptive streaming
US20180035134A1 (en) Encoding and decoding virtual reality video
JP2008510357A (en) Image encoding method, encoding device, image decoding method, and decoding device
WO2015174501A1 (en) 360-degree video-distributing system, 360-degree video distribution method, image-processing device, and communications terminal device, as well as control method therefor and control program therefor
US20200329266A1 (en) Information processing apparatus, method for processing information, and storage medium
JP2015220595A (en) Perimeter motion picture distribution system, perimeter motion picture distribution method, communication terminal device, and method and program for controlling the same
TW200818871A (en) Adaptive video processing circuitry &amp; player using sub-frame metadata
WO2020004013A1 (en) Image processing device and image processing method
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
WO2019078033A1 (en) Playback device and method, and generation device and method
US9338429B2 (en) Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor
KR102261242B1 (en) System for playing three dimension image of 360 degrees
JP2023085912A (en) Moving image distribution system, moving image distribution device, terminal, method, data structure, and program
JP2023085913A (en) Moving image distribution system, moving image distribution device, method, and program
KR20200111645A (en) Method and apparatus for packing and unpacking of residual image using 3d warping

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110927