JP2013165503A - Apparatus and method for managing reference frame for layered video encoding - Google Patents
Apparatus and method for managing reference frame for layered video encoding Download PDFInfo
- Publication number
- JP2013165503A JP2013165503A JP2013085137A JP2013085137A JP2013165503A JP 2013165503 A JP2013165503 A JP 2013165503A JP 2013085137 A JP2013085137 A JP 2013085137A JP 2013085137 A JP2013085137 A JP 2013085137A JP 2013165503 A JP2013165503 A JP 2013165503A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- storage
- video
- frames
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、映像を符号化したり復号化したりする装置に関し、より詳細には、符号化対象映像フレームを符号化または復号するための参照フレームを格納して管理する装置および方法に関する。 The present invention relates to an apparatus for encoding and decoding video, and more particularly to an apparatus and method for storing and managing a reference frame for encoding or decoding an encoding target video frame.
現在そして未来の通信環境は、有線と無線の領域区分や地域と国家の区分を超越するほど急激に変化しており、特に、映像と音声は勿論、ユーザが必要とする多様な情報をリアルタイムで総合的に提供する方向に構築される趨勢にある。動画をデジタルデータに加工してリアルタイムで送信し、これを受信して表示するデジタルテレビシステムと、リアルタイムで動画を個人携帯端末機で表示する移動通信網の実現が常用化している。 The current and future communication environment is changing so rapidly that it goes beyond the wired and wireless domain divisions and the regional and national divisions. In particular, video and audio, as well as various information that users need in real time. There is a tendency to be built in a comprehensive direction. Digital TV systems that process moving images into digital data, transmit them in real time, receive and display them, and mobile communication networks that display moving images in real time on personal portable terminals have become commonplace.
移動通信網の帯域幅は制限されるため、動画の効率的な符号化技法が求められる。動画を効率的に符号化するために、動画を時間順序に応じて複数の映像フレームに分割し、分割された映像フレームを複数の階層に区分して符号化する階層的予測符号化技法が提示された。 Since the bandwidth of a mobile communication network is limited, an efficient video encoding technique is required. In order to efficiently encode moving images, a hierarchical predictive coding technique that divides a moving image into a plurality of video frames according to the time order and divides the divided video frames into a plurality of hierarchies is presented. It was done.
階層的予測符号化技法によれば、特定の階層に含まれた映像フレームを復号するためには、全階層に含まれた映像フレームは必要ではない。すなわち、一部階層の映像フレームのみで特定の階層に含まれた映像を復号することができる。したがって、符号化されたデータのうち一部のみを送信した場合でも、受信側で映像を再生することができる。 According to the hierarchical predictive coding technique, video frames included in all layers are not required to decode video frames included in a specific layer. That is, a video included in a specific layer can be decoded using only a video frame of a partial layer. Therefore, even when only a part of the encoded data is transmitted, the video can be reproduced on the receiving side.
階層的予測符号化技法によれば、特定の映像フレームを復号するための参照フレームが互いに異なる階層に含まれる場合がある。この場合に、互いに異なる階層に含まれた参照フレームを管理するために、階層の数だけのバッファが必要となる。複数のバッファを用いるために、極めて複雑なバッファ管理技法が必要となる。 According to the hierarchical predictive coding technique, reference frames for decoding a specific video frame may be included in different layers. In this case, in order to manage reference frames included in different hierarchies, buffers corresponding to the number of hierarchies are required. In order to use multiple buffers, extremely complex buffer management techniques are required.
本発明は、上述した問題点を解決するために案出されたものであって、複数の階層に区分された映像を符号化または復号化する過程において、単一バッファのみを用いて参照映像を簡単に管理することを目的とする。 The present invention has been devised to solve the above-described problems, and in the process of encoding or decoding video divided into a plurality of hierarchies, the reference video is used only with a single buffer. It aims to be easily managed.
上述した目的を達成し、従来技術の問題点を解決するために、本発明は、複数の階層に区分された映像フレームを符号化する多重階層映像符号化装置であって、第１符号化対象フレームの階層を識別する階層識別部と、前記第１符号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納するフレーム格納部と、前記格納フレームのうちから前記識別された階層に基づいて参照フレームを選択する参照フレーム選択部と、前記選択された参照フレームを参照して前記符号化対象フレームを符号化するフレーム符号化部とを備え、前記フレーム格納部は、前記第１符号化対象フレームを第２符号化対象フレームと関連した格納フレームとして格納することを特徴とする多重階層映像符号化装置を提供する。 In order to achieve the above-described object and to solve the problems of the prior art, the present invention is a multi-layer video encoding apparatus that encodes a video frame divided into a plurality of layers, the first encoding target Based on a hierarchy identifying unit that identifies a layer of a frame, a frame storage unit that stores at least one storage frame associated with the first encoding target frame, and the identified layer among the storage frames A reference frame selecting unit that selects a reference frame; and a frame encoding unit that encodes the encoding target frame with reference to the selected reference frame, wherein the frame storage unit includes the first encoding target There is provided a multi-layer video encoding apparatus characterized in that a frame is stored as a storage frame related to a second encoding target frame.
本発明の一側によれば、多重階層符号化された映像を復号する復号化装置であって、第１復号化対象フレームの階層を識別する階層識別部と、前記第１復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納するフレーム格納部と、前記格納フレームのうちから前記識別された階層に基づいて参照フレームを選択する参照フレーム選択部と、前記選択された参照フレームを参照して前記復号化対象フレームを復号するフレーム復号部とを備え、前記フレーム格納部は、前記第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームとして格納することを特徴とする復号化装置が提供される。 According to one aspect of the present invention, there is provided a decoding device that decodes multi-layer encoded video, a layer identification unit that identifies a layer of a first decoding target frame, and the first decoding target frame; A frame storage unit that stores at least one related storage frame, a reference frame selection unit that selects a reference frame based on the identified hierarchy from among the storage frames, and the selected reference frame And a frame decoding unit for decoding the decoding target frame, wherein the frame storage unit stores the first decoding target frame as a storage frame related to the second decoding target frame. A decoding device is provided.
本発明のさらに他の一側によれば、多重階層符号化された映像を復号する復号化方法であって、第１復号化対象フレームの階層を識別するステップと、前記第１復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納して保持するステップと、前記格納フレームのうちから前記識別された階層に基づいて参照フレームを選択するステップと、前記選択された参照フレームを参照して前記復号化対象フレームを復号するステップと、前記第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームとして格納して保持するステップとを含むことを特徴とする復号化方法が提供される。 According to still another aspect of the present invention, there is provided a decoding method for decoding a multi-layer encoded video, the step of identifying a hierarchy of a first decoding target frame, and the first decoding target frame Storing and holding at least one or more storage frames associated with the reference frame, selecting a reference frame from the storage frames based on the identified hierarchy, and referring to the selected reference frame A decoding method comprising: decoding the decoding target frame; and storing and holding the first decoding target frame as a storage frame related to the second decoding target frame. Provided.
本発明によれば、複数の階層に区分された映像を符号化または復号化する過程において、単一バッファのみを用いて参照映像を容易に管理することができる。 According to the present invention, a reference video can be easily managed using only a single buffer in a process of encoding or decoding a video divided into a plurality of layers.
以下、添付の図面を参照しながら、本発明の実施形態について詳しく説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
本明細書で用いられる「フレーム」という用語は、動画の特定時点における映像情報を格納するデータを意味する。本発明の一実施形態によれば、「フレーム」は、単一映像の一部に対する情報を含む複数の「フィールド」を含むことができる。例えば、インターレース（ｉｎｔｅｒｌａｃｅ）方式の動画において、１フレームは複数のフィールドで構成される。複数のフィールドが交互になって１フレームの画面を表現する。 As used herein, the term “frame” refers to data that stores video information at a specific time point of a moving image. According to an embodiment of the present invention, a “frame” may include a plurality of “fields” that include information for a portion of a single video. For example, in an interlaced video, one frame is composed of a plurality of fields. A plurality of fields alternate to represent a one-frame screen.
図１は、本発明の一実施形態によって複数の階層に区分された映像フレームを符号化する多重階層映像符号化装置の構造を示す図である。以下、図１を参照しながら、本発明に係る多重階層映像符号化装置の動作について詳しく説明する。本発明に係る多重階層映像符号化装置１００は、ＤＣＴ変換部１１０と、量子化部１２０と、エントロピー符号化部１３０と、逆量子化部１４０と、ＩＤＣＴ部１５０と、多重参照バッファ１６０と、動き推定部１７０と、動き補償部１８０とを備える。
FIG. 1 is a diagram illustrating a structure of a multi-layer video encoding apparatus that encodes a video frame divided into a plurality of layers according to an embodiment of the present invention. Hereinafter, the operation of the multi-layer video encoding apparatus according to the present invention will be described in detail with reference to FIG. The multi-layer video encoding apparatus 100 according to the present invention includes a
動き推定部１７０および動き補償部１８０は、多重参照バッファ１６０に格納された参照フレームに基づいて符号化対象フレームに対する予測映像フレームを生成する。
The
動き補償部１８０で生成された予測映像フレームと多重階層映像を構成する符号化対象フレームとの差は、ＤＣＴ変換部（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）１１０と量子化部１２０を経てエントロピー符号化１３０される。また、多重階層映像符号化装置１００において、逆量子化部１４０、逆ＤＣＴ変換部（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）１５０を介して復元された差映像は、予測映像フレームと結合して動き推定の正確性を高めるために用いられる。
The difference between the predicted video frame generated by the
図２は、本発明の一実施形態によって複数の階層に区分された映像フレームを符号化する概念を示す図である。以下、図２を参照しながら、本発明によって複数の階層に区分された映像フレームを符号化する概念について詳しく説明する。 FIG. 2 is a diagram illustrating a concept of encoding a video frame divided into a plurality of layers according to an embodiment of the present invention. Hereinafter, the concept of encoding a video frame divided into a plurality of layers according to the present invention will be described in detail with reference to FIG.
図２では、複数の映像フレーム２００が互いに参照して符号化される。複数の映像フレーム２００は、時間的に関連している。すなわち、映像フレーム１（２１１）は、映像フレーム０（２１０）の後に再生されるフレームであり、映像フレーム２（２１２）は、映像フレーム１（２１１）の後に再生されるフレームである。
In FIG. 2, a plurality of
本発明によれば、複数の映像フレームは、複数の階層に区分することができる。図２の実施形態では、映像フレーム０（２１０）、映像フレーム４（２１４）、映像フレーム８（２１８）、映像フレーム１２（２２２）が階層０（２３０）に含まれる。 According to the present invention, a plurality of video frames can be divided into a plurality of hierarchies. In the embodiment of FIG. 2, video frame 0 (210), video frame 4 (214), video frame 8 (218), and video frame 12 (222) are included in layer 0 (230).
また、映像フレーム２（２１２）、映像フレーム６（２１６）、映像フレーム１０（２２０）が階層１（２４０）に含まれる。さらに、映像フレーム１（２１１）、映像フレーム３（２１３）、映像フレーム５（２１５）、映像フレーム７（２１７）、映像フレーム９（２１９）、映像フレーム１１（２２１）が階層２（２５０）に含まれる。 The video frame 2 (212), the video frame 6 (216), and the video frame 10 (220) are included in the hierarchy 1 (240). Furthermore, the video frame 1 (211), the video frame 3 (213), the video frame 5 (215), the video frame 7 (217), the video frame 9 (219), and the video frame 11 (221) are in the hierarchy 2 (250). included.
図２では、それぞれの映像フレーム２００が３つの階層に区分された実施形態を示しているが、本発明の他の実施形態によれば、それぞれの映像フレーム２００が２つの階層に区分されても良いし、４つ以上の階層に区分されても良い。
FIG. 2 illustrates an embodiment in which each
説明の便宜上、階層０（２３０）を最下位階層とし、階層２（２５０）を最上位階層とする。すなわち、階層１（２４０）は階層０（２３０）の上位階層であり、階層２（２５０）は階層１（２４０）および階層０（２３０）の上位階層である。これとは反対に、階層０（２３０）は階層１（２４０）および階層２（２５０）の下位階層であり、階層１（２４０）は階層２（２５０）の下位階層である。 For convenience of explanation, the hierarchy 0 (230) is the lowest hierarchy, and the hierarchy 2 (250) is the highest hierarchy. That is, the hierarchy 1 (240) is an upper hierarchy of the hierarchy 0 (230), and the hierarchy 2 (250) is an upper hierarchy of the hierarchy 1 (240) and the hierarchy 0 (230). On the other hand, the hierarchy 0 (230) is a lower hierarchy of the hierarchy 1 (240) and the hierarchy 2 (250), and the hierarchy 1 (240) is a lower hierarchy of the hierarchy 2 (250).
本発明の一実施形態によれば、下位階層に含まれた映像フレームは、上位階層に含まれた映像フレームを参照せずに、同じ階層に含まれた映像フレームのうち、時間的に先行する映像フレームのみを参照して符号化することができる。すなわち、図２に示す実施形態において、映像フレーム８（２１８）は、同じ階層に含まれた映像フレーム０（２１０）および映像フレーム４（２１４）を参照して符号化することができる。 According to an embodiment of the present invention, a video frame included in a lower layer is temporally preceded among video frames included in the same layer without referring to a video frame included in an upper layer. Encoding can be performed with reference to only video frames. That is, in the embodiment shown in FIG. 2, the video frame 8 (218) can be encoded with reference to the video frame 0 (210) and the video frame 4 (214) included in the same hierarchy.
本発明の一実施形態によれば、上位階層に含まれた映像フレームは、下位階層に含まれたすべての映像フレームのうち、先に符号化された映像フレームを参照して符号化することができる。すなわち、階層１（２４０）に含まれた映像フレーム６（２１６）は、下位階層に含まれた映像フレームのうち、映像フレーム６（２１６）よりも時間的に先行する映像フレーム０（２１０）および映像フレーム４（２１４）を参照して符号化することができる。 According to an embodiment of the present invention, the video frame included in the upper layer may be encoded with reference to the previously encoded video frame among all the video frames included in the lower layer. it can. That is, the video frame 6 (216) included in the hierarchy 1 (240) includes the video frames 0 (210) and temporally preceding the video frame 6 (216) among the video frames included in the lower hierarchy. It can be encoded with reference to video frame 4 (214).
また、映像フレーム６（２１６）と同じ階層に含まれた映像フレームのうち、映像フレーム６（２１６）よりも先に符号化された映像フレーム２（２１２）を参照して符号化することもできる。また、映像フレーム６（２１６）よりも時間的に後行するが先に符号化された映像フレーム８（２１８）を参照して符号化することができる。 In addition, among the video frames included in the same hierarchy as the video frame 6 (216), the video frame 2 (212) encoded before the video frame 6 (216) can be referenced for encoding. . The encoding can be performed with reference to the video frame 8 (218) encoded after the video frame 6 (216) in time but encoded earlier.
本発明の一実施形態によれば、符号化対象フレームは、符号化対象フレーム以前にすでに符号化された映像フレームのみを参照して符号化することができる。 According to an embodiment of the present invention, an encoding target frame can be encoded with reference to only a video frame that has already been encoded before the encoding target frame.
本発明の一実施形態によれば、映像フレーム０（２１０）が符号化された後に、映像フレーム０（２１０）と同じ階層２３０に含まれた映像フレーム４（２１４）は、映像フレーム０（２１０）を参照して符号化することができる。階層１（２４０）に含まれた映像フレーム２（２１２）は、下位階層２３０に含まれた映像フレーム０（２１０）および映像フレーム４（２１４）を参照して符号化することができる。また、階層２（２５０）に含まれた映像フレーム１（２１１）は、下位階層に含まれた映像フレーム０（２１０）、映像フレーム４（２１４）、および映像フレーム２（２１２）を参照して符号化することができる。階層２に含まれた映像フレーム３は、同じ階層２５０および下位階層２３０、２４０に含まれた映像フレームのうち、映像フレーム３（２１３）よりも先に符号化された映像フレーム０（２１０）、映像フレーム４（２１４）、および映像フレーム２（２１２）を参照して符号化することができる。本発明の一実施形態によれば、映像フレーム３（２１３）は、同じ階層に含まれ、映像フレーム３（２１３）よりも先に符号化された映像フレーム１（２１１）を参照して符号化することもできる。
According to an embodiment of the present invention, after the video frame 0 (210) is encoded, the video frame 4 (214) included in the
さらに、階層０（２３０）に含まれた映像フレーム８（２１８）は、同じ階層２３０に含まれた映像フレーム０（２１０）および映像フレーム４（２１４）を参照して符号化することができる。
Furthermore, the video frame 8 (218) included in the layer 0 (230) can be encoded with reference to the video frame 0 (210) and the video frame 4 (214) included in the
符号化対象フレームと同じ階層または下位階層に含まれた映像フレームのみを参照して符号化するため、特定の階層に含まれた映像フレームを復号するために上位階層の映像フレームを考慮する必要がない。したがって、復号手順が容易になる。 Since encoding is performed with reference to only video frames included in the same layer or lower layer as the encoding target frame, it is necessary to consider upper layer video frames in order to decode video frames included in a specific layer. Absent. Therefore, the decoding procedure is facilitated.
もし、ユーザがすべての映像フレームを復号したり、偶数番号の映像フレームのみを復号するか否かを選択できたりする場合を仮定しよう。図２に示す実施形態によれば、偶数番号の映像フレームのみを復号する場合には、階層２（２５０）に含まれた奇数番号の映像フレームは復号しない。したがって、多重階層映像復号化装置は、階層０（２３０）、階層１（２４０）に含まれた映像フレームのみを参照して多重階層符号化された映像を復号することができる。 Suppose the user can decode all video frames or choose whether to decode only even numbered video frames. According to the embodiment shown in FIG. 2, when only even-numbered video frames are decoded, odd-numbered video frames included in the layer 2 (250) are not decoded. Therefore, the multi-layer video decoding apparatus can decode the multi-layer encoded video with reference to only the video frames included in the layer 0 (230) and the layer 1 (240).
図３は、本発明の一実施形態に係る多重階層映像符号化装置の構造を示すブロック図である。以下、図３を参照しながら、本発明に係る多重階層映像符号化装置の動作について詳しく説明する。本発明に係る多重階層映像符号化装置３００は、階層識別部３１０と、フレーム格納部３２０と、参照フレーム選択部３３０と、格納フレーム整列部３４０と、フレーム符号化部３５０と、格納決定部３６０とを備える。
FIG. 3 is a block diagram illustrating a structure of a multi-layer video encoding apparatus according to an embodiment of the present invention. Hereinafter, the operation of the multi-layer video encoding apparatus according to the present invention will be described in detail with reference to FIG. The multi-layer video encoding apparatus 300 according to the present invention includes a
階層識別部３１０は、第１符号化対象フレームの階層を識別する。本発明の一実施形態によれば、第１符号化対象フレームは、階層を識別するための階層識別情報を含んでおり、階層識別部３１０は、階層識別情報に基づいて第１符号化対象フレームの階層を識別することができる。
The
フレーム格納部３２０は、第１符号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納する。本発明の一実施形態によれば、フレーム格納部３２０は、第１符号化対象フレームの符号化以前にすでに符号化された映像フレームを格納することができる。
The
参照フレーム選択部３３０は、フレーム格納部３２０に格納された格納フレームのうちから参照フレームを選択する。本発明の一実施形態によれば、参照フレーム選択部３３０は、第１符号化対象フレームの階層に基づいて参照フレームを選択することができる。本発明の一実施形態によれば、参照フレーム選択部３３０は、第１符号化対象フレームと同じ階層または下位階層に含まれた格納フレームのみを参照フレームとして選択することができる。
The reference
本発明の一実施形態によれば、格納フレーム整列部３４０は、フレーム格納部３２０に格納された格納フレームを格納フレームが含まれた階層に応じて整列し、参照フレーム選択部３３０は、格納フレーム整列部３４０が整列した格納フレームに基づいて参照フレームを選択することができる。
According to an embodiment of the present invention, the storage
本発明の一実施形態によれば、格納フレーム整列部３４０は、フレーム格納部３２０に格納された格納フレームを格納フレームが含まれた階層に応じて昇順に整列することができる。格納フレームが格納フレームが含まれた階層に応じて昇順に整列されれば、下位階層に含まれた格納フレームが前方に位置する。したがって、参照フレーム選択部３３０は、前方に位置した格納フレームを参照フレームとして選択することができる。
According to an exemplary embodiment of the present invention, the storage
フレーム符号化部３５０は、選択された参照フレームを参照して第１符号化対象フレームを符号化する。本発明の一実施形態によれば、フレーム符号化部３５０は、選択された参照フレームに基づいて第１符号化対象フレームに対する予測映像フレームを生成することができる。フレーム符号化部３５０は、第１符号化対象フレームと予測映像フレームとの差を符号化することができる。
The
フレーム格納部３２０は、符号化が終了した第１符号化対象フレームを第２符号化対象フレームと関連した格納フレームに格納することができる。
The
本発明の一実施形態によれば、格納決定部３６０は、第１符号化対象フレームが含まれた階層に基づいて、第１符号化対象フレームを格納フレームとしてフレーム格納部３２０に格納するか否かを決定することができる。本発明の一実施形態によれば、フレーム格納部３２０は、格納決定部３６０の決定に応じて、第１符号化対象フレームを第２符号化対象フレームと関連した格納フレームに格納することができる。格納された第１符号化対象フレームは、第２符号化対象フレームに対する参照フレームとして用いることができる。
According to an embodiment of the present invention, the
本発明の一実施形態によれば、費用上の問題または格納空間上の問題により、フレーム格納部３２０が格納できる格納フレームの数が制限される場合がある。本発明の一実施形態によれば、第１符号化対象フレームが第２符号化対象フレームと関連した格納フレームに格納されることによって、従来にフレーム格納部３２０に格納された少なくとも１つ以上の格納フレームのうち、少なくとも１フレーム以上が削除されなければならない。本発明の一実施形態によれば、格納決定部３６０が第１符号化対象フレームを第２符号化対象フレームと関連した格納フレームに格納することと決定した場合に、フレーム格納部３２０は、第１符号化対象フレームと同じ階層に含まれた格納フレームまたは上位階層に含まれた格納フレームのうち、最も早い時点に相応する格納フレームを削除することができる。フレーム格納部３２０は、第２符号化対象フレームと時間的に最も近いフレームのみを格納するため、フレーム格納部３２０に格納された格納フレームは、第２符号化対象フレームと極めて類似する。フレーム格納部３２０に格納された格納フレームのうちから選択された参照フレームも第２符号化対象フレームと類似するため、フレーム符号化部３５０の符号化効率が向上する。
According to an exemplary embodiment of the present invention, the number of storage frames that the
本発明の一実施形態によれば、格納決定部３６０は、第１符号化対象フレームが含まれた階層が最上位階層である場合に、第１符号化対象フレームを格納しないと決定することができる。本発明の一実施形態によれば、フレーム格納部３２０は、最上位階層を除いた階層に含まれた映像フレームのみを格納フレームに格納し、フレーム符号化部は、格納フレームのうちから選択された参照フレームに基づいて第２符号化対象フレームを符号化することができる。最上位階層に含まれた映像フレームが参照フレームとして選択されない実施形態では、第１符号化対象フレームが最上位階層に含まれた場合に、第１符号化対象フレームが第２符号化対象フレームに対する参照フレームとして選択されることはない。したがって、格納決定部３６０は、最上位階層に含まれた第１符号化対象フレームをフレーム格納部３２０に格納しないと決定することができる。
According to an embodiment of the present invention, the
図４は、本発明の一実施形態によって互いに異なる階層の格納フレームを格納するフレーム格納部の動作を示す図である。以下、図４を参照しながら、本発明に係るフレーム格納部の動作について詳しく説明する。 FIG. 4 is a diagram illustrating an operation of a frame storage unit that stores storage frames of different layers according to an embodiment of the present invention. Hereinafter, the operation of the frame storage unit according to the present invention will be described in detail with reference to FIG.
以下、複数の階層に区分された映像フレームが図２に示す実施形態と同じように構成されていると仮定してフレーム格納部の動作を説明する。 Hereinafter, the operation of the frame storage unit will be described on the assumption that video frames divided into a plurality of layers are configured in the same manner as the embodiment shown in FIG.
図４に示すフレーム格納部は、４つの格納フレームを格納できるように大きさが制限されたものと仮定したが、本発明の他の実施形態によれば、４つ以上の格納フレームを格納することもできる。図４に示す各段階のフレーム格納部４１０、４２０、４３０、４４０、４５０、４６０の上段は映像フレームの番号を示し、下段は相応する映像フレームが含まれた階層を示す。
The frame storage unit shown in FIG. 4 is assumed to be limited in size so that it can store four storage frames, but according to another embodiment of the present invention, it stores four or more storage frames. You can also. The upper stage of each
映像フレーム０（２１０）が符号化されれば、映像フレーム０（２１０）は、以後の映像フレームに対する参照フレームとして用いられるために、フレーム格納部に格納される（４１０）。映像フレーム０（２１０）は最初に符号化される映像フレームであるため、フレーム格納部４１０は、映像フレーム０（２１０）のみを格納フレームに格納する（４１１）。映像フレーム０（２１０）が含まれた階層は階層０である（４１２）。
If the video frame 0 (210) is encoded, the video frame 0 (210) is stored in the frame storage unit (410) to be used as a reference frame for the subsequent video frames. Since the video frame 0 (210) is the first video frame to be encoded, the
映像フレーム４（２１４）は、フレーム格納部に格納された格納フレームのうち、同じ階層２３０に含まれた映像フレーム０（２１０）を参照して符号化することができる。映像フレーム４（２１４）も、以後の映像フレームに対する参照フレームとして用いられるために、フレーム格納部に格納される（４２０）。フレーム格納部４２０は、映像フレーム０（２１０）および映像フレーム４（２１４）を格納フレームに格納する（４２１、４２３）。映像フレーム０（２１０）および映像フレーム４（２１４）は、階層０に含まれる（４２２、４２４）。
The video frame 4 (214) can be encoded with reference to the video frame 0 (210) included in the
映像フレーム２（２１２）は、フレーム格納部に格納された格納フレームのうち、下位階層に含まれた映像フレーム０（２１０）および映像フレーム４（２１４）を参照して符号化することができる。映像フレーム２（２１２）も、以後の映像フレームに対する参照フレームとして用いられるために、フレーム格納部に格納される（４３０）。フレーム格納部４３０は、映像フレーム０（２１０）、映像フレーム４（２１４）、および映像フレーム２（２１２）を格納フレームに格納する（４３１、４３３、４３５）。映像フレーム０（２１０）および映像フレーム４（２１４）は階層０に含まれ（４３２、４３４）、映像フレーム２（２１２）は階層１に含まれる（４３６）。
The video frame 2 (212) can be encoded with reference to the video frame 0 (210) and the video frame 4 (214) included in the lower layer among the storage frames stored in the frame storage unit. Video frame 2 (212) is also stored in the frame storage unit (430) to be used as a reference frame for subsequent video frames. The
本発明の一実施形態によれば、映像フレーム１（２１１）および映像フレーム３（２１３）のように最上の階層２５０に含まれた映像フレームも、符号化された後には他の映像フレームの符号化に用いることができる。また、この場合には、映像フレーム１（２１１）および映像フレーム３（２１３）もフレーム格納部に格納することができる。しかしながら、図４には、最上位階層２５０に含まれた映像フレームは、他の映像フレームの符号化に用いられない実施形態を示している。したがって、映像フレーム１（２１１）および映像フレーム３（２１３）は、フレーム格納部に格納されない。
According to an embodiment of the present invention, the video frames included in the
映像フレーム８（２１８）は、フレーム格納部に格納された格納フレームのうち、同じ階層２３０に含まれた映像フレーム０（２１０）および映像フレーム４（２１４）を参照して符号化することができる。映像フレーム８（２１８）も、以後の映像フレームに対する参照フレームとして用いるために、フレーム格納部に格納することができる（４４０）。フレーム格納部４４０は、映像フレーム０（２１０）、映像フレーム４（２１４）、映像フレーム２（２１２）、および映像フレーム８（２１８）を格納フレームに格納する。映像フレーム０（２１０）、映像フレーム４（２１４）、および映像フレーム８（２１８）は階層０（２３０）に含まれ、映像フレーム２（２１２）は階層１（２４０）に含まれる。
The video frame 8 (218) can be encoded with reference to the video frame 0 (210) and the video frame 4 (214) included in the
本発明の一実施形態によれば、格納フレーム整列部は、フレーム格納部に格納された格納フレームをそれぞれの格納フレームが含まれた階層に応じて整列することができる。本発明の一実施形態によれば、格納フレーム整列部は、フレーム格納部に格納された格納フレームをそれぞれの格納フレームが含まれた階層に応じて昇順に整列することができる（４５０）。 According to an embodiment of the present invention, the storage frame alignment unit may align the storage frames stored in the frame storage unit according to the hierarchy in which each storage frame is included. According to an embodiment of the present invention, the storage frame alignment unit may arrange the storage frames stored in the frame storage unit in ascending order according to the hierarchy in which each storage frame is included (450).
昇順に整列された映像フレーム４５１、４５２、４５３、４５４は、整列前の映像フレーム４４１、４４３、４４５、４４７と同じではあるが、その順序が変更されている。映像フレームが含まれた階層に対する情報４５２、４５４、４５６、４５８も、整列後の映像フレーム４５１、４５２、４５３、４５４に相応するように変更された（４５０）。
The video frames 451, 452, 453, and 454 arranged in ascending order are the same as the video frames 441, 443, 445, and 447 before the arrangement, but their order is changed. The
映像フレーム６（２１６）は、フレーム格納部に格納された格納フレームのうち、同じ階層２４０に含まれた映像フレーム２（２１２）および下位階層２３０に格納された映像フレーム０（２１０）、映像フレーム４（２１４）および映像フレーム８（２１８）を参照して符号化することができる。映像フレーム６（２１６）も、以後の映像フレームに対する参照フレームとして用いるために、フレーム格納部に格納することができる。しかしながら、フレーム格納部には、すでに４つの映像フレームが格納されているため、いずれか１つの映像フレームが削除されることによって映像フレーム６（２１６）を格納することができる。
The video frame 6 (216) includes a video frame 2 (212) included in the
本発明の一実施形態によれば、映像フレーム６（２１６）と同じ階層２３０に含まれた映像フレーム２（２１２）および上位階層２５０に含まれた映像フレームのうち、最も早い時点に対応する格納フレームを削除することができる。図４に示す実施形態では、同じ階層２３０に含まれた映像フレーム２（２１２）が削除される。
According to the embodiment of the present invention, the storage corresponding to the earliest time among the video frame 2 (212) included in the
本発明の一実施形態によれば、格納フレーム整列部は、映像フレーム２（２１２）が削除され、映像フレーム６（２１６）が含まれた格納フレームを整列することができる（４６０）。整列されたフレーム４６１、４６３、４６５、４６７は、映像フレーム０（２１０）、映像フレーム４（２１４）、映像フレーム８（２１８）、および映像フレーム６（２１６）を含む。それぞれの映像フレーム４６１、４６３、４６５、４６７に相応する階層情報４６２、４６４、４６６、４６８も、整列されたフレームに応じて変更される。
According to an exemplary embodiment of the present invention, the storage frame alignment unit may align the storage frame including the video frame 6 (216) after the video frame 2 (212) is deleted (460). The aligned frames 461, 463, 465, 467 include video frame 0 (210), video frame 4 (214), video frame 8 (218), and video frame 6 (216).
参照フレーム選択部は、格納フレーム整列部によって整列された格納フレームのうちから前方に位置した格納フレームを選択し、特定の映像フレームよりも下位階層に含まれた格納フレームまたは同じ階層に含まれた格納フレームを容易に選択することができる。 The reference frame selection unit selects a storage frame positioned in front of the storage frames arranged by the storage frame alignment unit, and is included in a storage frame included in a lower hierarchy than the specific video frame or included in the same hierarchy. The storage frame can be easily selected.
図５は、本発明の一実施形態によって多重階層符号化された映像フレームを復号する復号化装置の構造を示すブロック図である。以下、図５を参照しながら、本発明に係る復号化装置の動作について詳しく説明する。本発明に係る復号化装置５００は、階層識別部５１０と、フレーム格納部５２０と、参照フレーム選択部５３０と、格納フレーム整列部５４０と、フレーム復号部５５０と、格納決定部５６０とを備える。
FIG. 5 is a block diagram illustrating a structure of a decoding apparatus that decodes a multi-layer encoded video frame according to an embodiment of the present invention. Hereinafter, the operation of the decoding apparatus according to the present invention will be described in detail with reference to FIG. The decoding apparatus 500 according to the present invention includes a
階層識別部５１０は、第１復号化対象フレームの階層を識別する。本発明の一実施形態によれば、第１復号化対象フレームは、階層を識別するための階層識別情報を含んでおり、階層識別部５１０は、階層識別情報に基づいて第１復号化対象フレームの階層を識別することができる。
The
フレーム格納部５２０は、第１復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納する。本発明の一実施形態によれば、フレーム格納部５２０は、第１復号化対象フレームの復号以前にすでに復号された映像フレームを格納することができる。
The
参照フレーム選択部５３０は、フレーム格納部５２０に格納された格納フレームのうちから参照フレームを選択する。本発明の一実施形態によれば、参照フレーム選択部５３０は、第１復号化対象フレームの階層に基づいて参照フレームを選択することができる。本発明の一実施形態によれば、参照フレーム選択部５３０は、第１復号化対象フレームと同じ階層に含まれた格納フレームのうち、第１復号化対象フレームよりも時間的に先行するフレームを参照フレームとして選択することができる。本発明の他の実施形態によれば、参照フレーム選択部５３０は、第１復号化対象フレームよりも下位階層に含まれた格納フレームおよび同じ階層に含まれた格納フレームを参照フレームとして選択することができる。
The reference
映像フレームは、復号化された後に格納フレームに格納される。したがって、第１復号化対象フレームと同じ階層に含まれた参照フレームは、第１復号化対象フレームよりも時間的に先行して先に復号化された映像フレームとすることができる。また、第１復号化対象フレームよりも下位階層に含まれた参照フレームは、第１復号化対象フレームよりも時間的に先行する映像フレーム、および第１復号化対象フレームよりも時間的には後行するが第１復号化対象フレームよりも先に復号化された映像フレームとすることができる。 The video frame is stored in the storage frame after being decoded. Therefore, the reference frame included in the same hierarchy as the first decoding target frame can be a video frame decoded earlier in time than the first decoding target frame. In addition, the reference frame included in the lower layer than the first decoding target frame is a video frame that temporally precedes the first decoding target frame and a temporal later than the first decoding target frame. However, it can be a video frame decoded before the first decoding target frame.
本発明の一実施形態によれば、格納フレーム整列部５４０は、フレーム格納部５２０に格納された格納フレームを格納フレームが含まれた階層に応じて整列し、参照フレーム選択部５３０は、格納フレーム整列部５４０が整列した格納フレームに基づいて参照フレームを選択することができる。
According to an embodiment of the present invention, the storage
本発明の一実施形態によれば、格納フレーム整列部５４０は、フレーム格納部５２０に格納された格納フレームを格納フレームが含まれた階層に応じて昇順に整列することができる。格納フレームが格納フレームの含まれた階層に応じて昇順に整列されれば、下位階層に含まれた格納フレームが前方に位置する。復号化対象フレームよりも下位の階層に含まれた格納フレームまたは同じ階層に含まれた格納フレームが参照フレームとして選択されるため、参照フレーム選択部５３０は、前方に位置した格納フレームを復号化対象フレームに対する参照フレームとして選択することができる。
According to an embodiment of the present invention, the storage
もし、格納フレーム整列部５４０が格納フレームを整列しなければ、各格納フレームが含まれた階層に応じて格納フレームを格納する複数の格納装置が必要となる。しかしながら、格納装置に含まれた格納フレームを整列すれば、１つの格納装置のみを用いても復号化対象フレームに対する参照フレームを容易に選択することができる。
If the storage
フレーム復号部５５０は、選択された参照フレームを参照して第１復号化対象フレームを符号する。本発明の一実施形態によれば、フレーム復号部５５０は、選択された参照フレームに基づいて第１復号化対象フレームに対する予測映像フレームを生成することができる。フレーム復号部５５０は、第１復号化対象フレームが符号化された符号化データに基づいて予測映像フレームと第１復号化対象フレームとの差に対する情報を生成する。フレーム復号部は５５０は、予測映像フレームと第１復号化対象フレームとの差に対する情報に基づいて第１復号化対象フレームを復号することができる。
The
フレーム格納部５２０は、復号が終了した第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームに格納することができる。
The
本発明の一実施形態によれば、格納決定部５６０は、第１復号化対象フレームが含まれた階層に基づいて、第１復号化対象フレームを格納フレームとしてフレーム格納部５２０に格納するか否かを決定することができる。本発明の一実施形態によれば、フレーム格納部５２０は、格納決定部５６０の決定に応じて、第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームに格納することができる。格納された第１復号化対象フレームは、第２復号化対象フレームに対する参照フレームとして用いることができる。
According to an embodiment of the present invention, the
本発明の一実施形態によれば、費用上の問題または格納空間上の問題により、フレーム格納部５２０が格納できる格納フレームの数が制限される場合がある。本発明の一実施形態によれば、第１復号化対象フレームが第２復号化対象フレームと関連した格納フレームに格納されることによって、従来にフレーム格納部５２０に格納された少なくとも１つ以上の格納フレームのうち、少なくとも１フレーム以上が削除されなければならない。本発明の一実施形態によれば、格納決定部５６０が第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームに格納することと決定した場合に、フレーム格納部５２０は、第１復号化対象フレームと同じ階層に含まれた格納フレームまたは上位階層に含まれた格納フレームのうち、最も早い時点に相応する格納フレームを削除することができる。フレーム格納部５２０は、第２復号化対象フレームと時間的に最も近いフレームのみを格納するため、フレーム格納部５２０に格納された格納フレームは、第２復号化対象フレームと極めて類似する。フレーム格納部５２０に格納された格納フレームのうちから選択された参照フレームも第２復号化対象フレームと類似するため、フレーム復号部５５０の復号効率が向上する。
According to an exemplary embodiment of the present invention, the number of storage frames that the
本発明の一実施形態によれば、格納決定部５６０は、第１復号化対象フレームの含まれた階層が最上位階層である場合に、第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームに格納しないと決定することができる。本発明の一実施形態によれば、フレーム格納部５２０は、最上位階層を除いた階層に含まれた映像フレームのみを格納フレームに格納し、フレーム復号部５５０は、格納フレームのうちから選択された参照フレームに基づいて第２復号化対象フレームを復号することができる。最上位階層に含まれた映像フレームが参照フレームとして選択されない実施形態では、第１復号化対象フレームが最上位階層に含まれた場合に、第１復号化対象フレームが第２復号化対象フレームに対する参照フレームとして選択されることはない。したがって、格納決定部５６０は、最上位階層に含まれた第１復号化対象フレームをフレーム格納部５２０に格納しないと決定することができる。
According to an embodiment of the present invention, the
図６は、本発明の一実施形態によって多重階層符号化された映像フレームを復号する多重階層映像復号化方法を段階別に示すフローチャートである。以下、図６を参照しながら、本発明に係る多重階層映像復号化方法について詳しく説明する。 FIG. 6 is a flowchart illustrating a multi-layer video decoding method for decoding a multi-layer encoded video frame according to an exemplary embodiment of the present invention. Hereinafter, the multi-layer video decoding method according to the present invention will be described in detail with reference to FIG.
ステップＳ６１０では、第１復号化対象フレームが含まれた階層を識別する。本発明の一実施形態によれば、第１復号化対象フレームを階層を識別するための階層識別情報を含んでおり、ステップＳ６１０では、階層識別情報を用いて第１復号化対象フレームの階層を識別することができる。 In step S610, the hierarchy including the first decoding target frame is identified. According to an embodiment of the present invention, the first decoding target frame includes hierarchy identification information for identifying the hierarchy. In step S610, the hierarchy of the first decoding target frame is determined using the hierarchy identification information. Can be identified.
ステップＳ６２０では、第１復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納して保持する。本発明の一実施形態によれば、格納フレームは、第１復号化対象フレーム以前にすでに復号された映像フレームであり得る。 In step S620, at least one storage frame related to the first decoding target frame is stored and held. According to an embodiment of the present invention, the storage frame may be a video frame that has already been decoded before the first decoding target frame.
ステップＳ６３０では、格納フレームを格納フレームが含まれた階層に応じて整列する。本発明の一実施形態によれば、ステップＳ６３０では、格納フレームが含まれた階層に応じて格納フレームを昇順に整列することができる。格納フレームが昇順に整列されれば、下位階層に含まれた格納フレームが前方に位置する。 In step S630, the storage frames are arranged according to the hierarchy in which the storage frames are included. According to an embodiment of the present invention, in step S630, the storage frames can be arranged in ascending order according to the hierarchy in which the storage frames are included. If the storage frames are arranged in ascending order, the storage frames included in the lower layer are positioned forward.
ステップＳ６４０では、格納フレームのうちから参照フレームを選択する。本発明の一実施形態によれば、第１復号化対象フレームが含まれた階層に基づいて参照フレームを選択することができる。本発明の一実施形態によれば、ステップＳ６４０では、第１復号化対象フレームと同じ階層に属した格納フレームまたは第１復号化対象フレームよりも下位階層に属した格納フレームを参照フレームとして選択することができる。 In step S640, a reference frame is selected from the stored frames. According to the embodiment of the present invention, the reference frame can be selected based on the hierarchy including the first decoding target frame. According to an embodiment of the present invention, in step S640, a storage frame belonging to the same hierarchy as the first decoding target frame or a storage frame belonging to a lower hierarchy than the first decoding target frame is selected as a reference frame. be able to.
本発明の一実施形態によれば、ステップＳ６４０では、ステップＳ６３０で整列された格納フレームに基づいて参照フレームを選択することができる。格納フレームが昇順に整列されれば、下位階層に属した格納フレームが前方に位置する。したがって、第１復号化対象フレームよりも下位階層に含まれた格納フレームまたは同じ階層に含まれた格納フレームを容易に選択することができる。 According to an embodiment of the present invention, in step S640, a reference frame can be selected based on the storage frames aligned in step S630. If the storage frames are arranged in ascending order, the storage frame belonging to the lower layer is positioned forward. Therefore, it is possible to easily select a storage frame included in a lower layer than the first decoding target frame or a storage frame included in the same layer.
ステップＳ６５０では、選択された参照フレームを参照して第１復号化対象フレームを復号する。本発明の一実施形態によれば、ステップＳ６５０では、選択された参照フレームに基づいて第１復号化対象フレームに対する予測映像フレームを生成することができる。本発明の一実施形態によれば、第１復号化対象フレームが符号化された符号化データに基づいて予測映像フレームと第１復号化対象フレームとの差に対する情報を生成する。ステップＳ６４０では、予測映像フレームと第１復号化対象フレームとの差に対する情報に基づいて第１復号化対象フレームを復号することができる。 In step S650, the first decoding target frame is decoded with reference to the selected reference frame. According to an embodiment of the present invention, in step S650, a predicted video frame for the first decoding target frame may be generated based on the selected reference frame. According to an embodiment of the present invention, information on a difference between a predicted video frame and a first decoding target frame is generated based on encoded data obtained by encoding the first decoding target frame. In step S640, the first decoding target frame can be decoded based on information on the difference between the predicted video frame and the first decoding target frame.
ステップＳ６６０では、第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームに格納するか否かを決定する。本発明の一実施形態によれば、ステップＳ６６０では、第１復号化対象フレームが最上位階層に含まれた映像フレームであれば、第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームに格納しないことができる。さらに、第１復号化対象フレームが最上位階層ではない他の階層に含まれた映像フレームであれば、第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームを格納すると決定することができる。 In step S660, it is determined whether to store the first decoding target frame in a storage frame associated with the second decoding target frame. According to an embodiment of the present invention, in step S660, if the first decoding target frame is a video frame included in the highest layer, the first decoding target frame is associated with the second decoding target frame. Can not be stored in the storage frame. Further, if the first decoding target frame is a video frame included in another layer that is not the highest layer, it is determined that the first decoding target frame is stored as a storage frame related to the second decoding target frame. be able to.
もし、ステップＳ６６０で、第１復号化対象フレームを格納すると決定した場合に、ステップＳ６７０では、ステップＳ６６０における決定に応じて、第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームに格納することができる。 If it is determined in step S660 that the first decoding target frame is stored, in step S670, the first decoding target frame is stored in relation to the second decoding target frame in accordance with the determination in step S660. Can be stored.
ステップＳ６８０では、第１復号化対象フレームに関連した第２復号化対象フレームを受信したか否かを判断する。もし、第２復号化対象フレームを受信した場合には、格納フレームを用いて第２復号化対象フレームを復号するが、第２復号化対象フレームを受信できなかった場合には、復号手順を終了する。 In step S680, it is determined whether a second decoding target frame related to the first decoding target frame has been received. If the second decoding target frame is received, the storage target frame is used to decode the second decoding target frame. If the second decoding target frame is not received, the decoding procedure is terminated. To do.
図７は、本発明の一実施形態に係る多重階層映像符号化装置の構造を示すブロック図である。以下、図７を参照しながら、本発明に係る多重階層映像符号化装置の動作について詳細に説明する。本発明に係る多重階層映像符号化装置７００は、階層識別部７１０と、フレーム格納部７２０と、格納フレーム整列部７３０と、参照フレーム選択部７４０と、フレーム符号化部７５０とを備える。
FIG. 7 is a block diagram illustrating a structure of a multi-layer video encoding apparatus according to an embodiment of the present invention. Hereinafter, the operation of the multi-layer video encoding apparatus according to the present invention will be described in detail with reference to FIG. The multi-layer
階層識別部７１０は、符号化対象フレームが含まれた階層を識別する。本発明によれば、入力映像は、複数の階層に区分された映像フレームを含む。符号化対象フレームは、複数の映像フレームのうちのいずれか１つのフレームに含まれる。
The
フレーム格納部７２０は、符号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納する。フレーム格納部７２０に格納された格納フレームは、符号化対象フレームを符号化するための参照フレームとして用いることができる。
The
格納フレーム整列部７３０は、フレーム格納部７２０に格納された格納フレームを整列する。本発明の一実施形態によれば、格納フレーム整列部７３０は、格納フレームが属する階層に応じて格納フレームを整列することができる。
The storage
参照フレーム選択部７４０は、整列された格納フレームのうちから符号化対象フレームが属する階層に基づいて参照フレームを選択する。本発明の一実施形態によれば、参照フレーム選択部７４０は、整列された格納フレームのうち、符号化対象フレームと同じ階層または下位階層に属する格納フレームを参照フレームとして選択することができる。
The reference
もし、格納フレーム整列部７３０が格納フレームを格納フレームが属する階層に応じて昇順で整列すれば、低い階層に属する格納フレームはフレーム格納部７２０の前方に位置する。したがって、参照フレーム選択部７４０は、フレーム格納部７２０の前方に位置した格納フレームを参照フレームとして選択することができる。
If the storage
本発明の他の一実施形態によれば、参照フレーム選択部７４０は、符号化対象フレームと同じ階層に属する格納フレームのうち、符号化対象フレームに先行する格納フレームを参照フレームとして選択することができる。格納フレームが階層に応じて整列された場合に、符号化対象フレームと同じ階層に属する格納フレームは互いに連続的に位置する。参照フレーム選択部７４０は、フレーム格納部７２０に連続的に格納され、符号化対象フレームと同じ階層に属する格納フレームのうち、時間的に符号化対象フレームに先行する格納フレームを参照フレームとして選択することができる。
According to another embodiment of the present invention, the reference
本発明によれば、互いに異なる階層に属する格納フレームを同じフレーム格納部７２０に格納することができる。格納フレームを格納フレームが属する階層に応じて整列するだけで、複数のフレーム格納部を用いなくても互いに異なる階層に属する格納フレームを明確に区分することができる。
According to the present invention, storage frames belonging to different hierarchies can be stored in the same
１つのフレーム格納部７２０のみを用いて多重階層映像符号化装置を実現することができるため、実現が容易であり、符号化過程が簡単になる。
Since the multi-layer video encoding apparatus can be realized using only one
フレーム符号化部７５０は、選択された参照フレームを参照して符号化対象フレームを符号化する。
The
図８は、本発明の一実施形態に係る多重階層映像復号化装置の構造を示すブロック図である。以下、図８を参照しながら、本発明に係る多重階層映像復号化装置の動作について詳細に説明する。本発明に係る多重階層映像復号化装置８００は、階層識別部８１０と、フレーム格納部８２０と、格納フレーム整列部８３０と、参照フレーム選択部８４０と、フレーム復号部８５０とを備える。
FIG. 8 is a block diagram illustrating a structure of a multi-layer video decoding apparatus according to an embodiment of the present invention. Hereinafter, the operation of the multi-layer video decoding apparatus according to the present invention will be described in detail with reference to FIG. The multi-layer
階層識別部８１０は、復号化対象フレームが含まれた階層を識別する。本発明によれば、復号映像は、複数の階層に区分された映像フレームを含む。符号化対象フレームは、複数の映像フレームのうちのいずれか１つのフレームに含まれる。
The
フレーム格納部８２０は、復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納する。フレーム格納部８２０に格納された格納フレームは、復号化対象フレームを復号するための参照フレームとして用いることができる。
The
格納フレーム整列部８３０は、フレーム格納部８２０に格納された格納フレームを整列する。本発明の一実施形態によれば、格納フレーム整列部８３０は、格納フレームが属する階層に応じて格納フレームを整列することができる。
The storage
参照フレーム選択部８４０は、整列された格納フレームのうち、復号化対象フレームが属する階層に基づいて参照フレームを選択する。本発明の一実施形態によれば、参照フレーム選択部８４０は、整列された格納フレームのうち、復号化対象フレームと同じ階層に含まれた格納フレームまたは復号化対象フレームよりも下位階層に属する格納フレームを参照フレームとして選択することができる。
The reference
もし、格納フレーム整列部８３０が格納フレームを格納フレームが属する階層に応じて昇順で整列すれば、低い階層に属する格納フレームはフレーム格納部８２０の前方に位置する。したがって、参照フレーム選択部８４０は、フレーム格納部８２０の前方に位置した格納フレームを参照フレームとして選択することができる。
If the storage
本発明の他の実施形態によれば、参照フレーム選択部８４０は、復号化対象フレームと同じ階層に属する格納フレームのうち、復号化対象フレームに先行する格納フレームを参照フレームとして選択することができる。格納フレームが階層に応じて整列された場合に、復号化対象フレームと同じ階層に属する格納フレームは互いに連続的に位置する。参照フレーム選択部８４０は、フレーム格納部８２０に連続的に格納され、復号化対象フレームと同じ階層に属する格納フレームのうち、時間的に復号化対象フレームに先行する格納フレームを参照フレームとして選択することができる。
According to another embodiment of the present invention, the reference
本発明によれば、互いに異なる階層に属する格納フレームを同じフレーム格納部８２０に格納することができる。格納フレームを格納フレームが属する階層に応じて整列するだけで、複数のフレーム格納部を用いなくても互いに異なる階層に属する格納フレームを明確に区分することができる。
According to the present invention, storage frames belonging to different layers can be stored in the same
１つのフレーム格納部８２０のみを用いて多重階層映像復号化装置を実現することができるため、実現が容易であり、復号化過程が簡単になる。
Since the multi-layer video decoding apparatus can be realized using only one
フレーム復号部８５０は、選択された参照フレームを参照して復号化対象フレームを復号化する。
The
なお、本発明に係る実施形態は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。本発明で説明された多重階層映像符号化装置または多重階層映像復号化装置のすべてまたは一部がコンピュータプログラムで実現された場合には、コンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体も本発明に含まれる。 The embodiment according to the present invention includes a computer-readable recording medium including program instructions for executing various operations realized by a computer. The recording medium may include program instructions, data files, data structures, etc. alone or in combination, and the recording medium and program instructions may be specially designed and configured for the purposes of the present invention, It may be known and usable by those skilled in the computer software art. Examples of computer-readable recording media include magnetic media such as hard disks, floppy (registered trademark) disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magnetic-lights such as floppy disks. A medium and a hardware device specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like are included. The recording medium is also a transmission medium such as an optical or metal line or a waveguide including a carrier wave that transmits a signal for storing program instructions, data structures, and the like. Examples of program instructions include not only machine language code generated by a compiler but also high-level language code that can be executed by a computer using an interpreter or the like. When all or part of the multi-hierarchical video encoding apparatus or multi-hierarchical video decoding apparatus described in the present invention is realized by a computer program, a computer-readable recording medium storing the computer program is also included in the present invention. included.
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。 As described above, the preferred embodiments of the present invention have been described with reference to the preferred embodiments of the present invention. However, those skilled in the relevant art will not depart from the spirit and scope of the present invention described in the claims. Thus, it will be understood that the present invention can be variously modified and changed. In other words, the technical scope of the present invention is defined based on the claims, and is not limited by the best mode for carrying out the invention.
１００，３００，７００：多重階層映像符号化装置
３１０，５１０，７１０，８１０：階層識別部
３２０，４１０，４２０，４３０，４４０，４５０，４６０，５２０，７２０：フレーム格納部
３３０，５３０，７４０，８４０：参照フレーム選択部
３４０，５４０，７３０，８３０：格納フレーム整列部
３５０，７５０：フレーム符号化部
３６０，５６０：格納決定部
５５０，８５０：フレーム復号部
８００：多重階層映像復号化装置
100, 300, 700: Multiple layer
Claims (6)
符号化対象フレームが含まれた階層を識別する階層識別部と、
前記符号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納するフレーム格納部と、
前記格納フレームが含まれた階層に応じて前記格納フレームを予め決定された順序で整列させる格納フレーム整列部と、
前記整列された格納フレームのうちから前記識別された階層に基づいて参照フレームを選択する参照フレーム選択部と、
前記選択された参照フレームを参照して前記符号化対象フレームを符号化するフレーム符号化部と、
を備えることを特徴とする多重階層映像符号化装置。 A multi-layer video encoding apparatus that encodes video frames divided into a plurality of layers,
A layer identification unit for identifying a layer including the encoding target frame;
A frame storage unit for storing at least one storage frame associated with the encoding target frame;
A storage frame alignment unit that aligns the storage frames in a predetermined order according to a hierarchy in which the storage frames are included;
A reference frame selection unit that selects a reference frame based on the identified hierarchy from among the aligned storage frames;
A frame encoding unit that encodes the encoding target frame with reference to the selected reference frame;
A multi-layer video encoding apparatus comprising:
符号化対象フレームが含まれた階層を識別する段階と、
前記符号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納する段階と、
前記格納フレームが含まれた階層に応じて前記格納フレームを予め決定された順序で整列させる段階と、
前記整列された格納フレームのうちから前記識別された階層に基づいて参照フレームを選択する段階と、
前記選択された参照フレームを参照して前記符号化対象フレームを符号化する段階と、
を含むことを特徴とする方法。 An operation method performed by a multi-layer video encoding device that encodes video frames divided into a plurality of layers,
Identifying the hierarchy containing the frame to be encoded;
Storing at least one storage frame associated with the encoding target frame;
Aligning the storage frames in a predetermined order according to the hierarchy in which the storage frames were included;
Selecting a reference frame based on the identified hierarchy from among the aligned storage frames;
Encoding the encoding target frame with reference to the selected reference frame;
A method comprising the steps of:
復号化対象フレームが含まれた階層を識別する階層識別部と、
前記復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納するフレーム格納部と、
前記格納フレームが含まれた階層に応じて前記格納フレームを予め決定された順序で整列させる格納フレーム整列部と、
前記識別された階層に基づいて前記整列された格納フレームのうちから参照フレームを選択する参照フレーム選択部と、
前記選択された参照フレームを参照して前記復号化対象フレームを復号するフレーム復号部と、
を備えることを特徴とする多重階層映像復号化装置。 A multi-layer video decoding apparatus for decoding multi-layer encoded video,
A layer identification unit for identifying a layer including a decoding target frame;
A frame storage unit for storing at least one storage frame associated with the decoding target frame;
A storage frame alignment unit that aligns the storage frames in a predetermined order according to a hierarchy in which the storage frames are included;
A reference frame selection unit that selects a reference frame from the sorted storage frames based on the identified hierarchy;
A frame decoding unit that decodes the decoding target frame with reference to the selected reference frame;
A multi-layer video decoding apparatus comprising:
復号化対象フレームが含まれた階層を識別する段階と、
前記復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納する段階と、
前記格納フレームが含まれた階層に応じて前記格納フレームを予め決定された順序で整列させる段階と、
前記識別された階層に基づいて前記整列された格納フレームのうちから参照フレームを選択する段階と、
前記選択された参照フレームを参照して前記復号化対象フレームを復号する段階と、
を含むことを特徴とする方法。 A method performed by a multi-layer video decoding apparatus for decoding multi-layer encoded video,
Identifying the hierarchy containing the frame to be decoded;
Storing at least one storage frame associated with the frame to be decoded;
Aligning the storage frames in a predetermined order according to the hierarchy in which the storage frames were included;
Selecting a reference frame from among the sorted storage frames based on the identified hierarchy;
Decoding the decoding target frame with reference to the selected reference frame;
A method comprising the steps of:
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2008-0043691 | 2008-05-10 | ||
| KR20080043691 | 2008-05-10 | ||
| KR1020090031682A KR20090117863A (en) | 2008-05-10 | 2009-04-13 | Apparatus and method for managing reference frame buffer in layered video coding |
| KR10-2009-0031682 | 2009-04-13 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009113966A Division JP5586166B2 (en) | 2008-05-10 | 2009-05-08 | Reference frame management apparatus and method for hierarchical video coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013165503A true JP2013165503A (en) | 2013-08-22 |
| JP5504363B2 JP5504363B2 (en) | 2014-05-28 |
Family
ID=41602077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013085137A Expired - Fee Related JP5504363B2 (en) | 2008-05-10 | 2013-04-15 | Reference frame management apparatus and method for hierarchical video coding |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5504363B2 (en) |
| KR (1) | KR20090117863A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020048224A (en) * | 2019-12-19 | 2020-03-26 | ソニー株式会社 | Transmission apparatus, transmission method, reception apparatus, and reception method |
| US11128901B2 (en) | 2013-08-27 | 2021-09-21 | Sony Corporation | Transmission apparatus, transmission method, reception apparatus, and reception method |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140050270A1 (en) * | 2011-04-26 | 2014-02-20 | Lg Electronics Inc. | Method for managing a reference picture list, and apparatus using same |
| WO2013009029A2 (en) * | 2011-07-08 | 2013-01-17 | 한양대학교 산학협력단 | Method and apparatus for setting the size of an encoding unit |
| CN112131429B (en) * | 2020-09-16 | 2024-06-28 | 北京影谱科技股份有限公司 | Video classification method and system based on depth prediction coding network |
-
2009
- 2009-04-13 KR KR1020090031682A patent/KR20090117863A/en not_active Application Discontinuation
-
2013
- 2013-04-15 JP JP2013085137A patent/JP5504363B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11128901B2 (en) | 2013-08-27 | 2021-09-21 | Sony Corporation | Transmission apparatus, transmission method, reception apparatus, and reception method |
| JP2020048224A (en) * | 2019-12-19 | 2020-03-26 | ソニー株式会社 | Transmission apparatus, transmission method, reception apparatus, and reception method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090117863A (en) | 2009-11-13 |
| JP5504363B2 (en) | 2014-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5586166B2 (en) | Reference frame management apparatus and method for hierarchical video coding | |
| TWI622288B (en) | Video decoding method | |
| RU2628319C2 (en) | Method and device for determination of supporting images for external prediction | |
| TW589898B (en) | Methods and systems for video streaming with VCR functionality | |
| CN108259915B (en) | Method and apparatus for motion vector determination in video encoding or decoding | |
| KR101944565B1 (en) | Reducing latency in video encoding and decoding | |
| JP4851528B2 (en) | Video signal decoding method | |
| TWI573436B (en) | Method and apparatus for parallel entropy encoding, method and apparatus for parallel entropy decoding,and non-transitory computer-readable recording medium | |
| CN103210642B (en) | Occur during expression switching, to transmit the method for the scalable HTTP streams for reproducing naturally during HTTP streamings | |
| JP5504363B2 (en) | Reference frame management apparatus and method for hierarchical video coding | |
| US7916789B2 (en) | Apparatus, medium, and method generating motion-compensated layers | |
| TW201230747A (en) | Arranging sub-track fragments for streaming video data | |
| TW201313034A (en) | Method and apparatus for encoding and decoding depth map of multi-view video data | |
| CN105264892A (en) | Tuning video compression for high frame rate and variable frame rate capture | |
| TW201312995A (en) | Method and apparatus for encoding and decoding multi-view video data | |
| CA2456377A1 (en) | Moving picture coding method, and moving picture decoding method | |
| TW201701670A (en) | Video decoding apparatus | |
| CN102792710A (en) | Apparatus and method for playing media content data | |
| WO2021232979A1 (en) | Displacement vector prediction method in video coding and decoding, apparatus, and device | |
| US20070292109A1 (en) | Method of and apparatus for reproducing compression encoded video data stream | |
| JP5356909B2 (en) | Interlaced scanning video encoding / decoding method and apparatus using motion vector conversion | |
| US8503803B2 (en) | Method and apparatus for encoding/decoding image by partitioning image | |
| JP4902854B2 (en) | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, moving picture encoding apparatus, moving picture encoding method, moving picture encoding program, and moving picture encoding / decoding apparatus | |
| RU2630180C1 (en) | Video encoding method with motion prediction, video encoding device with motion prediction, video encoding program with motion prediction, video decoding method with motion prediction, video decoding device with motion prediction, and video decoding program with motion prediction | |
| Yu et al. | Crowdsourcing based cross random access point referencing for video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130515 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140311 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140317 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5504363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |