JP2007235314A - Coding method - Google Patents
Coding method Download PDFInfo
- Publication number
- JP2007235314A JP2007235314A JP2006051786A JP2006051786A JP2007235314A JP 2007235314 A JP2007235314 A JP 2007235314A JP 2006051786 A JP2006051786 A JP 2006051786A JP 2006051786 A JP2006051786 A JP 2006051786A JP 2007235314 A JP2007235314 A JP 2007235314A
- Authority
- JP
- Japan
- Prior art keywords
- roi
- layer
- image
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、画像を符号化する符号化方法、特に画像を階層的に符号化する符号化方法に関する。 The present invention relates to an encoding method for encoding an image, and more particularly to an encoding method for hierarchically encoding an image.
ブロードバンドネットワークが急速に発展しており、高品質な動画像を利用したサービスに期待が集まっている。また、DVDなど大容量の記録媒体が利用されており、高画質の画像を楽しむユーザ層が広がっている。動画像を通信回線で伝送したり、記録媒体に蓄積するために不可欠な技術として圧縮符号化がある。動画像圧縮符号化技術の国際標準として、MPEG4の規格やH.264/AVC規格がある。また、1つのストリームで、符号量に応じて、異なる画質(たとえば高画質と低画質)、異なる解像度(たとえば高解像度と低解像度)、異なるフレームレート(たとえば高フレームレートと低フレームレート)の画像の圧縮および伸長を実現することのできる、H.264/AVCの拡張として規格化が進められているSVC(Scalable Video Coding)のような次世代画像圧縮技術がある。 Broadband networks are rapidly developing, and there are high expectations for services that use high-quality moving images. In addition, a large-capacity recording medium such as a DVD is used, and a user group who enjoys high-quality images is expanding. There is compression coding as an indispensable technique for transmitting moving images via a communication line or storing them in a recording medium. As an international standard for moving image compression coding technology, the MPEG4 standard and H.264 standard. There is a H.264 / AVC standard. Also, in one stream, images with different image quality (for example, high and low image quality), different resolution (for example, high and low resolution), and different frame rates (for example, high and low frame rates) depending on the code amount H. can be compressed and decompressed. There is a next-generation image compression technique such as SVC (Scalable Video Coding), which is being standardized as an extension of H.264 / AVC.
次世代画像圧縮技術であるSVCでは、動画像を複数の異なる解像度、フレームレート、画質で再生することができるように、空間スケーラビリティ、時間スケーラビリティ、SNRスケーラビリティなどの各種スケーラビリティをもたせて動画像を符号化する。これらのスケーラビリティを任意に組み合わせて符号化することも可能であり、SVCのスケーラビリティ機能は柔軟性に富んでいる。 SVC, the next-generation image compression technology, encodes moving images with various scalability such as spatial scalability, temporal scalability, and SNR scalability so that moving images can be played at multiple different resolutions, frame rates, and image quality. Turn into. Coding can be performed by arbitrarily combining these scalability, and the scalability function of SVC is very flexible.
SVCの要求仕様(Requirements)の1つにインタラクティブROI(Interactive Region of Interest;IROI)符号化がある。画像の注目領域(Region of Interest;ROI)を他の領域とは異なる画質で符号化する技術としてROI符号化がある。これに対して、SVCのインタラクティブROI符号化は、動画像の再生時にユーザが画像を見ながら画面上で注目領域の位置やサイズを逐次指定可能であり、注目領域を異なる品質で再生することを可能にするものである。SVCでは動画像を各種のスケーラビリティをもたせて符号化するため、再生時にユーザが指定した注目領域を他の領域とは異なる品質で復号することが可能である。 One of SVC Requirements is Interactive ROI (Interactive Region of Interest; IROI) coding. ROI coding is a technique for coding a region of interest (ROI) of an image with a different image quality from other regions. In contrast, SVC interactive ROI encoding allows the user to specify the position and size of a region of interest on the screen sequentially while viewing a moving image, and reproduces the region of interest with different quality. It is what makes it possible. In SVC, since a moving image is encoded with various scalability, it is possible to decode a region of interest designated by the user at the time of reproduction with a quality different from that of other regions.
特許文献1は、画像を階層的に符号化することで、パケットロスや帯域変動が起こる通信環境においても再生画像の品質を維持することのできる階層画像符号化技術を開示する。
SVCでは画像を基本レイヤと拡張レイヤに分けて階層的に符号化する。画像に注目領域を設定すると、全レイヤに対して共通に注目領域が設定され、各レイヤで注目領域にしたがった領域分割をして領域単位で独立した符号化を行うことになるため、符号化効率が低下し、処理負荷も増えてしまう。 In SVC, an image is divided into a base layer and an enhancement layer and encoded hierarchically. When a region of interest is set in an image, the region of interest is set in common for all layers, and each layer is divided into regions according to the region of interest and independent coding is performed for each region. Efficiency decreases and processing load also increases.
本発明はこうした状況に鑑みてなされたもので、その目的は、画像に領域を設定して階層的に符号化することのできる符号化技術を提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide an encoding technique capable of hierarchically encoding an area in an image.
上記課題を解決するために、本発明のある態様の符号化方法は、画像を複数のレイヤに分けて階層的に符号化する際、レイヤ単位で領域を独立に設定し、各レイヤにおいて前記領域毎に独立した符号化を行う。 In order to solve the above-described problem, an encoding method according to an aspect of the present invention is configured such that, when an image is divided into a plurality of layers and encoded hierarchically, an area is set independently for each layer, and the area is set in each layer. Independent encoding is performed every time.
ここで「画像」(ピクチャ)は一枚の独立した静止画であっても、動画像を構成する時系列で並べられた画像の1つであってもよい。「画像」(ピクチャ)は符号化の単位であり、その概念にはフレーム、フィールド、VOP(Video Object Plane)などを含む。 Here, the “image” (picture) may be one independent still image or one of images arranged in a time series constituting a moving image. An "image" (picture) is a unit of encoding, and its concept includes a frame, a field, a VOP (Video Object Plane), and the like.
この態様によると、画像の階層符号化の際、レイヤ毎に独立して領域を設定して画像を符号化した符号化データを生成することができるため、符号化効率や処理効率を低下させることなく、画像に設定された領域単位で独立した符号化を行うことができる。 According to this aspect, at the time of hierarchical encoding of an image, it is possible to generate encoded data obtained by encoding an image by setting a region independently for each layer, thereby reducing encoding efficiency and processing efficiency. Independent encoding can be performed in units of regions set in the image.
前記画像に設定される複数の領域の内、いずれの2つの領域も互いに重なり部分をもつ場合(このとき、これらの複数の領域は「互いに重なり部分をもつ」ということにする)、前記複数の領域はそれぞれ異なるレイヤに分けて設定してもよい。これにより、同一レイヤ内では領域の重なりを避けることができ、重なり部分を別に扱って符号化する必要がなくなり、符号化効率の低下を防ぐことができる。 In the case where any two of the plurality of regions set in the image have overlapping portions with each other (in this case, these plurality of regions are referred to as “having overlapping portions with each other”), The areas may be set separately for different layers. Thereby, overlapping of regions can be avoided in the same layer, and it is not necessary to separately handle and encode the overlapping portion, thereby preventing a decrease in encoding efficiency.
たとえば、第1の領域と第2の領域が互いに重なり部分をもち、第2の領域と第3の領域も互いに重なり部分をもつが、第1の領域と第3の領域は重ならない場合、第1の領域と第2の領域は別々のレイヤに設定され、第2の領域と第3の領域も別々のレイヤに設定される。第1の領域と第3の領域は重ならないため、同一のレイヤに設定されてもよい。よって、この場合は、最低2つのレイヤがあればよく、たとえば、第1のレイヤに第2の領域を設定し、第2のレイヤに第1および第3の領域を設定することにより、各レイヤにおいて設定される領域に重なり部分がなくなる。 For example, if the first region and the second region have overlapping portions, and the second region and the third region also have overlapping portions, but the first region and the third region do not overlap, The first area and the second area are set in different layers, and the second area and the third area are also set in different layers. Since the first area and the third area do not overlap, they may be set to the same layer. Therefore, in this case, it is sufficient that there are at least two layers. For example, by setting the second area in the first layer and setting the first and third areas in the second layer, There is no overlap in the area set at.
別の例として、第1〜第3の領域の内、任意の2つの領域が互いに重なり部分をもつ場合、すなわち、第1および第2の領域が互いに重なり部分をもち、第2および第3の領域も互いに重なり部分をもち、第1および第3の領域も互いに重なり部分をもつ場合は、第1、第2および第3の領域はそれぞれ異なるレイヤに設定される。たとえば、第1の領域は第1のレイヤに、第2の領域は第2のレイヤに、第3の領域は第3のレイヤに設定される。これにより、どのレイヤでも領域の重なりがなくなる。 As another example, when any two of the first to third regions overlap each other, that is, the first and second regions overlap each other, and the second and third regions When the regions also have overlapping portions, and the first and third regions also have overlapping portions, the first, second, and third regions are set to different layers. For example, the first area is set to the first layer, the second area is set to the second layer, and the third area is set to the third layer. Thereby, there is no overlap of regions in any layer.
前記複数のレイヤは、スケーラブル階層符号化における基本レイヤと基本レイヤ以外の拡張レイヤであってもよい。基本レイヤでは領域を設定せずに画像全体を符号化し、拡張レイヤでは領域を設定し、領域毎に独立した符号化を行ってもよい。 The plurality of layers may be a basic layer and an enhancement layer other than the basic layer in scalable hierarchical coding. The entire image may be encoded without setting a region in the base layer, and a region may be set in the enhancement layer, and independent encoding may be performed for each region.
スケーラブル階層符号化とは、スケーラビリティをもたせて画像を階層的に符号化することであり、たとえば空間解像度、フレームレートおよび画質レベルなどの動画像の再生品質を異ならせて符号化し、複数の再生品質レベルの符号化データを生成することを含み、このようにしてスケーラブル階層符号化された動画像は、任意の再生品質レベルを選択して復号することができるというスケーラビリティをもつ。空間解像度を異ならせて符号化された動画像は、空間スケーラビリティを有し、フレームレートを異ならせて符号化された動画像は、時間スケーラビリティを有し、画質レベルを異ならせて符号化された動画像は、SNRスケーラビリティを有する。 Scalable hierarchical coding is the coding of images hierarchically with scalability. For example, encoding with different playback quality of moving images such as spatial resolution, frame rate and image quality level, and multiple playback qualities. In other words, a moving image that is scalable hierarchically encoded in this manner includes a generation of encoded data of a level, and has scalability that an arbitrary reproduction quality level can be selected and decoded. Video encoded with different spatial resolution has spatial scalability, and video encoded with different frame rates has temporal scalability and is encoded with different image quality levels. A moving image has SNR scalability.
複数の再生品質レベルの符号化データを階層構造をもたせて多重化すると、たとえば下位層の符号化データだけを復号すると、低い再生品質レベルで動画像が再生され、上位層の符号化データを含めて復号すると、高い再生品質レベルで動画像が再生される。 When the encoded data of a plurality of reproduction quality levels is multiplexed with a hierarchical structure, for example, when only the encoded data of the lower layer is decoded, a moving image is reproduced at a low reproduction quality level and includes the encoded data of the upper layer. When decoded, the moving image is reproduced at a high reproduction quality level.
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、画像の設定された領域を効率良く階層符号化することができる。 According to the present invention, a region where an image is set can be efficiently hierarchically encoded.
図1は、実施の形態に係る符号化装置100の構成図である。これらの構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
FIG. 1 is a configuration diagram of an
本実施の形態の符号化装置100は、次世代画像圧縮技術であるSVC(Scalable Video Coding)に準拠して、動画像に空間(spatial)スケーラビリティ、時間(temporal)スケーラビリティ、およびSNR(signal to noise ratio)スケーラビリティの少なくとも1つをもたせて符号化する「スケーラブル符号化」を行う。
The
動画像の符号化には、国際標準化機関であるISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)によって標準化されたMPEG(Moving Picture Experts Group)シリーズの規格(MPEG−1、MPEG−2およびMPEG−4)、電気通信に関する国際標準機関であるITU−T(International Telecommunication Union-Telecommunication Standardization Sector)によって標準化されたH.26xシリーズの規格(H.261、H.262およびH.263)、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるH.264/AVC(両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264)に準拠する技術が用いられる。 For the coding of moving images, the standards (MPEG-1, MPEG-2 and MPEG-2) of the MPEG (Moving Picture Experts Group) standardized by ISO (International Organization for Standardization) / IEC (International Electrotechnical Commission) MPEG-4), an H.264 standardized by ITU-T (International Telecommunication Union-Telecommunication Standardization Sector) which is an international standard organization for telecommunications. 26x series standards (H.261, H.262 and H.263), or H.264, the latest video compression coding standard standardized jointly by both standards organizations. H.264 / AVC (the official recommendation names in both organizations are MPEG-4 Part 10: Advanced Video Coding and H.264, respectively) are used.
なお、実施の形態では、動画像の符号化の単位としてフレームを例に挙げて説明するが、符号化の単位はフィールドであってもよい。また、符号化の単位はMPEG−4におけるVOPであってもよい。 In the embodiment, a frame is used as an example of a moving image encoding unit, but the encoding unit may be a field. The unit of encoding may be a VOP in MPEG-4.
符号化装置100は、フレーム単位で動画像の入力を受け取り、動画像をスケーラブル符号化し、動画像の符号化ストリームを出力する。入力された動画フレームはフレームメモリに格納され、符号化に係る各処理部によって読み書きされる。
The
符号化装置100は、空間スケーラビリティをもたせて動画像を符号化するために拡張レイヤ処理ブロック110と基本レイヤ処理ブロック120を有し、基本レイヤ処理ブロック120において低解像度で動画像を圧縮符号化し、拡張レイヤ処理ブロック110において高解像度で動画像を圧縮符号化する。これにより、階層毎に空間解像度の異なる動画像の符号化データが生成される。
The
また、符号化装置100は、時間スケーラビリティをもたせて動画像を符号化するために、MCTF(Motion Compensated Temporal Filtering、動き補償時間方向フィルタ)技術を用いる。MCTF技術は、時間軸方向のサブバンド分割に動き補償を組み合わせたものであり、階層的な動き補償を行う。これにより、階層毎にフレームレートが異なる動画像の符号化データが生成される。
Also, the
また、符号化装置100は、SNRスケーラビリティをもたせて動画像を符号化するために、量子化ステップや量子化により切り捨てる下位ビット数を変えて動画像を圧縮符号化する。これにより、階層毎に画質の異なる動画像の符号化データが生成される。
Also, the
なお、空間スケーラビリティ、時間スケーラビリティ、およびSNRスケーラビリティは任意に組み合わせてよい。 Note that spatial scalability, temporal scalability, and SNR scalability may be arbitrarily combined.
ROI設定部14は、動画フレーム上にレイヤ単位でROI領域を設定する。ROI設定部14は、インタラクティブ性のない通常のROI領域の他、インタラクティブROI領域も設定することができる。インタラクティブROI領域内では動画像の再生の際に任意にROI領域を設定可能である。以下、インタラクティブROI領域と通常ROI領域を総称する場合、単にROI領域と呼ぶ。
The
インタラクティブROI領域や通常ROI領域などの注目領域は、ユーザが画像上の特定の領域を指定することによって選択されてもよく、画像の中心領域などあらかじめ定まった領域が選択されてもよい。また、人物や文字が映っている領域などの重要領域が注目領域として自動的に抽出されてもよい。また、動画像において特定のオブジェクト等の動きを追跡することによって注目領域がフレーム単位で自動的に選択されてもよい。 The attention area such as the interactive ROI area and the normal ROI area may be selected by the user specifying a specific area on the image, or a predetermined area such as the center area of the image may be selected. In addition, an important area such as an area in which a person or a character is shown may be automatically extracted as the attention area. Further, the attention area may be automatically selected in units of frames by tracking the movement of a specific object or the like in the moving image.
なお、注目領域といっても、必ずしも高画質で再生することだけを目的としない。たとえば、プライバシーを保護する目的では、人物の顔が写っている注目領域を低画質で再生することが必要となる。インタラクティブROI符号化や通常のROI符号化は、そのような目的でも用いられる。スケーラブル符号化された画像データを用いて、インタラクティブROI領域内でプライバシー保護の必要のある領域は低解像度、低フレームレート、あるいは低画質で再生することができる。また、プライバシー保護の必要のある領域を通常ROI領域に指定し、あらかじめ他の領域よりは解像度、フレームレートあるいは画質を落として符号化することもできる。 It should be noted that the attention area is not necessarily intended only for reproduction with high image quality. For example, for the purpose of protecting privacy, it is necessary to reproduce a region of interest in which a person's face is captured with low image quality. Interactive ROI encoding and normal ROI encoding are also used for such purposes. By using scalable encoded image data, an area that needs privacy protection in the interactive ROI area can be reproduced at a low resolution, a low frame rate, or a low image quality. It is also possible to designate an area requiring privacy protection as a normal ROI area and encode in advance with a lower resolution, frame rate or image quality than other areas.
本実施の形態では、ROI設定部14は、レイヤ毎に独立にROI領域を指定することができる。たとえば、基本レイヤにおいてROI領域を指定するが、拡張レイヤにおいては基本レイヤのROI領域に対応する領域をROI領域に指定しなくてもよい。逆に、拡張レイヤにおいて、基本レイヤではROI領域を指定していない領域をROI領域に指定してもよい。拡張レイヤが複数ある場合、それぞれの拡張レイヤにおいて独立にROI領域を指定することもできる。もちろん、レイヤ毎に独立にROI領域を設定するだけでなく、基本レイヤと拡張レイヤの全レイヤを通じて共通の領域をROI領域に設定してもよい。
In the present embodiment, the
ROI設定部14は、レイヤ単位でROI領域を指定するための情報(以下、「ROI領域情報」という)を拡張レイヤ処理ブロック110の画像分割部10aと可変長符号化部30a、および基本レイヤ処理ブロック120の画像分割部10bと可変長符号化部30bに与える。
The
解像度変換部12は、各レイヤにおける空間解像度に合わせて、入力されたフレームの画像データを縮小し、各レイヤの画像データを基本レイヤ処理ブロック120と拡張レイヤ処理ブロック110に与える。解像度変換部12は、基本レイヤ処理ブロック120には低解像度の画像、拡張レイヤ処理ブロック110には高解像度の画像を与える。
The
基本レイヤ処理ブロック120は、解像度変換部12により低解像度に変換された基本レイヤの画像を基本レイヤのROI領域情報にしたがって分割し、ROI領域毎に圧縮符号化して多重化部18に出力する。符号化対象となる各領域がインタラクティブROI領域、通常ROI領域、非ROI領域のいずれであるかによって、基本レイヤ処理ブロック120における符号化処理は異なる。
The base
基本レイヤ処理ブロック120は、基本レイヤにおいて、通常ROI領域を非ROI領域とは異なる空間解像度、フレームレートまたは画質レベル、あるいはこれらの組み合わせで符号化する。たとえば、通常ROI領域を非ROI領域よりも高画質で符号化する場合、通常ROI領域については、量子化の際に、異なる量子化テーブルを用いて、適用される量子化ステップを小さくしたり、量子化により切り捨てる下位ビット数を減らすなどにより、有効ビット数を多めに確保することで非ROI領域よりも高画質で符号化する。
In the base layer, the base
通常ROI領域については、スケーラブル符号化により複数の異なる空間解像度、フレームレートまたは画質レベル、あるいはこれらの組み合わせをもたせてもよく、スケーラブル符号化を行わずに1つの空間解像度、フレームレートまたは画質レベル、あるいはこれらの組み合わせをもたせるだけにしてもよい。 In general, the ROI region may have a plurality of different spatial resolutions, frame rates or image quality levels, or a combination thereof by scalable coding. One spatial resolution, frame rate or image quality level without scalable coding, Or you may just give these combinations.
インタラクティブROI領域については、通常、スケーラブル符号化を実施する。これにより、インタラクティブROI領域内でユーザが指定された領域のみを解像度、フレームレート、画質レベルのいずれかを高くして再生し、それ以外の領域は通常の品質で再生するといったインタラクティブ性をもたせることができる。 For the interactive ROI region, scalable coding is usually performed. As a result, only the area designated by the user in the interactive ROI area is reproduced with a higher resolution, frame rate, or image quality level, and other areas are reproduced with normal quality. Can do.
時間スケーラブル符号化を行う場合は、基本レイヤ処理ブロック120においてMCTF部20bが動作し、階層毎にフレームレートを異ならせた符号化が行われる。空間スケーラビリティ符号化を行う場合は、基本レイヤ処理ブロック120の他に拡張レイヤ処理ブロック110が動作し、階層毎に空間解像度を異ならせた符号化が行われる。SNRスケーラブル符号化を行う場合は、量子化ステップや量子化により切り捨てる下位ビット数を変えることにより、階層毎に画質を異ならせた符号化が行われる。
When performing temporal scalable coding, the
非ROI領域については、通常はスケーラブル符号化を実施せず、基本レイヤ処理ブロック120において時間スケーラブル符号化に関係するMCTF部20bは動作せず、また、拡張レイヤ処理ブロック110を用いた空間スケーラブル符号化も行われない。
For the non-ROI region, normally, scalable coding is not performed, the
基本レイヤ処理ブロック120の各構成を説明する。
Each configuration of the base
画像分割部10bは、解像度変換部12から基本レイヤのフレーム画像のデータを受け取り、ROI設定部14から基本レイヤに対して設定されたROI領域情報を受け取る。画像分割部10bは、ROI設定部14から与えられた基本レイヤのROI領域情報にしたがって、入力されたフレームの領域を複数の小領域に分割する。小領域の一例として、スライスを用いる。スライスは、H.264/AVCにおける符号化の基本単位であり、1フレームを複数のスライスに分割してスライス単位で符号化することが可能である。本実施の形態では、ROI領域がレイヤ毎に独立に指定されていることに伴い、スライスもレイヤ毎に独立して設定されることになる。
The
画像分割部10bは、基本レイヤの画像のスライス分割に関する情報(「スライス情報」という)を可変長符号化部30bに与える。スライス情報には、スライスグループのタイムを示す情報やスライスの領域情報が含まれる。
The
ROI設定部14により、基本レイヤにおいてROI領域としてインタラクティブROI領域のみが設定されている場合は、基本レイヤの画像の全体領域は、インタラクティブROI領域と、それ以外の領域(以下、「非ROI領域」という)とに分割される。非ROI領域は1つのスライスとなり、インタラクティブROI領域内は、インタラクティブ性をもたせるために、さらに小さく分割され、インタラクティブROI領域内に複数のスライスが設定される。
When only the interactive ROI area is set as the ROI area in the basic layer by the
ROI設定部14により、基本レイヤにおいてROI領域としてインタラクティブROI領域と通常ROI領域の両方が設定されている場合は、基本レイヤの画像の全体領域は、インタラクティブROI領域、通常ROI領域、および非ROI領域に分割され、通常ROI領域に1つのスライス、非ROI領域に別のスライスが設定され、インタラクティブROI領域内には複数のスライスが設定される。
When both the interactive ROI area and the normal ROI area are set as the ROI areas in the base layer by the
基本レイヤ処理ブロック120は、各スライスを他のスライスに依存することなく独立に符号化する。すなわち、各スライスは、他のスライスの画素データや動きベクトル情報を利用することなく、符号化対象スライス内に閉じた情報のみを利用して符号化される。
The base
インタラクティブROI領域をスライス単位で独立に符号化するのは、インタラクティブROI領域内でスライス単位で部分的な領域をROI領域として指定して復号することを可能とするためである。インタラクティブROI領域が縦横に4分割され、16個のスライスを含むとすると、インタラクティブROI領域内ではスライス単位で独立したスケーラブル符号化がなされているため、動画像の復号の際、インタラクティブROI領域内の任意のスライスを選び、選択したスライスについてスケーラブル符号化されたデータを利用して異なる品質で再生することができる。 The reason why the interactive ROI region is independently encoded in units of slices is to enable decoding by designating a partial region as an ROI region in units of slices within the interactive ROI region. Assuming that the interactive ROI area is divided into 4 parts vertically and horizontally and includes 16 slices, independent encoding is performed in units of slices in the interactive ROI area. Arbitrary slices can be selected and reproduced with different qualities using the scalable encoded data for the selected slices.
たとえば、インタラクティブROI領域内の指定領域について高画質画像が要求された場合、まず最低画質の画像を得るためにすべてのスライスについて最下位層のみ復号する。次に、ユーザによって指定された領域に対応するスライスのみについて、SNRスケーラビリティの階層を上がりながら復号を繰り返し、ユーザが要求する画質になるまで復号する。 For example, when a high-quality image is requested for a designated area in the interactive ROI area, first, only the lowest layer is decoded for all slices in order to obtain an image with the lowest image quality. Next, only the slice corresponding to the area specified by the user is repeatedly decoded while going up the SNR scalability hierarchy until the image quality requested by the user is obtained.
また、インタラクティブROI領域内の指定領域について拡大画像が要求された場合、まず最低画質の画像を得るためにすべてのスライスについて最下位層のみ復号する。次に、ユーザによって指定された領域に対応するスライスのみについて、空間スケーラビリティの階層を上がりながら復号を繰り返し、ユーザが要求する解像度になるまで復号する。 When an enlarged image is requested for a designated area in the interactive ROI area, only the lowest layer is decoded for all slices in order to obtain an image with the lowest image quality. Next, only the slice corresponding to the area designated by the user is repeatedly decoded while going up the spatial scalability hierarchy until the resolution requested by the user is reached.
基本レイヤ処理ブロック120は、通常ROI領域、非ROI領域の場合は、インタラクティブROI領域のように注目領域の位置やサイズの任意指定が可能なインタラクティブ性をもたせる必要はないため、基本的にはスライスに分割することなく、通常ROI領域、非ROI領域の全体をそれぞれ1つのスライスに割り当てて符号化する。もっともインタラクティブ性以外の目的で必要に応じて通常ROI領域、非ROI領域についてもスライスに分割して符号化することはかまわない。
Since the basic
画像分割部10bは、基本レイヤのフレームの画像データをスライス単位でMCTF部20bに与える。スライスを時間スケーラブル符号化する場合は、MCTF部20bが動作する。MCTF部20bは、MCTF技術にしたがった動き補償時間フィルタリングを実施する。MCTF部20bは、動画像フレームから動きベクトルを求め、動きベクトルを用いて時間フィルタリングを実施する。時間フィルタリングは、ハール(Haar)ウェーブレット変換を用いて実施され、この結果、各階層に高域フレームと低域フレームとを含むフレームレートの異なる複数の階層に分解される。分解された高域フレームと低域フレームは階層毎にメモリに保持され、動きベクトルも階層毎にメモリに保持される。
The
MCTF部20bにおける処理が終了すると、すべての階層の高域フレームと最終的な階層の低域フレームは、予測部24bに送られ、すべての階層の動きベクトルは、動き符号化部22bに送られる。
When the processing in the
予測部24bは、画像フレームのフレーム内予測を行い、フレーム内予測誤差画像をDCT部26bに与える。DCT部26bは、予測部24bから供給されたフレーム内予測誤差画像を離散コサイン変換(DCT)し、得られたDCT係数を量子化部28bに与える。量子化部28bは、DCT係数を量子化し、可変長符号化部30bに与える。
The
可変長符号化部30bは、ROI設定部14から基本レイヤのROI領域情報を受け取り、画像分割部10bから基本レイヤのスライス情報を受け取り、量子化部28bから差分画像の量子化されたDCT係数を受け取る。可変長符号化部30bは、基本レイヤのROI領域情報、基本レイヤのスライス情報、およびDCT係数とを可変長符号化し、多重化部18に与える。スライス情報は、フレーム画像を復号する際、スライスグループを特定し、各スライスの領域を特定するために必要となる。ROI領域情報は、復号の際、通常ROI領域、インタラクティブROI領域、および非ROI領域を特定するために必要となる。
The variable
SNRスケーラブル符号化を行う場合は、複数のビットプレーンの内、切り捨てる下位ビットプレーンの数を変えたり、量子化ステップを変えることで、階層毎に異なる画質の符号化データを生成する。 When performing SNR scalable encoding, encoded data with different image quality is generated for each layer by changing the number of lower-order bit planes to be discarded or changing the quantization step.
動き符号化部22bは、MCTF部20bから与えられた動きベクトル情報を符号化し、多重化部18に与える。
The
空間スケーラブル符号化のために、基本レイヤ処理ブロック120の動き符号化部22bおよび予測部24bは、それぞれ基本レイヤにおける各フレームの動きベクトルとフレーム内予測誤差画像を拡張レイヤ処理ブロック110の動き符号化部22aおよび内挿処理部32に与える。
For spatial scalable coding, the
次に、拡張レイヤ処理ブロック110の各構成を説明する。
Next, each configuration of the enhancement
画像分割部10aは、解像度変換部12から拡張レイヤのフレーム画像のデータを受け取り、ROI設定部14から拡張レイヤに対して設定されたROI領域情報を受け取る。基本レイヤの画像が低解像度であるのに対して、拡張レイヤの画像は高解像度である。画像分割部10aは、ROI設定部14から与えられた拡張レイヤのROI領域情報にしたがって、入力されたフレームの領域を複数のスライスに分割する。基本レイヤと拡張レイヤでは異なるROI領域が設定されるため、拡張レイヤと基本レイヤでは異なるスライス分割がなされることになる。
The
拡張レイヤ処理ブロック110による拡張レイヤの各スライスの符号化処理は、基本的には基本レイヤ処理ブロック120における基本レイヤの各スライスの符号化処理と同じであり、スライス毎に独立した符号化を行うが、拡張レイヤ処理ブロック110は、基本レイヤ処理ブロック120の予測符号化結果を利用して、基本レイヤと拡張レイヤの差分情報だけを符号化する。
The encoding process of each slice of the enhancement layer by the enhancement
ここで、基本レイヤと拡張レイヤでは設定されるROI領域が異なるため、レイヤ間で差分符号化をする際、レイヤ間で対応する領域は、同一のROI領域ではないことに留意する。たとえば、拡張レイヤでROI領域でも、対応する基本レイヤの領域は非ROI領域であったり、逆に拡張レイヤで非ROI領域でも、対応する基本レイヤの領域はROI領域であったりする。したがって、拡張レイヤ処理ブロック110は、拡張レイヤの各スライスの差分符号化の際、拡張レイヤの各スライスの領域に対応する基本レイヤの領域との間で差分を取ることになる。
Here, since the ROI area to be set is different between the base layer and the enhancement layer, when performing differential encoding between layers, it is noted that areas corresponding to each other are not the same ROI area. For example, even in the ROI region in the enhancement layer, the corresponding base layer region is a non-ROI region, and conversely, in the enhancement layer and the non-ROI region, the corresponding base layer region is an ROI region. Therefore, the enhancement
拡張レイヤ処理ブロック110のMCTF部20aは、基本レイヤ処理ブロック120のMCTF部20bと同じ動き補償時間フィルタリングを拡張レイヤの画像の各スライスに施し、動きベクトル情報を動き符号化部22aに、符号化データを予測部24aに与える。拡張レイヤ処理ブロック110の動き符号化部22aは、基本レイヤ処理ブロック120の動き符号化部22bから基本レイヤの画像の動きベクトルの情報を受け取る。拡張レイヤ処理ブロック110の動き符号化部22aは、拡張レイヤの各スライスの動きベクトル情報と基本レイヤの対応する領域の動きベクトル情報との間で差分符号化を行い、階層間で差分符号化された動きベクトル情報を多重化部18に与える。
The
基本レイヤと拡張レイヤ間で動きベクトル情報を差分符号化する際、基本レイヤにおける動きベクトルを拡張レイヤの解像度に合うように拡大する。たとえば、拡張レイヤの領域の高さおよび幅がそれぞれ、基本レイヤの対応する領域の高さおよび幅の2倍である場合、基本レイヤの対応領域について得られた動きベクトルを高さ方向、幅方向にそれぞれ2倍する。拡張レイヤ処理ブロック110の動き符号化部22aは、このようにして拡張レイヤの解像度に合わせて拡大された基本レイヤの動きベクトルと、拡張レイヤの動きベクトルとの間で差分を取って符号化する。このように階層間で動きベクトル情報を差分符号化することにより、拡張レイヤの各領域の動きベクトル情報をそのまま符号化するよりは、動きベクトル情報の符号量を減らすことができる。
When motion vector information is differentially encoded between the base layer and the enhancement layer, the motion vector in the base layer is expanded to match the resolution of the enhancement layer. For example, when the height and width of the enhancement layer region are twice the height and width of the corresponding region of the base layer, the motion vector obtained for the corresponding region of the base layer is expressed in the height direction and the width direction. Double each. The
内挿処理部32は、基本レイヤ処理ブロック120の予測部24bから基本レイヤの各領域の予測誤差画像を受け取り、拡張レイヤの解像度に合わせるために画素を内挿する処理を行う。内挿処理部32は、内挿処理が施された基本レイヤの予測誤差画像を拡張レイヤ処理ブロック110の予測部24aに与える。
The
拡張レイヤ処理ブロック110の予測部24aは、MCTF部20aから与えられた画像フレームをフレーム内予測符号化する。さらに、拡張レイヤ処理ブロック110の予測部24aは、拡張レイヤの予測誤差画像と、拡張レイヤの解像度に合うように内挿された基本レイヤの予測誤差画像との間で差分符号化を行う。階層間で予測誤差画像の差分符号化を行うことにより、符号量を減らすことができる。
The
拡張レイヤ処理ブロック110のDCT部26aおよび量子化部28aによる処理は、基本レイヤ処理ブロック120のDCT部26bおよび量子化部28bによる処理と同じである。
The processing by the
拡張レイヤ処理ブロック110の可変長符号化部30aは、ROI設定部14から拡張レイヤのROI領域情報を受け取り、画像分割部10aから拡張レイヤのスライス情報を受け取り、量子化部28aから予測誤差画像の量子化されたDCT係数を受け取る。可変長符号化部30aは、拡張レイヤのROI領域情報、拡張レイヤのスライス情報、およびDCT係数を可変長符号化し、多重化部18に与える。
The variable
多重化部18は、基本レイヤ処理ブロック120から与えられる基本レイヤにおける符号化データと、拡張レイヤ処理ブロック110から与えられる拡張レイヤにおける符号化データとを1つにまとめた符号化ストリームを生成して出力する。各レイヤの符号化データには、画像データ、動きベクトル情報、ROI領域情報、およびスライス情報が含まれる。
The multiplexing
なお、本実施の形態では、各レイヤのROI領域情報とスライス情報を可変長符号化部30a、30bにおいて符号化したが、各レイヤのROI領域情報とスライス情報は符号化せずに、多重化部18に与えて、符号化ストリームのヘッダに付加するようにしてもよい。
In this embodiment, the ROI region information and slice information of each layer are encoded by the variable
上記では、基本レイヤ処理ブロック120と拡張レイヤ処理ブロック110とを別々に設け、それぞれ基本レイヤの低解像度画像、拡張レイヤの高解像度画像を符号化する構成を説明したが、基本レイヤ処理ブロック120と拡張レイヤ処理ブロック110で共通する構成要素は基本レイヤと拡張レイヤの間で共有してもよい。たとえば、基本レイヤ処理ブロック120の構成だけを設け、基本レイヤ処理ブロック120において基本レイヤの符号化を行い、基本レイヤにおける予測誤差画像と動きベクトル情報をメモリに保持する。次に、メモリに保持された基本レイヤの符号化結果を利用して、拡張レイヤの符号化処理を基本レイヤ処理ブロック120において実行する。このように基本レイヤにおける符号化処理の構成を拡張レイヤに流用すれば、符号化装置100の回路規模を小さくすることができる。
In the above description, the base
上記の説明では、空間スケーラビリティの階層が基本レイヤと拡張レイヤの2つである場合を説明したが、3以上の空間スケーラビリティの階層をもたせてもよい。その場合は、最下位のレイヤに対しては基本レイヤ処理ブロック120を設け、それ以外のレイヤに対してはレイヤ毎に拡張レイヤ処理ブロック110の構成を設け、下位層に行くほど低解像度の画像を符号化するようにし、下位層から上位層へ予測誤差画像と動きベクトル情報を送り、各レイヤで差分符号化を行うように構成する。あるいは、基本レイヤ処理ブロック120だけを設けて、基本レイヤ処理ブロック120をレイヤ毎に繰り返し利用することにより各レイヤの符号化を逐次的に行うように構成してもよい。
In the above description, the case where there are two layers of the spatial scalability, that is, the base layer and the enhancement layer has been described, but three or more layers of spatial scalability may be provided. In that case, the base
以下、符号化装置100によりレイヤ単位でROI領域を設定して画像を符号化する例を説明する。
Hereinafter, an example in which an image is encoded by setting an ROI region in units of layers by the
まず、比較のために、レイヤ単位でROI領域を設定しないで画像を符号化する場合を説明する。図2は、基本レイヤと拡張レイヤの両方に共通するROI領域を設定して符号化する例を示す。画像の基本レイヤ200aには通常ROI領域202aとインタラクティブROI領域204aが設定され、拡張レイヤ200bにも同一位置に通常ROI領域202bとインタラクティブROI領域204bが設定されている。
First, for comparison, a case will be described in which an image is encoded without setting an ROI region for each layer. FIG. 2 shows an example in which ROI regions common to both the base layer and the enhancement layer are set and encoded. A
このように、SVCにおいて画像に対してROI領域を指定した場合、通常は、基本レイヤと拡張レイヤの双方に共通するROI領域が設定され、画像は各レイヤにおいてROI領域に合わせてスライスに分割される。 As described above, when an ROI area is designated for an image in SVC, an ROI area common to both the base layer and the enhancement layer is normally set, and the image is divided into slices in accordance with the ROI area in each layer. The
図2の例では、各レイヤにおいて、画像は、通常ROI領域202a、202b、インタラクティブROI領域204a、204b、それ以外の非ROI領域に分割され、各領域にスライスが割り当てられる。また、通常ROI領域202a、202bとインタラクティブROI領域204a、204bの重複領域(斜線で図示した領域)は、通常ROI領域202a、202bおよびインタラクティブROI領域204a、204bとは別の独立した領域として処理する。このようにして画像は、各レイヤにおいて、通常ROI領域、インタラクティブROI領域、非ROI領域、通常ROI領域とインタラクティブ領域の重複領域の4つに分割され、スライスが割り当てられる。なお、インタラクティブROI領域204a、204bについては、インタラクティブ性をもたせるためにさらに小領域に分割され、小領域毎にスライスが割り当てられる。
In the example of FIG. 2, in each layer, an image is divided into
このように、通常のSVCでは、ROI領域を設定すると全レイヤについて同じ領域分割がなされ、レイヤ毎にその領域分割にしたがって領域単位の符号化がなされるため、符号化効率が落ち、また、処理負荷も大きくなる。そこで、本実施の形態では、レイヤ単位でROI領域の設定を異ならせる。 As described above, in the normal SVC, when the ROI region is set, the same region division is performed for all layers, and the coding is performed in units of regions according to the region division for each layer. The load also increases. Therefore, in the present embodiment, the setting of the ROI area is made different for each layer.
図3(a)、(b)は、基本レイヤと拡張レイヤでROI領域の設定を異ならせて符号化する例を示す。図3(a)では、基本レイヤ200aにはROI領域は設定されず、拡張レイヤ200bにおいてのみ通常ROI領域202bが設定されている。基本レイヤ200aは、ROI領域が設定されていないため、領域分割することなく、画像の全体領域を符号化することができ、フレーム内の差分符号化の効率を上げることができる。
FIGS. 3A and 3B show an example in which the ROI region is set differently in the base layer and the enhancement layer. In FIG. 3A, the ROI area is not set in the
一方、拡張レイヤ200bは、通常ROI領域202bが設定されているため、通常ROI領域202bと、それ以外の非ROI領域の2つに分けて、領域毎に独立した符号化をすることになる。また、レイヤ間での差分符号化は、通常ROI領域202bについては、基本レイヤ200aの同一位置の領域との差分を取って符号化することによりなされる。
On the other hand, since the
図3(b)は、基本レイヤ200aには通常ROI領域202aが設定され、拡張レイヤ200bにはインタラクティブROI領域204bが設定されている。基本レイヤ200aは、通常ROI領域202aとそれ以外の非ROI領域の2つに分割されて符号化され、拡張レイヤ200bは、インタラクティブROI領域204bとそれ以外の非ROI領域の2つに分割されて符号化される。
In FIG. 3B, the
図2と図3(b)を比較する。図2では、ROI領域とインタラクティブROI領域の重複部分も含めて、基本レイヤ200aでも拡張レイヤ200bでも4つの領域に分けて符号化しなければならない。一方、図3(b)のように、基本レイヤ200aにROI領域を設定し、拡張レイヤ200bにインタラクティブROI領域を設定すれば、ROI領域とインタラクティブROI領域の重複部分を区別して符号化する必要もなくなり、基本レイヤ200a、拡張レイヤ200bともに2つの領域に分けて符号化するだけで済む。このため、符号化効率を高め、また処理負荷を低減することができる。
FIG. 2 is compared with FIG. In FIG. 2, the
図3(a)の例では、通常ROI領域202bは拡張レイヤ200bに設けられているため、通常ROI領域について空間スケーラビリティがあり、その領域を高解像度で表示することが可能である。
In the example of FIG. 3A, since the
図3(b)の例では、インタラクティブROI領域204bは拡張レイヤ200bに設けられているため、インタラクティブROI領域については空間スケーラビリティがあり、高解像度で表示できるが、通常ROI領域202aは基本レイヤ200aに設定されているため、通常ROI領域については空間スケーラビリティがなく、低解像度の表示しかできない。そこで、図3(b)の例において、レイヤの数をさらに増やして、通常ROI領域についても空間スケーラビリティをもたせるようにしてもよい。
In the example of FIG. 3B, since the
図4は、3つのレイヤでROI領域の設定を異ならせて符号化する例を示す。図3(b)の例に比べて、レイヤを1つ増やし、基本レイヤ200aではROI領域を設定せず、第1の拡張レイヤ200bに通常ROI領域202bを設定し、第2の拡張レイヤ200cにインタラクティブROI領域204cを設定する。基本レイヤ200aは低解像度、第1の拡張レイヤ200bは中解像度、第2の拡張レイヤ200cは高解像度の画像である。このように3つのレイヤに分けてROI領域を設定することにより、通常ROI領域とインタラクティブROI領域の双方について空間スケーラビリティをもたせることができる。
FIG. 4 shows an example of encoding with different ROI region settings in three layers. Compared to the example of FIG. 3B, the number of layers is increased by one, the ROI area is not set in the
図5〜図8は、レイヤ単位のROI領域の設定の他の例を示す。図5〜図8では、簡単のため、通常ROI領域とインタラクティブROI領域を区別せずに、単にROI領域として説明するが、いずれの場合も通常ROI領域のみの設定、インタラクティブROI領域のみの設定、通常ROI領域とインタラクティブROI領域が混在する設定のいずれであってもよい。 5 to 8 show other examples of setting ROI areas in units of layers. 5 to 8, for the sake of simplicity, the normal ROI region and the interactive ROI region are not distinguished from each other and are simply described as ROI regions. In either case, only the normal ROI region is set, only the interactive ROI region is set, Any setting in which a normal ROI area and an interactive ROI area are mixed may be used.
図5は、基本レイヤではROI領域を設定せず、拡張レイヤでROI領域を設定する例を示す。基本レイヤ200aにはROI領域が設定されず、第1の拡張レイヤ200bにROI領域210bが設定され、第2の拡張レイヤ200cにも第1の拡張レイヤ200bのROI領域210bと同一位置にROI領域210cが設定されている。
FIG. 5 shows an example in which the ROI area is not set in the base layer but the ROI area is set in the enhancement layer. The ROI area is not set in the
第1の拡張レイヤ200bのROI領域210bを符号化する際、基本レイヤ200aの対応領域との差分を符号化する。第2の拡張レイヤ200cのROI領域210cを符号化する際は、第1の拡張レイヤ200bの同一位置にROI領域210bがあるため、第1の拡張レイヤ200bのROI領域210bとの差分を符号化する。ROI領域に指定された領域は3段階の空間解像度でスケーラビリティをもつが、基本レイヤ200aではROI領域を設定しないため、基本レイヤ200aは分割することなく符号化できる。
When encoding the
図6は、レイヤ単位で設定されたROI領域がレイヤ間で入れ子構造をもつ例を示す。基本レイヤ200aにROI領域220aが設定され、第1の拡張レイヤ200bには、基本レイヤ200aのROI領域220aよりも広いROI領域222bが設定される。第2の拡張レイヤ200cには、第1の拡張レイヤ200bのROI領域222bよりもさらに広いROI領域224cが設定される。
FIG. 6 shows an example in which the ROI area set in units of layers has a nested structure between layers. The
第1の拡張レイヤ200bのROI領域222bを符号化する際、基本レイヤ200aのROI領域220aと重なる部分については、基本レイヤ200aのROI領域220aとの間で差分を計算するが、基本レイヤ200aのROI領域220aと重ならない外側の部分については、基本レイヤ200aの非ROI領域との差分を計算する。第2の拡張レイヤ200cのROI領域224cを符号化する場合も同じである。
When the
図6では、基本レイヤで指定したROI領域を含む広いROI領域を拡張レイヤで指定することでROI領域に入れ子構造をもたせたが、逆に、基本レイヤで指定したROI領域に含まれる狭いROI領域を拡張レイヤで指定することでROI領域に入れ子構造をもたせてもよい。後者の場合、中心部ほど高解像度の画像によるスケーラビリティをもたせることができる。 In FIG. 6, a wide ROI area including the ROI area specified in the base layer is specified in the extension layer so that the ROI area is nested. On the contrary, the narrow ROI area included in the ROI area specified in the base layer May be nested in the ROI area by designating in the enhancement layer. In the latter case, the center portion can be provided with scalability by a high-resolution image.
図7は、レイヤ毎にROI領域の位置が異なる設定例を示す。基本レイヤ200aにROI領域230aが設定され、第1の拡張レイヤ200bには、基本レイヤ200aのROI領域230aと一部が重なる位置にROI領域232bが設定される。さらに、第2の拡張レイヤ200cには、第1の拡張レイヤ200bのROI領域232bとは異なる位置にROI領域234cが設定される。
FIG. 7 shows a setting example in which the position of the ROI region is different for each layer. The
異なる位置に複数のROI領域を指定する場合でも、レイヤ単位でROI領域を分けて設定するため、各レイヤにおける領域分割数を少なくすることができる。また、ROI領域をレイヤ別に設けることで、ROI領域にレイヤ間で重なりがあっても、同一レイヤでROI領域が重なりをもつ場合を減らすことができるため、領域の分割数の増加を抑え、符号化効率を高めることができる。 Even when a plurality of ROI areas are designated at different positions, the ROI areas are set separately for each layer, so that the number of area divisions in each layer can be reduced. Also, by providing ROI regions for each layer, even if there are overlaps between layers in the ROI region, it is possible to reduce the number of ROI regions that overlap in the same layer. Efficiency can be increased.
図8は、レイヤ毎に異なる数のROI領域が設定される例を示す。第1のROI領域240a、240b、240cは、基本レイヤ200a、第1の拡張レイヤ200b、第2の拡張レイヤ200cのすべてのレイヤに設けられ、第2のROI領域242b、242cは、第1の拡張レイヤ200bと第2の拡張レイヤ200cに設けられ、第3のROI領域244cは、第2の拡張レイヤ200cにのみ設けられる。
FIG. 8 shows an example in which different numbers of ROI regions are set for each layer. The
図8の画像には3つのROI領域が存在するが、基本レイヤ200aでは1つのROI領域だけ設定して符号化し、第1の拡張レイヤ200bでは2つのROI領域だけ設定して符号化するため、すべてのレイヤで3つのROI領域を設定する場合に比べて、符号化効率が良くなる。図8の例では、階層が上がる、すなわち解像度が上がるにつれて、ROI領域の個数が増える場合を示したが、逆に、低い解像度ほどROI領域の個数を多く設定してもよい。
Although there are three ROI regions in the image of FIG. 8, only one ROI region is set and encoded in the
以上述べたように、本実施の形態の符号化装置100によれば、レイヤ毎に独立したROI領域を設定してスライスに割り当てるため、各レイヤで見た場合に領域の分割数を減らして符号化することができ、符号化効率を高め、処理負荷を軽減できる。
As described above, according to
また、画像上でROI領域が重なる場合でも、重なり合うROI領域を異なるレイヤに分けて設定すれば、重なり合う領域を別のスライスに割り当てる必要がなくなるため、符号化効率が低下することがない。 Even when the ROI regions overlap each other on the image, if the overlapping ROI regions are divided and set in different layers, it is not necessary to assign the overlapping regions to different slices, so that the encoding efficiency does not decrease.
ROI領域として、通常ROI領域だけではなく、インタラクティブROI領域も同様にレイヤ毎に設定して符号化することができ、また、通常ROI領域とインタラクティブROI領域が混在する場合にも同様に符号化することができる。 As the ROI area, not only the normal ROI area but also the interactive ROI area can be set and encoded for each layer in the same manner, and the normal ROI area and the interactive ROI area are also encoded in the same way. be able to.
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .
上記の実施の形態では、各レイヤに設定されたROI領域にしたがって画像をスライスに分割する例を説明したが、本発明は、ROIに限らず、何らかの目的で画像に領域を設定する場合に広く適用することができる。また、画像に領域を設定しない場合であっても、レイヤ毎に異なるスライスを設定して符号化する必要がある場合にも本発明は有効である。SVCでは全レイヤを通じて同一のスライスを設定して符号化し、基本レイヤにのみスライスグループのタイプを指定するビットを与えるのが通常であるが、レイヤ毎にスライスの形状や個数を変えて符号化する必要がある場合は、基本レイヤだけでなく拡張レイヤにもスライスグループのタイプを指定するビットを与えればよい。 In the above embodiment, an example in which an image is divided into slices according to the ROI area set for each layer has been described. However, the present invention is not limited to ROI, and is widely used when an area is set for an image for some purpose. Can be applied. In addition, even when an area is not set in an image, the present invention is also effective when it is necessary to set and encode different slices for each layer. In SVC, it is normal to set and encode the same slice through all layers, and to give bits specifying the type of slice group only to the base layer, but encode by changing the shape and number of slices for each layer. If necessary, a bit specifying the slice group type may be given not only to the base layer but also to the enhancement layer.
上記の実施の形態では、動画を例に階層符号化を説明したが、本発明は、静止画の階層符号化にも適用することができる。 In the above embodiment, hierarchical encoding has been described by taking a moving image as an example, but the present invention can also be applied to hierarchical encoding of still images.
10a、10b 画像分割部、 12 解像度変換部、 14 ROI設定部、 18 多重化部、 20a、20b MCTF部、 22a、22b 動き符号化部、 24a、24b 予測部、 26a、26b DCT部、 28a、28b 量子化部、 30a、30b 可変長符号化部、 32 内挿処理部、 100 符号化装置、 110 拡張レイヤ処理ブロック、 120 基本レイヤ処理ブロック。 10a, 10b Image segmentation unit, 12 Resolution conversion unit, 14 ROI setting unit, 18 Multiplexing unit, 20a, 20b MCTF unit, 22a, 22b Motion coding unit, 24a, 24b Prediction unit, 26a, 26b DCT unit, 28a, 28b quantization unit, 30a, 30b variable length coding unit, 32 interpolation processing unit, 100 coding device, 110 enhancement layer processing block, 120 base layer processing block.
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006051786A JP2007235314A (en) | 2006-02-28 | 2006-02-28 | Coding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006051786A JP2007235314A (en) | 2006-02-28 | 2006-02-28 | Coding method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007235314A true JP2007235314A (en) | 2007-09-13 |
Family
ID=38555492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006051786A Withdrawn JP2007235314A (en) | 2006-02-28 | 2006-02-28 | Coding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007235314A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010081240A (en) * | 2008-09-25 | 2010-04-08 | Canon Inc | Encoding device and encoding method |
JP2010177828A (en) * | 2009-01-28 | 2010-08-12 | Nippon Telegr & Teleph Corp <Ntt> | Method, device and program for encoding scalable image, and computer-readable recording medium with the program recorded therein |
JP2016071636A (en) * | 2014-09-30 | 2016-05-09 | Kddi株式会社 | Mirroring system and mirroring method |
JP2016529789A (en) * | 2013-07-15 | 2016-09-23 | ソニー株式会社 | Extension of motion constrained tileset SEI messages for interactivity |
CN106060554A (en) * | 2016-07-26 | 2016-10-26 | 公安部第研究所 | ROI based space hierarchical coding device and method |
WO2017138458A1 (en) * | 2016-02-09 | 2017-08-17 | 株式会社ソニー・インタラクティブエンタテインメント | Video display system |
JP2018137809A (en) * | 2013-03-21 | 2018-08-30 | ソニー株式会社 | Device and method for encoding image |
CN109451312A (en) * | 2018-11-05 | 2019-03-08 | 深圳威尔视觉传媒有限公司 | Facilitate the decoded method for processing video frequency of video, device, equipment and storage medium |
US10341660B2 (en) | 2014-08-26 | 2019-07-02 | Kabushiki Kaisha Toshiba | Video compression apparatus and video playback apparatus |
CN113473138A (en) * | 2021-06-30 | 2021-10-01 | 杭州海康威视数字技术股份有限公司 | Video frame encoding method, video frame encoding device, electronic equipment and storage medium |
-
2006
- 2006-02-28 JP JP2006051786A patent/JP2007235314A/en not_active Withdrawn
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010081240A (en) * | 2008-09-25 | 2010-04-08 | Canon Inc | Encoding device and encoding method |
JP2010177828A (en) * | 2009-01-28 | 2010-08-12 | Nippon Telegr & Teleph Corp <Ntt> | Method, device and program for encoding scalable image, and computer-readable recording medium with the program recorded therein |
US12113976B2 (en) | 2013-03-21 | 2024-10-08 | Sony Corporation | Image encoding device and method and image decoding device and method |
JP2018137809A (en) * | 2013-03-21 | 2018-08-30 | ソニー株式会社 | Device and method for encoding image |
JP2016529789A (en) * | 2013-07-15 | 2016-09-23 | ソニー株式会社 | Extension of motion constrained tileset SEI messages for interactivity |
US10368078B2 (en) | 2013-07-15 | 2019-07-30 | Sony Corporation | Extensions of motion-constrained tile sets SEI message for interactivity |
US10841592B2 (en) | 2013-07-15 | 2020-11-17 | Sony Corporation | Extensions of motion-constrained tile sets sei message for interactivity |
US11553190B2 (en) | 2013-07-15 | 2023-01-10 | Sony Corporation | Extensions of motion-constrained tile sets SEI message for interactivity |
US10341660B2 (en) | 2014-08-26 | 2019-07-02 | Kabushiki Kaisha Toshiba | Video compression apparatus and video playback apparatus |
JP2016071636A (en) * | 2014-09-30 | 2016-05-09 | Kddi株式会社 | Mirroring system and mirroring method |
WO2017138458A1 (en) * | 2016-02-09 | 2017-08-17 | 株式会社ソニー・インタラクティブエンタテインメント | Video display system |
US11270410B2 (en) | 2016-02-09 | 2022-03-08 | Sony Interactive Entertainment Inc. | Video display system |
US10810701B2 (en) | 2016-02-09 | 2020-10-20 | Sony Interactive Entertainment Inc. | Video display system |
CN106060554A (en) * | 2016-07-26 | 2016-10-26 | 公安部第研究所 | ROI based space hierarchical coding device and method |
CN109451312A (en) * | 2018-11-05 | 2019-03-08 | 深圳威尔视觉传媒有限公司 | Facilitate the decoded method for processing video frequency of video, device, equipment and storage medium |
CN113473138A (en) * | 2021-06-30 | 2021-10-01 | 杭州海康威视数字技术股份有限公司 | Video frame encoding method, video frame encoding device, electronic equipment and storage medium |
CN113473138B (en) * | 2021-06-30 | 2024-04-05 | 杭州海康威视数字技术股份有限公司 | Video frame coding method, device, electronic equipment and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7924917B2 (en) | Method for encoding and decoding video signals | |
EP1878260B1 (en) | Method for scalably encoding and decoding video signal | |
KR100888963B1 (en) | Method for scalably encoding and decoding video signal | |
JP2007174568A (en) | Encoding method | |
US8514936B2 (en) | Method for scalably encoding and decoding video signal | |
JP2007235314A (en) | Coding method | |
KR100886191B1 (en) | Method for decoding an image block | |
KR101041823B1 (en) | Method and apparatus for encoding/decoding video signal using reference pictures | |
US8532187B2 (en) | Method and apparatus for scalably encoding/decoding video signal | |
JP4703449B2 (en) | Encoding method | |
US20060133482A1 (en) | Method for scalably encoding and decoding video signal | |
US20070025444A1 (en) | Coding Method | |
JP3504256B1 (en) | Video encoding method, video decoding method, video encoding device, and video decoding device | |
US20070064791A1 (en) | Coding method producing generating smaller amount of codes for motion vectors | |
JP2007266749A (en) | Encoding method | |
KR100883603B1 (en) | Method and apparatus for decoding video signal using reference pictures | |
GB2509998A (en) | Providing a prediction mode for image encoding based on a first set of most probable modes (MPMs) and a selected second, restricted number of prediction modes | |
JPH09214970A (en) | Image code converting system | |
JP2007174569A (en) | Encoding method | |
KR100880640B1 (en) | Method for scalably encoding and decoding video signal | |
JP2007036888A (en) | Coding method | |
JP4660408B2 (en) | Encoding method | |
KR100878824B1 (en) | Method for scalably encoding and decoding video signal | |
KR100883604B1 (en) | Method for scalably encoding and decoding video signal | |
JP2007036889A (en) | Coding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090210 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090709 |