JP2004207862A - 映像符号化装置及び映像復号化装置及びその方法並びにそのプログラム - Google Patents
映像符号化装置及び映像復号化装置及びその方法並びにそのプログラム Download PDFInfo
- Publication number
- JP2004207862A JP2004207862A JP2002372254A JP2002372254A JP2004207862A JP 2004207862 A JP2004207862 A JP 2004207862A JP 2002372254 A JP2002372254 A JP 2002372254A JP 2002372254 A JP2002372254 A JP 2002372254A JP 2004207862 A JP2004207862 A JP 2004207862A
- Authority
- JP
- Japan
- Prior art keywords
- video
- divided
- image
- boundary
- divided image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】分割映像の有意画素領域の境界のうち、他の分割映像と隣接する境界が、符号化劣化の影響を大きく受けることなく、鮮明な復号映像が得られる映像符号化装置及び映像復号化装置及びその方法並びにそのプログラムを提供する。
【解決手段】画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する映像符号化方法において、分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の分割映像と隣接する境界が、符号化ブロック境界と一致するように、当該分割映像をシフトし、符号化する。
【選択図】 図１
【解決手段】画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する映像符号化方法において、分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の分割映像と隣接する境界が、符号化ブロック境界と一致するように、当該分割映像をシフトし、符号化する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、大画面映像を空間的に分割し、複数のエンコーダで符号化・復号を行なう映像符号化装置及び映像復号化装置及びその方法並びにそのプログラムに関する。
【０００２】
【従来の技術】
一般に映像をブロックベースの符号化方式で符号化する場合、符号化領域のサイズを符号化処理ブロックサイズの倍数となるようにする制限から、適当な数のライン、または画素を付加して符号化することが行なわれる。
たとえば、一般的な映像フォーマットとして、１０８０ｉフォーマット（特許文献１を参照）がある。このフォーマットは毎秒２９．９７又は３０フレームのインタレース映像で、総走査線数１１２５本、有効画素領域が水平方向１９２０画素、垂直方向１０８０画素（ライン）の映像信号である。この映像信号の有効画素領域をＭＰＥＧ−２（特許文献２を参照）で符号化する場合、符号化領域の垂直方向サイズを３２の倍数の画素（ライン）数とするという制限から、１９２０画素×１０８０画素の映像の下端に8ライン分適当なデータを付加し１９２０画素×１０８８画素の映像を作り、これを符号化する方法が一般的である。
このとき、画面上端、画面左右端は有効画素領域境界とマクロブロック境界が一致しているが、画面下端は有効画素領域境界とマクロブロック境界が一致していない。
【０００３】
また、別の一般的な映像フォーマットとして、１０３５ｉフォーマットがある。このフォーマットは毎秒２９．９７又は３０フレームのインタレース映像で、総走査線数１１２５本、有効画素領域が水平方向１９２０画素、垂直方向１０３５画素（ライン）である。
１０３５ｉフォーマットと１０８０ｉフォーマットは共に総走査線１１２５本で同じであり、有効画素領域の位置とサイズだけが異なる関係にあるため、元は１０３５ｉフォーマットの映像を１０８０ｉフォーマットの映像として処理する場合がある。この場合、総走査線１１２５ラインに対する１０８０ｉ映像と１０３５ｉ映像の有効領域の相対位置により、１０８０ｉ映像の有効画素領域の第４０ライン目から第１０７４ライン目の領域に元の１０３５ｉ映像において有効画素であった本来有意な画素が配置される。
【０００４】
このように、映像フォーマット規格で規定されている有効画素領域とは別に、本来の映像パターンの画素データが配置されている画素領域を、以下、有意な画素の領域、または有意画素領域と呼ぶことにする。
このような映像信号をＭＰＥＧ−２で符号化する場合、画面左右端は本来有意な画素の領域の境界とマクロブロック境界が一致しているが、画面上端、画面下端はともに本来有意な画素の領域境界マクロブロック境界と一致していない。
有意な画素の領域境界の外側のデータが黒一色や制御用データなど、画像内容と特に相関のない信号であった場合には、上記のような、本来の有意な画素の領域境界とマクロブロック境界と一致していない有意な画素の領域境界付近において、符号化劣化によってその領域境界がぼやけ、有意な画素の領域外のパターンが有意な画素の領域に侵食したような復号映像になる場合がある。
しかし、このような現象は、画面の端のみに見られるため、通常知覚されにくく実用上大きな問題となることは少ない。
【０００５】
【非特許文献１】
シンプティ２７４Ｍ（ＳＭＰＴＥ２７４Ｍ） 「１９２０×１０８０ スキャニング アンド アナログ アンド パラレル デジタルインターフェイス フォー マルチプルピクチャーレイツ（ｓｃａｎｎｉｎｇ ａｎｄ Ａｎａｌｏｇ ａｎｄ Ｐａｒａｌｌｅｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｐｉｃｔｕｒｅ Ｒａｔｅｓ）」 全米映画テレビジョン技術者協会（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ） １９９８
【非特許文献２】
アイエスオー／アイイーシー１３８１８−２（ＩＳＯ／ＩＥＣ１３８１８−２） エムペグ−２（ＭＰＥＧ−２：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ２） 国際標準化機関（Ｉｎｔｅｒｎａｔｉｎａｌ Ｓｔａｎｄａｒｄ） １９９５
【０００６】
【発明が解決しようとする課題】
一方、近年ＨＤＴＶを超える解像度をもつ大画面映像の撮像システムや、表示システムが開発されている。このような撮像システムにおいては、１つの大画面映像を複数の矩形の領域に分割し、それぞれの分割領域の映像を既存の映像フォーマット信号にのせて出力するものが多い。また、表示システムについても、大画面映像の各分割領域の映像信号がのった既存の映像フォーマットの分割映像信号を表示システムに入力し、分割映像を繋ぎ合わせて１つの大画面映像を表示するものが多い。
このような大画面映像を符号化・伝送・復号する際に、大画面映像の各分割映像信号が、既存の映像フォーマット信号であるため、既存の映像フォーマット信号に対応した映像符号化・復号装置を用いて各分割映像信号の符号化・伝送・復号を行なうことができる。
【０００７】
しかしこの際に、前述のように、各分割映像において有意な画素の領域境界とマクロブロック境界が一致していない部分が存在した場合、有意な画素領域外のパターンが有意な画素領域に侵食したような符号化劣化が発生する。そして、その領域境界が大画面映像を構成する他の分割映像との境界であった場合、分割映像を繋ぎ合わせて大画面映像を表示した際に、その劣化が画面内の分割境界に沿って非常に良く目立つという問題が発生する。
【０００８】
このような問題を解決する本発明とは異なる手段としては、パディングによる方法がある。符号化対象領域内の有意画素領域以外の非有意画素領域の各画素について、その画素から最も近い有意画素領域の画素の画素値をコピーする方法があり、このような方法をパディングという。
【０００９】
この方法については、非有意画素領域の各画素について、はじめに有意画素領域の境界の画素の画素値を水平方向にコピーしていき、それが終わった後、垂直方向に画素値をコピーしていく方法や、その逆順で行なう方法など、いくつかの方法がある。このような処理を行なってから、符号化を行なうことで、有意画素領域と非有意画素領域の境界付近における画素値の値が連続的な値となり、有意画素領域画像の境界内の映像パターンに境界外の映像パターンが侵食し、視覚的に劣化が目立つという現象を減じることができる。また、復号後は、パディングされた非有意画素領域のデータはそれ以降の処理で参照されないのが一般的であるので、改めて黒データで起きかえるなどの処理は行なわないことが多い。しかし、この方法は、パディング処理が行なわれた非有意画素領域の水平方向もしくは垂直方向の交流成分がないなど、有意画素領域内の画像パターンとは本質的に異なるため、対象画像内と対象画像外の画像は必ずしも同様の性質を持った画像ではないため、対象画像内の符号化パターンもその影響を受け、やや不自然なパターンと成る場合がありうる。
【００１０】
また、大画面映像の分割映像を通常の方法で符号化し、分割映像の有意画素領域の境界が符号化ブロックの境界が一致していない境界が存在し、その境界が他の分割領域との隣接境界である場合、復号された分割映像の有意画素領域を取り出し、それらを連結して大画面映像を生成した場合に、分割領域の隣接境界の両側の符号化ブロックは、その一部が非有意画素領域として廃棄されているため、他の領域のブロックサイズに比べ小さくなっており、画面全体を見た場合、隣接境界付近だけブロックサイズが不連続となっている。
符号化の画質があまり良くない場合、ブロックノイズと呼ばれる符号化ブロックサイズのブロック状の画質劣化が生じるが、規則的なサイズのブロックノイズが生じる場合に比べ、隣接境界付近に生じる非連続なサイズのブロックノイズは良く目立つという性質があり、視覚上良くない。また、このような問題はパディングを利用した方法を用いた場合についても生じてしまう。
【００１１】
本発明は、このような事情を考慮してなされたものであり、その目的は、分割映像の有意画素領域の境界のうち、他の分割映像と隣接する境界が、符号化劣化の影響を大きく受けることなく、鮮明な復号映像が得られる映像符号化装置及び映像復号化装置及びその方法並びにそのプログラムを提供することにある。
【００１２】
【課題を解決するための手段】
この発明は上記の課題を解決すべくなされたもので、請求項１に記載の発明は、画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する映像符号化方法において、前記分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように、当該分割映像をシフトし、符号化することを特徴とする。
【００１３】
請求項２に記載の発明は、請求項１に記載の映像符号化方法によって符号化された分割映像を復号化し、該復号化した分割映像の位置をシフト前の位置にシフトして出力することを特徴とする。
【００１４】
請求項３に記載の発明は、画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する映像符号化装置において、前記分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように当該分割映像をシフトさせる映像シフト部と、該シフトさせた分割画像を符号化する映像符号化部とを具備することを特徴とする。
【００１５】
請求項４に記載の発明は、請求項３に記載の映像符号化装置によって符号化された分割映像を復号化する映像復号化部と、該復号化した分割映像を該復号化した分割映像の位置をシフト前の位置にシフトして出力する映像シフト部とを具備することを特徴とする。
【００１６】
請求項５に記載の発明は、前記分割映像は、インタレース映像であり、該分割映像の上端が、当該分割映像以外の前記分割映像と隣接しており、かつ、該分割映像の有意画素領域の最上端のラインが、インタレース映像の第２フィールドに相当するラインである場合、または、該分割映像の下端が、当該分割映像以外の前記分割映像と隣接しており、かつ、該分割映像の有意画素領域の最下端のラインが、インタレース映像の第１フィールドに相当するラインである場合、該分割映像の符号化において、トップフィールドが第２フィールドであり、ボトムフィールドが第一フィールドとみなすことを特徴とする。
【００１７】
請求項６に記載の発明は、前記分割映像は、インタレース映像であり、前記映像符号化部は、前記シフトさせた分割画像の上端が、当該分割映像以外の前記分割映像と隣接しており、かつ、該分割映像の有意画素領域の最上端のラインが、インタレース映像の第２フィールドに相当するラインである場合、または、前記シフトさせた分割画像の下端が、当該分割映像以外の前記分割映像と隣接しており、かつ、該分割映像の有意画素領域の最下端のラインが、インタレース映像の第１フィールドに相当するラインである場合、該分割映像の符号化において、トップフィールドが第２フィールドであり、ボトムフィールドが第一フィールドとみなして、前記シフトさせた分割画像を符号化することを特徴とする。
【００１８】
請求項７に記載の発明は、画面映像を水平方向、垂直方向にそれぞれ２分割して得られる、左上、左下、右上、右下の４つの分割映像を符号化する映像符号化方法において、それぞれの分割映像の有意画素領域と非有意画素領域の境界について、前記左上の分割映像の右端と下端との境界が、符号化ブロック境界と一致するように、当該左上の映像をシフトし、前記右上の分割映像の左端と下端との境界が、符号化ブロック境界と一致するように、当該右上の映像をシフトし、前記左下の分割映像の右端と上端との境界が、符号化ブロック境界と一致するように、当該左下の映像をシフトし、前記右下の分割映像の左端と上端との境界が、符号化ブロック境界と一致するように、当該右下の映像をシフトし、該４つの分割映像を符号化することを特徴とする。
【００１９】
請求項８に記載の発明は、画面映像を水平方向、垂直方向にそれぞれ２分割して得られる左上、左下、右上、右下の４つの分割映像を符号化する映像符号化装置において、各分割映像の有意画素領域と非有意画素領域の境界について、前記左上の分割映像の右端と下端との境界が、符号化ブロック境界と一致するように、当該左上の映像をシフトさせる第１の映像シフト部と、該シフトさせた左上の分割画像を符号化する第１の映像符号化部と、前記右上の分割映像の左端と下端との境界が、符号化ブロック境界と一致するように、当該右上の映像をシフトさせる第２の映像シフト部と、該シフトさせた右上の分割画像を符号化する第２の映像符号化部と、前記左下の分割映像の右端と上端との境界が、符号化ブロック境界と一致するように、当該左下の映像をシフトさせる第３の映像シフト部と、該シフトさせた左下の分割画像を符号化する第３の映像符号化部と、前記右下の分割映像の左端と上端との境界が、符号化ブロック境界と一致するように、当該右下の映像をシフトさせる第４の映像シフト部と、該シフトさせた右下の分割画像を符号化する第４の映像符号化部とを具備することを特徴とする。
【００２０】
請求項９に記載の発明は、前記分割映像をシフトさせるシフト量は、前記分割映像の有意画素領域及び非有意画素領域を判定し、該判定した有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように決定されることを特徴とする。
【００２１】
請求項１０に記載の発明は、前記映像シフト部は、さらに、前記分割映像の有意画素領域及び非有意画素領域を判定し、該判定した有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように、前記分割映像をシフトさせるシフト量を決定することを特徴とする。
【００２２】
請求項１１に記載の発明は、前記分割映像の符号化時に、前記決定されるシフト量を、当該分割映像の符号化により生成されるビットストリームのユーザ領域に書きこむことを特徴とする。
【００２３】
請求項１２に記載の発明は、請求項９に記載の映像符号化方法によって符号化された分割映像を復号化し、前記ビットストリームのユーザ領域より、前記シフト量を読み出し、該シフト量に基づいて、該復号化した分割映像の位置をシフト前の位置にシフトして出力することを特徴とする。
【００２４】
請求項１３に記載の発明は、前記映像符号化部は、さらに、前記分割映像の符号化時に、前記決定されるシフト量を、当該分割映像の符号化により生成されるビットストリームのユーザ領域に書きこむことを特徴とする。
【００２５】
請求項１４に記載の発明は、前記映像復号化部は、請求項１０に記載の映像符号化装置によって符号化された分割映像を復号化し、前記ビットストリームのユーザ領域より、前記シフト量を読み出し、該シフト量に基づいて、該復号化した分割映像の位置をシフト前の位置にシフトして出力することを特徴とする。
【００２６】
請求項１５に記載の発明は、画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する処理をコンピュータに実行させるための映像符号化プログラムであって、前記分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように当該分割映像をシフトさせる処理と、該シフトさせた分割画像を符号化する処理とをコンピュータに実行させるための映像符号化プログラムである。
【００２７】
請求項１６に記載の発明は、請求項１５に記載の映像符号化プログラムをコンピュータが実行することによって、符号化された分割映像を復号化する処理と、該復号化した分割映像の位置をシフト前の位置にシフトして出力する処理とをコンピュータに実行させるための映像復元化プログラムである。
【００２８】
請求項１７に記載の発明は、画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する処理をコンピュータに実行させるための映像符号化プログラムを記憶する記憶媒体であって、前記分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように当該分割映像をシフトさせる処理と、該シフトさせた分割画像を符号化する処理とをコンピュータに実行させるための映像符号化プログラムを記憶する記憶媒体である。
【００２９】
請求項１８に記載の発明は、請求項１５に記載の映像符号化プログラムを、コンピュータが実行することによって符号化された分割映像を復号化する処理と、該復号化した分割映像の位置をシフト前の位置にシフトして出力する処理とをコンピュータに実行させるための映像復元化プログラムを記憶する記憶媒体である。
【００３０】
【発明の実施の形態】
以下、図面を参照して本発明の映像符号化方法及び映像復号化方法の第１の実施形態について図面を参照して説明する。図１、図２は本実施形態の映像符号化方法のフローチャート及び図３、図４は本実施形態の映像復号化方法のフローチャートである。本実施形態の映像符号化方法及び映像復号化方法では、図５に示す、１つの大画面映像を構成する田の字型に配置された４つの1０8０ｉフォーマットの分割映像ａ〜ｄを符号化及び復号化する。
【００３１】
まず左上の分割映像ａ及び右上の分割映像ｂを符号化する処理の流れについて説明する。
まず、左上の分割映像ａ及び右上の分割映像ｂの符号化処理開始を受けて、左上の分割映像ａ、右上の分割映像ｂを入力する（図１のステップＳ１）。
次に、左上の分割映像ａ及び右上の分割映像ｂについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが32の倍数である必要に基づいて、１０８０ｉフォーマット映像、つまり有効領域画素が１０８０ラインである分割映像ａ及び分割映像ｂの上部に、さらに、８ラインを付加する（ステップＳ２）。このとき、付加される8ラインに入れる画素データは、任意であるが、本実施形態ではこの8ラインの画素は黒一色で埋められるものとする。
次に、８ラインが付加されて、３２の倍数となった１０８８ラインとなった分割映像ａ及び分割映像ｂをＭＰＥＧ−２で符号化する（ステップＳ３）。
すなわち、図６に示すように、入力された分割映像ａ及び分割映像ｂの有効画素である有意な画素は、１０８８ラインの符号化領域のうち、分割映像ａ及び分割映像ｂの下端より１０８０ラインに配置されて、符号化される。
このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ａ及び分割映像ｂは、符号化ストリームａ、符号化ストリームｂとして出力される（ステップＳ４）。
【００３２】
次に左下の分割映像ｃ及び右下の分割映像ｄを符号化する処理の流れについて説明する。
まず、左下の分割映像ｃ及び右下の分割映像ｄの符号化処理開始を受けて、左下の分割映像ｃ、右下の分割映像ｄを入力する（図２のステップＳ１１）。
次に、左下の分割映像ｃ及び右下の分割映像ｄについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが32の倍数である必要に基づいて、１０８０ｉフォーマット映像、つまり有効領域画素が１０８０ラインである分割映像ｃ及び分割映像ｄの下部に、さらに、８ラインを付加する（ステップＳ１２）。このとき、付加される8ラインに入れる画素データは、任意であるが、本実施形態ではこの8ラインの画素は黒一色で埋められるものとする。
次に、８ラインが付加されて、３２の倍数となった１０８８ラインとなった分割映像ｃ及び分割映像ｄをＭＰＥＧ−２で符号化する（ステップＳ１３）。
すなわち、図６に示すように、入力された分割映像ｃ及び分割映像ｄの有効画素である有意な画素は、１０８８ラインの符号化領域のうち、分割映像ｃ及び分割映像ｄの上端より１０８０ラインに配置されて、符号化される。
このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ｃ及び分割映像ｄは、符号化ストリームｃ、符号化ストリームｄとして出力される（ステップＳ１４）。
【００３３】
次に、左上の分割映像ａ及び右上の分割映像ｂを復号化する処理の流れについて説明する。
まず、符号化ストリームａ、符号化ストリームｂの復号化処理開始を受けて、符号化ストリームａ、符号化ストリームｂを入力する（図３のステップＳ３１）。
次に、この符号化ストリームａ、符号化ストリームｂを復号化し（ステップＳ３２）、復号化によって得られる１０８８ラインの分割映像ａ及び分割映像ｂの上部の８ラインを廃棄する（ステップＳ３３）。
そして、この８ライン破棄により、１０８０ラインとなった１０８０ｉフォーマットの分割映像ａ及び分割映像ｂを出力する（ステップＳ３４）。
【００３４】
この分割映像ａ及び分割映像ｂの出力映像と、符号化前の分割映像ａ及び分割映像ｂの入力映像とを比較した場合、分割映像ａ及び分割映像ｂにおける有効画素の位置関係は符号化・復号化の前後で変化しない。
また、分割映像ａ及び分割映像ｂにおける、画面最下端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面最下端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
【００３５】
次に、左下の分割映像ｃ及び右下の分割映像ｄを復号化する処理の流れについて説明する。
まず、符号化ストリームｃ、符号化ストリームｄの復号化処理開始を受けて、符号化ストリームｃ、符号化ストリームｄを入力する（図４のステップＳ４１）。
次に、この符号化ストリームｃ、符号化ストリームｄを復号化し（ステップＳ４２）、復号化によって得られる１０８８ラインの分割映像ｃ及び分割映像ｄの下部の８ラインを廃棄する（ステップＳ４３）。
そして、この８ライン破棄により、１０８０ラインとなった１０８０ｉフォーマットの分割映像ｃ及び分割映像ｄを出力する（ステップＳ４４）。
【００３６】
この分割映像ｃ及び分割映像ｄの出力映像と、符号化前の分割映像ｃ及び分割映像ｄの入力映像とを比較した場合、分割映像ｃ及び分割映像ｄにおける有効画素の位置関係は符号化・復号化の前後で変化しない。
また、分割映像ｃ及び分割映像ｄにおける、画面上端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面最下端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
【００３７】
以上説明したように、復号化した、左上の分割映像ａ、右上の分割映像ｂ、左下の分割映像ｃ、右下の分割映像ｄの４つの分割映像を表示システムに入力する場合、４つの映像の有効領域を連結して表示させた際に、大画面の分割の境界、すなわち、左上の分割映像ａと右上の分割映像ｂとの境界、左下の分割映像ｃと右下の分割映像ｄとの境界、左上の分割映像ａと左下の分割映像ｃとの境界、及び右上の分割映像ｂと右下の分割映像ｄとの境界の４つの境界において、目立った画質劣化を防ぐことができるという効果を得ることができる。
【００３８】
次に図面を参照して本発明の映像符号化方法及び映像復号化方法の第２の実施形態について図面を参照して説明する。図７、図８は本実施形態の映像符号化方法のフローチャート及び図９、図１０は本実施形態の映像復号化方法のフローチャートである。本実施形態の映像符号化方法及び映像復号化方法では、第１実施形態の映像符号化方法及び映像復号化方法と同様に、図５に示す、１つの大画面映像を構成する田の字型に配置された４つの1０8０ｉフォーマットの分割映像ａ〜ｄを符号化及び復号化する。
【００３９】
まず左上の分割映像ａ及び右上の分割映像ｂを符号化する処理の流れについて説明する。
まず、左上の分割映像ａ及び右上の分割映像ｂの符号化処理開始を受けて、１０８０ｉフォーマットの左上の分割映像ａ、右上の分割映像ｂを入力する（図７のステップＳ５１）。
次に、この入力された１０８０ｉフォーマットの分割映像ａ、分割映像ｂの有効画素データを上に8ライン分だけシフトする（ステップＳ５２）。
このとき、分割映像ａ、分割映像ｂの有効画素データの上部8ラインは有効領域から外れるため、廃棄される。
【００４０】
次に、分割映像ａ及び分割映像ｂについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが32の倍数である必要に基づいて、シフトにより、有効領域画素が１０７２ラインとなった分割映像ａ及び分割映像ｂの下部に、さらに、１６ラインを付加する（ステップＳ５３）。このとき、シフトされた後の映像の下部１６ラインとして付加される画素データは、任意であるが、本実施形態では、この１６ラインの画素は黒一色で埋められるものとする。
次に、１６ラインが付加されて、３２の倍数となった１０８８ラインとなった分割映像ａ及び分割映像ｂをＭＰＥＧ−２で符号化する（ステップＳ５４）。
すなわち、図１１に示すように、入力された分割映像ａ及び分割映像ｂの有効画素である有意な画素は、１０８８ラインの符号化領域のうち、分割映像ａ及び分割映像ｂの上端より１０７２ラインに配置されて、符号化される。
このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ａ及び分割映像ｂは、符号化ストリームａ、符号化ストリームｂとして出力される（ステップＳ４）。
【００４１】
次に左下の分割映像ｃ及び右下の分割映像ｄを符号化する処理の流れについて説明する。
まず、左下の分割映像ｃ及び右下の分割映像ｄの符号化処理開始を受けて、１０８０ｉフォーマットの左下の分割映像ｃ、右下の分割映像ｄを入力する（図８のステップＳ６１）。
次に、分割映像ｃ及び分割映像ｄについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが３２の倍数である必要に基づいて、１０８０ｉフォーマット映像の分割映像ｃ及び分割映像ｄの下部に、さらに、８ラインを付加する（ステップＳ６２）。このとき、シフトされた後の映像の下部８ラインとして付加される画素データは、任意であるが、本実施形態では、この８ラインの画素は黒一色で埋められるものとする。
【００４２】
次に、８ラインが付加されて、３２の倍数となった１０８８ラインの分割映像ｃ及び分割映像ｄをＭＰＥＧ−２で符号化する（ステップＳ６３）。
すなわち、図１１に示すように、入力された分割映像ｃ及び分割映像ｄの有効画素である有意な画素は、１０８８ラインの符号化領域のうち、分割映像ｃ及び分割映像ｄの上端より１０８０ラインに配置されて、符号化される。
このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ｃ及び分割映像ｄは、符号化ストリームｃ、符号化ストリームｄとして出力される（ステップＳ６４）。
【００４３】
次に、左上の分割映像ａ及び右上の分割映像ｂを復号化する処理の流れについて説明する。
まず、符号化ストリームａ、符号化ストリームｂの復号化処理開始を受けて、符号化ストリームａ、符号化ストリームｂを入力する（図９のステップＳ７１）。
次に、この符号化ストリームａ、符号化ストリームｂを復号化し（ステップＳ７２）、復号化によって得られる１０８８ラインの分割映像ａ及び分割映像ｂの下部の８ラインを廃棄する。そして、この８ライン破棄により、１０８０ラインとなった１０８０ｉフォーマットの分割映像ａ及び分割映像ｂを下に８ライン分だけシフトし（ステップＳ７３）、１０８０ｉフォーマットの分割映像ａ及び分割映像ｂの上部に８ラインを付加する。このとき、シフトした後の映像の上8ライン部分に入れる画素データは任意だが、ここでは黒一色で埋められるものとする。
そして、さらに、分割映像ａ及び分割映像ｂの下部の８ラインを廃棄し（ステップＳ７４）、有意な画素領域が分割映像ａ及び分割映像ｂの上端より１０７２ラインとなった１０８０ｉフォーマットの分割映像ａ及び分割映像ｂを出力する（ステップＳ７５）。
【００４４】
この分割映像ａ及び分割映像ｂの出力映像と、符号化前の分割映像ａ及び分割映像ｂの入力映像とを比較した場合、上部８ラインが廃棄され黒一色となっているが、分割映像ａ及び分割映像ｂにおける、それ以外の有効画素の位置関係は変化していない。
また、分割映像ａ及び分割映像ｂにおける、画面下端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面最下端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
また、このとき有意な画素領域の境界である上端より１０７２ライン目と１０７３ライン目の境界は、ＭＰＥＧ−２で符号化する場合、フレームピクチャであれば必ず分割したブロックの境界と一致するため、有意画素領域境界に、境界外が侵食したように見える画質劣化を防ぐことができる効果が得られる。
また、フィールドピクチャであっても、輝度ブロック境界には一致し、422クロマフォーマットの場合は色差ブロック境界にも一致する。
【００４５】
次に、左下の分割映像ｃ及び右下の分割映像ｄを復号化する処理の流れについて説明する。
まず、符号化ストリームｃ、符号化ストリームｄの復号化処理開始を受けて、符号化ストリームｃ、符号化ストリームｄを入力する（図１０のステップＳ８１）。
次に、この符号化ストリームｃ、符号化ストリームｄを復号化し（ステップＳ８２）、復号化によって得られる１０８８ラインの分割映像ｃ及び分割映像ｄの下部の８ラインを廃棄する（ステップＳ８３）。
そして、この８ライン破棄により、１０８０ラインとなった１０８０ｉフォーマットの分割映像ｃ及び分割映像ｄを出力する（ステップＳ８４）。
【００４６】
この分割映像ｃ及び分割映像ｄの出力映像と、符号化前の分割映像ｃ及び分割映像ｄの入力映像とを比較した場合、分割映像ｃ及び分割映像ｄにおける有効画素の位置関係は符号化・復号化の前後で変化しない。
また、分割映像ｃ及び分割映像ｄにおける、画面上端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面上端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
【００４７】
以上説明したように、復号化した、左上の分割映像ａ、右上の分割映像ｂ、左下の分割映像ｃ、右下の分割映像ｄの４つの分割映像を表示システムに入力する場合、４つの映像の有効領域を連結して表示させた際に、大画面の分割の境界、すなわち、左上の分割映像ａと右上の分割映像ｂとの境界、左下の分割映像ｃと右下の分割映像ｄとの境界、左上の分割映像ａと左下の分割映像ｃとの境界、及び右上の分割映像ｂと右下の分割映像ｄとの境界の４つの境界において、目立った画質劣化を防ぐことができるという効果を得ることができる。
【００４８】
次に図面を参照して本発明の映像符号化方法及び映像復号化方法の第３の実施形態について図面を参照して説明する。図１２、図１３は本実施形態の映像符号化方法のフローチャート及び図１４、図１５は本実施形態の映像復号化方法のフローチャートである。図１６に示す、１つの大画面映像を構成する田の字型に配置された４つの１９２０画素×１０３５ラインのインタレース画像の分割映像ａ〜ｄを符号化及び復号化する。
【００４９】
まず左上の分割映像ａ及び右上の分割映像ｂを符号化する処理の流れについて説明する。
まず、左上の分割映像ａ及び右上の分割映像ｂの符号化処理開始を受けて、１０３５ｉフォーマットの左上の分割映像ａ、右上の分割映像ｂを入力する（図１２のステップＳ９１）。ここで、分割映像ａ及び分割映像ｂの原映像は１０３５ｉ映像であるが、入力される１０３５ｉフォーマットの分割映像ａ、分割映像ｂは、１０８０ｉフォーマットの映像信号に乗った状態で与えられるものとする。すなわち、総走査線１１２５ラインに対する１０８０ｉ映像と１０３５ｉ映像の有効領域の相対位置により、１０８０ｉフォーマットの有効領域内の第４０ラインから第１０７４ラインに、１０３５ラインの有意な画像データが配置された状態で与えられるものとする。また、１０８０ｉフォーマットの有効領域内の第１ラインから第３９ライン、第１０７５ラインから第１０８０ラインは、黒一色の信号または制御用データが入っているものとする。なお、１０３５ｉ映像の有効領域の第1ラインは、時間的に後のフィールドである第２フィールドであり、第１０３５ラインも同様に第２フィールドであり、上記の１０８０ｉフォーマット映像の第４０ラインおよび第１０７４ラインも第２フィールドである。
【００５０】
次に、この入力された１０３５ｉフォーマットの分割映像ａ、分割映像ｂの有効画素データを上に２ライン分だけシフトする（ステップＳ９２）。
このとき、分割映像ａ、分割映像ｂの有効画素データの上部の第１ラインと第２ラインは有効領域から外れるため、廃棄される。
【００５１】
次に、分割映像ａ及び分割映像ｂについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが３２の倍数である必要に基づいて、分割映像ａ及び分割映像ｂの下部に、さらに、８ラインを付加する（ステップＳ９３）。このとき、シフトされた後の映像の下部８ラインとして付加される画素データは、任意であるが、本実施形態では、この８ラインの画素は黒一色で埋められるものとする。
次に、８ラインが付加されて、３２の倍数となった１０８８ラインとなった分割映像ａ及び分割映像ｂをＭＰＥＧ−２で符号化する（ステップＳ９４）。
すなわち、図１８に示すように、入力された分割映像ａ及び分割映像ｂの有効画素である有意な画素は、１０８８ラインの符号化領域のうち、分割映像ａ及び分割映像ｂの上端より３８ライン目（１０７２ライン−１０３５ライン＋１ライン＝３５ラインより算出）から１０７２ライン目にかけて配置されて、符号化される。
このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ａ及び分割映像ｂは、符号化ストリームａ、符号化ストリームｂとして出力される（ステップＳ９５）。
【００５２】
次に左下の分割映像ｃ及び右下の分割映像ｄを符号化する処理の流れについて説明する。
まず、左下の分割映像ｃ及び右下の分割映像ｄの符号化処理開始を受けて、１０３５ｉフォーマットの左下の分割映像ｃ、右下の分割映像ｄを入力する（図１３のステップＳ１０１）。ここで、分割映像ｃ及び分割映像ｄの原映像は、１０３５ｉ映像であるが、入力される１０３５ｉフォーマットの分割映像ｃ、分割映像ｄは、上述の分割映像ａ及び分割映像ｂと同様に、１０８０ｉフォーマットの映像信号に乗った状態で与えられるものとする。
【００５３】
次に、この入力された１０３５ｉフォーマットの分割映像ｃ、分割映像ｄの有効画素データを、図１８に示すように、上に７ライン分だけシフトし、トップフィールドを第2フィールド、ボトムフィールドを第1フィールドとする1080ラインのインタレース映像を生成する（ステップＳ１０２）。
ここでは、空間的にみて上に配置される奇数ラインのフィールドをトップフィールド、空間的にみて下に配置される偶数ラインのフィールドをボトムフィールド、また、時間的に前の映像情報を表すフィールドを第1フィールド、時間的に後の映像情報を表すフィールドを第2フィールドと呼んでいる。
【００５４】
このとき、分割映像ｃ、分割映像ｄの有効画素データの上部7ラインは有効領域から外れるため、廃棄される。
次に、分割映像ｃ及び分割映像ｄについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが３２の倍数である必要に基づいて、分割映像ｃ及び分割映像ｄの下部に、さらに、８ラインを付加する（ステップＳ１０３）。このとき、シフトされた後の映像の下部８ラインとして付加される画素データは、任意であるが、本実施形態では、この８ラインの画素は黒一色で埋められるものとする。
次に、８ラインが付加されて、３２の倍数となった１０８８ラインとなった分割映像ｃ及び分割映像ｄをＭＰＥＧ−２で符号化する（ステップＳ１０４）。
この際の符号化モードとして、ボトムフィールドが第1フィールドであるとみなして符号化を行う。
ＭＰＥＧ−2では、トップフィールドが第一フィールドであるか否かを表すフラグが存在するなど、トップフィールドが第一フィールドである場合と、第ニフィールドである場合の符号化復号方法が規定されている。
したがって、ボトムフィールドが第1フィールドであるとみなして符号化を行う場合、フレームピクチャの場合はｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔがｆａｌｓｅ（偽）であるとして符号化を行なう。
また、フィールドピクチャの場合は同じフレームのうちボトムフィールドを先に符号化し、トップフィールドを後に符号化するという方法をとる。
【００５５】
すなわち、図１７に示すように、入力された分割映像ｃ及び分割映像ｄの有効画素である有意な画素は、１０８８ラインの符号化領域のうち、分割映像ｃ及び分割映像ｄの上端より３３ライン目（４０ライン−８ライン＋１ライン＝３３ラインより算出）から１０６８ライン目（３２＋１０３５ライン＋１ライン＝１０６８ラインより算出）にかけて配置されて、符号化される。
このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ｃ及び分割映像ｄは、符号化ストリームｃ、符号化ストリームｄとして出力される（ステップＳ１０５）。
【００５６】
次に、左上の分割映像ａ及び右上の分割映像ｂを復号化する処理の流れについて説明する。
まず、符号化ストリームａ、符号化ストリームｂの復号化処理開始を受けて、符号化ストリームａ、符号化ストリームｂを入力する（図１４のステップＳ１１１）。
次に、この符号化ストリームａ、符号化ストリームｂを復号化し（ステップＳ１１２）、復号化によって得られる１０８８ラインの分割映像ａ及び分割映像ｂの下部の８ラインを廃棄する。そして、この８ライン破棄により、１０８０ラインとなった１０８０ｉフォーマットの分割映像ａ及び分割映像ｂを下に２ライン分だけシフトし（ステップＳ１１３）、１０８０ｉフォーマットの分割映像ａ及び分割映像ｂの上部に２ラインを付加する。このとき、シフトした後の映像の上２ライン部分に入れる画素データは任意だが、ここでは黒一色で埋められるものとする。
そして、さらに、分割映像ａ及び分割映像ｂの下部の８ラインを廃棄し（ステップＳ１１４）、有意な画素領域が分割映像ａ及び分割映像ｂの上端より１０７２ラインとなった１０８０ｉフォーマットの分割映像ａ及び分割映像ｂを出力する（ステップＳ１１５）。
【００５７】
この分割映像ａ及び分割映像ｂの出力映像と、符号化前の分割映像ａ及び分割映像ｂの入力映像とを比較した場合、上部２ラインが廃棄され黒一色となっているが、分割映像ａ及び分割映像ｂにおける、それ以外の有効画素の位置関係は変化していない。
また、分割映像ａ及び分割映像ｂにおける、画面最下端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面最下端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
また、このとき有意な画素領域の境界である上端より１０７２ライン目と１０７３ライン目の境界は、ＭＰＥＧ−２で符号化する場合、フレームピクチャであれば必ず分割したブロックの境界と一致するため、有意画素領域境界に、境界外が侵食したように見える画質劣化を防ぐことができる効果が得られる。
また、フィールドピクチャであっても、輝度ブロック境界には一致し、422クロマフォーマットの場合は色差ブロック境界にも一致する。
【００５８】
次に、左下の分割映像ｃ及び右下の分割映像ｄを復号化する処理の流れについて説明する。
まず、符号化ストリームｃ、符号化ストリームｄの復号化処理開始を受けて、符号化ストリームｃ、符号化ストリームｄを入力する（図１５のステップＳ１２１）。
次に、この符号化ストリームｃ、符号化ストリームｄを復号化し（ステップＳ１２２）、復号化によって得られる１０８８ラインの分割映像ｃ及び分割映像ｄの下部の８ラインを廃棄する。
そして、この８ライン破棄により、１０８０ラインのボトムフィールドが第1フィールドとなったインタレース映像である分割映像ｃ及び分割映像ｄを下に７ライン分だけシフトし、トップフィールドを第1フィールド、ボトムフィールドを第２フィールドとする１０８０ｉフォーマット映像を生成する（ステップＳ１２３）。
次に、この１０８０ｉフォーマットの分割映像ｃ及び分割映像ｄの上部に７ラインを付加する。このとき、シフトした後の映像の上７ライン部分に入れる画素データは任意だが、ここでは黒一色で埋められるものとする。
次に、さらに、分割映像ｃ及び分割映像ｄの下部の８ラインを廃棄する（ステップＳ１２４）。
そして、上７ラインは黒一色であり、その下に続く１０７３ラインは符号化前の元の分割映像ｃ及び分割映像ｄと有効画素領域である１０８０ｉフォーマットの分割映像ｃ及び分割映像ｄを出力する（ステップＳ１２５）。
【００５９】
この分割映像ｃ及び分割映像ｄの出力映像と、符号化前の分割映像ｃ及び分割映像ｄの入力映像とを比較した場合、上部７ラインが廃棄され黒一色となっているが、分割映像ｃ及び分割映像ｄにおける、それ以外の有効画素の位置関係は変化していない。
また、分割映像ｃ及び分割映像ｄにおける、画面上端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面最下端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
また、このとき有意な画素領域の境界である下端より上端より３２ライン目と３３ライン目の境界は、ＭＰＥＧ−２で符号化する場合、フレームピクチャであれば必ず分割したブロックの境界と一致するため、有意画素領域境界に、境界外が侵食したように見える画質劣化を防ぐことができる効果が得られる。
また、フィールドピクチャであっても、輝度ブロック境界には一致し、422クロマフォーマットの場合は色差ブロック境界にも一致する。
【００６０】
以上説明したように、復号化した、左上の分割映像ａ、右上の分割映像ｂ、左下の分割映像ｃ、右下の分割映像ｄの４つの分割映像を表示システムに入力する場合、４つの映像の有効領域を連結して表示させた際に、大画面の分割の境界、すなわち、左上の分割映像ａと右上の分割映像ｂとの境界、左下の分割映像ｃと右下の分割映像ｄとの境界、左上の分割映像ａと左下の分割映像ｃとの境界、及び右上の分割映像ｂと右下の分割映像ｄとの境界の４つの境界において、目立った画質劣化を防ぐことができるという効果を得ることができる。
【００６１】
次に、図面を参照して本発明の映像符号化装置及び映像復号化装置の第４の実施形態について図面を参照して説明する。図１９は本実施形態の映像符号化装置の構成図及び図２０は本実施形態の映像復号化装置の構成図である。本実施形態の映像符号化装置及び映像復号化装置では、図５に示す、１つの大画面映像を構成する田の字型に配置された４つの1０8０ｉフォーマットの分割映像ａ〜ｄを符号化及び復号化する。
【００６２】
図１９に示すように、本実施形態の映像符号化装置は、映像シフト部１−ａ〜１−ｄ、映像符号化部２−ａ〜２−ｄ、制御部３とから構成される。
映像シフト部１−ａ〜１−ｄは、それぞれ分割映像ａ〜ｄの映像信号の入力を受けて、予め指定されるシフト量に基づいて、入力される分割映像のシフト処理を行う。
映像符号化部２−ａ〜２−ｄは、映像シフト部１−ａ〜１−ｄそれぞれが出力する、シフト後の分割映像ａ〜ｄの映像信号の入力を受けて、ＭＰＥＧ−２で符号化処理を行う。
制御部３は、映像シフト部１−ａ〜１−ｄそれぞれに対して、シフト処理時のシフト量を指定する処理を行う。
【００６３】
また、図２０に示すように、本実施形態の映像復号化装置は、映像シフト部１１−ａ〜１１−ｄ、映像復号化部１２−ａ〜１２−ｄ、制御部１３とから構成される。
映像復号化部１２−ａ〜１２−ｄは、それぞれ分割映像ａ〜ｄの映像信号の入力を受けて、ＭＰＥＧ−２で復号化処理を行う。
映像シフト部１１−ａ〜１１−ｄは、映像復号化部１２−ａ〜１２−ｄそれぞれが出力する、復号化後の分割映像ａ〜ｄの映像信号の入力を受けて、予め指定されるシフト量に基づいて、入力される分割映像のシフト処理を行う。
制御部１３は、映像シフト部１１−ａ〜１１−ｄそれぞれに対して、シフト処理時のシフト量を指定する処理を行う。
【００６４】
次に、本実施形態の映像符号化装置及び映像復号化装置の動作について説明する。
まず、図５に示す画面の左上の分割映像ａ、右上の分割映像ｂについて、映像シフト部１−ａ、映像シフト部１−ｂは、符号化処理開始を受けて、それぞれ左上の分割映像ａ、右上の分割映像ｂを入力する。
次に、映像シフト部１−ａ、映像シフト部１−ｂは、制御部３よりシフト量の指定値を受けて、この値に基づいて、入力された１０８０ｉフォーマットの分割映像ａ、分割映像ｂの有効画素データをシフトする。本実施形態においては、制御部３が予めシフト量を８ライン上と指定しているため、映像シフト部１−ａ、映像シフト部１−ｂは、分割映像ａ、分割映像ｂの有効画素データを上に8ライン分だけシフトする。
このとき、映像シフト部１−ａ、映像シフト部１−ｂは、分割映像ａ、分割映像ｂの有効画素データの上部8ラインは有効領域から外れるため、これを廃棄する。
次に、映像シフト部１−ａ、映像シフト部１−ｂは、分割映像ａ、分割映像ｂについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが32の倍数である必要に基づいて、シフトにより、有効領域画素が１０７２ラインとなった分割映像ａ、分割映像ｂの下部に、さらに、１６ラインを付加し、それぞれ映像符号化部２−ａ、映像符号化部２−ｂに対して出力する。
このとき、シフトされた後の映像の下部１６ラインとして付加される画素データは、任意であるが、本実施形態では、この１６ラインの画素は黒一色で埋められるものとする。
【００６５】
映像符号化部２−ａ、映像符号化部２−ｂは、この１０８８ラインとなった分割映像ａ、分割映像ｂをＭＰＥＧ−２で符号化する。
すなわち、映像符号化部２−ａ、映像符号化部２−ｂは、図１１に示すように、入力された分割映像ａ、分割映像ｂの有効画素である有意な画素を、１０８８ラインの符号化領域のうち、分割映像ａ、分割映像ｂの上端より１０７２ラインに配置し、符号化する。
符号化後、映像符号化部２−ａ、映像符号化部２−ｂは、このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ａ、分割映像ｂを、それぞれ符号化ストリームａ、符号化ストリームｂとして出力する。
【００６６】
また、図５に示す画面の左下の分割映像ｃ、右下の分割映像ｄについて、映像シフト部１−ｃ、映像シフト部１−ｄは、符号化処理開始を受けて、それぞれ左下の分割映像ｃ、右下の分割映像ｄを入力する。
次に、映像シフト部１−ｃ、映像シフト部１−ｄは、制御部３よりシフト量の指定値を受けて、この値に基づいて、入力された１０８０ｉフォーマットの分割映像ｃ、分割映像ｄの有効画素データをシフトする。本実施形態においては、制御部３が予めシフト量を０ラインと指定しているため、映像シフト部１−ｃ、映像シフト部１−ｄは、分割映像ｃ、分割映像ｄの有効画素データのシフトを行わない。
次に、映像シフト部１−ｃ、映像シフト部１−ｄは、分割映像ｃ、分割映像ｄについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが32の倍数である必要に基づいて、１０８０ｉフォーマット映像の分割映像ｃ、分割映像ｄの下部に、８ラインを付加し、それぞれ映像符号化部２−ｃ、映像符号化部２−ｄに対して出力する。
このとき、シフトされた後の映像の下部８ラインとして付加される画素データは、任意であるが、本実施形態では、この８ラインの画素は黒一色で埋められるものとする。
【００６７】
映像符号化部２−ｃ、映像符号化部２−ｄは、この１０８８ラインとなった分割映像ｃ、分割映像ｄをＭＰＥＧ−２で符号化する。
すなわち、映像符号化部２−ｃ、映像符号化部２−ｄは、図１１に示すように、入力された分割映像ｃ、分割映像ｄの有効画素である有意な画素を、１０８８ラインの符号化領域のうち、分割映像ｃ、分割映像ｄの下端より１０７２ラインに配置し、符号化する。
符号化後、映像符号化部２−ｃ、映像符号化部２−ｄは、このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ｃ、分割映像ｄを、それぞれ符号化ストリームｃ、符号化ストリームｄとして出力する。
【００６８】
映像復号化部１２−ａ、映像復号化部１２−ｂは、符号化ストリームａ、符号化ストリームｂの復号化処理開始を受けて、それぞれ符号化ストリームａ、符号化ストリームｂを入力する。
次に、映像復号化部１２−ａ、映像復号化部１２−ｂは、この符号化ストリームａ、符号化ストリームｂを復号化し、復号化によって得られる１０８８ラインの分割映像ａ、分割映像ｂの下部の８ラインをそれぞれ廃棄する。
そして、映像復号化部１２−ａ、映像復号化部１２−ｂは、この８ライン破棄により、１０８０ラインとなった１０８０ｉフォーマットの分割映像ａ及び分割映像ｂを映像シフト部１１−ａ、映像シフト部１１−ｂに対して出力する。
【００６９】
映像シフト部１１−ａ、映像シフト部１１−ｂは、制御部１３よりシフト量の指定値を受けて、この値に基づいて、入力された１０８０ｉフォーマットの分割映像ａ、分割映像ｂの有効画素データをシフトする。本実施形態においては、制御部１３が予めシフト量を下に８ラインと指定しているため、映像シフト部１１−ａ、映像シフト部１１−ｂは、この分割映像ａ、分割映像ｂを下に８ライン分だけそれぞれシフトし、１０８０ｉフォーマットの分割映像ａ及び分割映像ｂの上部に８ラインを付加する。
このとき、シフトした後の映像の上8ライン部分に入れる画素データは任意だが、ここでは黒一色で埋められるものとする。
そして、映像シフト部１１−ａ、映像シフト部１１−ｂは、さらに、分割映像ａ及び分割映像ｂの下部の８ラインを廃棄し、有意な画素領域が分割映像ａ及び分割映像ｂの上端より１０７２ラインとなった１０８０ｉフォーマットの分割映像ａ、分割映像ｂを出力する。
【００７０】
この分割映像ａ及び分割映像ｂの出力映像と、符号化前の分割映像ａ及び分割映像ｂの入力映像とを比較した場合、上部８ラインが廃棄され黒一色となっているが、分割映像ａ及び分割映像ｂにおける、それ以外の有効画素の位置関係は変化していない。
また、分割映像ａ及び分割映像ｂにおける、画面下端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面最下端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
また、このとき有意な画素領域の境界である上端より１０７２ライン目と１０７３ライン目の境界は、ＭＰＥＧ−２で符号化する場合、フレームピクチャであれば必ず分割したブロックの境界と一致するため、有意画素領域境界に、境界外が侵食したように見える画質劣化を防ぐことができる効果が得られる。
また、フィールドピクチャであっても、輝度ブロック境界には一致し、422クロマフォーマットの場合は色差ブロック境界にも一致する。
【００７１】
映像復号化部１２−ｃ、映像復号化部１２−ｄは、符号化ストリームｃ、符号化ストリームｄの復号化処理開始を受けて、それぞれ符号化ストリームｃ、符号化ストリームｄを入力する。
次に、映像復号化部１２−ｃ、映像復号化部１２−ｄは、この符号化ストリームｃ、符号化ストリームｄを復号化し、復号化によって得られる１０８８ラインの分割映像ｃ、分割映像ｄの下部の８ラインをそれぞれ廃棄する。
そして、映像復号化部１２−ｃ、映像復号化部１２−ｄは、この８ライン破棄により、１０８０ラインとなった１０８０ｉフォーマットの分割映像ｃ及び分割映像ｄを映像シフト部１１−ｃ、映像シフト部１１−ｄに対して出力する。
映像シフト部１１−ｃ、映像シフト部１１−ｄは、制御部１３よりシフト量の指定値を受けて、この値に基づいて、入力された１０８０ｉフォーマットの分割映像ｃ、分割映像ｄの有効画素データをシフトする。本実施形態においては、制御部１３が予めシフト量を０ラインと指定しているため、映像シフト部１１−ｃ、映像シフト部１１−ｄは、この分割映像ｃ、分割映像ｄをシフトせずに、有意な画素領域が分割映像ｃ及び分割映像ｄの上端より１０７２ラインとなった１０８０ｉフォーマットの分割映像ｃ、分割映像ｄを出力する。
【００７２】
この分割映像ｃ及び分割映像ｄの出力映像と、符号化前の分割映像ｃ及び分割映像ｄの入力映像とを比較した場合、分割映像ｃ及び分割映像ｄにおける有効画素の位置関係は符号化・復号化の前後で変化しない。
また、分割映像ｃ及び分割映像ｄにおける、画面上端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面上端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
【００７３】
以上説明したように、復号化した、左上の分割映像ａ、右上の分割映像ｂ、左下の分割映像ｃ、右下の分割映像ｄの４つの分割映像を表示システムに入力する場合、４つの映像の有効領域を連結して表示させた際に、大画面の分割の境界、すなわち、左上の分割映像ａと右上の分割映像ｂとの境界、左下の分割映像ｃと右下の分割映像ｄとの境界、左上の分割映像ａと左下の分割映像ｃとの境界、及び右上の分割映像ｂと右下の分割映像ｄとの境界の４つの境界において、目立った画質劣化を防ぐことができるという効果を得ることができる。
また、本実施形態の映像復号化装置及び映像復号化装置によれば、符号化装置内の映像シフト部から映像符号化部への入力、復号装置内の各復号部から映像シフト部への出力が１０８０ｉフォーマットに限られているため、既存の１０８０ｉ対応の符号化装置、復号装置をそれぞれ各符号化部、各復号部へそのまま適用できる効果が得られる。
【００７４】
次に、図面を参照して本発明の映像符号化装置及び映像復号化装置の第５の実施形態について図面を参照して説明する。図２１は本実施形態の映像符号化装置の構成図及び図２２は本実施形態の映像復号化装置の構成図である。本実施形態の映像符号化装置及び映像復号化装置が第４の実施形態の映像符号化装置及び映像復号化装置と異なる点は、映像符号化装置において、新たに自動判定部４−ａ〜４−ｄを設けた点である。
以下、第４実施形態と共通する点については説明を省略し、これと異なる点について説明する。
【００７５】
図２１に示すように、本実施形態の映像符号化装置は、映像シフト部１−ａ〜１−ｄ、映像符号化部２−ａ〜２−ｄ、制御部３、自動判定部４−ａ〜４−ｄとから構成される。
自動判定部４−ａ〜４−ｄは、制御部３が映像シフト部１−ａ〜１−ｄに対して指定するシフト量を算出処理を行う。
【００７６】
また、図２０に示すように、本実施形態の映像復号化装置は、映像シフト部１１−ａ〜１１−ｄ、映像復号化部１２−ａ〜１２−ｄ、制御部１３とから構成される。
【００７７】
次に、本実施形態の映像符号化装置及び映像復号化装置の動作について説明する。
まず、分割映像ａ〜ｄについて、自動判定部４−ａ〜４−ｄは、符号化処理開始を受けて、それぞれ分割映像ａ〜ｄを入力する。
自動判定部４−ａ〜４−ｄは、この入力された各チャネルの分割映像ａ〜ｄの有意画素領域と非有意画素領域の範囲の判定処理を開始する。
すなわち、自動判定部４−ａ〜４−ｄは、まず分割映像ａ〜ｄそれぞれの一番上のラインの全ての画素の画素値を検査する。
このとき、ラインの全ての画素の画素値が0であれば、このラインは非有意画素領域であると判定する。
次に、自動判定部４−ａ〜４−ｄは、順に下のラインに向かって検査し、検査対象のラインの全ての画素の画素値が0であるという条件が成り立たなくなったラインから下は、有意画素領域であると判定する。
【００７８】
また、自動判定部４−ａ〜４−ｄは、同様に、一番下のラインの全ての画素の画素値を検査する。
このとき、ラインの全ての画素の画素値が0であれば、このラインは非有意画素領域であると判定する。
次に、自動判定部４−ａ〜４−ｄは、順に上のラインに向かって検査し、検査対象のラインの全ての画素の画素値が0であるという条件が成り立たなくなったラインから上は、有意画素領域であると判定する。
【００７９】
また、自動判定部４−ａ〜４−ｄは、垂直方向の画素の集合（以下、カラムという）についても同様の手順で有意画素領域／非有意画素領域の判定を行う。
すなわち、自動判定部４−ａ〜４−ｄは、分割映像ａ〜ｄの一番左のカラムの全ての画素の画素値を検査する。
このとき、カラムの全ての画素の画素値が0であれば、このカラムは非有意画素領域であると判定する。
次に、自動判定部４−ａ〜４−ｄは、順に右のラインに向かって検査し、検査対象のカラムの全ての画素の画素値が0であるという条件が成り立たなくなったカラムから右は、有意画素領域であると判定する。
【００８０】
また、自動判定部４−ａ〜４−ｄは、同様に、一番右のカラムの全ての画素の画素値を検査する。
このとき、ラインの全ての画素の画素値が0であれば、このカラムは非有意画素領域であると判定する。
次に、自動判定部４−ａ〜４−ｄは、順に左のカラムに向かって検査し、検査対象のカラムの全ての画素の画素値が0であるという条件が成り立たなくなったラインから上は、有意画素領域であると判定する。
【００８１】
以上の手順により、自動判定部４−ａ〜４−ｄは、フレーム内の矩形の有意画素領域と、それ以外の非有意画素領域とを判定する。
そして、自動判定部４−ａ〜４−ｄは、これと同様の手順で数フレーム（例えば９０フレーム）に対して検査を行い、有意画素領域、非有意画素領域の位置や大きさが、フレームごとに変動する場合、それを全て包含する矩形の領域を有意画素領域として決定する。
【００８２】
具体的には、自動判定部４−ａ〜４−ｄは、図２３、図２４に示すフローチャートに従って、有意画素領域の判定処理を行う。
ここで、水平方向Ｘ画素、水平方向Ｙラインのサイズの映像有効領域の第ｙライン、第ｘ画素目の画素値（１≦ｙ≦Ｙ、１≦ｘ≦Ｘ）をＩ（ｘ，ｙ）と表すこととし、今、図２５に示すように、有意画素の範囲は（Ｌ≦ｘ≦Ｒ、Ｔ≦ｙ≦Ｂ）であるとする。
まず自動判定部４−ａ〜４−ｄは、初期値ｙ＝１、ｘ＝１をセットし（図２３のステップＳ２００、Ｓ２０１）、Ｉ（１、１）が０と等しいか否かを判定する。本実施形態では、Ｉ（１、１）＝０より（ステップＳ２０２でＹｅｓ）、さらに、ｘ（＝１）がＸ以上であるかを判定する（ステップＳ２０３）。ここで、ｘはＸ以上ではないので（ステップＳ２０３でＮｏ）、ｘに１を足して、ｘ＝２となる（ステップＳ２０４）。以下、ステップＳ２０２〜Ｓ２０４を、Ｉ（ｘ、ｙ）≠０、又は、ｘ＝Ｘとなるまで繰り返す。
【００８３】
本実施形態では、第１ラインの画素値は、すべて０なので、ｘ＝Ｘとなった時点で（ステップＳ２０３でＹｅｓ）、ｙ（＝１）がＹ以上であるかを判定する（ステップＳ２０５）。ここで、ｙはＹ以上ではないので（ステップＳ２０５でＮｏ）、ｙに１を足して、ｙ＝２となる（ステップＳ２０６）。そして、再度ｘ＝１として（ステップＳ２０１）、以下、ステップＳ２０２〜Ｓ２０４を、Ｉ（ｘ、ｙ）≠０、又は、ｘ＝Ｘとなるまで繰り返す。
そして、ｘ＝Ｘとなった時点で（ステップＳ２０３でＹｅｓ）、再度、ｙに１を足して、ｙ＝３とし（ステップＳ２０６）、以下、ステップＳ２０１〜Ｓ２０６を、Ｉ（ｘ、ｙ）≠０となるまで繰り返す。
本実施形態では、ｘ＝Ｌ、ｙ＝Ｔとなった時点でＩ（Ｌ、Ｔ）≠０となり（ステップＳ２０２でＮｏ）、このときのｙの値をＴとする（ステップＳ２０７）。
【００８４】
次に、自動判定部４−ａ〜４−ｄは、初期値ｙ＝Ｙ、ｘ＝１をセットし（図２３のステップＳ２０８、Ｓ２０９）、Ｉ（１、１）が０と等しいか否かを判定する。本実施形態では、Ｉ（１、Ｙ）＝０より（ステップＳ２１０でＹｅｓ）、さらに、ｘ（＝１）がＸ以上であるかを判定する（ステップＳ２１１）。ここで、ｘはＸ以上ではないので（ステップＳ２１１でＮｏ）、ｘに１を足して、ｘ＝２となる（ステップＳ２１２）。以下、ステップＳ２１０〜Ｓ２１２を、Ｉ（ｘ、ｙ）≠０、又は、ｘ＝Ｘとなるまで繰り返す。
【００８５】
本実施形態では、第Ｙラインの画素値は、すべて０なので、ｘ＝Ｘとなった時点で（ステップＳ２１１でＹｅｓ）、ｙ（＝１）が０以下であるかを判定する（ステップＳ２１３）。ここで、ｙは０以下ではないので（ステップＳ２１３でＮｏ）、ｙから１を引いて、ｙ＝Ｙ−１となる（ステップＳ２１４）。そして、再度ｘ＝１として（ステップＳ２０９）、以下、ステップＳ２１０〜Ｓ２１２を、Ｉ（ｘ、ｙ）≠０、又は、ｘ＝Ｘとなるまで繰り返す。
そして、ｘ＝Ｘとなった時点で（ステップＳ２１１でＹｅｓ）、再度、ｙから１を引いて、ｙ＝Ｙ−２とし（ステップＳ２１４）、以下、ステップＳ２０９〜Ｓ２１４を、Ｉ（ｘ、ｙ）≠０となるまで繰り返す。
本実施形態では、ｘ＝Ｌ、ｙ＝Ｂとなった時点でＩ（Ｌ、Ｂ）≠０となり（ステップＳ２１０でＮｏ）、このときのｙの値をＢとする（ステップＳ２１５）。
【００８６】
次に、自動判定部４−ａ〜４−ｄは、初期値ｙ＝１、ｘ＝１をセットし（図２４のステップＳ３００、Ｓ３０１）、Ｉ（１、１）が０と等しいか否かを判定する。本実施形態では、Ｉ（１、１）＝０より（ステップＳ３０２でＹｅｓ）、さらに、ｙ（＝１）がＹ以上であるかを判定する（ステップＳ３０３）。ここで、ｙはＹ以上ではないので（ステップＳ３０３でＮｏ）、ｙに１を足して、ｙ＝２となる（ステップＳ３０４）。以下、ステップＳ３０２〜Ｓ３０４を、Ｉ（ｘ、ｙ）≠０、又は、ｙ＝Ｙとなるまで繰り返す。
【００８７】
本実施形態では、第１カラムの画素値は、すべて０なので、ｙ＝Ｙとなった時点で（ステップＳ３０３でＹｅｓ）、ｘ（＝１）がＸ以上であるかを判定する（ステップＳ３０５）。ここで、ｘはＸ以上ではないので（ステップＳ３０５でＮｏ）、ｘに１を足して、ｘ＝２となる（ステップＳ３０６）。そして、再度ｙ＝１として（ステップＳ３０１）、以下、ステップＳ３０２〜Ｓ３０４を、Ｉ（ｘ、ｙ）≠０、又は、ｙ＝Ｙとなるまで繰り返す。
そして、ｙ＝Ｙとなった時点で（ステップＳ３０３でＹｅｓ）、再度、ｘに１を足して、ｘ＝２とし（ステップＳ３０６）、以下、ステップＳ３０１〜Ｓ３０６を、Ｉ（ｘ、ｙ）≠０となるまで繰り返す。
本実施形態では、ｘ＝Ｌ、ｙ＝Ｔとなった時点でＩ（Ｌ、Ｔ）≠０となり（ステップＳ３０２でＮｏ）、このときのｘの値をＬとする（ステップＳ３０７）。
【００８８】
次に、自動判定部４−ａ〜４−ｄは、初期値ｘ＝Ｘ、ｙ＝１をセットし（図３３のステップＳ３０８、Ｓ３０９）、Ｉ（Ｘ、１）が０と等しいか否かを判定する。本実施形態では、Ｉ（Ｘ、１）＝０より（ステップＳ３１０でＹｅｓ）、さらに、ｙ（＝１）がＹ以上であるかを判定する（ステップＳ３１１）。ここで、ｙはＹ以上ではないので（ステップＳ３１１でＮｏ）、ｙに１を足して、ｙ＝２となる（ステップＳ３１２）。以下、ステップＳ３１０〜Ｓ３１２を、Ｉ（ｘ、ｙ）≠０、又は、ｙ＝Ｙとなるまで繰り返す。
【００８９】
本実施形態では、第１カラムの画素値は、すべて０なので、ｙ＝Ｙとなった時点で（ステップＳ３１１でＹｅｓ）、ｘ（＝１）が０以下であるかを判定する（ステップＳ３１３）。ここで、ｘは０以下ではないので（ステップＳ３１３でＮｏ）、ｘから１を引いて、ｘ＝Ｘ−１となる（ステップＳ３１４）。そして、再度ｙ＝１として（ステップＳ３０９）、以下、ステップＳ３１０〜Ｓ３１２を、Ｉ（ｘ、ｙ）≠０、又は、ｙ＝Ｙとなるまで繰り返す。
そして、ｙ＝Ｙとなった時点で（ステップＳ３１１でＹｅｓ）、再度、ｘから１を引いて、ｘ＝Ｘ−２とし（ステップＳ３１４）、以下、ステップＳ３０９〜Ｓ３１４を、Ｉ（ｘ、ｙ）≠０となるまで繰り返す。
本実施形態では、ｘ＝Ｌ、ｙ＝Ｂとなった時点でＩ（Ｌ、Ｂ）≠０となり（ステップＳ３０３）、このときのｘの値をＬとする（ステップＳ３１５）。
【００９０】
以上の手順により、自動判定部４−ａ〜４−ｄは、有意画素領域情報Ｌ、Ｒ、Ｔ、Ｂを決定し、これを制御部３へ送る（ステップＳ３１６）。
制御部３は、それぞれのチャネルの分割映像ａ〜ｄの有意画素領域と非有意画素領域のサイズの情報と、あらかじめ設定されているそれぞれのチャネルが大画面のうちのどの位置の分割領域であるかという情報をもとに、それぞれのチャネルの映像のシフト量を決定する。
このとき、左上の分割映像ａのシフト量は、有意画素領域の右端と下端の境界が符号化時の符号化ブロック境界と一致するようなシフト量とする。
また、右上の分割映像ｂのシフト量は、有意画素領域の左端と下端の境界が符号化時の符号化ブロック境界と一致するようなシフト量とする。
また、左下の分割映像ｃのシフト量は、有意画素領域の右端と上端の境界が符号化時の符号化ブロック境界と一致するようなシフト量とする。
また、右下の分割映像ｄのシフト量は、有意画素領域の左端と上端の境界が符号化時の符号化ブロック境界とするようなシフト量とする。
【００９１】
具体的には、制御部３は、図２６に示すフローチャートに従って、シフト量の判定処理を行う。
すなわち、自動判別器４−ａ〜４−ｄから有意画素領域情報Ｌ、Ｒ、Ｔ、Ｂを受けて（図２６のステップＳ４００）、制御部３は、分割映像が左下の画像であれば（ステップＳ４０１でＹｅｓ）、
水平方向シフト量＝１−Ｌ
垂直方向シフト量＝１−Ｔ
とする（ステップＳ４０２）。また、分割映像が右下の画像であれば（ステップＳ４０３でＹｅｓ）、
水平方向シフト量＝Ｘ−Ｒ
垂直方向シフト量＝１−Ｔ
とする（ステップＳ４０４）。また、分割映像が右上の画像であれば（ステップＳ４０５でＹｅｓ）、
水平方向シフト量＝１−Ｌ
垂直方向シフト量＝Ｙ−Ｂ
とする（ステップＳ４０６）。また、分割映像が左上の画像であれば（ステップＳ４０７でＹｅｓ）、
水平方向シフト量＝Ｘ−Ｒ
垂直方向シフト量＝Ｙ−Ｂ
とする（ステップＳ４０８）。
そして、以上決定した水平方向シフト量、及び垂直方向シフト量を対応する映像シフト部１−ａ〜１−ｄ、映像符号化部２−ａ〜２−ｄに対して送る（ステップＳ４０９）。
【００９２】
映像シフト部１−ａ〜１−ｄは制御部３が出力するこれらのシフト量に基づいて、分割映像ａ〜ｄをそれぞれシフトする。
映像符号化部２−ａ〜２−ｄは、シフト後の分割映像ａ〜ｄと、上記決定した水平方向シフト量、及び垂直方向シフト量との入力を受けて、この各分割領域映像を符号化し、これによって生成されるビットストリームのユーザ領域に各チャネルのシフト量を埋め込んだ後、これを出力する。
【００９３】
映像復号化部１２−ａ〜１２−ｄは、符号化ストリームａ〜ｄの復号化処理開始を受けて、それぞれ符号化ストリームａ〜ｄを入力する。
次に、映像復号化部１２−ａ〜１２−ｄは、この符号化ストリームａ〜ｄを復号化して映像シフト部１１−ａ〜１１−ｄに対して出力するとともに、復号化したビットストリームからユーザ領域から、各チャネルのシフト量を読み出して、制御部１３に対してシフト量を指定する。
【００９４】
映像シフト部１１−ａ〜１１−ｄは、制御部１３よりシフト量の指定値を受けて、この値に基づいて、入力された分割映像ａ〜ｄの有効画素データをシフトした後、分割映像ａ〜ｄを出力する。
【００９５】
以上説明したように、第１から第５の実施形態の動画像符号化・復号化装置によれば、符号化復号された大画面映像の分割映像は、それぞれ互いの分割映像との境界が符号化劣化の影響を大きく受けることなく鮮明であり、これにより、それらの出力された各分割映像を表示システムに入力し、各分割映像の有効領域を連結して表示させた際に、大画面の分割の境界において、特に目立った劣化が生じないという際立った効果を得ることができる。
また、それぞれの分割映像のうち、互いの分割映像に接していない方の有意画素領域境界に関しては符号化劣化の影響を受け、境界が鮮明ではない場合がありうるが、これは大画面映像において、画面の端の部分に相当しているため、通常知覚されにくく実用上大きな問題となることは少ない。
さらに、大画面映像の分割領域境界の付近で、符号化ブロックのサイズが一定で変わらないため、ブロック状の歪みが出た際に目立ちに行くいという効果もある。
【００９６】
上述の映像符号化装置及び映像復号化装置は内部に、コンピュータシステムを有している。そして、上述した映像符号化及び復号化に関する一連の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００９７】
【発明の効果】
以上説明したように、本発明は、画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する映像符号化方法において、分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の分割映像と隣接する境界が、符号化ブロック境界と一致するように、当該分割映像をシフトし、符号化するので、分割映像の有意画素領域の境界のうち、他の分割映像と隣接する境界が、符号化劣化の影響を大きく受けることなく、鮮明な復号映像を得ることができる効果が得られる。
【図面の簡単な説明】
【図１】第１の実施形態における、分割映像ａ、ｂの映像符号化のフローチャートである。
【図２】第１の実施形態における、分割映像ｃ、ｄの映像符号化のフローチャートである。
【図３】第１の実施形態における、分割映像ａ、ｂの映像復号化のフローチャートである。
【図４】第１の実施形態における、分割映像ｃ、ｄの映像復号化のフローチャートである。
【図５】１つの大画面映像を４つの1０8０ｉフォーマットの分割映像ａ〜ｄで構成する様子を示す説明図である。
【図６】第１の実施形態における分割映像ａ〜ｄの有意画素領域の配置を示す説明図である。
【図７】第２の実施形態における、分割映像ａ、ｂの映像符号化のフローチャートである。
【図８】第２の実施形態における、分割映像ｃ、ｄの映像符号化のフローチャートである。
【図９】第２の実施形態における、分割映像ａ、ｂの映像復号化のフローチャートである。
【図１０】第２の実施形態における、分割映像ｃ、ｄの映像復号化のフローチャートである。
【図１１】第２の実施形態における分割映像ａ〜ｄの有意画素領域の配置を示す説明図である。
【図１２】第３の実施形態における、分割映像ａ、ｂの映像符号化のフローチャートである。
【図１３】第３の実施形態における、分割映像ｃ、ｄの映像符号化のフローチャートである。
【図１４】第３の実施形態における、分割映像ａ、ｂの映像復号化のフローチャートである。
【図１５】第３の実施形態における、分割映像ｃ、ｄの映像復号化のフローチャートである。
【図１６】１つの大画面映像を４つの1０３５ｉフォーマットの分割映像ａ〜ｄで構成する様子を示す説明図である。
【図１７】第３の実施形態における分割映像ａ〜ｄの有意画素領域の配置を示す説明図である。
【図１８】シフト前とシフト後における、マクロブロック境界の位置関係を示す説明図である。
【図１９】第４の実施形態における、映像符号化装置の構成図である。
【図２０】第４の実施形態における、映像復号化装置の構成図である。
【図２１】第５の実施形態における、映像符号化装置の構成図である。
【図２２】第５の実施形態における、映像復号化装置の構成図である。
【図２３】第５の実施形態における、シフト量算出処理の過程を示すフローチャートである。
【図２４】第５の実施形態における、シフト量算出処理の過程を示すフローチャートである。
【図２５】第５の実施形態における、有意画素領域の範囲を示す説明図である。
【図２６】水平方向シフト量及び垂直方向シフト量の算出処理の過程を示すフローチャートである。
【符号の説明】
１−ａ〜１−ｄ、１１−ａ〜１１−ｄ…映像シフト部
２−ａ〜２−ｄ…映像符号化部
３、１３…制御部
４−ａ〜４−ｄ…自動判定部
１２−ａ〜１２−ｄ…映像復号化部
【発明の属する技術分野】
本発明は、大画面映像を空間的に分割し、複数のエンコーダで符号化・復号を行なう映像符号化装置及び映像復号化装置及びその方法並びにそのプログラムに関する。
【０００２】
【従来の技術】
一般に映像をブロックベースの符号化方式で符号化する場合、符号化領域のサイズを符号化処理ブロックサイズの倍数となるようにする制限から、適当な数のライン、または画素を付加して符号化することが行なわれる。
たとえば、一般的な映像フォーマットとして、１０８０ｉフォーマット（特許文献１を参照）がある。このフォーマットは毎秒２９．９７又は３０フレームのインタレース映像で、総走査線数１１２５本、有効画素領域が水平方向１９２０画素、垂直方向１０８０画素（ライン）の映像信号である。この映像信号の有効画素領域をＭＰＥＧ−２（特許文献２を参照）で符号化する場合、符号化領域の垂直方向サイズを３２の倍数の画素（ライン）数とするという制限から、１９２０画素×１０８０画素の映像の下端に8ライン分適当なデータを付加し１９２０画素×１０８８画素の映像を作り、これを符号化する方法が一般的である。
このとき、画面上端、画面左右端は有効画素領域境界とマクロブロック境界が一致しているが、画面下端は有効画素領域境界とマクロブロック境界が一致していない。
【０００３】
また、別の一般的な映像フォーマットとして、１０３５ｉフォーマットがある。このフォーマットは毎秒２９．９７又は３０フレームのインタレース映像で、総走査線数１１２５本、有効画素領域が水平方向１９２０画素、垂直方向１０３５画素（ライン）である。
１０３５ｉフォーマットと１０８０ｉフォーマットは共に総走査線１１２５本で同じであり、有効画素領域の位置とサイズだけが異なる関係にあるため、元は１０３５ｉフォーマットの映像を１０８０ｉフォーマットの映像として処理する場合がある。この場合、総走査線１１２５ラインに対する１０８０ｉ映像と１０３５ｉ映像の有効領域の相対位置により、１０８０ｉ映像の有効画素領域の第４０ライン目から第１０７４ライン目の領域に元の１０３５ｉ映像において有効画素であった本来有意な画素が配置される。
【０００４】
このように、映像フォーマット規格で規定されている有効画素領域とは別に、本来の映像パターンの画素データが配置されている画素領域を、以下、有意な画素の領域、または有意画素領域と呼ぶことにする。
このような映像信号をＭＰＥＧ−２で符号化する場合、画面左右端は本来有意な画素の領域の境界とマクロブロック境界が一致しているが、画面上端、画面下端はともに本来有意な画素の領域境界マクロブロック境界と一致していない。
有意な画素の領域境界の外側のデータが黒一色や制御用データなど、画像内容と特に相関のない信号であった場合には、上記のような、本来の有意な画素の領域境界とマクロブロック境界と一致していない有意な画素の領域境界付近において、符号化劣化によってその領域境界がぼやけ、有意な画素の領域外のパターンが有意な画素の領域に侵食したような復号映像になる場合がある。
しかし、このような現象は、画面の端のみに見られるため、通常知覚されにくく実用上大きな問題となることは少ない。
【０００５】
【非特許文献１】
シンプティ２７４Ｍ（ＳＭＰＴＥ２７４Ｍ） 「１９２０×１０８０ スキャニング アンド アナログ アンド パラレル デジタルインターフェイス フォー マルチプルピクチャーレイツ（ｓｃａｎｎｉｎｇ ａｎｄ Ａｎａｌｏｇ ａｎｄ Ｐａｒａｌｌｅｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｐｉｃｔｕｒｅ Ｒａｔｅｓ）」 全米映画テレビジョン技術者協会（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ） １９９８
【非特許文献２】
アイエスオー／アイイーシー１３８１８−２（ＩＳＯ／ＩＥＣ１３８１８−２） エムペグ−２（ＭＰＥＧ−２：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ２） 国際標準化機関（Ｉｎｔｅｒｎａｔｉｎａｌ Ｓｔａｎｄａｒｄ） １９９５
【０００６】
【発明が解決しようとする課題】
一方、近年ＨＤＴＶを超える解像度をもつ大画面映像の撮像システムや、表示システムが開発されている。このような撮像システムにおいては、１つの大画面映像を複数の矩形の領域に分割し、それぞれの分割領域の映像を既存の映像フォーマット信号にのせて出力するものが多い。また、表示システムについても、大画面映像の各分割領域の映像信号がのった既存の映像フォーマットの分割映像信号を表示システムに入力し、分割映像を繋ぎ合わせて１つの大画面映像を表示するものが多い。
このような大画面映像を符号化・伝送・復号する際に、大画面映像の各分割映像信号が、既存の映像フォーマット信号であるため、既存の映像フォーマット信号に対応した映像符号化・復号装置を用いて各分割映像信号の符号化・伝送・復号を行なうことができる。
【０００７】
しかしこの際に、前述のように、各分割映像において有意な画素の領域境界とマクロブロック境界が一致していない部分が存在した場合、有意な画素領域外のパターンが有意な画素領域に侵食したような符号化劣化が発生する。そして、その領域境界が大画面映像を構成する他の分割映像との境界であった場合、分割映像を繋ぎ合わせて大画面映像を表示した際に、その劣化が画面内の分割境界に沿って非常に良く目立つという問題が発生する。
【０００８】
このような問題を解決する本発明とは異なる手段としては、パディングによる方法がある。符号化対象領域内の有意画素領域以外の非有意画素領域の各画素について、その画素から最も近い有意画素領域の画素の画素値をコピーする方法があり、このような方法をパディングという。
【０００９】
この方法については、非有意画素領域の各画素について、はじめに有意画素領域の境界の画素の画素値を水平方向にコピーしていき、それが終わった後、垂直方向に画素値をコピーしていく方法や、その逆順で行なう方法など、いくつかの方法がある。このような処理を行なってから、符号化を行なうことで、有意画素領域と非有意画素領域の境界付近における画素値の値が連続的な値となり、有意画素領域画像の境界内の映像パターンに境界外の映像パターンが侵食し、視覚的に劣化が目立つという現象を減じることができる。また、復号後は、パディングされた非有意画素領域のデータはそれ以降の処理で参照されないのが一般的であるので、改めて黒データで起きかえるなどの処理は行なわないことが多い。しかし、この方法は、パディング処理が行なわれた非有意画素領域の水平方向もしくは垂直方向の交流成分がないなど、有意画素領域内の画像パターンとは本質的に異なるため、対象画像内と対象画像外の画像は必ずしも同様の性質を持った画像ではないため、対象画像内の符号化パターンもその影響を受け、やや不自然なパターンと成る場合がありうる。
【００１０】
また、大画面映像の分割映像を通常の方法で符号化し、分割映像の有意画素領域の境界が符号化ブロックの境界が一致していない境界が存在し、その境界が他の分割領域との隣接境界である場合、復号された分割映像の有意画素領域を取り出し、それらを連結して大画面映像を生成した場合に、分割領域の隣接境界の両側の符号化ブロックは、その一部が非有意画素領域として廃棄されているため、他の領域のブロックサイズに比べ小さくなっており、画面全体を見た場合、隣接境界付近だけブロックサイズが不連続となっている。
符号化の画質があまり良くない場合、ブロックノイズと呼ばれる符号化ブロックサイズのブロック状の画質劣化が生じるが、規則的なサイズのブロックノイズが生じる場合に比べ、隣接境界付近に生じる非連続なサイズのブロックノイズは良く目立つという性質があり、視覚上良くない。また、このような問題はパディングを利用した方法を用いた場合についても生じてしまう。
【００１１】
本発明は、このような事情を考慮してなされたものであり、その目的は、分割映像の有意画素領域の境界のうち、他の分割映像と隣接する境界が、符号化劣化の影響を大きく受けることなく、鮮明な復号映像が得られる映像符号化装置及び映像復号化装置及びその方法並びにそのプログラムを提供することにある。
【００１２】
【課題を解決するための手段】
この発明は上記の課題を解決すべくなされたもので、請求項１に記載の発明は、画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する映像符号化方法において、前記分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように、当該分割映像をシフトし、符号化することを特徴とする。
【００１３】
請求項２に記載の発明は、請求項１に記載の映像符号化方法によって符号化された分割映像を復号化し、該復号化した分割映像の位置をシフト前の位置にシフトして出力することを特徴とする。
【００１４】
請求項３に記載の発明は、画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する映像符号化装置において、前記分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように当該分割映像をシフトさせる映像シフト部と、該シフトさせた分割画像を符号化する映像符号化部とを具備することを特徴とする。
【００１５】
請求項４に記載の発明は、請求項３に記載の映像符号化装置によって符号化された分割映像を復号化する映像復号化部と、該復号化した分割映像を該復号化した分割映像の位置をシフト前の位置にシフトして出力する映像シフト部とを具備することを特徴とする。
【００１６】
請求項５に記載の発明は、前記分割映像は、インタレース映像であり、該分割映像の上端が、当該分割映像以外の前記分割映像と隣接しており、かつ、該分割映像の有意画素領域の最上端のラインが、インタレース映像の第２フィールドに相当するラインである場合、または、該分割映像の下端が、当該分割映像以外の前記分割映像と隣接しており、かつ、該分割映像の有意画素領域の最下端のラインが、インタレース映像の第１フィールドに相当するラインである場合、該分割映像の符号化において、トップフィールドが第２フィールドであり、ボトムフィールドが第一フィールドとみなすことを特徴とする。
【００１７】
請求項６に記載の発明は、前記分割映像は、インタレース映像であり、前記映像符号化部は、前記シフトさせた分割画像の上端が、当該分割映像以外の前記分割映像と隣接しており、かつ、該分割映像の有意画素領域の最上端のラインが、インタレース映像の第２フィールドに相当するラインである場合、または、前記シフトさせた分割画像の下端が、当該分割映像以外の前記分割映像と隣接しており、かつ、該分割映像の有意画素領域の最下端のラインが、インタレース映像の第１フィールドに相当するラインである場合、該分割映像の符号化において、トップフィールドが第２フィールドであり、ボトムフィールドが第一フィールドとみなして、前記シフトさせた分割画像を符号化することを特徴とする。
【００１８】
請求項７に記載の発明は、画面映像を水平方向、垂直方向にそれぞれ２分割して得られる、左上、左下、右上、右下の４つの分割映像を符号化する映像符号化方法において、それぞれの分割映像の有意画素領域と非有意画素領域の境界について、前記左上の分割映像の右端と下端との境界が、符号化ブロック境界と一致するように、当該左上の映像をシフトし、前記右上の分割映像の左端と下端との境界が、符号化ブロック境界と一致するように、当該右上の映像をシフトし、前記左下の分割映像の右端と上端との境界が、符号化ブロック境界と一致するように、当該左下の映像をシフトし、前記右下の分割映像の左端と上端との境界が、符号化ブロック境界と一致するように、当該右下の映像をシフトし、該４つの分割映像を符号化することを特徴とする。
【００１９】
請求項８に記載の発明は、画面映像を水平方向、垂直方向にそれぞれ２分割して得られる左上、左下、右上、右下の４つの分割映像を符号化する映像符号化装置において、各分割映像の有意画素領域と非有意画素領域の境界について、前記左上の分割映像の右端と下端との境界が、符号化ブロック境界と一致するように、当該左上の映像をシフトさせる第１の映像シフト部と、該シフトさせた左上の分割画像を符号化する第１の映像符号化部と、前記右上の分割映像の左端と下端との境界が、符号化ブロック境界と一致するように、当該右上の映像をシフトさせる第２の映像シフト部と、該シフトさせた右上の分割画像を符号化する第２の映像符号化部と、前記左下の分割映像の右端と上端との境界が、符号化ブロック境界と一致するように、当該左下の映像をシフトさせる第３の映像シフト部と、該シフトさせた左下の分割画像を符号化する第３の映像符号化部と、前記右下の分割映像の左端と上端との境界が、符号化ブロック境界と一致するように、当該右下の映像をシフトさせる第４の映像シフト部と、該シフトさせた右下の分割画像を符号化する第４の映像符号化部とを具備することを特徴とする。
【００２０】
請求項９に記載の発明は、前記分割映像をシフトさせるシフト量は、前記分割映像の有意画素領域及び非有意画素領域を判定し、該判定した有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように決定されることを特徴とする。
【００２１】
請求項１０に記載の発明は、前記映像シフト部は、さらに、前記分割映像の有意画素領域及び非有意画素領域を判定し、該判定した有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように、前記分割映像をシフトさせるシフト量を決定することを特徴とする。
【００２２】
請求項１１に記載の発明は、前記分割映像の符号化時に、前記決定されるシフト量を、当該分割映像の符号化により生成されるビットストリームのユーザ領域に書きこむことを特徴とする。
【００２３】
請求項１２に記載の発明は、請求項９に記載の映像符号化方法によって符号化された分割映像を復号化し、前記ビットストリームのユーザ領域より、前記シフト量を読み出し、該シフト量に基づいて、該復号化した分割映像の位置をシフト前の位置にシフトして出力することを特徴とする。
【００２４】
請求項１３に記載の発明は、前記映像符号化部は、さらに、前記分割映像の符号化時に、前記決定されるシフト量を、当該分割映像の符号化により生成されるビットストリームのユーザ領域に書きこむことを特徴とする。
【００２５】
請求項１４に記載の発明は、前記映像復号化部は、請求項１０に記載の映像符号化装置によって符号化された分割映像を復号化し、前記ビットストリームのユーザ領域より、前記シフト量を読み出し、該シフト量に基づいて、該復号化した分割映像の位置をシフト前の位置にシフトして出力することを特徴とする。
【００２６】
請求項１５に記載の発明は、画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する処理をコンピュータに実行させるための映像符号化プログラムであって、前記分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように当該分割映像をシフトさせる処理と、該シフトさせた分割画像を符号化する処理とをコンピュータに実行させるための映像符号化プログラムである。
【００２７】
請求項１６に記載の発明は、請求項１５に記載の映像符号化プログラムをコンピュータが実行することによって、符号化された分割映像を復号化する処理と、該復号化した分割映像の位置をシフト前の位置にシフトして出力する処理とをコンピュータに実行させるための映像復元化プログラムである。
【００２８】
請求項１７に記載の発明は、画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する処理をコンピュータに実行させるための映像符号化プログラムを記憶する記憶媒体であって、前記分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように当該分割映像をシフトさせる処理と、該シフトさせた分割画像を符号化する処理とをコンピュータに実行させるための映像符号化プログラムを記憶する記憶媒体である。
【００２９】
請求項１８に記載の発明は、請求項１５に記載の映像符号化プログラムを、コンピュータが実行することによって符号化された分割映像を復号化する処理と、該復号化した分割映像の位置をシフト前の位置にシフトして出力する処理とをコンピュータに実行させるための映像復元化プログラムを記憶する記憶媒体である。
【００３０】
【発明の実施の形態】
以下、図面を参照して本発明の映像符号化方法及び映像復号化方法の第１の実施形態について図面を参照して説明する。図１、図２は本実施形態の映像符号化方法のフローチャート及び図３、図４は本実施形態の映像復号化方法のフローチャートである。本実施形態の映像符号化方法及び映像復号化方法では、図５に示す、１つの大画面映像を構成する田の字型に配置された４つの1０8０ｉフォーマットの分割映像ａ〜ｄを符号化及び復号化する。
【００３１】
まず左上の分割映像ａ及び右上の分割映像ｂを符号化する処理の流れについて説明する。
まず、左上の分割映像ａ及び右上の分割映像ｂの符号化処理開始を受けて、左上の分割映像ａ、右上の分割映像ｂを入力する（図１のステップＳ１）。
次に、左上の分割映像ａ及び右上の分割映像ｂについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが32の倍数である必要に基づいて、１０８０ｉフォーマット映像、つまり有効領域画素が１０８０ラインである分割映像ａ及び分割映像ｂの上部に、さらに、８ラインを付加する（ステップＳ２）。このとき、付加される8ラインに入れる画素データは、任意であるが、本実施形態ではこの8ラインの画素は黒一色で埋められるものとする。
次に、８ラインが付加されて、３２の倍数となった１０８８ラインとなった分割映像ａ及び分割映像ｂをＭＰＥＧ−２で符号化する（ステップＳ３）。
すなわち、図６に示すように、入力された分割映像ａ及び分割映像ｂの有効画素である有意な画素は、１０８８ラインの符号化領域のうち、分割映像ａ及び分割映像ｂの下端より１０８０ラインに配置されて、符号化される。
このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ａ及び分割映像ｂは、符号化ストリームａ、符号化ストリームｂとして出力される（ステップＳ４）。
【００３２】
次に左下の分割映像ｃ及び右下の分割映像ｄを符号化する処理の流れについて説明する。
まず、左下の分割映像ｃ及び右下の分割映像ｄの符号化処理開始を受けて、左下の分割映像ｃ、右下の分割映像ｄを入力する（図２のステップＳ１１）。
次に、左下の分割映像ｃ及び右下の分割映像ｄについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが32の倍数である必要に基づいて、１０８０ｉフォーマット映像、つまり有効領域画素が１０８０ラインである分割映像ｃ及び分割映像ｄの下部に、さらに、８ラインを付加する（ステップＳ１２）。このとき、付加される8ラインに入れる画素データは、任意であるが、本実施形態ではこの8ラインの画素は黒一色で埋められるものとする。
次に、８ラインが付加されて、３２の倍数となった１０８８ラインとなった分割映像ｃ及び分割映像ｄをＭＰＥＧ−２で符号化する（ステップＳ１３）。
すなわち、図６に示すように、入力された分割映像ｃ及び分割映像ｄの有効画素である有意な画素は、１０８８ラインの符号化領域のうち、分割映像ｃ及び分割映像ｄの上端より１０８０ラインに配置されて、符号化される。
このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ｃ及び分割映像ｄは、符号化ストリームｃ、符号化ストリームｄとして出力される（ステップＳ１４）。
【００３３】
次に、左上の分割映像ａ及び右上の分割映像ｂを復号化する処理の流れについて説明する。
まず、符号化ストリームａ、符号化ストリームｂの復号化処理開始を受けて、符号化ストリームａ、符号化ストリームｂを入力する（図３のステップＳ３１）。
次に、この符号化ストリームａ、符号化ストリームｂを復号化し（ステップＳ３２）、復号化によって得られる１０８８ラインの分割映像ａ及び分割映像ｂの上部の８ラインを廃棄する（ステップＳ３３）。
そして、この８ライン破棄により、１０８０ラインとなった１０８０ｉフォーマットの分割映像ａ及び分割映像ｂを出力する（ステップＳ３４）。
【００３４】
この分割映像ａ及び分割映像ｂの出力映像と、符号化前の分割映像ａ及び分割映像ｂの入力映像とを比較した場合、分割映像ａ及び分割映像ｂにおける有効画素の位置関係は符号化・復号化の前後で変化しない。
また、分割映像ａ及び分割映像ｂにおける、画面最下端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面最下端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
【００３５】
次に、左下の分割映像ｃ及び右下の分割映像ｄを復号化する処理の流れについて説明する。
まず、符号化ストリームｃ、符号化ストリームｄの復号化処理開始を受けて、符号化ストリームｃ、符号化ストリームｄを入力する（図４のステップＳ４１）。
次に、この符号化ストリームｃ、符号化ストリームｄを復号化し（ステップＳ４２）、復号化によって得られる１０８８ラインの分割映像ｃ及び分割映像ｄの下部の８ラインを廃棄する（ステップＳ４３）。
そして、この８ライン破棄により、１０８０ラインとなった１０８０ｉフォーマットの分割映像ｃ及び分割映像ｄを出力する（ステップＳ４４）。
【００３６】
この分割映像ｃ及び分割映像ｄの出力映像と、符号化前の分割映像ｃ及び分割映像ｄの入力映像とを比較した場合、分割映像ｃ及び分割映像ｄにおける有効画素の位置関係は符号化・復号化の前後で変化しない。
また、分割映像ｃ及び分割映像ｄにおける、画面上端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面最下端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
【００３７】
以上説明したように、復号化した、左上の分割映像ａ、右上の分割映像ｂ、左下の分割映像ｃ、右下の分割映像ｄの４つの分割映像を表示システムに入力する場合、４つの映像の有効領域を連結して表示させた際に、大画面の分割の境界、すなわち、左上の分割映像ａと右上の分割映像ｂとの境界、左下の分割映像ｃと右下の分割映像ｄとの境界、左上の分割映像ａと左下の分割映像ｃとの境界、及び右上の分割映像ｂと右下の分割映像ｄとの境界の４つの境界において、目立った画質劣化を防ぐことができるという効果を得ることができる。
【００３８】
次に図面を参照して本発明の映像符号化方法及び映像復号化方法の第２の実施形態について図面を参照して説明する。図７、図８は本実施形態の映像符号化方法のフローチャート及び図９、図１０は本実施形態の映像復号化方法のフローチャートである。本実施形態の映像符号化方法及び映像復号化方法では、第１実施形態の映像符号化方法及び映像復号化方法と同様に、図５に示す、１つの大画面映像を構成する田の字型に配置された４つの1０8０ｉフォーマットの分割映像ａ〜ｄを符号化及び復号化する。
【００３９】
まず左上の分割映像ａ及び右上の分割映像ｂを符号化する処理の流れについて説明する。
まず、左上の分割映像ａ及び右上の分割映像ｂの符号化処理開始を受けて、１０８０ｉフォーマットの左上の分割映像ａ、右上の分割映像ｂを入力する（図７のステップＳ５１）。
次に、この入力された１０８０ｉフォーマットの分割映像ａ、分割映像ｂの有効画素データを上に8ライン分だけシフトする（ステップＳ５２）。
このとき、分割映像ａ、分割映像ｂの有効画素データの上部8ラインは有効領域から外れるため、廃棄される。
【００４０】
次に、分割映像ａ及び分割映像ｂについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが32の倍数である必要に基づいて、シフトにより、有効領域画素が１０７２ラインとなった分割映像ａ及び分割映像ｂの下部に、さらに、１６ラインを付加する（ステップＳ５３）。このとき、シフトされた後の映像の下部１６ラインとして付加される画素データは、任意であるが、本実施形態では、この１６ラインの画素は黒一色で埋められるものとする。
次に、１６ラインが付加されて、３２の倍数となった１０８８ラインとなった分割映像ａ及び分割映像ｂをＭＰＥＧ−２で符号化する（ステップＳ５４）。
すなわち、図１１に示すように、入力された分割映像ａ及び分割映像ｂの有効画素である有意な画素は、１０８８ラインの符号化領域のうち、分割映像ａ及び分割映像ｂの上端より１０７２ラインに配置されて、符号化される。
このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ａ及び分割映像ｂは、符号化ストリームａ、符号化ストリームｂとして出力される（ステップＳ４）。
【００４１】
次に左下の分割映像ｃ及び右下の分割映像ｄを符号化する処理の流れについて説明する。
まず、左下の分割映像ｃ及び右下の分割映像ｄの符号化処理開始を受けて、１０８０ｉフォーマットの左下の分割映像ｃ、右下の分割映像ｄを入力する（図８のステップＳ６１）。
次に、分割映像ｃ及び分割映像ｄについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが３２の倍数である必要に基づいて、１０８０ｉフォーマット映像の分割映像ｃ及び分割映像ｄの下部に、さらに、８ラインを付加する（ステップＳ６２）。このとき、シフトされた後の映像の下部８ラインとして付加される画素データは、任意であるが、本実施形態では、この８ラインの画素は黒一色で埋められるものとする。
【００４２】
次に、８ラインが付加されて、３２の倍数となった１０８８ラインの分割映像ｃ及び分割映像ｄをＭＰＥＧ−２で符号化する（ステップＳ６３）。
すなわち、図１１に示すように、入力された分割映像ｃ及び分割映像ｄの有効画素である有意な画素は、１０８８ラインの符号化領域のうち、分割映像ｃ及び分割映像ｄの上端より１０８０ラインに配置されて、符号化される。
このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ｃ及び分割映像ｄは、符号化ストリームｃ、符号化ストリームｄとして出力される（ステップＳ６４）。
【００４３】
次に、左上の分割映像ａ及び右上の分割映像ｂを復号化する処理の流れについて説明する。
まず、符号化ストリームａ、符号化ストリームｂの復号化処理開始を受けて、符号化ストリームａ、符号化ストリームｂを入力する（図９のステップＳ７１）。
次に、この符号化ストリームａ、符号化ストリームｂを復号化し（ステップＳ７２）、復号化によって得られる１０８８ラインの分割映像ａ及び分割映像ｂの下部の８ラインを廃棄する。そして、この８ライン破棄により、１０８０ラインとなった１０８０ｉフォーマットの分割映像ａ及び分割映像ｂを下に８ライン分だけシフトし（ステップＳ７３）、１０８０ｉフォーマットの分割映像ａ及び分割映像ｂの上部に８ラインを付加する。このとき、シフトした後の映像の上8ライン部分に入れる画素データは任意だが、ここでは黒一色で埋められるものとする。
そして、さらに、分割映像ａ及び分割映像ｂの下部の８ラインを廃棄し（ステップＳ７４）、有意な画素領域が分割映像ａ及び分割映像ｂの上端より１０７２ラインとなった１０８０ｉフォーマットの分割映像ａ及び分割映像ｂを出力する（ステップＳ７５）。
【００４４】
この分割映像ａ及び分割映像ｂの出力映像と、符号化前の分割映像ａ及び分割映像ｂの入力映像とを比較した場合、上部８ラインが廃棄され黒一色となっているが、分割映像ａ及び分割映像ｂにおける、それ以外の有効画素の位置関係は変化していない。
また、分割映像ａ及び分割映像ｂにおける、画面下端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面最下端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
また、このとき有意な画素領域の境界である上端より１０７２ライン目と１０７３ライン目の境界は、ＭＰＥＧ−２で符号化する場合、フレームピクチャであれば必ず分割したブロックの境界と一致するため、有意画素領域境界に、境界外が侵食したように見える画質劣化を防ぐことができる効果が得られる。
また、フィールドピクチャであっても、輝度ブロック境界には一致し、422クロマフォーマットの場合は色差ブロック境界にも一致する。
【００４５】
次に、左下の分割映像ｃ及び右下の分割映像ｄを復号化する処理の流れについて説明する。
まず、符号化ストリームｃ、符号化ストリームｄの復号化処理開始を受けて、符号化ストリームｃ、符号化ストリームｄを入力する（図１０のステップＳ８１）。
次に、この符号化ストリームｃ、符号化ストリームｄを復号化し（ステップＳ８２）、復号化によって得られる１０８８ラインの分割映像ｃ及び分割映像ｄの下部の８ラインを廃棄する（ステップＳ８３）。
そして、この８ライン破棄により、１０８０ラインとなった１０８０ｉフォーマットの分割映像ｃ及び分割映像ｄを出力する（ステップＳ８４）。
【００４６】
この分割映像ｃ及び分割映像ｄの出力映像と、符号化前の分割映像ｃ及び分割映像ｄの入力映像とを比較した場合、分割映像ｃ及び分割映像ｄにおける有効画素の位置関係は符号化・復号化の前後で変化しない。
また、分割映像ｃ及び分割映像ｄにおける、画面上端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面上端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
【００４７】
以上説明したように、復号化した、左上の分割映像ａ、右上の分割映像ｂ、左下の分割映像ｃ、右下の分割映像ｄの４つの分割映像を表示システムに入力する場合、４つの映像の有効領域を連結して表示させた際に、大画面の分割の境界、すなわち、左上の分割映像ａと右上の分割映像ｂとの境界、左下の分割映像ｃと右下の分割映像ｄとの境界、左上の分割映像ａと左下の分割映像ｃとの境界、及び右上の分割映像ｂと右下の分割映像ｄとの境界の４つの境界において、目立った画質劣化を防ぐことができるという効果を得ることができる。
【００４８】
次に図面を参照して本発明の映像符号化方法及び映像復号化方法の第３の実施形態について図面を参照して説明する。図１２、図１３は本実施形態の映像符号化方法のフローチャート及び図１４、図１５は本実施形態の映像復号化方法のフローチャートである。図１６に示す、１つの大画面映像を構成する田の字型に配置された４つの１９２０画素×１０３５ラインのインタレース画像の分割映像ａ〜ｄを符号化及び復号化する。
【００４９】
まず左上の分割映像ａ及び右上の分割映像ｂを符号化する処理の流れについて説明する。
まず、左上の分割映像ａ及び右上の分割映像ｂの符号化処理開始を受けて、１０３５ｉフォーマットの左上の分割映像ａ、右上の分割映像ｂを入力する（図１２のステップＳ９１）。ここで、分割映像ａ及び分割映像ｂの原映像は１０３５ｉ映像であるが、入力される１０３５ｉフォーマットの分割映像ａ、分割映像ｂは、１０８０ｉフォーマットの映像信号に乗った状態で与えられるものとする。すなわち、総走査線１１２５ラインに対する１０８０ｉ映像と１０３５ｉ映像の有効領域の相対位置により、１０８０ｉフォーマットの有効領域内の第４０ラインから第１０７４ラインに、１０３５ラインの有意な画像データが配置された状態で与えられるものとする。また、１０８０ｉフォーマットの有効領域内の第１ラインから第３９ライン、第１０７５ラインから第１０８０ラインは、黒一色の信号または制御用データが入っているものとする。なお、１０３５ｉ映像の有効領域の第1ラインは、時間的に後のフィールドである第２フィールドであり、第１０３５ラインも同様に第２フィールドであり、上記の１０８０ｉフォーマット映像の第４０ラインおよび第１０７４ラインも第２フィールドである。
【００５０】
次に、この入力された１０３５ｉフォーマットの分割映像ａ、分割映像ｂの有効画素データを上に２ライン分だけシフトする（ステップＳ９２）。
このとき、分割映像ａ、分割映像ｂの有効画素データの上部の第１ラインと第２ラインは有効領域から外れるため、廃棄される。
【００５１】
次に、分割映像ａ及び分割映像ｂについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが３２の倍数である必要に基づいて、分割映像ａ及び分割映像ｂの下部に、さらに、８ラインを付加する（ステップＳ９３）。このとき、シフトされた後の映像の下部８ラインとして付加される画素データは、任意であるが、本実施形態では、この８ラインの画素は黒一色で埋められるものとする。
次に、８ラインが付加されて、３２の倍数となった１０８８ラインとなった分割映像ａ及び分割映像ｂをＭＰＥＧ−２で符号化する（ステップＳ９４）。
すなわち、図１８に示すように、入力された分割映像ａ及び分割映像ｂの有効画素である有意な画素は、１０８８ラインの符号化領域のうち、分割映像ａ及び分割映像ｂの上端より３８ライン目（１０７２ライン−１０３５ライン＋１ライン＝３５ラインより算出）から１０７２ライン目にかけて配置されて、符号化される。
このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ａ及び分割映像ｂは、符号化ストリームａ、符号化ストリームｂとして出力される（ステップＳ９５）。
【００５２】
次に左下の分割映像ｃ及び右下の分割映像ｄを符号化する処理の流れについて説明する。
まず、左下の分割映像ｃ及び右下の分割映像ｄの符号化処理開始を受けて、１０３５ｉフォーマットの左下の分割映像ｃ、右下の分割映像ｄを入力する（図１３のステップＳ１０１）。ここで、分割映像ｃ及び分割映像ｄの原映像は、１０３５ｉ映像であるが、入力される１０３５ｉフォーマットの分割映像ｃ、分割映像ｄは、上述の分割映像ａ及び分割映像ｂと同様に、１０８０ｉフォーマットの映像信号に乗った状態で与えられるものとする。
【００５３】
次に、この入力された１０３５ｉフォーマットの分割映像ｃ、分割映像ｄの有効画素データを、図１８に示すように、上に７ライン分だけシフトし、トップフィールドを第2フィールド、ボトムフィールドを第1フィールドとする1080ラインのインタレース映像を生成する（ステップＳ１０２）。
ここでは、空間的にみて上に配置される奇数ラインのフィールドをトップフィールド、空間的にみて下に配置される偶数ラインのフィールドをボトムフィールド、また、時間的に前の映像情報を表すフィールドを第1フィールド、時間的に後の映像情報を表すフィールドを第2フィールドと呼んでいる。
【００５４】
このとき、分割映像ｃ、分割映像ｄの有効画素データの上部7ラインは有効領域から外れるため、廃棄される。
次に、分割映像ｃ及び分割映像ｄについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが３２の倍数である必要に基づいて、分割映像ｃ及び分割映像ｄの下部に、さらに、８ラインを付加する（ステップＳ１０３）。このとき、シフトされた後の映像の下部８ラインとして付加される画素データは、任意であるが、本実施形態では、この８ラインの画素は黒一色で埋められるものとする。
次に、８ラインが付加されて、３２の倍数となった１０８８ラインとなった分割映像ｃ及び分割映像ｄをＭＰＥＧ−２で符号化する（ステップＳ１０４）。
この際の符号化モードとして、ボトムフィールドが第1フィールドであるとみなして符号化を行う。
ＭＰＥＧ−2では、トップフィールドが第一フィールドであるか否かを表すフラグが存在するなど、トップフィールドが第一フィールドである場合と、第ニフィールドである場合の符号化復号方法が規定されている。
したがって、ボトムフィールドが第1フィールドであるとみなして符号化を行う場合、フレームピクチャの場合はｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔがｆａｌｓｅ（偽）であるとして符号化を行なう。
また、フィールドピクチャの場合は同じフレームのうちボトムフィールドを先に符号化し、トップフィールドを後に符号化するという方法をとる。
【００５５】
すなわち、図１７に示すように、入力された分割映像ｃ及び分割映像ｄの有効画素である有意な画素は、１０８８ラインの符号化領域のうち、分割映像ｃ及び分割映像ｄの上端より３３ライン目（４０ライン−８ライン＋１ライン＝３３ラインより算出）から１０６８ライン目（３２＋１０３５ライン＋１ライン＝１０６８ラインより算出）にかけて配置されて、符号化される。
このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ｃ及び分割映像ｄは、符号化ストリームｃ、符号化ストリームｄとして出力される（ステップＳ１０５）。
【００５６】
次に、左上の分割映像ａ及び右上の分割映像ｂを復号化する処理の流れについて説明する。
まず、符号化ストリームａ、符号化ストリームｂの復号化処理開始を受けて、符号化ストリームａ、符号化ストリームｂを入力する（図１４のステップＳ１１１）。
次に、この符号化ストリームａ、符号化ストリームｂを復号化し（ステップＳ１１２）、復号化によって得られる１０８８ラインの分割映像ａ及び分割映像ｂの下部の８ラインを廃棄する。そして、この８ライン破棄により、１０８０ラインとなった１０８０ｉフォーマットの分割映像ａ及び分割映像ｂを下に２ライン分だけシフトし（ステップＳ１１３）、１０８０ｉフォーマットの分割映像ａ及び分割映像ｂの上部に２ラインを付加する。このとき、シフトした後の映像の上２ライン部分に入れる画素データは任意だが、ここでは黒一色で埋められるものとする。
そして、さらに、分割映像ａ及び分割映像ｂの下部の８ラインを廃棄し（ステップＳ１１４）、有意な画素領域が分割映像ａ及び分割映像ｂの上端より１０７２ラインとなった１０８０ｉフォーマットの分割映像ａ及び分割映像ｂを出力する（ステップＳ１１５）。
【００５７】
この分割映像ａ及び分割映像ｂの出力映像と、符号化前の分割映像ａ及び分割映像ｂの入力映像とを比較した場合、上部２ラインが廃棄され黒一色となっているが、分割映像ａ及び分割映像ｂにおける、それ以外の有効画素の位置関係は変化していない。
また、分割映像ａ及び分割映像ｂにおける、画面最下端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面最下端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
また、このとき有意な画素領域の境界である上端より１０７２ライン目と１０７３ライン目の境界は、ＭＰＥＧ−２で符号化する場合、フレームピクチャであれば必ず分割したブロックの境界と一致するため、有意画素領域境界に、境界外が侵食したように見える画質劣化を防ぐことができる効果が得られる。
また、フィールドピクチャであっても、輝度ブロック境界には一致し、422クロマフォーマットの場合は色差ブロック境界にも一致する。
【００５８】
次に、左下の分割映像ｃ及び右下の分割映像ｄを復号化する処理の流れについて説明する。
まず、符号化ストリームｃ、符号化ストリームｄの復号化処理開始を受けて、符号化ストリームｃ、符号化ストリームｄを入力する（図１５のステップＳ１２１）。
次に、この符号化ストリームｃ、符号化ストリームｄを復号化し（ステップＳ１２２）、復号化によって得られる１０８８ラインの分割映像ｃ及び分割映像ｄの下部の８ラインを廃棄する。
そして、この８ライン破棄により、１０８０ラインのボトムフィールドが第1フィールドとなったインタレース映像である分割映像ｃ及び分割映像ｄを下に７ライン分だけシフトし、トップフィールドを第1フィールド、ボトムフィールドを第２フィールドとする１０８０ｉフォーマット映像を生成する（ステップＳ１２３）。
次に、この１０８０ｉフォーマットの分割映像ｃ及び分割映像ｄの上部に７ラインを付加する。このとき、シフトした後の映像の上７ライン部分に入れる画素データは任意だが、ここでは黒一色で埋められるものとする。
次に、さらに、分割映像ｃ及び分割映像ｄの下部の８ラインを廃棄する（ステップＳ１２４）。
そして、上７ラインは黒一色であり、その下に続く１０７３ラインは符号化前の元の分割映像ｃ及び分割映像ｄと有効画素領域である１０８０ｉフォーマットの分割映像ｃ及び分割映像ｄを出力する（ステップＳ１２５）。
【００５９】
この分割映像ｃ及び分割映像ｄの出力映像と、符号化前の分割映像ｃ及び分割映像ｄの入力映像とを比較した場合、上部７ラインが廃棄され黒一色となっているが、分割映像ｃ及び分割映像ｄにおける、それ以外の有効画素の位置関係は変化していない。
また、分割映像ｃ及び分割映像ｄにおける、画面上端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面最下端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
また、このとき有意な画素領域の境界である下端より上端より３２ライン目と３３ライン目の境界は、ＭＰＥＧ−２で符号化する場合、フレームピクチャであれば必ず分割したブロックの境界と一致するため、有意画素領域境界に、境界外が侵食したように見える画質劣化を防ぐことができる効果が得られる。
また、フィールドピクチャであっても、輝度ブロック境界には一致し、422クロマフォーマットの場合は色差ブロック境界にも一致する。
【００６０】
以上説明したように、復号化した、左上の分割映像ａ、右上の分割映像ｂ、左下の分割映像ｃ、右下の分割映像ｄの４つの分割映像を表示システムに入力する場合、４つの映像の有効領域を連結して表示させた際に、大画面の分割の境界、すなわち、左上の分割映像ａと右上の分割映像ｂとの境界、左下の分割映像ｃと右下の分割映像ｄとの境界、左上の分割映像ａと左下の分割映像ｃとの境界、及び右上の分割映像ｂと右下の分割映像ｄとの境界の４つの境界において、目立った画質劣化を防ぐことができるという効果を得ることができる。
【００６１】
次に、図面を参照して本発明の映像符号化装置及び映像復号化装置の第４の実施形態について図面を参照して説明する。図１９は本実施形態の映像符号化装置の構成図及び図２０は本実施形態の映像復号化装置の構成図である。本実施形態の映像符号化装置及び映像復号化装置では、図５に示す、１つの大画面映像を構成する田の字型に配置された４つの1０8０ｉフォーマットの分割映像ａ〜ｄを符号化及び復号化する。
【００６２】
図１９に示すように、本実施形態の映像符号化装置は、映像シフト部１−ａ〜１−ｄ、映像符号化部２−ａ〜２−ｄ、制御部３とから構成される。
映像シフト部１−ａ〜１−ｄは、それぞれ分割映像ａ〜ｄの映像信号の入力を受けて、予め指定されるシフト量に基づいて、入力される分割映像のシフト処理を行う。
映像符号化部２−ａ〜２−ｄは、映像シフト部１−ａ〜１−ｄそれぞれが出力する、シフト後の分割映像ａ〜ｄの映像信号の入力を受けて、ＭＰＥＧ−２で符号化処理を行う。
制御部３は、映像シフト部１−ａ〜１−ｄそれぞれに対して、シフト処理時のシフト量を指定する処理を行う。
【００６３】
また、図２０に示すように、本実施形態の映像復号化装置は、映像シフト部１１−ａ〜１１−ｄ、映像復号化部１２−ａ〜１２−ｄ、制御部１３とから構成される。
映像復号化部１２−ａ〜１２−ｄは、それぞれ分割映像ａ〜ｄの映像信号の入力を受けて、ＭＰＥＧ−２で復号化処理を行う。
映像シフト部１１−ａ〜１１−ｄは、映像復号化部１２−ａ〜１２−ｄそれぞれが出力する、復号化後の分割映像ａ〜ｄの映像信号の入力を受けて、予め指定されるシフト量に基づいて、入力される分割映像のシフト処理を行う。
制御部１３は、映像シフト部１１−ａ〜１１−ｄそれぞれに対して、シフト処理時のシフト量を指定する処理を行う。
【００６４】
次に、本実施形態の映像符号化装置及び映像復号化装置の動作について説明する。
まず、図５に示す画面の左上の分割映像ａ、右上の分割映像ｂについて、映像シフト部１−ａ、映像シフト部１−ｂは、符号化処理開始を受けて、それぞれ左上の分割映像ａ、右上の分割映像ｂを入力する。
次に、映像シフト部１−ａ、映像シフト部１−ｂは、制御部３よりシフト量の指定値を受けて、この値に基づいて、入力された１０８０ｉフォーマットの分割映像ａ、分割映像ｂの有効画素データをシフトする。本実施形態においては、制御部３が予めシフト量を８ライン上と指定しているため、映像シフト部１−ａ、映像シフト部１−ｂは、分割映像ａ、分割映像ｂの有効画素データを上に8ライン分だけシフトする。
このとき、映像シフト部１−ａ、映像シフト部１−ｂは、分割映像ａ、分割映像ｂの有効画素データの上部8ラインは有効領域から外れるため、これを廃棄する。
次に、映像シフト部１−ａ、映像シフト部１−ｂは、分割映像ａ、分割映像ｂについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが32の倍数である必要に基づいて、シフトにより、有効領域画素が１０７２ラインとなった分割映像ａ、分割映像ｂの下部に、さらに、１６ラインを付加し、それぞれ映像符号化部２−ａ、映像符号化部２−ｂに対して出力する。
このとき、シフトされた後の映像の下部１６ラインとして付加される画素データは、任意であるが、本実施形態では、この１６ラインの画素は黒一色で埋められるものとする。
【００６５】
映像符号化部２−ａ、映像符号化部２−ｂは、この１０８８ラインとなった分割映像ａ、分割映像ｂをＭＰＥＧ−２で符号化する。
すなわち、映像符号化部２−ａ、映像符号化部２−ｂは、図１１に示すように、入力された分割映像ａ、分割映像ｂの有効画素である有意な画素を、１０８８ラインの符号化領域のうち、分割映像ａ、分割映像ｂの上端より１０７２ラインに配置し、符号化する。
符号化後、映像符号化部２−ａ、映像符号化部２−ｂは、このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ａ、分割映像ｂを、それぞれ符号化ストリームａ、符号化ストリームｂとして出力する。
【００６６】
また、図５に示す画面の左下の分割映像ｃ、右下の分割映像ｄについて、映像シフト部１−ｃ、映像シフト部１−ｄは、符号化処理開始を受けて、それぞれ左下の分割映像ｃ、右下の分割映像ｄを入力する。
次に、映像シフト部１−ｃ、映像シフト部１−ｄは、制御部３よりシフト量の指定値を受けて、この値に基づいて、入力された１０８０ｉフォーマットの分割映像ｃ、分割映像ｄの有効画素データをシフトする。本実施形態においては、制御部３が予めシフト量を０ラインと指定しているため、映像シフト部１−ｃ、映像シフト部１−ｄは、分割映像ｃ、分割映像ｄの有効画素データのシフトを行わない。
次に、映像シフト部１−ｃ、映像シフト部１−ｄは、分割映像ｃ、分割映像ｄについて、ＭＰＥＧ−２のインタレース映像の符号化領域の垂直方向画素サイズが32の倍数である必要に基づいて、１０８０ｉフォーマット映像の分割映像ｃ、分割映像ｄの下部に、８ラインを付加し、それぞれ映像符号化部２−ｃ、映像符号化部２−ｄに対して出力する。
このとき、シフトされた後の映像の下部８ラインとして付加される画素データは、任意であるが、本実施形態では、この８ラインの画素は黒一色で埋められるものとする。
【００６７】
映像符号化部２−ｃ、映像符号化部２−ｄは、この１０８８ラインとなった分割映像ｃ、分割映像ｄをＭＰＥＧ−２で符号化する。
すなわち、映像符号化部２−ｃ、映像符号化部２−ｄは、図１１に示すように、入力された分割映像ｃ、分割映像ｄの有効画素である有意な画素を、１０８８ラインの符号化領域のうち、分割映像ｃ、分割映像ｄの下端より１０７２ラインに配置し、符号化する。
符号化後、映像符号化部２−ｃ、映像符号化部２−ｄは、このＭＰＥＧ―２で符号化された１０８８ラインの分割映像ｃ、分割映像ｄを、それぞれ符号化ストリームｃ、符号化ストリームｄとして出力する。
【００６８】
映像復号化部１２−ａ、映像復号化部１２−ｂは、符号化ストリームａ、符号化ストリームｂの復号化処理開始を受けて、それぞれ符号化ストリームａ、符号化ストリームｂを入力する。
次に、映像復号化部１２−ａ、映像復号化部１２−ｂは、この符号化ストリームａ、符号化ストリームｂを復号化し、復号化によって得られる１０８８ラインの分割映像ａ、分割映像ｂの下部の８ラインをそれぞれ廃棄する。
そして、映像復号化部１２−ａ、映像復号化部１２−ｂは、この８ライン破棄により、１０８０ラインとなった１０８０ｉフォーマットの分割映像ａ及び分割映像ｂを映像シフト部１１−ａ、映像シフト部１１−ｂに対して出力する。
【００６９】
映像シフト部１１−ａ、映像シフト部１１−ｂは、制御部１３よりシフト量の指定値を受けて、この値に基づいて、入力された１０８０ｉフォーマットの分割映像ａ、分割映像ｂの有効画素データをシフトする。本実施形態においては、制御部１３が予めシフト量を下に８ラインと指定しているため、映像シフト部１１−ａ、映像シフト部１１−ｂは、この分割映像ａ、分割映像ｂを下に８ライン分だけそれぞれシフトし、１０８０ｉフォーマットの分割映像ａ及び分割映像ｂの上部に８ラインを付加する。
このとき、シフトした後の映像の上8ライン部分に入れる画素データは任意だが、ここでは黒一色で埋められるものとする。
そして、映像シフト部１１−ａ、映像シフト部１１−ｂは、さらに、分割映像ａ及び分割映像ｂの下部の８ラインを廃棄し、有意な画素領域が分割映像ａ及び分割映像ｂの上端より１０７２ラインとなった１０８０ｉフォーマットの分割映像ａ、分割映像ｂを出力する。
【００７０】
この分割映像ａ及び分割映像ｂの出力映像と、符号化前の分割映像ａ及び分割映像ｂの入力映像とを比較した場合、上部８ラインが廃棄され黒一色となっているが、分割映像ａ及び分割映像ｂにおける、それ以外の有効画素の位置関係は変化していない。
また、分割映像ａ及び分割映像ｂにおける、画面下端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面最下端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
また、このとき有意な画素領域の境界である上端より１０７２ライン目と１０７３ライン目の境界は、ＭＰＥＧ−２で符号化する場合、フレームピクチャであれば必ず分割したブロックの境界と一致するため、有意画素領域境界に、境界外が侵食したように見える画質劣化を防ぐことができる効果が得られる。
また、フィールドピクチャであっても、輝度ブロック境界には一致し、422クロマフォーマットの場合は色差ブロック境界にも一致する。
【００７１】
映像復号化部１２−ｃ、映像復号化部１２−ｄは、符号化ストリームｃ、符号化ストリームｄの復号化処理開始を受けて、それぞれ符号化ストリームｃ、符号化ストリームｄを入力する。
次に、映像復号化部１２−ｃ、映像復号化部１２−ｄは、この符号化ストリームｃ、符号化ストリームｄを復号化し、復号化によって得られる１０８８ラインの分割映像ｃ、分割映像ｄの下部の８ラインをそれぞれ廃棄する。
そして、映像復号化部１２−ｃ、映像復号化部１２−ｄは、この８ライン破棄により、１０８０ラインとなった１０８０ｉフォーマットの分割映像ｃ及び分割映像ｄを映像シフト部１１−ｃ、映像シフト部１１−ｄに対して出力する。
映像シフト部１１−ｃ、映像シフト部１１−ｄは、制御部１３よりシフト量の指定値を受けて、この値に基づいて、入力された１０８０ｉフォーマットの分割映像ｃ、分割映像ｄの有効画素データをシフトする。本実施形態においては、制御部１３が予めシフト量を０ラインと指定しているため、映像シフト部１１−ｃ、映像シフト部１１−ｄは、この分割映像ｃ、分割映像ｄをシフトせずに、有意な画素領域が分割映像ｃ及び分割映像ｄの上端より１０７２ラインとなった１０８０ｉフォーマットの分割映像ｃ、分割映像ｄを出力する。
【００７２】
この分割映像ｃ及び分割映像ｄの出力映像と、符号化前の分割映像ｃ及び分割映像ｄの入力映像とを比較した場合、分割映像ｃ及び分割映像ｄにおける有効画素の位置関係は符号化・復号化の前後で変化しない。
また、分割映像ｃ及び分割映像ｄにおける、画面上端および画面左右端の画面境界は、符号化前及び符号化時のブロック境界と一致している。
このため、画面上端および画面左右端の画面境界に、境界外のパターンが侵食したように見える大きな画質劣化を防ぐことができるため、鮮明な境界の画像を得ることができる効果が得られる。
【００７３】
以上説明したように、復号化した、左上の分割映像ａ、右上の分割映像ｂ、左下の分割映像ｃ、右下の分割映像ｄの４つの分割映像を表示システムに入力する場合、４つの映像の有効領域を連結して表示させた際に、大画面の分割の境界、すなわち、左上の分割映像ａと右上の分割映像ｂとの境界、左下の分割映像ｃと右下の分割映像ｄとの境界、左上の分割映像ａと左下の分割映像ｃとの境界、及び右上の分割映像ｂと右下の分割映像ｄとの境界の４つの境界において、目立った画質劣化を防ぐことができるという効果を得ることができる。
また、本実施形態の映像復号化装置及び映像復号化装置によれば、符号化装置内の映像シフト部から映像符号化部への入力、復号装置内の各復号部から映像シフト部への出力が１０８０ｉフォーマットに限られているため、既存の１０８０ｉ対応の符号化装置、復号装置をそれぞれ各符号化部、各復号部へそのまま適用できる効果が得られる。
【００７４】
次に、図面を参照して本発明の映像符号化装置及び映像復号化装置の第５の実施形態について図面を参照して説明する。図２１は本実施形態の映像符号化装置の構成図及び図２２は本実施形態の映像復号化装置の構成図である。本実施形態の映像符号化装置及び映像復号化装置が第４の実施形態の映像符号化装置及び映像復号化装置と異なる点は、映像符号化装置において、新たに自動判定部４−ａ〜４−ｄを設けた点である。
以下、第４実施形態と共通する点については説明を省略し、これと異なる点について説明する。
【００７５】
図２１に示すように、本実施形態の映像符号化装置は、映像シフト部１−ａ〜１−ｄ、映像符号化部２−ａ〜２−ｄ、制御部３、自動判定部４−ａ〜４−ｄとから構成される。
自動判定部４−ａ〜４−ｄは、制御部３が映像シフト部１−ａ〜１−ｄに対して指定するシフト量を算出処理を行う。
【００７６】
また、図２０に示すように、本実施形態の映像復号化装置は、映像シフト部１１−ａ〜１１−ｄ、映像復号化部１２−ａ〜１２−ｄ、制御部１３とから構成される。
【００７７】
次に、本実施形態の映像符号化装置及び映像復号化装置の動作について説明する。
まず、分割映像ａ〜ｄについて、自動判定部４−ａ〜４−ｄは、符号化処理開始を受けて、それぞれ分割映像ａ〜ｄを入力する。
自動判定部４−ａ〜４−ｄは、この入力された各チャネルの分割映像ａ〜ｄの有意画素領域と非有意画素領域の範囲の判定処理を開始する。
すなわち、自動判定部４−ａ〜４−ｄは、まず分割映像ａ〜ｄそれぞれの一番上のラインの全ての画素の画素値を検査する。
このとき、ラインの全ての画素の画素値が0であれば、このラインは非有意画素領域であると判定する。
次に、自動判定部４−ａ〜４−ｄは、順に下のラインに向かって検査し、検査対象のラインの全ての画素の画素値が0であるという条件が成り立たなくなったラインから下は、有意画素領域であると判定する。
【００７８】
また、自動判定部４−ａ〜４−ｄは、同様に、一番下のラインの全ての画素の画素値を検査する。
このとき、ラインの全ての画素の画素値が0であれば、このラインは非有意画素領域であると判定する。
次に、自動判定部４−ａ〜４−ｄは、順に上のラインに向かって検査し、検査対象のラインの全ての画素の画素値が0であるという条件が成り立たなくなったラインから上は、有意画素領域であると判定する。
【００７９】
また、自動判定部４−ａ〜４−ｄは、垂直方向の画素の集合（以下、カラムという）についても同様の手順で有意画素領域／非有意画素領域の判定を行う。
すなわち、自動判定部４−ａ〜４−ｄは、分割映像ａ〜ｄの一番左のカラムの全ての画素の画素値を検査する。
このとき、カラムの全ての画素の画素値が0であれば、このカラムは非有意画素領域であると判定する。
次に、自動判定部４−ａ〜４−ｄは、順に右のラインに向かって検査し、検査対象のカラムの全ての画素の画素値が0であるという条件が成り立たなくなったカラムから右は、有意画素領域であると判定する。
【００８０】
また、自動判定部４−ａ〜４−ｄは、同様に、一番右のカラムの全ての画素の画素値を検査する。
このとき、ラインの全ての画素の画素値が0であれば、このカラムは非有意画素領域であると判定する。
次に、自動判定部４−ａ〜４−ｄは、順に左のカラムに向かって検査し、検査対象のカラムの全ての画素の画素値が0であるという条件が成り立たなくなったラインから上は、有意画素領域であると判定する。
【００８１】
以上の手順により、自動判定部４−ａ〜４−ｄは、フレーム内の矩形の有意画素領域と、それ以外の非有意画素領域とを判定する。
そして、自動判定部４−ａ〜４−ｄは、これと同様の手順で数フレーム（例えば９０フレーム）に対して検査を行い、有意画素領域、非有意画素領域の位置や大きさが、フレームごとに変動する場合、それを全て包含する矩形の領域を有意画素領域として決定する。
【００８２】
具体的には、自動判定部４−ａ〜４−ｄは、図２３、図２４に示すフローチャートに従って、有意画素領域の判定処理を行う。
ここで、水平方向Ｘ画素、水平方向Ｙラインのサイズの映像有効領域の第ｙライン、第ｘ画素目の画素値（１≦ｙ≦Ｙ、１≦ｘ≦Ｘ）をＩ（ｘ，ｙ）と表すこととし、今、図２５に示すように、有意画素の範囲は（Ｌ≦ｘ≦Ｒ、Ｔ≦ｙ≦Ｂ）であるとする。
まず自動判定部４−ａ〜４−ｄは、初期値ｙ＝１、ｘ＝１をセットし（図２３のステップＳ２００、Ｓ２０１）、Ｉ（１、１）が０と等しいか否かを判定する。本実施形態では、Ｉ（１、１）＝０より（ステップＳ２０２でＹｅｓ）、さらに、ｘ（＝１）がＸ以上であるかを判定する（ステップＳ２０３）。ここで、ｘはＸ以上ではないので（ステップＳ２０３でＮｏ）、ｘに１を足して、ｘ＝２となる（ステップＳ２０４）。以下、ステップＳ２０２〜Ｓ２０４を、Ｉ（ｘ、ｙ）≠０、又は、ｘ＝Ｘとなるまで繰り返す。
【００８３】
本実施形態では、第１ラインの画素値は、すべて０なので、ｘ＝Ｘとなった時点で（ステップＳ２０３でＹｅｓ）、ｙ（＝１）がＹ以上であるかを判定する（ステップＳ２０５）。ここで、ｙはＹ以上ではないので（ステップＳ２０５でＮｏ）、ｙに１を足して、ｙ＝２となる（ステップＳ２０６）。そして、再度ｘ＝１として（ステップＳ２０１）、以下、ステップＳ２０２〜Ｓ２０４を、Ｉ（ｘ、ｙ）≠０、又は、ｘ＝Ｘとなるまで繰り返す。
そして、ｘ＝Ｘとなった時点で（ステップＳ２０３でＹｅｓ）、再度、ｙに１を足して、ｙ＝３とし（ステップＳ２０６）、以下、ステップＳ２０１〜Ｓ２０６を、Ｉ（ｘ、ｙ）≠０となるまで繰り返す。
本実施形態では、ｘ＝Ｌ、ｙ＝Ｔとなった時点でＩ（Ｌ、Ｔ）≠０となり（ステップＳ２０２でＮｏ）、このときのｙの値をＴとする（ステップＳ２０７）。
【００８４】
次に、自動判定部４−ａ〜４−ｄは、初期値ｙ＝Ｙ、ｘ＝１をセットし（図２３のステップＳ２０８、Ｓ２０９）、Ｉ（１、１）が０と等しいか否かを判定する。本実施形態では、Ｉ（１、Ｙ）＝０より（ステップＳ２１０でＹｅｓ）、さらに、ｘ（＝１）がＸ以上であるかを判定する（ステップＳ２１１）。ここで、ｘはＸ以上ではないので（ステップＳ２１１でＮｏ）、ｘに１を足して、ｘ＝２となる（ステップＳ２１２）。以下、ステップＳ２１０〜Ｓ２１２を、Ｉ（ｘ、ｙ）≠０、又は、ｘ＝Ｘとなるまで繰り返す。
【００８５】
本実施形態では、第Ｙラインの画素値は、すべて０なので、ｘ＝Ｘとなった時点で（ステップＳ２１１でＹｅｓ）、ｙ（＝１）が０以下であるかを判定する（ステップＳ２１３）。ここで、ｙは０以下ではないので（ステップＳ２１３でＮｏ）、ｙから１を引いて、ｙ＝Ｙ−１となる（ステップＳ２１４）。そして、再度ｘ＝１として（ステップＳ２０９）、以下、ステップＳ２１０〜Ｓ２１２を、Ｉ（ｘ、ｙ）≠０、又は、ｘ＝Ｘとなるまで繰り返す。
そして、ｘ＝Ｘとなった時点で（ステップＳ２１１でＹｅｓ）、再度、ｙから１を引いて、ｙ＝Ｙ−２とし（ステップＳ２１４）、以下、ステップＳ２０９〜Ｓ２１４を、Ｉ（ｘ、ｙ）≠０となるまで繰り返す。
本実施形態では、ｘ＝Ｌ、ｙ＝Ｂとなった時点でＩ（Ｌ、Ｂ）≠０となり（ステップＳ２１０でＮｏ）、このときのｙの値をＢとする（ステップＳ２１５）。
【００８６】
次に、自動判定部４−ａ〜４−ｄは、初期値ｙ＝１、ｘ＝１をセットし（図２４のステップＳ３００、Ｓ３０１）、Ｉ（１、１）が０と等しいか否かを判定する。本実施形態では、Ｉ（１、１）＝０より（ステップＳ３０２でＹｅｓ）、さらに、ｙ（＝１）がＹ以上であるかを判定する（ステップＳ３０３）。ここで、ｙはＹ以上ではないので（ステップＳ３０３でＮｏ）、ｙに１を足して、ｙ＝２となる（ステップＳ３０４）。以下、ステップＳ３０２〜Ｓ３０４を、Ｉ（ｘ、ｙ）≠０、又は、ｙ＝Ｙとなるまで繰り返す。
【００８７】
本実施形態では、第１カラムの画素値は、すべて０なので、ｙ＝Ｙとなった時点で（ステップＳ３０３でＹｅｓ）、ｘ（＝１）がＸ以上であるかを判定する（ステップＳ３０５）。ここで、ｘはＸ以上ではないので（ステップＳ３０５でＮｏ）、ｘに１を足して、ｘ＝２となる（ステップＳ３０６）。そして、再度ｙ＝１として（ステップＳ３０１）、以下、ステップＳ３０２〜Ｓ３０４を、Ｉ（ｘ、ｙ）≠０、又は、ｙ＝Ｙとなるまで繰り返す。
そして、ｙ＝Ｙとなった時点で（ステップＳ３０３でＹｅｓ）、再度、ｘに１を足して、ｘ＝２とし（ステップＳ３０６）、以下、ステップＳ３０１〜Ｓ３０６を、Ｉ（ｘ、ｙ）≠０となるまで繰り返す。
本実施形態では、ｘ＝Ｌ、ｙ＝Ｔとなった時点でＩ（Ｌ、Ｔ）≠０となり（ステップＳ３０２でＮｏ）、このときのｘの値をＬとする（ステップＳ３０７）。
【００８８】
次に、自動判定部４−ａ〜４−ｄは、初期値ｘ＝Ｘ、ｙ＝１をセットし（図３３のステップＳ３０８、Ｓ３０９）、Ｉ（Ｘ、１）が０と等しいか否かを判定する。本実施形態では、Ｉ（Ｘ、１）＝０より（ステップＳ３１０でＹｅｓ）、さらに、ｙ（＝１）がＹ以上であるかを判定する（ステップＳ３１１）。ここで、ｙはＹ以上ではないので（ステップＳ３１１でＮｏ）、ｙに１を足して、ｙ＝２となる（ステップＳ３１２）。以下、ステップＳ３１０〜Ｓ３１２を、Ｉ（ｘ、ｙ）≠０、又は、ｙ＝Ｙとなるまで繰り返す。
【００８９】
本実施形態では、第１カラムの画素値は、すべて０なので、ｙ＝Ｙとなった時点で（ステップＳ３１１でＹｅｓ）、ｘ（＝１）が０以下であるかを判定する（ステップＳ３１３）。ここで、ｘは０以下ではないので（ステップＳ３１３でＮｏ）、ｘから１を引いて、ｘ＝Ｘ−１となる（ステップＳ３１４）。そして、再度ｙ＝１として（ステップＳ３０９）、以下、ステップＳ３１０〜Ｓ３１２を、Ｉ（ｘ、ｙ）≠０、又は、ｙ＝Ｙとなるまで繰り返す。
そして、ｙ＝Ｙとなった時点で（ステップＳ３１１でＹｅｓ）、再度、ｘから１を引いて、ｘ＝Ｘ−２とし（ステップＳ３１４）、以下、ステップＳ３０９〜Ｓ３１４を、Ｉ（ｘ、ｙ）≠０となるまで繰り返す。
本実施形態では、ｘ＝Ｌ、ｙ＝Ｂとなった時点でＩ（Ｌ、Ｂ）≠０となり（ステップＳ３０３）、このときのｘの値をＬとする（ステップＳ３１５）。
【００９０】
以上の手順により、自動判定部４−ａ〜４−ｄは、有意画素領域情報Ｌ、Ｒ、Ｔ、Ｂを決定し、これを制御部３へ送る（ステップＳ３１６）。
制御部３は、それぞれのチャネルの分割映像ａ〜ｄの有意画素領域と非有意画素領域のサイズの情報と、あらかじめ設定されているそれぞれのチャネルが大画面のうちのどの位置の分割領域であるかという情報をもとに、それぞれのチャネルの映像のシフト量を決定する。
このとき、左上の分割映像ａのシフト量は、有意画素領域の右端と下端の境界が符号化時の符号化ブロック境界と一致するようなシフト量とする。
また、右上の分割映像ｂのシフト量は、有意画素領域の左端と下端の境界が符号化時の符号化ブロック境界と一致するようなシフト量とする。
また、左下の分割映像ｃのシフト量は、有意画素領域の右端と上端の境界が符号化時の符号化ブロック境界と一致するようなシフト量とする。
また、右下の分割映像ｄのシフト量は、有意画素領域の左端と上端の境界が符号化時の符号化ブロック境界とするようなシフト量とする。
【００９１】
具体的には、制御部３は、図２６に示すフローチャートに従って、シフト量の判定処理を行う。
すなわち、自動判別器４−ａ〜４−ｄから有意画素領域情報Ｌ、Ｒ、Ｔ、Ｂを受けて（図２６のステップＳ４００）、制御部３は、分割映像が左下の画像であれば（ステップＳ４０１でＹｅｓ）、
水平方向シフト量＝１−Ｌ
垂直方向シフト量＝１−Ｔ
とする（ステップＳ４０２）。また、分割映像が右下の画像であれば（ステップＳ４０３でＹｅｓ）、
水平方向シフト量＝Ｘ−Ｒ
垂直方向シフト量＝１−Ｔ
とする（ステップＳ４０４）。また、分割映像が右上の画像であれば（ステップＳ４０５でＹｅｓ）、
水平方向シフト量＝１−Ｌ
垂直方向シフト量＝Ｙ−Ｂ
とする（ステップＳ４０６）。また、分割映像が左上の画像であれば（ステップＳ４０７でＹｅｓ）、
水平方向シフト量＝Ｘ−Ｒ
垂直方向シフト量＝Ｙ−Ｂ
とする（ステップＳ４０８）。
そして、以上決定した水平方向シフト量、及び垂直方向シフト量を対応する映像シフト部１−ａ〜１−ｄ、映像符号化部２−ａ〜２−ｄに対して送る（ステップＳ４０９）。
【００９２】
映像シフト部１−ａ〜１−ｄは制御部３が出力するこれらのシフト量に基づいて、分割映像ａ〜ｄをそれぞれシフトする。
映像符号化部２−ａ〜２−ｄは、シフト後の分割映像ａ〜ｄと、上記決定した水平方向シフト量、及び垂直方向シフト量との入力を受けて、この各分割領域映像を符号化し、これによって生成されるビットストリームのユーザ領域に各チャネルのシフト量を埋め込んだ後、これを出力する。
【００９３】
映像復号化部１２−ａ〜１２−ｄは、符号化ストリームａ〜ｄの復号化処理開始を受けて、それぞれ符号化ストリームａ〜ｄを入力する。
次に、映像復号化部１２−ａ〜１２−ｄは、この符号化ストリームａ〜ｄを復号化して映像シフト部１１−ａ〜１１−ｄに対して出力するとともに、復号化したビットストリームからユーザ領域から、各チャネルのシフト量を読み出して、制御部１３に対してシフト量を指定する。
【００９４】
映像シフト部１１−ａ〜１１−ｄは、制御部１３よりシフト量の指定値を受けて、この値に基づいて、入力された分割映像ａ〜ｄの有効画素データをシフトした後、分割映像ａ〜ｄを出力する。
【００９５】
以上説明したように、第１から第５の実施形態の動画像符号化・復号化装置によれば、符号化復号された大画面映像の分割映像は、それぞれ互いの分割映像との境界が符号化劣化の影響を大きく受けることなく鮮明であり、これにより、それらの出力された各分割映像を表示システムに入力し、各分割映像の有効領域を連結して表示させた際に、大画面の分割の境界において、特に目立った劣化が生じないという際立った効果を得ることができる。
また、それぞれの分割映像のうち、互いの分割映像に接していない方の有意画素領域境界に関しては符号化劣化の影響を受け、境界が鮮明ではない場合がありうるが、これは大画面映像において、画面の端の部分に相当しているため、通常知覚されにくく実用上大きな問題となることは少ない。
さらに、大画面映像の分割領域境界の付近で、符号化ブロックのサイズが一定で変わらないため、ブロック状の歪みが出た際に目立ちに行くいという効果もある。
【００９６】
上述の映像符号化装置及び映像復号化装置は内部に、コンピュータシステムを有している。そして、上述した映像符号化及び復号化に関する一連の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００９７】
【発明の効果】
以上説明したように、本発明は、画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する映像符号化方法において、分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の分割映像と隣接する境界が、符号化ブロック境界と一致するように、当該分割映像をシフトし、符号化するので、分割映像の有意画素領域の境界のうち、他の分割映像と隣接する境界が、符号化劣化の影響を大きく受けることなく、鮮明な復号映像を得ることができる効果が得られる。
【図面の簡単な説明】
【図１】第１の実施形態における、分割映像ａ、ｂの映像符号化のフローチャートである。
【図２】第１の実施形態における、分割映像ｃ、ｄの映像符号化のフローチャートである。
【図３】第１の実施形態における、分割映像ａ、ｂの映像復号化のフローチャートである。
【図４】第１の実施形態における、分割映像ｃ、ｄの映像復号化のフローチャートである。
【図５】１つの大画面映像を４つの1０8０ｉフォーマットの分割映像ａ〜ｄで構成する様子を示す説明図である。
【図６】第１の実施形態における分割映像ａ〜ｄの有意画素領域の配置を示す説明図である。
【図７】第２の実施形態における、分割映像ａ、ｂの映像符号化のフローチャートである。
【図８】第２の実施形態における、分割映像ｃ、ｄの映像符号化のフローチャートである。
【図９】第２の実施形態における、分割映像ａ、ｂの映像復号化のフローチャートである。
【図１０】第２の実施形態における、分割映像ｃ、ｄの映像復号化のフローチャートである。
【図１１】第２の実施形態における分割映像ａ〜ｄの有意画素領域の配置を示す説明図である。
【図１２】第３の実施形態における、分割映像ａ、ｂの映像符号化のフローチャートである。
【図１３】第３の実施形態における、分割映像ｃ、ｄの映像符号化のフローチャートである。
【図１４】第３の実施形態における、分割映像ａ、ｂの映像復号化のフローチャートである。
【図１５】第３の実施形態における、分割映像ｃ、ｄの映像復号化のフローチャートである。
【図１６】１つの大画面映像を４つの1０３５ｉフォーマットの分割映像ａ〜ｄで構成する様子を示す説明図である。
【図１７】第３の実施形態における分割映像ａ〜ｄの有意画素領域の配置を示す説明図である。
【図１８】シフト前とシフト後における、マクロブロック境界の位置関係を示す説明図である。
【図１９】第４の実施形態における、映像符号化装置の構成図である。
【図２０】第４の実施形態における、映像復号化装置の構成図である。
【図２１】第５の実施形態における、映像符号化装置の構成図である。
【図２２】第５の実施形態における、映像復号化装置の構成図である。
【図２３】第５の実施形態における、シフト量算出処理の過程を示すフローチャートである。
【図２４】第５の実施形態における、シフト量算出処理の過程を示すフローチャートである。
【図２５】第５の実施形態における、有意画素領域の範囲を示す説明図である。
【図２６】水平方向シフト量及び垂直方向シフト量の算出処理の過程を示すフローチャートである。
【符号の説明】
１−ａ〜１−ｄ、１１−ａ〜１１−ｄ…映像シフト部
２−ａ〜２−ｄ…映像符号化部
３、１３…制御部
４−ａ〜４−ｄ…自動判定部
１２−ａ〜１２−ｄ…映像復号化部
Claims (18)
- 画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する映像符号化方法において、
前記分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように、当該分割映像をシフトし、符号化する
ことを特徴とする映像符号化方法。 - 請求項１に記載の映像符号化方法によって符号化された分割映像を復号化し、
該復号化した分割映像の位置をシフト前の位置にシフトして出力する
映像復号化方法。 - 画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する映像符号化装置において、
前記分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように当該分割映像をシフトさせる映像シフト部と、
該シフトさせた分割画像を符号化する映像符号化部と
を具備することを特徴とする映像符号化装置。 - 請求項３に記載の映像符号化装置によって符号化された分割映像を復号化する映像復号化部と、
該復号化した分割映像を該復号化した分割映像の位置をシフト前の位置にシフトして出力する映像シフト部と
を具備することを特徴とする映像復号化装置。 - 前記分割映像は、インタレース映像であり、
該分割映像の上端が、当該分割映像以外の前記分割映像と隣接しており、かつ、該分割映像の有意画素領域の最上端のラインが、インタレース映像の第２フィールドに相当するラインである場合、
または、
該分割映像の下端が、当該分割映像以外の前記分割映像と隣接しており、かつ、該分割映像の有意画素領域の最下端のラインが、インタレース映像の第１フィールドに相当するラインである場合、
該分割映像の符号化において、トップフィールドが第２フィールドであり、ボトムフィールドが第一フィールドとみなす
ことを特徴とする請求項１に記載の映像符号化方法。 - 前記分割映像は、インタレース映像であり、
前記映像符号化部は、
前記シフトさせた分割画像の上端が、当該分割映像以外の前記分割映像と隣接しており、かつ、該分割映像の有意画素領域の最上端のラインが、インタレース映像の第２フィールドに相当するラインである場合、
または、
前記シフトさせた分割画像の下端が、当該分割映像以外の前記分割映像と隣接しており、かつ、該分割映像の有意画素領域の最下端のラインが、インタレース映像の第１フィールドに相当するラインである場合、
該分割映像の符号化において、トップフィールドが第２フィールドであり、ボトムフィールドが第一フィールドとみなして、前記シフトさせた分割画像を符号化する
ことを特徴とする請求項３に記載の映像符号化装置。 - 画面映像を水平方向、垂直方向にそれぞれ２分割して得られる、左上、左下、右上、右下の４つの分割映像を符号化する映像符号化方法において、
それぞれの分割映像の有意画素領域と非有意画素領域の境界について、
前記左上の分割映像の右端と下端との境界が、符号化ブロック境界と一致するように、当該左上の映像をシフトし、
前記右上の分割映像の左端と下端との境界が、符号化ブロック境界と一致するように、当該右上の映像をシフトし、
前記左下の分割映像の右端と上端との境界が、符号化ブロック境界と一致するように、当該左下の映像をシフトし、
前記右下の分割映像の左端と上端との境界が、符号化ブロック境界と一致するように、当該右下の映像をシフトし、
該４つの分割映像を符号化する
ことを特徴とする映像符号化方法。 - 画面映像を水平方向、垂直方向にそれぞれ２分割して得られる左上、左下、右上、右下の４つの分割映像を符号化する映像符号化装置において、
各分割映像の有意画素領域と非有意画素領域の境界について、
前記左上の分割映像の右端と下端との境界が、符号化ブロック境界と一致するように、当該左上の映像をシフトさせる第１の映像シフト部と、
該シフトさせた左上の分割画像を符号化する第１の映像符号化部と、
前記右上の分割映像の左端と下端との境界が、符号化ブロック境界と一致するように、当該右上の映像をシフトさせる第２の映像シフト部と、
該シフトさせた右上の分割画像を符号化する第２の映像符号化部と、
前記左下の分割映像の右端と上端との境界が、符号化ブロック境界と一致するように、当該左下の映像をシフトさせる第３の映像シフト部と、
該シフトさせた左下の分割画像を符号化する第３の映像符号化部と、
前記右下の分割映像の左端と上端との境界が、符号化ブロック境界と一致するように、当該右下の映像をシフトさせる第４の映像シフト部と、
該シフトさせた右下の分割画像を符号化する第４の映像符号化部と
を具備することを特徴とする映像符号化装置。 - 前記分割映像をシフトさせるシフト量は、
前記分割映像の有意画素領域及び非有意画素領域を判定し、
該判定した有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように決定される
ことを特徴とする請求項１又は請求項５に記載の映像符号化方法。 - 前記映像シフト部は、さらに、前記分割映像の有意画素領域及び非有意画素領域を判定し、該判定した有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように、前記分割映像をシフトさせるシフト量を決定する
ことを特徴とする請求項３又は請求項６に記載の映像符号化装置。 - 前記分割映像の符号化時に、前記決定されるシフト量を、当該分割映像の符号化により生成されるビットストリームのユーザ領域に書きこむ
ことを特徴とする請求項９に記載の映像符号化方法。 - 請求項９に記載の映像符号化方法によって符号化された分割映像を復号化し、
前記ビットストリームのユーザ領域より、前記シフト量を読み出し、
該シフト量に基づいて、該復号化した分割映像の位置をシフト前の位置にシフトして出力する
ことを特徴とする映像復号化方法。 - 前記映像符号化部は、さらに、前記分割映像の符号化時に、前記決定されるシフト量を、当該分割映像の符号化により生成されるビットストリームのユーザ領域に書きこむ
ことを特徴とする請求項１０に記載の映像符号化装置。 - 前記映像復号化部は、請求項１０に記載の映像符号化装置によって符号化された分割映像を復号化し、
前記ビットストリームのユーザ領域より、前記シフト量を読み出し、
該シフト量に基づいて、該復号化した分割映像の位置をシフト前の位置にシフトして出力する
ことを特徴とする請求項４に記載の映像復号化装置。 - 画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する処理をコンピュータに実行させるための映像符号化プログラムであって、
前記分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように当該分割映像をシフトさせる処理と、
該シフトさせた分割画像を符号化する処理と
をコンピュータに実行させるための映像符号化プログラム。 - 請求項１５に記載の映像符号化プログラムをコンピュータが実行することによって、符号化された分割映像を復号化する処理と、
該復号化した分割映像の位置をシフト前の位置にシフトして出力する処理と
をコンピュータに実行させるための映像復元化プログラム。 - 画面映像を複数の矩形領域に分割して得られる複数の分割映像を符号化する処理をコンピュータに実行させるための映像符号化プログラムを記憶する記憶媒体であって、
前記分割映像の有意画素領域と非有意画素領域の境界であって、当該分割映像以外の前記分割映像と隣接する境界が、符号化ブロック境界と一致するように当該分割映像をシフトさせる処理と、
該シフトさせた分割画像を符号化する処理と
をコンピュータに実行させるための映像符号化プログラムを記憶する記憶媒体。 - 請求項１５に記載の映像符号化プログラムを、コンピュータが実行することによって符号化された分割映像を復号化する処理と、
該復号化した分割映像の位置をシフト前の位置にシフトして出力する処理と
をコンピュータに実行させるための映像復元化プログラムを記憶する記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002372254A JP2004207862A (ja) | 2002-12-24 | 2002-12-24 | 映像符号化装置及び映像復号化装置及びその方法並びにそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002372254A JP2004207862A (ja) | 2002-12-24 | 2002-12-24 | 映像符号化装置及び映像復号化装置及びその方法並びにそのプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004207862A true JP2004207862A (ja) | 2004-07-22 |
Family
ID=32810908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002372254A Pending JP2004207862A (ja) | 2002-12-24 | 2002-12-24 | 映像符号化装置及び映像復号化装置及びその方法並びにそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004207862A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010226672A (ja) * | 2009-03-25 | 2010-10-07 | Nippon Hoso Kyokai <Nhk> | 画像分割装置、分割画像符号化装置及びプログラム |
| JP2011035621A (ja) * | 2009-07-31 | 2011-02-17 | Sony Corp | 画像処理装置および方法 |
| JP2012147319A (ja) * | 2011-01-13 | 2012-08-02 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
| JP2012195702A (ja) * | 2011-03-15 | 2012-10-11 | Fujitsu Ltd | 画像符号化方法及び画像符号化装置 |
| JP2014511594A (ja) * | 2011-02-14 | 2014-05-15 | エッセ．イ．エスヴィー．エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ．ピー．アー． | 立体画像を生成、送信、および、受信するための方法、および関連するデバイス |
| WO2020022101A1 (ja) * | 2018-07-27 | 2020-01-30 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置および画像処理方法 |
| JP2021145378A (ja) * | 2016-05-27 | 2021-09-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 符号化装置 |
-
2002
- 2002-12-24 JP JP2002372254A patent/JP2004207862A/ja active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010226672A (ja) * | 2009-03-25 | 2010-10-07 | Nippon Hoso Kyokai <Nhk> | 画像分割装置、分割画像符号化装置及びプログラム |
| JP2011035621A (ja) * | 2009-07-31 | 2011-02-17 | Sony Corp | 画像処理装置および方法 |
| JP2012147319A (ja) * | 2011-01-13 | 2012-08-02 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
| JP2014511594A (ja) * | 2011-02-14 | 2014-05-15 | エッセ．イ．エスヴィー．エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ．ピー．アー． | 立体画像を生成、送信、および、受信するための方法、および関連するデバイス |
| JP2012195702A (ja) * | 2011-03-15 | 2012-10-11 | Fujitsu Ltd | 画像符号化方法及び画像符号化装置 |
| US11985350B2 (en) | 2016-05-27 | 2024-05-14 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
| US12069303B2 (en) | 2016-05-27 | 2024-08-20 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
| JP2021145378A (ja) * | 2016-05-27 | 2021-09-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 符号化装置 |
| JP7340563B2 (ja) | 2016-05-27 | 2023-09-07 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置 |
| US12063390B2 (en) | 2016-05-27 | 2024-08-13 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
| US11962804B2 (en) | 2016-05-27 | 2024-04-16 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
| US11985349B2 (en) | 2016-05-27 | 2024-05-14 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
| JPWO2020022101A1 (ja) * | 2018-07-27 | 2021-08-02 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置および画像処理方法 |
| JP7350744B2 (ja) | 2018-07-27 | 2023-09-26 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置 |
| WO2020022101A1 (ja) * | 2018-07-27 | 2020-01-30 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置および画像処理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111630571B (zh) | 处理点云 | |
| US7961904B2 (en) | Apparatus for embedding and reproducing watermark into and from contents data | |
| KR100292160B1 (ko) | 화상 합성 방법, 화상 합성 장치, 및 데이터 기록 매체 | |
| US7075993B2 (en) | Correction system and method for enhancing digital video | |
| KR100488422B1 (ko) | 그레이스케일모양정보부호화/복호화장치및그방법 | |
| KR101912059B1 (ko) | 화상 부호화 장치 및 화상 복호 장치 | |
| TW201301901A (zh) | 圖像處理裝置及圖像處理方法 | |
| JP2015128299A (ja) | デジタル・ビデオに電子透かしを入れる方法 | |
| KR20120034821A (ko) | 픽셀 보간을 위한 방법 및 디바이스 | |
| US10136148B2 (en) | Methods, receiving device and sending device for managing a picture | |
| JP7507296B2 (ja) | ラップアラウンド動き補償に基づく画像符号化／復号化方法及び装置、並びにビットストリームを保存した記録媒体 | |
| KR20100010612A (ko) | 스케일러블 영상 복호화기 및 그 제어 방법 | |
| JP2004207862A (ja) | 映像符号化装置及び映像復号化装置及びその方法並びにそのプログラム | |
| US20080260290A1 (en) | Changing the Aspect Ratio of Images to be Displayed on a Screen | |
| US20110002553A1 (en) | Compressive coding device and decoding device | |
| KR101909867B1 (ko) | 감소된 보간 오차를 갖는 낮은 복잡도 룩업 테이블 구성 | |
| RU2767775C1 (ru) | Обработка облака точек | |
| JP4746644B2 (ja) | 電子透かし埋め込み方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体 | |
| JP5253328B2 (ja) | 画像補正装置及び画像補正方法 | |
| JP4747214B2 (ja) | 映像信号処理装置、及び、映像信号処理方法 | |
| JP2921720B2 (ja) | 符号化による映像信号符号化装置 | |
| JP5038400B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
| JP2003299035A (ja) | 画素補間処理装置及び方法 | |
| JPH05130585A (ja) | 符号化装置 | |
| JPH11317909A (ja) | 画像合成方法，画像合成装置，及びデ―タ記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070403 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070731 |