JP2004336104A - 立体画像圧縮装置及び立体画像伸長装置 - Google Patents

Abstract

【課題】立体Ｎ眼画像を効率よく圧縮できる立体画像圧縮装置を提供する。
【解決手段】入力画素構成変換装置８０５は、第１眼と第２眼画像、及び、第３眼画像と第４眼画像を１組にして、第１眼画像（○）を多重化４眼画像９０２の上半分のブロックの奇数行に配置し、第２眼画像（●）を偶数行に配置し、第３眼画像（□）を下半分のブロックの奇数行に配置し、第４眼画像（■）を偶数行に配置する。ＭＰＥＧ圧縮装置１０８は、多重化４眼画像９０２、又は、トップフィールド画像９０３及びボトムフィールド画像９０４の何れかを選択して、ＭＰＥＧ圧縮を行う。
【選択図】 図９

Description

【０００１】
【発明の属する技術分野】
本発明は、立体画像圧縮装置及び立体画像伸長装置に関し、特に、立体画像を含む画像データを効率よく圧縮できる立体画像圧縮装置、及び、そのような立体画像圧縮装置で圧縮された画像データを伸長する立体画像伸長装置に関する。
【０００２】
【従来の技術】
高い臨場感が得られる表示装置として、立体画像を表示する立体ディスプレイが知られている。立体画像は左目画像と右目画像とにより構成され、左目画像及び右目画像は、同じ撮影対象について、互いの視点をずらして撮影された視差画像として構成される。ディスプレイを観察（視聴）する観察者は、右目には右目画像を入力し、左目には左目画像を入力して、画像を立体的に観察できる。従来、立体画像を圧縮して伝送できる技術としては、例えば特開平１１−１８１１１号公報（特許文献１）に記載された技術がある。
【０００３】
図４４は、特許文献１に記載の立体画像圧縮装置による立体画像の圧縮処理の様子を模式的に示している。同図では、立体ディスプレイの表示画面は３５２列×２８８行（ライン）の画素から成る。立体ディスプレイの表示画面の各行には、立体画像４４０２として示すように、左目画像（○）と右目画像（×）とが交互に配置される。左目画像（○）及び右目画像（×）は、それぞれ１７６列×２８８行の画像として構成され、それぞれの原画像の画素を列方向に１つおきに間引きした画像に相当する。立体画像圧縮装置４４００は、左目画像及び右目画像を１つの画像に多重化し、その多重化画像に対して圧縮を行う。
【０００４】
立体画像圧縮装置４４００は、入力する左目画像（○）と右目画像（×）とを、ブロックを分けて、１つの多重化画像４４０４に多重化する。この多重化により、多重化画像４４０４の左半分のブロック（１列目から１７６列目）には左目画像（○）が配置され、右半分のブロック（１７７列目から３５２列目）には右目画像（×）が配置される。ＭＰＥＧ圧縮装置４４０５は、多重化画像４４０４を符号化の単位としてＭＰＥＧ圧縮を行う。圧縮された多重化画像４４０４は、送信・記録装置４４０６によって送信され、或いは、記録媒体に記録される。
【０００５】
立体画像伸長装置４４０１は、立体画像圧縮装置４４００によって圧縮された多重化画像４４０４を、受信・再生装置４４０７によって受信し、或いは、記録媒体から再生する。ＭＰＥＧ伸長装置４４０８は、圧縮された多重化画像４４０４を伸長して再現する。再現された多重化画像４４０４から、左目画像（○）と右目画像（×）とが分離され、立体ディスプレイ上には、再現された立体画像４４０９が表示される。このように、左目画像及び右目画像を、１つの画像に多重化して圧縮することで、複数のチャンネルや回線を使用することなく、効率よく立体画像を送信することができる。
【０００６】
【特許文献１】
特開平１１−１８１１１号公報
【０００７】
【発明が解決しようとする課題】
一般に、立体画像は、撮影地点からの距離が離れる対象物ほど、左目画像と右目画像とでは、画像の空間的な相関が高くなる。このため、左目画像と右目画像との画像空間の相関性を利用できれば、特に視点（撮影地点）からの距離が遠い対象物で構成される領域の画像データの圧縮効率を向上させることができる。しかし、従来の立体画像圧縮装置４４００では、左目画像と右目画像とが、左半分のブロックと、右半分のブロックとに分かれて多重化されるため、ＭＰＥＧ圧縮を行う際に、左目画像と右目画像との画像空間の相関性を適用できず、圧縮率を向上させることができない。
【０００８】
ところで、立体画像が、左目画像と右目画像の２つの画像のみではなく、互いの視点をずらした３以上の画像から構成される場合に、立体画像を効率的に圧縮できる技術については知られていない。また、例えば、立体画像を広く放送により送信するような場合には、全ての受信者が立体ディスプレイにより立体画像を観察可能であるとは限らないため、立体画像と同時に、立体画像と同様の内容の平面画像を送信したいという要望があると考えられる。しかし、従来の立体画像圧縮装置では、圧縮の対象が立体画像のみであるため、立体画像と平面画像とを同時に送信する場合には、立体画像圧縮装置に加えて、平面画像を圧縮して送信するための別の装置が必要となる。また、平面画像と立体画像とが、個別に圧縮される場合には、両者の画像空間の相関性を利用した効率のよい圧縮ができないという問題もある。
【０００９】
本発明は、立体画像が互いに視点をずらした３以上の画像を含む場合についても、効率よく立体画像の圧縮、伝送ができる立体画像圧縮装置、及び、そのような立体画像圧縮装置で圧縮された立体画像を伸長する立体画像伸長装置を提供することを目的とする。
【００１０】
また、本発明は、立体画像を構成する２以上の視点の画像間の相関を利用して、効率よく立体画像の圧縮、伝送ができる立体画像圧縮装置、及び、そのような立体画像圧縮装置で圧縮された立体画像を伸長する立体画像伸長装置を提供することを目的とする。
【００１１】
更に、本発明は、上記目的を達成した上で、同じ対象についての平面画像と立体画像とを、同時に効率よく圧縮、伝送できる立体画像圧縮装置、及び、そのような立体画像圧縮装置で圧縮された立体画像を伸長する立体画像伸長装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の視点における立体画像圧縮装置は、Ｎ枚（Ｎ≧３）の視差画像から、該Ｎ枚の視差画像を画像空間的に多重化した１枚の多重化画像を生成する立体画像前処理部と、該立体画像前処理部により生成された多重化画像を圧縮する画像圧縮部とを備えることを特徴とする。
【００１３】
本発明の第１の視点における立体画像圧縮装置では、立体Ｎ眼画像（Ｎ≧３）を構成する各視差画像が、１つの画像に多重化されるため、立体Ｎ眼画像を、複数のチャンネルを使用することなく、記録又は送信することができる。多重化画像が、縦方向、横方向、又は、縦及び横方向に並べられた複数のブロックに区分されるときには、各ブロックに、視差画像、又は、視差画像と同じサイズのダミー画像を１つずつ配置することもできる。ダミー画像は、視差画像の合計サイズと多重化画像のサイズとの差を調整するものであり、例えば、視差画像のうちの１枚として構成することができる。
【００１４】
本発明の第２の視点における立体画像圧縮装置は、Ｎ枚（Ｎ≧２）の視差画像から、該Ｎ枚の視差画像のそれぞれを奇数行又は偶数行の何れかに振り分けて配置して画像空間的に多重化した１枚の多重化画像を生成する立体画像前処理部と、該立体画像前処理部により生成された多重化画像を圧縮する画像圧縮部とを備えることを特徴とする。
【００１５】
本発明の第２の視点における立体画像圧縮装置では、立体Ｎ眼画像（Ｎ≧２）を構成する各視差画像を、１つの画像に多重化する際に、ある視差画像については多重化画像の奇数行に、また、その他のある画像については多重化画像の偶数行に配置するため、立体Ｎ眼画像を、複数のチャンネルを使用することなく、記録又は送信することができると共に、視差画像間の空間的な相関を利用して、効率のよい圧縮が可能となる。
【００１６】
本発明の第２の視点における立体画像圧縮装置では、Ｎが偶数のとき、前記立体画像前処理部は、前記Ｎ枚の視差画像を２枚ずつＮ／２個の組に分け、各組の２枚の視差画像の各行を前記多重化画像の奇数行及び偶数行に区分して配置する構成を採用することができる。
【００１７】
本発明の第２の視点における立体画像圧縮装置では、Ｎが奇数のとき、前記立体画像前処理部は、前記Ｎ枚の視差画像を２枚ずつ組み合わせた（Ｎ−１）／２個の組と、残りの１枚の視差画像とダミー画像とを組み合わせた組とに分け、各組の２枚の画像の各行を前記多重化画像の奇数行及び偶数行に区分して配置する構成を採用することもでき、或いは、前記Ｎ枚の視差画像を２枚ずつ組み合わせた（Ｎ−１）／２個の組と、残りの１枚の視差画像とに分け、各組の２枚の視差画像の各行を前記多重化画像の奇数行及び偶数行に区分して配置し、前記残りの１枚の視差画像を、多重化画像の前記組とは別の部分に配置する構成を採用することもできる。
【００１８】
本発明の第３の視点における立体画像圧縮装置は、Ｎ枚（Ｎ≧２）の視差画像から、該Ｎ枚の視差画像を時間的に多重化して、画像サイズが相互に同じ、２枚以上Ｎ枚以下の時分割画像を生成する立体画像前処理部と、前記時分割画像を圧縮する画像圧縮部とを備えることを特徴とする。
【００１９】
本発明の第３の視点における立体画像圧縮装置では、立体Ｎ眼画像（Ｎ≧２）を複数の時分割画像に分割して時間的に多重化するため、立体Ｎ眼画像を、複数のチャンネルを使用することなく、記録又は送信することができる。また、画像圧縮部による圧縮に際して、複数の時分割画像を動画的に圧縮する場合には、時分割画像間の空間的な相関性を利用することで、効率のよい圧縮が可能となる。立体Ｎ眼画像がＮ枚の時分割画像に時分割多重化されるときには、各時分割画像には、視差画像のうちの１枚が単独で含まれ、Ｎ未満の時分割画像に時分割多重化されるときには、少なくとも１枚の分割画像には、複数の視差画像が含まれる。この場合には、第１の視点における立体画像圧縮装置における視差画像と同様にして、複数の視差画像を、画像空間的に多重化することができる。各分割画像に含まれる視差画像の数が一致しないときには、ダミー画像により、サイズを調整することができる。
【００２０】
本発明の第３の視点における立体画像圧縮装置では、前記時分割画像のそれぞれが、Ｒ枚（２≦Ｒ＜Ｎ）の視差画像、又は、視差画像及びダミー画像の合計としてＲ枚の画像を含み、Ｒが偶数のとき、Ｒ枚（Ｒ≧２）の視差画像、又は、視差画像及ダミー画像を含むＲ枚の画像を、２枚ずつＲ／２個の組に分け、各組の２枚の画像の各行を前記時分割画像の奇数行及び偶数行に区分して配置する構成を採用することができる。この場合、各組２枚の画像は、時分割画像を、縦方向、横方向、又は、縦及び横方向に並べられた複数のブロックに区分して、そのブロックに配置することができる。
【００２１】
本発明の第４の視点における立体画像圧縮装置は、立体画像を構成するＮ枚（Ｎ≧２）の視差画像と、該Ｎ枚の視差画像の内の１枚の画像を列方向にＮ倍した解像度を有する平面画像とを画像空間的に多重化した１枚の多重化画像を生成する立体画像前処理部と、該立体画像前処理部により生成された多重化画像を圧縮する画像圧縮部とを備えることを特徴とする。
【００２２】
本発明の第４の視点における立体画像圧縮装置では、立体Ｎ眼画像と、視差画像のうちの１枚の解像度を列方向にＮ倍にした平面画像とを、１つの画像に多重化するため、立体Ｎ眼画像と平面画像とを、複数のチャンネルを使用することなく、記録又は送信することができる。これにより、立体ディスプレイを持つ観察者には立体Ｎ眼画像を表示させ、平面ディスプレイを持つ観察者には平面画像を表示させることができる。立体Ｎ眼画像と平面画像とを１枚の多重化画像へ多重化する際には、本発明の第１の視点又は第２の視点における立体画像圧縮装置における視差画像の多重化と同様にして、奇数行と偶数行に区切らず、或いは、奇数行と偶数行に区切って、多重化することができる。視差画像のうちの１枚の画像と平面画像との間で重複する画素について、視差画像の入力の際、又は、平面画像の入力の際に、重複画素の入力を省略することができる。入力を省略した画像（画素）は、ダミー画像で置き換えることができる。
【００２３】
本発明の第５の視点における立体画像圧縮装置は、立体画像を構成するＮ枚（Ｎ≧２）の視差画像と、該Ｎ枚の視差画像の内の１枚を列方向にＮ倍した解像度を有する平面画像とを時間的に多重化して、画像サイズが相互に同じ２Ｎ枚以下の時分割画像を生成する立体画像前処理部と、前記時分割画像を圧縮する画像圧縮部を備えることを特徴とする。
【００２４】
本発明の第５の視点における立体画像圧縮装置では、立体Ｎ眼画像と、視差画像のうちの１枚の解像度を列方向にＮ倍にした平面画像とを、複数の時分割画像に分割して時間的に多重化するため、立体Ｎ眼画像と平面画像とを、複数のチャンネルを使用することなく、記録又は送信することができる。また、画像圧縮部による圧縮に際して、時分割画像を動画的に圧縮する場合には、時分割画像間の空間的な相関性を利用することで、効率のよい圧縮が可能となる。視差画像のうちの１枚の画像と平面画像との間で重複する画素について、視差画像の入力の際、又は、平面画像の入力の際に、重複画素の入力を省略することができる。入力を省略した画像（画素）は、ダミー画像で置き換えることができる。
立体Ｎ眼画像と平面画像が、２Ｎ枚（重複画像の入力を省略したときは２Ｎ−１枚）の時分割画像に時分割多重化されるときには、各時分割画像には、視差画像又は平面画像の部分画像のうちの１枚が単独で含まれ、２Ｎ（重複画像の入力を省略したときは２Ｎ−１）未満の時分割画像に時分割多重化されるときには、少なくとも１枚の分割画像には、複数の画像が含まれる。この場合には、本発明の第３の視点における立体画像圧縮装置における視差画像と同様にして、同じ分割画像に含まれる複数の画像を、画像空間的に多重化することができる。各分割画像に含まれる画像数が一致しないときには、ダミー画像により、サイズを調整することができる。
【００２５】
本発明の第６の視点における立体画像圧縮装置は、１〜Ｎ眼ディスプレイ（Ｎ≧２）の全てに表示するために必要な全ての視差画像を画像空間的に多重化した多重化画像を生成する体画像前処理部と、該立体画像前処理部により生成された多重化画像を圧縮する画像圧縮部とを備えることを特徴とする。
【００２６】
本発明の第６の視点にける立体画像圧縮装置では、１〜Ｎ眼ディスプレイ（Ｎ≧２）の全てに表示するために必要な全ての視差画像を、１つの画像に多重化するため、１〜Ｎ眼ディスプレイ用の画像を、複数のチャンネルを使用することなく、記録又は送信することができる。これにより、観察者は、自身が持つディスプレイのタイプに適合した画像を観察できる。１〜Ｎ眼ディスプレイ（Ｎ≧２）の全てに表示するために必要な全ての視差画像は、本発明の第１又は第２の視点における立体画像圧縮装置における視差画像と同様にして、１枚の多重化画像に多重化することができる。
【００２７】
本発明の第７の視点における立体画像圧縮装置は、１〜Ｎ眼ディスプレイ（Ｎ≧２）の全てに表示するために必要な全ての視差画像を時間的に多重化して、画像サイズが相互に同じ２以上２Ｎ枚以下の時分割画像を生成する立体画像前処理部と、前記時分割画像を圧縮する画像圧縮部とを備えることを特徴とする。
【００２８】
本発明の第７の視点における立体画像圧縮装置では、１〜Ｎ眼ディスプレイ（Ｎ≧２）の全てに表示するために必要な全ての視差画像を、複数の時分割画像に分割して時間的に多重化するため、１〜Ｎ眼ディスプレイ用の画像を、複数のチャンネルを使用することなく、記録又は送信することができる。また、画像圧縮部による圧縮に際して、時分割画像を動画的に圧縮する場合には、時分割画像間の空間的な相関性を利用することで、効率のよい圧縮が可能となる。１〜Ｎ眼ディスプレイ（Ｎ≧２）の全てに表示するために必要な全ての視差画像は、本発明の第３の視点における立体画像圧縮装置における視差画像と同様にして、時分割画像に多重化することができる。
【００２９】
本発明の第８の視点における立体画像圧縮装置は、ｋを３以上の整数Ｎの任意の約数とするとき、全てのｋに対して、ｋ眼ディスプレイに表示するために必要な全ての視差画像を画像空間的に多重化した多重化画像を生成する立体画像前処理部と、該立体画像前処理部により生成された多重化画像を圧縮する画像圧縮部とを備えることを特徴とする。
【００３０】
本発明の第８の視点における立体画像圧縮装置では、ｋ眼ディスプレイに表示するために必要な全ての視差画像を、１枚の多重化画像に多重化するため、全てのｋについてのｋ眼ディスプレイ用の画像を、複数のチャンネルを使用することなく、記録又は送信することができる。これにより、観察者は、自身が持つディスプレイのタイプに適合した画像を観察できる。
【００３１】
本発明の第９の視点における立体画像圧縮装置は、ｋを３以上の整数Ｎの任意の約数とするとき、全てのｋに対して、ｋ眼ディスプレイに表示するために必要な全ての視差画像を時間的に多重化して、画像サイズが相互に同じ複数の時分割画像を生成する立体画像前処理部と、該立体画像前処理部により生成された時分割画像を圧縮する画像圧縮部とを備えることを特徴とする。
【００３２】
本発明の第９の視点における立体画像圧縮装置では、ｋ眼ディスプレイに表示するために必要な全ての視差画像を、複数の時分割画像に分割して時間的に多重化するため、全てのｋについてのｋ眼ディスプレイ用の画像を、複数のチャンネルを使用することなく、記録又は送信することができる。また、画像圧縮部による圧縮に際して、時分割画像を動画的に圧縮する場合には、時分割画像間の空間的な相関性を利用することで、効率のよい圧縮が可能となる。
【００３３】
上記本発明の立体画像圧縮装置は、前記多重化画像又は時分割画像を、インターレース変換するインターレース変換部を備え、前記画像圧縮部は、前記立体画像処理部により生成された多重化画像若しくは時分割画像、又は、前記インターレース変換部によって変換された多重化画像若しくは時分割画像の何れかを選択して圧縮することが好ましい。この場合、インターレース変換によって得られるトップフィールド画像とボトムフィールド画像との差異に基づいて、インターレース変換前のフレーム画像又はインターレース変換後のフィールド画像の何れかを圧縮の対象として選択することで、更に、効率のよい圧縮が可能となる。
【００３４】
本発明の第８及び第９の視点における立体画像圧縮装置では、立体画像前処理部には、ｉ及びｊ（ｉ≠ｊ）をｋに含まれる任意の数として、ｉ眼ディスプレイに表示する画像とｊ眼ディスプレイに表示する画像とで重複する重複画素について、前記ｉ眼ディスプレイに表示する画像とｊ眼ディスプレイに表示する画像の何れか一方の入力が省略されることが好ましい。重複画素が存在するか否かは、ｋ眼ディスプレイに表示する１〜ｋ視点画像に含まれる第ｑ視点画像（１≦ｑ≦ｋ）を構成するｘ＝ｋｐ＋ｑ（ｐは０から（画像の列数／ｑ）−１までの整数）番目の画素について、ｋ’をＮの約数であってｑ≦ｋ’＜ｋを満たす数とするとき、全てのｋ’に対して、ｐ’＝ｋｐ／ｋ’を計算し、ｐ’が整数となるようなｋ’が存在するか否かによって、簡易に判定できる。
【００３５】
本発明の第８及び第９の視点における立体画像圧縮装置では、前記立体画像前処理部は、Ｎ眼ディスプレイに表示する視差画像の大きさを単位として各視差画像を１つ以上の画像グループに区分し、該画像グループを単位として前記視差画像を多重化する構成を採用することができる。各画像グループは、入力された各視差画像から、元の視差画像のＮ列おきに（Ｎ列周期でサンプリングして）取り出した画素によって形成することができる。
【００３６】
本発明の第８の視点における立体画像圧縮装置では、全ての視差画像についての画像グループの総数Ｍが偶数のとき、前記立体画像前処理部は、前記Ｍ個の画像グループを２個ずつＭ／２個の組に分け、各組の２個の画像グループの各行を前記多重化画像の奇数行及び偶数行に区分して配置する構成を採用することができ、或いは、全ての視差画像についての画像グループの総数Ｍが奇数のとき、前記立体画像前処理部は、前記Ｍ個の画像グループを２個ずつ組み合わせた（Ｍ−１）／２個の組と、残りの１個の画像グループとダミーグループとを組み合わせた組とに分け、各組の２個のグループの画像の各行を前記多重化画像の奇数行及び偶数行に区分して配置する構成を採用することができる。１枚の多重化画像への多重化では、本発明の第２の視点における立体画像圧縮装置における視差画像と同様にして、画像グループ又はダミーグループを多重化することができる。または、これに代えて、本発明の第１の視点における立体画像圧縮装置における視差画像の多重化画像への多重化と同様にして、画像グループ又はダミーグループを多重化することもできる。
【００３７】
本発明の第９の視点における立体画像圧縮装置では、全ての視差画像についての画像グループの総数をＭとすると、前記時分割画像は、それぞれＲ個（Ｒ≧２）の画像グループ、又は、前記画像グループ及びダミーグループの合計としてＲ個のグループを含む構成を採用することができる。分割画像での画像空間的な多重化では、本発明の第３の視点における立体画像圧縮装置における視差画像の分割画像での画像空間的な多重化と同様にして、画像グループ又はダミーグループを多重化することができる。
【００３８】
本発明の第１、第２、又は第３の視点における立体画像圧縮装置は、前記圧縮された視差画像をストリームとして送信する画像送信部を更に備え、該画像送信部は前記ストリームが立体画像データを含むことを示すフラグを挿入する構成を採用することができる。ストリームは、送信に代えて、又は、これに加えて、記録媒体に記録することもできる。フラグには、１枚の多重化画像又は時分割画像に含まれる視差画像数がいくつであるか、多重化画像又は時分割画像中に視差画像がどのように配置されるか、或いは、多重化画像又は時分割画像にダミー画像が含まれる場合には、そのダミー画像がどのような画像であるかといった情報を含ませることもできる。
【００３９】
本発明の第４又は第５の視点における立体画像圧縮装置は、前記圧縮された視差画像をストリームとして送信する画像送信部を更に備え、該画像送信部は前記ストリームが立体画像データのみ、立体画像データと平面画像データ、又は、平面画像データのみの何れであるかを示すフラグを挿入する構成を採用することができる。フラグには、１枚の多重化画像又は時分割画像にはどのような画像が含まれるか、多重化画像又は時分割画像中には画像がどのように配置されるか、平面画像は視差画像のうちのどの１枚を高解像度にした画像であるか、或いは、多重化画像又は時分割画像にダミー画像が含まれる場合には、そのダミー画像がどのような画像であるかといった情報を含ませることもできる。
【００４０】
本発明の第１〜第９の視点における立体画像圧縮装置は、前記圧縮された視差画像をストリームとして送信する画像送信部を備え、該画像送信部は前記ストリームが時分割画像データ又は多重化画像データの何れであるかを示すフラグを挿入する構成を採用することができる。
【００４１】
本発明の第１０の視点における立体画像伸長装置は、上記本発明の第１又は第２視点における立体画像圧縮装置で圧縮された多重化画像を伸長する画像伸長部と、画像伸長部により伸長された多重化画像から、Ｎ枚の視差画像を分離する立体画像後処理部とを備えることを特徴とする。
【００４２】
本発明の第１０の視点における立体画像伸長装置は、圧縮された多重化画像を伸長により再現し、再現された多重化画像から、立体画像前処理装置による多重化とは逆の規則でＮ枚の視差画像を分離することで、Ｎ眼ディスプレイに立体画像を表示可能である。立体画像伸長装置は、例えば、立体画像圧縮装置が立体画像データのストリーム中に挿入したフラグを参照することで、正しく立体画像を表示させることができる。
【００４３】
本発明の第１１の視点における立体画像伸長装置は、上記本発明の第３視点の立体画像圧縮装置で圧縮された時分割画像を伸長する画像伸長部と、画像伸長部により伸長された時分割画像から、Ｎ枚の視差画像を分離する立体画像後処理部とを備えることを特徴とする。
【００４４】
本発明の第１１の視点における立体画像伸長装置は、圧縮された時分割画像を伸長により再現し、再現された複数枚の時分割画像から、Ｎ枚の視差画像を分離することで、Ｎ眼ディスプレイに立体画像を表示可能である。立体画像伸長装置は、例えば、立体画像圧縮装置が立体画像データのストリーム中に挿入したフラグを参照することで、正しく立体画像を表示させることができる。
【００４５】
本発明の第１２の視点における立体画像伸長装置は、上記本発明の第４視点における立体画像圧縮装置で圧縮された多重化画像を伸長する画像伸長部と、画像伸長部により伸長された多重化画像から、Ｎ枚の視差画像と、該Ｎ枚の視差画像の内の１枚の画像を列方向にＮ倍した解像度を有する平面画像とを分離する立体画像後処理部と、を備えることを特徴とする。
【００４６】
本発明の第１２の視点における立体画像伸長装置は、圧縮された多重化画像を伸長により再現し、再現された多重化画像から、立体画像前処理装置による多重化とは逆の規則で、Ｎ枚の視差画像と平面画像とを分離することで、Ｎ眼ディスプレイには立体画像を表示でき、平面ディスプレイには平面画像を表示できる。立体画像伸長装置は、例えば、立体画像圧縮装置がストリーム中に挿入したフラグを参照することで、立体画像又は平面画像を正しく表示させることができる。
【００４７】
本発明の第１３の視点における立体画像伸長装置は、上記本発明の第５視点における立体画像圧縮装置で圧縮された時分割画像を伸長する画像伸長部と、画像伸長部により伸長された時分割画像から、Ｎ枚の視差画像と、該Ｎ枚の視差画像の内の１枚の画像を列方向にＮ倍した解像度を有する平面画像とを分離する立体画像後処理部と、を備えることを特徴とする。
【００４８】
本発明の第１３の視点における立体画像伸長装置は、圧縮された時分割画像を伸長により再現し、再現された複数枚の時分割画像から、Ｎ枚の視差画像と平面画像とを分離することで、Ｎ眼ディスプレイには立体画像を表示でき、平面ディスプレイには平面画像を表示できる。立体画像伸長装置は、例えば、立体画像圧縮装置がストリーム中に挿入したフラグを参照することで、立体画像又は平面画像を正しく表示させることができる。
【００４９】
本発明の第１４の視点における立体画像伸長装置は、上記本発明の第６視点における立体画像圧縮装置で圧縮された多重化画像を伸長する画像伸長部と、画像伸長部により伸長された多重化画像から、１〜Ｎ眼ディスプレイの少なくとも１つのディスプレイに表示するために必要な視差画像を分離する立体画像後処理部とを備えることを特徴とする。
【００５０】
本発明の第１４の視点における立体画像伸長装置は、圧縮された多重化画像を伸長により再現し、再現された多重化画像から、立体画像前処理装置による多重化とは逆の規則で、１〜Ｎ眼ディスプレイの少なくとも１つのディスプレイに表示するために必要な視差画像を分離することで、１〜Ｎ眼ディスプレイの少なくとも１つに、そのディスプレイに適した画像を表示可能である。立体画像伸長装置は、例えば、立体画像圧縮装置がストリーム中に挿入したフラグを参照することで、正しく画像を表示させることができる。
【００５１】
本発明の第１５の視点における立体画像伸長装置は、上記本発明の第７視点における立体画像圧縮装置で圧縮された時分割画像を伸長する画像伸長部と、画像伸長部により伸長された時分割画像から、１〜Ｎ眼ディスプレイの少なくとも１つのディスプレイに表示するために必要な視差画像を分離する立体画像後処理部とを備えることを特徴とする。
【００５２】
本発明の第１５の視点における立体画像伸長装置は、圧縮された時分割画像を伸長により再現し、再現された複数枚の時分割画像から、１〜Ｎ眼ディスプレイの少なくとも１つのディスプレイに表示するために必要な視差画像を分離することで、１〜Ｎ眼ディスプレイの少なくとも１つに、そのディスプレイに適した画像を表示可能である。立体画像伸長装置は、例えば、立体画像圧縮装置がストリーム中に挿入したフラグを参照することで、正しく画像を表示させることができる。
【００５３】
本発明の第１６の視点における立体画像伸長装置は、上記本発明の第８視点における立体画像圧縮装置で圧縮された多重化画像を伸長する画像伸長部と、画像伸長部により伸長された多重化画像から、ｋ眼ディスプレイに表示するために必要な差画像を分離する立体画像後処理部とを備えることを特徴とする。
【００５４】
本発明の第１６の視点における立体画像伸長装置は、圧縮された多重化画像を伸長により再現し、再現された多重化画像から、立体画像前処理装置による多重化とは逆の規則で、ｋ眼ディスプレイに表示するために必要な視差画像を分離することで、ｋ眼ディスプレイに、そのディスプレイに適した画像を表示可能である。立体画像伸長装置は、例えば、立体画像圧縮装置がストリーム中に挿入したフラグを参照することで、正しく画像を表示させることができる。
【００５５】
本発明の第１７の視点における立体画像伸長装置は、上記本発明の第９視点における立体画像圧縮装置で圧縮された時分割画像を伸長する画像伸長部と、画像伸長部により伸長された時分割画像から、ｋ眼ディスプレイに表示するために必要な差画像を分離する立体画像後処理部とを備えることを特徴とする。
【００５６】
本発明の第１７の視点における立体画像伸長装置は、圧縮された時分割画像を伸長により再現し、再現された複数枚の時分割画像から、ｋ眼ディスプレイに表示するために必要な視差画像を分離することで、ｋ眼ディスプレイに、そのディスプレイに適した画像を表示可能である。立体画像伸長装置は、例えば、立体画像圧縮装置がストリーム中に挿入したフラグを参照することで、正しく画像を表示させることができる。
【００５７】
【発明の実施の形態】
以下、図面を参照し、本発明の実施形態例に基づいて、本発明を更に詳細に説明する。
【００５８】
第１実施形態例
図１は、本発明の第１実施形態例の立体画像圧縮装置及び立体画像伸長装置の構成を機能ブロック図として示している。立体画像圧縮装置１００は、立体画像前処理装置１０４を構成する入力画素構成変換装置１０５、ＭＰＥＧ圧縮装置１０８、及び、送信・記録装置（送信装置又は記録装置）１０９を備える。立体画像伸長装置１０１は、受信・再生装置（受信装置又は再生装置）１１０、ＭＰＥＧ伸長装置１１１、及び、立体画像後処理装置１１２として構成される出力画素構成変換装置１１５を備える。
【００５９】
立体画像圧縮装置１００は、互いに視点をずらして撮影された第１眼画像から第Ｎ眼画像（Ｎは３以上の整数）をそれぞれ入力し、第１眼〜第Ｎ眼画像を所定の規則で多重化した立体多視画像に対して、ＭＰＥＧ圧縮を行う。第１眼〜第Ｎ眼画像は、それぞれ、１フレームが１フィールドで構成されるプログレッシブ画像であり、同じ解像度で同じ画素数の画像として構成される。立体画像圧縮装置１００は、圧縮した立体多視画像を、例えば通信回線を介して立体画像伸長装置１０１に送信し、或いは、記録媒体に記録する。立体画像伸長装置１０１は、圧縮された立体多視画像を、外部から受信して伸長し、或いは、記録媒体から読み込んで伸長し、伸長した立体多視画像を立体ディスプレイ等の表示装置に出力する。
【００６０】
例えば、Ｎ＝４の場合であって、立体多視画像が第１眼〜第４眼画像を含み、第１眼〜第４眼画像が、それぞれ８８列×２８８行の画像サイズを有する画像として構成される場合について考える。また、立体多視画像（４眼立体画像）を表示する立体ディスプレイの表示画面サイズは３５２列×２８８行（ライン）であり、４眼立体画像が立体ディスプレイに表示されるとき、その表示画面の各行には、第１眼〜第４眼画像が順次に繰り返し配置されるものとする。４眼立体画像は、立体画像圧縮装置１００で圧縮され、立体画像伸長装置１０１で伸長されて、立体ディスプレイに表示される。立体ディスプレイの観察者は、３５２列×２８８行の表示画面から、観察者の観察位置に応じて異なる２つの画像、つまりそれぞれ８８列×２８８行で構成される第１眼画像〜第４眼画像のうちの２つ画像を、右目及び左目のそれぞれによって観察する。
【００６１】
入力画素構成変換装置１０５は、立体画像を構成する第１眼〜第Ｎ眼画像を所定の規則で１つの画像に多重化し、多重化多視画像を生成する。ＭＰＥＧ圧縮装置１０８は、入力画素構成変換装置１０５で多重化された多重化多視画像を入力し、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮により、ＭＰＥＧ−２や、ＭＰＥＧ−４などの画像圧縮フォーマットで多重化多視画像を圧縮する。送信・記録装置１０９は、ＭＰＥＧ圧縮装置１０８により圧縮された多重化多視画像を、通信回線を介して立体画像圧縮装置の外部に送信し、或いは、光ディスク等の記録媒体に記録する。
【００６２】
立体画像伸長装置１０１では、受信・再生装置１１０によって、圧縮された多重化多視画像が、受信され、或いは、記録媒体から読み取られる。ＭＰＥＧ伸長装置１１１は、圧縮された多重化多視画像を伸長する。この伸長により、多重化多視画像が再現される。出力画素構成変換装置１１５は、ＭＰＥＧ伸長により再現された多重化多視画像を入力し、多重化多視画像に含まれる第１眼〜第Ｎ眼画像を、入力画素構成変換装置１０５の多重化とは逆の規則で分解（逆多重化）する。出力画素構成変換装置１１５は、分解された第１眼〜第Ｎ眼画像を、立体ディスプレイ等の出力装置にそれぞれ出力する。
【００６３】
図２は、図１の立体画像圧縮装置１００及び立体画像伸長装置１０１による立体画像の圧縮及び再現の様子を模式的に示している。なお、同図では、Ｎ＝４、立体ディスプレイの画像サイズを３５２列×２８８行としている。また、立体ディスプレイの表示画面の１行中には、４眼画像２０１として示すように、第１眼〜第４眼画像が順次に繰り返し配置される例を用いている。入力画素構成変換装置１０５（図１）には、４眼立体画像を構成する、画像サイズがそれぞれ８８列×２８８行の第１眼画像（○）、第２眼画像（●）、第３眼画像（□）、及び、第４眼画像（■）が入力される。このとき、第１眼〜第４眼画像の原画像が、それぞれ立体ディスプレイの表示画像サイズと同じ３５２列×２８８行の画像サイズを有する場合には、入力画素構成装置１０５は、各原画像の列方向の画素を間引きし、画素を４つおきに入力することで、列方向の画素数が全体の１／４（８８列）となる第１眼〜第４眼画像を入力することができる。
【００６４】
入力画素変換装置１０５は、立体ディスプレイ上で４眼画像２０１として表示される第１眼〜第４眼画像を、８８列×１１５２（２８８×４）行の多重化４眼画像２０２に多重化する。入力画素構成変換装置１０５は、例えば、多重化４眼画像２０２を縦（行方向）に４つのブロックに区分し、各ブロックに、第１眼〜第４眼画像の何れかを単独で配置して、多重化を行う。図２の例では、多重化４眼画像２０２の１行目から２８８行目までの第１ブロックに第１眼画像が配置され、２８９行目から５７６行目までの第２ブロックに第２眼画像が配置される。また、５７７行目から８６４行目までの第３ブロックに第３眼画像が配置され、８６５行目から１１５２行目までの第４ブロックに第４眼画像が配置される。
【００６５】
第１眼〜第４眼画像が多重化された多重化４眼画像２０２は、ＭＰＥＧ圧縮装置１０８によりＭＰＥＧ圧縮され、送信・記録装置１０９、及び、受信・再生装置１１０を経て、ＭＰＥＧ伸長装置１１１でＭＰＥＧ伸長される。出力画素構成変換装置１１５は、再現された多重化４眼画像２０２から、入力画素構成変換装置１０５による多重化とは逆の規則で第１眼〜第４眼画像を分解し、分解により得られた第１眼〜第４眼画像をそれぞれ出力する。立体ディスプレイには、立体画像伸長装置１０１で再現された第１眼〜第４眼画像が入力され、表示画面上には、再生４眼画像２０５が表示される。
【００６６】
本実施形態例では、立体画像圧縮装置１００は、立体画像を構成する第１眼〜第Ｎ眼画像を１枚の多重化画像に画像空間的に多重化し、その多重化画像に対して圧縮を行う。また、立体画像伸長装置１１０は、多重化画像を伸長し、伸長によって再現された多重化画像から、立体画像圧縮装置での多重化とは逆の規則で第１眼〜第Ｎ眼画像を分解する。このため、例えば立体画像データの送信時に、第１眼画像〜第Ｎ眼画像を、複数のチャンネルを使用することなく効率よく伝送することができる。
【００６７】
図３、図４は、入力画素構成変換装置１０５における立体画像の別の多重化例を示している。図３の例では、多重化４眼画像を３５２（８８×４）列×２８８行の画像として構成し、多重化４眼画像３０２を横方向に４分割した各ブロックに、第１眼〜第４眼画像の何れかを単独で配置している。入力画素構成変換装置１０５が、第１眼〜第４眼画像を、多重化４眼画像２０２（図２）のように多重化するのに代えて、図３に示す多重化４眼画像３０２のように画像空間的に多重化する場合にも、上記と同様に、例えば立体画像データの送信時に、第１眼画像〜第４眼画像を１つのチャンネルで伝送することができる。
【００６８】
また、入力画素構成変換装置１０５は、第１眼〜第Ｎ眼画像を単独で含むブロックを、縦方向又は横方向に並べて多重化するのに代えて、縦方向及び横方向のそれぞれに複数列に並べて多重化してもよい。例えば、立体画像が、４４列×２８８行の第１眼〜第８眼画像で構成される場合について考える。この場合、図４に示すように、多重化８眼画像４０１を１７６列×５７６行の画像として構成し、多重化８眼画像４０２を縦に２分割、横に４分割した８分割ブロックのそれぞれに、第１眼〜第８眼画像の何れかを単独で配置することができる。または、これに代えて、多重化多視画像を１３２列×８６４行の画像として構成し、その多重化多視画像を、縦及び横にそれぞれ３分割した９分割ブロックのうちの８つのブロックのそれぞれに、第１眼〜第８眼画像の何れかを単独で配置することもできる。この場合、多重化画像のブロックが１つ余るが、その余ったブロックには、第１眼〜第８眼画像と同じ画像サイズのダミー画像を配置すればよい。ダミー画像は、全ての画素が０として構成された画像でも良く、或いは、第１眼画像〜第８眼画像のうちの何れか１つであっても良い。
【００６９】
第２実施形態例
図５は、本発明の第２実施形態例の立体画像圧縮装置及び立体画像伸長装置による立体画像の圧縮及び再現の様子を模式的に示している。本実施形態例の立体画像圧縮装置５００は、図１に示す立体画像圧縮装置と同様な構成を有し、入力画素構成変換装置１０５での多重化が、第１実施形態例と相違する。本実施形態例では、入力画素構成変換装置１０５は、第１眼〜第Ｎ眼画像（Ｎは２以上の整数）で構成される立体画像の１フレームを、複数の分割フレームに分割して時分割多重化し、ＭＰＥＧ圧縮装置１０８は、その分割フレームを符号化の単位としてＭＰＥＧ圧縮を行う。
【００７０】
入力画素構成変換装置１０５は、第１眼〜第Ｎ眼画像で構成される立体画像の１フレームを、画像サイズが相互に等しい複数の分割フレームに時分割する。図５の例では、入力画素構成変換装置１０５は、同じタイミングで入力し、同じフレームを構成する第１眼〜第４眼画像を、第１眼画像で構成される第１分割フレーム５０３と、第２眼画像で構成される第２分割フレーム５０４と、第３眼画像で構成される第３分割フレーム５０５と、第４眼画像で構成される第４分割フレーム５０６とに時分割し、時間軸上で多重化する。
【００７１】
ＭＰＥＧ圧縮装置１０８は、第１分割フレーム５０３から第４分割フレーム５０６のそれぞれを、符号化の単位としてＭＰＥＧ圧縮を行う。圧縮された第１分割フレーム５０３〜第４分割フレーム５０６は、送信・記録装置１０９、及び、受信・再生装置１１０を経て、ＭＰＥＧ伸長装置１１１でＭＰＥＧ伸長される。出力画素構成変換装置１１５は、ＭＰＥＧ伸長により再現された第１分割フレーム５０３〜第４分割フレーム５０６から立体画像の１フレームを再構成し、再構成された立体画像の１フレームから第１眼〜第Ｎ眼画像を抽出して、第１眼〜第Ｎ眼画像をそれぞれ出力する。立体ディスプレイには、立体画像伸長装置１０１で再現された第１眼〜第４眼画像が入力され、表示画面上には、再生４眼画像５０７が表示される。
【００７２】
図６は、ＭＰＥＧ圧縮におけるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）構成の例を示している。なお、同図中のピクチャタイプＩ、Ｐ、Ｂは、それぞれ符号化におけるピクチャタイプを示し、矢印は、予測元ピクチャと予測先ピクチャとの関係を示している。ＭＰＥＧ圧縮では、Ｉピクチャ（イントラ符号化フレーム）は、静止画モードで符号化され、フレーム間の予測を行わずに符号化される。Ｐピクチャ（順方向予測符号化フレーム）は、過去のフレームから１方向のフレーム間予測を行い、フレーム間の差分を符号化する。Ｂピクチャ（双方向予測符号化フレーム）は、時間的に過去及び未来の２つのフレームからフレーム間予測を行い、フレーム間の差分信号が符号化される。
【００７３】
図６の例では、入力画素構成変換装置１０５で４眼立体画像２０１の１フレーム目を時分割した第１分割フレーム６０１〜第４分割フレーム６０４、及び、４眼立体画像２０１の２フレーム目を時分割した第５分割フレーム６０５〜第８分割フレーム６０８の計８つの分割フレームが１つのＧＯＰを構成する。４眼立体画像の１フレーム目（２０１（１））を時分割した、第１眼画像（○）で構成される第１分割フレーム６０１は、Ｉピクチャとして符号化され、４眼立体画像の２フレーム目（２０１（２））を時分割した、第１眼画像（○）で構成される第５分割フレーム６０５はＰピクチャとして符号化される。第２眼画像（●）で構成される第２分割フレーム６０２及び第６分割フレーム６０６と、第３眼画像（□）で構成される第３分割フレーム６０３及び第７分割フレーム６０７と、第４眼画像（■）で構成される第４分割フレーム６０４及び第８分割フレーム６０８とは、それぞれＢピクチャとして符号化される。
【００７４】
ＧＯＰが、図６に示すように構成されると、立体画像の２フレーム目の第１眼画像（第５分割フレーム６０５）は、立体画像の１フレーム目の第１眼画像（第１分割フレーム６０１）を利用してＭＰＥＧ圧縮が行われる。また、立体画像の１フレーム目の第２眼〜第４眼画像（第２分割フレーム６０２〜第４分割フレーム６０４）は、それぞれ、第１分割フレーム６０１及び第５分割フレーム６０５を利用してＭＰＥＧ圧縮が行われ、立体画像の２フレーム目の第２眼〜第４眼画像（第６分割フレーム６０６〜第８分割フレーム６０８）は、それぞれ、第５分割フレーム６０５と、次のＧＯＰのＩピクチャとを利用してＭＰＥＧ圧縮が行われる。つまり、図６の例では、第２眼〜第４眼画像は、同じフレームの第１眼画像、及び、時間的に次のフレームの第１眼画像との相関を利用したＭＰＥＧ圧縮が可能となり、予測元フレームと予測先フレームとで、画像空間の相関性を利用した効率のよい圧縮が可能となる。
【００７５】
本実施形態例では、立体画像の１フレームを複数の分割フレームに時分割して時間軸上に多重化し、分割フレームを符号化の単位としてＭＰＥＧ圧縮が行われる。例えば図５に示すような規則で立体画像の１フレームを時分割した場合には、各分割フレームには、第１眼〜第Ｎ眼画像の何れかが単独で含まれることになり、ＭＰＥＧ圧縮において、第１眼〜第Ｎ眼画像の画像空間の相関性を利用した圧縮が可能となる。
【００７６】
一般に、立体画像を構成する第１眼〜第Ｎ眼画像は、互いの視点をずらして撮影された視差画像として構成されるため、視点から遠い対象物ほど、画像空間の相関が高くなる。しかし、図４４に示す従来の多重化画像４４０４では、左目画像（○）と右目画像（×）とが左半分と右半分とにブロックを分けて多重化されるため、左目画像と右目画像との画像空間での相関が高い場合であっても、互いの画像間の相関性を利用した効率のよい圧縮を行うことができなかった。本実施形態例では、立体画像の１フレームを、複数のフレームに時分割し、時分割されたフレームを単位としてＭＰＥＧ圧縮が行われるため、第１眼〜第Ｎ眼画像の画像空間の相関性を利用した効率のよい圧縮が可能となる。また、複数の分割フレームで、図６に示すようなＧＯＰを構成することで、時間的に前後の分割フレームとの相関を利用して、更に効率のよい圧縮が可能となる。
【００７７】
図７は、ＭＰＥＧ圧縮におけるＧＯＰ構成の別の例を示している。この例では、立体画像圧縮装置５００（図５）には、立体８眼画像４０１（図４）が入力され、また、各分割フレームは、複数のブロックに更に分割されている。図７の例では、第１分割フレーム７０１には、第１眼画像（○）と第２眼画像（●）とが、左半分のブロックと右半分のブロックとに分けて配置され、第２分割フレームには、第３眼画像（□）と第４眼画像（■）とが、左半分のブロックと右半分のブロックと分けて配置される。また、第３分割フレーム７０３には、第５眼画像（△）と第６眼画像（▲）とが、左半分のブロックと右半分のブロックとに分けて配置され、第４分割フレーム７０４には、第７眼画像（◇）と第８眼画像（◆）とが、左半分のブロックと右半分のブロックと分けて配置される。
【００７８】
図７の例では、８眼立体画像の２フレーム分である第１分割フレーム７０１〜第８分割フレーム７０８が１つのＧＯＰを構成する。ＧＯＰがこのように構成されると、例えば、Ｂピクチャとして符号化される第３分割フレーム７０３に含まれる第５眼画像（△）は、Ｉピクチャとして符号化される第１分割フレーム７０１に含まれる第１眼画像（○）、及び、Ｐピクチャとして符号化される第５分割フレーム７０５に含まれる第１眼画像（○）との画像空間の相関性を利用した圧縮が可能であり、また、第３分割フレーム７０３に含まれる第６眼画像（▲）は、第１分割フレーム７０１及び第５分割フレーム７０５に含まれる第２眼画像（●）との画像空間の相関性を利用した圧縮が可能となる。図７の例のように、１つの分割フレームに、第１眼〜第Ｎ眼画像のうちの複数の画像を第１実施形態例と同様な規則で多重化する場合にも、図６の例と同様に、第１眼〜第Ｎ眼画像の画像空間の相関性を利用した効率のよい圧縮が可能となる。
【００７９】
ここで、立体画像圧縮装置に７眼立体画像が入力される場合に、入力画素構成変換装置１０５が、図７の例と同様に、２つの画像を、ブロックを分けて１つの分割フレーム内に配置すると、第１眼〜第７眼画像の何れか１つが余ることになる。このように、Ｎが奇数であり、立体画像が奇数眼の画像として構成される場合には、分割フレーム間の画像サイズを調整するために、第１眼〜第Ｎ眼画像と同じ画像サイズのダミー画像を、余った画像と多重化するとよい。これにより、各分割フレームの画像サイズを揃えることができる。ダミー画像は、全ての画素が０として構成された画像でも良く、或いは、第１眼画像〜第Ｎ眼画像のうちの何れか１つであっても良い。この場合であっても、第１眼〜第Ｎ眼画像の画像空間の相関性を利用した効率のよい圧縮が可能となる。
【００８０】
第３実施形態例
図８は、本発明の第３実施形態例の立体画像圧縮装置及び立体画像伸長装置の構成を機能ブロック図として示している。本実施形態例は、立体画像前処理装置８０４が、入力画素構成変換装置８０５、インターレース変換装置８０６、及び、選択装置８０７を備え、立体画像後処理装置８１２が、分岐装置８１３、プログレッシブ変換装置８１４、及び、出力画素構成変換装置８１５を備える点で、第１実施形態例と相違する。本実施形態例では、入力画素構成変換装置８０５で、第１実施形態例とは異なる規則で１つの画像に多重化された第１眼〜第Ｎ眼画像（Ｎは２以上の整数）を、プログレッシブ画像のまま、或いは、仮想的なインターレース画像に変換して、ＭＰＥＧ圧縮を行う。
【００８１】
立体画像前処理装置８０４は、入力画素構成変換装置８０５、インターレース変換装置８０６、及び、選択装置８０７を備え、ＭＰＥＧ圧縮装置１０８が行う画像圧縮の前処理を行う。入力画素構成変換装置８０５は、立体多視画像を構成する第１眼〜第Ｎ眼画像（Ｎは２以上の整数）を、第１実施形態例とは異なる規則で、多重化多視画像に多重化する。入力画素構成変換装置８０５は、多重化多視画像内の、第１眼〜第Ｎ眼画像の画像サイズの行方向を２倍にしたブロックに、第１眼〜第Ｎ眼画像のうちの２つの画像を一対にして、一方の画像の各行を奇数行に配置し、他方の画像の各行を偶数行に配置する。
【００８２】
インターレース変換装置８０６は、多重化多視画像を入力し、その１フレームを、多重化多視画像の奇数行で構成されるトップフィールド画像と、多重化多視画像の偶数行で構成されるボトムフィールド画像との２つのフィールド画像から成る仮想的なインターレース画像に変換する。選択装置８０７は、入力画素構成変換装置８０５が出力する多重化多視画像、又は、インターレース変換装置が出力する仮想的なインターレース画像を選択的に出力し、選択された画像をＭＰＥＧ圧縮装置１０８に入力する。
【００８３】
立体画像後処理装置８１２は、分岐装置８１３、プログレッシブ変換装置８１４、及び、出力画素構成変換装置８１５を備え、ＭＰＥＧ伸長装置１１１によるＭＰＥＧ伸長の後処理を行う。ＭＰＥＧ伸長装置１１１は、ＭＰＥＧ圧縮の際に、選択装置８０７によって、プログレッシブ画像である多重化多視画像が選択されたフレームについては、圧縮された多重化多視画像をプログレッシブ画像として伸長し、インターレース画像である多重化多視画像が選択されたフレームについては、圧縮された多重化多視画像をインターレース画像として伸長する。分岐装置８１３には、ＭＰＥＧ伸長装置１１１によりプログレッシブ画像として再現された多重化多視画像、或いは、インターレース画像として再現された多重化多視画像が入力される。
【００８４】
分岐装置８１３は、ＭＰＥＧ伸長装置１１１で、インターレース画像として再現された多重化多視画像を、プログレッシブ変換装置８１４に入力する。プログレッシブ変換装置８１４は、インターレース画像として再現された多重化多視画像を、プログレッシブ画像に変換する。出力画素構成変換装置８１５は、ＭＰＥＧ伸長により再現された、プログレッシブ画像である多重化多視画像、又は、プログレッシブ変換装置によってプログレッシブ画像に変換された、再現された多重化多視画像を入力する。出力画素構成変換装置８１５は、再現された多重化多視画像に含まれる第１眼〜第Ｎ眼画像を、入力画素構成変換装置８０５とは逆の規則で分解する。出力画素構成変換装置８１５は、分解された第１眼〜第Ｎ眼画像を、立体ディスプレイ等の出力装置にそれぞれ出力する。
【００８５】
図９は、図８の立体画像圧縮装置８００及び立体画像伸長装置８０１による立体画像の圧縮及び再現の様子を模式的に示している。入力画素変換装置８０５は、立体ディスプレイ上で４眼画像２０１として表示される第１眼〜第Ｎ眼画像を、８８列×１１５２（２８８×４）行の多重化４眼画像９０２に多重化する。図９の例では、入力画素構成変換装置８０５は、多重化４眼画像９０２を上下に２分割した上のブロック（第１ブロック）に、第１眼画像と第２眼画像とを一対にして、第１眼画像を第１ブロック内の奇数行に配置し、第２眼画像を第１ブロック内の偶数行に配置する。また、多重化４眼画像９０２の下のブロック（第２ブロック）に、第３眼画像と第４眼画像とを一対にして、第３眼画像を第２ブロック内の奇数行に配置し、第４眼画像を第２ブロック内の偶数行に配置する。
【００８６】
多重化４眼画像９０２では、第１眼画像のｙ＋１行目（ｙ：０〜２８７（行数−１））が、平行移動されて多重化４眼画像９０２の２ｙ＋１行目に配置され、第２眼画像のｙ＋１行目が、平行移動されて多重化４眼画像９０２の２ｙ＋２行目に配置される。同様に、第３眼画像のｙ＋１行目は、多重化４眼画像９０２の２ｙ＋５７７行目に配置され、第４眼画像のｙ＋１行目は、多重化４眼画像９０２の２ｙ＋５７７行目に配置される。
【００８７】
インターレース変換装置８０６は、８８列×１１５２行の多重化４眼画像９０２を、それぞれ８８列×５７６行のトップフィールド画像９０３及びボトムフィールド画像９０４にインターレース変換する。このインターレース変換によって、多重化４眼画像９０２の奇数行がトップフィールド画像９０３に配置され、偶数行がボトムフィールド画像９０４に配置される。結果として、トップフィールド画像９０３は、第１眼画像と第３眼画像とによって構成される。また、ボトムフィールド９０４は、第２眼画像と第４眼画像とによって構成される。
【００８８】
ＭＰＥＧ圧縮では、マクロブロック単位で、トップフィールド画像９０３とボトムフィールド画像９０４との差異、つまり、第１眼画像と第２眼画像との差異、及び、第３眼画像と第４眼画像との差異がそれぞれ検出される。トップフィールド画像９０３とボトムフィールド画像９０４との差異を検出した結果、その差異が、規定値よりも大きいときには、トップフィールド画像９０３とボトムフィールド画像９０４の相関が小さいと判断され、ＭＰＥＧ圧縮装置１０８は、選択装置８０７によって選択されたトップフィールド画像９０３及びボトムフィールド画像９０４に対し、フィールドＤＣＴを適用してＭＰＥＧ圧縮を行う。トップフィールド画像９０３とボトムフィールド画像９０４との差異が規定値より小さいときには、トップフィールド画像９０３とボトムフィールド画像９０４との相関が大きいが大きいと判断され、ＭＰＥＧ圧縮装置１０８は、選択装置８０７によって選択された多重化４眼画像９０２に対し、フレームＤＣＴを適用してＭＰＥＧ圧縮を行う。
【００８９】
ＭＰＥＧ圧縮の際に、フィールドＤＣＴを適用して、或いは、フレームＤＣＴを適用して圧縮された第１眼〜第４眼画像は、送信・記録装置１０９、受信・再生装置１１０を経て、ＭＰＥＧ伸長装置１１１で伸長される。ＭＰＥＧ伸長装置１１１は、ＭＰＥＧ圧縮の際に、フレームＤＣＴが適用されたフレームについては、圧縮された多重化４眼画像から多重化４眼画像９０２を再現し、フィールドＤＣＴが適用されたフレームについては、圧縮された多重化４眼画像９０２をトップフィールド画像９０３及びボトムフィールド画像９０４として再現する。出力画素構成変換装置８１５は、多重化４眼画像９０２、或いは、プログレッシブ変換装置８１４でプログレッシブ画像に変換されたトップフィールド画像９０３及びボトムフィールド画像９０４から第１眼〜第Ｎ眼画像を分解し、立体ディスプレイ上には、再生４眼画像９０５が表示される。
【００９０】
本実施形態例では、入力画素構成変換装置８０５は、多重化多視画像を、例えば縦に複数のブロックに分割し、各ブロックに、第１眼〜第Ｎ眼画像の何れか２つを一対にして、一方の画像の各行を多重化多視画像の奇数行に配置し、他方の画像の各行を多重化多視画像の偶数行に配置して、多重化を行う。インターレース変換装置８０６は、プログレッシブ画像である多重化多視画像を、その奇数行で構成されるトップフィールド画像と偶数行で構成されるボトムフィールド画像とで構成される仮想的なインターレース画像に変換する。ＭＰＥＧ圧縮装置８０７は、トップフィールド画像とボトムフィールド画像との差異の検出結果に基づいて、プログレッシブ画像である多重化多視画像、又は、仮想的なインターレース画像を選択し、ＭＰＥＧ圧縮を行う。
【００９１】
例えば、図９の多重化４眼画像９０２では、多重化４眼画像９０２の上半分の第１ブロックには、奇数行と偶数行とに分けられて、第１眼画像と第２眼画像とが混在し、下半分の第２ブロックには、奇数行と偶数行とに分けられて、第３眼画像と第４眼画像とが混在している。第１眼〜第４眼画像がこのように多重化された場合、ＭＰＥＧ圧縮において、第１眼画像と第２眼画像との相関、及び、第３眼画像と第４眼画像との相関が小さいときには、インターレース変換によって、第１眼画像及び第３眼画像がトップフィールド画像９０３に配置され、第２眼画像及び第４眼画像がボトムフィールド画像９０４に配置されたインターレース画像に対して、フィールドＤＣＴを適用して圧縮を行うことで、効率のよい圧縮が可能となる。また、第１眼画像と第２眼画像との相関、及び、第３眼画像と第４眼画像との相関が大きいときには、上半分のブロックに第１眼画像と第２眼画像とが混在し、下半分のブロックに第３眼画像と第４眼画像とが混在している多重化４眼画像９０２に対して、フレームＤＣＴを適用して圧縮を行うことで、第１眼画像と第２眼画像との相関、及び、第３眼画像と第４眼画像との相関を利用した効率のよい圧縮が可能となる。
【００９２】
図１０、図１１は、入力画素構成変換装置８０５での別の多重化例を示している。図９に示す多重化４眼画像９０２では、第１眼画像を奇数数行に、第２眼画像を偶数行に配置する第１ブロックと、第３眼画像を奇数行に、第４眼画像を偶数行に配置する第２ブロックとが、縦に並べられたが、これに代えて、第１ブロックと、第２ブロックとを、横方向に並べることもできる。例えば、図１０に示すように、多重化４眼画像を１７６列×５７６行の画像として構成し、多重化４眼画像１００２を横方向に２分割して、各ブロックに、第１眼〜第４眼画像の何れか２つを一対にして、一方の画像を奇数行に、他方の画像を偶数行に配置することもできる。第１眼〜第４眼画像が、図１０に示す多重化４眼画像１００２のように多重化された場合についても、図９の例と同様に、インターレース変換により、第１眼画像と第３眼画像とを含むトップフィールド画像１００３と、第２眼画像と第４眼画像とを含むボトムフィールド画像１００４とで構成される仮想的なインターレース画像が得られ、ＭＰＥＧ圧縮の際に、フィールドＤＣＴ又はフレームＤＣＴを適用することで、効率のよい圧縮が可能となる。
【００９３】
また、入力画素構成変換装置８０５は、第１眼〜第Ｎ眼の何れか２つを一対にして、一方の画像を奇数行に、他方の画像を偶数行に配置したブロックを、縦又は横に１列に並べて多重化するのに代えて、縦及び横に複数列に並べて多重化してもよい。例えば、図１１に示すように、８眼立体画像４０１を、８８列×１１５２行の多重化８眼画像１１０２に多重化する場合には、多重化８眼画像１１０２を縦及び横に２分割した４分割ブロックのそれぞれに、第１眼〜第８眼画像のうちの何れか２つを一対として、一方の画像を奇数行に、他方の画像を偶数行に配置することができる。この場合にも、多重化８眼画像１１０２をインターレース変換することにより、第１眼画像、第３眼画像、第５眼画像、及び、第７眼画像を含むトップフィールド画像１１０３と、第２眼画像、第４眼画像、第６眼画像、及び、第８眼画像を含むボトムフィールド画像１１０４とで構成される仮想的なインターレース画像が得られ、ＭＰＥＧ圧縮の際に、フィールドＤＣＴ又はフレームＤＣＴを適用することで、効率のよい圧縮が可能となる。
【００９４】
ここで、Ｎが奇数のときには、多重化多視画像のブロック内に、第１眼〜第Ｎ眼画像の何れか２つを一対にして、そのうちの一方の画像を偶数行に、他方の画像を奇数行に配置すると、第１眼〜第Ｎ眼画像のうちの１つ画像が余ることになる。この場合には、その余った画像と、ダミー画像と一対にして、多重化多視画像のブロック内に、偶数行及び奇数行に分けて配置すればよい。ダミー画像は、全ての画素が０として構成された画像でも良く、或いは、第１眼画像〜第Ｎ眼画像のうちの何れか１つであっても良い。
【００９５】
第４実施形態例
図１２は、本発明の第４実施形態例の立体画像圧縮装置及び立体画像伸長装置による立体画像の圧縮及び再現の様子を模式的に示している。本実施形態例では、立体多視画像の１フレームが、第２実施形態例と同様に、複数の分割フレームに時分割され、各分割フレームでは、第３実施形態例と同様に、第１眼〜第Ｎ眼画像（Ｎは３以上の整数）のうちの複数の画像が、奇数行と偶数行とに分けて配置される。本実施形態例の立体画像圧縮装置１２００及び立体画像伸長装置１２０１は、それぞれ、図８の立体画像圧縮装置８００及び立体画像伸長装置８０１と同様な構成を有する。
【００９６】
立体画像圧縮装置１２００に入力される第１眼〜第４眼画像は、入力画素構成変換装置８０５（図８）により、１７６列×２８８行の２つの分割フレーム１２０２、１２０３に分割され、時間軸上に多重化される。第１分割フレーム１２０２及び第２分割フレーム１２０３には、それぞれ第１眼〜第４眼画像のうちの何れか２つの画像が配置される、図１２の例では、第１分割フレーム１２０２では、その奇数行に、第１眼画像（○）の各行が配置され、偶数行に、第２眼画像（●）の各行が配置される。また、第２分割フレーム１２０３では、その奇数行に第３眼画像（□）の各行が配置され、偶数行に第４眼画像（■）の各行が配置される。
【００９７】
インターレース変換装置８０６は、時分割多重化された第１分割フレーム１２０２、及び、第２分割フレーム１２０３をそれぞれインターレース変換する。第１分割フレーム１２０２をインターレース変換することで、第１眼画像で構成される、１７６列×１４４行の第１トップフィールド１２０４、及び、第２眼画像で構成される、１７６列×１４４行の第１ボトムフィールド１２０５が得られる。また、第２分割フレーム１２０３をインターレース変換することで、第３眼画像で構成される第２トップフィールド１２０６、及び、第４眼画像で構成される第２ボトムフィールド１２０７が得られる。
【００９８】
ＭＰＥＧ圧縮装置１０８は、第１分割フレーム１２０２を符号化する際には、マクロブロック単位で第１トップフィールド１２０４と第２ボトムフィールド１２０５との差異、つまり、第１眼画像と第２眼画像とを検出する。その差異が所定の値よりも大きいときには、第１眼画像と第２眼画像との相関が小さいと判断され、ＭＰＥＧ圧縮装置１０８は、選択装置８０７によって選択された第１トップフィールド１２０４及び第１ボトムフィールド１２０５に対し、フィールドＤＣＴを適用して、ＭＰＥＧ圧縮を行う。第１トップフィールド１２０４と第１ボトムフィールド１２０５との差異が所定の値より小さいときには、第１眼画像と第２眼画像との相関が大きいと判断され、ＭＰＥＧ圧縮装置１０８は、選択装置８０７によって選択された第１分割フレーム１２０２に対し、フレームＤＣＴを適用してＭＰＥＧ圧縮を行う。
【００９９】
ＭＰＥＧ圧縮装置１０８は、第２分割フレーム１２０２を符号化する際には、マクロブロック単位で第２トップフィールド１２０６と第２ボトムフィールド１２０７との差異、つまり、第３眼画像と第４眼画像との差異を検出し、その検出値の大小に基づいて、第１分割フレームと同様に、フィールドＤＣＴを適用するか、或いは、フレームＤＣＴを適用するかを決定し、ＭＰＥＧ圧縮を行う。第１分割フレームと第２分割フレームとの２つの分割フレームに時分割されてＭＰＥＧ圧縮された立体多視画像の１フレームは、送信・記録装置１０９、受信・再生装置１１０を経て、ＭＰＥＧ伸長装置１１１でＭＰＥＧ伸長される。
【０１００】
ＭＰＥＧ伸長では、ＭＰＥＧ圧縮の際に、フィールドＤＣＴを適用したか、或いは、フレームＤＣＴを適用したかによって、第１分割フレーム１２０２、或いは、第１トップフィールド１２０４及び第１ボトムフィールド１２０５が再現され、また、第２分割フレーム１２０３、或いは、第２トップフィールド１２０６及び第１ボトムフィールド１２０７が再現される。出力画素構成変換装置８１５は、第１分割フレーム１２０２、第２分割フレーム１２０３、或いは、プログレッシブ変換装置８１４でプログレッシブ画像に変換された第１及び第２トップフィールド画像１２０４、１２０６及び第１及び第２ボトムフィールド画像１２０５、１２０７から、立体画像の１フレームを再構成し、再構成された立体画像の１フレームから第１眼〜第４眼画像を分解して、第１眼〜第４眼画像をそれぞれ出力する。
【０１０１】
本実施形態例では、立体画像の１フレームを、複数の分割フレームに時分割するため、第２実施形態例と同様に、分割フレーム間の画像空間の相関性を利用した圧縮が可能となる。また、１つの分割フレームには、第３実施形態例と同様に、第１眼〜第Ｎ眼画像のうちの複数の画像が、奇数行と偶数行とに分けて配置される。このため、一対の画像間の画像空間の相関性が高い場合には、フレームＤＣＴを適用して、分割フレームに対してＭＰＥＧ圧縮を行い、一対の画像間の画像空間の相関性が低い場合には、フィールドＤＣＴを適用して、分割フレームをインターレース変換することによって得られるトップフィールド画像及びボトムフィールド画像に対してＭＰＥＧ圧縮を行うができ、第３実施形態例と同様に、効率のよい圧縮が可能となる。
【０１０２】
図１３は、本実施形態例におけるＧＯＰ構造の例を示している。立体４眼画像２０１（図１２）を、第１分割フレーム１２０２及び第２分割フレーム１２０３に時分割し、各分割フレームをインターレース変換することで、トップフィールド画像及びボトムフィールド画像のそれぞれに、第１眼〜第４眼画像の何れかを単独で含ませることができる。図６の例では、第１分割フレーム６０１〜第８分割フレーム６０８の８個の分割フレームによってＧＯＰが構成され、各分割フレームには、第１眼〜第４眼画像の何れかが単独で含まれたが、図１３では、第１分割フレーム１３０１〜第１５分割フレーム１３１５の１５個の分割フレームによってＧＯＰが構成され、各分割フレームをインターレース変換することで得られるトップフィールド画像及びボトムフィールド画像に、第１眼〜第４眼画像の何れかが単独で含まれている。
【０１０３】
図１３では、第１分割フレーム１３０１〜第１５分割フレーム１３１５は、それぞれ、第１分割フレーム１３０１から順に、ＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰのピクチャタイプで圧縮される。この場合、例えば、Ｂピクチャである、立体画像の１フレーム目を時分割した第２分割フレーム１３０２のトップフィールド画像（第３眼画像（□））は、Ｉピクチャである、立体画像の２フレーム目を時分割した第３分割フレームのトップフィールド画像（第１眼画像（○））及びボトムフィールド画像（第２眼画像（●））の何れかを利用して、符号化することができる。このように、本実施形態例においても、第２実施形態例と同様に、ＧＯＰを適切に構成することで、ＭＰＥＧ圧縮の際に、第１眼〜第４眼画像の画像空間の相関性を効果的に利用して、更に効率のよい圧縮が可能となる。
【０１０４】
図１４は、第４実施形態例におけるＧＯＰ構造の別の例を示している。図１４に示すＧＯＰのトップフィールド画像及びボトムフィールド画像は、８眼立体画像４０１（図４）の１フレームを、第１眼〜第４眼画像が、図１０に示す多重化４眼画像１００２と同様な規則で多重化されて含まれる分割フレームと、第５眼〜第８眼画像が多重化４眼画像１００２と同様な規則で多重化されて含まれる別の分割フレームとに時分割し、分割フレームをそれぞれトップフィールド画像及びボトムフィールド画像にインターレース変換することで得られる。図１４のようにＧＯＰを構成した場合にも、図１３のようにＧＯＰを構成したときと同様に、更に効率のよい圧縮が可能となる。
【０１０５】
第５実施形態例
図１５は、本発明の第５実施形態例の立体画像圧縮装置及び立体画像伸長装置の構成を機能ブロック図として示している。本実施形態例では、立体画像圧縮装置１５００には、立体画像を構成する第１眼〜第Ｎ眼画像（Ｎ≧２）に加えて、通常の平面画像が入力され、立体画像伸長装置１５０１は、再現された平面画像を平面ディスプレイに出力する点で、第１実施形態例と相違する。平面画像は、立体画像と同じ画像サイズを有し、立体画像と同じ内容を有する画像として構成され、例えば、立体画像を構成する第１眼〜第Ｎ眼のうちの何れか１つの画像を、立体画像と同じ画像サイズにした画像として構成される。
【０１０６】
入力画素構成変換装置１５０５には、立体画像を構成する第１眼〜第Ｎ眼画像と、立体画像と同じ画像サイズの平面画像を構成する高解像度第１眼画素１〜Ｎとが入力される。例えば第１眼〜第Ｎ眼画像の原画像の画像サイズが、立体画像の画像サイズと同じ３５２列×２８８行である場合、立体画像を構成する第１眼〜第Ｎ眼画像は、それぞれ原画像のＮ×ｋ＋１（ｋ：０〜（３５２／Ｎ）−１）列目の画素で構成される。また、平面画像を構成する高解像度第１眼画素ｊ（ｊ：１〜Ｎ）は、第１眼画像の原画像のＮ×ｋ＋ｊ列目の画素で構成される。この場合、高解像度第１眼画像１〜Ｎで構成される平面画像の列方向の解像度は、立体画像の一部を構成する第１眼画像の列方向の解像度（画素数）のＮ倍となる。
【０１０７】
入力画素構成変換装置１５０５は、立体画像と平面画像とを、第１実施形態例における入力画素構成変換装置１０５と同様な規則で、１つの画像に多重化する。ＭＰＥＧ圧縮装置１０８は、立体画像と平面画像とが多重化された複合多重化画像に対してＭＰＥＧ圧縮を行う。圧縮された複合多重化画像は、ＭＰＥＧ伸長装置１５０１で伸長される。出力画素構成変換装置１５１５は、再現された複合多重化画像から立体画像と平面画像とを分離して、立体画像を構成する第１眼〜第Ｎ眼画像を立体ディスプレイに出力し、平面画像を構成する高解像度第１眼画素１〜Ｎを平面ディスプレイに出力する。
【０１０８】
図１６は、図１５の立体画像圧縮装置１５００及び立体画像伸長装置１５０１による立体画像及び平面画像の圧縮及び再現の様子を模式的に示している。立体画像圧縮装置１５００には、４眼立体画像２０１として表示される、画像サイズがそれぞれ８８列×２８８行である第１眼画像（○）、第２眼画像（●）、第３眼画像（□）、及び、第４眼画像（■）と、平面高解像度画像１６０２として表示される高解像度第１眼画素１（○１）、高解像度第１眼画素２（○２）、高解像度第１眼画素３（○３）、及び、高解像度第１眼画素４（○４）とが入力される。
【０１０９】
例えば、第１眼〜第Ｎ眼画像の原画像と、立体画像として入力画素構成変換装置１５０５に入力される第１眼〜第４眼画像との関係、及び、第１眼画像の原画像の画素と、高解像度第１眼画素１〜４との関係は、以下のようになっている。
第１眼画像（○）の画素：第１眼画像の原画像の４×ｋ＋１列目の画素
第２眼画像（●）の画素：第２眼画像の原画像の４×ｋ＋１列目の画素
第３眼画像（□）の画素：第３眼画像の原画像の４×ｋ＋１列目の画素
第４眼画像（■）の画素：第４眼画像の原画像の４×ｋ＋１列目の画素
高解像度第１眼画素１（○１）：第１眼画像の原画像の４×ｋ＋１列目の画素
高解像度第１眼画素２（○２）：第１眼画像の原画像の４×ｋ＋２列目の画素
高解像度第１眼画素３（○３）：第１眼画像の原画像の４×ｋ＋３列目の画素
高解像度第１眼画素４（○４）：第１眼画像の原画像の４×ｋ＋４列目の画素
ただし、ｋ：０〜８７
【０１１０】
入力画素構成変換部１５０５は、第１眼〜第４眼画像及び高解像度第１眼画素１〜４を、８８列×２３０４（２８８×８）行の複合多重化画像１６０３を縦に８つのブロックに分割し、各ブロックに、第１眼〜第４眼画像及び高解像度第１眼画素１〜４の何れかが単独で配置されるように、多重化を行う。図１６の例では、複合多重化画像１６０３の上半分（１行目から１１５２行目）の第１〜第４ブロックには、それぞれ第１眼〜第４眼画像の何れかが配置され、下半分（１１５３行目から２３０４行目）の第５〜第８ブロックには、それぞれ高解像度第１眼画素１〜Ｎの何れかが配置される。
【０１１１】
複合多重化画像１６０３は、ＭＰＥＧ圧縮装置１０８によりＭＰＥＧ圧縮される。圧縮された複合多重化画像１６０３は、送信・記録装置１０９、受信・再生装置１１０を経て、ＭＰＥＧ伸長装置１１１でＭＰＥＧ伸長される。この伸長により、複合多重化画像１６０３が再現される。出力画素構成変換装置１１５は、入力画素構成変換装置１５０５とは逆の規則で、再現された複合多重化画像１６０３から第１眼〜第Ｎ眼画像、及び、高解像度第１眼画素１〜Ｎを分解する。立体ディスプレイは、第１眼〜第Ｎ眼画像を入力し、表示画面上に、再生４眼画像１６０４を表示する。平面ディスプレイは、高解像度第１眼画素１〜Ｎを入力し、再生平面画像１６０５を表示画面上に表示する。
【０１１２】
本実施形態例では、立体画像圧縮装置は、立体画像に加えて、平面画像を１つの画像に多重化し、立体画像と平面画像とが多重化された複合多重化画像に対して圧縮を行う。また、立体画像伸長装置１１０は、圧縮された複合多重化画像を伸長し、立体画像圧縮装置での多重化とは逆の規則で、複合多重化画像から、立体画像と平面画像とを分解する。このため、複数のチャンネルを使用することなく、立体ディスプレイに、立体画像を表示することができると共に、平面ディスプレイには、平面画像を表示することができる。
【０１１３】
立体ディスプレイと同じ表示サイズの平面ディスプレイに、立体画像から第１眼〜第Ｎ眼画像の何れかを抽出し、これを平面画像として表示することも考えられる。しかし、その場合、平面ディスプレイに表示される画像の列方向の解像度は、ディスプレイが表示できる解像度の１／Ｎ倍であり、解像度が低く、表示が荒い。本実施形態例では、画像サイズが相互に等しい立体画像と平面画像とを１つの画像に多重化して圧縮するため、第１実施形態例で得られる効果に加えて、立体ディスプレイを持たない観察者の平面ディスプレイに、高解像度の平面画像を表示することができる。
【０１１４】
図１７、図１８、及び、図１９は、入力画素構成変換装置１５０５における多重化の別の例を示している。図１６では、複合多重化画像が縦に８分割される例について示したが、複合多重化画像を、図３又は図４と同様に、横、又は、縦及び横に分割してもよい。例えば、第１眼〜第４眼画像と、高解像度第１眼画素１〜４とを多重化する場合、７０４列×２８８行の複合多重化画像を横方向に８分割し、図１７に複合多重化画像１７０３として示すように多重化してもよい。または、１７６列×１１５２行の複合多重化画像を、縦に４分割、横に２分割し、図１８に多重化多視画像１８０３として示すように多重化してもよく、或いは、３５２列×５７６行の複合多重化画像を、縦に２分割、横に４分割し、図１９に多重化多視画像１９０３として示すように多重化してもよい。
【０１１５】
または、上記に代えて、１３２列×８６４行の画像として構成される複合多重化画像を、縦及び横にそれぞれ３分割し、分割された９つのブロックのうちの任意の８つに、第１眼〜第４眼画像、及び、高解像度第１眼画素１〜４の何れかを配置することもできる。この場合、複合多重化画像のブロックが１つ余るが、その余ったブロックには、第１眼〜第４眼画像、及び、高解像度第１眼画素１〜４と同じ画像サイズのダミー画像を配置すればよい。ダミー画像は、全ての画素が０として構成された画像でも良く、或いは、第１眼画像〜第４眼画像、若しくは、高解像度第１眼画素２〜４のうちの何れか１つであっても良い。立体画像の第１眼画像（○）と、高解像度第１眼画素（○１）で構成される画像とは、同じ画像であるため、立体画像圧縮装置１５００に入力する第１眼画像又は高解像度第１眼画素の何れか一方を省略することもできる。この場合には、図１６〜図１９の複合多重化画像において、第１眼画像（○）又は高解像度第１眼画素（○１）の何れか一方を、ダミー画像に置き換えればよい。
【０１１６】
第６実施形態例
図２０は、本発明の第６実施形態例の立体画像圧縮装置及び立体画像伸長装置による立体画像及び平面画像の圧縮及び再現の様子を模式的に示している。本実施形態例の立体画像圧縮装置２０００及び立体画像伸長装置２００１は、それぞれ、図１５に示す立体画像圧縮装置１５００及び立体画像伸長装置１５００と同様な構成を有する。本実施形態例では、入力画素構成変換装置１５０５での多重化が、第５実施形態例と相違する。本実施形態例では、第２実施形態例と同様に、第１眼〜第Ｎ眼画像（Ｎは２以上の整数）で構成される立体画像の１フレーム、及び、高解像度第１眼画素１〜Ｎで構成される平面画像の１フレームを、分割フレームに分割して時分割多重化する。
【０１１７】
入力画素構成装置１５０５は、第２実施形態例での時分割と同様に、立体画像の１フレーム及び平面画像の１フレームを、画像サイズが相互に等しい複数の分割フレームに時分割する。図２０の例では、入力画素構成変換装置１５０５は、同じタイミングで入力し、同じフレームを構成する第１眼〜第４眼画像と、高解像度第１眼画素１〜４とを、第１眼画像で構成される第１分割フレーム２００１と、第２眼画像で構成される第２分割フレーム２００２と、第３眼画像で構成される第３分割フレーム２００３と、第４眼画像で構成される第４分割フレーム２００４と、高解像度第１眼画素１で構成される第５分割フレーム２００５と、高解像度第１眼画素２で構成される第６分割フレーム２００６と、高解像度第１眼画素３で構成される第７分割フレーム２００７と、高解像度第１眼画素４で構成される第８分割フレーム２００８とに時分割し、時間軸上で多重化する。
【０１１８】
ＭＰＥＧ圧縮装置１０８は、第１分割フレーム２００１から第８分割フレーム２００８のそれぞれを符号化の単位としてＭＰＥＧ圧縮を行う。つまり、４眼立体画像の１フレーム及び平面画像の１フレームは、８つの分割フレームに時分割され、時間軸上に多重化されてＭＰＥＧ圧縮される。圧縮された第１分割フレーム２００１〜第８分割フレーム２００８は、送信・記録装置１０９、及び、受信・再生装置１１０を経て、ＭＰＥＧ伸長装置１１１でＭＰＥＧ伸長される。
【０１１９】
ここで、第１眼〜第Ｎ眼画像は、前述のように、視点から遠い対象物ほど、画像空間の相関が高く、また、高解像度第１眼画素１〜Ｎは、原画像のサンプリング位置が互いに近接する位置の画素で構成されるため、画像空間の相関が高い。また、平面画像は、立体画像と同じ内容として構成され、画像サイズが相互に等しいため、平面画像を構成する高解像度第１眼画素１〜Ｎと、立体画像を構成する第１眼〜第Ｎ眼画像とについても、画像空間の相関が高い。このため、第１眼〜第Ｎ眼画像、及び、高解像第１眼画素１〜Ｎの何れかを圧縮する際に、第１眼〜第Ｎ眼画像、及び、高解像第１眼画素１〜Ｎのうちの任意の画像との画像空間の相関性を利用することで、効率のよい圧縮が可能となる。
【０１２０】
出力画素構成変換装置１５１５は、ＭＰＥＧ伸長により再現された第１分割フレーム２００１〜第８分割フレーム２００８から立体画像の１フレーム、及び、平面画像の１フレームをそれぞれ再構成する。出力画素構成変換装置１５１５は、再構成された立体画像の１フレームから再現された第１眼〜第Ｎ眼画像を抽出して、第１眼〜第Ｎ眼画像を立体ディスプレイに出力し、立体ディスプレイには、再生４眼画像２００９が表示される。また、出力画素構成変換装置１５１５は、再構成された平面画像の１フレームを平面ディスプレイに出力し、平面ディスプレイには、再生平面画像２０１０が表示される。
【０１２１】
図２１は、ＭＰＥＧ圧縮におけるＧＯＰ構成の例を示している。同図の例では、入力画素構成変換装置１５０５で立体画像２０１の１フレーム、及び、平面画像１６０２の１フレームを時分割した第１分割フレーム２１０１〜第８分割フレーム２１０８の計８つのフレームが１つのＧＯＰを構成する。ＧＯＰがこのように構成された場合、例えば、Ｂピクチャとして符号化される第３分割フレーム２１０３（第３眼画像（□））は、Ｉピクチャとして符号化される第１分割フレーム２１０１（第１眼画像（○））との画像空間の相関性を利用した圧縮が可能となり、予測元フレームと予測先フレームとで、画像空間の相関性を利用した効率のよい圧縮が可能となる。
【０１２２】
本実施形態例では、立体画像の１フレームと、平面画像の１フレームとを複数の分割フレームに時分割して時間軸上に多重化し、分割フレームを符号化の単位としてＭＰＥＧ圧縮が行われる。例えば図２０に示すような規則で立体画像の１フレームを時分割した場合には、第１分割フレーム２００１〜第８分割フレーム２００８には、それぞれ第１眼〜第４眼画像の何れか、又は、高解像度第１眼画素１〜４の何れかが単独で含まれることになり、第２実施形態例と同様に、ＭＰＥＧ圧縮において、第１眼画像〜第４眼画像間の相関、高解像度第１眼画素１〜高解像度第１眼画素４間の相関、又は、第１眼〜第４眼画像と高解像度第１眼画素１〜４との相関を利用した圧縮が可能となり、立体画像と平面画像とを効率よく圧縮できる。
【０１２３】
図２２は、ＭＰＥＧ圧縮におけるＧＯＰ構成の別の例を示している。この例では、立体８眼画像４０１（図４）の１フレーム、及び、平面画像を構成する高解像度第１眼画素１〜８の１フレームが、第１分割フレーム２２０１〜第８分割フレーム２２０８の８つの分割フレームに時分割され、各分割フレームには、第１実施形態例と同様な規則で、第１眼〜第８眼画像、及び、高解像度第１眼画素１〜８のうちの複数の画像が多重化される。ＧＯＰが、図２２に示すように構成される場合にも、図２１の例と同様に、第１眼〜第８眼画像、及び、高解像度第１眼画素１〜８の画像空間の相関性を利用した効率のよい圧縮が可能となる。
【０１２４】
第７実施形態例
図２３は、本発明の第７実施形態例の立体画像圧縮装置及び立体画像伸長装置の構成を機能ブロック図として示している。本実施形態例では、複数の画像が奇数行と偶数行とに区切って多重化画像中に配置される第３実施形態例と、立体画像と平面画像とを送信可能な第５実施形態例とが組み合わされている。入力画素構成変換装置２３０５は、第５実施形態例と同様に、立体画像を構成する第１眼〜第Ｎ眼画像と、平面画像を構成する高解像度第１眼画素１〜Ｎとを、複合多重化画像に多重化する。この多重化では、第３実施形態例と同様に、第１眼〜第Ｎ眼画像、及び、高解像度第１眼画素１〜Ｎのうちの２つの画像を一対にして、一方の画像の各行を、複合多重化画像の奇数行に配置し、他方の画像の各行を、複合多重化画像の偶数行に配置する。出力画素構成変換装置２３１５は、再現された複合多重化画像を入力し、立体ディスプレイに第１眼〜第Ｎ眼画像を出力し、平面ディスプレイに高解像度第１眼画素１〜Ｎを出力する。
【０１２５】
図２４は、図２３の立体画像圧縮装置２３００及び立体画像伸長装置２３０１による立体画像及び平面画像の圧縮及び再現の様子を模式的に示している。入力画素構成変換装置２３０５は、例えば、複合多重化眼画像２４０３を縦方向に４つのブロックに分割し、各ブロックに、第１眼〜第４眼画像、及び、高解像度第１眼画素１〜４のうちの何れか２つを一対にして、一方の画像の各行を奇数行に配置し、他方の画像の各行を偶数行に配置して、多重化を行う。図２４の例では、複合多重化画像２４０３は、画像サイズが８８列×２３０４行であり、その１行目から５７６行目までの第１ブロックでは、奇数行に第１眼画像（○）の各行が配置され、偶数行に高解像度第１眼画素１（○１）の各行が配置され、５７７行目から１１５２行目までの第２ブロックでは、奇数行に第２眼画像（●）の各行が配置され、偶数行に高解像度第１眼画素２（○２）の各行が配置される。また、複合多重化画像２４０３の１１５３行から１７２８行までの第３ブロックでは、奇数行に第３眼画像（□）の各行が配置され、偶数行に高解像度第１眼画素３（○３）の各行が配置され、１７２９行から２３０４行までの第４ブロックでは、奇数行に第４眼画像（■）の各行が配置され、偶数行に高解像度第１眼画素４（○４）の各行が配置される。
【０１２６】
インターレース変換装置８０６は、８８列×２３０４行の複合多重化画像２４０３を、それぞれ８８列×１１５２行のトップフィールド画像２４０４及びボトムフィールド画像２４０５で構成される仮想的なインターレース画像に変換する。複合化多重画像２４０３をインターレース変換することで得られるトップフィールド画像２４０４は、多重化４眼画像２０２（図２）と同様な規則で、第１眼〜第４眼画像が多重化された画像となる。また、ボトムフィールド画像２４０５は、多重化４眼画像２０２と同様な規則で、高解像度第１眼画素１〜４が多重化された画像となる。
【０１２７】
ＭＰＥＧ圧縮では、第３実施形態例と同様に、マクロブロック単位で、トップフィールド画像２４０４とボトムフィールド画像２４０５との差異が検出される。つまり、第１眼画像と高解像度第１眼画素１との差異、第２眼画像と高解像度第１眼画素２との差異、第３眼画像と高解像度第１眼画素３との差異、及び、第４眼画像と高解像度第１眼画素３の差異がそれぞれ検出される。トップフィールド画像２４０４とボトムフィールド画像２４０５との差異が、規定値よりも大きいときには、トップフィールド画像２４０４とボトムフィールド画像２４０５との相関が小さいと判断され、ＭＰＥＧ圧縮装置１０８は、選択装置８０７によって選択されたトップフィールド画像２４０４及びボトムフィールド画像２４０５に対し、フィールドＤＣＴを適用してＭＰＥＧ圧縮を行う。差異が規定値より小さいときには、トップフィールド画像２４０４とボトムフィールド画像２４０５との相関が大きいが大きいと判断され、ＭＰＥＧ圧縮装置１０８は、選択装置８０７によって選択された複合多重化画像２４０３に対し、フレームＤＣＴを適用してＭＰＥＧ圧縮を行う。
【０１２８】
ＭＰＥＧ圧縮された第１眼〜第４眼画像、及び、高解像度第１眼画素１〜４は、送信・記録装置１０９、受信・再生装置１１０を経て、ＭＰＥＧ伸長装置１１１でＭＰＥＧ伸長される。ＭＰＥＧ伸長では、ＭＰＥＧ圧縮の際に、フィールドＤＣＴを適用したフレームについては、トップフィールド画像２４０４及びボトムフィールド画像２４０５が再現され、フレームＤＣＴを適用したフレームについては、複合多重化画像が再現される。出力画素構成変換装置１１５は、複合多重化画像、或いは、プログレッシブ変換装置１１４でプログレッシブ画像に変換されたトップフィールド画像２４０４及びボトムフィールド画像２４０５から第１眼〜第４眼画像、及び、高解像度第１眼画素１〜４を分解する。
【０１２９】
本実施形態例では、立体画像と平面画像とを１つの画像に多重化するため、第５実施形態例と同様に、複数のチャンネルを使用することなく、立体ディスプレイに、立体画像を表示することができると共に、平面ディスプレイには、平面画像を表示することができる。また、多重化の際に、立体画像を構成する第１眼〜第Ｎ眼画像、及び、平面画像を構成する高解像度第１眼画素１〜Ｎのうちの何れか２つを一対にして、一方の画像を複合多重化画像の奇数行に配置し、他方の画像を複合多重化画像の偶数行に配置するため、複合多重化画像をインターレース変換したトップフィールド画像とボトムフィールド画像との差異に応じて、フィールドＤＣＴ又はフレームＤＣＴを選択的に適用することで、効率のよい圧縮が可能となる。
【０１３０】
図２５及び図２６は、入力画素構成変換装置２３０５での別の多重化例を示している。図２４に示す複合多重画像２４０３では、第１眼〜第４眼画像、及び、高解像度第１眼画素１〜４のうちの何れか２つを一対にして、一方の画像を奇数行に配置し、他方の画像を偶数行に配置するブロックを、縦に並べたが、図１０の例と同様に、これらブロックを横に並べてもよい。例えば、図２５に示すように、７０４列×５７６行の複合多重化画像２５０３を横方向に４分割して、各ブロックに、第１眼〜第４眼画像、及び、高解像度第１眼画素１〜４うちの何れか２つを一対にして、一方の画像を奇数行に、他方の画像を偶数行に配置することもできる。この多重化複合画像２５０３をインターレース変換することで、第１眼〜第４眼画像の何れかが配置されるブロックが横に並ぶトップフィールド画像２５０４と、高解像度第１眼画素１〜４の何れかが配置されるブロックが横に並ぶボトムフィールド画像２５０５とが得られる。
【０１３１】
また、入力画素構成変換装置２３０５は、第１眼〜第４眼画像、及び、高解像度第１眼画素１〜４のうちの何れか２つを一対にして、一方の画像を奇数行に配置し、他方の画像を偶数行に配置するブロックを、縦又は横に１列に並べて多重化するのに代えて、図１１の例と同様に、縦及び横に複数列に並べて多重化してもよい。例えば、図２６に示すように、１７６列×１１５２行の複合多重化画像２６０３を縦及び横に２分割し、４分割された各ブロックに、第１眼〜第４眼画像、及び、高解像度第１眼画素１〜４うちの何れか２つを一対にして、一方の画像を奇数行に、他方穂の画像を偶数行に配置することもできる。この多重化複合画像２６０３をインターレース変換することによっても、第１眼〜第４眼画像の何れかが配置されるブロックが横に並ぶトップフィールド画像２６０４と、高解像度第１眼画素１〜４の何れかが配置されるブロックが横に並ぶボトムフィールド画像２６０５を得ることができる。
【０１３２】
本実施形態例と同様な構成を有する立体画像圧縮装置２３００においても、立体画像の１フレーム、及び、平面画像の１フレームを１つの複合多重化画像に多重化するのに代えて、第６実施形態例と同様に、複数の分割フレームに時分割して多重化する構成を採用することができる。この場合、入力画素構成変換装置２３０５は、立体画像の１フレーム、及び、平面画像の１フレームを、複数の分割フレームに分割し、各分割フレームには、図１２に示す分割フレーム１２０２、１２０３と同様に、第１眼〜第Ｎ眼画像の１フレーム、及び、高解像度第１眼画素１〜Ｎの１フレームのうちの複数の画像が、奇数行と偶数行とに分けて配置される。この場合にも、第１眼〜第Ｎ眼画像、及び、高解像度第１眼画素１〜Ｎの相関を利用した効率のよい圧縮が可能となる。
【０１３３】
図２７及び図２８は、それぞれＧＯＰ構成の例を示している。図２７では、４眼立体画像２０１の１フレーム、及び、高解像度第１眼画素１〜４の１フレーム（図２４）が、第１分割フレーム２７０１〜第４分割フレーム２７０４の４つの分割フレームに時分割され、１５個の分割フレームがＧＯＰを構成する。この例では、図１３（第４実施形態例）の例と同様に、各分割フレームのトップフィールド画像及びボトムフィールド画像には、第１眼〜第４眼画像、及び、高解像度第１眼画素１〜４の何れかが単独で含まれている。このようにＧＯＰを構成した場合にも、第６実施形態例と同様に、ＭＰＥＧ圧縮において、第１眼〜第４眼画像と、高解像度第１眼画素１〜４との画像空間の相関性を利用した圧縮が可能となり、立体画像と平面画像とを効率よく圧縮できる。
【０１３４】
また、図２８では、８眼立体画像４０１の１フレーム、及び、高解像度第１眼画素１〜８の１フレームが、第３分割フレーム２８０３〜第６分割フレーム２８０６のの４つの分割フレームに時分割され、１５個の分割フレームがＧＯＰを構成する。この例では、図１４（第４実施形態例）の例と同様に、各分割フレームのトップフィールド画像及びボトムフィールド画像には、第１眼〜第４眼画像、及び、高解像度第１眼画素１〜４の何れか２つがブロックを分けて横に並んでいる。このように、各分割フレームのトップフィールド画像及びボトムフィールド画像に、複数の画像が含まれる場合にも、第１眼〜第４眼画像と、高解像度第１眼画素１〜４との画像空間の相関性を利用して、効率のよい圧縮が実現する。
【０１３５】
第８実施形態例
図２９は、本発明の第８実施形態例の立体画像圧縮装置及び立体画像伸長装置の構成を機能ブロック図として示している。立体画像圧縮装置２９００及び立体画像伸長装置２９０１は、それぞれ、図１に示す立体画像圧縮装置１００及び立体画像伸長装置１０１と同様な構成を有する。立体画像圧縮装置２９００には、１視点ディスプレイ（平面ディスプレイ）用の１視点画像から、Ｎ視点ディスプレイ（Ｎ眼立体ディスプレイ：Ｎは２以上の整数）用のＮ視点画像までが入力され、立体画像伸長装置２９０１は、立体画像圧縮装置２９００で圧縮された１視点画像（平面画像）からＮ視点画像（Ｎ眼立体画像）までを伸長し、伸長された画像を、それぞれ平面ディスプレイ又は立体ディスプレイに出力可能である。
【０１３６】
入力画素構成変換装置２９０５は、１視点画像からＮ視点画像を、第１実施形態例と同様の規則で、１つの複合多重化画像に多重化する。出力画素構成変換装置２９１５は、ＭＰＥＧ伸長装置１１１によって伸長された複合多重化画像から、１視点画像からＮ視点画像を、入力画素構成変換装置２９０５による多重化とは逆の規則で分解する。出力画素構成変換装置２９１５は、分解された１視点画像からＮ視点画像の少なくとも１つを、その画像に適合するディスプレイに向けて出力する。
【０１３７】
図３０は、ディスプレイ上でのｎ視点画像（ｎ：１〜Ｎ）の画素と、第１眼〜第Ｎ眼画像の原画像の画素との関係を示している。同図では、Ｎ＝４であり、複数視点のｎ視点画像が立体ディスプレイに表示されるとき、その表示画面の各行には、第１眼〜第ｎ眼画像が順次に繰り返し配置される例を用いている。一般に、ｎ視点画像の画素は、複数視点の原画像（第１眼〜第Ｎ眼画像の原画像）の画素を、列方向に所定の周期でサンプリングした画素、言い換えると、原画像の画素を列方向に間引いた画素として構成される。
【０１３８】
４視点画像は、第１眼〜第４眼画像の原画像の１列目、５列目、９列目、・・・、つまり４ｋ＋１列目（ｋ：０〜（原画像の列方向の画素数／４）−１）をサンプリングした画素で構成される。第１眼画像の４ｋ＋１列目の画素は、それぞれ４眼立体ディスプレイ上の４ｋ＋１列目に配置され、第２眼画像の原画像の４ｋ＋１列目の画素は、それぞれ４眼立体ディスプレイ上の２列目、６列目、１０列目、・・・、つまり４ｋ＋２列目に配置される。また、第３眼画像の原画像の４ｋ＋１列目の画素は、それぞれ４眼立体ディスプレイ上の３列目、８列目、１１列目、・・・、つまり４ｋ＋３列目に配置され、第４眼画像の原画像の４ｋ＋１列目の画素は、それぞれ４眼立体ディスプレイ上の４列目、８列目、１２列目、・・・、４ｋ＋４列目に配置される。
【０１３９】
３視点画像は、第１眼〜第３眼画像の原画像の１列目、４列目、７列目、・・・、つまり３ｋ＋１列目をサンプリングした画素で構成される。第１眼画像の３ｋ＋１列目は、それぞれ３眼立体ディスプレイ上の３ｋ＋１列目に配置され、第２眼画像の３ｋ＋１列目の画素は、それぞれ３眼立体ディスプレイ上の２列目、５列目、８列目、・・・、つまり３ｋ＋２列目に配置され、第３眼画像の３ｋ＋１列目の画素は、それぞれ３眼立体ディスプレイ上の３列目、８列目、１１列目、・・・、つまり４ｋ＋３列目に配置される。
【０１４０】
２視点画像は、第１眼画像及び第２眼画像の１列目、３列目、５列目、・・・、つまり２ｋ＋１列目をサンプリングした画素で構成される。第１眼画像の２ｋ＋１列目の画素は、それぞれ２眼立体ディスプレイ上の２ｋ＋１列目に配置され、第２眼画像の２ｋ＋１列目の画素は、それぞれ２眼立体ディスプレイ上の２列目、４列目、６列目、・・・、つまり２ｋ＋２列目に配置される。１視点画像は、第１眼画像の各列の画素で構成される。１視点画像から４視点画像に含まれる第１眼画像の列方向の解像度を相互に比較すると、１視点画像の列方向の解像度を１とするとき、２視点画像で列方向の解像度が１／２となり、３視点画像では列方向の解像度が１／３となり、また、４視点画像では列方向の解像度が１／４となる。
【０１４１】
図３１は、図２９の立体画像圧縮装置２９００及び立体画像伸長装置２９０１による立体画像及び平面画像の圧縮及び再現の様子を模式的に示している。なお、同図では、１視点画像〜４視点画像が、ディスプレイ上で、図３０と同様に表示される例について示している。入力画素構成変換装置２９０５には、平面ディスプレイ上で平面画像３１０１として表示される１視点画像と、２眼立体ディスプレイ上で２眼立体画像３１０２として表示される２視点画像と、３眼立体ディスプレイ上で３眼立体画像３１０３として表示される３視点画像と、４眼立体ディスプレイ上で４眼立体画像３１０４として表示される４視点画像とが入力される。
【０１４２】
入力画素構成変換装置２９０５は、１視点画像〜４視点画像を、縦及び横にそれぞれ２分割された第１〜第４ブロックを有する、７０４×５７６行の複合多重化画像３１０５に多重化する。入力画素構成変換装置２９０５は、１視点画像をそのまま複合多重化画像３１０５の第１ブロックに配置し、２視点画像〜４視点画像を、それぞれ、第１実施形態例と同様な規則で多重化（図２）した後に、複合多重化画像３１０５の第２〜第４ブロックに配置する。１視点画像〜４視点画像が多重化された複合多重化画像３１０５は、ＭＰＥＧ圧縮装置１０８によりＭＰＥＧ圧縮され、送信・記録装置１０９、及び、受信・再生装置１１０を経て、ＭＰＥＧ伸長装置１１１でＭＰＥＧ伸長（再現）される。
【０１４３】
出力画素構成変換装置３１１５は、再現された複合多重化画像３１０５から、入力画素構成変換装置３１０５による多重化とは逆の規則で、１視点画像〜４視点画像を分解し、分解により得られた１視点画像〜４視点画像を、その画像に適合するディスプレイに出力する。これにより、観察者は、平面ディスプレイによって、再現された１視点画像を平面画像３１０６として観察でき、２眼立体ディスプレイによって、再現された２視点画像を２眼立体画像３１０７として観察できる。また、３眼立体ディスプレイによって、再現された３視点画像を３眼立体画像３１０８として観察でき、４眼立体ディスプレイによって、再現された４視点画像を４眼立体画像３１０９として観察できる。
【０１４４】
本実施形態例では、複数のタイプのディスプレイに適合する平面画像又は立体画像を、１つの画像に多重化して圧縮し、複数の回線を使用することなく、複数のディスプレイに適合する画像を送信することができる。一般に、視点数が異なる複数の画像間では、視点数が多くなるほど、１視点あたりの列方向の解像度が低くなる。しかし、本実施形態例では、複数のディスプレイに適合する解像度で画像を送信できるため、観察者は、自身が有するディスプレイのタイプに応じた画像を、観察することができる。
【０１４５】
第５〜第７実施形態例では、例えば、観察者は、６眼立体ディスプレイにより６眼立体画像を観察でき、平面ディスプレイにより平面画像を観察できた。しかし、観察者が、６眼立体ディスプレイに比して視点が少ない４眼立体ディスプレイを有している場合には、６眼立体画像と４眼立体画像とでは、列方向の解像度が相互に異なるため、４眼立体ディスプレイ本来の解像度で、４眼立体画像を観察することはできない。本実施形態例では、立体画像圧縮装置２９００及び立体画像伸長装置２９０１を利用することで、観察者は、自身の有するディスプレイのタイプに応じて、Ｎ眼立体画像、Ｎ眼立体画像よりも視点数が少ない立体画像、又は、平面画像の何れかを選択して、所望の画像を観察できる。
【０１４６】
第９実施形態例
図３２は、本発明の第８実施形態例の立体画像圧縮装置及び立体画像伸長装置の構成を機能ブロック図として示している。立体画像圧縮装置３２００及び立体画像伸長装置３２０１は、それぞれ、図８に示す立体画像圧縮装置１００及び立体画像伸長装置１０１と同様な構成を有する。立体画像圧縮装置３２００には、第１眼〜第Ｎ眼画像の原画像がそれぞれ入力され、立体画像伸長装置２９０１は、立体画像圧縮装置２９００で圧縮された第１眼〜第Ｎ眼画像の原画像を伸長して、１視点画像〜Ｎ視点画像を生成し、平面ディスプレイ又は立体ディスプレイに出力可能である。
【０１４７】
入力画素構成変換装置３２０５は、第１眼〜第Ｎ眼画像の原画像を、第３実施形態例と同様の規則で、１つの複合多重化画像に多重化する。出力画素構成変換装置３２１５は、ＭＰＥＧ伸長装置１１１によって伸長された複合多重化画像から、第１眼〜第Ｎ眼画像の原画像を、入力画素構成変換装置３２０５による多重化とは逆の規則で分解し、第１眼〜第Ｎ眼画像の原画像の画素を所定の周期でサンプリングし、１視点画像〜Ｎ視点画像の少なくとも１つを生成し、生成した１視点画像〜Ｎ視点画像を、その画像に適合するディスプレイに向けて出力する。
【０１４８】
図３３は、図３２の立体画像圧縮装置３２００による画像の圧縮の様子を模式的に示している。入力画素構成変換装置３２０５は、第１眼画像の原画像３３０１〜第４眼画像の原画像３３０４をそれぞれ入力する。入力画素構成変換装置３３０５は、第３実施形態例と同様な規則（図１０）で、第１眼画像の原画像３３０１〜第４眼画像の原画像３３０４を、７０４列×５７６行の多重化４眼画像３３０５に多重化する。多重化４眼画像３３０５は、横に２分割された第１及び第２ブロックを有し、第１ブロック（左半分のブロック）では、第１眼画像の原画像３３０１の各行が奇数行に配置され、第３眼画像の原画像３３０３の各行が偶数行に配置される。また、多重化４眼画像３３０５の第２ブロック（右半分のブロック）では、第２眼画像の原画像３３０２の各行が奇数行に配置され。第４眼画像３３０４の原画像の各行が偶数行に配置される。
【０１４９】
インターレース変換装置８０６は、７０４列×７５６行の多重化４眼画像３３０５を、それぞれ７０４列×２８８行のトップフィールド画像３３０６及びボトムフィールド画像３３０７で構成される仮想的なインターレース画像に変換する。トップフィールド画像３３０６は、多重化４眼画像３３０５の奇数行で構成され、ボトムフィールド画像３３０７は、多重化４眼画像３３０５の偶数行で構成される。インターレース変換の結果として、トップフィールド画像では、左半分のブロックに第１眼画像の原画像３３０１が配置され、右半分のブロックに第２眼画像の原画像３３０２が配置される。また、ボトムフィールド画像３３０７では、左半分のブロックに第３眼画像の原画像３３０３が配置され、右半分のブロックに第４眼画像の原画像３３０４が配置される。
【０１５０】
ＭＰＥＧ圧縮装置１０８は、第３実施形態例でのＭＰＥＧ圧縮と同様に、トップフィールド画像３３０６とボトムフィールド画像３３０７との差異の検出結果に基づいて、フィールドＤＣＴ、又は、フレームＤＣＴを適用してＭＰＥＧ圧縮を行う。ＭＰＥＧ圧縮された第１眼画像の原画像３３０１〜第４眼画像の原画像３３０４は、送信・記録装置１０９、受信・再生装置１１０を経て、ＭＰＥＧ伸長装置１１１でＭＰＥＧ伸長される。ＭＰＥＧ伸長装置１１１は、ＭＰＥＧ圧縮の際に、フレームＤＣＴが適用されたフレームについては、多重化４眼画像３３０５を再現し、フィールドＤＣＴが適用されたフレームについては、トップフィールド画像３３０６及びボトムフィールド画像３３０７を再現する。
【０１５１】
出力画素構成変換装置３２１５は、多重化４眼画像３３０５、或いは、プログレッシブ変換装置１１４でプログレッシブ画像に変換されたトップフィールド画像３３０６及びボトムフィールド画像３３０６から第１眼画像の原画像３３０１〜第４眼画像の原画像３３０４を分解し、ディスプレイ上で、平面画像３３０８として表示される再生１視点画像、２眼立体画像３３０９として表示される再生２視点画像、３眼立体画像３３１０として表示される再生３視点画像、及び、４眼立体画像３３１１として表示される再生４視点画像のうちの少なくとも１つの画像を、その画像に適合するディスプレイに出力する。
【０１５２】
本実施形態例では、第３実施形態例と同様に、第１眼〜第Ｎ眼画像の原画像間の相関を利用した圧縮が行えるため、圧縮効率を向上することができる。また、最大でＮ視点画像を構成するのに必要な第１眼〜第Ｎ眼画像の原画像を全て１つの複合多重化画像に多重化して圧縮し、立体画像伸長装置２９０１は、再現した複合多重化画像から、所望の原画像の画素をサンプリングして所望の視点を有する画像を生成できる。第８実施形態例では、平面ディスプレイにより、例えば、第１眼画像の視点の画像を表示することはできるが、第１眼画像とは異なる視点の画像を平面画像として表示することはできない。本実施形態例では、立体画像圧縮装置２９０１によって複数視点の画像を任意に生成できるため、例えば、観察者は、第１眼画像以外の視点の画像によって構成される平面画像を観察することもできる。
【０１５３】
本実施形態例においても、第３実施形態例と同様に、第１眼〜第Ｎ眼画像の原画像を多重化する際に、図８又は図１１に示すような多重化の規則を採用することができる。図３３では、第１眼〜第Ｎ眼画像の原画像の画素が全て入力される例について示したが、例えば、第４眼画像の原画像を、４視点画像以外の画像で使用しないのであれば、１視点画像から３視点画像では使用されることがない第４眼画像の原画像の４ｋ＋１列目から４ｋ＋３列目までの画素の入力を省略し、その部分を、ダミー画像に置き換えてもよい。
【０１５４】
第１０実施形態例
第８及び第９実施形態例では、同じ画像サイズの１視点〜Ｎ視点画像の何れかを表示可能な立体画像圧縮装置及び立体画像伸長装置について説明したが、本実施形態例では、Ｎの約数の視点の画像の何れかを表示可能な、つまり、Ｎ＝６であれば、６視点画像、３視点画像、２視点画像、及び、１視点画像の何れかを表示可能な立体画像圧縮装置及び立体画像伸長装置を実現する。本実施形態例の立体画像圧縮装置及び立体画像伸長装置は、第８実施形態例の立体画像圧縮装置２９００及び立体画像伸長装置２９０１（図２９）、又は、第９実施形態例の立体画像圧縮装置３２００及び立体画像伸長装置３２０１（図３２）と同様な構成を有する。
【０１５５】
図３４は、ディスプレイ上でのｎ視点画像（ｎ：１〜Ｎ（＝６））の画素と、第１眼〜第６眼画像の原画像の画素との関係を示している。６視点画像は、第１眼〜第６眼画像の原画像の１列目、７列目、１３列目、・・・、つまり６ｋ＋１列目（ｋ：０〜（原画像の列方向の画素数／Ｎ）−１）をサンプリングした画素で構成され、第ｉ眼画像（ｉ：１〜６）の６ｋ＋１列目の画素は、６眼立体ディスプレイ上の６ｋ＋ｉ列目に配置される。３視点〜１視点画像は、図３０の例と同様に、ディスプレイ上に表示される。図３４に示す６視点画像、３視点画像、２視点画像、及び、１視点画像を実現するためには、第１眼画像の原画像の全ての画素と、第２眼画像の原画像の６ｋ＋１、６ｋ＋３、６ｋ＋４、及び、６ｋ＋５列目の画素と、第３眼画像の６ｋ＋１、及び、６ｋ＋４列目の画素と、第４眼〜第６眼画像の６ｋ＋１列目の画素とを入力する必要がある。
【０１５６】
図３５及び図３６は、６の約数の視点の画像を表示可能な立体画像圧縮装置及び立体画像伸長装置を示している。図３５に示すように、１視点画像、２視点画像、３視点画像、及び、６視点画像を、第９実施形態例と同様な立体画像圧縮装置３２００（図３２）に入力することで、立体画像伸長装置３２０１から、再現された１視画像、２視点画像、３視点画像、及び、６視点画像を出力することができる。図３５の例では、例えば、第３眼画像の１列目の画素が、３視点画像と６視点画像とで重複して入力される。ｍ視点画像（３≦ｍ≦Ｎ）を構成する第ｉ眼画像（２≦ｉ＜ｍ）の原画像の画素が、ｍ’視点画像（３≦ｍ’＜ｍ）画像を構成する第ｉ視点画像の原画像の画素と重複するときには、ｍ視点画像において、重複する第ｉ眼画像の原画像の入力を省略することもできる。
【０１５７】
ここで、３以上の整数Ｎの約数の視点の画像を表示可能とする立体画像圧縮装置において、２視点画像からＮ視点画像までで重複する第２眼〜第Ｎ眼画像の原画像の画素の入力を省略する手法について説明する。まず、Ｎの約数の約数をｍとする。例えばＮ＝６であれば、約数ｍは、ｍ＝１、ｍ＝２、ｍ＝３、ｍ＝６の何れかである。ｍ視点画像では、第ｉ眼画像のｍ・ｋ＋１列目の画素が、
ｘ＝ｍ・ｋ＋ｉ （１）
列目に配置される。例えば、３視点画像では、第２眼画像の原画像の３ｋ＋１列目の画素は、３ｐ＋２（ｐ＝０、１、２、・・・）列目に配置され、２視点画像では、第２眼画像の原画像の２ｋ＋１列目の画素は、２ｐ＋２（ｐ＝０、１、２、・・・）列目に配置される。
【０１５８】
一方、ｍ視点画像に比して視点数が少ない、Ｎの約数であるｍ’（ただしｉ≦ｍ’＜ｍ）視点画像では、第ｉ眼画像のｍ’・ｋ’＋１列目の画素が、
ｘ’＝ｍ’ｋ’＋ｉ （２）
列目に配置される。ここで、ｍ・ｋ_１＋１＝ｍ’・ｋ_１’＋１、つまり、
ｍ・ｋ_１＝ｍ’・ｋ_１’ （３）
となれば、ｍ視点画像のｘ_１＝ｍ・ｋ_１＋ｉ列目を構成する第ｉ眼画像の原画像の画素と、ｍ’視点画像のｘ_１’＝ｍ’・ｋ_１’＋ｉ列目を構成する第ｉ眼画像の原画像の画素とが重複する。式（３）を変形して、
ｋ_１’＝ｍ・ｋ_１／ｍ’ （４）
とおき、ｍ、ｍ’、ｋ_１、ｋ_１’の何れもが整数であることに注意すると、ｍ、ｍ’を定数と見たときに、式（４）においてｋ_１’が整数となるｋ_１が存在すれば、式（３）の条件が満たされる。式（３）の条件が満たされ、ｍ視点画像とｍ’視点画像とで、重複する第ｉ眼画像の原画像の画素については、ｍ視点画像から取り除き、その入力を省略できる。ｍ’を、とりうる条件の範囲内で変化させつつ重複する画素を調べ、その画素の入力を省略するとよい。
【０１５９】
例えば、Ｎ＝６であり、３視点画像と２視点画像とで重複する第２眼画像の原画像の画素の入力を省略する例について説明する。３視点画像では、第２眼画像の原画像の３ｋ＋１列目の画素が、３ｋ＋２列目に配置される。また、２視点画像では、第２眼画像の原画像の２ｋ＋１列目の画素が、２ｋ＋２列目に配置される。３視点画像と２視点画像とで、第２眼画像の原画像の画素が重複するのは、ｋ_１’＝３・ｋ_１／２が整数となるときである。この条件を満たすは、ｋ_１＝０、２、４、６、・・・であり、そのときｋ_１’は、ｋ_１’＝０、３、６、９、・・・である。３視点画像及び２視点画像の２列目（３×０＋２、２×０＋２）、８列目（３×２＋２、２×３＋２）、１４列目（３×４＋２、２×６＋２）、・・・に配置される第２眼画像の原画像の１列目、７列目、１３列目、・・・の画素が、３視点画像と２視点画像とで重複することがわかる。このため、３視点画像では、２視点画像と重複する、第２眼画像の原画像の１列目、７列目、１３列目、・・・の画素の入力を省略できる。上記した手法を、２視点画像、３視点画像、及び、６視点画像を構成する全ての画素に適用し、重複する画素の入力を省略し、入力画像を第１眼〜第６眼画像について整理すると、図３５の立体画像圧縮装置及び立体画像伸長装置は、図３６のように表現することができる。
【０１６０】
図３７は、図３６の立体画像圧縮装置及び立体画像伸長装置による立体画像及び平面画像の圧縮及び再現の詳細を模式的に示している。なお、同図では、第１眼〜第６眼画像の原画像の画像サイズ、及び、ディスプレイの表示画面サイズは３００列×２４０行であり、各画素に隣接する数字は、その画素の原画像中での列数に対応している。立体画像圧縮装置３２００には、１視点画像、２視点画像、３視点画像、及び、６視点画像において重複する画素が省略された第１眼画像３７０１〜第６眼画像３７０６が入力される。
【０１６１】
第１眼画像３７０１は、原画像の全ての画素で構成される。第２眼画像３７０２は、原画像の６ｋ＋１、６ｋ＋３、６ｋ＋４、及び、６ｋ＋５列目の画素で構成される。第３眼画像３７０３は、原画像の６ｋ＋１、及び、６ｋ＋４列目の画素で構成され、第４眼画像３７０４、第５眼画像３７０５、及び、第６眼画像３７０６は、それぞれ、原画像の６ｋ＋１列目の画素で構成される。第１眼画像３７０１〜第６眼画像３７０６は、入力画素構成変換装置３２０５（図３２）により、４００列×２８０行の複合多重化画像３７０７に多重化される。
【０１６２】
入力画素構成変換装置３２０５による多重化により、複合多重化画像３７０７の奇数行には、第１眼画像の原画像の６ｋ＋１〜６ｋ＋６列目の画素（ｋ：０〜４９）と、第３眼画像の原画像の６ｋ＋１及び６ｋ＋４列目の画素とで構成される１組が、列方向に順次に配置される。また、複合多重化画像３７０７の偶数行には、第２眼画像の原画像の６ｋ＋１、６ｋ＋３、６ｋ＋４、及び、６ｋ＋５列目の画素と、第４眼〜第６眼画像の６ｋ＋１列目の画素と、ダミー画素（＊）とで構成される１組が、列方向に順次に配置される。ダミー画素は、複合多重化画像３７０７の奇数行と偶数行の列方向の画素数を調整するために挿入される。
【０１６３】
インターレース変換装置８０６は、４００列×２８０行の行の複合多重化画像３７０７を、それぞれ、４００列×２４０行のトップフィールド画像３７０８及びボトムフィールド画像３７０９にインターレース変換する。インターレース変換により、トップフィールド画像３７０８には、第１眼画像と第３眼画像とがブロックを分けずに配置され、ボトムフィールド３７０９には、第２眼画像、第４眼画像、第５眼画像、及び第６眼画像が、ブロックを分けずに配置される。ＭＰＥＧ圧縮では、マクロブロック単位で、トップフィールド画像３７０８とボトムフィールド画像３７０９との差異が検出され、その差異の検出結果に基づいて、ＭＰＥＧ圧縮装置１０８は、フィールドＤＣＴ、又は、フレームＤＣＴを適用して、複合多重化画像３７０７、又は、トップフィールド画像３７０８及びボトムフィールド画像３７０９に対してＭＰＥＧ圧縮を行う。
【０１６４】
ＭＰＥＧ圧縮された第１眼画像３７０１〜第６眼画像３７０６は、送信・記録装置１０９、受信・再生装置１１０を経て、ＭＰＥＧ伸長装置１１１で伸長される。伸長された第１眼画像３７０１〜第６眼画像３７０６は、出力画素構成変換装置３７１５は、多重化６眼画像３７０７、或いは、プログレッシブ変換装置８１４でプログレッシブ画像に変換されたトップフィールド画像３３０８及びボトムフィールド画像３３０９から第１眼画像３７０１〜第６眼画像３３０６を分解し、ディスプレイ上で、平面画像３７１０として表示される再生１視点画像、２眼立体画像３７１１として表示される再生２視点画像、３眼立体画像３７１２として表示される再生３視点画像、及び、６眼立体画像３７１３として表示される再生６視点画像のうちの少なくとも１つの画像を、その画像に適合するディスプレイに出力する。
【０１６５】
本実施形態例では、Ｎの約数の視点の画像を構成する第１眼画像〜第Ｎ眼画像の画素のうち、重複する画素の入力が省略された第１眼〜第Ｎ眼画像が、１つの多重化Ｎ眼画像に多重化されて、ＭＥＰＧ圧縮される。多重化Ｎ眼画像では、図３７の例に示すように、多重化Ｎ眼画像の奇数列と偶数列に区切って、所定の画素を配置する。このため、第３実施形態例と同様に、多重多Ｎ眼画像をインターレース変換したトップフィールド画像とボトムフィールド画像との差異の検出結果に基づいて、プログレッシブ画像である多重化多視画像、又は、仮想的なインターレース画像を選択して、ＭＰＥＧ圧縮を行うことができ、第１眼〜第６眼画像の相関を利用した効率のよい圧縮が可能となる。重複する画素の入力を省略し、多重化Ｎ眼画像には、Ｎの約数の視点の画像に必要がない画素が含まれないため、第９実施形態例に比して、立体画像を更に効率よく圧縮伝送することができる。
【０１６６】
図３８は、本実施形態例の立体画像圧縮装置における多重化４眼画像の別の例を示している。入力画素構成変換装置３２０５は、第１眼画像３７０１〜第６眼画像３７０６を、図３７の例とは異なる規則で、例えば、図３８に示す多重化６眼画像３８０７のように多重化することもできる。この多重化６眼画像３８０７は、４００列×４８０行の画像として構成され、横に分割された、第１〜第８ブロックの８つのブロックを有する。各ブロックには、第１眼画像３７０１〜第６眼画像３７０６の所定列の画素のうちの２つが、奇数行と偶数行とに区切って配置されている。
【０１６７】
多重化６眼画像３８０７の第１ブロックでは、第１眼画像３７０１の原画像の６ｋ＋１列目の画素が奇数行に配置され、第２眼画像３７０２の原画像の６ｋ＋４列目の画素が偶数行に配置され、第２ブロックでは、第１眼画像の原画像の６ｋ＋２列目の画素が奇数行に配置され、第２眼画像の原画像の６ｋ＋５列目が偶数行に配置される。また、第３ブロックでは、第１眼画像の原画像の６ｋ＋３列目の画素が奇数行に配置され、第３眼画像の原画像の６ｋ＋１列目が偶数行に配置され、第４ブロックでは、第１眼画像の原画像の６ｋ＋４列目の画素が奇数行に配置され、第３眼画像の原画像の６ｋ＋４列目が偶数行に配置され、第５ブロックでは、第１眼画像の原画像の６ｋ＋５列目の画素が奇数行に配置され、第４眼画像の原画像の６ｋ＋１列目が偶数行に配置される。第６ブロックでは、第１眼画像の原画像の６ｋ＋６目の画素が奇数行に配置され、第５眼画像の原画像の６ｋ＋１列目が偶数行に配置され、第７ブロックでは、第２眼画像の原画像の６ｋ＋１列目の画素が奇数行に配置され、第６眼画像の原画像の６ｋ＋１列目が偶数行に配置され、第８ブロックでは、第２眼画像の原画像の６ｋ＋３列目の画素が奇数行に配置され、ダミー画素（＊）が偶数行に配置される。
【０１６８】
ＭＰＥＧ圧縮装置１０８（図３２）は、フィールドＤＣＴ、又は、フレームＤＣＴを選択的に適用して、多重化６眼画像３８０７、或いは、多重化６眼画像３８０７をインターレース変換することで得られるトップフィールド画像３８０８及びボトムフィールド画像３８０９に対してＭＰＥＧ圧縮を行う。このようにすることで、入力画素構成変換装置３２０５が、第１眼画像３７０１〜第６眼画像３７０６を、図３７に示す多重化６眼画像３７０７に代えて、図３８に示す多重化６眼画像３８０７のように多重化した場合についても、図３７の例と同様に、効率のよい圧縮が可能となる。
【０１６９】
なお、多重化画像への多重化や、分割フレームへの分割等は、上記実施形態例に限定されず、上記各実施形態例で採用した画像空間的な多重化の手法や時分割による多重化の手法は、適宜組み合わせることができる。例えば、例えば図７では、第１眼〜第８眼画像が４つの分割フレームに時分割される例について説明したが、これに代えて、第１眼画像〜第４眼画像を、第１実施形態例又は第３実施形態例と同様な規則で１つの分割フレーム中に画像空間的に多重化し、第５眼画像〜第８眼画像を、第１実施形態例又は第３実施形態例と同様な規則で１つの分割フレーム中に画像空間的に多重化してもよい。
【０１７０】
第３実施形態例では、例えば図９において、第１眼画像と第２眼画像を一対にして上半分のブロックに配置し、第３眼画像と第４眼画像とを下半分のブロックに配置したが、多重化４眼画像を２つのブロックに分割せずに、第１眼画像のｙ＋１行目を多重化４眼画像９０２の４ｙ＋１行目に配置し、第２眼画像のｙ＋１行目を多重化４眼画像９０２の４ｙ＋２行目に配置し、第３眼画像のｙ＋１行目を４ｙ＋３行目に配置し、第４眼画像のｙ＋１行目を多重化４眼画像９０２の４ｙ＋４行目に配置することもできる。
【０１７１】
また、第３実施形態例では、Ｎが奇数のとき、ダミー画像を使用するのに代えて、第１眼〜第Ｎ眼画像を、２枚の画像を１組にした（Ｎ−１）／２個の組と、余った残りの１枚の画像とに分け、多重化画像では、１組した２枚の画像を奇数行と偶数行とに区切って配置し、残りの１枚の画像を多重化画像の、１組にした２枚の画像が配置されない残りのブロックに配置することもできる。この場合、多重化画像のブロックは縦方向に並べられ、残り１枚の画像が配置されるブロックの行数は、１組にした２枚の画像が配置されるブロックの行数の半分となる。
【０１７２】
図３９〜図４２は、第６実施形態例の立体画像圧縮装置１５００の入力画素構成変換装置１５０５における多重化の別の例を示している。図１６（第５実施形態例）では、入力画素構成変換装置１５０５が、複合多重化画像１６０３を８つのブロックに分け、各ブロックに、第１眼〜第４眼画像、及び、高解像度第１眼画素１〜４が単独で配置されるように多重化する例について示したが、これに代えて、入力画素構成変換装置１５０５は、図３９に示すように、複合多重化画像３９０３を、横に２つのブロックに分割して、左右何れかのブロックに平面画像１６０２をそのまま平行移動して配置し、左右何れかの残ったブロックを更に横に４分割して、その４つのブロックのそれぞれに、第１眼〜第４眼画像を配置するように多重化してもよい。
【０１７３】
図３９の例においても、立体画像２０１と平面画像１６０２とで重複する画素について、何れか一方の入力を省略して、その省略した方をダミー画像に置き換えてもよく、或いは、図４０に示すように、複合多重化画像４００３を、列数が第１眼画像の列数分だけ少ない画像として構成し、その複合多重化画像４００３に、平面画像と第２眼〜第４眼画像とを多重化してもよい。入力画素構成変換装置１５０５は、第１眼画像と平面画像とを横に多重化するのに代えて、図４１に示すように、複合多重化画像４１０３を、縦に２つのブロックに分割して、上下何れかのブロックに平面画像１６０２をそのまま平行移動して配置し、上下何れかの残ったブロックを横に４分割して、その４つのブロックのそれぞれに、第１眼〜第４眼画像を配置するように多重化してもよい。この場合にも、立体画像２０１と平面画像１６０２とで重複する画素の何れかを省略して、その省略した方をダミー画像で置き換えることができる。
【０１７４】
図４２は、図４０において、Ｎ＝２とした例を示している。Ｎ＝２の場合には、立体画像圧縮装置１５００（図１５）は、２眼立体画像を構成する右目画像と左目画像と、右目画像と左目画像のうちの何れか一方の列方向の解像度を２倍にした平面画像（左目高解像度画像又は右目高解像度画像）とを多重化して、圧縮する。例えば、立体画像圧縮装置１５００に、立体画像と平面画像とで重複する画素の入力が省略され、高解像度左目画像４２０１（○１、○２）と、右目画像４２０２（●）とが入力されるときには、入力画素構成変換装置１５０５は、多重化画像４２０３を横に２つのブロックに分割し、左右何れかのブロックに高解像度左目画像をそのまま平行移動して配置し、左右何れかの残ったブロックに、右目画像を配置するように多重化する構成を採用することができる。図３９〜図４２に示すように平面画像をそのまま平行移動して多重化する構成を採用する場合には、平面画像が配置されるブロックでは、平面画像の画像空間の相関性を利用した圧縮が可能となる。
【０１７５】
入力画素構成装置が、複数分割フレームに時分割多重化する手法を採用する、例えば第２実施形態例や第４実施形態例では、１つの分割フレームに含まれる画像数や、時間軸上での分割フレームの並びを、任意に設定することができる。また、ＭＰＥＧ圧縮においてＧＯＰ構成を採用するとき、ＧＯＰを構成する分割フレームの数は、図示したものには限定されない。ＧＯＰ構成において、何れの分割フレームをＩ／Ｐピクチャのコアピクチャーとするのかや、各分割フレームのピクチャタイプの並び順などについても、図示したものに限定されず、それ以外の構成を採用することもできる。
【０１７６】
第１、第２、第５、第６、及び、第８実施形態例では、多重化画像の奇数行と偶数行とに区切って多重化が行われないためにインターレース変換装置が用いられない例について説明したが、これらの実施形態例においても、立体画像又は立体画像及び平面画像が多重化された多重化画像をインターレース変換装置によりインターレース変換し、インターレース変換前のフレーム画像、又は、インターレース変換後のフィルールド画像の何れかを選択して、ＭＰＥＧ圧縮する構成を採用できる。この場合であっても、ＭＰＥＧ圧縮において、変換前のフレーム画像及び変換後のフィールド画像のうち、圧縮率を高くできる方を選択することで、効率のよい圧縮が可能になる。
【０１７７】
第１０実施形態例では、第１眼画像３７０１〜第６眼画像３７０６を、図３７に示す多重化画像３７０７のように、所定列の画素の組を奇数行と偶数行とに区切って配置する例について説明したが、これに代えて、図４３に示す多重化画像４３０７のように、第１眼画像の原画像の６ｋ＋１〜６ｋ＋６列目の画素（ｋ：０〜４９）と、第２眼画像の原画像の６ｋ＋１、６ｋ＋３、６ｋ＋４、及び、６ｋ＋５列目の画素と、第３眼画像の原画像の６ｋ＋１及び６ｋ＋４列目の画素と、第４眼〜第６眼画像の６ｋ＋１列目の画素とで構成される１組を、偶数行と奇数行とに区切らずに、列方向に順次に配置こともできる。この場合も、インターレース変換により得られる、多重化画像４３０７の奇数行で構成されるトップフィールド画像４３０８、及び、偶数行で構成されるボトムフィールド画像４３０９と、インターレース変換前の多重化画像４３０７とのうち、ＭＰＥＧ圧縮において、圧縮率を高くできる方を選択することで、効率のよい圧縮が可能になる。
【０１７８】
第８〜第１０実施形態例では、第１実施形態例や第２実施形態例と同様に、画像空間の多重化を採用する例について示したが、これらの実施形態例においても、これに代えて、又は、これに加えて、第２実施形態例や第４実施形態例と同様に、時分割多重を採用することもできる。例えば、第８実施形態例において、第１眼〜第Ｎ眼画像の原画像を、１つの多重化画像に多重化するのに代えて、第４実施形態例と同様に、第１眼〜第Ｎ眼画像の原画像を、複数の分割フレームに分割して、時分割多重化してもよい。時分割する分割フレーム数と、多重化すべき画像数とが一致しない場合には、１つの分割フレーム中に、第１実施形態例又は第３実施形態例と同様な規則で複数の画像を多重化することができる。
【０１７９】
送信・記録装置が圧縮された画像をストリームとして配信・記録する際には、ストリームの送信に先立って、又は、ストリーム中の所定箇所に、そのストリームには、どのような画像を圧縮したデータが含まれるのかを示すフラグや、立体画像前処理装置がどのような手法により画像を多重化したのかを示すフラグを挿入することができる。例えば、ストリームには、そのストリームが立体画像データを含むことを示すフラグや、１枚の多重化画像又は時分割画像に含まれる視差画像数がいくつであるかを示すフラグ、多重化画像又は時分割画像中に視差画像がどのように配置されるかを示すフラグや、或いは、多重化画像又は時分割画像にダミー画像が含まれる場合には、そのダミー画像がどのような画像であるかといったフラグを含ませることができる。
【０１８０】
また、立体画像圧縮装置が立体画像と平面画像とを含むストリームを送信可能である場合には、そのストリームが立体画像データのみである、立体画像データと平面画像データとを含む、或いは、平面画像データのみであることを示すフラグを挿入してもよい。この場合にも、１枚の多重化画像又は時分割画像にはどのような画像が含まれるかを示すフラグや、多重化画像又は時分割画像中には画像がどのように配置されるかを示すフラグ、平面画像は視差画像のうちのどの１枚を高解像度にした画像であるかを示すフラグや、或いは、多重化画像又は時分割画像にダミー画像が含まれる場合には、そのダミー画像がどのような画像であるかといったフラグを含ませることができる。立体画像伸長装置は、フラグを参照することで、立体画像又は平面画像を正しくディスプレイに表示させることができる。
【０１８１】
以上、本発明をその好適な実施形態例に基づいて説明したが、本発明の立体画像圧縮装置及び立体画像伸長装置は、上記実施形態例にのみ限定されるものではなく、上記実施形態例の構成から種々の修正及び変更を施した立体画像圧縮装置及び立体画像伸長装置も、本発明の範囲に含まれる。
【０１８２】
【発明の効果】
以上説明したように、本発明の立体画像圧縮装置は、立体Ｎ眼画像を構成する各視差画像が、１つの画像に画像空間的に多重化されるため、立体Ｎ眼画像を、複数のチャンネルを使用することなく、送信又は記録することができる。多重化の際に、視差画像を奇数行と偶数行とに区切って配置する場合には、視差画像間の空間的な相関を利用して、効率のよい圧縮が可能となる。また、立体Ｎ眼画像を複数の時分割画像に分割して時間的に多重化する構成を採用する場合には、時分割画像を動画的に圧縮することができ、時分割画像に含まれる視差画像間の空間的な相関性を利用することで、効率のよい圧縮が可能となる。
本発明の立体画像伸長装置は、本発明の立体画像圧縮装置で圧縮された画像を伸長して、伸長された画像から視差画像又は平面画像を分離して、立体画像又は平面画像を、ディスプレイ上に表示させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態例の立体画像圧縮装置及び立体画像伸長装置の構成を示す機能ブロック図。
【図２】図１の立体画像圧縮装置１００及び立体画像伸長装置１０１による立体画像の圧縮及び伸長の様子を模式的に示すブロック図。
【図３】入力画素構成変換装置１０５における立体画像の別の多重化例。
【図４】入力画素構成変換装置１０５における立体画像の別の多重化例。
【図５】本発明の第２実施形態例の立体画像圧縮装置及び立体画像伸長装置による立体画像の圧縮及び伸長の様子を模式的に示すブロック図。
【図６】ＭＰＥＧ圧縮におけるＧＯＰ構成の例。
【図７】ＭＰＥＧ圧縮におけるＧＯＰ構成の別の例。
【図８】本発明の第３実施形態例の立体画像圧縮装置及び立体画像伸長装置の構成を示す機能ブロック図。
【図９】図８の立体画像圧縮装置８００及び立体画像伸長装置８０１による立体画像の圧縮及び伸長の様子を模式的に示すブロック図。
【図１０】入力画素構成変換装置８０５での別の多重化例。
【図１１】入力画素構成変換装置８０５での別の多重化例。
【図１２】本発明の第４実施形態例の立体画像圧縮装置及び立体画像伸長装置による立体画像の圧縮及び伸長の様子を模式的に示すブロック図。
【図１３】ＭＰＥＧ圧縮におけるＧＯＰ構造の例。
【図１４】ＭＰＥＧ圧縮におけるＧＯＰ構造の別の例。
【図１５】本発明の第５実施形態例の立体画像圧縮装置及び立体画像伸長装置の構成を示す機能ブロック図。
【図１６】図１５の立体画像圧縮装置１５００及び立体画像伸長装置１５０１による立体画像及び平面画像の圧縮及び伸長の様子を模式的に示すブロック図。
【図１７】入力画素構成変換装置１５０５における多重化の別の例。
【図１８】入力画素構成変換装置１５０５における多重化の別の例。
【図１９】入力画素構成変換装置１５０５における多重化の別の例。
【図２０】本発明の第６実施形態例の立体画像圧縮装置及び立体画像伸長装置による立体画像及び平面画像の圧縮及び伸長の様子を模式的に示すブロック図。
【図２１】ＭＰＥＧ圧縮におけるＧＯＰ構成の例。
【図２２】ＭＰＥＧ圧縮におけるＧＯＰ構成の別の例。
【図２３】本発明の第７実施形態例の立体画像圧縮装置及び立体画像伸長装置の構成を示す機能ブロック図。
【図２４】図２３の立体画像圧縮装置２３００及び立体画像伸長装置２３０１による立体画像及び平面画像の圧縮及び伸長の様子を模式的に示すブロック図。
【図２５】入力画素構成変換装置２３０５での多重化の別の例。
【図２６】入力画素構成変換装置２３０５での多重化の別の例。
【図２７】ＭＰＥＧ圧縮におけるＧＯＰ構成の例。
【図２８】ＭＰＥＧ圧縮におけるＧＯＰ構成の例。
【図２９】本発明の第８実施形態例の立体画像圧縮装置及び立体画像伸長装置の構成を機能ブロック図として示している。
【図３０】ディスプレイ上でのｎ視点画像（ｎ：１〜Ｎ（＝４））の画素と、第１眼〜第４眼画像の原画像の画素との関係を示すブロック図。
【図３１】図２９の立体画像圧縮装置２９００及び立体画像伸長装置２９０１による立体画像及び平面画像の圧縮及び伸長の様子を模式的に示すブロック図。
【図３２】本発明の第９実施形態例の立体画像圧縮装置及び立体画像伸長装置の構成を示す機能ブロック図。
【図３３】図３２の立体画像圧縮装置３２００による画像の圧縮の様子を模式的に示すブロック図。
【図３４】ディスプレイ上でのｎ視点画像（ｎ：１〜Ｎ（＝６））の画素と、第１眼〜第６眼画像の原画像の画素との関係を示すブロック図。
【図３５】６の約数の視点の画像を表示可能な立体画像圧縮装置及び立体画像伸長装置を示すブロック図。
【図３６】６の約数の視点の画像を表示可能な立体画像圧縮装置及び立体画像伸長装置を示すブロック図。
【図３７】図３６の立体画像圧縮装置及び立体画像伸長装置による立体画像及び平面画像の圧縮及び伸長の様子を模式的に示すブロック図。
【図３８】立体画像圧縮装置における多重化の別の例。
【図３９】入力画素構成変換装置１５０５における多重化の別の例。
【図４０】入力画素構成変換装置１５０５における多重化の別の例。
【図４１】入力画素構成変換装置１５０５における多重化の別の例。
【図４２】入力画素構成変換装置１５０５における多重化の別の例（Ｎ＝２）。
【図４３】立体画像圧縮装置における多重化の別の例。
【図４４】従来の立体画像圧縮装置及び立体画像伸長装置による立体画像の圧縮及び伸長の様子を模式的に示すブロック図。
【符号の説明】
１００：立体画像圧縮装置
１０１：立体画像伸長装置
１０４：立体画像前処理装置
１０５：入力画素構成変換装置
８０６：インターレース変換装置
８０７：選択装置
１０８：ＭＰＥＧ圧縮装置
１０９：記録・送信装置
１１０：受信・再生装置
１１１：ＭＰＥＧ伸長装置
１１２：立体画像後処理装置
８１３：分岐装置
８１４：プログレッシブ変換装置
１１５：出力画素構成変換装置

Claims (62)

1. 立体画像を構成するＮ枚（Ｎ≧３）の視差画像から、該Ｎ枚の視差画像を画像空間的に多重化した１枚の多重化画像を生成する立体画像前処理部と、該立体画像前処理部により生成された多重化画像を圧縮する画像圧縮部とを備えることを特徴とする立体画像圧縮装置。
2. 前記立体画像前処理部は、前記多重化画像を、縦方向、横方向、又は、縦及び横方向に並べられた複数のブロックに区分し、該ブロックのそれぞれが前記視差画像又はダミー画像を１つ含む、請求項１に記載の立体画像圧縮装置。
3. 前記多重化画像を、インターレース変換するインターレース変換部を備え、前記画像圧縮部は、前記立体画像処理部により生成された多重化画像、又は、前記インターレース変換部によって変換された多重化画像の何れかを選択して圧縮する、請求項１又は２に記載の立体画像圧縮装置。
4. 立体画像を構成するＮ枚（Ｎ≧２）の視差画像から、該Ｎ枚の視差画像のそれぞれを奇数行又は偶数行の何れかに振り分けて配置して画像空間的に多重化した１枚の多重化画像を生成する立体画像前処理部と、該立体画像前処理部により生成された多重化画像を圧縮する画像圧縮部とを備えることを特徴とする立体画像圧縮装置。
5. Ｎが偶数であり、前記立体画像前処理部は、前記Ｎ枚の視差画像を２枚ずつＮ／２個の組に分け、各組の２枚の視差画像の各行を前記多重化画像の奇数行及び偶数行に区分して配置する、請求項４に記載の立体画像圧縮装置。
6. Ｎが奇数であり、前記立体画像前処理部は、前記Ｎ枚の視差画像を２枚ずつ組み合わせた（Ｎ−１）／２個の組と、残りの１枚の視差画像とダミー画像とを組み合わせた組とに分け、各組の２枚の画像の各行を前記多重化画像の奇数行及び偶数行に区分して配置する、請求項４に記載の立体画像圧縮装置。
7. 前記多重化画像が、縦方向、横方向、又は、縦及び横方向に並べられた複数のブロックに区分され、該ブロックのそれぞれが前記組を１つ含む、請求項５又は６に記載の立体画像圧縮装置。
8. Ｎが奇数であり、前記立体画像前処理部は、前記Ｎ枚の視差画像を２枚ずつ組み合わせた（Ｎ−１）／２個の組と、残りの１枚の視差画像とに分け、各組の２枚の視差画像の各行を前記多重化画像の奇数行及び偶数行に区分して配置し、前記残りの１枚の視差画像を、多重化画像の前記組とは別の部分に配置する、請求項４に記載の立体画像圧縮装置。
9. 前記多重化画像が、縦方向に並べられた複数のブロックに区分され、該ブロックのそれぞれが前記視差画像の組又は前記残りの１つの視差画像を１つ含む、請求項８に記載の立体画像圧縮装置。
10. 前記多重化画像を、インターレース変換するインターレース変換部を備え、前記画像圧縮部は、前記立体画像処理部により生成された多重化画像、又は、前記インターレース変換部によって変換された多重化画像の何れかを選択して圧縮する、請求項４〜９の何れかに記載の立体画像圧縮装置。
11. 立体画像を構成するＮ枚（Ｎ≧２）の視差画像から、該Ｎ枚の視差画像を時間的に多重化して、画像サイズが相互に同じ、２枚以上Ｎ枚以下の時分割画像を生成する立体画像前処理部と、前記時分割画像を圧縮する画像圧縮部とを備えることを特徴とする立体画像圧縮装置。
12. 前記時分割画像のそれぞれは、Ｒ枚（Ｒ≧２）の視差画像、又は、視差画像及びダミー画像の合計としてＲ枚の画像を含む、請求項１１に記載の立体画像圧縮装置。
13. 前記時分割画像が、縦方向、横方向、又は、縦及び横方向に並べられた複数のブロックに区分され、該ブロックのそれぞれが前記視差画像又はダミー画像を１つ含む、請求項１２に記載の立体画像圧縮装置。
14. Ｒが偶数であり、Ｒ枚（Ｒ≧２）の視差画像、又は、視差画像及ダミー画像を含むＲ枚の画像を、２枚ずつＲ／２個の組に分け、各組の２枚の画像の各行を前記時分割画像の奇数行及び偶数行に区分して配置する、請求項１２に記載の立体画像圧縮装置。
15. 前記時分割画像が、縦方向、横方向、又は、縦及び横方向に並べられた複数のブロックに区分され、該ブロックのそれぞれが前記視差画像の組、又は、視差画像とダミー画像の組を１つ含む、請求項１４に記載の立体画像圧縮装置。
16. 前記時分割画像をインターレース変換するインターレース変換部を備え、前記画像圧縮部は、前記立体画像処理部により生成された時分割画像、又は、前記インターレース変換部によって変換された時分割画像の何れかを選択して圧縮する、請求項１１〜１５の何れかに記載の立体画像圧縮装置。
17. 立体画像を構成するＮ枚（Ｎ≧２）の視差画像と、該Ｎ枚の視差画像の内の１枚の画像を列方向にＮ倍した解像度を有する平面画像とを画像空間的に多重化した１枚の多重化画像を生成する立体画像前処理部と、該立体画像前処理部により生成された多重化画像を圧縮する画像圧縮部とを備えることを特徴とする立体画像圧縮装置。
18. 前記立体画像処理部には、前記１枚の画像と前記平面画像との間で重複する画素について、前記１枚の画像及び前記平面画像の何れか一方の入力が省略される、請求項１７に記載の立体画像圧縮装置。
19. 前記多重化画像が、縦方向、横方向、又は、縦及び横方向に並べられた複数のブロックに区分され、該ブロックのそれぞれが前記視差画像、又は、該視差画像と同サイズの前記平面画像の部分画像を含む、請求項１７又は１８に記載の立体画像圧縮装置。
20. 前記多重化画像が、縦方向、又は、横方向に並べられた２つのブロックに区分され、該ブロックの一方が複数のサブブロックに区分され、該サブブロックのそれぞれが前記視差画像、又は視差画像及びダミー画像を含み、前記ブロックの他方が前記平面画像を含む、請求項１７又は１８に記載の立体画像圧縮装置。
21. Ｎ＝２であり、前記多重化画像が、縦方向、又は、横方向に並べられた２つブロックに区分され、該ブロックの一方が前記視差画像を含み、前記ブロックの他方が前記平面画像を含む、請求項１８に記載の立体画像圧縮装置。
22. 前記立体画像前処理部は、前記Ｎ枚の視差画像及びＮ個の前記部分画像を２つずつＮ個の組に分け、各組の２つの画像の各行を前記多重化画像の奇数行及び偶数行に区分して配置する、請求項１７又は１８に記載の立体画像圧縮装置。
23. 前記多重化画像が、縦方向、横方向、又は、縦及び横方向に並べられた複数のブロックに区分され、該ブロックのそれぞれが前記組を１つ含む、請求項２２に記載の立体画像圧縮装置。
24. 前記多重化画像をインターレース変換するインターレース変換部を備え、前記画像圧縮部は、前記立体画像処理部により生成された多重化画像、又は、前記インターレース変換部によって変換された多重化画像の何れかを選択して圧縮する、請求項１７〜２３の何れかに記載の立体画像圧縮装置。
25. 立体画像を構成するＮ枚（Ｎ≧２）の視差画像と、該Ｎ枚の視差画像の内の１枚を列方向にＮ倍した解像度を有する平面画像とを時間的に多重化して、画像サイズが相互に同じ２Ｎ枚以下の時分割画像を生成する立体画像前処理部と、前記時分割画像を圧縮する画像圧縮部を備えることを特徴とする立体画像圧縮装置。
26. 前記立体画像処理部には、前記Ｎ枚の視差画像の内の前記１枚と前記平面画像との間で重複する画素の入力が省略される、請求項２５に記載の立体画像圧縮装置。
27. 前記時分割画像のそれぞれは、視差画像及び前記部分画像の合計として、又は、視差画像、前記部分画像及びダミー画像の合計としてＲ枚の画像を含む、請求項２５又は２６に記載の立体画像圧縮装置。
28. 前記時分割画像を、縦方向、横方向、又は、縦及び横方向に並べられた複数のブロックに区分し、該ブロックのそれぞれが前記視差画像、前記部分画像、又は、ダミー画像を１枚含む、請求項２５又は２６に記載の立体画像圧縮装置。
29. Ｒが偶数であり、視差画像及び前記部分画像の合計としてのＲ枚の画像、又は、視差画像、前記部分画像及びダミー画像の合計としてのＲ枚の画像を、２枚ずつＲ／２個の組に分け、各組の２枚の画像を前記時分割画像の奇数行及び偶数行に区分して配置する、請求項２８に記載の立体画像圧縮装置。
30. 前記時分割画像を、縦方向、横方向、又は、縦及び横方向に並べられた複数のブロックに区分し、該ブロックのそれぞれが前記組を１つ含む、請求項２９に記載の立体画像圧縮装置。
31. 前記時分割画像を、インターレース変換するインターレース変換部を備え、前記画像圧縮部は、前記立体画像処理部により生成された時分割画像、又は、前記インターレース変換部によって変換された時分割画像の何れかを選択して圧縮する、請求項２５〜３０の何れかに記載の立体画像圧縮装置。
32. １〜Ｎ眼ディスプレイ（Ｎ≧２）の全てに表示するために必要な全ての視差画像を画像空間的に多重化した多重化画像を生成する体画像前処理部と、該立体画像前処理部により生成された多重化画像を圧縮する画像圧縮部とを備えることを特徴とする立体画像圧縮装置。
33. １〜Ｎ眼ディスプレイ（Ｎ≧２）の全てに表示するために必要な全ての視差画像を時間的に多重化して、画像サイズが相互に同じＮ枚以下の時分割画像を生成する立体画像前処理部と、前記時分割画像を圧縮する画像圧縮部とを備えることを特徴とする立体画像圧縮装置。
34. ｋを３以上の整数Ｎの任意の約数とするとき、全てのｋに対して、ｋ眼ディスプレイに表示するために必要な全ての視差画像を画像空間的に多重化した多重化画像を生成する立体画像前処理部と、該立体画像前処理部により生成された多重化画像を圧縮する画像圧縮部とを備えることを特徴とする立体画像圧縮装置。
35. 立体画像前処理部には、ｉ及びｊ（ｉ≠ｊ）をｋに含まれる任意の数として、ｉ眼ディスプレイに表示する画像とｊ眼ディスプレイに表示する画像とで重複する重複画素について、前記ｉ眼ディスプレイに表示する画像とｊ眼ディスプレイに表示する画像の何れか一方の入力が省略される、請求項３４に記載の立体画像圧縮装置。
36. ｋ眼ディスプレイに表示する１〜ｋ視点画像に含まれる第ｑ視点画像（１≦ｑ≦ｋ）を構成するｘ＝ｋｐ＋ｑ（ｐは０から（画像の列数／ｑ）−１までの整数）番目の画素について、ｋ’をＮの約数であってｑ≦ｋ’＜ｋを満たす数とするとき、全てのｋ’に対して、ｐ’＝ｋｐ／ｋ’を計算し、ｐ’が整数となるようなｋ’が少なくとも一つ存在するならば、ｋ眼ディスプレイに表示するｘ番目の画素を前記重複画素とする、請求項３５に記載の立体画像圧縮装置。
37. 前記立体画像前処理部は、Ｎ眼ディスプレイに表示する視差画像の大きさを単位として各視差画像を１つ以上の画像グループに区分し、該画像グループを単位として前記視差画像を多重化する、請求項３５又は３６に記載の立体画像圧縮装置。
38. 前記画像グループは、入力された各視差画像から、元の視差画像のＮ列おきに取り出した画素によって形成される、請求項３７に記載の立体画像圧縮装置。
39. 全ての視差画像についての画像グループの総数Ｍが偶数であり、前記立体画像前処理部は、前記Ｍ個の画像グループを２個ずつＭ／２個の組に分け、各組の２個の画像グループの各行を前記多重化画像の奇数行及び偶数行に区分して配置する、請求項３７又は３８に記載の立体画像圧縮装置。
40. 全ての視差画像についての画像グループの総数Ｍが奇数であり、前記立体画像前処理部は、前記Ｍ個の画像グループを２個ずつ組み合わせた（Ｍ−１）／２個の組と、残りの１個の画像グループとダミーグループとを組み合わせた組とに分け、各組の２個のグループの画像の各行を前記多重化画像の奇数行及び偶数行に区分して配置する、請求項３７又は３８に記載の立体画像圧縮装置。
41. 全ての視差画像についての画像グループの総数Ｍが奇数であり、前記立体画像前処理部は、前記Ｍ個の画像グループを２枚ずつ組み合わせた（Ｍ−１）／２個の組と、残りの１個の画像グループとに分け、各組の２個の画像グループの各行を前記多重化画像の奇数行及び偶数行に区分して配置し、前記残りの１個の画像グループを、多重化画像の前記組とは別の部分に配置する、請求項３７又は３８に記載の立体画像圧縮装置。
42. 前記多重化画像が、縦方向、横方向、又は、縦及び横方向に並べられた複数のブロックに区分され、該ブロックのそれぞれが前記組を１つ含む、請求項３９又は４０に記載の立体画像圧縮装置。
43. 前記多重化画像が、縦方向に並べられた複数のブロックに区分され、該ブロックのそれぞれが前記組又は前記残りの１つの画像グループを１つ含む、請求項４１に記載の立体画像圧縮装置。
44. 前記多重化画像を、インターレース変換するインターレース変換部を備え、前記画像圧縮部は、前記立体画像処理部により生成された多重化画像、又は、前記インターレース変換部によって変換された多重化画像の何れかを選択して圧縮する、請求項３４〜４３の何れかに記載の立体画像圧縮装置。
45. ｋを３以上の整数Ｎの任意の約数とするとき、全てのｋに対して、ｋ眼ディスプレイに表示するために必要な全ての視差画像を時間的に多重化して、画像サイズが相互に同じ複数の時分割画像を生成する立体画像前処理部と、該立体画像前処理部により生成された時分割画像を圧縮する画像圧縮部とを備えることを特徴とする立体画像圧縮装置。
46. 立体画像前処理部には、ｉ及びｊ（ｉ≠ｊ）をｋに含まれる任意の数として、ｉ眼ディスプレイに表示する画像とｊ眼ディスプレイに表示する画像とで重複する重複画素について、前記ｉ眼ディスプレイに表示する画像とｊ眼ディスプレイに表示する画像の何れか一方の入力が省略される、請求項４５に記載の立体画像圧縮装置。
47. 前記立体画像前処理部は、Ｎ眼ディスプレイに表示する視差画像の大きさを単位として各視差画像を１つ以上の画像グループに区分し、該画像グループを単位として前記視差画像を多重化する、請求項４６に記載の立体画像圧縮装置。
48. 前記画像グループは、入力された各視差画像から、元の視差画像のＮ列おきに取り出した画素によって形成される、請求項４７に記載の立体画像圧縮装置。
49. 全ての視差画像についての画像グループの総数をＭとすると、前記時分割画像は、それぞれＲ個（Ｒ≧２）の画像グループ、又は、前記画像グループ及びダミーグループの合計としてＲ個のグループを含む、請求項４７又は４８に記載の立体画像圧縮装置。
50. Ｍが偶数であり、Ｍ個の画像グループを２個ずつＭ／２個の組に分け、各組の２個の画像グループの画像の各行を前記時分割画像の奇数行及び偶数行に区分して配置する、請求項４９に記載の立体画像圧縮装置。
51. Ｍが奇数であり、Ｍ個の画像グループ及び１つのダミーグループを２個ずつ（Ｍ＋１）／２個の組に分け、各組の２個のグループの画像の各行を前記時分割画像の奇数行及び偶数行に区分して配置する、請求項４９に記載の立体画像圧縮装置。
52. 請求項１〜１０の何れかに記載の立体画像圧縮装置で圧縮された多重化画像を伸長する画像伸長部と、該画像伸長部により伸長された多重化画像から、Ｎ枚の視差画像を分離する立体画像後処理部とを備えることを特徴とする立体画像伸長装置。
53. 請求項１１〜１６の何れかに記載の立体画像圧縮装置で圧縮された時分割画像を伸長する画像伸長部と、該画像伸長部により伸長された時分割画像から、Ｎ枚の視差画像を分離する立体画像後処理部とを備えることを特徴とする立体画像伸長装置。
54. 請求項１７〜２４の何れかに記載の立体画像圧縮装置で圧縮された多重化画像を伸長する画像伸長部と、
    前期画像伸長部により伸長された多重化画像から、Ｎ枚の視差画像と、該Ｎ枚の視差画像の内の１枚の画像を列方向にＮ倍した解像度を有する平面画像とを分離する立体画像後処理部と
    を備えることを特徴とする立体画像伸長装置。
55. 請求項２５〜３１の何れかに記載の立体画像圧縮装置で圧縮された時分割画像を伸長する画像伸長部と、
    画像伸長部により伸長された時分割画像から、Ｎ枚の視差画像と、該Ｎ枚の視差画像の内の１枚の画像を列方向にＮ倍した解像度を有する平面画像とを分離する立体画像後処理部と
    を備えることを特徴とする立体画像伸長装置。
56. 請求項３２に記載の立体画像圧縮装置で圧縮された多重化画像を伸長する画像伸長部と、該画像伸長部により伸長された多重化画像から、１〜Ｎ眼ディスプレイの少なくとも１つのディスプレイに表示するために必要な視差画像を分離する立体画像後処理部とを備えることを特徴とする立体画像伸長装置。
57. 請求項３３に記載の立体画像圧縮装置で圧縮された時分割画像を伸長する画像伸長部と、該画像伸長部により伸長された時分割画像から、１〜Ｎ眼ディスプレイの少なくとも１つのディスプレイに表示するために必要な視差画像を分離する立体画像後処理部とを備えることを特徴とする立体画像伸長装置。
58. 請求項３４〜４４の何れかに記載の立体画像圧縮装置で圧縮された多重化画像を伸長する画像伸長部と、該画像伸長部により伸長された多重化画像から、ｋ眼ディスプレイに表示するために必要な差画像を分離する立体画像後処理部とを備えることを特徴とする立体画像伸長装置。
59. 請求項４５〜５１の何れかに記載の立体画像圧縮装置で圧縮された時分割画像を伸長する画像伸長部と、該画像伸長部により伸長された時分割画像から、ｋ眼ディスプレイに表示するために必要な差画像を分離する立体画像後処理部とを備えることを特徴とする立体画像伸長装置。
60. 前記圧縮された視差画像をストリームとして送信する画像送信部を更に備え、該画像送信部は前記ストリームが立体画像データを含むことを示すフラグを挿入する、請求項１〜１６に記載の立体画像圧縮装置。
61. 前記圧縮された視差画像をストリームとして送信する画像送信部を更に備え、該画像送信部は前記ストリームが立体画像データのみ、立体画像データと平面画像データ、又は、平面画像データのみの何れであるかを示すフラグを挿入する、請求項１７〜３１に記載の立体画像圧縮装置。
62. 前記圧縮された視差画像をストリームとして送信する画像送信部を更に備え、該画像送信部は前記ストリームが時分割画像データ又は多重化画像データの何れであるかを示すフラグを挿入する、請求項１〜５１に記載の立体画像圧縮装置。

Images