JP2002300607A - 符号化装置及び復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 ＩＰ方式を採用したテレビカメラからの出力
画像信号を効率的に圧縮（符号化）し、かつ再生（復号
化）する。 【解決手段】 フレーム間符号化部１１は、入力のイン
テグラルフォトグラフィ信号Ｐ１において現行の表示フ
レームの画像信号、及び現行の表示フレームよりも時間
的に前の表示フレームの画像信号を用いて画像信号間の
相関を利用した符号化を行う。フレーム内符号化部１２
は、現行の表示フレームに閉じた範囲内の画像信号を用
いた符号化を行う。要素画像間符号化部１３は、複数の
要素画像に対応する複数の画像信号を用いて画像信号間
の相関を利用した符号化を行う。符号化選択部１４は、
前記のフレーム間符号化部１１、フレーム内符号化部１
２、要素画像間符号化部１３からそれぞれ出力される符
号化出力のうち、符号化効率が最大のものを選択して、
符号化出力Ｃ１として出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化装置及び復
号化装置に関し、特に、任意の視点から視認することが
できるＩＰ（インテグラルフォトグラフィ）方式を用い
た立体テレビ用の符号化装置及び復号化装置に関する。

【０００２】

【従来の技術】従来、任意の視点から視認することがで
きる立体テレビ用の撮像方式の１つとして、平面上また
は球面上に配列されたレンズ群を用いるＩＰ方式が使用
されている。

【０００３】このＩＰ方式を採用した立体テレビカメラ
からの出力信号は、複数の小さな撮像レンズから得られ
る立体撮像信号が集積されたものであり、故に、その情
報量は通常の平面テレビカメラよりも遙に膨大である。
図８は、従来のＩＰ方式を採用した立体テレビカメラの
撮像原理を示す説明図である。図８に示す従来の立体テ
レビカメラでは、同一平面上に配置された複数のレンズ
（凸レンズ８２ｉはその１つ）から成るレンズ群８２の
後方に、写真フィルム８４を配置し、レンズ群８２の前
方に位置する被写体８１を撮影する。

【０００４】この構成により、写真フィルム８４には、
凸レンズ８２ｉの各々によって撮像された被写体８１の
複数の像（要素画素８３ｉは、その１つ）が結像する。
この写真フィルム８４に結像した複数の像を現像して得
られる画像を、レンズ群８２に対して撮影時と同じ位置
に置き、この状態でレンズ群８２の前方から前記画像を
見ると、立体再生画像を視認することができる。

【０００５】図９および図１０は、従来の実用的なＩＰ
方式立体テレビカメラの構造を示す構成図である。図９
および図１０に示す立体テレビカメラの構造は、図８に
示す撮像原理を具備したテレビカメラの解像度を、立体
画像の動画の撮影が可能なように高めている。まず、撮
像面積を大きく取れ、かつ画素数も極めて多くできる構
成として、１つのウエハ９ｗ上に、写真フィルム８４の
代替品として複数の撮像素子（撮像素子９ｅは、その１
つ）を設置する。また、この撮像素子９ｅを含む複数の
撮像素子における各々の前面に要素レンズ９ｇを配置す
る（要素レンズ９ｇはその１つであり、撮像素子９ｅに
対応している）。なお、各要素レンズ９ｇは、隣り合う
ものが干渉しないように、光学的な遮蔽手段９ｂを設け
ると都合がよい。

【０００６】図９に示すテレビカメラでは、図面を簡略
化するために、撮像素子９ｅで代表される撮像素子及び
要素レンズ９ｇで代表される要素レンズが縦方向にそれ
ぞれ４個、横方向にそれぞれ５個となるように配列され
（５列×４行の配列）、これらの撮像素子に、符号Ｄ１
１〜Ｄ４５で示される計２０個の光学像が形成される構
造が示されているが、実際に実用される立体テレビカメ
ラでは、撮像素子９ｅで代表される撮像素子及び要素レ
ンズ９ｇで代表される要素レンズの個数は、それぞれ千
個乃至二千個にも達する。

【０００７】この撮像素子及び要素レンズの個数は、撮
像される立体画像の動画の解像度に関係し、撮像素子及
び要素レンズの個数が増大すれば、撮像される立体画像
の動画の解像度も増大する。従来の立体テレビカメラ
は、前記の構造を備えているが、実際の画像は、この立
体テレビカメラからの出力信号が伝送系を介して送信さ
れ、さらに、テレビ受信機等の表示装置で表示された
り、ビデオ等の記録装置に記録されたものとなる。

【０００８】ここで、前記レンズ群の各々が撮影して得
られた画像信号（要素画像信号）を、該レンズ群が配置
されている順序にシーケンシャルに並べ、１つの連続し
た信号を形成するようにすれば、既存の一般的な伝送装
置、表示装置、及び記録装置で取り扱う信号と適合した
信号となるので、この場合には、これら既存の一般的な
伝送装置、表示装置、及び記録装置（いずれも、平面テ
レビシステムに対応した装置）向けの信号圧縮・再生装
置（具体的には符号化装置及び復号化装置）を適用する
ことが可能である。

【０００９】

【発明が解決しようとする課題】しかし、前記従来の平
面テレビシステム向けの既存の一般的な伝送装置、表示
装置、及び記録装置向けの信号圧縮・再生装置（符号化
装置及び復号化装置）では、ＩＰ方式を採用したテレビ
カメラに特有の性質を利用してはいないため、得られる
圧縮率には限界が有った。それ故、平面テレビシステム
よりも遙に膨大な情報量を圧縮する必要がある立体テレ
ビシステム向けの信号圧縮装置としては利用することが
できないといった問題点があった。

【００１０】本発明は、以上のような従来の符号化装置
及び復号化装置における問題点に鑑みてなされたもので
あり、ＩＰ方式を採用したテレビカメラからの出力画像
信号を効率的に圧縮（符号化）し、かつ再生（復号化）
することができる符号化装置及び復号化装置を提供する
ことを目的とする。

【００１１】

【課題を解決するための手段】本発明では前記の課題を
解決するために、請求項１記載の符号化装置では、集積
した複数の撮像レンズの各々に結ばれる要素画像を撮像
するテレビカメラから出力されるインテグラルフォトグ
ラフィ信号を入力して符号化を行う符号化装置におい
て、現行の表示フレームの画像信号、及び現行の表示フ
レームよりも時間的に前の表示フレームの画像信号を用
いて前記画像信号間の相関を利用した符号化を行うフレ
ーム間符号化手段と、現行の表示フレームに閉じた範囲
内の画像信号を用いて符号化を行うフレーム内符号化手
段と、複数の要素画像に対応する複数の画像信号を用い
て前記画像信号間の相関を利用した符号化を行う要素画
像間符号化手段と、前記フレーム間符号化手段、フレー
ム内符号化手段、および、要素画像間符号化手段からそ
れぞれ出力される符号化出力のうち、符号化効率が最大
の符号化出力を出力する符号化選択手段とを有する符号
化装置として構成した。

【００１２】このように構成されることにより、符号化
装置は、現行の表示フレームの画像信号、及び現行の表
示フレームよりも時間的に前の表示フレームの画像信号
を用いて前記画像信号間の相関を利用した符号化を行う
フレーム間符号化手段と、現行の表示フレームに閉じた
範囲内の画像信号を用いて符号化を行うフレーム内符号
化手段と、複数の要素画像に対応する複数の画像信号を
用いて前記画像信号間の相関を利用した符号化を行う要
素画像間符号化手段とから各々の符号化出力を得て、こ
れらの符号化出力のうち、符号化効率が最大である符号
化出力を符号化選択手段で選択して出力することができ
るので、ＩＰ信号の特性を考慮し、フレーム単位で実際
に入力されるＩＰ信号の各々について、その特性を活か
した最適な符号化を行うことができるようにしている。

【００１３】また、本発明では前記の課題を解決するた
めに、請求項２記載の符号化装置では、集積した複数の
撮像レンズの各々に結ばれる要素画像を撮像するテレビ
カメラから出力されるインテグラルフォトグラフィ信号
を入力して符号化を行う符号化装置において、現行の表
示フレームの画像信号、及び現行の表示フレームよりも
時間的に前の表示フレームの画像信号を用いて前記画像
信号間の相関を利用した符号化を行うフレーム間符号化
手段と、現行の表示フレームに閉じた範囲内の画像信号
を用いて符号化を行うフレーム内符号化手段と、複数の
要素画像に対応する複数の画像信号を用いて前記画像信
号間の相関を利用した符号化を行う要素画像間符号化手
段と、前記入力されたインテグラルフォトグラフィ信号
の内容に応じて、前記フレーム間符号化手段、フレーム
内符号化手段、および要素画像間符号化手段の内いずれ
かを適宜選択し、かつその選択された手段により前記入
力されたインテグラルフォトグラフィ信号の符号化が実
行されるように制御する画像特性解析手段とを有する符
号化装置として構成した。

【００１４】このように構成されることにより、符号化
装置は、現行の表示フレームの画像信号、及び現行の表
示フレームよりも時間的に前の表示フレームの画像信号
を用いて前記画像信号間の相関を利用した符号化を行う
フレーム間符号化手段と、現行の表示フレームに閉じた
範囲内の画像信号を用いて符号化を行うフレーム内符号
化手段と、複数の要素画像に対応する複数の画像信号を
用いて前記画像信号間の相関を利用した符号化を行う要
素画像間符号化手段とを、画像特性解析手段により、入
力されたインテグラルフォトグラフィ信号の特徴に応じ
て適宜選択し、実行させることができるので、ＩＰ信号
の特性に適宜対応した最適な符号化を行うことができ
る。

【００１５】また、前記符号化装置において、前記画像
特性解析手段は、前記入力されたインテグラルフォトグ
ラフィ信号の内容としての特性が、静止画像、動画像、
シーンチェンジ指令付きのいずれであるかを検証して対
応するように構成したので、ＩＰ信号の特性を考慮し、
フレーム単位で実際に入力されるＩＰ信号の各々につい
て、画像の内容にまで適宜立ち入って得られる特徴を活
用した最適な符号化を行うことができる。

【００１６】なお、前記符号化装置において、前記画像
特性解析手段は、前記入力されたインテグラルフォトグ
ラフィ信号が静止画像の信号である場合に、前記フレー
ム間符号化手段により、前記入力されたインテグラルフ
ォトグラフィ信号の符号化が実行されるように構成して
もよい。このように構成されることにより、前フレーム
との相関が高い静止画像に対して、確実に、前フレーム
との相関を利用した符号化を適用することができる。

【００１７】また、前記符号化装置において、前記画像
特性解析手段は、前記入力されたインテグラルフォトグ
ラフィ信号が動画像の信号である場合には、前記フレー
ム内符号化手段と、動き補正を行った後で適用される前
記フレーム間符号化手段と、現行の画像に対応する他の
要素画像を探索した後で適用される前記要素画像間符号
化手段とにより、前記入力されたインテグラルフォトグ
ラフィ信号の符号化がそれぞれ実行されるように制御す
ると共に、前記フレーム間符号化手段により、フレーム
内符号化手段、要素画像間符号化手段からそれぞれ出力
される符号化出力のうち、符号化効率が最大の符号化出
力が出力されるように構成した。このように構成される
ことにより、複雑に変化する動画像に対して、複数通り
の符号化法を適用させ、結果として最適の符号化法によ
る符号化出力を得ることができる。

【００１８】さらに、前記符号化装置において、前記画
像特性解析手段は、前記入力されたインテグラルフォト
グラフィ信号がシーンチェンジ指令付きの信号である場
合には、シーンをチェンジすると共に、現行の画像にオ
クルージョンが存在しない場合には前記要素画像間符号
化手段により、また、オクルージョンが存在し、かつ現
行の画像に対応する他の要素画像が存在しない場合には
前記フレーム内符号化手段により、さらに、オクルージ
ョンが存在し、かつ現行の画像に対応する他の要素画像
が存在する場合には前記要素画像間符号化手段により、
前記入力されたインテグラルフォトグラフィ信号の符号
化が実行されるように構成した。そのため、シーンチェ
ンジが有ってもオクルージョンが無ければ、要素画像間
の相関を利用した符号化ができるようにし、また、シー
ンチェンジが有ってオクルージョンも有る場合には、現
行画像に対応する要素画像を探索した上で、現行画像と
前記探索された要素画像間との相関を利用した符号化が
できる。

【００１９】また、本発明では前記の課題を解決するた
めに、請求項７記載の復号化装置では、インテグラルフ
ォトグラフィ符号化信号を入力して復号化する復号化装
置において、前記インテグラルフォトグラフィ符号化信
号に適用された符号化手段の種類を検知する符号化解析
手段と、前記符号化解析手段が、フレーム間符号化手段
により符号化されたことを示す信号を検知した場合には
前記フレーム間符号化手段の逆演算法により前記インテ
グラルフォトグラフィ符号化信号をインテグラルフォト
グラフィ信号に変換して出力するフレーム間復号化手段
と、前記符号化解析手段が、フレーム内符号化手段によ
り符号化されたことを示す信号を検知した場合には前記
フレーム内符号化手段の逆演算法により前記インテグラ
ルフォトグラフィ符号化信号をインテグラルフォトグラ
フィ信号に変換して出力するフレーム内復号化手段と、
前記符号化解析手段が、要素画像間符号化手段により符
号化されたことを示す信号を検知した場合には前記要素
画像間符号化手段の逆演算法により前記インテグラルフ
ォトグラフィ符号化信号をインテグラルフォトグラフィ
信号に変換して出力する要素画像間復号化手段とを有す
る復号化装置として構成した。

【００２０】このように構成されることにより、復号化
装置は、前記インテグラルフォトグラフィ符号化信号
が、フレーム間符号化手段により符号化されたものであ
る場合にはフレーム間復号化手段、フレーム内符号化手
段により符号化されたものである場合にはフレーム内復
号化手段、要素画像間符号化手段により符号化されたも
のである場合には要素画像間復号化手段を、それぞれ適
用することができるので、元のインテグラルフォトグラ
フィ信号に適用された符号化手段に対応した最適な復号
化手段を適用することができる。

【００２１】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。 （第１の実施の形態）図１は、本発明における第１の実
施の形態に係る符号化装置の構成を示すブロック図であ
る。

【００２２】本実施の形態に係る符号化装置は、入力さ
れたインテグラルフォトグラフィ（以下、ＩＰという）
信号Ｐ１に対して、フレーム間の符号化を行うフレーム
間符号化部１１（フレーム間符号化手段）と、フレーム
内の通常の符号化を行うフレーム内符号化部１２（フレ
ーム内符号化手段）と、要素画像間の符号化を行う要素
画像間符号化部１３（要素画像間符号化手段）と、最も
符号化効率の高い符号化出力を選択して符号化出力Ｃ１
を出力する符号化選択部１４（符号化選択手段）とを具
備する。図２は、ＩＰ方式を用いた立体テレビシステム
の撮影から表示に至るまでの構成（ＩＰ信号の成り立
ち）を示す説明図である。

【００２３】図２に示す立体テレビシステムでは、被写
体６１の凸レンズ６２を介した像を複眼レンズ６３（光
ファイバを使用）の近辺に結像させる。また、この結像
を、テレビカメラ６４で撮影し、画像信号の出力に変換
した後、液晶パネル６５に表示している。この液晶パネ
ル６５の近傍にも複眼レンズ６６が設けられているの
で、操作者は、この複眼レンズ６６を介した画像によ
り、特殊な眼鏡を掛けることなく、立体画像（回り込み
視認が可能な立体画像）を視認することができる。

【００２４】図２の符号６７は、この複眼レンズ６３
（６６）上に得られる画像の映像拡大図を示す。この映
像拡大図６７からも分かるように、複眼レンズ６３（６
６）が具備する要素レンズの各々には、被写体６１を様
々な角度から撮影した画像の１つが要素画像として写し
出されている。

【００２５】以下、図１および図２を参照して、本実施
の形態に係る符号化装置の機能を説明する。フレーム間
符号化部１１は、ＩＰ信号Ｐ１を入力し、現行の表示フ
レーム（現フレーム）よりも時間的に１フレーム前の画
像信号（あるいは、インターレース表示の時は、１フィ
ールド前の画像信号）を用いて、フレーム間の相関を利
用した符号化を行う。

【００２６】フレーム内符号化部１２は、表示フレーム
（現フレーム）に限定した画像信号の通常の符号化を行
う。要素画像間符号化部１３は、複数の要素画像に対応
する画像信号を用いた符号化を行う。ここで、前記の図
２を参照して、要素画像間符号化の原理を説明する。図
２に示す複眼レンズ６３（６６）の構造からも明らかな
ように、複眼レンズ６３（６６）が具備する要素レンズ
の各々には、被写体６１を様々な角度から撮影した画像
の１つが要素画像として写し出されているので、これら
複数の要素画像間における画像信号の相関は高く、要素
画像間符号化では、この複数の要素画像間における相関
の高さを利用して、複数の要素画像から効率的に符号化
を行うことができる。

【００２７】符号化選択部１４は、フレーム間符号化部
１１、フレーム内符号化部１２、及び要素画像間符号化
部１３からの符号化出力を比較し、最も符号化効率の高
い符号化出力（即ち、最も符号量の少ない符号化出力）
を選択して、符号化出力として出力する。

【００２８】図３は、本発明における第１の実施の形態
に係る符号化装置の動作を示すフローチャートである。
以下、図１，図２を参照しながら、図３に示す本実施の
形態に係る符号化装置の動作を説明する。但し、以下で
は、符号化の処理をステップＳ１１，Ｓ１２，Ｓ１３の
順で説明するが、ステップＳ１１，Ｓ１２，Ｓ１３の処
理の各々は、独立した処理部が起動されて実行されるの
で、ステップＳ１１，Ｓ１２，Ｓ１３の各処理は、それ
ぞれ同時点で実行されるものとする（但し、前記の起動
とは、ここでは、単に、該当処理部に制御の流れを移す
こととし、以下でも同じ意味とする）。

【００２９】図１に示すフレーム間符号化部１１が起動
し、現行の表示すべきフレーム（現フレーム）の１つ前
に位置するフレーム（前フレーム）からの符号化（即
ち、フレーム間符号化）が実行される（ステップＳ１
１）。フレーム内符号化部１２が起動され、現行の表示
すべきフレーム（現フレーム）に閉じた範囲での通常の
符号化（即ち、フレーム内符号化）が実行される（ステ
ップＳ１２）。

【００３０】要素画像間符号化部１３が起動され、複数
の要素画像間における相関の高さを利用した符号化（即
ち、要素画像間符号化）が実行される（ステップＳ１
３）。その後、符号化選択部１４が起動され、最も符号
化効率の高い符号化出力（即ち、最も符号量の少ない符
号化出力）を選択して、符号化出力として出力する処理
（符号化選択処理）が実行される（ステップＳ２１）。
本実施の形態により、ＩＰ信号の特性を考慮し、フレー
ム単位で実際に入力されるＩＰ信号の各々について、そ
の特性を活かした最適な符号化を行うことができる。

【００３１】（第２の実施の形態）図４は、本発明にお
ける第２の実施の形態に係る符号化装置の構成を示すブ
ロック図である。本実施の形態に係る符号化装置は、図
１に示す本発明における第１の実施の形態に係る符号化
装置のフレーム間符号化部１１、フレーム内符号化部１
２、要素画像間符号化部１３の前段に位置する部分に、
最適な符号化部を選択する画像特性解析部２１（画像特
性解析手段）を配置し、かつ符号化選択部１４を消去し
た構成をとる。

【００３２】フレーム間符号化部１１、フレーム内符号
化部１２、要素画像間符号化部１３の機能については、
本発明における第１の実施の形態に係る符号化装置と同
じである。また、ＩＰ方式を用いた立体テレビシステム
の撮影から表示に至るまでの構成（ＩＰ信号の成り立
ち）については、前記の図２に示すとおりである。以
下、本発明における第２の実施の形態に係る符号化装置
の画像特性解析部２１の機能について説明する。

【００３３】画像特性解析部２１は、入力されたＩＰ信
号Ｐ２の特性に応じた符号化を実行する符号化部（即
ち、フレーム間符号化部１１、フレーム内符号化部１
２、要素画像間符号化部１３のいずれか１つ）を選択
し、この選択した符号化部に前記の入力されたＩＰ信号
Ｐ２を引き渡す。

【００３４】図５は、本発明における第２の実施の形態
に係る符号化装置の動作を示すフローチャートである。
以下、図２，図４を参照しながら、図５に示す本実施の
形態に係る符号化装置の動作を説明する。画像特性解析
部２１は、入力されたＩＰ信号Ｐ２を静止画像であると
認識した場合、静止画素を対象とした符号化の準備を行
う（ステップＡ１）。この場合は、現フレームの画像
は、前フレームの画像と同じであることが自明であるの
で、フレーム間符号化部１１が起動されて前フレームよ
りの符号化が行われる（ステップＡ１１）。

【００３５】画像特性解析部２１は、入力されたＩＰ信
号Ｐ２を動画像であると認識した場合、動画素を対象と
した符号化の準備を行う（ステップＢ１）。この場合
は、現フレーム内の符号化（ステップＢ１１）と、動き
補正を行った上での前フレームでの符号化（ステップＢ
１２）と、対応画素を探索（ステップＢ１３）した後の
要素画像間の符号化（ステップＢ２１）との３種類の符
号化が行われる。以下、前記のステップＢ１１〜ステッ
プＢ１３について、さらに詳細に説明する。

【００３６】前記のステップＢ１１では、フレーム内符
号化部１２が起動されて現フレーム内に閉じた範囲での
通常の符号化が行われる。ステップＢ１２では、フレー
ム間符号化部１１が起動されて前フレームの画像から被
写体の動きが予測され、この予測結果に基づいた符号化
が行われる。ステップＢ１３では、画像特性解析部２１
は、映し出されるべき画像と同じ画像が写っている要素
画像を対応画素探索処理で探し出し、要素画像間符号化
部１３を起動する。この後、要素画像間符号化部１３に
おいて、前記映し出されるべき画像と前記探し出された
要素画像との間での符号化が行われる。

【００３７】ステップＢ１以下での動画素を対象とした
符号化の最終ステップ（ステップＢ３１）において、図
１に示す符号化選択部１４と同様の機能を備えた符号化
選択部（図示は省略）により、最も符号化効率の高い符
号化出力、即ち最も符号量の少ない符号化出力が選択さ
れて出力される。

【００３８】画像特性解析部２１は、入力されたＩＰ信
号Ｐ２に含まれるシーンチェンジ指令を検出した場合、
シーンをチェンジすると共に、シーンチェンジ時に対応
した符号化の準備を行う（ステップＣ１）。周知のよう
に、シーンチェンジはテレビ放送では頻繁に使われる放
送技術であるが、これが行われると、チェンジされて成
る現行フレームと、前フレームとの相関関係は全く無く
なり、従って、この場合はフレーム間符号化部１１によ
るフレーム間符号化は効果を生じない。故に、従来の符
号化装置では、この場合に、フレーム内符号化を行って
いるが、本実施の形態に係る符号化装置では、この場合
でも、要素画像間の符号化を適用できる可能性を有して
いる。

【００３９】前記の可能性を確認するために、画像特性
解析部２１は、まず、前記チェンジされて成る現行フレ
ームの画像内にオクルージョンが存在するか否かを検証
する。ここで、オクルージョンとは、被写体の前方に有
る画像や被写体そのものに付属するエッヂ等の作用によ
り、被写体の画像が隠されてしまう現象のことである。
オクルージョンが有る場合には、被写体を見る方向を変
える、即ち、回り込んで見る方向を変化させることによ
り、その現象を回避できる場合がある。

【００４０】そこで、画像特性解析部２１は、このオク
ルージョンが検出された場合には、まず、被写体の画像
の近傍の要素画像を探索し、被写体の画像と同じ画像が
写っている要素画像（対応画像）を探索する（ステップ
Ｃ２１）。次に、前記探索により、この対応画像が存在
する時には、画像特性解析部２１は、要素画像間符号化
部１３を起動する。この後、要素画像間符号化部１３に
おいて要素画像間の符号化が行われる（ステップＣ３
２）。また、この対応画像が存在しない時には、画像特
性解析部２１は、フレーム内符号化部１２を起動する。
この後、フレーム内符号化部１２において現行フレーム
内に閉じた範囲での通常の符号化が行われる（ステップ
Ｃ３１）。

【００４１】一方、オクルージョンが無い場合には、無
条件で、要素画像間の符号化を適用することができるの
で、画像特性解析部２１は、無条件で要素画像間符号化
部１３を起動する。この後、要素画像間符号化部１３に
おいて要素画像間の符号化が行われる（ステップＣ３
２）。

【００４２】本実施の形態により、ＩＰ信号の特性を考
慮し、フレーム単位で実際に入力されるＩＰ信号の各々
について、画像の内容にまで立ち入って解析し、その結
果得られる特徴を活用した最適な符号化を行うことがで
きる。

【００４３】（第３の実施の形態）図６は、本発明にお
ける第３の実施の形態に係る復号化装置の構成を示すブ
ロック図である。本実施の形態に係る復号化装置は、入
力されたＩＰ符号化信号により復号化部を選択する符号
化解析部３１（符号化解析手段）と、フレーム間符号化
法により出力された符号化出力を復号化するフレーム間
復号化部３２（フレーム間復号化手段）と、フレーム内
符号化法により出力された符号化出力を復号化するフレ
ーム内復号化部３３（フレーム内復号化手段）と、要素
画像間符号化法により出力された符号化出力を復号化す
る要素画像間復号化部３４（要素画像間復号化手段）と
を具備する。

【００４４】以下、図６を参照して、本実施の形態に係
る復号化装置の機能を説明する。符号化解析部３１は、
入力されたＩＰ符号化信号Ｃ３に含まれる符号化分類信
号を検証する。この符号化分類信号は、前記の入力され
たＩＰ符号化信号が如何なる符号化法により符号化され
た符号化出力であるかを識別する信号であり、具体的に
は３種類の符号化法、即ち、図１，図４で示すフレーム
間符号化部１１で採用される符号化法と、フレーム内符
号化部１２で採用される符号化法と、要素画像間符号化
部１３で採用される符号化法とを識別する信号である。

【００４５】この検証結果により、符号化解析部３１
は、フレーム間復号化部３２、フレーム内復号化部３
３、要素画像間復号化部３４のいずれか１つを選択して
起動すると共に、ＩＰ符号化信号Ｃ３を引き渡す。フレ
ーム間復号化部３２が選択された場合は、フレーム間復
号化部３２は、図１，図４で示すフレーム間符号化部１
１が採用している符号化法の逆演算法により、ＩＰ符号
化信号Ｃ３を復号化出力Ｐ３に変換する。

【００４６】フレーム内復号化部３３が選択された場合
は、フレーム内復号化部３３は、図１，図４で示すフレ
ーム内符号化部１２が採用している符号化法の逆演算法
により、ＩＰ符号化信号Ｃ３を復号化出力Ｐ３に変換す
る。要素画像間復号化部３４が選択された場合は、要素
画像間復号化部３４は、図１，図４で示す要素画像間符
号化部１３が採用している符号化法の逆演算法により、
ＩＰ符号化信号Ｃ３を復号化出力Ｐ３に変換する。

【００４７】図７は、本発明における第３の実施の形態
に係る復号化装置の動作を示すフローチャートである。
以下、図６を参照しながら、図７に示す本実施の形態に
係る復号化装置の動作を説明する。入力されたＩＰ符号
化信号Ｃ３は、符号化解析部３１で解析され、その中に
含まれる符号化分類信号が検証される。符号化解析部３
１は、この検証結果により、フレーム間復号化部３２、
フレーム内復号化部３３、要素画像間復号化部３４のい
ずれか１つを選択して起動すると共に、選択した復号化
部に対してＩＰ符号化信号Ｃ３を引き渡す（ステップＤ
１）。これにより、フレーム間復号化部３２によるフレ
ーム間復号化（ステップＤ１１）、フレーム内復号化部
３３によるフレーム内復号化（ステップＤ１２）、要素
画像間復号化部３４による要素画像間復号化（ステップ
Ｄ１３）が実行される。

【００４８】本実施の形態により、ＩＰ信号の特性を考
慮した最適な符号化法で符号化された符号化出力（ＩＰ
符号化信号）を、高い忠実度で元のＩＰ信号に復号化す
ることができる。

【００４９】なお、図３，図５，図７のフローチャート
で示した処理を実行するプログラムなど、処理装置に前
記の処理を行わせるためのプログラムは、半導体メモリ
を始め、ＣＤ−ＲＯＭや磁気テープなどのコンピュータ
で読み取り可能な記録媒体に格納して配付してもよい。
そして、少なくともマイクロコンピュータ，パーソナル
コンピュータ，汎用コンピュータを範疇に含むコンピュ
ータが、前記の記録媒体から前記プログラムを読み出し
て、実行するものとしてもよい。

【００５０】

【発明の効果】以上に説明したとおり、本発明に係る符
号化装置では、現行の表示フレームの画像信号、及び現
行の表示フレームよりも時間的に前の表示フレームの画
像信号を用いる前記画像信号間の相関を利用した符号化
と、現行の表示フレームに閉じた範囲内の画像信号を用
いる符号化と、複数の要素画像に対応する複数の画像信
号を用いる画像信号間の相関を利用した符号化とを並行
させ、それらの複数の符号化出力から符号化効率が最大
の符号化出力を出力することができるので、ＩＰ信号の
特性を考慮し、フレーム単位で実際に入力されるＩＰ信
号の各々について、その特性を活かした最適な符号化を
行うことができる。

【００５１】また、本発明に係る符号化装置では、現行
の表示フレームの画像信号、及び現行の表示フレームよ
りも時間的に前の表示フレームの画像信号を用いて画像
信号間の相関を利用した符号化と、現行の表示フレーム
に閉じた範囲内の画像信号を用いる符号化と、複数の要
素画像に対応する複数の画像信号を用いる画像信号間の
相関を利用した符号化とを、入力されたＩＰ信号の特徴
に応じて適宜選択的に実行させることができるので、Ｉ
Ｐ信号の特性に適宜対応した最適な符号化を行うことが
できる。

【００５２】また、入力されたＩＰ信号が、静止画像、
動画像、シーンチェンジ指令付きのいずれであるかを検
証し、該検証結果に応じて、前記入力されたＩＰ信号の
符号化を実行するので、ＩＰ信号の特性を考慮し、フレ
ーム単位で実際に入力されるＩＰ信号の各々について、
画像の内容にまで適宜立ち入って得られる特徴を活用し
た最適な符号化を行うことができる。

【００５３】なお、入力されたＩＰ信号が静止画像の信
号である場合には、フレーム間符号化により、前記入力
されたＩＰ信号の符号化を実行するので、前フレームと
の相関が高い静止画像に対して、確実に、前フレームと
の相関を利用した符号化を適用することができる。

【００５４】また、入力されたＩＰ信号が動画像の信号
である場合には、フレーム内符号化と、動き補正を行っ
た上でのフレーム間符号化と、現行の画像に対応する他
の要素画像を探索した上での要素画像間符号化とを並行
させ、それら複数の符号化出力から符号化効率が最大の
符号化出力を出力するので、複雑に変化する動画像に対
して、複数通りの符号化法を適用させ、結果として最適
の符号化法による符号化出力を得ることができる。

【００５５】さらに、入力されたＩＰ信号がシーンチェ
ンジ指令付きの信号である場合、さらに現行の画像にオ
クルージョンが存在しない場合には要素画像間符号化、
オクルージョンが存在し、かつ現行の画像に対応する他
の要素画像が存在しない場合にはフレーム内符号化、オ
クルージョンが存在し、かつ現行の画像に対応する他の
要素画像が存在する場合には要素画像間符号化が適用で
きるようにしたので、シーンチェンジが有ってもオクル
ージョンが無ければ、要素画像間の相関を利用した符号
化、さらに、シーンチェンジが有ってもオクルージョン
も有る場合には、現行画像に対応する要素画像を探索し
た上での現行画像と前記探索された要素画像間との相関
を利用した符号化ができるようにしている。

【００５６】また、本発明に係る符号化装置では、ＩＰ
符号化信号にフレーム間符号化手段により符号化された
ことを示す信号が含まれる場合にはフレーム間符号化手
段の逆演算法により前記ＩＰ符号化信号をＩＰ信号に変
換して出力する。そして、ＩＰ符号化信号にフレーム内
符号化手段により符号化されたことを示す信号が含まれ
る場合にはフレーム内符号化手段の逆演算法によりＩＰ
符号化信号をＩＰ信号に変換して出力する。さらに、Ｉ
Ｐ符号化信号に要素画像間符号化手段により符号化され
たことを示す信号が含まれる場合には要素画像間符号化
手段の逆演算法によりＩＰ符号化信号をＩＰ信号に変換
して出力する。そのため、元のインテグラルフォトグラ
フィ信号に適用された符号化手段に対応した最適な復号
化手段を適用することができる。

【図面の簡単な説明】

【図１】本発明おける第１の実施の形態に係る符号化装
置の構成を示すブロック図である。

【図２】本発明におけるＩＰ方式を用いた立体テレビシ
ステムの撮影から表示に至るまでの構成（ＩＰ信号の成
り立ち）を示す説明図である。

【図３】本発明おける第１の実施の形態に係る符号化装
置の動作を示すフローチャートである。

【図４】本発明おける第２の実施の形態に係る符号化装
置の構成を示すブロック図である。

【図５】本発明おける第２の実施の形態に係る符号化装
置の動作を示すフローチャートである。

【図６】本発明おける第３の実施の形態に係る復号化装
置の構成を示すブロック図である。

【図７】本発明おける第３の実施の形態に係る復号化装
置の動作を示すフローチャートである。

【図８】従来のＩＰ方式立体テレビカメラの撮像原理を
示す説明図である。

【図９】従来の実用的な立体テレビカメラの構造を示す
構成図である。

【図１０】従来の実用的なＩＰ方式立体テレビカメラの
構造を示す他の構成図である。

【符号の説明】

１１……フレーム間符号化部、 １２……フレーム内符号化部、 １３……要素画像間符号化部、 １４……符号化選択部、 ２１……画像特性解析部、 ３１……符号化解析部、 ３２……フレーム間復号化部、 ３３……フレーム内復号化部、 ３４……要素画像間復号化部、 Ｃ１，Ｃ２……符号化出力 Ｃ３……ＩＰ符号化信号 Ｐ１、Ｐ２……ＩＰ信号 Ｐ３……復号化出力

───────────────────────────────────────────────────── フロントページの続き (72)発明者 三科 智之 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 小林 真樹 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 岡野 文男 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5C022 AA00 CA02 5C059 KK00 MA04 MA05 NN01 NN43 PP01 PP04 PP13 SS06 SS11 TA17 TA22 TA23 TB04 TC18 TD02 TD11 UA02 UA05 5C061 AA06 AA20 AB03 AB06 AB10 AB17

Claims (7)

【特許請求の範囲】
1. 【請求項１】 集積した複数の撮像レンズの各々に結ば
   れる要素画像を撮像するテレビカメラから出力されるイ
   ンテグラルフォトグラフィ信号を入力して符号化を行う
   符号化装置において、 現行の表示フレームの画像信号、及び現行の表示フレー
   ムよりも時間的に前の表示フレームの画像信号を用いて
   前記画像信号間の相関を利用した符号化を行うフレーム
   間符号化手段と、 現行の表示フレームに閉じた範囲内の画像信号を用いて
   符号化を行うフレーム内符号化手段と、 複数の要素画像に対応する複数の画像信号を用いて前記
   画像信号間の相関を利用した符号化を行う要素画像間符
   号化手段と、 前記フレーム間符号化手段、前記フレーム内符号化手
   段、および、前記要素画像間符号化手段からそれぞれ出
   力される符号化出力のうち、符号化効率が最大の符号化
   出力を出力する符号化選択手段と、 を有することを特徴とする符号化装置。
2. 【請求項２】 集積した複数の撮像レンズの各々に結ば
   れる要素画像を撮像するテレビカメラから出力されるイ
   ンテグラルフォトグラフィ信号を入力して符号化を行う
   符号化装置において、 現行の表示フレームの画像信号、及び現行の表示フレー
   ムよりも時間的に前の表示フレームの画像信号を用いて
   前記画像信号間の相関を利用した符号化を行うフレーム
   間符号化手段と、 現行の表示フレームに閉じた範囲内の画像信号を用いて
   符号化を行うフレーム内符号化手段と、 複数の要素画像に対応する複数の画像信号を用いて前記
   画像信号間の相関を利用した符号化を行う要素画像間符
   号化手段と、 前記入力されたインテグラルフォトグラフィ信号の内容
   に応じて、前記フレーム間符号化手段、前記フレーム内
   符号化手段、および、要素画像間符号化手段の内いずれ
   かを適宜選択し、かつ該選択された手段により前記入力
   されたインテグラルフォトグラフィ信号の符号化が実行
   されるように制御する画像特性解析手段と、を有するこ
   とを特徴とする符号化装置。
3. 【請求項３】 前記画像特性解析手段は、前記入力され
   たインテグラルフォトグラフィ信号の内容としてその特
   性が、静止画像、動画像、シーンチェンジ指令付きのい
   ずれであるかを検証し、その検証結果に応じて、前記フ
   レーム間符号化手段、前記フレーム内符号化手段、およ
   び、要素画像間符号化手段の内いずかを適宜選択し、か
   つ該選択された手段により前記入力されたインテグラル
   フォトグラフィ信号の符号化が実行されるように制御す
   ることを特徴とする請求項２記載の符号化装置。
4. 【請求項４】 前記画像特性解析手段は、前記入力され
   たインテグラルフォトグラフィ信号が静止画像の信号で
   ある場合には、前記フレーム間符号化手段により、前記
   入力されたインテグラルフォトグラフィ信号の符号化が
   実行されるように制御することを特徴とする請求項２ま
   たは請求項３に記載の符号化装置。
5. 【請求項５】 前記画像特性解析手段は、前記入力され
   たインテグラルフォトグラフィ信号が動画像の信号であ
   る場合には、前記フレーム内符号化手段と、動き補正を
   行った後で適用される前記フレーム間符号化手段と、現
   行の画像に対応する他の要素画像を探索した後で適用さ
   れる前記要素画像間符号化手段とにより、前記入力され
   たインテグラルフォトグラフィ信号の符号化がそれぞれ
   実行されるように制御すると共に、前記フレーム間符号
   化手段、フレーム内符号化手段、および要素画像間符号
   化手段からそれぞれ出力される符号化出力のうち、符号
   化効率が最大の符号化出力が出力されるように制御する
   ことを特徴とする請求項２または請求項３に記載の符号
   化装置。
6. 【請求項６】 前記画像特性解析手段は、前記入力され
   たインテグラルフォトグラフィ信号がシーンチェンジ指
   令付きの信号である場合には、シーンをチェンジすると
   共に、現行の画像にオクルージョンが存在しない場合に
   は前記要素画像間符号化手段により、 オクルージョンが存在し、かつ現行の画像に対応する他
   の要素画像が存在しない場合には前記フレーム内符号化
   手段により、 オクルージョンが存在し、かつ現行の画像に対応する他
   の要素画像が存在する場合には前記要素画像間符号化手
   段により、 前記入力されたインテグラルフォトグラフィ信号の符号
   化が実行されるように制御することを特徴とする請求項
   ３記載の符号化装置。
7. 【請求項７】 インテグラルフォトグラフィ符号化信号
   を入力して復号化する復号化装置において、 前記インテグラルフォトグラフィ符号化信号に適用され
   た符号化手段の種類を検知する符号化解析手段と、 前記符号化解析手段が、フレーム間符号化手段により符
   号化されたことを示す信号を検知した場合には前記フレ
   ーム間符号化手段の逆演算法により前記インテグラルフ
   ォトグラフィ符号化信号をインテグラルフォトグラフィ
   信号に変換して出力するフレーム間復号化手段と、 前記符号化解析手段が、フレーム内符号化手段により符
   号化されたことを示す信号を検知した場合には前記フレ
   ーム内符号化手段の逆演算法により前記インテグラルフ
   ォトグラフィ符号化信号をインテグラルフォトグラフィ
   信号に変換して出力するフレーム内復号化手段と、 前記符号化解析手段が、要素画像間符号化手段により符
   号化されたことを示す信号を検知した場合には前記要素
   画像間符号化手段の逆演算法により前記インテグラルフ
   ォトグラフィ符号化信号をインテグラルフォトグラフィ
   信号に変換して出力する要素画像間復号化手段と、 を有することを特徴とする復号化装置。