JP2001069530A

JP2001069530A - 立体映像高能率符号化装置

Info

Publication number: JP2001069530A
Application number: JP2000228363A
Authority: JP
Inventors: Makiko Hijima; 真喜子比島; Kiyoshi Sakai; 潔酒井; Kiichi Matsuda; 喜一松田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2000-07-28
Filing date: 2000-07-28
Publication date: 2001-03-16

Abstract

(57)【要約】【課題】本発明は２眼式立体映像を高能率符号化する
立体映像高能率符号化装置に係わり、特に左右眼で得た
画像同士の同期の取り方を改善した立体映像高能率符号
化装置に関するものであり、受信側において左右眼同期
のとれていない画像が再生されないようにして、自然な
立体視を実現することを目的とする。【解決手段】左眼画像信号と右眼画像信号をそれぞれ
左眼用符号器４１と右眼用符号器４２で高能率符号化す
る立体映像高能率符号化装置の送信装置において、左眼
用符号器４１と右眼用符号器４２の間でクロック同期ま
たは垂直同期をとるようにしたものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は２眼式立体映像を高能率
符号化する立体映像高能率符号化装置に係わり、特に左
右眼で得た画像同士の同期の取り方を改善した立体映像
高能率符号化装置に関するものである。

【０００２】立体映像高能率符号化装置は、画像情報に
用いることができる情報量が制限される遠隔制御マニピ
ュレーションや立体テレビ会議、立体テレビ放送などに
用いられており、２眼式カメラで取得した膨大な量の画
像情報を高能率符号化してその情報量を圧縮し、画像情
報の伝送や記録を容易にするものである。

【０００３】

【従来の技術】図１５には従来の立体映像高能率符号化
装置が示される。図中、301L、301Rはそれぞれ左眼用、
右眼用のカメラである。この２台のカメラ301L、301Rは
お互い同士で同期を取って画像情報を得ている。したが
って同時刻におけるカメラ301L、301Rからの出力が同時
に送信側の高能率符号化装置であるコーデック( ＣＯＤ
ＥＣ) 302L,302R へそれぞれ入力される。このカメラ30
1L,301R からは画像信号の外に同期信号もコーデック30
2L,302R に送られ、この同期信号を基準にしてコーデッ
ク内での垂直同期信号 (Ｖ同期信号) を発生させる。コ
ーデック302L,302R の内部では画像情報を高能率符号化
した後に、符号化結果をバッファを通して伝送路へ送出
する。

【０００４】送信側のコーデックから伝送路には、画像
の符号化情報、画質を示す量子化情報、Ｖ同期情報、テ
ンポラルリファレンス (ＴＲ) と呼ばれるフレーム番号
情報、その他の情報が送られる。ここで, テンポラルリ
ファレンスについて説明しておくと、テンポラルリファ
レンスは動画像符号化における符号化したフレームのフ
レーム番号であり、符号化情報を伝送路に伝送する際に
ヘッダと共に伝送されるものである。テンポラルリファ
レンスは例えば、ＣＣＩＴＴＨ. ２６１コーデックの
場合、５ビットからなるカウンタに似ている。全フレー
ム伝送を行った場合、０〜３１の番号がサイクリックに
出現する。つまり０, １, ２・・・３０, ３１, ０, １
・・・のようにフレーム番号が繰り返される。コマ落と
しをするなどして全フレームの伝送を行わなかった場合
には、伝送を行わなかったフレームの枚数だけ番号も飛
ぶことになる。例えば3 フレームに１フレームだけ符号
化した場合には、０, ３, ６, ９・・・のようなテンポ
ラルリファレンスとなる。

【０００５】受信では、伝送路から伝送されてきた符号
化データをバッファを通してからコーデック303L,303R
でそれぞれ受け取って復号する。この際、Ｖ同期信号は
伝送路から送られてきたものを用いる。それぞれの復号
結果 (再生画) はＶ同期信号と共に多重化装置304 に入
力され、左眼情報と右眼情報は同期をとってそれぞれフ
ィールド多重化されて表示装置305 に映し出される。多
重化の際、多くの場合はコーデック303L、303Rのどちら
かの同期信号を基準としてそれに残りのコーデックの同
期信号を合わせて同期をとる方法がとられる。表示装置
305 には液晶シャッタなどで左眼と右眼の画像をフレー
ム毎 (あるいはフィールド毎) に交互に観察者に提供で
きる装置が付けられる。観察者はこの表示装置305 に映
し出された画像を偏向メガネ306 などを用いて見ること
で立体視による映像を得る。

【０００６】図１６には、送信側においてカメラ301L,
301Rと送信側コーデック302L, 302Rの間にバッファ (フ
レームメモリ)307L, 307R を配置し、また受信側におい
て受信側コーデック303L, 303Rと多重化装置304 の間に
バッファ (フレームメモリ)307L, 307Rを配置した構成
の従来の立体映像高能率符号化装置が示される。このよ
うにバッファメモリを付加した装置では、カメラ側から
の画像信号からのＶ同期信号を送信側コーデックで使用
することができなくなるので、送信側コーデック内部に
おいてＶ同期信号を独自に作成している。

【０００７】

【発明が解決しようとする課題】従来の立体映像高能率
符号化装置では、左右眼の画像の同期は、送信側におい
てカメラ301Lと301R同士で同期をとり、また受信側にお
いて多重化装置304 において同期をとっているのみであ
り、送信側における左右のコーデック302Lと302R同士、
および受信側における左右のコーデック303Lと303R同士
では左右眼の同期をとっていない。このように同期が必
ずしも万全でないため、図１７に示されるように左右眼
のＶ同期信号の位相がずれ、送信側のカメラ301L、301R
により同時刻で撮った左右眼の画像が受信側の表示装置
305 に表示される際に両者間に時間的なずれが生じてし
まうことがあり、観察者に時間的にずれた左右眼の画像
を見せてしまい、立体視が正常に行えなくなる。

【０００８】なお、送信側のコーデックで符号化を行う
際、符号化のパラメータ (例えば量子化器における量子
化ステップサイズ、コマ落としをした場合の符号化する
フレーム番号など) を適応的に変えるが、左右のコーデ
ック302L、302Rはそれぞれ独自にこの符号化パラメータ
の選択をしているので、左右カメラでの撮影対象の見え
方によっては、左右のコーデック302L、302Rで選択する
符号化パラメータが異なってしまうことがある。例えば
量子化ステップサイズが異なった場合には左右眼で画質
が異なった画像が表示装置305 に表示され、きれいな立
体視画像が表示されない。またコマ落としによるフレー
ム番号が異なると受信側で表示される画像が左右眼で時
間がずれることになり、立体視が正常に行えない。

【０００９】このように、送信側コーデックと受信側コ
ーデックの出力側の左右眼同期をとることができない
と、観察者に左右が時間的に同一でない画像を見せてし
まい、立体視に対する障害となる

【００１０】本発明は上述の問題点に鑑みてなされたも
のであり、その目的とするところは、受信側において左
右眼同期がとれていまい画像が再生されないようにし
て、自然な立体視を実現することにある。

【００１１】

【課題を解決するための手段】図１、図２は本発明に係
る原理説明図である。図１はカメラと符号器間にフレー
ムメモリを挿入しない場合のもの、図２はフレームメモ
リを挿入した場合のものである。本発明に係る立体映像
高能率符号化装置の送信装置は、左眼画像信号と右眼画
像信号をそれぞれ左眼用符号器４１と右眼用符号器４２
で高能率符号化する立体映像高能率符号化装置の送信装
置において、左眼用符号器４１と右眼用符号器４２の間
でクロック同期または垂直同期をとるようにしたもので
ある。

【００１２】また本発明にかかる立体映像高能率符号化
装置の受信装置は、高能率符号化された左眼画像符号化
信号と右眼画像符号化信号とを受信してそれぞれ左眼用
復号器４３と右眼用復号器４４で復号する立体映像高能
率符号化装置の受信装置において、左眼用符号器４３と
右眼用符号器間４４で垂直同期をとるようにしたもので
ある。

【００１３】

【作用】左眼用符号器４１と右眼用符号器４２の間でク
ロック同期または垂直同期をとるようにして、送信側の
符号器における両眼の画像信号間の遅延を無くし、受信
側において左右が時間的に一致した画像を呈示し、自然
な立体視を実現する。

【００１４】また受信側においては、左眼用符号器４３
と右眼用符号器間４４で垂直同期をとるようにして、左
右の画像間の時間的なズレを無くし、自然な立体視を実
現する。

【００１５】

【実施例】以下、図面を参照して本発明の実施例を説明
する。なお、以下の各図を通じて同じ参照番号が付され
た回路は同じ機能の回路を表すものとする。

【００１６】まず初めに、本発明に関連する技術として
の立体映像高能率符号化装置の送信装置が図３に示さ
れ、また受信装置が図６に示される。図３において、１
Ｌは左眼用のコーデック、１Ｒは右眼用のコーデックで
ある。この実施例では左眼用のコーデック1 Ｌを基準と
して同期などの制御を行っている。左眼用のコーデック
１Ｌは発振器101 、クロック発生器102 、ＴＲ発生器10
3 、符号器104 、パラメータ演算制御回路105 、バッフ
ァメモリ106 などを含み構成され、右眼用のコーデック
1 Ｒはクロック発生器107 、ＴＲ発生器108 、パラメー
タ受信制御回路112 、バッファ110 、符号器111 、バッ
ファメモリ114 などを含み構成される。

【００１７】発振器101 は左右のコーデック１Ｌ、１Ｒ
に共通のクロックを発生するための或る周波数を発生す
る。クロック発生器102 、107 は発振器101 の周波数を
用いて左眼側と右眼側のクロックをそれぞれ発生する。
ＴＲ発生器103 と108 はそれぞれ画像情報に含まれるＶ
同期信号とクロック発生器102 、107 のクロックに基づ
いてＶ同期信号に同期した連続的なフレーム番号を発生
する。符号器104 、111 はそれぞれ左眼、右眼の画像情
報の高能率符号化を行う回路である。

【００１８】パラメータ演算制御回路105 は左眼用符号
器104 の符号化パラメータを演算する回路であり、ＴＲ
発生器103 からのフレーム番号、左右のバッファメモリ
106、114 からのバッファ状態情報ＢＬとＢＲ、符号器1
04 の符号結果に基づいて、量子化情報として量子化ス
テップサイズＱ、コマ落とし処理の有無の決定、符号化
するフレームのフレーム番号ＴＲを演算して符号器104
と右眼用コーデック1Ｒのパラメータ受信制御回路112
に与える。ここでコマ落とし制御はバッファメモリ106
、114 の蓄積量に基づいて行うもので、画面の動きが
激しいなどして符号化した画像情報が増大した時にコマ
落としを行って伝送する画像情報を削減する。この実施
例ではコマ落としは可変で行うようにしているが、コマ
落としが一定あるいは全フレーム伝送はコマ落としが可
変である場合の特殊な場合と見なすことができる。

【００１９】パラメータ受信制御回路112 はパラメータ
演算制御回路105 から受信した量子化ステップサイズＱ
とフレーム番号ＴＲ、左右の符号器104 、111 からの符
号化開始Ｙ／Ｎ(YES/NO)情報を受信し、左右の画像情報
でフレーム番号が合うようにタイミングを整えて左眼側
から受け取った符号化パラメータ (量子化ステップサイ
ズＱとフレーム番号ＴＲ) を符号器111 に渡す。バッフ
ァ110 は左眼側に比べて右眼側の画像情報が遅れている
時にその画像情報を一時的に蓄積してタイミングを合わ
せて符号器111 に送るＦＩＦＯメモリであり、パラメー
タ受信制御回路112 からの制御信号ＣＴによって書込み
／読出しが制御される。

【００２０】図４にはパラメータ受信制御回路112 の詳
細な構成例が示される。図示のように、左右の符号器10
4 と111 からの符号化開始Ｙ／Ｎ情報が制御部1121に入
力され、パラメータ演算制御回路105 からの量子化情報
Ｑとフレーム番号ＴＲがＦＩＦＯメモリ1123にそれぞれ
入力されると共にセレクタ1122にも入力される。セレク
タ1122にはＦＩＦＯメモリ1123の出力信号が入力されて
おり、その入力信号の選択は制御部1121からの選択制御
信号で行われる。またＦＩＦＯメモリ1123からはそれら
ＦＩＦＯメモリの蓄積状態を表示するＦＩＦＯエンプテ
ィＹ／Ｎ(YES/NO)情報が制御部1121に送られ、ＦＩＦＯ
メモリへのデータ入力の可否を指示するFIFO-IN 信号が
制御部1121からＦＩＦＯメモリ1123に送られる。

【００２１】図５はこのパラメータ受信制御回路112 に
おける制御部1121の入出力関係を説明するものであり、
制御部1121への入力である符号化開始Ｙ／Ｎ情報、ＦＩ
ＦＯエンプティＹ／Ｎ情報の各状態に応じて各制御信号
が出力される。制御信号としてはＦＩＦＯメモリ1123へ
のパラメータ情報の入力の可否 (Ｙ／Ｎ) を指示するFI
FO-IN 信号、セレクタ1122の選択する入力を指令するセ
レクタ出力選択信号、バッファ110 に対して画像信号を
出力するか待機するかを指示する出力／待ちの制御信号
ＣＴがある。図５のセレタク1122の選択制御信号中、
“FIFO"はセレクタ1122がＦＩＦＯメモリ1123からの出
力を選択して出力することを意味し、“DIRECT"はパラ
メータ演算制御回路105 からの符号化パラメータを直接
選択して出力することを意味し、“DUMMY" は値がない
ためダミーデータを選択して出力することを意味する。

【００２２】図６に示される立体映像高能率符号化装置
の受信側装置は、左眼用のコーデック２Ｌと右眼用のコ
ーデック２Ｒからなる。左眼用のコーデック２Ｌはバッ
ファメモリ201 、復号器202 、Ｖ同期信号生成器203 、
クロック生成器204 、発振器205 などを含み構成され、
右眼用のコーデック２Ｒはバッファメモリ206 、復号器
207 などを含み構成される。

【００２３】ここでＶ同期信号生成器203 はクロック生
成器204 で生成したクロックに基づいて受信側で独自に
(つまり伝送路から受信した画像情報中のＶ同期信号に
基づくのではなく) Ｖ同期信号を生成するものであり、
そのＶ同期信号は左右の復号器202 、207 にそれぞれ供
給されており、これらの復号器202 、207 において左右
の画像情報をＶ同期をとりつつ復号するようにしてい
る。

【００２４】以下に実施例装置の動作を説明する。この
実施例では、送信側においてカメラからの出力とコーデ
ックの間にフレームメモリ( バッファメモリ) を挟んで
いない。この場合、カメラ側で左右眼の画像間の同期を
取っているため同期のズレは通常ほとんど起こらない
が、カメラとコーデック間のケーブルの長さが左右で違
うと、画像情報がコーデックに入力するまでに左右で時
間差が生じ、その時間差のため同期が数画素分程度ずれ
る可能性がある。この対策として左眼のＶ同期信号を基
準にして右眼のＶ同期信号をこれと位相が一致するよう
に補正する方法が考えられるが、この場合でもスキャン
の関係上、数個分の画素が左あるいは右にずれてしま
い、両眼視差を利用した立体視に影響を及ぼしてしま
う。そこで、本実施例の立体映像高能率符号化装置で
は、Ｖ同期信号そのものをコーデックにおいて左右で位
相一致させることはせずに、コーデックで生成するＶ同
期信号はフレーム番号ＴＲと量子化情報Ｑを左右の符号
器で受信するタイミングを合わせることを目的として使
用している。

【００２５】左眼用のコーデック1 Ｌを基準とするた
め、コーデック１Ｌの発振器101 からクロックのもとと
なるある周波数を発生させ、これを右眼用コーデック１
Ｒにも供給する。それぞれのコーデック１Ｌ、１Ｒにお
いては、クロック発生器102 、107 により動作用のクロ
ックを発生させ、さらに、それぞれのコーデック１Ｌ、
１Ｒにおいて各々入力された画像情報のＶ同期信号と生
成したクロックを用いてＶ同期信号に同期した連続した
フレーム番号をＴＲ発生器103 、１０８により生成す
る。

【００２６】左眼用コーデック１Ｌでは、このフレーム
番号をパラメータ演算制御回路105に入力する。パラメ
ータ演算制御回路105 にはバッファメモリ106 と114 の
バッファ状態( バッファに溜まっている情報量あるいは
残量) 情報ＢＬとＢＲおよび符号器104 の符号化結果も
入力されており、パラメータ演算制御回路105 はこれら
の情報に基づいてコマ落としのコマ数や量子化ステップ
サイズの大きさなどを計算し、符号化すべきフレームの
フレーム番号ＴＲと量子化情報Ｑを左眼用符号器104 に
出力すると共に、右眼側のパラメータ受信制御回路112
にも出力する。ここで、コマ落としのコマ数あるいは量
子化情報の計算方法は公知であるので詳細な説明は略す
る。

【００２７】なお、この公知の計算方法はコーデックが
一つの場合のものであって、したがって入力するバッフ
ァ状態は一つであるが、本実施例では２つのバッファ状
態ＢＬ、ＢＲがあるので、これを一つのバッファ状態Ｂ
Ｔにまとめて計算を行うようにする。すなわち、例え
ば、ＢＴ＝ (ＢＬ＋ＢＲ) ／２とする。つまり二つのバ
ッファ状態の平均値をとる. ＢＴ＝ＭＡＸ (ＢＬ、ＢＲ) とする。つまり二つの
バッファ状態のうちバッファの残量 (あるいは情報量)
が大きい方をＢＴとして用いる. ＢＴ＝ＭＩＮ (ＢＬ、ＢＲ) とする。つまり二つの
バッファ状態のうちバッファの残量 (あるいは情報量)
が小さい方をＢＴとして用いる. 左眼側を基準とするようにしＢＬ、ＢＲの大小に係
わらず常にＢＬをＢＴとして用いる. 右眼側を基準とするようにしＢＬ、ＢＲの大小に係
わらず常にＢＲをＢＴとして用いる. などの仕方がある。

【００２８】左眼用の符号器104 はフレーム番号ＴＲや
量子化情報Ｑなどの符号化パラメータを受け取ると、そ
れに基づいてパラメータを設定して、入力された左眼の
画像情報の高能率符号化を行う。符号化結果はバッファ
メモリ106 に送られる。

【００２９】一方、これらのフレーム番号ＴＲや量子化
情報Ｑはパラメータ受信制御回路112 にも入力される。
パラメータ受信制御回路112 は左右眼の同一フレーム番
号の画像情報を同じパラメータを用いて符号化するよう
に、符号器111 に入力される右眼の画像情報のタイミン
グをバッファ110 で調整すると共に、左眼側から得たこ
れらの符号化パラメータを右眼用の符号器111 に渡すタ
イミングを制御する。

【００３０】このパラメータ受信制御回路112 の動作の
詳細を図４、図５を用いて説明する。左右の符号器104
、111 の符号化開始Ｙ／Ｎ情報、フレーム番号ＴＲ、
量子化情報Ｑ、ＦＩＦＯメモリ1123のエンプティＹ／Ｎ
情報が制御部1121に渡される。すると制御部1121はこれ
らの情報に基づいて、図５に従って、ＦＩＦＯメモリ11
23に対する符号化パラメータの入力可否の制御信号、セ
レクタ1122に対する入力選択の制御信号、バッファ110
に対するデータ出力の指示を行う制御信号を生成し、そ
れぞれの回路に出力する。

【００３１】要約していうと、左眼用コーデック１Ｌを
基準としているため、左眼用の符号器104 が符号化開始
していない場合にはＦＩＦＯメモリ1123にはパラメータ
は入力されず、セレクタ1122はダミーの値を選択し出力
する。しかし、右眼用符号器111 が符号化開始状態にな
っていて、かつＦＩＦＯメモリ1123がエンプティでなけ
れば、セレクタ1122はＦＩＦＯメモリ1123からの出力
(符号化パラメータ) を選択して右眼用の符号器111 に
出力し、またバッファ110 から画像信号が出力されるよ
う制御部1121から制御信号を出力する。また左眼用符号
器104 が符号化開始していても、右眼用符号器111 が符
号化開始していない場合には、バッファ110 に画像情報
が溜められるよう制御する。

【００３２】このように符号器111 にパラメータがセッ
トされると、符号器111 はバッファ110 から取り込んだ
画像情報を高能率符号化し、その符号化結果をバッファ
114に送る。

【００３３】受信側においては、伝送路からの符号化画
像情報はバッファメモリ201 、206にそれぞれ入力され
る。この受信側装置では、左眼用コーデック２Ｌで独自
に生成したＶ同期信号を、左眼用の復号器202 と右眼用
の復号器207 にそれぞれ送り、これらのＶ同期信号のタ
イミングでバッファメモリ201 、206 からそれぞれ受信
した符号化画像情報を取り込んで復号を行う。従って左
右眼の画像信号は同期がとれた状態で復号されることと
なり、この復号された再生画像情報はＶ同期がとれた状
態で多重化装置に入力される。

【００３４】なお、上述の実施例では左眼用のコーデッ
クを基準とした場合について述べたが、勿論、右眼用の
コーデックを基準として回路を構成するものであっても
よい。

【００３５】図７には本発明に関連する技術の他の実施
例としての立体映像高能率符号化装置が示される。この
実施例は送信側において基準となるコーデックを、左右
のコーデックの一方を適応的に選択して用いるようにし
たものである。ここでは、適応的に選択する方法とし
て、右眼用と左眼用のコーデックのうち、１フレームの
符号化処理を早く終えた方のコーデックを基準にするも
ので、処理が遅い方に入力される制御信号 (パラメータ
情報) は、そのコーデックにおける１フレーム分の処理
が終わるまで符号器への入力を待つことになる。

【００３６】図７の実施例が前述の図３の実施例と相違
する点は、右眼用のコーデック１Ｌ側にもパラメータ演
算制御回路115 が設けられていて右眼の画像情報に対す
る符号化パラメータの演算を行っており、また左右のパ
ラメータ演算制御回路105 、115 で演算された符号化パ
ラメータ (ＴＲ、Ｑ) は、直接に各符号器104 、111に
渡されるのではなく、パラメータ選択制御回路116 に一
旦入力されてこのパラメータ選択制御回路116 で選択し
た左右の符号化パラメータのうちの一方を左右の符号器
104 、111 に共通に送るようにしていることである。こ
の実施例では右眼用コーデック１Ｒからバッファ110 は
除かれている。なお、受信側装置の構成は前述の実施例
のもの、すなわち図６のものと同じである。

【００３７】図８にはこのパラメータ選択制御回路116
の詳細な構成例が示される。図中、1161はセレクタであ
ってコーデック１Ｌからの符号化パラメータ (ＴＲL 、
ＱL) か右眼コーデック１Ｒからの符号化パラメータ
(ＴＲR 、ＱR ) のうちの一方を選択する。1163、1165
はそれぞれ左眼、右眼用のＦＩＦＯメモリであり、セレ
クタ1161で選択された符号化パラメータを一時的に蓄え
る。1164、1166はそれぞれ左眼、右眼用のセレクタであ
って各々に対応するＦＩＦＯメモリ1163、1165からの出
力信号 (符号化パラメータ) かセレクタ1161からの直接
の符号化パラメータのうちの一方を選択して、それぞれ
対応する左眼、右眼の符号器104 、111 に出力する。11
62は制御部であって、左右の符号器104 、111 からの符
号化開始Ｙ／Ｎ情報とＦＩＦＯメモリ1163、1165からの
エンプティ情報を入力とし、それらに基づいてセレクタ
1161、1164、1166の選択制御信号やＦＩＦＯメモリ116
3、1165へのデータ入力指令を行うFIFO-IN 信号を生成
しそれぞれの回路に出力する。

【００３８】図９にはこのパラメータ選択制御回路116
における制御部1162への入力信号に対するその出力信号
の関係が示されている。各信号の意味は図５で説明した
ものと同じである。また図１０はＦＩＦＯメモリ1163,1
165 からのエンプティ情報に対してセレクタ1161が左右
何れ側のコーデックの符号化パラメータを選択するかの
アルゴリズムを４通りのバリエーションで示すものであ
り、図中、Ｌは左眼側コーデックの符号化パラメータ、
Ｒの右眼側コーデックの符号化パラメータを表す。

【００３９】以下にこの実施例回路の動作を説明する。
発振器101 は両コーデック１Ｌ、１Ｒで基準となるクロ
ック発生のための周波数を発生して両コーデックに信号
を渡す。両コーデック１Ｌ、１Ｒではクロック発生器10
2 、107 で基準クロックを発生し、ＴＲ発生器103 、10
8 はこの基準クロックと画像情報中のＶ同期信号に基づ
いてＶ同期信号に同期した連続フレーム番号をそれぞれ
発生する。

【００４０】パラメータ演算制御回路105 、115 にはそ
れぞれ、ＴＲ発生器103 、108 からのフレーム番号、符
号器104 、111 からの符号化結果、バッファメモリ106
、114 からのバッファ状態ＢＬ、ＢＲが入力されてお
り、これらパラメータ演算制御回路105 、115 では入力
情報をもとに、入力画像情報に対するコマ落とし数 (符
号化するフレーム番号ＴＲ) 、量子化ステップサイズＱ
がそれぞれ計算される。左右のパラメータ演算制御回路
105 、115 で計算されたフレーム番号ＴＲと量子化ステ
ップサイズＱはパラメータ選択制御回路116 に集められ
る。

【００４１】パラメータ選択制御回路116 では、１フレ
ームの符号化処理を早く終えた側のコーデックを選択
し、その側の符号化パラメータを左右の符号器104 、11
1 に共通のパラメータとして送る。このように処理が早
いコーデックに合わせるために処理が遅い側のコーデッ
クに対しては制御情報 (符号化パラメータ) を保持して
おく必要があり、よって制御情報を処理可能となるまで
メモリ1163、1165に溜めておく。

【００４２】このパラメータ選択制御回路116 の動作を
図８〜図１０を用いて更に詳細に述べる。まず、左眼側
コーデック１Ｌからの符号化パラメータ (量子化情報Ｑ
L とフレーム番号ＴＲL ) 、および右眼側コーデック１
Ｒからの符号化パラメータ (量子化情報ＱR とフレーム
番号ＴＲR ) をセレクタ1161に入力する。このセレクタ
1161は制御部1162からの制御により左右何れか一方の符
号化パラメータを選択する。制御部1162には左眼側のＦ
ＩＦＯメモリ1163と右眼側のＦＩＦＯメモリ1165の蓄積
状態を示すエンプティ信号が入力されている。制御部11
62の動作は図９、図１０に示す関係に従う。

【００４３】要約して言えば、ＦＩＦＯメモリ1163、11
65が左右ともにエンプティである、あるいは左右ともに
エンプティでなければ、制御はＤＯＮ’ＴＣＡＲＥと
なるか、セレクタ1161は左右何れかの符号化パラメータ
を選択する。それ以外は左側Ｌがエンプティで右側Ｒが
エンプティでない時には左側Ｌを、右側Ｒがエンプティ
で左側Ｌがエンプティでない時には右側Ｒを選択する。

【００４４】図９の入出力関係は、符号化開始状態か否
か、またＦＩＦＯメモリ1163、1165の蓄積状態に対して
それらにデータ入力するか否か、出力側のセレクタ116
4、1166が選択する入力はどれかなどの関係を示す。要
約すれば、符号器が符号化開始していなければそのパラ
メータとしてダミーの出力を選択し、符号化開始してい
ればＦＩＦＯがエンプティであればＦＩＦＯには入力し
ないで直接出力し、エンプティでなければＦＩＦＯに入
力してＦＩＦＯから出力する。左右の符号器104、111
への出力は同じ内容のものが出力されることになる。

【００４５】このようにパラメータ選択制御回路116 で
左右の符号化パラメータのうちの一方が適応的に選択さ
れて符号器104 、111 に渡される。符号器104 、111 は
それぞれ同じ符号化パラメータを用いて画像情報の符号
化を行い、その符号化結果は可変長符号化されてバッフ
ァメモリ106 、114 に入力され、そこから伝送路に送出
される。

【００４６】この実施例における受信側での動作は前述
の図６のものと同じである。Ｖ同期を処理の速い方ある
いは遅い方に合わせて一定クロックを得るようにしない
処理は難しいから、図６の回路を用いるものである。

【００４７】図１１、図１２には本発明の一実施例とし
ての立体映像高能率符号化装置が示される。図１１は送
信側装置の構成、図１２は受信側装置の構成である。こ
の実施例は送信側において左右のカメラとコーデックの
間にフレームメモリ120 、121 をそれぞれ持つ場合のも
のであり、左眼用のコーデックを基準として処理を行う
構成となっている。このようにフレームメモリ120 、12
1 を挿入したため、Ｖ同期信号をコーデック側で作る必
要がある。よって左眼側のコーデック１Ｌに発振器101
とクロック発生器102 とＶ同期発生器122 を用意し、Ｖ
同期発生器122で作成したＶ同期信号を左右の符号器123
、124 に供給するようにしている。また符号化パラメ
ータを演算するパラメータ演算制御回路126 は基準とな
る左眼側のコーデック１Ｌにだけ設け、そこで計算した
符号化パラメータ (ＴＲ、Ｑ) を左右の符号器104 、11
1 に共通に供給している。

【００４８】受信側では、復号器202 、207 と多重化装
置間にフレームメモリ (ディスプレイバッファとも呼ば
れる) を挿入し、左眼用コーデック２Ｌに発振器205,、
クロック発生器204 、Ｖ同期信号発生器203 を設け、
このＶ同期信号発生器203 からのＶ同期信号を復号器20
2 、207 にそれぞれ供給して左右の画像信号をＶ同期を
とった状態で復号できるようにすると共に、このＶ同期
信号をフレームメモリ210 、211 、多重化装置にも供給
してこれらの回路によってＶ同期をとった状態でフレー
ム多重化を行えるようにしている。

【００４９】以下にこの実施例装置の動作を説明する。
まず送信側の動作を述べる。左眼側のコーデック１Ｌで
独自に生成したＶ同期信号を左右の符号器123 、124 に
供給し、それにより符号器123 、124 は同じタイミング
でフレームメモリ120 、121 から画像情報を読み出して
符号化を行う。したがってＶ同期がとれた状態で符号化
を行え、左右の画像信号間の時間差を小さくできる。ま
た、画質を決める符号化パラメータは左眼側の符号器10
4 のものを計算してそれを基準の符号化パラメータと
し、この符号化パラメータをそのまま右眼側の符号化パ
ラメータとしても用いる。これにより画質が左右眼の画
像間でで統一できる。

【００５０】受信側では、左眼側コーデック２Ｌにおい
て発振器205 をもとに基準クロックを発生させ、それを
用いて更にＶ同期信号を発生させる。発生したＶ同期信
号と基準クロックは右眼側のコーデック２Ｒにも供給さ
れてその復号器207 で復号に際して用いられる。また多
重化装置での多重化の際に左右のコーデック２Ｌ、２Ｒ
からの出力は同期がとれていなければならないから、フ
レームメモリ210 、211 を同じＶ同期信号とクロックで
駆動し、それにより多重化装置に入力される左右の画像
信号をＶ同期状態にしている。

【００５１】図１３には本発明の更に他の実施例が示さ
れる。この図１３は送信側装置を示したもので、カメラ
とコーデック間にフレームメモリを挿入するタイプの送
信側装置を用いて、基準となるコーデックを適応的に選
択するよう構成したものである。受信側装置の構成は図
１２に示すものと同じである。この実施例では、送信側
における左右のコーデック１Ｌ、１Ｒはそれぞれの側で
の符号化パラメータを計算するパラメータ演算制御回路
105 、115 をそれぞれ持っており、これら左右のパラメ
ータ演算制御回路105 、115 で計算した符号化パラメー
タはパラメータ選択制御回路127 にそれぞれ入力され
る。

【００５２】パラメータ選択制御回路127 は両符号化パ
ラメータのうちの一方を所定のアルゴリズムに従って適
応的に選択して、左右の符号器123 、124 に共通の符号
化パラメータとして供給するようにしてある。この所定
のアルゴリズムとしては、パラメータ演算制御回路105 、115 からの符号化パ
ラメータを比較しそのうちのコマ落ち数の少ない方 (あ
るいは大きい方）を選択して共通の符号化パラメータと
して出力する。パラメータ演算制御回路105 、115 からの符号化パ
ラメータを比較し、そのうちの量子化ステップサイズＱ
が小さい方 (あるいは大きい方) を選択して共通の符号
化パラメータとして出力する。フレーム番号ＴＲとして、ＴＲ＝ＩＮＴ (ＴＲL ＋
ＴＲR ) ／２を求める。すなわち加重平均の計算を行っ
てフレーム番号ＴＲを決める。量子化ステップサイズとして、Ｑ＝ＩＮＴ (ＱL ＋
ＱR ) ／２を求める。すなわち加重平均の計算を行って
量子化ステップサイズを決める。の手順でコマ落ち数を選択したら、量子化ステッ
プサイズＱとしてもその選択した側のものを用いる。

【００５３】図１４には以上のアルゴリズムに対応した
処理を行うパラメータ選択制御回路127 の回路構成が示
される。すなわち、の処理は(1) の回路によって、
の処理は(2) の回路によって、の処理は(3) の回路に
よって、の処理は(4）の回路によって、は(5) の回
路によってそれぞれ実現される。

【００５４】以下にこの実施例の動作を説明する。送信
側において、左眼側のコーデック１Ｌで独自に発生した
基準クロックとＶ同期信号を自身の左眼コーデックで使
用すると共に、それを右眼側のコーデック１Ｒにも供給
して符号化に用いる。符号器123 、124 は同じＶ同期信
号を用いてそのタイミングでフレームメモリ120 、121
から画像情報を取り込んで符号化処理をする。よって符
号化処理にＶ同期がとれる。

【００５５】さらに、パラメータ演算制御回路105 、11
5 でそれぞれ求めた符号化パラメータをパラメータ選択
制御回路127 に送り、ここで前述のアルゴリズムに従っ
て適当な符号化パラメータを適応的に選択し、それを左
右の符号器123 、124 に共通の符号化パラメータとして
供給し、その共通パラメータを用いて符号化を行う。よ
って各時刻において符号化の際の画質を統一できる。な
お、受信側の動作は図１２で説明したものと同じであ
る。

【００５６】

【発明の効果】以上に説明したように、本発明によれ
ば、左右眼のコーデック間の処理の時間的な一致、符号
化パラメータの一致（画質の一致）が得られるため、自
然な立体視を呈示することができる。

【図面の簡単な説明】

【図１】本発明に係る原理説明図である。

【図２】本発明に係る原理説明図である。

【図３】本発明の関連技術の実施例（送信側）を示すブ
ロック図である。

【図４】実施例装置におけるパラメータ受信制御回路の
構成例を示すブロック図である。

【図５】実施例装置におけるパラメータ受信制御回路の
制御部の入出力関係を示す図である。

【図６】本発明の関連技術の実施例（受信側）を示すブ
ロック図である。

【図７】本発明の関連技術の他の実施例（送信側）を示
すブロック図である。

【図８】実施例装置におけるパラメータ選択制御回路の
構成例を示すブロック図である。

【図９】実施例装置におけるパラメータ選択制御回路の
制御部の入出力関係を示す図である。

【図１０】実施例装置におけるパラメータ選択制御回路
の入力側セレクタの動作を説明する図である。

【図１１】本発明の一実施例としての立体映像高能率符
号化装置（送信側）を示すブロック図である。

【図１２】本発明の一実施例としての立体映像高能率符
号化装置（受信側）を示すブロック図である。

【図１３】本発明の他の実施例（送信側）を示すブロッ
ク図である。

【図１４】実施例装置におけるパラメータ選択制御回路
の構成例を示す図である。

【図１５】従来例を示す図である。

【図１６】他の従来例を示す図である。

【図１７】左右眼のＶ同期信号のズレを説明する図であ
る。

【符号の説明】

１０１、２０５発振器１０２、１０７クロック発生器１０３、１０８、１２５ＴＲ発生器１０４、１１１、１２３、１２４符号器１０５、１１５、１２６パラメータ演算制御回路１０６、１１４バッファメモリ１１０バッファ１１２パラメータ受信制御回路１１６、１２７パラメータ選択制御回路１２０、１２１フレームメモリ２０２、２０７復号器２０３Ｖ同期信号生成器２０４クロック生成器２１０、２１１フレームメモリ１１２１、１１６２制御部１１２２、１１６１、１１６４、１１６６セレクタ１１２３、１１６３、１１６５ＦＩＦＯメモリ

Claims

【特許請求の範囲】

【請求項１】左眼画像信号と右眼画像信号をそれぞれ
左眼用符号器（４１）と右眼用符号器（４２）で高能率
符号化する立体映像高能率符号化装置の送信装置におい
て、左眼用符号器と右眼用符号器間でクロック同期または垂
直同期をとるようにした立体映像高能率符号化装置の送
信装置。
【請求項２】高能率符号化された左眼画像符号化信号
と右眼画像符号化信号とを受信してそれぞれ左眼用復号
器（４３）と右眼用復号器（４４）で復号する立体映像
高能率符号化装置の受信装置において、該左眼用符号器と右眼用符号器間で垂直同期をとるよう
にした立体映像高能率符号化装置の受信装置。