JP2004048579A - 動画像符号化装置および復号装置 - Google Patents
動画像符号化装置および復号装置 Download PDFInfo
- Publication number
- JP2004048579A JP2004048579A JP2002205796A JP2002205796A JP2004048579A JP 2004048579 A JP2004048579 A JP 2004048579A JP 2002205796 A JP2002205796 A JP 2002205796A JP 2002205796 A JP2002205796 A JP 2002205796A JP 2004048579 A JP2004048579 A JP 2004048579A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- frame
- parameter
- unit
- change amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】符号化装置においては、同期のとれた複数の動画像信号間に視覚的な違和感を出さずに、割り当て可能な符号量を効率的に利用可能とし、復号装置においては、時間情報の同期のとれていない複数の符号化データをフレーム毎に同期がとれるように復号可能にする。
【解決手段】第１の動画像信号の符号化に用いる第１の符号化パラメータを算出する第１の符号化パラメータ演算部１０４Ｌと、前記第２の動画像信号の符号化に用いる第２の符号化パラメータを算出する第２の符号化パラメータ演算部１０４Ｒと、前記第２の符号化パラメータを修正するパラメータ修正部１０５Ｒとを備え、パラメータ修正部１０５Ｒでは、左眼用または右眼用の第１の符号化パラメータを基準として右眼用または左眼用の第２の符号化パラメータを修正する。
【選択図】 図１
【解決手段】第１の動画像信号の符号化に用いる第１の符号化パラメータを算出する第１の符号化パラメータ演算部１０４Ｌと、前記第２の動画像信号の符号化に用いる第２の符号化パラメータを算出する第２の符号化パラメータ演算部１０４Ｒと、前記第２の符号化パラメータを修正するパラメータ修正部１０５Ｒとを備え、パラメータ修正部１０５Ｒでは、左眼用または右眼用の第１の符号化パラメータを基準として右眼用または左眼用の第２の符号化パラメータを修正する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は視差を有する左右２つの動画像信号など複数の動画像信号を符号化する動画像符号化装置および複数の符号化データを復号する動画像復号装置に係わり、特に符号化装置における動画像信号の取り込み時や復号装置における復号画像データ出力時の同期の取り方に関するものである。
【０００２】
【従来の技術】
連続する複数のフレームにより構成される動画像信号は膨大な情報量を持つため、伝送路を用いて動画像信号を伝送する際や光磁気ディスクなどの記録媒体に記録する際には、符号化して情報量を圧縮するのが一般的である。比較的低速な伝送路を用いて画像情報を伝送する場合、すべてのフレームを符号化して伝送することは不可能であるため、一般に伝送路の能力に合わせて入力される動画像のフレーム数を減らすことがよく行われる（これをコマ落しと呼ぶ）。また、画面の動きが激しいなどして符号化した画像情報が増大したときに、コマ落しを行って伝送する画像情報を削減する。コマ落しは符号化により発生した符号量に応じてフレーム毎に符号化するか否かを判定することにより行われる。
【０００３】
ところで、複数の動画像信号を符号化する際に、複数の動画像信号間でフレームが別々にコマ落しされると、受信側で同期のとれていない動画像が再生されてしまい、視差を有する２つの動画像信号の場合には立体視ができなくなるという問題がある。このような問題を解決するための技術が特開２００１−６９５３０号公報において開示されている。この技術は、左眼用と右眼用の符号化装置のいずれか一方を基準として選択し、基準側で決定した符号化パラメータ（コマ落しの有無や符号化されるフレームのフレーム番号など）をもう一方の符号化装置に転送する。こうして双方で同一のコマ落しを行い、左右同期を実現している。符号化装置側で左右同期をとるために、復号装置側では垂直同期信号にしたがって復号するだけで左右同期のとれた画像を再生し、立体視を可能としている。
【０００４】
図１７は従来技術による立体動画像符号化装置の構成例を、図１８は従来技術による立体動画像復号装置の構成例を示すブロック図である。図１７に示すように従来技術による立体動画像符号化装置は、左眼用のエンコーダ３００Ｌおよび右眼用のエンコーダ３００Ｒから構成され、左眼用の符号化装置３００Ｌは、符号化部３０２Ｌ、符号化データ格納部３０３Ｌ、パラメータ演算部３０４から構成される。また、右眼用のエンコーダ３００Ｒは、符号化部３０２Ｒ、符号化データ格納部３０３Ｒ、パラメータ受信部３０５、フレーム格納部３０６から構成される。
【０００５】
図１７の例では、左眼用のエンコーダ３００Ｌを基準としている。基準側のパラメータ演算部３０４では、左右の符号化データ格納部の状態（符号化データの占有量）に基づいてコマ落し数等の符号化パラメータの基準値を決定し、右眼用のエンコーダ３００Ｒに転送する。左右の符号化データ格納部の状態から符号化パラメータを算出する方法は、基準となる状態（双方の占有量の平均値、最大値、最小値など）を決定してから、基準となる状態をもとに符号化パラメータを算出する。右眼用のエンコーダ３００Ｒでは、パラメータ受信部３０５により左眼用のエンコーダ３００Ｌから転送されたパラメータを受信して、符号化部３０２Ｒで使用する。このようにして双方のエンコーダで同一のコマ落しを行い、左右同期を実現している。
【０００６】
また、従来技術による立体動画像復号装置は図１８に示すように、左眼用のデコーダ４００Ｌおよび右眼用のデコーダ４００Ｒから構成され、デコーダ４００Ｌおよび４００Ｒは、それぞれ符号化データ格納部４０１Ｌおよび４０１Ｒ、復号部４０２Ｌおよび４０２Ｒを持ち、さらに左眼用のデコーダ４００Ｌは垂直同期生成部４０３Ｌを持つ。この立体動画像復号装置では、復号部４０２Ｌおよび４０２Ｒは、垂直同期生成部４０３Ｌで独自に作成した垂直同期信号により、符号化データ格納部４０１Ｌおよび４０１Ｒに格納された符号化データを読み出して復号する。符号化時に同期がとられているために、垂直同期信号にしたがって復号するだけで立体視の可能な復号画像が得られる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来技術の動画像符号化装置および復号装置では次のような問題がある。まず、符号化装置側においては、前述のように符号化パラメータは符号化データ格納部の状態によって決定されるが、基準となる状態と実際の状態が一致しないという問題がある。例えば基準となる状態を左右の符号化データ格納部における占有量の平均値とすると、いずれのエンコーダにおいても実際の状態からは乖離する。実際の状態を基準とした状態と比較して、実際の占有量が基準とした占有量よりも大きい場合には、コマ落しされるフレーム数が不十分となる可能性がある。最悪の場合には、符号化により発生した符号量が制限容量を越えてオーバーフローを引き起こすという問題を有していた。また、実際の占有量が基準とした占有量よりも小さい場合、コマ落しされるフレーム数は十分であるが、符号化に利用可能な割り当て符号量を十分に利用していないという問題点を有していた。
【０００８】
また、復号装置においては、左右同期は符号化装置側で行われているために、符号化の際に同期に対する対応がなされていないような符号化データが入力された場合に、左右で全く異なるフレームを出力してしまい、視差を有する左右の動画像信号の場合には立体視が不可能になるという問題点を有していた。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、符号化装置においては、同期のとれた複数の動画像信号間に視覚的な違和感を出さずに、割り当て可能な符号量を効率的に利用可能にすることを目的とし、復号装置においては、時間情報の同期のとれていない複数の符号化データをフレーム毎に同期がとれるように復号可能にすることを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、第１の動画像信号を符号化する第１の符号化手段と、第２の動画像信号を符号化する第２の符号化手段とを備えた動画像符号化装置において、前記第１の動画像信号の符号化に用いる第１の符号化パラメータを算出する第１の符号化パラメータ算出手段と、前記第２の動画像信号の符号化に用いる第２の符号化パラメータを算出する第２の符号化パラメータ算出手段と、前記第２の符号化パラメータを修正するパラメータ修正手段とを備え、前記パラメータ修正手段は、前記第１の符号化パラメータを基準として前記第２の符号化パラメータを修正することで、上述の課題を解決する。
【００１１】
また、第１の動画像信号を符号化する第１の符号化手段と、第２の動画像信号を符号化する第２の符号化手段とを備えた動画像符号化装置において、前記第１の動画像信号の符号化に用いる第１の符号化パラメータを算出する第１の符号化パラメータ算出手段と、前記第２の動画像信号の符号化に用いる第２の符号化パラメータを算出する第２の符号化パラメータ算出手段と、前記第１の符号化パラメータと前記第２の符号化パラメータのいずれか一方を基準のパラメータとして選択する基準選択手段と、前記第１の符号化パラメータおよび前記第２の符号化パラメータを修正するパラメータ修正手段とを備え、前記パラメータ修正手段は、前記基準の符号化パラメータを基準として他方の符号化パラメータを修正することで、上述の課題を解決する。
【００１２】
また、前記第１の符号化パラメータは、前記第１の動画像信号における符号化対象フレームの時間情報である第１の時間情報を含み、前記第２の符号化パラメータは、前記第２の動画像信号における符号化対象フレームの時間情報である第２の時間情報を含み、前記パラメータ修正手段は、前記第１の時間情報と第２の時間情報の差が所定の閾値を越える場合は、前記第１の時間情報と第２の時間情報の少なくとも一方を前記所定の閾値を越えないように修正することで、上述の課題を解決する。
【００１３】
また、前記第１の符号化パラメータは、前記第１の動画像信号における符号化対象フレームの時間情報である第１の時間情報を含み、前記第２の符号化パラメータは、前記第２の動画像信号における符号化対象フレームの時間情報である第２の時間情報を含み、前記パラメータ修正手段は、前記第１の時間情報と第２の時間情報の差が所定の閾値を越える場合は、前記第１の時間情報と第２の時間情報の少なくとも一方を前記所定の閾値を越えないように修正することで、上述の課題を解決する。
【００１４】
また、前記第１の符号化手段は、前符号化フレームと符号化対象フレーム間の変化量を算出する第１の変化量算出手段を備え、前記第２の符号化手段は、前符号化フレームと符号化対象フレーム間の変化量を算出する第２の変化量算出手段を備え、前記パラメータ修正手段は、前記第１の変化量算出手段で算出された第１の変化量と前記第２の変化量算出手段で算出された第２の変化量とが所定の近似関係を満たさない場合は、前記第１の時間情報と第２の時間情報の少なくとも一方を前記所定の近似関係を満たすように修正することで、上述の課題を解決する。
【００１５】
また、前記第１の符号化パラメータおよび前記第２の符号化パラメータは、フレーム内の画像信号のみを用いて符号化するフレーム内符号化か、他のフレームの画像信号を参照して符号化するフレーム間符号化かを示すフレーム種別情報を含み、前記パラメータ修正手段は、前記第１の符号化パラメータおよび前記第２の符号化パラメータのうち、一方の符号化パラメータに含まれる前記フレーム種別情報をもとに、他方の符号化パラメータに含まれる前記フレーム種別情報を修正することで、上述の課題を解決する。
【００１６】
また、第１の符号化データを復号する第１の復号手段と、第２の符号化データを復号する第２の復号手段とを備えた動画像復号装置において、前記第２の復号手段は、復号した第２の画像フレームを前記第１の復号手段で復号した第１の画像フレームと同期して出力するか否かを判定する同期判定手段を備えることで、上述の課題を解決する。
【００１７】
また、前記同期判定手段は前記第２の画像フレームの時間情報と前記第１の復号手段から基準値として与えられた時間情報の差が、所定の閾値を超えない場合に、前記第１の画像フレームと同期して第２の画像フレームを出力すると判定することで、上述の課題を解決する。
【００１８】
また、第１の符号化データを復号する第１の復号手段と、第２の符号化データを復号する第２の復号手段とを備えた動画像復号装置において、前記第１の復号手段で復号した第１の画像フレーム間における第１の変化量を算出する第１の変化量算出手段と、前記第２の画像フレーム間における第２の変化量を算出する第２の変化量算出手段と、前記第１の変化量と前記第２の変化量に基づいて前記第１の画像フレームと前記第２の画像フレームとを同期して出力するか否かを判定する同期判定手段を備えることで、上述の課題を解決する。
【００１９】
また、前記同期判定手段は、前記第１の変化量と前記第２の変化量との差が所定の閾値を越えない場合に、前記第１の画像フレームと前記第２の画像フレームとを同期して出力すると判定することで、上述の課題を解決する。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。なお、実施形態を通して複数の動画像信号としては、視差を有する左右眼の動画像信号を例に、またフレームの時間情報としては、入力順において時間的に前のものから順に０、１、２…と数字を割り当てたフレーム番号を例に用いて説明する。
【００２１】
〔第１の実施形態〕
図１は本発明における第１の実施形態による動画像符号化装置の構成を示すブロック図である。図１において、１００Ｌは左眼用のエンコーダ、１００Ｒは右眼用のエンコーダである。この第１の実施形態では左眼用のエンコーダ１００Ｌを右眼用のエンコーダ１００Ｒの基準としている。左眼用のエンコーダ１００Ｌは垂直同期信号により動画像信号の１フレームを格納するフレーム格納部１０１Ｌ、動画像信号を符号化する符号化部１０２Ｌ、符号化された画像データを格納する符号化データ格納部１０３Ｌ、及び、符号化データの符号量から次のフレームを符号化する際に使用する符号化パラメータを算出するパラメータ演算部１０４Ｌから構成される。右眼用のエンコーダ１００Ｒは同様にして、垂直同期信号により動画像信号の１フレーム分のデータを格納するフレーム格納部１０１Ｒ、動画像信号を符号化する符号化部１０２Ｒ、符号化された画像データを格納する符号化データ格納部１０３Ｒ、符号化データの符号量から次のフレームを符号化する際に使用する符号化パラメータを算出するパラメータ演算部１０４Ｒ、及び、パラメータ演算部１０４Ｒにより算出された符号化パラメータを外部から与えられた基準値により修正するパラメータ修正部１０５Ｒから構成される。
【００２２】
以上のように構成された第１の実施形態の動画像符号化装置について、その動作を説明する。
【００２３】
フレーム格納部１０１Ｌおよび１０１Ｒには、動画像信号から分離した垂直同期信号により、１フレーム分の画像データが格納される。垂直同期信号はフレームの開始位置に挿入されているため、垂直同期信号にしたがってデータの記録を開始することで、１フレーム分の画像データを格納することができる。
【００２４】
符号化部１０２Ｌおよび１０２Ｒは動画像信号を符号化する。さらに、符号化するフレームのフレーム番号を垂直同期信号によりカウントし、内部に保持する。該フレーム番号はパラメータ演算部１０４Ｌおよび１０４Ｒに入力される。
【００２５】
符号化データ格納部１０３Ｌおよび１０３Ｒにはそれぞれ、符号化部１０２Ｌおよび１０２Ｒで画像データを符号化した後の符号化データが格納される（符号化データ格納部に格納されている符号化データの量を占有量と呼ぶ）。該動画像符号化装置が通信回線等の伝送路に接続されている場合には、伝送路から所定のレートで読み出されるため、一般に占有量は時間の経過とともに変動する。
【００２６】
パラメータ演算部１０４Ｌおよび１０４Ｒは、符号化データ格納部１０３Ｌおよび１０３Ｒにおける占有量が該符号化データ格納部の制限容量を越えないようにするために、１フレームに割り当て可能な符号量を計算し、符号化の結果得られる発生符号量が、割り当て符号量に近くなるような符号化パラメータを決定する。
【００２７】
パラメータ修正部１０５Ｒは、左眼用のエンコーダ１００Ｌにおいて算出された符号化パラメータを基準として、パラメータ演算部１０４Ｒで算出された符号化パラメータを修正する。
【００２８】
以上のように、エンコーダ１００Ｌおよび１００Ｒは１フレーム分の画像データを符号化して、発生符号量が所定の量となるように制御を行う。ところが、入力される動画像信号は内容が均一でないために、同一の符号化パラメータを使用しても、発生符号量が同一になるとは限らず、割り当て符号量を越えることや、反対に割り当て符号量よりも少なくなることがある。発生符号量が割り当て符号量を越えた場合には、符号化データ格納部１０３Ｌおよび１０３Ｒからデータが読み出されるのを待つ時間を大きくしなければならず、符号化されないフレーム数（すなわちコマ落しされるフレーム数）が増加することとなる。
【００２９】
以下、符号化開始から１フレームの符号化が終了するまでの動作を説明する。左右眼の動画像信号は、同期してエンコーダ１００Ｌおよび１００Ｒに入力され、１フレーム分の画像データが、それぞれフレーム格納部１０１Ｌおよび１０１Ｒに格納される。符号化部１０２Ｌは次の垂直同期信号により、フレーム格納部１０１Ｌからフレームデータを読み出して符号化を開始する。最初のフレームの符号化時には符号化パラメータの初期値を用いる。また、内部に保持しているフレーム番号を０にセットする。
【００３０】
１フレームの符号化終了後、パラメータ演算部１０４Ｌにおいて、次のフレームを符号化するための符号化パラメータを算出する。パラメータ演算部１０４Ｌは符号化データ格納部１０３Ｌの占有量から、割り当て符号量分の空きが確保できるまでに必要なフレームのコマ落し数と、割り当て符号量を実現するためのその他の符号化パラメータ（例えば量子化ステップなど）を算出する。
符号化部１０２Ｌから入力されたフレーム番号に、算出したコマ落し数を加えて、次に符号化するフレーム番号を求める。ここまでは右眼用のエンコーダ１００Ｒにおいても同様である。
【００３１】
パラメータ演算部１０４Ｌにおいて算出された符号化パラメータは、符号化部１０２Ｌに入力されるとともに、右眼用のエンコーダ１００Ｒに転送される。転送された符号化パラメータは基準値としてパラメータ修正部１０５Ｒに入力される。
【００３２】
図２は前記パラメータ修正部１０５Ｒの構成例を示すブロック図である。図２に示すように、パラメータ修正部１０５Ｒは符号化パラメータからフレーム番号を分離する分離部（基準値の左眼用符号化パラメータからフレーム番号を分離する分離部１１１および右眼用符号化パラメータからフレーム番号を分離する分離部１１２）、左右２つのフレーム番号の差と予め定められた閾値を比較し、右眼用のフレーム番号を修正する比較・変更部１１４、前記閾値を保存する閾値保存部１１３、修正されたフレーム番号により符号化パラメータ（右眼用符号化パラメータ）を修正する修正部１１５から構成される。以上のように構成されたパラメータ修正部１０５Ｒについて、その動作を説明する。
【００３３】
パラメータ修正部１０５Ｒは図３に示すような処理を行う。
まず、ステップＳＴ１では、分離部１１１により基準値として与えられた左眼用符号化パラメータからフレーム番号の基準値が分離され、同様にして分離部１１２により右眼用のフレーム番号が分離される。
ステップＳＴ２において、比較・変更部１１４は右眼用のフレーム番号と基準値との差分値を演算し（フレーム番号−基準値）、ステップＳＴ３で該差分値の絶対値と閾値保存部１１３に保存されている閾値とを比較する。ここで閾値は、フレーム間の変化が視覚的に大きな差のない範囲で予め決定されたものを使用する。
比較した結果、差分値の絶対値が閾値よりも大きい場合（ステップＳＴ３：Ｙｅｓ）には、ステップＳＴ４以下を実行してフレーム番号を変更する。具体的には、差分値≦０でありフレーム番号が基準値以下の場合（ステップＳＴ４：Ｙｅｓ）には、フレーム番号は「基準値−閾値」に変更され（ステップＳＴ５）、変更前の値よりも大きくなる。一方、差分値＞０でありフレーム番号が基準値よりも大きい場合（ステップＳＴ４：Ｎｏ）には、フレーム番号は「基準値＋閾値」に変更され（ステップＳＴ６）、変更前の値よりも小さくなる。
そして、ステップＳＴ７において、修正部１１５はフレーム番号以外のその他の符号化パラメータを修正する。この場合には、フレーム番号が変更されたことにより割り当て符号量が変化するため、割り当て符号量を再計算し、該割り当て符号量に合うようにその他の符号化パラメータを変更する。フレーム番号が大きくなった場合には割り当て符号量が多くなるため、圧縮率が小さくなるように修正する。一方、フレーム番号が小さくなった場合には割り当て符号量が少なくなるため、圧縮率が大きくなるように修正する。
【００３４】
以上のようにして、視覚的に差のない範囲で基準側にあわせて符号化パラメータを修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出すことなく、割り当て可能な符号量を効率的に利用できるようにする。
【００３５】
〔第２の実施形態〕
次に、本発明の第２の実施形態について説明する。この実施形態は、基準となるエンコーダを左右のエンコーダの一方から選択して用いるようにしたものである。
【００３６】
図４は本発明における第２の実施形態による動画像符号化装置の構成を示すブロック図である。図４において図１と同一部分には同一符号が付してある。符号１２０Ｌは左眼用のエンコーダ、１２０Ｒは右眼用のエンコーダである。１２１はエンコーダ１２０Ｌおよび１２０Ｒのいずれか一方を基準として選択する基準選択部である。左眼用のエンコーダ１２０Ｌは垂直同期信号により動画像信号の１フレームを格納するフレーム格納部１０１Ｌ、動画像信号を符号化する符号化部１０２Ｌ、符号化された画像データを格納する符号化データ格納部１０３Ｌ、符号化データの符号量から次のフレームを符号化する際に使用する符号化パラメータを算出するパラメータ演算部１０４Ｌ、及び、パラメータ演算部１０４Ｌにより算出された符号化パラメータを外部から与えられた基準値により修正するパラメータ修正部１０５Ｌから構成される。右眼用のエンコーダ１２０Ｒは同様にして、垂直同期信号により動画像信号の１フレーム分のデータを格納するフレーム格納部１０１Ｒ、動画像信号を符号化する符号化部１０２Ｒ、符号化された画像データを格納する符号化データ格納部１０３Ｒ、符号化データの符号量から次のフレームを符号化する際に使用する符号化パラメータを算出するパラメータ演算部１０４Ｒ、及び、パラメータ演算部１０４Ｒにより算出された符号化パラメータを外部から与えられた基準値により修正するパラメータ修正部１０５Ｒから構成される。
【００３７】
以上のように構成された動画像符号化装置について、その動作を説明する。
【００３８】
符号化開始から１フレームの符号化処理が終了し、符号化パラメータが算出されるまでの動作は第１の実施形態と同様であるので、ここでの説明は省略する。パラメータ演算部１０４Ｌおよび１０４Ｒにより算出された符号化パラメータは基準選択部１２１に入力される。
【００３９】
基準選択部１２１は入力された符号化パラメータを元に、左眼用のエンコーダ１２０Ｌおよび右眼用のエンコーダ１２０Ｒから基準となる側を選択する。選択する際の判定方法としては、例えば符号化パラメータのうちのフレーム番号を比較し、番号の小さい方を基準側として選択する。小さい方を基準とすることで、全体としてコマ落しされるフレーム数を減らし、動きを優先した符号化を行うことができる。ここでは左眼用のエンコーダ１２０Ｌが基準として選択されたものとする。基準選択部１２１は基準として選択した左眼用のエンコーダ１２０Ｌの符号化パラメータを、基準値として右眼用のエンコーダ１２０Ｒに転送する。
【００４０】
右眼用のエンコーダ１２０Ｒにおいて、基準値を元にして算出した符号化パラメータを修正する方法は第１の実施形態と同様であるため、ここでの説明は省略する。
【００４１】
なお、基準となる側の選択方法は、フレーム番号の大きい方を基準として選択しても良いし、それ以外の方法でも良い。
【００４２】
〔第３の実施形態〕
次に、本発明の第３の実施形態による動画像符号化装置について説明する。この第３の実施形態は、符号化パラメータを修正する際に左右のエンコーダにおいてフレーム間の変化量を算出し、これらの変化量が所定の近似関係を満たすように符号化するフレームを決定するものである。
【００４３】
図５は、この第３の本実施形態による動画像符号化装置の構成を示すブロック図である。図５において図４と同一部分には同一符号が付してある。符号１３０Ｌは左眼用のエンコーダ、１３０Ｒは右眼用のエンコーダ、１２１はエンコーダ１３０Ｌおよび１３０Ｒのいずれか一方を基準として選択する基準選択部である。エンコーダ１３０Ｌおよび１３０Ｒはそれぞれ、垂直同期信号により動画像信号の１フレームを格納するフレーム格納部１０１Ｌおよび１０１Ｒ、動画像信号を符号化する符号化部１０２Ｌおよび１０２Ｒ、符号化された画像データを格納する符号化データ格納部１０３Ｌおよび１０３Ｒ、符号化データの符号量から次のフレームを符号化する際に使用する符号化パラメータを算出するパラメータ演算部１０４Ｌおよび１０４Ｒ、フレーム間の変化量を算出する変化量算出部１０７Ｌおよび１０７Ｒ、前記変化量と外部から与えられた基準値とからパラメータ演算部１０４Ｌおよび１０４Ｒにより算出された符号化パラメータを修正するパラメータ修正部１０６Ｌおよび１０６Ｒから構成される。
【００４４】
以上のように構成された動画像符号化装置について、その動作を説明する。ここでフレーム番号ｉのフレームをフレーム（ｉ）と表す。
【００４５】
符号化開始から１フレームの符号化処理が終了し、符号化パラメータが算出されるまでの動作は第１の実施形態と同様であるので、ここでの説明は省略する。１フレームの符号化が終了したとき、左眼用のエンコーダ１３０Ｌにおいて算出されたフレーム番号をＪ、右眼用のエンコーダ１３０Ｒにおいて算出されたフレーム番号をＫ（ただしＪ＜Ｋ）とする。基準選択部１２１により、左眼用のエンコーダ１３０Ｌが基準として選択されたものとすると、エンコーダ１３０Ｒでは、パラメータ修正部１０６Ｒにより前述のステップＳＴ１からＳＴ７までの処理が実行される。その結果、閾値をＴとすると、｜Ｋ−Ｊ｜≦Ｔの場合には符号化パラメータは修正されず、それ以外の場合には、Ｊ＜Ｋの条件からフレーム番号ＫはＫ’＝Ｊ＋Ｔに修正される。
【００４６】
符号化パラメータが修正されない場合には、左眼用のエンコーダ１３０Ｌにおいてフレーム（Ｊ）、右眼用のエンコーダ１３０Ｒにおいてフレーム（Ｋ）を符号化する。
一方、符号化パラメータが修正された場合、さらに以下の処理が実行される。
【００４７】
左眼用のエンコーダ１３０Ｌでは、符号化部１０２Ｌは内部に保持しているフレーム番号とパラメータ演算部１０４Ｌにより算出されたフレーム番号Ｊとが一致した時点で符号化を開始する。同時に変化量算出部１０７Ｌにおいて、先に符号化されたフレームと現在符号化しているフレーム（Ｊ）間の第１の変化量を算出し、右眼用エンコーダ１３０Ｒに転送する。変化量としては例えば、２つのフレーム間の同位置における画素ごとに計算した階調値の差の絶対値を全画素について合計した差分絶対値和を使用する。
【００４８】
右眼用のエンコーダ１３０Ｒでは、フレーム格納部１０１Ｒに格納されたフレームのフレーム番号Ｎがパラメータ修正部１０６Ｒにより修正されたフレーム番号Ｋ’と一致するか確認する。Ｎ＝Ｋ’となった時点で、エンコーダ１３０Ｒは変化量算出部１０７Ｒにおいて、フレーム格納部１０１Ｒに格納されたフレーム（Ｎ）と先に符号化されたフレーム（Ｍ）との第２の変化量を算出する。算出された第２の変化量はパラメータ修正部１０６Ｒに入力される。
【００４９】
パラメータ修正部１０６Ｒでは、前記第１の変化量と前記第２の変化量を比較し、所定の近似関係を満たす範囲で符号化パラメータを修正する。
【００５０】
符号化部１０２Ｒではフレーム格納部１０１Ｒに格納されているフレーム（Ｎ’）を修正後の符号化パラメータを用いて符号化する。
【００５１】
図６は、パラメータ修正部１０６Ｌおよび１０６Ｒの構成例を示すブロック図である。図６において図２と同一部分には同一符号が付してある。図６に示すように、パラメータ修正部１０６Ｌおよび１０６Ｒは符号化パラメータからフレーム番号を分離する分離部１１１および１１２、フレーム番号の差と予め定められた閾値を比較し、パラメータを修正するか否かを決定する比較・変更部１１６、前記閾値を保存する閾値保存部１１３、符号化パラメータを修正する修正部１１５、変化量を基準値と比較する変化量比較部１１７から構成される。以上のように構成されたパラメータ修正部１０６Ｌおよび１０６Ｒについて、その動作を説明する。なお、これらのパラメータ修正部の動作は同じであるため、ここでは基準選択部１２１により、左眼用のエンコーダ１３０Ｌが基準として選択されたものとして、右眼用のエンコーダ１３０Ｒにおけるパラメータ修正部１０６Ｒの動作を説明する。
【００５２】
パラメータ修正部１０６Ｒでは、変化量の基準値の入力をトリガとして、図７に示す処理を開始する。まず、ステップＳＴ２１では、変化量算出部１０７Ｒから第２の変化量を受信する。次にステップＳＴ２２ではパラメータ修正部１０６Ｒ内の変化量比較部１１７において、左眼用のエンコーダから入力された基準値と変化量算出部１０７Ｒで算出した第２の変化量とが比較され、フレーム（Ｎ）を符号化するか否かが決定される。フレーム（Ｎ）を符号化しない場合には、ステップＳＴ２４に進み、Ｎをインクリメントし、ステップＳＴ２１およびＳ２２を繰り返す。ステップＳＴ２２における判定の方法としては、例えば算出された変化量が基準値よりも小さい間は符号化しないものとし、はじめて基準値を越えた時点のフレームを符号化する。符号化するフレームが決まったらステップＳＴ２３に進み、フレーム番号以外のその他の符号化パラメータを修正して符号化部１０２Ｒに入力する。
【００５３】
フレーム間の変化量を調べることにより、視覚的に違和感のない範囲で、コマ落しされるフレーム数を多くすることができる。
【００５４】
なお、所定の近似関係としては上記以外にも予め定められた閾値との類似度を用いても良いし、それ以外の方法でも良い。
【００５５】
以上のようにして、フレーム間の変化が少ない場合には閾値保存部１１３の閾値を越えてコマ落しされるようにする。そうして、視覚的に差のない範囲で基準側に合うように符号化パラメータを修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出さずに、割り当て可能な符号量を効率的に利用できるようにする。
【００５６】
〔第４の実施形態〕
次に本発明の第４の実施形態について説明する。この第４の実施形態は、フレーム内の情報のみで符号化を行うフレーム内符号化と、先に符号化されたフレームを予測値として用いるフレーム間予測符号化を選択する符号化方式を使用した場合の例である。次のフレームをいずれの方式で符号化するかを示す情報が符号化パラメータに含まれる（ここではこの情報をフレーム種別と呼ぶ）。
【００５７】
一般にフレーム内符号化の場合、フレーム間予測符号化よりも発生符号量が多くなる。左右のエンコーダのいずれか一方においてフレーム内符号化が選択されたとき、もう一方のエンコーダでフレーム間予測符号化が選択されると、符号化データ格納部１０３Ｌおよび１０３Ｒにおける占有量の差が大きくなり、コマ落しされるフレーム数だけの調整では不十分となることがある。したがって、この第４の実施形態では基準となるエンコーダがフレーム内符号化を選択した場合には、もう一方のエンコーダにおいてもフレーム内符号化が選択されるようにして符号化パラメータを修正する。
【００５８】
図８にこの第４の実施形態におけるパラメータ修正部１４０の構成例を示す。図８において、パラメータ修正部１４０は符号化パラメータからフレーム種別を分離する分離部１４１および１４２、フレーム種別を変更するフレーム種別変更部１４３、変更されたフレーム種別により符号化パラメータを修正する修正部１４４から構成される。
【００５９】
以下、パラメータ修正部１４０の動作を説明する。分離部１４１により基準値として与えられた符号化パラメータからフレーム種別の基準値が分離され、同様にして分離部１４２により右眼用のフレーム種別が分離される。フレーム種別変更部１４３は右眼用のフレーム種別と基準値とを比較する。比較した結果、右眼用のフレーム種別が基準値と異なる場合には基準値に一致させ、修正部１４４において符号化パラメータを修正する。符号化パラメータを修正する場合には、フレーム間符号化からフレーム内符号化への変更時には圧縮率が小さくなる方向に修正する。フレーム内符号化からフレーム間予測符号化への変更時には、圧縮率が大きくなる方向に修正する。変更された符号化パラメータは次のフレームの符号化時に使用される。
【００６０】
なお、ここではフレーム種別の変更のみの例について説明したが、前述のパラメータ修正部１０５Ｒあるいは１０６Ｌおよび１０６Ｒと組み合わせて使用することも可能である。この場合、符号化パラメータからフレーム番号とフレーム種別が分離部により分離され、それぞれ基準値をもとに修正される。
【００６１】
以上のようにして、視覚的に差のない範囲で基準側にあわせて符号化パラメータを修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出さずに、割り当て可能な符号量を効率的に利用できるようにする。
【００６２】
以下では、一般的な符号化データに加えて、前述した動画像符号化装置により作成された符号化データから動画像信号を復号する動画像復号装置について説明する。なお、実施形態を通して、複数の符号化データとしては視差を有する左右眼の動画像信号が符号化されたものを例に用い、フレームの時間情報としては表示順において時間的に前のものから０、１、２…と数字を割り当てたフレーム番号を例に用いて説明する。
【００６３】
〔第５の実施形態〕
図９は本発明における動画像復号装置の第５の実施形態による構成を示すブロック図である。図９において、２００Ｌは左眼用のデコーダ、２００Ｒは右眼用のデコーダ、２０６は左右の画像を立体画像に合成する合成部である。この実施形態では左眼用のデコーダ２００Ｌを右眼用のデコーダ２００Ｒの基準としている。左眼用のデコーダは符号化された画像データを格納する符号化データ格納部２０１Ｌ、１フレーム分の画像データを復号する復号部２０２Ｌ、復号された１フレーム分の画像データを格納するフレーム格納部２０３Ｌ、復号されたフレームのフレーム番号を格納するフレーム番号格納部２０４Ｌから構成される。右眼用のデコーダは同様にして、符号化された画像データを格納する符号化データ格納部２０１Ｒ、１フレーム分の画像データを復号する復号部２０２Ｒ、復号された１フレーム分のデータを格納するフレーム格納部２０３Ｒ、復号されたフレームのフレーム番号を格納するフレーム番号格納部２０４Ｒ、および、フレーム番号格納部２０４Ｒにより入力されたフレーム番号と外部から与えられたフレーム番号の基準値とから、該デコーダの復号フレームを基準側の復号フレームと同期して出力するか否かを判定する同期判定部２０５Ｒから構成される。
【００６４】
以上のように構成された動画像復号装置について、その動作を説明する。
【００６５】
符号化データ格納部２０１Ｌおよび２０１Ｒには、それぞれ、動画像信号を符号化した後の符号化データが格納される。該動画像復号装置が通信回線等の伝送路に接続されている場合には、左右眼の符号化データが所定のレートで符号化装置に入力され、それぞれ符号化データ格納部２０１Ｌおよび２０１Ｒに格納される。符号化データ格納部２０１Ｌおよび２０１Ｒにおける符号化データの占有量が所定の値を越えると、復号部２０２Ｌおよび２０２Ｒにより読み出されて復号処理が開始される。復号処理はフレーム単位で行われ、フレーム格納部２０３Ｌおよび２０３Ｒに、復号部２０２Ｌおよび２０２Ｒにより符号化データから復号された復号フレームが格納される。
【００６６】
フレーム番号格納部２０４Ｌおよび２０４Ｒには、復号部２０２Ｌおよび２０２Ｒにより符号化データから復号されたフレーム番号が格納される。複数のフレーム番号が格納されている場合には、該フレーム番号格納部は最も小さいものを選択して出力する。なお、符号化データが双方向予測を用いた方式で符号化されているような場合には、符号化データ中のフレーム順と表示の際のフレーム順が異なる場合があるが、本実施例では復号部から出力されるフレームは表示順に並べ替えられているものとする。フレーム番号格納部２０４Ｌに格納された左眼用のフレーム番号は同期判定部２０５Ｒに基準値として入力される。同期判定部２０５Ｒは左右の復号画像が同期して読出し可能な場合に、読出し制御信号を“読出し禁止”から“同期読出し”に変更する。このほか、読出し制御信号は、左眼用の復号画像のみを読み出す“非同期読出し（左）”および右眼用の復号画像のみを読み出す“非同期読出し（右）”の状態をとりうる。
【００６７】
合成部２０６は読出し制御信号が“同期読出し”のときに、左右のデコーダから復号フレームを読み出し、立体動画像の合成処理を行う。“非同期読出し（左）”および“非同期読出し（右）”のときには、デコーダから復号フレームを読み出すが、合成処理は行わずにデータを破棄する。
【００６８】
次に、図１０を用いて同期判定部２０５Ｒの動作を説明する。同期判定部２０５Ｒは、図１０に示すように、基準値として与えられた左眼用のフレーム番号を一時的に保存するフレーム番号保存部２１１、右眼用のフレーム番号を一時的に保存するフレーム番号保存部２１２、垂直同期信号によりフレーム番号をカウントし、その計数値を保持するフレーム番号計数部２１４、前記基準値と前記計数値の差分値を演算する差分演算部２１３、前記差分値と予め定められた閾値を比較し、比較結果により復号フレームを基準側と同期して出力するか否かを決定する比較決定部２１５、前記閾値を保存する閾値保存部２１６から構成される。
フレーム番号保存部２１２は入力されたフレーム番号を保存するとともに、受信状態を出力する。受信状態は“データ受信”、“データ未受信”の２通りであり、初期値は“データ未受信”とする。フレーム番号保存部２１２にフレーム番号が保存されると、受信状態が“データ受信”となる。それ以外の場合には受信状態は“データ未受信”の状態となっている。
【００６９】
フレーム番号計数部２１４では、垂直同期信号によりカウントした計数値を内部に保持している。この計数値はフレーム番号保存部２１１に基準値０が入力された際に、クリア信号により０にリセットされる。
【００７０】
以上のように構成された同期判定部２０５Ｒでは、基準値の入力をトリガとして図１１のフローチャートに示すような処理を開始する。以下、図１１を参照して同期判定部２０５Ｒの動作を説明する。
【００７１】
まず、差分演算部２１３において受信状態が“データ受信”であるか否かを判定する（ステップＳＴ３１）。ここで受信状態が“データ受信”ならば第２のステップ群（ステップＳＴ３５〜ステップＳＴ３９）に進む。そうでなければ第１のステップ群（ステップＳＴ３２〜ステップＳＴ３４）に進む。
【００７２】
第１のステップ群では、差分演算部２１３において第１の差分値（フレーム番号計数部２１４の計数値から基準値を減算した値）を計算し、比較決定部２１５に入力する（ステップＳＴ３２）。比較決定部２１５では、閾値保存部２１６から予め定められた第１の閾値を読み出して、入力された第１の差分値と第１の閾値の大小を比較する（ステップＳＴ３３）。第１の差分値が第１の閾値以下ならばステップＳＴ３１へ戻る。こうして前記第１の差分値が第１の閾値以下となっている間は第１のステップ群の処理を繰り返す。
【００７３】
ステップＳＴ３３において、フレーム番号保存部２１２に右眼用のフレーム番号が入力されないまま、第１の差分値が第１の閾値を越えるとステップＳＴ３４に進む。この場合は基準側と同期をとるフレームが存在しないと判断し、ステップＳＴ３４では復号フレームを破棄するために、読出し制御信号を“非同期読出し（左）”に変更する。
【００７４】
第１のステップ群を実行中にフレーム番号保存部２１２に右眼用のフレーム番号が入力され、受信状態が“データ受信”に変化すると、第２のステップが実行される。
【００７５】
一方、第２のステップ群では、差分演算部２１３は第２の差分値（フレーム番号保存部２１２のフレーム番号から基準値を減算した値）を演算し、比較決定部２１５に入力する（ステップＳＴ３５）。比較決定部２１５では、閾値保存部２１６から予め定められた第２の閾値を読み出して、入力された差分値の絶対値と閾値の大小を比較する（ステップＳＴ３６）。なお、第１の閾値と第２の閾値は同一でもよいし、異なっていてもよい。
【００７６】
ステップＳＴ３６において、差分値の絶対値が閾値以下の場合には、ステップＳＴ３７に進み、それ以外の場合にはステップＳＴ３８に進む。ステップＳＴ３７では、右眼用の復号フレームが基準側と同期をとるフレームであると判断し、読出し制御信号を“同期読出し”に変更し、受信状態を“データ未受信”に変更する。合成部２０６により読み出された左右の復号フレームが合成される。
【００７７】
一方、ＳＴ３８では右眼用の復号フレームが基準側と同期をとるフレームではないと判断し、該右眼用のフレームを破棄するために読出し制御信号を“非同期読出し（右）”に変更し、受信状態を“データ未受信”に変更する。ＳＴ３９において、前記第２の差分値が負の場合にはステップＳＴ３１に戻る。
【００７８】
図１２は同期判定部２０５Ｒの動作を説明するための模式説明図であり、第１の閾値および第２の閾値が２の場合に、基準フレームに対してフレームＡ〜Ｄのいずれかが復号された場合の動作を説明するものである。横軸はフレーム番号を表し、フレームは時系列順に並べて描かれている。基準フレームのフレーム番号はｎであり、例えばフレームＡのフレーム番号はｎ−３である。図１２に示すように右眼用のフレームのフレーム番号がｎ−２からｎ＋２までの間であれば、基準フレームと同時に出力される（フレームＢおよびフレームＣがこれに該当する）。
【００７９】
フレームＡの場合、処理が開始されたときには既に、受信状態が“データ受信”を示している。したがって、前記第２のステップが実行される。ステップＳＴ３５において算出される第２の差分値は−３であり、ステップＳＴ３６における判定の結果、フレームＡは破棄される。第２の差分値は負であるためステップＳＴ３１に戻る。
【００８０】
フレームＢの場合には、フレームＡの場合と同様に第２のステップが実行され、ステップＳＴ３６における判定の結果、基準フレームと同期して出力される。フレームＣの場合には、処理が開始されたときには受信状態は“データ未受信”を示している。したがって、前記第１のステップが繰り返し実行される。フレームＣが復号されると、第２のステップが実行され、ステップＳＴ３６における判定の結果、基準フレームと同期して出力される。
【００８１】
フレームＤの場合には、処理が開始されたときには受信状態は“データ未受信”を示している。したがって、前記第１のステップが繰り返し実行され、前記第１の差分値が閾値を越えるので、基準フレームが破棄される。
【００８２】
なお、基準となる左眼用のデコーダ２００Ｌにおいて、何らかの理由により符号化データの復号に失敗した場合、基準となるフレーム番号が得られないことになる。このとき復号装置全体が停止しないように、復号部２０２Ｌはフレーム番号の変わりに“復号フレームなし”を表す制御信号を出力する。この場合、同期判定部２０５Ｒは、例えば読出し制御信号を“非同期読出し（右）”に変更し、合成部２０６は合成処理行わずに読み出した右眼用の復号フレームを破棄するなどして、先に合成された画像を表示し続ける。
【００８３】
以上のようにして、左右のフレームでフレーム番号が一致していないような符号化データが入力された場合にも、視覚的に違和感のない範囲で復号フレームを合成して表示することが可能となる。
【００８４】
〔第６の実施形態〕
次に本発明の第６の実施形態による動画像復号装置について説明する。
【００８５】
図１３はこの第６の実施の形態による動画像復号装置の構成を示すブロック図である。図１３において図９と同一部分には同一符号が付してある。２２０Ｌは左眼用のデコーダ、２２０Ｒは右眼用のデコーダ、２２１は左右の復号フレームを同期して出力するか否かを判定する同期判定部、２２２は左右の画像を立体画像に合成する合成部である。この実施の形態ではデコーダ２２０Ｌおよび２２０Ｒは、それぞれ符号化された画像データを格納する符号化データ格納部２０１Ｌおよび２０１Ｒ、１フレーム分の画像データを復号する復号部２０２Ｌおよび２０２Ｒ、復号された１フレーム分のデータを格納するフレーム格納部２０３Ｌおよび２０３Ｒ、フレーム間の変化量を算出する変化量算出部２０９Ｌおよび２０９Ｒから構成される。
【００８６】
以上のように構成された動画像復号装置について、その動作を説明する。
【００８７】
符号化データ格納部２０１Ｌおよび２０１Ｒに格納された符号化データが、それぞれ復号部２０２Ｌおよび２０２Ｒにより読み出されて復号処理が行われるまでの動作は第１の実施の形態と同様であるのでここでの説明は省略する。
【００８８】
変化量算出部２０９Ｌおよび２０９Ｒでは、フレーム番号順で１つ前に出力したフレームと次に出力予定のフレームとの変化量を算出する。ここでは、変化量として２つのフレーム間におけるフレーム番号の差分値を用いた場合を例に説明する。最初に出力された左右の復号フレームのフレーム番号は双方とも０とし、変化量の初期値は０とする。最初のフレーム以外では、１つ前に出力したフレームのフレーム番号と次に出力予定のフレームのフレーム番号との差分値を計算し、変化量とする。計算された変化量は同期判定部２２１に入力される。
【００８９】
合成部２２２は読出し制御信号が“同期読出し”になってから、次の垂直同期信号により左右のデコーダから復号フレームを読み出し、立体動画像の合成処理を行う。
【００９０】
図１４に同期判定部２２１の構成例を示す。図１４に示すように、同期判定部２２１は双方のデコーダにより入力された変化量の差の絶対値を演算する演算部２２４と、前記差の絶対値と予め定められた閾値と比較し、比較結果により双方の復号フレームを同期して出力するか否かを決定する比較決定部２２５と、前記閾値を保存する閾値保存部２２３から構成される。
【００９１】
同期判定部２２１では、演算部２２４において双方のデコーダから入力された変化量の差の絶対値を演算し、比較決定部２２５に入力する。比較決定部２２５では、閾値保存部２２３から予め定められた閾値を読み出し、入力された演算結果が該閾値以下である場合、読出し制御信号を“同期読出し”に変化させる。それ以外の場合には、読出し制御信号は“読出し禁止”の状態を保持される。
【００９２】
図１５および図１６は復号フレームの時間的な位置関係を示した例である。図１５、図１６において、フレームＬ１およびＲ１は直前に出力したフレームであり、フレームＬ２およびＲ２は次に出力予定のフレームである。図１５では左眼側の復号フレームの変化量は３、右眼側の復号フレームの変化量も３である。この例では、左右の変化量はともに３であるため変化量の差の絶対値は０となる。例えば閾値保存部２２３に保存された閾値を１としたとき、差の絶対値は閾値以下となるため、読出し制御信号を“同期読出し”に変化させる。
【００９３】
一方、図１６に示した例では、左眼側のフレームＬ２についての変化量は３であり、右眼側のフレームＲ２についての変化量は５である。これらの差の絶対値は２であり、閾値よりも大きくなるため、読出し制御信号は“読出し禁止”の状態に保持される。図１６に示した例では、フレームＬ２は出力されず、次回の変化量の算出にも使用されない。次にフレームＬ３が復号された時、変化量の差の絶対値は０となりフレームＬ３とフレームＲ２が同期して出力される。
【００９４】
なお、上述の変化量としては、２つのフレーム間の差分絶対値和を使用しても良いし、符号化形式としてフレーム間予測符号化が用いられており、符号化データに参照フレームからの変位を示す動きベクトル情報が含まれている場合には、この動きベクトル情報を用いても良いし、それ以外でも構わない。
【００９５】
以上のようにして、左右のフレームでフレーム番号が一致していないような符号化データが入力された場合にも、視覚的に違和感のない範囲で復号フレームを合成して表示することが可能となる。
【００９６】
なお、これまで本発明の実施形態の説明を通して、動画像符号化装置および復号装置は伝送路を介して符号化データを通信する場合を例に用いたが、記録媒体に記録する場合についても同様にして本発明を適用することが可能である。
【００９７】
【発明の効果】
本発明によれば、第１の動画像信号を符号化する第１の符号化手段と、第２の動画像信号を符号化する第２の符号化手段とを備えた動画像符号化装置において、前記第１の動画像信号の符号化に用いる第１の符号化パラメータを算出する第１の符号化パラメータ算出手段と、前記第２の動画像信号の符号化に用いる第２の符号化パラメータを算出する第２の符号化パラメータ算出手段と、前記第２の符号化パラメータを修正するパラメータ修正手段とを備え、前記パラメータ修正手段は、前記第１の符号化パラメータを基準として前記第２の符号化パラメータを修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出すことなく、割り当て可能な符号量を効率的に利用できるという有利な効果が得られる。例えば基準側の符号化パラメータからフレーム番号を分離し、他の側のフレーム番号との差を予め閾値と比較してた側のフレーム番号を修正し、修正されたフレーム番号から他の側の符号化パラメータを修正する。フレーム番号が変更されたことにより割り当て符号量が変化するため、割り当て符号量を再計算し、該割り当て符号量に合うようにその他の符号化パラメータを変更する。フレーム番号が大きくなった場合には割り当て符号量が多くなるため、圧縮率が小さくなるように修正する。一方、フレーム番号が小さくなった場合には割り当て符号量が少なくなるため、圧縮率が大きくなるように修正する。このように、視覚的に差のない範囲で基準側にあわせて符号化パラメータを修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出すことなく、割り当て可能な符号量を効率的に利用できる。
【００９８】
また、第１の動画像信号を符号化する第１の符号化手段と、第２の動画像信号を符号化する第２の符号化手段とを備えた動画像符号化装置において、前記第１の動画像信号の符号化に用いる第１の符号化パラメータを算出する第１の符号化パラメータ算出手段と、前記第２の動画像信号の符号化に用いる第２の符号化パラメータを算出する第２の符号化パラメータ算出手段と、前記第１の符号化パラメータと前記第２の符号化パラメータのいずれか一方を基準のパラメータとして選択する基準選択手段と、前記第１の符号化パラメータおよび前記第２の符号化パラメータを修正するパラメータ修正手段とを備え、前記パラメータ修正手段は、前記基準の符号化パラメータを基準として他方の符号化パラメータを修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出すことなく、割り当て可能な符号量を効率的に利用できるという有利な効果が得られる。
そして、前記の効果に加えていずれかの符号化パラメータを適切に選択してパラメータを修正できる。
【００９９】
また、前記第１の符号化パラメータは、前記第１の動画像信号における符号化対象フレームの時間情報である第１の時間情報を含み、前記第２の符号化パラメータは、前記第２の動画像信号における符号化対象フレームの時間情報である第２の時間情報を含み、前記パラメータ修正手段は、前記第１の時間情報と第２の時間情報の差が所定の閾値を越える場合は、前記第１の時間情報と第２の時間情報の少なくとも一方を前記所定の閾値を越えないように修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出すことなく、割り当て可能な符号量を効率的に利用できるという有利な効果が得られる。
【０１００】
また、前記第１の符号化手段は、前符号化フレームと符号化対象フレーム間の変化量を算出する第１の変化量算出手段を備え、前記第２の符号化手段は、前符号化フレームと符号化対象フレーム間の変化量を算出する第２の変化量算出手段を備え、前記パラメータ修正手段は、前記第１の変化量算出手段で算出された第１の変化量と前記第２の変化量算出手段で算出された第２の変化量とが所定の近似関係を満たさない場合は、前記第１の時間情報と第２の時間情報の少なくとも一方を前記所定の近似関係を満たすように修正することにより、フレーム間の変化量を調べることにより同期のとれた複数の動画像信号間に視覚的な違和感を出すことなく、割り当て可能な符号量を効率的に利用できるという有利な効果が得られる。
【０１０１】
また、前記第１の符号化パラメータおよび前記第２の符号化パラメータは、フレーム内の画像信号のみを用いて符号化するフレーム内符号化か、他のフレームの画像信号を参照して符号化するフレーム間符号化かを示すフレーム種別情報を含み、前記パラメータ修正手段は、前記第１の符号化パラメータおよび前記第２の符号化パラメータのうち、一方の符号化パラメータに含まれる前記フレーム種別情報をもとに、他方の符号化パラメータに含まれる前記フレーム種別情報を修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出すことなく、割り当て可能な符号量を効率的に利用できるという有利な効果が得られる。なお、符号化パラメータを修正する場合には、例えばフレーム間符号化からフレーム内符号化への変更時には圧縮率が小さくなる方向に修正する。フレーム内符号化からフレーム間予測符号化への変更時には、圧縮率が大きくなる方向に修正する。変更された符号化パラメータは次のフレームの符号化時に使用される。
【０１０２】
また、第１の符号化データを復号する第１の復号手段と、第２の符号化データを復号する第２の復号手段とを備えた動画像復号装置において、前記第２の復号手段は、復号した第２の画像フレームを前記第１の復号手段で復号した第１の画像フレームと同期して出力するか否かを判定する同期判定手段を備えることにより、時間的に同期の取れていない符号化データを復号して、視覚的に違和感のない範囲で同期して出力するという有利な効果が得られる。
【０１０３】
また、前記同期判定手段は前記第２の画像フレームの時間情報と前記第１の復号手段から基準値として与えられた時間情報の差が、予め定められた閾値を超えない範囲である場合に、前記第１の画像フレームと同期して第２の画像フレームを出力すると判定することにより、時間的に同期の取れていない符号化データを復号して、視覚的に違和感のない範囲で同期して出力するという有利な効果が得られる。
【０１０４】
また、第１の符号化データを復号する第１の復号手段と、第２の符号化データを復号する第２の復号手段とを備えた動画像復号装置において、前記第１の復号手段で復号した第１の画像フレーム間における第１の変化量を算出する第１の変化量算出手段と、前記第２の復号手段で復号した第２の画像フレーム間における第２の変化量を算出する第２の変化量算出手段と、前記第１の変化量と前記第２の変化量に基づいて前記第１の画像フレームと前記第２の画像フレームとを同期して出力するか否かを判定する同期判定手段を備えることにより、時間的に同期の取れていない符号化データを復号して、視覚的に違和感のない範囲で同期して出力するという有利な効果が得られる。
【０１０５】
また、前記同期判定手段は、前記第１の変化量と前記第２の変化量との差が所定の閾値を越えない場合に、前記第１の画像フレームと前記第２の画像フレームとを同期して出力すると判定することにより、時間的に同期の取れていない符号化データを復号して、視覚的に違和感のない範囲で同期して出力するという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による動画像符号化装置の構成を示す図である。
【図２】本発明の実施形態におけるパラメータ修正部の構成例を示す図である。
【図３】本発明の実施形態におけるパラメータ修正部の動作を説明するための図である。
【図４】本発明の第２の実施形態による動画像符号化装置の構成を示す図である。
【図５】本発明の第３の実施形態による動画像符号化装置の構成を示す図である。
【図６】本発明の第３の実施形態におけるパラメータ修正部の構成例を示す図である。
【図７】本発明の第３の実施形態におけるパラメータ修正部の処理を説明するための図である。
【図８】本発明の第４実施形態におけるパラメータ修正部の構成例を示す図である。
【図９】本発明の第５の実施形態による動画像復号装置の構成例を示す図である。
【図１０】本発明の第５の実施形態における同期判定部の構成例を示す図である。
【図１１】本発明の第５の実施形態における同期判定部の動作を説明するための図である。
【図１２】本発明の第５の実施形態における同期判定部の動作を説明するための図である。
【図１３】本発明の第６の実施形態による動画像復号装置の構成例を示す図である。
【図１４】本発明の第６の実施形態における同期判定部の構成例を示す図である。
【図１５】本発明の第６の実施形態における同期判定部の動作を説明するための図である。
【図１６】本発明の第６の実施形態における同期判定部の動作を説明するための図である。
【図１７】従来技術による動画像符号化装置の構成例を示す図である。
【図１８】従来技術による動画像復号装置の構成例を示す図である。
【符号の説明】
１００Ｌ、１００Ｒ、１２０Ｌ、１２０Ｒ、１３０Ｌ、１３０Ｒ エンコーダ
１０１Ｌ、１０１Ｒ フレーム格納部
１０２Ｌ、１０２Ｒ 符号化部
１０３Ｌ、１０３Ｒ 符号化データ格納部
１０４Ｌ、１０４Ｒ パラメータ演算部
１０５Ｌ、１０５Ｒ、１０６Ｌ、１０６Ｒ パラメータ修正部
１１１、１１２、１４１、１４２、１４０ 分離部
１１３ 閾値保存部
１１４ 比較演算部
１１５、１４４ 修正部
１２１ 基準選択部
１１６ 比較・変更部
１１７ 変化量比較部
１４３ フレーム種別変更部
２００Ｌ、２００Ｒ、２２０Ｌ、２２０Ｒ デコーダ
２０１Ｌ、２０１Ｒ 符号化データ格納部
２０２Ｌ、２０２Ｒ 復号部
２０３Ｌ、２０３Ｒ フレーム格納部
２０４Ｌ、２０４Ｒ フレーム番号格納部
２０５Ｒ、２２１ 同期判定部
２０６、２２２ 合成部
２０９Ｌ、２０９Ｒ 変化量算出部
２１１、２１２ フレーム番号保存部
２１３ 差分演算部
２１４ フレーム番号係数部
２１５ 比較決定部
２１６ 閾値保存部
３００Ｌ、３００Ｒ エンコーダ
３０２Ｌ、３０２Ｒ 符号化部
３０３Ｌ、３０３Ｒ 符号化データ格納部
３０４ パラメータ演算部
３０５ パラメータ受信部
３０６ フレーム格納部
４００Ｌ、４００Ｒ デコーダ
４０１Ｌ、４０１Ｒ 符号化データ格納部
４０２Ｌ、４０２Ｒ 復号部
４０３Ｌ 垂直同期生成部
【発明の属する技術分野】
本発明は視差を有する左右２つの動画像信号など複数の動画像信号を符号化する動画像符号化装置および複数の符号化データを復号する動画像復号装置に係わり、特に符号化装置における動画像信号の取り込み時や復号装置における復号画像データ出力時の同期の取り方に関するものである。
【０００２】
【従来の技術】
連続する複数のフレームにより構成される動画像信号は膨大な情報量を持つため、伝送路を用いて動画像信号を伝送する際や光磁気ディスクなどの記録媒体に記録する際には、符号化して情報量を圧縮するのが一般的である。比較的低速な伝送路を用いて画像情報を伝送する場合、すべてのフレームを符号化して伝送することは不可能であるため、一般に伝送路の能力に合わせて入力される動画像のフレーム数を減らすことがよく行われる（これをコマ落しと呼ぶ）。また、画面の動きが激しいなどして符号化した画像情報が増大したときに、コマ落しを行って伝送する画像情報を削減する。コマ落しは符号化により発生した符号量に応じてフレーム毎に符号化するか否かを判定することにより行われる。
【０００３】
ところで、複数の動画像信号を符号化する際に、複数の動画像信号間でフレームが別々にコマ落しされると、受信側で同期のとれていない動画像が再生されてしまい、視差を有する２つの動画像信号の場合には立体視ができなくなるという問題がある。このような問題を解決するための技術が特開２００１−６９５３０号公報において開示されている。この技術は、左眼用と右眼用の符号化装置のいずれか一方を基準として選択し、基準側で決定した符号化パラメータ（コマ落しの有無や符号化されるフレームのフレーム番号など）をもう一方の符号化装置に転送する。こうして双方で同一のコマ落しを行い、左右同期を実現している。符号化装置側で左右同期をとるために、復号装置側では垂直同期信号にしたがって復号するだけで左右同期のとれた画像を再生し、立体視を可能としている。
【０００４】
図１７は従来技術による立体動画像符号化装置の構成例を、図１８は従来技術による立体動画像復号装置の構成例を示すブロック図である。図１７に示すように従来技術による立体動画像符号化装置は、左眼用のエンコーダ３００Ｌおよび右眼用のエンコーダ３００Ｒから構成され、左眼用の符号化装置３００Ｌは、符号化部３０２Ｌ、符号化データ格納部３０３Ｌ、パラメータ演算部３０４から構成される。また、右眼用のエンコーダ３００Ｒは、符号化部３０２Ｒ、符号化データ格納部３０３Ｒ、パラメータ受信部３０５、フレーム格納部３０６から構成される。
【０００５】
図１７の例では、左眼用のエンコーダ３００Ｌを基準としている。基準側のパラメータ演算部３０４では、左右の符号化データ格納部の状態（符号化データの占有量）に基づいてコマ落し数等の符号化パラメータの基準値を決定し、右眼用のエンコーダ３００Ｒに転送する。左右の符号化データ格納部の状態から符号化パラメータを算出する方法は、基準となる状態（双方の占有量の平均値、最大値、最小値など）を決定してから、基準となる状態をもとに符号化パラメータを算出する。右眼用のエンコーダ３００Ｒでは、パラメータ受信部３０５により左眼用のエンコーダ３００Ｌから転送されたパラメータを受信して、符号化部３０２Ｒで使用する。このようにして双方のエンコーダで同一のコマ落しを行い、左右同期を実現している。
【０００６】
また、従来技術による立体動画像復号装置は図１８に示すように、左眼用のデコーダ４００Ｌおよび右眼用のデコーダ４００Ｒから構成され、デコーダ４００Ｌおよび４００Ｒは、それぞれ符号化データ格納部４０１Ｌおよび４０１Ｒ、復号部４０２Ｌおよび４０２Ｒを持ち、さらに左眼用のデコーダ４００Ｌは垂直同期生成部４０３Ｌを持つ。この立体動画像復号装置では、復号部４０２Ｌおよび４０２Ｒは、垂直同期生成部４０３Ｌで独自に作成した垂直同期信号により、符号化データ格納部４０１Ｌおよび４０１Ｒに格納された符号化データを読み出して復号する。符号化時に同期がとられているために、垂直同期信号にしたがって復号するだけで立体視の可能な復号画像が得られる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来技術の動画像符号化装置および復号装置では次のような問題がある。まず、符号化装置側においては、前述のように符号化パラメータは符号化データ格納部の状態によって決定されるが、基準となる状態と実際の状態が一致しないという問題がある。例えば基準となる状態を左右の符号化データ格納部における占有量の平均値とすると、いずれのエンコーダにおいても実際の状態からは乖離する。実際の状態を基準とした状態と比較して、実際の占有量が基準とした占有量よりも大きい場合には、コマ落しされるフレーム数が不十分となる可能性がある。最悪の場合には、符号化により発生した符号量が制限容量を越えてオーバーフローを引き起こすという問題を有していた。また、実際の占有量が基準とした占有量よりも小さい場合、コマ落しされるフレーム数は十分であるが、符号化に利用可能な割り当て符号量を十分に利用していないという問題点を有していた。
【０００８】
また、復号装置においては、左右同期は符号化装置側で行われているために、符号化の際に同期に対する対応がなされていないような符号化データが入力された場合に、左右で全く異なるフレームを出力してしまい、視差を有する左右の動画像信号の場合には立体視が不可能になるという問題点を有していた。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、符号化装置においては、同期のとれた複数の動画像信号間に視覚的な違和感を出さずに、割り当て可能な符号量を効率的に利用可能にすることを目的とし、復号装置においては、時間情報の同期のとれていない複数の符号化データをフレーム毎に同期がとれるように復号可能にすることを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、第１の動画像信号を符号化する第１の符号化手段と、第２の動画像信号を符号化する第２の符号化手段とを備えた動画像符号化装置において、前記第１の動画像信号の符号化に用いる第１の符号化パラメータを算出する第１の符号化パラメータ算出手段と、前記第２の動画像信号の符号化に用いる第２の符号化パラメータを算出する第２の符号化パラメータ算出手段と、前記第２の符号化パラメータを修正するパラメータ修正手段とを備え、前記パラメータ修正手段は、前記第１の符号化パラメータを基準として前記第２の符号化パラメータを修正することで、上述の課題を解決する。
【００１１】
また、第１の動画像信号を符号化する第１の符号化手段と、第２の動画像信号を符号化する第２の符号化手段とを備えた動画像符号化装置において、前記第１の動画像信号の符号化に用いる第１の符号化パラメータを算出する第１の符号化パラメータ算出手段と、前記第２の動画像信号の符号化に用いる第２の符号化パラメータを算出する第２の符号化パラメータ算出手段と、前記第１の符号化パラメータと前記第２の符号化パラメータのいずれか一方を基準のパラメータとして選択する基準選択手段と、前記第１の符号化パラメータおよび前記第２の符号化パラメータを修正するパラメータ修正手段とを備え、前記パラメータ修正手段は、前記基準の符号化パラメータを基準として他方の符号化パラメータを修正することで、上述の課題を解決する。
【００１２】
また、前記第１の符号化パラメータは、前記第１の動画像信号における符号化対象フレームの時間情報である第１の時間情報を含み、前記第２の符号化パラメータは、前記第２の動画像信号における符号化対象フレームの時間情報である第２の時間情報を含み、前記パラメータ修正手段は、前記第１の時間情報と第２の時間情報の差が所定の閾値を越える場合は、前記第１の時間情報と第２の時間情報の少なくとも一方を前記所定の閾値を越えないように修正することで、上述の課題を解決する。
【００１３】
また、前記第１の符号化パラメータは、前記第１の動画像信号における符号化対象フレームの時間情報である第１の時間情報を含み、前記第２の符号化パラメータは、前記第２の動画像信号における符号化対象フレームの時間情報である第２の時間情報を含み、前記パラメータ修正手段は、前記第１の時間情報と第２の時間情報の差が所定の閾値を越える場合は、前記第１の時間情報と第２の時間情報の少なくとも一方を前記所定の閾値を越えないように修正することで、上述の課題を解決する。
【００１４】
また、前記第１の符号化手段は、前符号化フレームと符号化対象フレーム間の変化量を算出する第１の変化量算出手段を備え、前記第２の符号化手段は、前符号化フレームと符号化対象フレーム間の変化量を算出する第２の変化量算出手段を備え、前記パラメータ修正手段は、前記第１の変化量算出手段で算出された第１の変化量と前記第２の変化量算出手段で算出された第２の変化量とが所定の近似関係を満たさない場合は、前記第１の時間情報と第２の時間情報の少なくとも一方を前記所定の近似関係を満たすように修正することで、上述の課題を解決する。
【００１５】
また、前記第１の符号化パラメータおよび前記第２の符号化パラメータは、フレーム内の画像信号のみを用いて符号化するフレーム内符号化か、他のフレームの画像信号を参照して符号化するフレーム間符号化かを示すフレーム種別情報を含み、前記パラメータ修正手段は、前記第１の符号化パラメータおよび前記第２の符号化パラメータのうち、一方の符号化パラメータに含まれる前記フレーム種別情報をもとに、他方の符号化パラメータに含まれる前記フレーム種別情報を修正することで、上述の課題を解決する。
【００１６】
また、第１の符号化データを復号する第１の復号手段と、第２の符号化データを復号する第２の復号手段とを備えた動画像復号装置において、前記第２の復号手段は、復号した第２の画像フレームを前記第１の復号手段で復号した第１の画像フレームと同期して出力するか否かを判定する同期判定手段を備えることで、上述の課題を解決する。
【００１７】
また、前記同期判定手段は前記第２の画像フレームの時間情報と前記第１の復号手段から基準値として与えられた時間情報の差が、所定の閾値を超えない場合に、前記第１の画像フレームと同期して第２の画像フレームを出力すると判定することで、上述の課題を解決する。
【００１８】
また、第１の符号化データを復号する第１の復号手段と、第２の符号化データを復号する第２の復号手段とを備えた動画像復号装置において、前記第１の復号手段で復号した第１の画像フレーム間における第１の変化量を算出する第１の変化量算出手段と、前記第２の画像フレーム間における第２の変化量を算出する第２の変化量算出手段と、前記第１の変化量と前記第２の変化量に基づいて前記第１の画像フレームと前記第２の画像フレームとを同期して出力するか否かを判定する同期判定手段を備えることで、上述の課題を解決する。
【００１９】
また、前記同期判定手段は、前記第１の変化量と前記第２の変化量との差が所定の閾値を越えない場合に、前記第１の画像フレームと前記第２の画像フレームとを同期して出力すると判定することで、上述の課題を解決する。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。なお、実施形態を通して複数の動画像信号としては、視差を有する左右眼の動画像信号を例に、またフレームの時間情報としては、入力順において時間的に前のものから順に０、１、２…と数字を割り当てたフレーム番号を例に用いて説明する。
【００２１】
〔第１の実施形態〕
図１は本発明における第１の実施形態による動画像符号化装置の構成を示すブロック図である。図１において、１００Ｌは左眼用のエンコーダ、１００Ｒは右眼用のエンコーダである。この第１の実施形態では左眼用のエンコーダ１００Ｌを右眼用のエンコーダ１００Ｒの基準としている。左眼用のエンコーダ１００Ｌは垂直同期信号により動画像信号の１フレームを格納するフレーム格納部１０１Ｌ、動画像信号を符号化する符号化部１０２Ｌ、符号化された画像データを格納する符号化データ格納部１０３Ｌ、及び、符号化データの符号量から次のフレームを符号化する際に使用する符号化パラメータを算出するパラメータ演算部１０４Ｌから構成される。右眼用のエンコーダ１００Ｒは同様にして、垂直同期信号により動画像信号の１フレーム分のデータを格納するフレーム格納部１０１Ｒ、動画像信号を符号化する符号化部１０２Ｒ、符号化された画像データを格納する符号化データ格納部１０３Ｒ、符号化データの符号量から次のフレームを符号化する際に使用する符号化パラメータを算出するパラメータ演算部１０４Ｒ、及び、パラメータ演算部１０４Ｒにより算出された符号化パラメータを外部から与えられた基準値により修正するパラメータ修正部１０５Ｒから構成される。
【００２２】
以上のように構成された第１の実施形態の動画像符号化装置について、その動作を説明する。
【００２３】
フレーム格納部１０１Ｌおよび１０１Ｒには、動画像信号から分離した垂直同期信号により、１フレーム分の画像データが格納される。垂直同期信号はフレームの開始位置に挿入されているため、垂直同期信号にしたがってデータの記録を開始することで、１フレーム分の画像データを格納することができる。
【００２４】
符号化部１０２Ｌおよび１０２Ｒは動画像信号を符号化する。さらに、符号化するフレームのフレーム番号を垂直同期信号によりカウントし、内部に保持する。該フレーム番号はパラメータ演算部１０４Ｌおよび１０４Ｒに入力される。
【００２５】
符号化データ格納部１０３Ｌおよび１０３Ｒにはそれぞれ、符号化部１０２Ｌおよび１０２Ｒで画像データを符号化した後の符号化データが格納される（符号化データ格納部に格納されている符号化データの量を占有量と呼ぶ）。該動画像符号化装置が通信回線等の伝送路に接続されている場合には、伝送路から所定のレートで読み出されるため、一般に占有量は時間の経過とともに変動する。
【００２６】
パラメータ演算部１０４Ｌおよび１０４Ｒは、符号化データ格納部１０３Ｌおよび１０３Ｒにおける占有量が該符号化データ格納部の制限容量を越えないようにするために、１フレームに割り当て可能な符号量を計算し、符号化の結果得られる発生符号量が、割り当て符号量に近くなるような符号化パラメータを決定する。
【００２７】
パラメータ修正部１０５Ｒは、左眼用のエンコーダ１００Ｌにおいて算出された符号化パラメータを基準として、パラメータ演算部１０４Ｒで算出された符号化パラメータを修正する。
【００２８】
以上のように、エンコーダ１００Ｌおよび１００Ｒは１フレーム分の画像データを符号化して、発生符号量が所定の量となるように制御を行う。ところが、入力される動画像信号は内容が均一でないために、同一の符号化パラメータを使用しても、発生符号量が同一になるとは限らず、割り当て符号量を越えることや、反対に割り当て符号量よりも少なくなることがある。発生符号量が割り当て符号量を越えた場合には、符号化データ格納部１０３Ｌおよび１０３Ｒからデータが読み出されるのを待つ時間を大きくしなければならず、符号化されないフレーム数（すなわちコマ落しされるフレーム数）が増加することとなる。
【００２９】
以下、符号化開始から１フレームの符号化が終了するまでの動作を説明する。左右眼の動画像信号は、同期してエンコーダ１００Ｌおよび１００Ｒに入力され、１フレーム分の画像データが、それぞれフレーム格納部１０１Ｌおよび１０１Ｒに格納される。符号化部１０２Ｌは次の垂直同期信号により、フレーム格納部１０１Ｌからフレームデータを読み出して符号化を開始する。最初のフレームの符号化時には符号化パラメータの初期値を用いる。また、内部に保持しているフレーム番号を０にセットする。
【００３０】
１フレームの符号化終了後、パラメータ演算部１０４Ｌにおいて、次のフレームを符号化するための符号化パラメータを算出する。パラメータ演算部１０４Ｌは符号化データ格納部１０３Ｌの占有量から、割り当て符号量分の空きが確保できるまでに必要なフレームのコマ落し数と、割り当て符号量を実現するためのその他の符号化パラメータ（例えば量子化ステップなど）を算出する。
符号化部１０２Ｌから入力されたフレーム番号に、算出したコマ落し数を加えて、次に符号化するフレーム番号を求める。ここまでは右眼用のエンコーダ１００Ｒにおいても同様である。
【００３１】
パラメータ演算部１０４Ｌにおいて算出された符号化パラメータは、符号化部１０２Ｌに入力されるとともに、右眼用のエンコーダ１００Ｒに転送される。転送された符号化パラメータは基準値としてパラメータ修正部１０５Ｒに入力される。
【００３２】
図２は前記パラメータ修正部１０５Ｒの構成例を示すブロック図である。図２に示すように、パラメータ修正部１０５Ｒは符号化パラメータからフレーム番号を分離する分離部（基準値の左眼用符号化パラメータからフレーム番号を分離する分離部１１１および右眼用符号化パラメータからフレーム番号を分離する分離部１１２）、左右２つのフレーム番号の差と予め定められた閾値を比較し、右眼用のフレーム番号を修正する比較・変更部１１４、前記閾値を保存する閾値保存部１１３、修正されたフレーム番号により符号化パラメータ（右眼用符号化パラメータ）を修正する修正部１１５から構成される。以上のように構成されたパラメータ修正部１０５Ｒについて、その動作を説明する。
【００３３】
パラメータ修正部１０５Ｒは図３に示すような処理を行う。
まず、ステップＳＴ１では、分離部１１１により基準値として与えられた左眼用符号化パラメータからフレーム番号の基準値が分離され、同様にして分離部１１２により右眼用のフレーム番号が分離される。
ステップＳＴ２において、比較・変更部１１４は右眼用のフレーム番号と基準値との差分値を演算し（フレーム番号−基準値）、ステップＳＴ３で該差分値の絶対値と閾値保存部１１３に保存されている閾値とを比較する。ここで閾値は、フレーム間の変化が視覚的に大きな差のない範囲で予め決定されたものを使用する。
比較した結果、差分値の絶対値が閾値よりも大きい場合（ステップＳＴ３：Ｙｅｓ）には、ステップＳＴ４以下を実行してフレーム番号を変更する。具体的には、差分値≦０でありフレーム番号が基準値以下の場合（ステップＳＴ４：Ｙｅｓ）には、フレーム番号は「基準値−閾値」に変更され（ステップＳＴ５）、変更前の値よりも大きくなる。一方、差分値＞０でありフレーム番号が基準値よりも大きい場合（ステップＳＴ４：Ｎｏ）には、フレーム番号は「基準値＋閾値」に変更され（ステップＳＴ６）、変更前の値よりも小さくなる。
そして、ステップＳＴ７において、修正部１１５はフレーム番号以外のその他の符号化パラメータを修正する。この場合には、フレーム番号が変更されたことにより割り当て符号量が変化するため、割り当て符号量を再計算し、該割り当て符号量に合うようにその他の符号化パラメータを変更する。フレーム番号が大きくなった場合には割り当て符号量が多くなるため、圧縮率が小さくなるように修正する。一方、フレーム番号が小さくなった場合には割り当て符号量が少なくなるため、圧縮率が大きくなるように修正する。
【００３４】
以上のようにして、視覚的に差のない範囲で基準側にあわせて符号化パラメータを修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出すことなく、割り当て可能な符号量を効率的に利用できるようにする。
【００３５】
〔第２の実施形態〕
次に、本発明の第２の実施形態について説明する。この実施形態は、基準となるエンコーダを左右のエンコーダの一方から選択して用いるようにしたものである。
【００３６】
図４は本発明における第２の実施形態による動画像符号化装置の構成を示すブロック図である。図４において図１と同一部分には同一符号が付してある。符号１２０Ｌは左眼用のエンコーダ、１２０Ｒは右眼用のエンコーダである。１２１はエンコーダ１２０Ｌおよび１２０Ｒのいずれか一方を基準として選択する基準選択部である。左眼用のエンコーダ１２０Ｌは垂直同期信号により動画像信号の１フレームを格納するフレーム格納部１０１Ｌ、動画像信号を符号化する符号化部１０２Ｌ、符号化された画像データを格納する符号化データ格納部１０３Ｌ、符号化データの符号量から次のフレームを符号化する際に使用する符号化パラメータを算出するパラメータ演算部１０４Ｌ、及び、パラメータ演算部１０４Ｌにより算出された符号化パラメータを外部から与えられた基準値により修正するパラメータ修正部１０５Ｌから構成される。右眼用のエンコーダ１２０Ｒは同様にして、垂直同期信号により動画像信号の１フレーム分のデータを格納するフレーム格納部１０１Ｒ、動画像信号を符号化する符号化部１０２Ｒ、符号化された画像データを格納する符号化データ格納部１０３Ｒ、符号化データの符号量から次のフレームを符号化する際に使用する符号化パラメータを算出するパラメータ演算部１０４Ｒ、及び、パラメータ演算部１０４Ｒにより算出された符号化パラメータを外部から与えられた基準値により修正するパラメータ修正部１０５Ｒから構成される。
【００３７】
以上のように構成された動画像符号化装置について、その動作を説明する。
【００３８】
符号化開始から１フレームの符号化処理が終了し、符号化パラメータが算出されるまでの動作は第１の実施形態と同様であるので、ここでの説明は省略する。パラメータ演算部１０４Ｌおよび１０４Ｒにより算出された符号化パラメータは基準選択部１２１に入力される。
【００３９】
基準選択部１２１は入力された符号化パラメータを元に、左眼用のエンコーダ１２０Ｌおよび右眼用のエンコーダ１２０Ｒから基準となる側を選択する。選択する際の判定方法としては、例えば符号化パラメータのうちのフレーム番号を比較し、番号の小さい方を基準側として選択する。小さい方を基準とすることで、全体としてコマ落しされるフレーム数を減らし、動きを優先した符号化を行うことができる。ここでは左眼用のエンコーダ１２０Ｌが基準として選択されたものとする。基準選択部１２１は基準として選択した左眼用のエンコーダ１２０Ｌの符号化パラメータを、基準値として右眼用のエンコーダ１２０Ｒに転送する。
【００４０】
右眼用のエンコーダ１２０Ｒにおいて、基準値を元にして算出した符号化パラメータを修正する方法は第１の実施形態と同様であるため、ここでの説明は省略する。
【００４１】
なお、基準となる側の選択方法は、フレーム番号の大きい方を基準として選択しても良いし、それ以外の方法でも良い。
【００４２】
〔第３の実施形態〕
次に、本発明の第３の実施形態による動画像符号化装置について説明する。この第３の実施形態は、符号化パラメータを修正する際に左右のエンコーダにおいてフレーム間の変化量を算出し、これらの変化量が所定の近似関係を満たすように符号化するフレームを決定するものである。
【００４３】
図５は、この第３の本実施形態による動画像符号化装置の構成を示すブロック図である。図５において図４と同一部分には同一符号が付してある。符号１３０Ｌは左眼用のエンコーダ、１３０Ｒは右眼用のエンコーダ、１２１はエンコーダ１３０Ｌおよび１３０Ｒのいずれか一方を基準として選択する基準選択部である。エンコーダ１３０Ｌおよび１３０Ｒはそれぞれ、垂直同期信号により動画像信号の１フレームを格納するフレーム格納部１０１Ｌおよび１０１Ｒ、動画像信号を符号化する符号化部１０２Ｌおよび１０２Ｒ、符号化された画像データを格納する符号化データ格納部１０３Ｌおよび１０３Ｒ、符号化データの符号量から次のフレームを符号化する際に使用する符号化パラメータを算出するパラメータ演算部１０４Ｌおよび１０４Ｒ、フレーム間の変化量を算出する変化量算出部１０７Ｌおよび１０７Ｒ、前記変化量と外部から与えられた基準値とからパラメータ演算部１０４Ｌおよび１０４Ｒにより算出された符号化パラメータを修正するパラメータ修正部１０６Ｌおよび１０６Ｒから構成される。
【００４４】
以上のように構成された動画像符号化装置について、その動作を説明する。ここでフレーム番号ｉのフレームをフレーム（ｉ）と表す。
【００４５】
符号化開始から１フレームの符号化処理が終了し、符号化パラメータが算出されるまでの動作は第１の実施形態と同様であるので、ここでの説明は省略する。１フレームの符号化が終了したとき、左眼用のエンコーダ１３０Ｌにおいて算出されたフレーム番号をＪ、右眼用のエンコーダ１３０Ｒにおいて算出されたフレーム番号をＫ（ただしＪ＜Ｋ）とする。基準選択部１２１により、左眼用のエンコーダ１３０Ｌが基準として選択されたものとすると、エンコーダ１３０Ｒでは、パラメータ修正部１０６Ｒにより前述のステップＳＴ１からＳＴ７までの処理が実行される。その結果、閾値をＴとすると、｜Ｋ−Ｊ｜≦Ｔの場合には符号化パラメータは修正されず、それ以外の場合には、Ｊ＜Ｋの条件からフレーム番号ＫはＫ’＝Ｊ＋Ｔに修正される。
【００４６】
符号化パラメータが修正されない場合には、左眼用のエンコーダ１３０Ｌにおいてフレーム（Ｊ）、右眼用のエンコーダ１３０Ｒにおいてフレーム（Ｋ）を符号化する。
一方、符号化パラメータが修正された場合、さらに以下の処理が実行される。
【００４７】
左眼用のエンコーダ１３０Ｌでは、符号化部１０２Ｌは内部に保持しているフレーム番号とパラメータ演算部１０４Ｌにより算出されたフレーム番号Ｊとが一致した時点で符号化を開始する。同時に変化量算出部１０７Ｌにおいて、先に符号化されたフレームと現在符号化しているフレーム（Ｊ）間の第１の変化量を算出し、右眼用エンコーダ１３０Ｒに転送する。変化量としては例えば、２つのフレーム間の同位置における画素ごとに計算した階調値の差の絶対値を全画素について合計した差分絶対値和を使用する。
【００４８】
右眼用のエンコーダ１３０Ｒでは、フレーム格納部１０１Ｒに格納されたフレームのフレーム番号Ｎがパラメータ修正部１０６Ｒにより修正されたフレーム番号Ｋ’と一致するか確認する。Ｎ＝Ｋ’となった時点で、エンコーダ１３０Ｒは変化量算出部１０７Ｒにおいて、フレーム格納部１０１Ｒに格納されたフレーム（Ｎ）と先に符号化されたフレーム（Ｍ）との第２の変化量を算出する。算出された第２の変化量はパラメータ修正部１０６Ｒに入力される。
【００４９】
パラメータ修正部１０６Ｒでは、前記第１の変化量と前記第２の変化量を比較し、所定の近似関係を満たす範囲で符号化パラメータを修正する。
【００５０】
符号化部１０２Ｒではフレーム格納部１０１Ｒに格納されているフレーム（Ｎ’）を修正後の符号化パラメータを用いて符号化する。
【００５１】
図６は、パラメータ修正部１０６Ｌおよび１０６Ｒの構成例を示すブロック図である。図６において図２と同一部分には同一符号が付してある。図６に示すように、パラメータ修正部１０６Ｌおよび１０６Ｒは符号化パラメータからフレーム番号を分離する分離部１１１および１１２、フレーム番号の差と予め定められた閾値を比較し、パラメータを修正するか否かを決定する比較・変更部１１６、前記閾値を保存する閾値保存部１１３、符号化パラメータを修正する修正部１１５、変化量を基準値と比較する変化量比較部１１７から構成される。以上のように構成されたパラメータ修正部１０６Ｌおよび１０６Ｒについて、その動作を説明する。なお、これらのパラメータ修正部の動作は同じであるため、ここでは基準選択部１２１により、左眼用のエンコーダ１３０Ｌが基準として選択されたものとして、右眼用のエンコーダ１３０Ｒにおけるパラメータ修正部１０６Ｒの動作を説明する。
【００５２】
パラメータ修正部１０６Ｒでは、変化量の基準値の入力をトリガとして、図７に示す処理を開始する。まず、ステップＳＴ２１では、変化量算出部１０７Ｒから第２の変化量を受信する。次にステップＳＴ２２ではパラメータ修正部１０６Ｒ内の変化量比較部１１７において、左眼用のエンコーダから入力された基準値と変化量算出部１０７Ｒで算出した第２の変化量とが比較され、フレーム（Ｎ）を符号化するか否かが決定される。フレーム（Ｎ）を符号化しない場合には、ステップＳＴ２４に進み、Ｎをインクリメントし、ステップＳＴ２１およびＳ２２を繰り返す。ステップＳＴ２２における判定の方法としては、例えば算出された変化量が基準値よりも小さい間は符号化しないものとし、はじめて基準値を越えた時点のフレームを符号化する。符号化するフレームが決まったらステップＳＴ２３に進み、フレーム番号以外のその他の符号化パラメータを修正して符号化部１０２Ｒに入力する。
【００５３】
フレーム間の変化量を調べることにより、視覚的に違和感のない範囲で、コマ落しされるフレーム数を多くすることができる。
【００５４】
なお、所定の近似関係としては上記以外にも予め定められた閾値との類似度を用いても良いし、それ以外の方法でも良い。
【００５５】
以上のようにして、フレーム間の変化が少ない場合には閾値保存部１１３の閾値を越えてコマ落しされるようにする。そうして、視覚的に差のない範囲で基準側に合うように符号化パラメータを修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出さずに、割り当て可能な符号量を効率的に利用できるようにする。
【００５６】
〔第４の実施形態〕
次に本発明の第４の実施形態について説明する。この第４の実施形態は、フレーム内の情報のみで符号化を行うフレーム内符号化と、先に符号化されたフレームを予測値として用いるフレーム間予測符号化を選択する符号化方式を使用した場合の例である。次のフレームをいずれの方式で符号化するかを示す情報が符号化パラメータに含まれる（ここではこの情報をフレーム種別と呼ぶ）。
【００５７】
一般にフレーム内符号化の場合、フレーム間予測符号化よりも発生符号量が多くなる。左右のエンコーダのいずれか一方においてフレーム内符号化が選択されたとき、もう一方のエンコーダでフレーム間予測符号化が選択されると、符号化データ格納部１０３Ｌおよび１０３Ｒにおける占有量の差が大きくなり、コマ落しされるフレーム数だけの調整では不十分となることがある。したがって、この第４の実施形態では基準となるエンコーダがフレーム内符号化を選択した場合には、もう一方のエンコーダにおいてもフレーム内符号化が選択されるようにして符号化パラメータを修正する。
【００５８】
図８にこの第４の実施形態におけるパラメータ修正部１４０の構成例を示す。図８において、パラメータ修正部１４０は符号化パラメータからフレーム種別を分離する分離部１４１および１４２、フレーム種別を変更するフレーム種別変更部１４３、変更されたフレーム種別により符号化パラメータを修正する修正部１４４から構成される。
【００５９】
以下、パラメータ修正部１４０の動作を説明する。分離部１４１により基準値として与えられた符号化パラメータからフレーム種別の基準値が分離され、同様にして分離部１４２により右眼用のフレーム種別が分離される。フレーム種別変更部１４３は右眼用のフレーム種別と基準値とを比較する。比較した結果、右眼用のフレーム種別が基準値と異なる場合には基準値に一致させ、修正部１４４において符号化パラメータを修正する。符号化パラメータを修正する場合には、フレーム間符号化からフレーム内符号化への変更時には圧縮率が小さくなる方向に修正する。フレーム内符号化からフレーム間予測符号化への変更時には、圧縮率が大きくなる方向に修正する。変更された符号化パラメータは次のフレームの符号化時に使用される。
【００６０】
なお、ここではフレーム種別の変更のみの例について説明したが、前述のパラメータ修正部１０５Ｒあるいは１０６Ｌおよび１０６Ｒと組み合わせて使用することも可能である。この場合、符号化パラメータからフレーム番号とフレーム種別が分離部により分離され、それぞれ基準値をもとに修正される。
【００６１】
以上のようにして、視覚的に差のない範囲で基準側にあわせて符号化パラメータを修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出さずに、割り当て可能な符号量を効率的に利用できるようにする。
【００６２】
以下では、一般的な符号化データに加えて、前述した動画像符号化装置により作成された符号化データから動画像信号を復号する動画像復号装置について説明する。なお、実施形態を通して、複数の符号化データとしては視差を有する左右眼の動画像信号が符号化されたものを例に用い、フレームの時間情報としては表示順において時間的に前のものから０、１、２…と数字を割り当てたフレーム番号を例に用いて説明する。
【００６３】
〔第５の実施形態〕
図９は本発明における動画像復号装置の第５の実施形態による構成を示すブロック図である。図９において、２００Ｌは左眼用のデコーダ、２００Ｒは右眼用のデコーダ、２０６は左右の画像を立体画像に合成する合成部である。この実施形態では左眼用のデコーダ２００Ｌを右眼用のデコーダ２００Ｒの基準としている。左眼用のデコーダは符号化された画像データを格納する符号化データ格納部２０１Ｌ、１フレーム分の画像データを復号する復号部２０２Ｌ、復号された１フレーム分の画像データを格納するフレーム格納部２０３Ｌ、復号されたフレームのフレーム番号を格納するフレーム番号格納部２０４Ｌから構成される。右眼用のデコーダは同様にして、符号化された画像データを格納する符号化データ格納部２０１Ｒ、１フレーム分の画像データを復号する復号部２０２Ｒ、復号された１フレーム分のデータを格納するフレーム格納部２０３Ｒ、復号されたフレームのフレーム番号を格納するフレーム番号格納部２０４Ｒ、および、フレーム番号格納部２０４Ｒにより入力されたフレーム番号と外部から与えられたフレーム番号の基準値とから、該デコーダの復号フレームを基準側の復号フレームと同期して出力するか否かを判定する同期判定部２０５Ｒから構成される。
【００６４】
以上のように構成された動画像復号装置について、その動作を説明する。
【００６５】
符号化データ格納部２０１Ｌおよび２０１Ｒには、それぞれ、動画像信号を符号化した後の符号化データが格納される。該動画像復号装置が通信回線等の伝送路に接続されている場合には、左右眼の符号化データが所定のレートで符号化装置に入力され、それぞれ符号化データ格納部２０１Ｌおよび２０１Ｒに格納される。符号化データ格納部２０１Ｌおよび２０１Ｒにおける符号化データの占有量が所定の値を越えると、復号部２０２Ｌおよび２０２Ｒにより読み出されて復号処理が開始される。復号処理はフレーム単位で行われ、フレーム格納部２０３Ｌおよび２０３Ｒに、復号部２０２Ｌおよび２０２Ｒにより符号化データから復号された復号フレームが格納される。
【００６６】
フレーム番号格納部２０４Ｌおよび２０４Ｒには、復号部２０２Ｌおよび２０２Ｒにより符号化データから復号されたフレーム番号が格納される。複数のフレーム番号が格納されている場合には、該フレーム番号格納部は最も小さいものを選択して出力する。なお、符号化データが双方向予測を用いた方式で符号化されているような場合には、符号化データ中のフレーム順と表示の際のフレーム順が異なる場合があるが、本実施例では復号部から出力されるフレームは表示順に並べ替えられているものとする。フレーム番号格納部２０４Ｌに格納された左眼用のフレーム番号は同期判定部２０５Ｒに基準値として入力される。同期判定部２０５Ｒは左右の復号画像が同期して読出し可能な場合に、読出し制御信号を“読出し禁止”から“同期読出し”に変更する。このほか、読出し制御信号は、左眼用の復号画像のみを読み出す“非同期読出し（左）”および右眼用の復号画像のみを読み出す“非同期読出し（右）”の状態をとりうる。
【００６７】
合成部２０６は読出し制御信号が“同期読出し”のときに、左右のデコーダから復号フレームを読み出し、立体動画像の合成処理を行う。“非同期読出し（左）”および“非同期読出し（右）”のときには、デコーダから復号フレームを読み出すが、合成処理は行わずにデータを破棄する。
【００６８】
次に、図１０を用いて同期判定部２０５Ｒの動作を説明する。同期判定部２０５Ｒは、図１０に示すように、基準値として与えられた左眼用のフレーム番号を一時的に保存するフレーム番号保存部２１１、右眼用のフレーム番号を一時的に保存するフレーム番号保存部２１２、垂直同期信号によりフレーム番号をカウントし、その計数値を保持するフレーム番号計数部２１４、前記基準値と前記計数値の差分値を演算する差分演算部２１３、前記差分値と予め定められた閾値を比較し、比較結果により復号フレームを基準側と同期して出力するか否かを決定する比較決定部２１５、前記閾値を保存する閾値保存部２１６から構成される。
フレーム番号保存部２１２は入力されたフレーム番号を保存するとともに、受信状態を出力する。受信状態は“データ受信”、“データ未受信”の２通りであり、初期値は“データ未受信”とする。フレーム番号保存部２１２にフレーム番号が保存されると、受信状態が“データ受信”となる。それ以外の場合には受信状態は“データ未受信”の状態となっている。
【００６９】
フレーム番号計数部２１４では、垂直同期信号によりカウントした計数値を内部に保持している。この計数値はフレーム番号保存部２１１に基準値０が入力された際に、クリア信号により０にリセットされる。
【００７０】
以上のように構成された同期判定部２０５Ｒでは、基準値の入力をトリガとして図１１のフローチャートに示すような処理を開始する。以下、図１１を参照して同期判定部２０５Ｒの動作を説明する。
【００７１】
まず、差分演算部２１３において受信状態が“データ受信”であるか否かを判定する（ステップＳＴ３１）。ここで受信状態が“データ受信”ならば第２のステップ群（ステップＳＴ３５〜ステップＳＴ３９）に進む。そうでなければ第１のステップ群（ステップＳＴ３２〜ステップＳＴ３４）に進む。
【００７２】
第１のステップ群では、差分演算部２１３において第１の差分値（フレーム番号計数部２１４の計数値から基準値を減算した値）を計算し、比較決定部２１５に入力する（ステップＳＴ３２）。比較決定部２１５では、閾値保存部２１６から予め定められた第１の閾値を読み出して、入力された第１の差分値と第１の閾値の大小を比較する（ステップＳＴ３３）。第１の差分値が第１の閾値以下ならばステップＳＴ３１へ戻る。こうして前記第１の差分値が第１の閾値以下となっている間は第１のステップ群の処理を繰り返す。
【００７３】
ステップＳＴ３３において、フレーム番号保存部２１２に右眼用のフレーム番号が入力されないまま、第１の差分値が第１の閾値を越えるとステップＳＴ３４に進む。この場合は基準側と同期をとるフレームが存在しないと判断し、ステップＳＴ３４では復号フレームを破棄するために、読出し制御信号を“非同期読出し（左）”に変更する。
【００７４】
第１のステップ群を実行中にフレーム番号保存部２１２に右眼用のフレーム番号が入力され、受信状態が“データ受信”に変化すると、第２のステップが実行される。
【００７５】
一方、第２のステップ群では、差分演算部２１３は第２の差分値（フレーム番号保存部２１２のフレーム番号から基準値を減算した値）を演算し、比較決定部２１５に入力する（ステップＳＴ３５）。比較決定部２１５では、閾値保存部２１６から予め定められた第２の閾値を読み出して、入力された差分値の絶対値と閾値の大小を比較する（ステップＳＴ３６）。なお、第１の閾値と第２の閾値は同一でもよいし、異なっていてもよい。
【００７６】
ステップＳＴ３６において、差分値の絶対値が閾値以下の場合には、ステップＳＴ３７に進み、それ以外の場合にはステップＳＴ３８に進む。ステップＳＴ３７では、右眼用の復号フレームが基準側と同期をとるフレームであると判断し、読出し制御信号を“同期読出し”に変更し、受信状態を“データ未受信”に変更する。合成部２０６により読み出された左右の復号フレームが合成される。
【００７７】
一方、ＳＴ３８では右眼用の復号フレームが基準側と同期をとるフレームではないと判断し、該右眼用のフレームを破棄するために読出し制御信号を“非同期読出し（右）”に変更し、受信状態を“データ未受信”に変更する。ＳＴ３９において、前記第２の差分値が負の場合にはステップＳＴ３１に戻る。
【００７８】
図１２は同期判定部２０５Ｒの動作を説明するための模式説明図であり、第１の閾値および第２の閾値が２の場合に、基準フレームに対してフレームＡ〜Ｄのいずれかが復号された場合の動作を説明するものである。横軸はフレーム番号を表し、フレームは時系列順に並べて描かれている。基準フレームのフレーム番号はｎであり、例えばフレームＡのフレーム番号はｎ−３である。図１２に示すように右眼用のフレームのフレーム番号がｎ−２からｎ＋２までの間であれば、基準フレームと同時に出力される（フレームＢおよびフレームＣがこれに該当する）。
【００７９】
フレームＡの場合、処理が開始されたときには既に、受信状態が“データ受信”を示している。したがって、前記第２のステップが実行される。ステップＳＴ３５において算出される第２の差分値は−３であり、ステップＳＴ３６における判定の結果、フレームＡは破棄される。第２の差分値は負であるためステップＳＴ３１に戻る。
【００８０】
フレームＢの場合には、フレームＡの場合と同様に第２のステップが実行され、ステップＳＴ３６における判定の結果、基準フレームと同期して出力される。フレームＣの場合には、処理が開始されたときには受信状態は“データ未受信”を示している。したがって、前記第１のステップが繰り返し実行される。フレームＣが復号されると、第２のステップが実行され、ステップＳＴ３６における判定の結果、基準フレームと同期して出力される。
【００８１】
フレームＤの場合には、処理が開始されたときには受信状態は“データ未受信”を示している。したがって、前記第１のステップが繰り返し実行され、前記第１の差分値が閾値を越えるので、基準フレームが破棄される。
【００８２】
なお、基準となる左眼用のデコーダ２００Ｌにおいて、何らかの理由により符号化データの復号に失敗した場合、基準となるフレーム番号が得られないことになる。このとき復号装置全体が停止しないように、復号部２０２Ｌはフレーム番号の変わりに“復号フレームなし”を表す制御信号を出力する。この場合、同期判定部２０５Ｒは、例えば読出し制御信号を“非同期読出し（右）”に変更し、合成部２０６は合成処理行わずに読み出した右眼用の復号フレームを破棄するなどして、先に合成された画像を表示し続ける。
【００８３】
以上のようにして、左右のフレームでフレーム番号が一致していないような符号化データが入力された場合にも、視覚的に違和感のない範囲で復号フレームを合成して表示することが可能となる。
【００８４】
〔第６の実施形態〕
次に本発明の第６の実施形態による動画像復号装置について説明する。
【００８５】
図１３はこの第６の実施の形態による動画像復号装置の構成を示すブロック図である。図１３において図９と同一部分には同一符号が付してある。２２０Ｌは左眼用のデコーダ、２２０Ｒは右眼用のデコーダ、２２１は左右の復号フレームを同期して出力するか否かを判定する同期判定部、２２２は左右の画像を立体画像に合成する合成部である。この実施の形態ではデコーダ２２０Ｌおよび２２０Ｒは、それぞれ符号化された画像データを格納する符号化データ格納部２０１Ｌおよび２０１Ｒ、１フレーム分の画像データを復号する復号部２０２Ｌおよび２０２Ｒ、復号された１フレーム分のデータを格納するフレーム格納部２０３Ｌおよび２０３Ｒ、フレーム間の変化量を算出する変化量算出部２０９Ｌおよび２０９Ｒから構成される。
【００８６】
以上のように構成された動画像復号装置について、その動作を説明する。
【００８７】
符号化データ格納部２０１Ｌおよび２０１Ｒに格納された符号化データが、それぞれ復号部２０２Ｌおよび２０２Ｒにより読み出されて復号処理が行われるまでの動作は第１の実施の形態と同様であるのでここでの説明は省略する。
【００８８】
変化量算出部２０９Ｌおよび２０９Ｒでは、フレーム番号順で１つ前に出力したフレームと次に出力予定のフレームとの変化量を算出する。ここでは、変化量として２つのフレーム間におけるフレーム番号の差分値を用いた場合を例に説明する。最初に出力された左右の復号フレームのフレーム番号は双方とも０とし、変化量の初期値は０とする。最初のフレーム以外では、１つ前に出力したフレームのフレーム番号と次に出力予定のフレームのフレーム番号との差分値を計算し、変化量とする。計算された変化量は同期判定部２２１に入力される。
【００８９】
合成部２２２は読出し制御信号が“同期読出し”になってから、次の垂直同期信号により左右のデコーダから復号フレームを読み出し、立体動画像の合成処理を行う。
【００９０】
図１４に同期判定部２２１の構成例を示す。図１４に示すように、同期判定部２２１は双方のデコーダにより入力された変化量の差の絶対値を演算する演算部２２４と、前記差の絶対値と予め定められた閾値と比較し、比較結果により双方の復号フレームを同期して出力するか否かを決定する比較決定部２２５と、前記閾値を保存する閾値保存部２２３から構成される。
【００９１】
同期判定部２２１では、演算部２２４において双方のデコーダから入力された変化量の差の絶対値を演算し、比較決定部２２５に入力する。比較決定部２２５では、閾値保存部２２３から予め定められた閾値を読み出し、入力された演算結果が該閾値以下である場合、読出し制御信号を“同期読出し”に変化させる。それ以外の場合には、読出し制御信号は“読出し禁止”の状態を保持される。
【００９２】
図１５および図１６は復号フレームの時間的な位置関係を示した例である。図１５、図１６において、フレームＬ１およびＲ１は直前に出力したフレームであり、フレームＬ２およびＲ２は次に出力予定のフレームである。図１５では左眼側の復号フレームの変化量は３、右眼側の復号フレームの変化量も３である。この例では、左右の変化量はともに３であるため変化量の差の絶対値は０となる。例えば閾値保存部２２３に保存された閾値を１としたとき、差の絶対値は閾値以下となるため、読出し制御信号を“同期読出し”に変化させる。
【００９３】
一方、図１６に示した例では、左眼側のフレームＬ２についての変化量は３であり、右眼側のフレームＲ２についての変化量は５である。これらの差の絶対値は２であり、閾値よりも大きくなるため、読出し制御信号は“読出し禁止”の状態に保持される。図１６に示した例では、フレームＬ２は出力されず、次回の変化量の算出にも使用されない。次にフレームＬ３が復号された時、変化量の差の絶対値は０となりフレームＬ３とフレームＲ２が同期して出力される。
【００９４】
なお、上述の変化量としては、２つのフレーム間の差分絶対値和を使用しても良いし、符号化形式としてフレーム間予測符号化が用いられており、符号化データに参照フレームからの変位を示す動きベクトル情報が含まれている場合には、この動きベクトル情報を用いても良いし、それ以外でも構わない。
【００９５】
以上のようにして、左右のフレームでフレーム番号が一致していないような符号化データが入力された場合にも、視覚的に違和感のない範囲で復号フレームを合成して表示することが可能となる。
【００９６】
なお、これまで本発明の実施形態の説明を通して、動画像符号化装置および復号装置は伝送路を介して符号化データを通信する場合を例に用いたが、記録媒体に記録する場合についても同様にして本発明を適用することが可能である。
【００９７】
【発明の効果】
本発明によれば、第１の動画像信号を符号化する第１の符号化手段と、第２の動画像信号を符号化する第２の符号化手段とを備えた動画像符号化装置において、前記第１の動画像信号の符号化に用いる第１の符号化パラメータを算出する第１の符号化パラメータ算出手段と、前記第２の動画像信号の符号化に用いる第２の符号化パラメータを算出する第２の符号化パラメータ算出手段と、前記第２の符号化パラメータを修正するパラメータ修正手段とを備え、前記パラメータ修正手段は、前記第１の符号化パラメータを基準として前記第２の符号化パラメータを修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出すことなく、割り当て可能な符号量を効率的に利用できるという有利な効果が得られる。例えば基準側の符号化パラメータからフレーム番号を分離し、他の側のフレーム番号との差を予め閾値と比較してた側のフレーム番号を修正し、修正されたフレーム番号から他の側の符号化パラメータを修正する。フレーム番号が変更されたことにより割り当て符号量が変化するため、割り当て符号量を再計算し、該割り当て符号量に合うようにその他の符号化パラメータを変更する。フレーム番号が大きくなった場合には割り当て符号量が多くなるため、圧縮率が小さくなるように修正する。一方、フレーム番号が小さくなった場合には割り当て符号量が少なくなるため、圧縮率が大きくなるように修正する。このように、視覚的に差のない範囲で基準側にあわせて符号化パラメータを修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出すことなく、割り当て可能な符号量を効率的に利用できる。
【００９８】
また、第１の動画像信号を符号化する第１の符号化手段と、第２の動画像信号を符号化する第２の符号化手段とを備えた動画像符号化装置において、前記第１の動画像信号の符号化に用いる第１の符号化パラメータを算出する第１の符号化パラメータ算出手段と、前記第２の動画像信号の符号化に用いる第２の符号化パラメータを算出する第２の符号化パラメータ算出手段と、前記第１の符号化パラメータと前記第２の符号化パラメータのいずれか一方を基準のパラメータとして選択する基準選択手段と、前記第１の符号化パラメータおよび前記第２の符号化パラメータを修正するパラメータ修正手段とを備え、前記パラメータ修正手段は、前記基準の符号化パラメータを基準として他方の符号化パラメータを修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出すことなく、割り当て可能な符号量を効率的に利用できるという有利な効果が得られる。
そして、前記の効果に加えていずれかの符号化パラメータを適切に選択してパラメータを修正できる。
【００９９】
また、前記第１の符号化パラメータは、前記第１の動画像信号における符号化対象フレームの時間情報である第１の時間情報を含み、前記第２の符号化パラメータは、前記第２の動画像信号における符号化対象フレームの時間情報である第２の時間情報を含み、前記パラメータ修正手段は、前記第１の時間情報と第２の時間情報の差が所定の閾値を越える場合は、前記第１の時間情報と第２の時間情報の少なくとも一方を前記所定の閾値を越えないように修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出すことなく、割り当て可能な符号量を効率的に利用できるという有利な効果が得られる。
【０１００】
また、前記第１の符号化手段は、前符号化フレームと符号化対象フレーム間の変化量を算出する第１の変化量算出手段を備え、前記第２の符号化手段は、前符号化フレームと符号化対象フレーム間の変化量を算出する第２の変化量算出手段を備え、前記パラメータ修正手段は、前記第１の変化量算出手段で算出された第１の変化量と前記第２の変化量算出手段で算出された第２の変化量とが所定の近似関係を満たさない場合は、前記第１の時間情報と第２の時間情報の少なくとも一方を前記所定の近似関係を満たすように修正することにより、フレーム間の変化量を調べることにより同期のとれた複数の動画像信号間に視覚的な違和感を出すことなく、割り当て可能な符号量を効率的に利用できるという有利な効果が得られる。
【０１０１】
また、前記第１の符号化パラメータおよび前記第２の符号化パラメータは、フレーム内の画像信号のみを用いて符号化するフレーム内符号化か、他のフレームの画像信号を参照して符号化するフレーム間符号化かを示すフレーム種別情報を含み、前記パラメータ修正手段は、前記第１の符号化パラメータおよび前記第２の符号化パラメータのうち、一方の符号化パラメータに含まれる前記フレーム種別情報をもとに、他方の符号化パラメータに含まれる前記フレーム種別情報を修正することにより、同期のとれた複数の動画像信号間に視覚的な違和感を出すことなく、割り当て可能な符号量を効率的に利用できるという有利な効果が得られる。なお、符号化パラメータを修正する場合には、例えばフレーム間符号化からフレーム内符号化への変更時には圧縮率が小さくなる方向に修正する。フレーム内符号化からフレーム間予測符号化への変更時には、圧縮率が大きくなる方向に修正する。変更された符号化パラメータは次のフレームの符号化時に使用される。
【０１０２】
また、第１の符号化データを復号する第１の復号手段と、第２の符号化データを復号する第２の復号手段とを備えた動画像復号装置において、前記第２の復号手段は、復号した第２の画像フレームを前記第１の復号手段で復号した第１の画像フレームと同期して出力するか否かを判定する同期判定手段を備えることにより、時間的に同期の取れていない符号化データを復号して、視覚的に違和感のない範囲で同期して出力するという有利な効果が得られる。
【０１０３】
また、前記同期判定手段は前記第２の画像フレームの時間情報と前記第１の復号手段から基準値として与えられた時間情報の差が、予め定められた閾値を超えない範囲である場合に、前記第１の画像フレームと同期して第２の画像フレームを出力すると判定することにより、時間的に同期の取れていない符号化データを復号して、視覚的に違和感のない範囲で同期して出力するという有利な効果が得られる。
【０１０４】
また、第１の符号化データを復号する第１の復号手段と、第２の符号化データを復号する第２の復号手段とを備えた動画像復号装置において、前記第１の復号手段で復号した第１の画像フレーム間における第１の変化量を算出する第１の変化量算出手段と、前記第２の復号手段で復号した第２の画像フレーム間における第２の変化量を算出する第２の変化量算出手段と、前記第１の変化量と前記第２の変化量に基づいて前記第１の画像フレームと前記第２の画像フレームとを同期して出力するか否かを判定する同期判定手段を備えることにより、時間的に同期の取れていない符号化データを復号して、視覚的に違和感のない範囲で同期して出力するという有利な効果が得られる。
【０１０５】
また、前記同期判定手段は、前記第１の変化量と前記第２の変化量との差が所定の閾値を越えない場合に、前記第１の画像フレームと前記第２の画像フレームとを同期して出力すると判定することにより、時間的に同期の取れていない符号化データを復号して、視覚的に違和感のない範囲で同期して出力するという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による動画像符号化装置の構成を示す図である。
【図２】本発明の実施形態におけるパラメータ修正部の構成例を示す図である。
【図３】本発明の実施形態におけるパラメータ修正部の動作を説明するための図である。
【図４】本発明の第２の実施形態による動画像符号化装置の構成を示す図である。
【図５】本発明の第３の実施形態による動画像符号化装置の構成を示す図である。
【図６】本発明の第３の実施形態におけるパラメータ修正部の構成例を示す図である。
【図７】本発明の第３の実施形態におけるパラメータ修正部の処理を説明するための図である。
【図８】本発明の第４実施形態におけるパラメータ修正部の構成例を示す図である。
【図９】本発明の第５の実施形態による動画像復号装置の構成例を示す図である。
【図１０】本発明の第５の実施形態における同期判定部の構成例を示す図である。
【図１１】本発明の第５の実施形態における同期判定部の動作を説明するための図である。
【図１２】本発明の第５の実施形態における同期判定部の動作を説明するための図である。
【図１３】本発明の第６の実施形態による動画像復号装置の構成例を示す図である。
【図１４】本発明の第６の実施形態における同期判定部の構成例を示す図である。
【図１５】本発明の第６の実施形態における同期判定部の動作を説明するための図である。
【図１６】本発明の第６の実施形態における同期判定部の動作を説明するための図である。
【図１７】従来技術による動画像符号化装置の構成例を示す図である。
【図１８】従来技術による動画像復号装置の構成例を示す図である。
【符号の説明】
１００Ｌ、１００Ｒ、１２０Ｌ、１２０Ｒ、１３０Ｌ、１３０Ｒ エンコーダ
１０１Ｌ、１０１Ｒ フレーム格納部
１０２Ｌ、１０２Ｒ 符号化部
１０３Ｌ、１０３Ｒ 符号化データ格納部
１０４Ｌ、１０４Ｒ パラメータ演算部
１０５Ｌ、１０５Ｒ、１０６Ｌ、１０６Ｒ パラメータ修正部
１１１、１１２、１４１、１４２、１４０ 分離部
１１３ 閾値保存部
１１４ 比較演算部
１１５、１４４ 修正部
１２１ 基準選択部
１１６ 比較・変更部
１１７ 変化量比較部
１４３ フレーム種別変更部
２００Ｌ、２００Ｒ、２２０Ｌ、２２０Ｒ デコーダ
２０１Ｌ、２０１Ｒ 符号化データ格納部
２０２Ｌ、２０２Ｒ 復号部
２０３Ｌ、２０３Ｒ フレーム格納部
２０４Ｌ、２０４Ｒ フレーム番号格納部
２０５Ｒ、２２１ 同期判定部
２０６、２２２ 合成部
２０９Ｌ、２０９Ｒ 変化量算出部
２１１、２１２ フレーム番号保存部
２１３ 差分演算部
２１４ フレーム番号係数部
２１５ 比較決定部
２１６ 閾値保存部
３００Ｌ、３００Ｒ エンコーダ
３０２Ｌ、３０２Ｒ 符号化部
３０３Ｌ、３０３Ｒ 符号化データ格納部
３０４ パラメータ演算部
３０５ パラメータ受信部
３０６ フレーム格納部
４００Ｌ、４００Ｒ デコーダ
４０１Ｌ、４０１Ｒ 符号化データ格納部
４０２Ｌ、４０２Ｒ 復号部
４０３Ｌ 垂直同期生成部
Claims (9)
- 第１の動画像信号を符号化する第１の符号化手段と、第２の動画像信号を符号化する第２の符号化手段とを備えた動画像符号化装置において、
前記第１の動画像信号の符号化に用いる第１の符号化パラメータを算出する第１の符号化パラメータ算出手段と、
前記第２の動画像信号の符号化に用いる第２の符号化パラメータを算出する第２の符号化パラメータ算出手段と、
前記第２の符号化パラメータを修正するパラメータ修正手段とを備え、
前記パラメータ修正手段は、前記第１の符号化パラメータを基準として前記第２の符号化パラメータを修正することを特徴とする動画像符号化装置。 - 第１の動画像信号を符号化する第１の符号化手段と、第２の動画像信号を符号化する第２の符号化手段とを備えた動画像符号化装置において、
前記第１の動画像信号の符号化に用いる第１の符号化パラメータを算出する第１の符号化パラメータ算出手段と、
前記第２の動画像信号の符号化に用いる第２の符号化パラメータを算出する第２の符号化パラメータ算出手段と、
前記第１の符号化パラメータと前記第２の符号化パラメータのいずれか一方を基準のパラメータとして選択する基準パラメータ選択手段と、
前記第１の符号化パラメータ又は前記第２の符号化パラメータを修正するパラメータ修正手段とを備え、
前記パラメータ修正手段は、前記基準パラメータ選択手段により選択された符号化パラメータを基準として他方の符号化パラメータを修正することを特徴とする動画像符号化装置。 - 請求項１または２に記載の動画像符号化装置において、
前記第１の符号化パラメータは、前記第１の動画像信号における符号化対象フレームの時間情報である第１の時間情報を含み、
前記第２の符号化パラメータは、前記第２の動画像信号における符号化対象フレームの時間情報である第２の時間情報を含み、
前記パラメータ修正手段は、前記第１の時間情報と第２の時間情報の差が所定の閾値を越える場合は、前記所定の閾値を越えないように前記第１の時間情報と第２の時間情報の少なくとも一方を修正することを特徴とする動画像符号化装置。 - 請求項１または２に記載の動画像符号化装置において、
前記第１の符号化手段は、第１の動画像信号の符号化対象フレームとその前符号化フレーム間との第１の変化量を算出する第１の変化量算出手段を備え、
前記第２の符号化手段は、第２の動画像信号の符号化対象フレームとその前符号化フレーム間との第２の変化量を算出する第２の変化量算出手段を備え、
前記パラメータ修正手段は、前記第１の変化量算出手段で算出された第１の変化量と前記第２の変化量算出手段で算出された第２の変化量とが所定の近似関係を満たさない場合は、前記所定の近似関係を満たすように前記第１の変化量と第２の変化量の少なくとも一方を修正することを特徴とする動画像符号化装置。 - 請求項１乃至４のうちのいずれか１項に記載の動画像符号化装置において、
前記第１の符号化パラメータおよび前記第２の符号化パラメータは、フレーム内の画像信号のみを用いて符号化するフレーム内符号化か、他のフレームの画像信号を参照して符号化するフレーム間符号化かを示すフレーム種別情報を含み、前記パラメータ修正手段は、前記第１の符号化パラメータおよび前記第２の符号化パラメータのうち、一方の符号化パラメータに含まれる前記フレーム種別情報をもとに、他方の符号化パラメータに含まれる前記フレーム種別情報を修正することを特徴とする動画像符号化装置。 - 第１の符号化データを復号する第１の復号手段と、第２の符号化データを復号する第２の復号手段とを備えた動画像復号装置において、
前記第１の復号手段で復号した第１の画像フレームと前記第２の復号手段で復号した第２の画像フレームとを同期して出力するか否かを判定する同期判定手段を備えることを特徴とする動画像復号装置。 - 請求項６に記載の動画像復号装置において、
前記同期判定手段は前記第２の復号手段から復号された第２の画像フレームの時間情報と前記第１の復号手段から復号され基準値として与えられた第１の画像フレームの時間情報との差が、所定の閾値を越えない場合に、前記第１の画像フレームと前記第２の画像フレームとを同期して出力すると判定することを特徴とする動画像復号装置。 - 第１の符号化データを復号する第１の復号手段と、第２の符号化データを復号する第２の復号手段とを備えた動画像復号装置において、
前記第１の復号手段で復号した第１の画像フレーム間における第１の変化量を算出する第１の変化量算出手段と、前記第２の復号手段で復号した第２の画像フレーム間における第２の変化量を算出する第２の変化量算出手段とを備え、
前記第１の変化量と前記第２の変化量に基づいて前記第１の画像フレームと前記第２の画像フレームとを同期して出力するか否かを判定する同期判定手段を備えることを特徴とした動画像復号装置。 - 請求項８に記載の動画像復号装置において、前記同期判定手段は、前記第１の変化量と前記第２の変化量との差が所定の閾値を越えない場合に、前記第１の画像フレームと前記第２の画像フレームとを同期して出力すると判定することを特徴とした動画像復号装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002205796A JP2004048579A (ja) | 2002-07-15 | 2002-07-15 | 動画像符号化装置および復号装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002205796A JP2004048579A (ja) | 2002-07-15 | 2002-07-15 | 動画像符号化装置および復号装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004048579A true JP2004048579A (ja) | 2004-02-12 |
Family
ID=31711000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002205796A Pending JP2004048579A (ja) | 2002-07-15 | 2002-07-15 | 動画像符号化装置および復号装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004048579A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007053604A (ja) * | 2005-08-18 | 2007-03-01 | Kddi Corp | 映像信号のフレーム同期方式 |
| JP2009543461A (ja) * | 2006-07-06 | 2009-12-03 | トムソン ライセンシング | マルチビュービデオ符号化及び復号化のためにフレームナンバー及び／又はピクチャオーダカウント（ｐｏｃ）を分離する方法及び装置 |
| JP2012049611A (ja) * | 2010-08-24 | 2012-03-08 | Sony Corp | 画像処理装置と画像処理方法 |
| US10244231B2 (en) | 2006-07-06 | 2019-03-26 | Interdigital Vc Holdings, Inc. | Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding |
-
2002
- 2002-07-15 JP JP2002205796A patent/JP2004048579A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007053604A (ja) * | 2005-08-18 | 2007-03-01 | Kddi Corp | 映像信号のフレーム同期方式 |
| JP4573301B2 (ja) * | 2005-08-18 | 2010-11-04 | Ｋｄｄｉ株式会社 | 映像信号のフレーム同期方式 |
| JP2009543461A (ja) * | 2006-07-06 | 2009-12-03 | トムソン ライセンシング | マルチビュービデオ符号化及び復号化のためにフレームナンバー及び／又はピクチャオーダカウント（ｐｏｃ）を分離する方法及び装置 |
| JP2009543462A (ja) * | 2006-07-06 | 2009-12-03 | トムソン ライセンシング | マルチビュービデオ符号化及び復号化のためにフレームナンバー及び／又はピクチャオーダカウント（ｐｏｃ）を分離する方法及び装置 |
| JP2013138428A (ja) * | 2006-07-06 | 2013-07-11 | Thomson Licensing | マルチビュービデオ符号化及び復号化のためにフレームナンバー及び／又はピクチャオーダカウント（ｐｏｃ）を分離する方法及び装置 |
| JP2013138429A (ja) * | 2006-07-06 | 2013-07-11 | Thomson Licensing | マルチビュービデオ符号化及び復号化のためにフレームナンバー及び／又はピクチャオーダカウント（ｐｏｃ）を分離する方法及び装置 |
| US9641842B2 (en) | 2006-07-06 | 2017-05-02 | Thomson Licensing | Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding |
| US10244231B2 (en) | 2006-07-06 | 2019-03-26 | Interdigital Vc Holdings, Inc. | Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding |
| JP2012049611A (ja) * | 2010-08-24 | 2012-03-08 | Sony Corp | 画像処理装置と画像処理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9148646B2 (en) | Apparatus and method for processing video content | |
| JP4128531B2 (ja) | 多重ディスプレイ方式をサポートする立体動画符号化及び復号化装置並びにその方法 | |
| US10051226B2 (en) | Transmitter for enabling switching involving a 3D video signal | |
| EP2163103B1 (en) | Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal | |
| EP2932711B1 (en) | Apparatus and method for generating and rebuilding a video stream | |
| JP2013526094A5 (ja) | ||
| US20110134227A1 (en) | Methods and apparatuses for encoding, decoding, and displaying a stereoscopic 3d image | |
| US20060153289A1 (en) | Multi-display supporting multi-view video object-based encoding apparatus and method, and object-based transmission/reception system and method using the same | |
| WO2013031156A1 (ja) | 映像処理システム、送信装置、受信装置、送信方法、受信方法及びコンピュータプログラム | |
| Shao et al. | Stereoscopic video coding with asymmetric luminance and chrominance qualities | |
| KR20100113338A (ko) | 우선 순위에 따른 스테레오스코픽 영상 데이터의 전송 장치 및 방법 | |
| EP2676446B1 (en) | Apparatus and method for generating a disparity map in a receiving device | |
| JP2000308089A (ja) | 立体画像符号化装置および復号化装置 | |
| JP2004048579A (ja) | 動画像符号化装置および復号装置 | |
| KR101329063B1 (ko) | 입체감 조절방법 및 조절장치와 이를 이용한 3ｄ 비디오 인코더 및 3ｄ 단말 | |
| US20140049608A1 (en) | Video processing device and video processing method | |
| KR20130107615A (ko) | 삼차원 비디오 부호화율 제어 방법 및 이러한 방법을 사용하는 장치 | |
| WO2000027132A1 (en) | Encoding/decoding of video signal | |
| KR102131295B1 (ko) | ３ｄ 영상 재생 장치 및 방법 | |
| KR101223205B1 (ko) | 양안식 비디오 송신 장치 및 그 방법 | |
| JPH04178095A (ja) | 動ベクトルデータ圧縮装置 |