JP2006060347A - 立体ｍｐｅｇ信号同期システム - Google Patents

Abstract

【課題】従来の立体映像撮像システムにおいては、右目用画像と左目用画像の同期をとるために、撮像画像の画像信号に同期信号を付加する必要があった。
【解決手段】本発明の立体ＭＰＥＧ信号同期システムでは、右目用画像と左目用画像の符号量を取得し符号量の変化を捉えることで、左右の画像間の同期をとることを可能とする。左右の画像信号は、同一の被写体を同時に撮像したものであるので、両画像の符号量はほぼ同じとなる。そこで、左右の画像信号の符号量や、符号量から算出される符号量の変化等が同一であるタイミングを探し出し、両画像の時間のずれを計算することにより同期をとることを可能とした。
【選択図】 図５

Description

本発明は、立体映像再生装置において右目用画像と左目用画像の同期を取るための方法を提供する立体ＭＰＥＧ信号同期システムに関する。

立体物を撮像して立体感（飛び出し感）を持たせて表示する立体映像撮像システムにおいて、従来の技術では、図１のような構成の立体映像撮像システムが一般的である。つまり、右目用画像を撮像する右カメラと左目用画像を撮像する左カメラにより視差のある映像を取得し、それらの画像をエンコーダによりエンコード（符号化）し、符号化した画像データがネットワークインタフェースカード（以下、ＮＩＣという）等を介して通信によりデコーダへ渡されてデコード（復号化）される。デコードされた画像データはディスプレイ等の表示機器によって表示される。このような立体映像撮像システムにおいては、右目用画像と左目用画像はそれぞれ別々のカメラによって撮像されるため、何らかの方法によって右目用画像と左目用画像との同期を取る必要がある。その一つの方法として、例えば、特許文献１のように、エンコード時に同期を取るための同期信号を挿入し、デコード時に同期信号を取得することで画像間の同期をとる方法が考えられている。
特開平８−３０７９０５号公報

しかしながら、このような右目用画像と左目用画像の同期方法では、撮像画像の画像信号以外に同期をとるための同期信号をエンコード時に付加することが必要となる。

本発明では、図１のような立体映像撮像システムにおいて、同期信号を用いずに右目用画像と左目用画像の同期をとることができる立体ＭＰＥＧ信号同期システムを提案する。本システムでは、右目用画像と左目用画像の符号量を取得し、符号量の変化を捉えることで、左右の画像間の同期をとることを可能とする。符号量の変化を捉えるとは、具体的には、符号量が急激に増加する変化を捉えたり、ある一定期間の符号量の変化のパターンを捉えることを意味する。

右目用画像と左目用画像は同時に同一の被写体を撮像したものであるので、同時刻に撮像した両画像の符号量はほぼ同じになる（本発明においては、同時刻に撮像した両画像の符号量がフレーム単位でほぼ同じであることが前提であり、両画像の符号量が大きく異なる場合は含まれない）。そこで、右目用画像と左目用画像の符号量をそれぞれ取得し、その符号量や符号量から算出される符号量の変化等が同一であるタイミングを探し出し、両画像の時間のずれを計算することにより同期をとることができる。また、符号量の変化が乏しく、そのようなタイミングが抽出できないような場合に、同期をとるための同期画像を撮像時に任意に挿入することができる機能も有するので、撮像環境を問わず右目用画像と左目用画像の同期をとることが可能である。

以上のように、本発明の立体ＭＰＥＧ信号同期システムにおいては、右目用画像と左目用画像の符号量を取得することで、同期信号を用いずに右目用画像と左目用画像の同期をとることができる。

以下に、本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。

なお、以下の実施形態と請求項の関係は次の通りである。

実施形態１は、主に請求項１などについて説明する。

実施形態２は、主に請求項２、３、４などについて説明する。

実施形態３は、主に請求項５、６などについて説明する。
<<実施形態１>>

<実施形態１の概要>

本実施形態は、右用画像信号と左用画像信号の符号量に関する情報である符号発生情報を取得し、取得した符号発生情報により右用画像と左用画像の同期をとるためのシステムである立体ＭＰＥＧ同期システムに関する。

図２、図３を用いて本実施形態の概要を説明する。

図２はエンコーディングにおける符号発生量の変化について説明する図である。一般的に、動きの少ないシーン（シーン２）ではエンコーディングによる符号発生量は少なくなり、動きの激しいシーン（シーン３）では符号発生量は大きくなるが、シーンが変化するシーンチェンジ時は急激に符号量が増大する。本実施形態では、この符号量の変化を利用して右用画像と左用画像の同期をとる。例えば、図３に示すように右用画像と左用画像の符号発生情報が取得された場合に、右用画像も左用画像も同時に同じ被写体を撮像したものであるので、右符号発生量の変化パターンと左符号発生量の変化パターンはほぼ同じものになる。そこでシーンチェンジ時の符号量が増大する部分において右用画像と左用画像が同じシーンチェンジを示していると考えられるので、この瞬間において右用画像と左用画像の同期をとることができる。

<実施形態１の構成>

本実施形態での機能ブロックの一例を図４に示す。

図２に示す本実施形態の立体ＭＰＥＧ信号同期システムは、「立体画像信号取得部」（０４１０）と、「分離部」（０４２０）と、「右符号発生情報取得部」（０４３０）と、「左符号発生情報取得部」（０４４０）と、「同期部」（０４５０）とからなる。

「立体画像信号取得部」（０４１０）は、複数のカメラからの元画像をＭＰＥＧ方式にて符号化した立体画像信号を取得する機能を有する。ここで取得される立体画像信号は、右用画像と左用画像が混在している画像信号である。取得される立体画像信号は、通常の立体映像撮像システムにおいては、右用画像を撮像するための右目用カメラと左用画像を撮像するための左目用カメラの２つのカメラにより撮像されるが、右用画像と左用画像を撮像するためのカメラであれば、複数のカメラからの画像信号であって構わない。例えば、カメラと被写体との距離に応じて、左右のカメラ間の距離が異なるカメラのペアが複数設置されて撮像される場合等が考えられる。

「分離部」（０４２０）は、前記立体画像信号取得部（０４１０）で取得された立体画像信号の右用画像信号と左用画像信号とを分離する機能を有する。ここで、右用画像信号とは右用画像の画像信号であり、左用画像信号とは左用画像の画像信号のことである。

「右符号発生情報取得部」（０４３０）は、前記分離部（０４２０）にて分離された右用画像信号から取得される符号発生情報である右符号発生情報を取得する機能を有する。符号発生情報とは、画像信号の符号量等に関する情報であり、具体的には、符号量そのものであったり、符号量から算出される符号量の変化を示す数値であったり、さらには符号量の変化のパターンを示す一連の情報であってもよい。

「左符号発生情報取得部」（０４４０）は、前記分離部（０４２０）にて分離された左用画像信号から取得される符号発生情報である左符号発生情報を取得する機能を有する。

「同期部」（０４５０）は、前記右符号発生情報取得部（０４３０）で取得した右符号発生情報と、前記左符号発生情報取得部（０４４０）で取得した左符号発生情報と、に基づいて右用画像信号と左用画像信号との同期をとる機能を有する。同期をとるためには、右用画像信号と左用画像信号の符号量の変化を利用する。例えば、撮像している途中で被写体を含めた撮像環境が変わった場合に、撮像環境が変わる場面（シーンチェンジ）では右用画像信号と左用画像信号の符号量が急激に増加する。右用画像と左用画像は同じ被写体を同時に撮像したものであるので、両方の画像信号が同じように急激に符号量が増大する瞬間は同じシーンチェンジを撮像したものであると考えられるので、その瞬間において右用画像と左用画像の同期をとることができる。

なお本件発明の構成要素である各部は、ハードウエア、ソフトウエア、ハードウエアとソフトウエアの両者、のいずれかによって構成される。たとえば、これらを実現する一例として、コンピュータを利用する場合には、ＣＰＵ、メモリ、バス、インターフェイス、周辺装置などから構成されるハードウエアと、これらのハードウエア上にて実行可能なソフトウエアを挙げることができる。

具体的には、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インターフェイスを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される。（本明細書の全体を通じて同様である。）

<実施形態１の具体例>

本実施形態の特徴点である同期方法に関して、具体例を挙げて説明する。

図５は、同期方法の具体例を示した図である。右用画像信号と左用画像信号が取得されると、一旦バッファに蓄積され、右用画像信号と左用画像信号の同期処理が施されてからそれぞれの画像信号がバッファより取り出される。このような同期システムにおいて、例えば、画像信号を取得する開始時点をｔ０として、右用画像信号の符号量が最も大きくなるピーク時がｔ１であり、左用画像信号の符号量が最も大きくなるピーク時がｔ２であるとする。この場合、ｔ０からｔ１の間隔をｔｒで表し、ｔ２からｔ３の間隔をｔｌで表すとすると、右用画像信号と左用画像信号の符号量のピーク時を比較すると、画像信号を取得した時点で左用画像信号が｜ｔｌ−ｔｒ｜だけ進んでいることが計算される。よって、それぞれの画像信号をバッファから取り出す処理において、左用画像信号を｜ｔｌ−ｔｒ｜だけ遅らせて取り出すように同期処理を行えば同期をとることができる。

<実施形態１の処理の流れ>

図６は、実施形態１での処理の流れの一例を示したものである。本実施形態における処理は、以下に示すステップよりなる。

最初に、右用画像と左用画像が混在した立体画像信号を取得する（立体画像信号取得ステップ Ｓ０６１０）。

次に、前記立体画像信号取得ステップ（Ｓ０６１０）において取得した立体画像信号を右用画像信号と左用画像信号に分離する（立体画像信号分離ステップ Ｓ０６２０）。

次に、前記立体画像信号分離ステップ（Ｓ０６２０）にて分離された右用画像信号から右符号発生情報を取得する（右符号発生情報取得ステップ Ｓ０６３０）。

次に、前記立体画像信号分離ステップ（Ｓ０６２０）にて分離された左用画像信号から左符号発生情報を取得する（左符号発生情報取得ステップ Ｓ０６４０）。

最後に、前記右符号発生情報取得ステップ（Ｓ０６３０）で取得した右符号発生情報と、前記左符号発生情報取得ステップ（Ｓ０６４０）で取得した左符号発生情報とに基づいて、右用画像信号と左用画像信号との同期をとる（同期ステップ Ｓ０６５０）。

なお、前記右符号発生情報取得ステップ（Ｓ０６３０）と前記左符号発生情報取得ステップ（Ｓ０６４０）の処理の順番は逆であってもよい。

以上の処理は、計算機に実行させるためのプログラムで実行することができ、また、このプログラムを計算機によって読み取り可能な記録媒体に記録することができる。（本明細書の全体を通して同様である。）

<実施形態１の効果>

本実施形態の立体ＭＰＥＧ信号同期システムにおいては、右用画像と左用画像の同期をとる際に、同期信号を用いずにそれぞれの符号発生情報を利用して同期をとることができる。
<<実施形態２>>

<実施形態２の概要>

本実施形態は、右用画像信号と左用画像信号の符号量の変化に関する情報である符号発生変化情報を取得し、取得した符号発生変化情報により右用画像と左用画像の同期をとるためのシステムである立体ＭＰＥＧ同期システムに関する。符号発生変化情報とは、具体的には、符号量の時間変化を示す情報であったり、符号量の変化パターンを示す情報であったり、さらには符号量の時間あたりの変化率を示す情報であってもよい。図７に一例を示す。時間ｔ１、ｔ２、ｔ３、・・・は等間隔であり、右用画像と左用画像の各時間の符号量が図７のように取得されたとする。ここで、ａ１≒ａ１’、ａ２≒ａ２’、・・・である。つまり、右用画像と左用画像は時間的に｜ｔ２−ｔ１｜だけずれて取得されている。この場合、符号量の時間変化とは、ａ２−ａ１、ａ３−ａ２、・・・の各値であり、それらの変化を増加率などの割合で表したものが符号量の時間あたりの変化率である。また、符号量の変化パターンとは、例えば、ａ１からａ４の一連の情報で示される変化の状態である。

<実施形態２の構成>

本実施形態での機能ブロックの一例を図８に示す。

図８に示す本実施形態の立体ＭＰＥＧ信号同期システムは、「立体画像信号取得部」（０８１０）と、「分離部」（０８２０）と、「右符号発生情報取得部」（０８３０）と、「左符号発生情報取得部」（０８４０）と、「同期部」（０８５０）とからなり、前記右符号発生情報取得部（０８３０）は「右符号発生変化情報取得手段」（０８３１）を有し、前記左符号発生情報取得部（０８４０）は「左符号発生変化情報取得手段」（０８４１）を有する。前記右符号発生変化情報取得手段（０８３１）と、前記左符号発生変化情報取得手段（０８４１）以外の構成に関しては、実施形態１の構成と同様である。

「右符号発生変化情報取得手段」（０８３１）は、右用画像の符号発生変化情報である右符号発生変化情報を取得する機能を有する。

「左符号発生変化情報取得手段」（０８４１）は、左用画像の符号発生変化情報である左符号発生変化情報を取得する機能を有する。

<実施形態２の具体例>

本実施形態の特徴点である符号発生変化情報に関して、具体例を挙げて説明する。

まず、右用画像と左用画像の符号量のサンプリングデータとして図９のような値を取得したとする。（右用画像と左用画像は０．１秒のずれがある。）このデータを基本として以下、説明をする。

図１０は、前記符号発生変化情報が符号量の時間変化を示す情報である場合に、図９のサンプリングデータから算出した符号発生変化情報である。また、図１１は、右用画像と左用画像のそれぞれについて図９の符号発生変化情報をグラフ化したものである。この例では、特に右用画像の５．１秒〜５．２秒と左用画像の５．２秒〜５．３秒の変化量の値が大きいため、この部分で同期をとることが可能である。また、右用画像の５．３秒〜５．４秒と左用画像の５．４秒〜５．５秒の変化量の値も大きいため、この部分でも同期をとることも可能である。

図１２は、図９のサンプリングデータをグラフ化したものである。前記符号発生変化情報が符号量の変化パターンを示す情報である場合は、例えば、図１２において右用画像の５．０秒〜５．４秒の波形と左用画像の５．１秒〜５．５秒の波形の部分が特徴的であるので、この部分で同期をとることが可能である。また、もっとサンプリングデータが多い場合の例を図１３に示す。右用画像と左用画像の符号量の時間変化が図１３のようなグラフで表された場合に、右用画像のｔ１からｔ２までの波形と、左用画像のｔ３からｔ４までの波形が同じであったとすると、この部分に関しては右カメラと左カメラで同時に撮像を行った画像データであると考えられるため、この部分において右用画像と左用画像の同期をとることができる。この場合に、変化パターンを照合する時間間隔、つまり図１３の例におけるｔ１からｔ２、またはｔ３からｔ４の長さに関しては、撮像環境等を考慮して決定すればよい。例えば、符号量の時間変化が少ない場合や類似する変化パターンが繰り返されるような場合には、ある程度の長さの時間間隔における変化パターンを比較しなければ同じ変化パターンと認められるか否かの判断ができないことも考えられる。

図１４は、前記符号発生変化情報が符号量の時間あたりの変化率を示す情報である場合に、図９のサンプリングデータから算出した符号発生変化情報である。時間あたりの変化率を算出する場合に基準とする値は、任意に決定されてよい。図１４の時間ｔ〜ｔ−１の変化率は時間ｔ−１の値を基準としており、時間ｔの値をａ（ｔ）、時間ｔ−１の値をａ（ｔ−１）とすると、ａ（ｔ）／ａ（ｔ−１）で算出した変化率である。また、図１５は、右用画像と左用画像のそれぞれについて図１４の符号発生変化情報をグラフ化したものである。この例では、特に右用画像の５．１秒〜５．２秒と左用画像の５．２秒〜５．３秒の変化率の値が大きいため、この部分で同期をとることが可能である。

以上の例においては、０．１秒毎に１Ｋｂｐｓ（キロビット／秒）を最小単位として符号量を測定しているが、測定間隔や符号量の最小単位は、これに限定されない。より細かく測定されてもよいし、もっと大まかに測定されてもよい。

<実施形態２の処理の流れ>

図１６は、実施形態２での処理の流れの一例を示したものである。本実施形態における処理ステップは、実施形態１での処理の流れと同様である。ただし、図６における、右符号発生情報取得ステップ（Ｓ０６３０）で取得する右符号発生情報が右符号発生変化情報である点と、左符号発生情報取得ステップ（Ｓ０６４０）で取得する左符号発生情報が左符号発生変化情報である点が異なる。

<実施形態２の効果>

本実施形態の立体ＭＰＥＧ信号同期システムにおいては、右用画像と左用画像の同期をとる際に、同期信号を用いずにそれぞれの符号発生変化情報によって同期をとることができる。
<<実施形態３>>

<実施形態３の概要>

本実施形態は、右用画像信号および左用画像信号が、同期をとるために符号発生量が急激に増大する画像である同期画像を元の撮像画像に挿入して符号化された信号である立体ＭＰＥＧ信号同期システムに関する。また、前記同期画像を元の撮像画像に挿入する手段として、撮像用カメラに付随したスイッチによって任意のタイミングで同期画像を強制的に挿入するようにしてもよいし、ある一定の周期で自動的に同期画像が挿入されるようになっていてもよい。

本実施形態の立体ＭＰＥＧ信号同期システムによれば、例えば、ほとんど動きのないような被写体を長時間撮像するような場合において右用画像と左用画像の同期をとる場合に有効であると考えられる。動きの少ない被写体を長時間撮像した場合はピクチャ毎の符号量の変動が少なくなるため、実施形態１や実施形態２の立体ＭＰＥＧ信号同期システムでは右用画像と左用画像の同期をとることが困難になることが考えられる。本実施形態の立体ＭＰＥＧ信号同期システムでは、同期をとるための同期画像を元の撮像画像に挿入する機能を有し、さらに任意のタイミングにおいて同期画像を挿入する機能を有するので、適当なタイミングにおいて右用画像と左用画像の同期をとることが可能となる。

<実施形態３の構成>

本実施形態の立体ＭＰＥＧ信号同期システムの構成は、実施形態１または実施形態２の立体ＭＰＥＧ信号同期システムの構成と同様である。

<実施形態３の具体例>

本実施形態の具体例の一例を、図１７、図１８に示す。

被写体の動きが少なくシーンチェンジがない場合、元の撮像画像信号の符号量をグラフ化すると図１７のようにほとんど符号量の変化のない平坦なグラフとなる。このような状況においては、実施形態１や実施形態２の立体ＭＰＥＧ信号同期システムでは右用画像と左用画像の同期をとることが困難となる。このような場合、適当なタイミングにおいて急激に符号量が増大する同期画像を挿入すると、図１８のように同期画像の信号部分で符号量が増加するため、同期をとることが可能となる。

<実施形態３の処理の流れ>

本実施形態での処理の流れは、実施形態１または実施形態２の処理の流れと同様である。

<実施形態３の効果>

本実施形態の立体ＭＰＥＧ信号同期システムにおいては、例えば、動きの少ない被写体を長時間撮像するような場合であっても、任意に、または定期的に同期信号を挿入して強制的に符号量を増加させることで右用画像と左用画像の同期をとることができる。

立体映像撮像システムの概要図 符号量変化の一般例 実施形態１の概要図 実施形態１の構成を説明する機能ブロック図 実施形態１の具体例 実施形態１の処理の流れを説明する図 符号発生変化情報に関する説明をする図 実施形態２の構成を説明する機能ブロック図 符号発生変化情報の具体例 符号発生変化情報（符号量の時間変化）の具体例 符号発生変化情報（符号量の時間変化）の具体例 符号発生変化情報（符号量の変化パターン）の具体例 符号発生変化情報（符号量の変化パターン）の具体例 符号発生変化情報（符号量の時間あたりの変化率）の具体例 符号発生変化情報（符号量の時間あたりの変化率）の具体例 実施形態２の処理の流れを説明する図 実施形態３の具体例 実施形態３の具体例

Claims (6)

1. 複数のカメラからの元画像をＭＰＥＧ方式にて符号化した立体画像信号を取得する立体画像信号取得部と、
   前記立体画像信号取得部で取得された立体画像信号の右用画像信号と左用画像信号とを分離する分離部と、
   前記分離部にて分離された右用画像信号の符号発生情報である右符号発生情報を取得する右符号発生情報取得部と、
   前記分離部にて分離された左用画像信号の符号発生情報である左符号発生情報を取得する左符号発生情報取得部と、
   前記右符号発生情報取得部で取得した右符号発生情報と、前記左符号発生情報取得部で取得した左符号発生情報と、に基づいて右用画像と、左用画像との同期をとるための同期部と、
   を有する立体ＭＰＥＧ信号同期システム。
2. 前記符号発生情報は、符号量の時間変化を示す情報である符号発生変化情報であり、前記右符号発生情報取得部は、右符号発生変化情報取得手段を有し、前記左符号発生情報取得部は、左符号発生変化情報取得手段を有する請求項１に記載の立体ＭＰＥＧ信号同期システム。
3. 前記符号発生変化情報は、符号量の変化パターンを示す情報である請求項２に記載の立体ＭＰＥＧ信号同期システム。
4. 前記符号発生変化情報は、符号量の時間あたり変化率を示す情報である請求項２に記載の立体ＭＰＥＧ信号同期システム。
5. 前記立体画像信号の前記右用画像信号及び、前記左用画像信号は、前記同期をとるために符号発生量が急激に増大する画像である同期画像を元画像に挿入して符号化された信号である請求項１または２に記載の立体ＭＰＥＧ信号同期システム。
6. 前記同期画像は、元画像を生成するカメラに付随したスイッチによって強制的に挿入されたものである請求項５に記載の立体ＭＰＥＧ信号同期システム。

Images