JP2008505522A - ビデオ処理 - Google Patents

Abstract

本発明は、第１の画像信号（９）を生成するための第１のカメラ（１）と、第２の画像信号（１１）を生成するための第２のカメラ（３）とを有するビデオ処理装置に関する。第１の画像信号（９）及び第２の画像信号（１１）は、同じ場面のオフセットバージョンであり、例えば、第１及び第２のカメラを通して見られた場面の「右」及び「左」バージョンにそれぞれ関係する。深度推定器（５）は、第１及び第２の画像信号（９，１１）を受け取り、その場面の領域についての深度信号（１３）を生成する。データ圧縮器（７）は、カメラの１つ、例えば、第１のカメラ（１）から画像信号を受け取り、圧縮された画像信号（１４）を生成するために、画像信号内のビデオデータを圧縮する。特定の領域に対するデータ圧縮は、当該領域について深度推定器（５）から受け取られた深度信号（１３）に基づいて実施される。この装置は、背景にあるオブジェクトよりも高い解像度で前景のオブジェクトに関する画像データを圧縮することができる。

Description

本発明は、ビデオ処理装置及び方法に関し、具体的には、ビデオ圧縮装置及び方法に関する。

ビデオ圧縮技術は、通常、限られた帯域幅をもつ通信チャンネルを介してより効率的にビデオ信号を伝送するために使用される。ＭＰＥＧ４のような現代のビデオ圧縮技術においては、場面の種々の領域を種々の品質でコード化することを可能にするために、領域ベースの符号化が提案される。この技術の主な目的は、重要なオブジェクトを高品質で送信することであり、場面のあまり重要でない領域は、より低品質で伝送される。

「数理形態学を使用する領域ベースのビデオ符号化（Region based Video Coding using Mathematical Morphology）」、フィリップ・サランビエ（Philippe Salembier）ら著、ＩＥＥＥの議事録、第８３巻、第６号、１９９５年６月の文献は、画像の領域が、強度、色及び濃淡値に基づいてセグメント化される領域ベースの符号化を開示する。

このやり方は、どれがその場面において重要なオブジェクトであるのかが明らかではないという欠点をもつ。多くの場合、重要なオブジェクトは、画像の中で動いているオブジェクトである。

本発明の目的は、改善されるビデオ処理を提供することにある。

本発明は、独立請求項によって規定される。従属請求項は、有利な実施形態を規定する。

本発明の第１の実施態様によれば、１つ又は複数の関心領域をもつ画像信号を処理するためのビデオ処理装置が提供される。この装置は、画像信号における領域の深度を決定し、対応する深度信号を供給するための深度推定手段を有する。データ圧縮器は、画像信号及び深度信号を受け取り、深度推定手段から受け取られた対応する深度信号に基づいて、特定の領域における画像データを圧縮する。

本発明は、例えば、特定のオブジェクトに関係する画像信号の領域を、画像信号における当該領域の深度に基づいて、それゆえ、全体の画像信号内における当該領域の重要性に基づいて圧縮することができるという利点をもつ。

本発明の他の実施態様によれば、第１の画像信号を取り出すための第１の画像化手段と、第２の画像信号を取り出すための第２の画像化手段とを有する携帯通信装置が提供される。第１及び第２の画像化手段は、実質的に同じ方向を向く。

本発明のこの実施態様による通信装置は、見られている画像信号の深度情報を決定することが可能であり、これが、上記に説明されたように画像信号における異なる領域を動的に圧縮するために使用されることができるという利点をもつ。

本発明の他の実施態様によれば、１つ又は複数の関心領域をもつ画像信号を処理する方法が提供される。この方法は、対応する深度信号を供給するために、画像信号における領域の深度を決定するステップを含む。この深度信号は、特定の領域に関する画像データが、画像信号における当該領域の対応する深度に基づいて圧縮されるように、画像信号を圧縮するためのデータ圧縮器によって使用される。

本発明をより良好に理解するために、また、どのように実行され得るのかをより明瞭に示すために、ここで、単なる例証によって、以下の図面を参照して説明が行われる。

図１は、本発明によるビデオ処理装置を開示する。第１のカメラ１は第１の画像信号９を生成し、第２のカメラ３は第２の画像信号１１を生成する。第１の画像信号９及び第２の画像信号１１は、同じ場面のオフセットバージョンであり、例えば、第１及び第２のカメラを通して見られた場面の「右」及び「左」バージョンにそれぞれ関係する。深度推定器５は、第１及び第２の画像信号９，１１を受け取り、深度信号１３を生成する。

データ圧縮器７は、カメラの１つ、例えば、第１のカメラ１から画像信号を受け取り、画像信号内のビデオデータを圧縮して、圧縮された画像信号１４を生成する。このデータ圧縮レベルは、深度推定器５から受け取られた深度信号１３に基づいている。

例えば、この装置は、カメラにより近いオブジェクトが、背景のオブジェクトよりも一層重要であるという推定に基づいて、画像データを圧縮することができる。

深度信号１３は、深度推定器５によって受け取られた第１の画像信号９及び第２の画像信号１１に基づいて決定される。第１の画像信号９及び第２の画像信号１１は、左右の画像における同じオブジェクトについて対応するピクセル間の視差を決定するために使用される。

好ましくは、この視差は、ピクセルごとに深度信号に変換され、この信号が、通常の画像を圧縮するときデータ圧縮器７における量子化の度合いを制御するのに使用される。

従って、本発明によれば、カメラにより近いオブジェクトは、高品質でコード化され、即ち、高い量子化を用いてコード化され、その一方で、カメラからより離れているオブジェクトは、より低いコード化の対象とされ、即ち、結果的により狭い帯域幅を必要とするより低い量子化を用いてコード化される。

オプションとして、場面の重要でない部分に関係するピクセルを完全に無視するように決められることもできる。このようなピクセルでは、データ圧縮器７は、本来の背景情報の代わりにもっと簡単にコード化されるデータを挿入することができる。代替例として、レシーバにピクセルデータをレシーバ側で挿入させるようにするフラグ即ちインジケータが、挿入されることもできる。

図２は、主要なオブジェクト１５が、第１及び第２のカメラ１，３から約１〜２メートル離れて、前景に見出される通常の場面Ｓを示す。それほど重要でないオブジェクト１７は、例えば、カメラ１，３から約３〜４メートル離れた深度で、この場面の背景に見出される。

図３Ａ及び図３Ｂは、第１及び第２のカメラによって見られる画像信号を示す。図３Ａは、第２のカメラ３、即ち、この実施形態では「左」カメラによって見られる画像信号を示し、図３Ｂは、第１のカメラ１、即ち、この実施形態の「右」カメラによって見られる画像信号を示す。これらの図から分かるように、左右のカメラによって見られる画像信号の間には視差がある。この視差は、カメラに対するオブジェクトの距離に反比例することに留意されたい。

立体画像における特定のオブジェクトの視差は、左画像のオブジェクトの位置と、右画像の同じオブジェクトの位置との間のピクセルにおける差異である。言い換えると、特定のオブジェクトに関係する所与のピクセルについて、ピクセルがカメラから離れているオブジェクトに関係する場合は、第１のカメラ１によって見られる画像と第２のカメラ３によって見られる画像との間の視差は小さく、その一方で、ピクセルがカメラに近いオブジェクトに関係する場合は、視差は大きくなる。従って、ピクセルデータがカメラ１，３から離れているオブジェクトに関係する場合、当該ピクセルデータは、双方の画像フレームのほぼ同じ位置に現れる。逆に言えば、ピクセルデータがカメラ１，３に近いオブジェクトに関係する場合、当該ピクセルデータは、画像フレームの大きく異なる位置に現れる。

例えば、図３Ａ及び図３Ｂにおいて、背景オブジェクト１７は、双方の画像信号においてほぼ同じフレーム位置に位置付けられる。他方で、場面の前景に位置付けられるオブジェクト１５の位置の間にはより大きな視差がある。

２つのカメラから得られた画像からオブジェクトの深度を計算するための種々の技術は、それ自体が知られており、本願明細書でより詳しく説明されることはない。これらの技術は、第１の画像から特定のピクセルを取り出すステップと、第２の画像においてその対応するピクセルを見つけるステップとを含む。対応するピクセルが見つかる場合、視差が計算され、深度値がそのピクセルに割り当てられる。

上記から、画像信号の各ピクセルが深度信号を与えられ、この信号が、一般の画像を圧縮するときデータ圧縮器に量子化値を提供するために使用されることが分かる。

図４は、本発明による簡略化された圧縮エンジンを示す。この圧縮エンジン４０は、カメラの１つからの入力ピクセルデータ（pixel(i,j)_in）と、深度推定器５からの深度信号(depth(i,j)_in)とを受け取る。入力（In）ピクセルデータは、そのピクセルに対する深度（depth）信号に依存して量子化されて、出力（Out）ピクセルデータ（pixel(i,j)_out）を供給する。それゆえ、各々のピクセルは、カメラからの関連するオブジェクトの深度に依存して圧縮される。その後、知られている可変長符号化（ＶＬＣ：variable length coding）手段４３が、これらの値の圧縮された範囲を利用して、圧縮された出力データ４５を供給するように使用されることができる。

本発明は、限られた帯域幅をもつ通信チャンネルを介して伝送されるために、ビデオデータが圧縮されなければならないアプリケーションに特に適している。例えば、本発明は、携帯電話機に使用するのに特に適している。本発明のこの実施態様によれば、第１及び第２のカメラをもつ携帯電話機であって、これらの第１及び第２のカメラが、実質的に同じ方向を向く携帯電話機が提供される。これらのカメラは、上述されたように、データ圧縮用の深度信号を供給する使用に際して、深度情報を決定するために使用されることができる。

代替例として、このビデオ処理装置は、例えば、携帯電話機又はビデオカメラにおいて、記憶されるべきビデオデータの量を減少させるために使用されることも可能である。

好ましい実施形態は、場面の「右」及び「左」バージョンを提供するカメラに関して説明されているけれども、２つのカメラが互いに関して固定位置にあるように用意される任意の配向が可能であることを理解されたい。更に、深度値は、ある場面におけるオブジェクトからの「光のフライトの回数（time of flight of light）」のような他の手段、又はオブジェクトの深度を決定するための他のフォーカシング技術を使用して測定されることもできる。更に、ビデオカメラにより使用される場合、場面のオブジェクトの深度は、オブジェクトが個々のフレーム間において動いているという条件で、同じ場面の連続するフレームから決定されることができる。このような実施形態は、場面のオブジェクトのサイズに関する知識に頼るものであるが、それでもなお、この実施形態は、どのオブジェクトが他のオブジェクトの前にあるのかを決定し、それにより、最も近いオブジェクト（それゆえ、最も重要なオブジェクト）が決定されることを可能にするために有用であり得る。

更に、好ましい実施形態は、前景のオブジェクトが背景のオブジェクトより重要であるということに基づいて説明されているけれども、本発明は、逆に用いられることも可能であって、例えば、背景場面が監視されている保安の用途において、背景のオブジェクトがより重要なオブジェクトとして取り扱われることも可能であることが容易に理解されるであろう。代替例として、本発明は、例えば、カメラが固定位置で使用され、カメラから予め決められた距離だけ離れている場面を監視することを目的とする場合、カメラから予め決められた深度において最高の品質を提供するように使用されることも可能である。

図５は、本発明を実現するための他の実施形態を示す。図１及び図２に示される２つの別個のカメラ又はセンサを備える代わりに、図５の実施形態は、第１のレンズ５１及び第２のレンズ５３を備えている。これらの第１及び第２のレンズは、視線に対して垂直な方向に沿って離間され、光を展望用ミラー装置５５に向かって方向づける。この展望用ミラー装置５５は、離間されたレンズ５１，５３からの光を単一のセンサ又はカメラ５７へ方向づける役割を果たす。それゆえ、画像の左側部は左レンズから到来し、右側部は右レンズから到来する。センサの中心をミラーに適合させるために「較正」が実施される。

上記実施形態に説明された本発明は、例えば、特定のオブジェクトに関係する画像信号の領域を、画像信号における当該領域の深度に基づいて、それゆえ、全体の画像信号における当該領域の重要性に基づいて圧縮することができるという利点をもつ。

上述された実施形態は、本発明を限定するというよりむしろ説明するものであり、当業者であれば、添付の請求項の範囲から逸脱することなく、多くの代替の実施形態を設計することが可能であることに留意されるべきである。動詞「有する（comprising）」は、請求項に列記されるもの以外の他の構成要素又はステップの存在を除外するものではない。

請求項において、括弧内に付されたいかなる参照符号も、請求項を限定するものとして解釈されるべきではない。構成要素に先行する冠詞「a」又は「an」は、このような構成要素が複数存在することを除外するものではない。本発明は、幾つかの別個の構成要素を有するハードウェアによって、更に、適切にプログラムされたコンピュータによって実現されてもよい。幾つかの手段を列挙する装置請求項では、これらの手段の幾つかが、ハードウェアの１つの同じアイテムによって具現化されてもよい。或る方策が互いに異なる従属請求項に述べられているという単なる事実が、これらの方策の組み合わせが有利に使用されることはできないということを示すものではない。

本発明によるビデオ処理装置を示す図である。 一般的な場面を示す図である。 図１の第２のカメラで得られた画像を示す図である。 図１の第１のカメラで得られた画像を示す図である。 簡単な圧縮エンジンを示す図である。 本発明の代替の実施形態を示す図である。

Claims (17)

1. １つ又は複数の関心領域をもつ画像信号を処理するためのビデオ処理装置であって、
   前記画像信号における領域の深度を決定し、対応する深度信号を供給するための深度推定手段と、
   前記画像信号及び前記深度信号を受け取るためのデータ圧縮器であって、前記深度推定手段から受け取られた前記対応する深度信号に基づいて、特定の領域における画像のデータ圧縮を行うデータ圧縮器と
   を有するビデオ処理装置。
2. 第１のカメラ及び第２のカメラを更に有するビデオ処理装置であって、
   前記第１のカメラ及び前記第２のカメラが、前記画像信号における領域の深度を決定するために、第１の画像信号及び第２の画像信号を前記深度推定手段に供給する、請求項１に記載のビデオ処理装置。
3. 前記深度推定手段が、前記第１の画像信号と前記第２の画像信号との間の視差に基づいて、領域の深度を決定する、請求項２に記載のビデオ処理装置。
4. 前記データ圧縮器が、前記深度信号によって前記データ圧縮の量子化を変化させる、請求項１に記載のビデオ処理装置。
5. 前記データ圧縮器が、小さい値の深度信号をもつ領域に対しては高い量子化を行い、高い値の深度信号をもつ領域に対してはより低い量子化を行う、請求項４に記載のビデオ処理装置。
6. 前記データ圧縮及び深度が、ピクセルごとに決定される、請求項１に記載のビデオ処理装置。
7. 前記データ圧縮器が、予め決められたやり方で重要でないピクセルをコード化する、請求項６に記載のビデオ処理装置。
8. 前記データ圧縮器が、重要でないピクセルに関係するピクセルデータを省く、請求項７に記載のビデオ処理装置。
9. 前記データ圧縮器は、必要とされる帯域幅がより狭いデータで、重要でないピクセルに関するピクセルデータをコード化する、請求項７に記載のビデオ処理装置。
10. 前記データ圧縮器は、予め決められたデータがレシーバ側で挿入されるようにするフラグで、重要でないピクセルに関するピクセルデータをコード化する、請求項７に記載のビデオ処理装置。
11. 請求項１に記載のビデオ処理装置を備える携帯通信装置。
12. 第１の画像信号を取り出すための第１の画像化手段と、
    第２の画像信号を取り出すための第２の画像化手段とを更に有し、
    前記第１の画像化手段及び前記第２の画像化手段が、実質的に同じ方向を向く、請求項１１に記載の携帯通信装置。
13. 前記第１の画像化手段及び前記第２の画像化手段が、第１のレンズ及び第２のレンズを有し、前記第１のレンズ及び前記第２のレンズが、視線に対して垂直な方向に沿って離間されている、請求項１２に記載の携帯通信装置。
14. 前記第１の画像化手段及び前記第２の画像化手段が、第１のカメラ及び第２のカメラを有する、請求項１２に記載の携帯通信装置。
15. 前記第１の画像信号及び前記第２の画像信号が、画像信号内のオブジェクトの深度を決定するために使用される、請求項１２に記載の携帯通信装置。
16. １つ又は複数の関心領域をもつ画像信号を処理する方法であって、
    対応する深度信号を供給するために、前記画像信号における領域の深度を決定するステップと、
    前記画像信号を圧縮するためのデータ圧縮器を供給するステップと、
    前記対応する深度信号に基づいて、特定の領域のデータを圧縮するステップとを含む方法。
17. 第１のカメラ及び第２のカメラを供給するステップを更に含む、請求項１６に記載の方法であって、
    前記第１のカメラ及び前記第２のカメラが、前記画像信号における領域の深度を決定するための第１及び第２の画像信号を供給する方法。

Images