JP2006054729A

JP2006054729A - 画像生成装置

Info

Publication number: JP2006054729A
Application number: JP2004235620A
Authority: JP
Inventors: Kenichiro Oi; 堅一郎多井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-08-12
Filing date: 2004-08-12
Publication date: 2006-02-23

Abstract

【課題】静止画から自動的に初期フレームを作成する。
【解決手段】何れか一の画像を構成する各画素につき、当該画素の周囲に配列している画素との間で差分絶対値を求め、求めた上記差分絶対値が予め設定された第１の閾値を超える特徴領域と第１の閾値以下の非特徴領域を画像を構成する各画素につき特定するとともに、特定した特徴領域並びに非特徴領域を２値で表した分散画像を生成し、各画像を互いに比較することにより視差を検出し、検出した視差が予め設定された第２の閾値を超える近傍領域と第２の閾値以下の非近傍領域を画像を構成する各画素につき特定するとともに、特定した近傍領域並びに非近傍領域を２値で表した視差画像を生成し、この生成した分散画像と視差画像を合成する。
【選択図】図１

Description

本発明は、動画像処理分野において必要となる初期フレームを生成するための画像生成装置及び方法、プログラムに関する。

テレビ電話システムやテレビ会議システム等に代表されるように、複数のユーザが互いに離れた場所から相手の表示像を視認しながら遠隔対話するシステムが提案されている。このようなシステムでは、相手の表示像をディスプレイ上に表示するとともに、当該ディスプレイを視認するユーザを撮影対象として撮像し、得られた画像信号を公衆回線、専用回線等のネットワークを介して相手側の画像処理装置へ送信することにより、双方のユーザに対し臨場感を持たせることが可能となる。

このようなテレビ会議システムにおいては、カメラシステムにおいて撮像された動画像からユーザを始めとした動物体を含む前景領域を切り出し、かかる切り出した動物体に所定の処理を施すことにより、背景の特徴に左右されにくいロバストな画像処理が可能となる。また、テレビ会議システムにおいて背景を相手へ送りたくない場合には、前景と背景を分離し、前景のみを配信することで実現させる。

ところで、このような前景領域を切り出す方法として、前景背景分離アルゴリズム（例えば、非特許文献１参照。）が提案されている。しかしながら、この前景背景分離アルゴリズムでは初期フレームを手動で与えなければならないため、かかる手動で与えられた初期フレームの精度に応じて時間的に後段の画像における処理精度に影響を与えてしまうという問題点がある。

このため、一定の精度で初期フレームを自動的に設定し得る何らかの方法が必要であった。

Roland Mech and Michael Wollborn, 鄭coustics, Speech, and Signal Processing Volume:4, Pages:2657 - 2660 (1997).

そこで、本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、静止画から自動的に初期フレームを作成する画像生成装置及び方法、プログラムを提供することにある。

本発明に係る画像生成装置は、上述した課題を解決するために、少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像の前景を抽出した前景画像を生成するための画像生成装置において、何れか一の画像を構成する各画素につき、当該画素の周囲に配列している画素との間で差分絶対値を求め、求めた差分絶対値が予め設定された第１の閾値を超える特徴領域と第１の閾値以下の非特徴領域を画像を構成する各画素につき特定するとともに、特定した特徴領域並びに非特徴領域を２値で表した分散画像を生成する分散画像生成手段と、各画像を互いに比較することにより視差を検出し、検出した視差が予め設定された第２の閾値を超える近傍領域と第２の閾値以下の非近傍領域を上記画像を構成する各画素につき特定するとともに、特定した近傍領域並びに非近傍領域を２値で表した視差画像を生成する視差画像生成手段と、分散画像生成手段により生成された分散画像と、視差画像生成手段により生成された視差画像を合成することにより前景画像を生成する合成手段とを備える。

本発明に係る画像生成方法は、上述した課題を解決するために、少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像の前景を抽出した前景画像を生成する画像生成方法において、何れか一の画像を構成する各画素につき、当該画素の周囲に配列している画素との間で差分絶対値を求め、求めた差分絶対値が予め設定された第１の閾値を超える特徴領域と第１の閾値以下の非特徴領域を画像を構成する各画素につき特定するとともに、特定した特徴領域並びに非特徴領域を２値で表した分散画像を生成する分散画像生成ステップと、各画像を互いに比較することにより視差を検出し、検出した視差が予め設定された第２の閾値を超える近傍領域と第２の閾値以下の非近傍領域を上記画像を構成する各画素につき特定するとともに、特定した近傍領域並びに非近傍領域を２値で表した視差画像を生成する視差画像生成ステップと、分散画像生成ステップにおいて生成した分散画像と、視差画像生成ステップにおいて生成した視差画像を合成することにより前景画像を生成する合成ステップとを有する。

本発明に係るプログラムは、上述した課題を解決するために、少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像の前景を抽出した前景画像を生成することをコンピュータに実行させるプログラムにおいて、何れか一の画像を構成する各画素につき、当該画素の周囲に配列している画素との間で差分絶対値を求め、求めた差分絶対値が予め設定された第１の閾値を超える特徴領域と第１の閾値以下の非特徴領域とを上記画像を構成する各画素につき特定するとともに、特定した特徴領域並びに非特徴領域を２値で表した分散画像を生成する分散画像生成ステップと、各画像を互いに比較することにより視差を検出し、検出した視差が予め設定された第２の閾値を超える近傍領域と第２の閾値以下の非近傍領域を画像を構成する各画素につき特定するとともに、特定した近傍領域並びに非近傍領域を２値で表した視差画像を生成する視差画像生成ステップと、分散画像生成ステップにおいて生成した分散画像と、視差画像生成ステップにおいて生成した視差画像を合成することにより前景画像を生成する合成ステップとをコンピュータに実行させる。

本発明では、静止画から自動的に前景画像を作成することができるため、前景背景分離アルゴリズムにおいてかかる前景画像を初期フレームとして手動ではなく自動的に与えることができる。

以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。

本発明を適用した画像生成装置１は、例えば図１に示すように、被写体ａを互いに異なる視点から撮像するカメラ群１１と、接続されたカメラ１１群より画像Ｐ１,Ｐ２,Ｐ３,・・・・,Ｐｎが供給される特徴領域抽出部２１並びに近傍領域抽出部２２と、特徴領域抽出部２１により生成された分散画像と、近傍領域抽出部２２により生成された視差画像とを合成する合成部２３と、合成部２３から出力された前景画像につき後処理を施すための後処理部２４とを備えている。

カメラ群１１は、被写体ａに対して互いに異なる視点となるように複数に亘り設置されたカメラ１１_１,１１_２,・・・,１１_ｎからなる。このカメラ群１１は、撮影方向、撮影画角が固定された状態で設置されるが、被写体ａにおける情報に基づき、これらを自在に変更するようにしてもよい。ちなみに、以下の説明においては、２台のカメラ１１_１,１１_２により被写体ａを撮像した結果得られる画像Ｐ１,Ｐ２に基づき前景画像を生成する例につき説明をする。

特徴領域抽出部２１は、カメラ１１_１から画像Ｐ１が供給されるとともに、カメラ１１_２から画像Ｐ２が供給される。この特徴領域抽出部２１は、供給された何れか一の画像Ｐ１,Ｐ２を構成する各画素につき、特徴領域並びに非特徴領域を２値で表した分散画像を生成する。この分散画像の生成方法については、後において詳細に説明する。

近傍領域抽出部２２は、各画像Ｐ１,Ｐ２を互いに比較することにより視差を検出し、検出した視差に基づいて特定した近傍領域並びに非近傍領域を上記２値で表した視差画像を生成する。この視差画像の生成方法については、後において詳細に説明する。

合成部２３は、特徴領域抽出部２１により生成された分散画像と、近傍領域抽出部２２により生成された視差画像を合成することにより前景画像を生成する。

後処理部２４は、合成部２３から供給される前景画像を構成する画素に対して上記２値のうち何れかを割り当てることにより、かかる前景画像そのものを修正する。後処理部２４は、修正した前景画像を外部へ送信する。

次に、この画像生成装置１における具体的な動作につき説明をする。

この画像生成装置１では、図２に示すように、２台のカメラ１１_１,１１_２により被写体ａを撮像した結果得られる、互いに視点のことなる画像Ｐ１,Ｐ２につき、それぞれ分散画像を作成するとともに、これら２つの画像Ｐ１,Ｐ２から視差画像を生成する。次に、これら分散画像と視差画像を互いに合成する。生成されている２枚の分散画像それぞれに対して視差画像を合成していく結果、最終的に２枚の異なる前景画像が得られることになる。

実際にこの分散画像を生成する場合には、特徴領域抽出部２１において例えば図３に示すように、画像Ｐａ（Ｐｂ）を構成する一の画素を抽出する（以下、この抽出された画素を特定画素という）。次にこの特定画素の周囲に配列する８つの画素群（以下、かかる画素群を周辺画素という。）を抽出する。そして、この特定画素と周辺画素との間で分散度を識別する。

この分散度の識別方法については、特定画素と周辺画素との間で輝度レベルの差分値を求める。そして求めた差分値の絶対値を算出することにより、特定画素と周辺画素との間でいわゆる差分絶対値を求め、これを分散度とする。一つの特定画素の周辺には、８個の周辺画素が存在することから、差分絶対値も８通り求められることになる。

次に、この求めた各差分絶対値（分散度）を閾値αと比較する。そしてこの差分絶対値が閾値αを超える場合には、その差分絶対値を求めた周辺画素は特定画素に対して輝度レベルが大きく異なるため、特徴領域として指定する。これに対して、差分絶対値が閾値α以下の場合には、その差分絶対値を求めた周辺画素は特定画素に対して輝度レベルが大差ないことから、非特徴領域として特定する。即ち、特定画素周辺にある８個の周辺画素につき求めた８通りの差分絶対値につき、かかる閾値αと比較することにより、８個の周辺画素全てについて特徴領域或いは非特徴領域の何れかを割り当てることが可能となる。

特定画素の周囲にある８個の周辺画素につき、特徴領域或いは非特徴領域の割り当てを終了させた後、画像Ｐａ（Ｐｂ）を構成する他の一の画素を抽出し、これを上記特定画素として上述した処理を施していくことになる。

特徴領域抽出部２１は、この割り当てた特徴領域或いは非特徴領域につき、２値で現した分散画像Ｄａ,Ｄｂを生成する。図４は、画像Ｐａにつき、上述した手法に基づいて分散画像Ｄａを生成する例につき示している。この図４によれば、隣り合う画素の間で輝度レベルの差異が大きいユーザや机の上にある電子機器を構成する画像領域につき、特徴領域としてビットを立てる（白色を割り当てる）とともに、ホワイトボードや背景等のように隣り合う画素の間で輝度レベルの差異が小さい画像領域につき、非特徴領域として黒色を割り当てている。この２値画像で現される分散画像Ｄａは、合成部２３へ送られることになる。

ちなみに、この特定画素の抽出は、画像Ｐａ（Ｐｂ）を構成する全ての画素に対して実行する場合に限定されるものではなく、これを構成する一部の画素につき特定画素として抽出するようにしてもよい。また、特定画素に対する周辺画素に関しても、特定画素の周囲に存在する８個の画素を周辺画素とする場合に限定されるものではなく、８個の画素の一部のみを周辺画素として抽出するようにしてもよい。さらにこの閾値αの設定に関してもユーザが任意に設定できるようにしてもよい。

次に近傍領域抽出部２２による視差画像の生成方法につき説明をする。

近傍領域抽出部２２は、図５に示すように、画像Ｐａと画像Ｐｂを重ね合わせる。本例では、事前に画像Ｐａと画像Ｐｂはあらかじめ画像の幾何学的正規化処理を施してあるものとしている。被写体ａとしてのユーザは、カメラ群１１により近傍に存在するため視差による影響を受け、画像Ｐａと画像Ｐｂとの間で互いに異なる位置に描かれることになる。このため図５に示すように互いに位置ズレを起こすことになる。これに対して、ユーザの背景部分に相当するホワイトボード等については、視差による影響が軽減され。図５に示すように互いに位置ズレが起きることがなくなる。

近傍領域抽出部２２は、かかる重ね合わせた画像から実際の視差を検出する。この視差の検出については、画像Ｐａと画像Ｐｂを重ね合わせることにより実行する場合に限定されるものではなく、これら双方の画像を互いに比較することにより実行してもよい。そしてこの検出した視差を閾値βと比較する。そしてこの視差が閾値β以下の場合には、かかる視差を作り出す画像領域を構成する被写体ａがカメラ群１１の近傍に存在しているため、当該画像領域を近傍領域として特定する。また、この視差が閾値βを超える場合には、かかる視差を作り出す画像領域を構成する被写体ａがカメラ群１１から離間する位置に存在しているため、当該画像領域を非近傍領域として特定する。近傍領域抽出部２２は、特定した近傍領域並びに非近傍領域を２値で表した視差画像を生成する。この視差画像において用いられる２値の輝度レベルは、上述した分散画像において用いられる２値の輝度レベルと同等なものとする。

ちなみに、この図５によれば、カメラ群１１に対してより近傍に位置するユーザや机、電子機器等の被写体ａを構成する画像領域につき、近傍領域として白色が割り当てるとともにホワイトボードや背景等のようにカメラ群１１に対してより離間した位置に存在する被写体ａについては黒色を割り当てる。ちなみに、近傍領域抽出部２２は、画像Ｐａと画像Ｐｂにつき図５に示すように視差画像Ｖａ,Ｖｂを生成するようにしてもよい。

次に、この生成した分散画像Ｄａを視差画像Ｖａと合成するとともに、分散画像Ｄｂを視差画像Ｖｂと合成する。図６は、分散画像Ｄａを視差画像Ｖａと合成する場合を示している。分散画像Ｄａにおいて特徴領域として特定された画素と、視差画像Ｖａにおいて近傍領域として特定された画素が白色で構成されている。合成部２３では、これら白色で構成されている画像領域につき論理和を求める。その結果、分散画像Ｄａにおいて特徴領域として特定され、かつ視差画像Ｖａにおいて近傍領域として特定された画素のみが白色で表示されることになる。かかる論理和として求められた画像が前景画像となる。

なお、後処理部２４において、この前景画像を構成する画素に対してさらに上記２値（白色又は黒色）のうち何れかを割り当てる修正処理を実行するようにしてもよい。分散画像Ｄａを視差画像Ｖａにつきビットが立てられた画像領域につき単純に論理和を求めるのみでは、前景画像を構成する白色の画像領域につき抜けが生じてしまうことが多いため、かかる修正処理を施すことによりこれを除去することが可能となる。

このように、本発明を適用した画像生成装置１では、静止画から自動的に前景画像を作成することができるため、前景背景分離アルゴリズムにおいてかかる前景画像を初期フレームとして自動的かつ精度よく与えることができ、時間的に後段の画像における処理精度を向上させることができる。

また、この画像生成装置１により生成された前景画像を初期フレームとして双方のユーザの視線を一致させた状態にある仮想視点画像を作り出すことも可能となることから、テレビ会議システムへの応用をも図ることが可能となる。

本発明を適用した画像生成装置の構成を示す図である。本発明を適用した画像生成装置の動作方法につき説明するための図である。分散画像の生成方法につき説明するための図である。分散画像の生成例につき示す図である。視差画像の生成方法につき説明するための図である。前景画像を生成するまでのプロセスを示す図である。

符号の説明

１画像生成装置、１１カメラ群、２１特徴領域抽出部、２２近傍領域抽出部、２３合成部、２４後処理部

Claims

少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像の前景を抽出した前景画像を生成するための画像生成装置において、
何れか一の上記画像を構成する各画素につき、当該画素の周囲に配列している画素との間で差分絶対値を求め、求めた上記差分絶対値が予め設定された第１の閾値を超える特徴領域と上記第１の閾値以下の非特徴領域を上記画像を構成する各画素につき特定するとともに、特定した特徴領域並びに非特徴領域を２値で表した分散画像を生成する分散画像生成手段と、
上記各画像を互いに比較することにより視差を検出し、検出した視差が予め設定された第２の閾値を超える近傍領域と上記第２の閾値以下の非近傍領域を上記画像を構成する各画素につき特定するとともに、特定した近傍領域並びに非近傍領域を上記２値で表した視差画像を生成する視差画像生成手段と、
上記分散画像生成手段により生成された分散画像と、上記視差画像生成手段により生成された視差画像を合成することにより上記前景画像を生成する合成手段とを備えること
を特徴とする画像生成装置。
上記前景画像を構成する画素に対して上記２値のうち何れかを割り当てる修正手段をさらに備えること
を特徴とする請求項１記載の画像生成装置。
少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像の前景を抽出した前景画像を生成する画像生成方法において、
何れか一の上記画像を構成する各画素につき、当該画素の周囲に配列している画素との間で差分絶対値を求め、求めた上記差分絶対値が予め設定された第１の閾値を超える特徴領域と上記第１の閾値以下の非特徴領域を上記画像を構成する各画素につき特定するとともに、特定した特徴領域並びに非特徴領域を２値で表した分散画像を生成する分散画像生成ステップと、
上記各画像を互いに比較することにより視差を検出し、検出した視差が予め設定された第２の閾値を超える近傍領域と上記第２の閾値以下の非近傍領域を上記画像を構成する各画素につき特定するとともに、特定した近傍領域並びに非近傍領域を上記２値で表した視差画像を生成する視差画像生成ステップと、
上記分散画像生成ステップにおいて生成した分散画像と、上記視差画像生成ステップにおいて生成した視差画像を合成することにより上記前景画像を生成する合成ステップとを有すること
を特徴とする画像生成方法。
上記前景画像を構成する画素に対して上記２値のうち何れかを割り当てる修正手段をさらに備えること
を特徴とする請求項３記載の画像生成方法。
少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像の前景を抽出した前景画像を生成することをコンピュータに実行させるプログラムにおいて、
何れか一の上記画像を構成する各画素につき、当該画素の周囲に配列している画素との間で差分絶対値を求め、求めた上記差分絶対値が予め設定された第１の閾値を超える特徴領域と上記第１の閾値以下の非特徴領域を上記画像を構成する各画素につき特定するとともに、特定した特徴領域並びに非特徴領域を２値で表した分散画像を生成する分散画像生成ステップと、
上記各画像を互いに比較することにより視差を検出し、検出した視差が予め設定された第２の閾値を超える近傍領域と上記第２の閾値以下の非近傍領域を上記画像を構成する各画素につき特定するとともに、特定した近傍領域並びに非近傍領域を上記２値で表した視差画像を生成する視差画像生成ステップと、
上記分散画像生成ステップにおいて生成した分散画像と、上記視差画像生成ステップにおいて生成した視差画像を合成することにより上記前景画像を生成する合成ステップとをコンピュータに実行させることを特徴とするプログラム。
上記前景画像を構成する画素に対して上記２値のうち何れかを割り当てる修正ステップをさらに有すること
を特徴とする請求項５記載のプログラム。