JP2000057350A - 画像処理装置と方法及び画像送信装置と方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数の視点から同じ対象物を撮影した複数の
画像を基に、任意の視点からの画像を少ない処理量で実
時間に合成する。 【解決手段】 画像取得部７は、任意の仮想視点を挟む
２つの視点からそれぞれ対象物を撮影した２つの画像デ
ータを取得する。対象物・背景分離部９は、２つの画像
データをそれぞれ対象物と背景とに分離し、対象物画像
処理部１１及び背景画像処理部１３はそれぞれ独立に対
象物及び背景の仮想視点からの画像を演算し、画像合成
部１５で両画像を合成し、画像出力部１７から出力す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、対象物を複数の視
点から撮影した複数の画像データを処理して、任意の方
向から対象物を見た動画像を生成する画像処理装置と方
法及びこの画像処理装置に複数の画像データを送信する
画像送信装置と方法に関する。

【０００２】

【従来の技術】対象物を任意の視点から見た画像の表示
装置として、ＣＧ（Computer Graphics）方式と画像方
式が知られている。ＣＧ方式は、対象物の立体モデルを
作成し、そのモデルを任意のある視点から見た場合の画
像を計算により求める方式である。しかし高解像度の画
像を生成するには、対象物のモデリングを非常に細かく
行う必要があり、また作成した対象物のモデリングを元
にした任意視点からの画像を求めるための計算量も、そ
の画像の複雑さと要求される画質により増大する。さら
に対象物を実写して、その任意視点からの画像を得よう
とした場合、実写の画像から、一旦３次元モデルを構築
するデータ処理が必要になる。

【０００３】また画像方式は、視点の違う複数の画像を
蓄積しておき、任意の視点に対応する画像を抽出して表
示するものである。しかし、この方式は任意の視点に対
応するためには、少しずつ視点を変えた大量の画像を用
意する必要がある。また対象物を実写して、その任意視
点からの画像を得ようとした場合、少しずつ視点を変え
た大量の画像を撮影する必要があるが、撮影が大掛かり
になり、現実的でない。

【０００４】そこで、隣接する視点からの画像を用い
て、その視点間の画像を近似する各種の方法が提案され
ている。図７にその一例を示す。これは、特開平８−７
７３５６号公報記載の「三次元多眼画像の処理方法及び
処理処置」の中で記載されていたものである。この例で
は、撮影対象物を多数のカメラで撮影し（図７
（ａ））、得られた視点の異なる画像群（図７（ｂ））
に対して、撮影対象物の同一点を繋ぐ階層的軌跡特徴情
報を求め（図７（ｃ）〜（ｅ））、その階層的軌跡特徴
情報を基にして、任意の視点からの対象物を見た画像を
画像補間処理によって求めている。

【０００５】

【発明が解決しようとする課題】しかしながら、上記Ｃ
Ｇ方式では、画像の複雑さと要求される画質により計算
量が増大する。さらに対象物を実写して、その任意視点
からの画像を得ようとした場合、実写の画像から、一旦
３次元モデルを構築するデータ処理も高精度に行なわな
ければならず、これによっても計算量が増大してしま
う。そのため、大規模な画像処理専用装置を用いても実
時間の動画処理は実現不可能であるという問題点があっ
た。

【０００６】また、上記画像方式では、任意の視点から
の画像を得るためには少しずつ視点を変えた多数の画像
を撮影するために大掛かりな撮影装置が必要となり、ま
たこれら多数の画像を伝送するための伝送線路容量が膨
大なものとなり、これも実現不可能であるという問題点
があった。

【０００７】さらに、隣接する視点からの画像を用い
て、その視点間の画像を近似する各種の方法として示し
た図７の例においても、対象物の同一点を繋ぐ階層的軌
跡特徴情報が、対象物のある一点一点に対してそれぞれ
作る必要から、画面全体では、結局３次元のデータとな
り、画像の高精細化に伴いデータ量が膨大になってしま
い経済的でなく、視点を変えた場合に画面上で場所が大
きく動くことになる、対象物の背景の処理が難しいとい
う問題点がある。

【０００８】以上の問題点に鑑み本発明の目的は、隣接
する視点から見た対象物の画像を用いて、その視点間の
任意の視点から見た画像を、その背景の処理もふくめ、
経済的で且つ実時間に動画像処理する画像処理装置と方
法及び画像送信装置と方法を提供することにある。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に本発明は、撮影対象物をその周囲の少なくとも２視点
から撮影した複数の画像データを取得する画像取得手段
と、この画像取得手段により取得した複数の画像データ
をそれぞれ撮影対象物の画像データと背景の画像データ
とに分離する画像分離手段と、前記分離された撮影対象
物の画像データに対して第１の画像変換処理を施す第１
の画像変換処理手段と、前記分離された背景の画像デー
タに対して第２の画像変換処理を施す第２の画像変換処
理手段と、これらの画像変換処理手段により画像変換処
理された撮影対象物の画像データと背景の画像データと
を合成する画像合成手段と、を備えたことを要旨とする
画像処理装置である。

【００１０】また本発明は、撮影対象物をその周囲の２
視点から撮影した２つの画像データを取得する画像取得
手段と、この画像取得手段により取得した画像データを
前記撮影対象物の画像データ及び背景の画像データに分
離する画像分離手段と、前記分離された撮影対象物の画
像データに対して所望の仮想視点から見た前記撮影対象
物の画像データを演算する第１の画像演算手段と、前記
分離された背景の画像データに対して前記仮想視点から
見た背景の画像データを演算する第２の画像演算手段
と、前記演算された撮影対象物の画像データと前記演算
された背景の画像データとを合成する画像合成手段と、
を備えたことを要旨とする画像処理装置である。

【００１１】また本発明は、撮影対象物をその周囲の少
なくとも２視点から撮影した複数の画像データ、及び前
記撮影対象物の画像データと背景の画像データとを分離
するための分離条件データを受信する受信手段と、前記
受信した画像データ及び分離条件データから所望の仮想
視点を挟む２つの視点から撮影した画像データ及びその
分離条件を選択する画像データ選択手段と、前記分離条
件データを用いて前記画像データから撮影対象物の画像
データ及び背景の画像データを分離する画像分離手段
と、前記分離された撮影対象物の画像データに対して前
記仮想視点から見た前記撮影対象物の画像データを演算
する第１の画像演算手段と、前記分離された背景の画像
データに対して前記仮想視点から見た背景の画像データ
を演算する第２の画像演算手段と、前記演算された撮影
対象物の画像データと前記演算された背景の画像データ
とを合成する画像合成手段と、を備えたことを要旨とす
る画像処理装置である。

【００１２】また本発明は、撮影対象物の周囲から撮影
した２つ以上の視点からの画像を基に任意視点の画像を
合成する画像処理方法であって、前記画像を撮影対象物
の画像と背景の画像とに分離し、撮影対象物の画像には
回転移動処理、背景の画像には平行移動処理を行い、こ
れら処理された撮影対象物の画像と背景の画像とを合成
して任意視点の画像とすることを要旨とする画像処理方
法である。

【００１３】また本発明は、撮影対象物の周囲の少なく
とも２視点から前記撮影対象物を撮影したそれぞれの画
像データを取得する画像データ取得手段と、前記画像デ
ータから前記撮影対象物の画像と背景の画像とを分離す
るための分離条件データを生成する分離条件生成手段
と、前記画像データに前記分離条件データを付加して送
信する送信手段と、を備えたことを要旨とする画像送信
装置である。

【００１４】また本発明は、撮影対象物の周囲の少なく
とも２視点から前記撮影対象物を撮影してそれぞれ画像
データを取得し、前記各画像データから前記撮影対象物
の画像と背景の画像とを分離するための分離条件データ
を生成し、前記画像データに前記分離条件データを付加
して送信することを要旨とする画像送信方法である。

【００１５】（作用）本発明においては、撮影対象物を
その周囲の複数の視点以上から撮影した場合、画面上の
撮影対象物の大まかな位置は、あまり変化しないが、背
景として写っている物の画面上の位置は、視点の移動に
連れて大きく変化することに着目して、任意の仮想視点
からの画像を得るものである。

【００１６】すなわち、仮想視点を挟む２つの視点から
撮影対象物を撮影し、撮影した画像から撮影対象物とそ
の背景の画像を分離し、撮影対象物の画像及びその背景
の画像にそれぞれの特徴に合わせた画像変換処理を施し
た後、両画像を合成することにより仮想視点から撮影対
象物を撮影したような画像を得るものである。

【００１７】上記の構成により、画像処理にかかるデー
タの演算量を少なくすることができ、経済的で且つ高速
に任意視点からの画像を得ることができる。

【００１８】また、撮影対象物をその周囲の複数の視点
から撮影した画像データを送信し、受信側で、任意の第
３の視点から見た場合の撮影対象物の画像及び背景の画
像を合成する場合、撮影対象物の画像と背景の画像とを
分離するための分離条件を送信側で求めて、受信側へ画
像データと共に伝送し、受信側でこの分離条件を用いて
撮影対象物の画像及び背景の画像を分離することによ
り、特に受信側の画像から撮影対象物とその背景の画像
を分離する処理を簡単に行うことができ、特に受信側
で、経済的で且つ高速で実行することができる。

【００１９】

【発明の実施の形態】次に図面を参照して、本発明の実
施の形態を詳細に説明する。図１は、本発明に係る画像
処理装置の第１の実施形態の構成を示すブロック図であ
る。同図において、画像処理装置１は、所望の仮想視点
の位置を入力する仮想視点位置入力部３、複数の撮影視
点と仮想視点との間の距離を計算する視点間距離計算部
５、複数の視点から撮影した画像を動画像データとして
取得する画像取得部７、複数の動画像データからそれぞ
れ対象物画像と背景画像とを分離する対象物・背景分離
部９、対象物画像を処理して仮想視点から見た対象物画
像を生成する対象物画像処理部１１、背景画像を処理し
て仮想視点から見た背景画像を生成する背景画像処理部
１３、仮想視点から見た対象物画像と仮想視点から見た
背景画像とを合成し、仮想視点から見た画像を生成する
画像合成部１５、及び合成された画像を出力する画像出
力部１７を備えている。

【００２０】また、図２は本発明の第１の実施形態の画
像処理の手順を簡単に示した説明図である。画像取得部
７は、撮影対象を２点以上の複数視点から見た画像をそ
の背景と共に動画像データとして取得するものである。
これについて図２を用いて説明すると、この図では、互
いに異なる視点に配置されたカメラ２５及びカメラ２７
が画像取得部７を構成していて、撮影対象を２点から撮
影している。

【００２１】そしてカメラ２５及びカメラ２７で撮影対
象物２１を撮影するが、その際背景２３も同時に撮影さ
れた画像に取り込まれる。その場合カメラ２５では、図
２のＰ１で示すように撮影対象物２１及び背景２３のう
ち概略Ａ，Ｂ，Ｃで示す部分を取得することになる。

【００２２】またカメラ２７では、図２のＰ２で示すよ
うに撮影対象物２１及び背景２３のうち概略Ｃ，Ｄ，Ｅ
で示す部分を取得することになる。このように、複数視
点から撮影対象２１を取った画像では、撮影対象２１
は、概略画面の同一位置に撮影されるが、背景２３は、
概略画面上を平行移動した位置に撮影されることにな
る。

【００２３】この複数視点から撮影した対象物２１と背
景２３の画像の画面上の写りかたの特徴ともとに、対象
物・背景分離部９では、得られた画像Ｐ１から対象物２
１の画像Ｐ１１と背景２３の画像Ｐ１２に、及び画像Ｐ
２から対象物２１の画像Ｐ２１と背景２３の画像Ｐ２２
とにそれぞれ分離する。

【００２４】仮想視点位置入力部３は、カメラ２５、及
びカメラ２７の視点位置とは異なる仮想視点の位置を入
力するものである。この位置入力は、座標で入力するこ
ともできるが、２つのカメラ２５、２７の視点位置に対
する相対位置として入力することもできる。

【００２５】例えば、仮想視点位置入力部３の操作ボタ
ンとして、「＜」、「＞」、「≪」、「≫」の４つのボ
タンを備え、ボタン「＜」は現在の仮想視点から更に左
の仮想視点へ移る、ボタン「＞」は現在の仮想視点から
更に右の仮想視点へ移る、ボタン「≪」は現在の仮想視
点から左の実視点、即ちカメラ２５の視点へ移る、
「≫」は現在の仮想視点から右の実視点、即ちカメラ２
７の視点へ移るというように定義して制御してもよい。

【００２６】視点間距離計算部５は、入力された仮想視
点位置とカメラ２５、２７の視点位置との相対距離を計
算し、例えば、カメラ２５の視点から仮想視点までの距
離Ｌ１とし、仮想視点からカメラ２７の視点までの距離
Ｌ２とすると、Ｌ１：Ｌ２を計算して対象物画像処理部
１１、背景画像処理部１３に伝える。或いは、カメラ２
５の視点と仮想視点とから対象物を見込む角度θ１と、
仮想視点とカメラ２７の視点とから対象物を見込む角度
θ２とを計算して対象物画像処理部１１、背景画像処理
部１３に伝えてもよい。

【００２７】勿論いずれかのカメラの視点位置と仮想視
点位置とが一致する場合には、一致したカメラにより取
得した画像が画像取得部７から直接又は適当な遅延時間
を加えて画像出力部１７に出力されるようになってい
る。

【００２８】対象物画像処理部１１では、対象物・背景
分離部９でそれぞれ分離されたカメラ２５、２７の視点
から撮影された対象物の画像Ｐ１１、Ｐ２１と、視点間
距離計算部５により得られた視点間距離比とに基づい
て、仮想視点２９から見た対象物の画像を演算によって
生成する。

【００２９】この演算は、視点が移動するとき、対象物
は概略、画面上の同一地点での回転運動として見えるこ
とを利用し、たとえば、カメラ２５で取得した対象物の
画像を基に、その個々の点が、カメラ２７で取得した対
象物の画像での移動量を求め、その移動量をカメラ２５
の位置からカメラ２７の位置までの視点移動に対する画
像移動量とし、カメラ２５の位置から仮想視点２９の位
置までの視点移動量（Ｌ１）と、カメラ２５の位置から
カメラ２７の位置までの視点移動量（Ｌ１＋Ｌ２）の比
率に応じて、カメラ２５で取得した対象の画像からの画
像移動量を調整することで、仮想視点２９から対象を見
たときの対象の画像Ｐ３を生成する。

【００３０】背景画像処理部１３では、背景が実画面が
得られているカメラ２５及びカメラ２７の位置とは異な
る仮想視点２９から対象を見た背景の画像を、カメラ２
５で取得した背景画像Ｐ１２とカメラ２７で取得した背
景画像Ｐ２２と、カメラ２５、カメラ２７及び仮想視点
２９の位置情報を基に、演算によって仮想視点２９から
見た背景画像Ｐ４を生成する。

【００３１】この演算は、視点が移動したとき、背景は
概略画面上で平行移動するのを利用し、たとえば、図２
で示すようにカメラ２５で取得した背景の画像Ｐ１２と
カメラ２７で取得した背景の画像Ｐ２２との相関をとる
ことにより、カメラ２５で取得した背景の画像とカメラ
２７で取得した背景の画像の平行移動量を求め、その移
動量をカメラ２５の位置からカメラ２７の位置まで視点
移動に対する画像移動量とする。

【００３２】また、カメラ２５で取得した背景の画像Ｐ
１２とカメラ２７で取得した背景の画像Ｐ２２のうち双
方に写っている部分を画像の相関もしくは、カメラ２５
及びカメラ２７の位置情報と撮影画角の情報もしくは、
その双方を用いて検出し、その部分が重なるようにし
て、演算によりパノラマ状の背景画像Ｐ４’を作成す
る。

【００３３】そのようにした上で、カメラ２５の位置か
ら仮想視点２９の位置までの視点移動量（Ｌ１）とカメ
ラ２５の位置からカメラ２７の位置までの視点移動量
（Ｌ１＋Ｌ２）の比率に応じて、カメラ２５で取得した
背景の画像からの画像移動量を調整した上で、仮想視点
２９で想定した撮影画角に入る背景部分をパノラマ状の
背景画像Ｐ４’から切り出すことにより、仮想視点２９
から背景の画像Ｐ４を生成する。

【００３４】画像合成部１５では、対象物画像処理部１
１で生成した仮想視点２９から対象物を見たときの対象
物の画像Ｐ３を、背景画像処理部１３で生成した仮想視
点２９から見た背景の画像Ｐ４の上に重ね、たとえば図
２のＰ５に示すような、仮想視点２９から対象を見たと
きの画像を生成する。

【００３５】なおこの場合、仮想視点から見た場合にそ
の画角内に見えるはずの背景が、画像取得部７であるカ
メラ２５及びカメラ２７で取得した実画像では、何かの
影になったり画角外になっていたりして、取得できない
場合も考えられる。その場合は、隣接部の背景画像を拡
張して補うことにより、背景が不自然になることを防
ぐ。もちろんこの場合、拡張して補った部分は本来の正
しい画像ではないが、背景部分の画像であるため、著し
く不自然さがなければ、問題無い。

【００３６】尚、本実施形態の変形例として、対象物・
背景分離部９における分離方法として、以下に示す分離
方法を用いてもよい。即ち、画像取得部７で取得された
基となる両画像Ｐ１、Ｐ２の画素間で輝度の相関をと
り、さらに相関値を微分し相関値の傾きを求める。傾き
が一定値（例えば０．７）以上の位置を背景と対象物の
分離点とする。また、基となる画像の画素間で色情報の
相関をとり、さらに相関値を微分し相関値の傾きを求め
る。傾きが一定値（例えば０．７）以上の位置を背景と
対象物の分離点とする。

【００３７】ここで対象物の処理法の例として、対象物
が立方体の場合についてのべる。この説明では、背景の
処理に関するものは省略する。図３は、対象物２１が立
方体の場合に、図１で示す本発明の実施例において、各
部の具体的な処理についての説明図であり、図２の説明
図の場合と同一の働きをするものには同一の番号が付し
てある。

【００３８】画像取得部７では、カメラ２５及びカメラ
２７で、対象物２１を撮影し、対象物・背景分離部９
で、対象物である立方体２１と背景を分離することで、
それぞれ、図３（ｂ）のＰ１１、Ｐ２１で示すような対
象物２１の画像を取得する。

【００３９】対象物画像処理部１１では、対象物２１の
画像の輪郭を検出することにより、対象物２１の輪郭線
が、取得した２つの対象物２１の画像Ｐ１１、Ｐ２１の
上で、どのように位置が変わっているかをすべての輪郭
線について割り出す。そして、たとえば、設定した仮想
視点２９と、実際の視点２５、２７の位置関係の応じ
て、それぞれの輪郭線の画面上での位置を、設定する。

【００４０】たとえば、輪郭線ａは、図３（ｃ）で示す
ように、画面上では、カメラ２５からの画像ではＰ１１
のａの位置に、カメラ２７の画像ではＰ２１のａの位置
にある。そこで、設定した仮想視点２９の位置が、カメ
ラ２５からＬ１、カメラ２７からＬ２の距離にあるとす
ると、仮想視点２９から輪郭線ａを見た場合では、画面
上では、Ｐ１１のａの位置、Ｐ２１のａの位置からＬ１
対Ｌ２の比率で割った位置に輪郭線ａがくるように補正
する。同様な補正をすべての輪郭線について行うことに
より、図３（ｄ）で示すように対象物である立方体２１
を仮想視点２９から見た場合の輪郭を得ることができ
る。

【００４１】従って輪郭線に囲まれた面内の点について
も輪郭の移動に合わせてそれぞれ画面上で移動させるこ
とにより、図３（ｅ）で示すように対象物２１を仮想視
点２９の位置から見た画像を生成する。そして、画像合
成部１５で、別途生成した背景画像と合成する事によ
り、仮想視点２９から、対象物２１である立方体を見た
時の画像を得ることができる。

【００４２】図４は、本発明に係る画像処理装置の第２
の実施形態の構成を示すブロック図である。同図におい
て、画像処理装置は、全体を制御する制御部５１、所望
の仮想視点の位置を入力する仮想視点入力部５３、複数
の視点から撮影した画像を動画像データとして取得する
画像取得部５５、取得した画像データを一時記憶した
り、画像処理の作業空間となる記憶部５９、記憶部５９
の画像に対して、各種演算を行う演算部５７、及び合成
された画像を出力する画像出力部６１を備えている。

【００４３】本実施の形態では、演算部５７が内蔵する
各種処理プログラムを制御部の指示により切り換えるこ
とにより、対象物画像と背景画像とを分離する対象物・
背景分離処理、対象物画像を処理して仮想視点から見た
対象物画像を生成する対象物画像処理、背景画像を処理
して仮想視点から見た背景画像を生成する背景画像処
理、仮想視点から見た対象物画像と仮想視点から見た背
景画像とを合成する合成処理の各処理を１つの演算部５
７で行うように構成されている。

【００４４】図５は、本発明の第３実施形態を説明する
ブロック図であり、放送受信装置に適用した例を示すも
のである。

【００４５】図５において、放送受信装置１０１は、図
示しない放送受信アンテナ又はケーブル端末に接続され
たチューナ・復調部１０３、有料放送のスクランブルを
解除するデスクランブラ１０５、トランスポートストリ
ームを分離するＴＳデマルチプレクサ１０７、音声デコ
ーダ１０９、ＭＰＥＧ２の圧縮画像をデコードする画像
デコーダ１１１、１１３、各画像の撮影位置及び対象物
・背景分離条件を伝送するプライベート情報をデコード
するプライベート情報デコーダ１１５、仮想視点の位置
を入力する視点位置入力部１１９、入力された視点位置
に基づいてチャンネル及び分離条件を指定する視点位置
指定部１１７、音声出力部１２１、画像メモリ１２３、
１２５、対象物・背景画像分離部１２７、対象物画像処
理部１２９、背景画像処理部１３１、画像合成部１３
３、画像出力部１３５、を備えている。

【００４６】この放送受信装置１０１は、同一対象物を
複数の方向から撮影した複数の動画像をそれぞれ異なる
チャンネルで放送するデジタルテレビジョンの受信装置
である。

【００４７】放送側では、複数のチャンネルで放送する
複数の動画及び音声ストリームに加えて、プライベート
パケットで各チャンネルの撮影視点の位置、及び各動画
像から対象物と背景とを分離するための分離条件が送ら
れてくるものとする。

【００４８】一般に放送側は、家庭用の受信側とは異な
り、大規模な画像処理装置を備えることができ、実時間
でも十分に各画像から対象物と背景とを認識して分離条
件を生成することができる。

【００４９】この分離条件としては、撮影対象物又は背
景の輝度情報、色情報、位置情報、輪郭情報等を利用す
ることができる。またこれらの任意の組合せを分離条件
としてもよい。

【００５０】図６は、この放送受信装置１０１の動作を
説明するフローチャートである。まず、仮想視点位置が
リモコン等を利用した視点位置入力部１１９から入力さ
れる（ステップｓ１０）。最初に画像を表示する場合に
は、いずれかのチャンネルで伝送される画像をそのまま
表示することにしてもよい。

【００５１】次いで、入力された仮想視点を挟む２視点
をプライベート情報を参照して選択し（ステップＳ１
２）、これら２視点（以下、第１、第２の視点と呼ぶ）
の画像のＴＳをそれぞれＴＳデマルチプレクサ１０７で
選択し（ステップＳ１８、Ｓ２２）、それぞれ画像デコ
ーダ１１１、１１３でデコードし（ステップＳ２０、Ｓ
２４）、画像メモリ１２３に第１視点の画像Ｐ１、画像
メモリ１２５に第２視点の画像Ｐ２をそれぞれ一時記憶
する。これと並行して、プライベートパケットをＴＳデ
マルチプレクサ１０７で選択して（ステップＳ１４）、
対象物と背景との分離条件をデコードして（ステップＳ
１６）、対象物・背景画像分離部１２７に引き渡す。

【００５２】次いで、対象物・背景画像分離部１２７
は、第１視点の画像Ｐ１から分離条件を利用して対象物
と背景とを分離し、対象物画像Ｐ１１と背景画像Ｐ１２
を得る（ステップＳ２６）。また、対象物・背景画像分
離部１２７は、第２視点の画像Ｐ２から分離条件を利用
して対象物と背景とを分離し、対象物画像Ｐ２１と背景
画像Ｐ２２を得る（ステップＳ２８）。ステップＳ２６
とＳ２８とは、並列処理が可能である。

【００５３】次いで、対象物画像処理部１２９は、対象
物画像Ｐ１１、Ｐ２１、及び仮想視点の位置情報と第
１、第２視点の位置情報とに基づいて画像処理を行い
（ステップＳ３０）、仮想視点から見た対象物の画像Ｐ
３を演算により求める。また、背景画像処理部１３１
は、背景画像Ｐ１２、Ｐ２２、及び仮想視点の位置情報
と第１、第２視点の位置情報とに基づいて画像処理を行
い（ステップＳ３２）、仮想視点から見た背景の画像Ｐ
４を演算により求める。ステップＳ３０とＳ３２とは並
列処理が可能である。

【００５４】次いで、画像合成部１３３は、仮想視点か
ら見た対象物の画像Ｐ３と仮想視点から見た背景の画像
Ｐ４とを合成し、仮想視点から見た画像を形成する（ス
テップＳ３４）。次いで、画像表示部１３５に画像を出
力し（ステップＳ３６）、画像が終了かどうかを判定し
（ステップＳ３８）、終了でなければ、ステップＳ１０
へ戻る。画像が終了で有れば、処理を終了する。

【００５５】本実施形態では、放送側で対象物と背景と
の分離条件を求めて、複数の動画像ストリームとともに
分離条件を付加して放送しているので、受信側の対象物
と背景との分離処理が容易になり、放送受信装置におけ
る対象物と背景との分離処理のためのハードウェアが少
量で済み、他の実施形態より安価な装置で擬似的な任意
視点の画像を提供することができる。

【００５６】

【発明の効果】以上説明したように本発明によれば、任
意の仮想視点を挟む２つの視点からそれぞれ対象物を撮
影した２つの画像から、それぞれ対象物と背景とを分離
し、それぞれ独立に対象物及び背景の仮想視点からの画
像を演算し、両画像を合成することにより、少ない計算
量で実時間に任意の視点から見た画像を提供することが
できる。

【００５７】また本発明によれば、同一対象物を複数の
視点からそれぞれ撮影した複数の画像がマルチチャンネ
ルで放送される場合、これを受信した視聴者は、それぞ
れの嗜好に応じた任意の視点から見た画像として表示す
ることができるので、限られた伝送容量で放送されるマ
ルチチャンネル画像であっても、多数の視聴者のそれぞ
れ任意の視点からの要求に応じた画像を提供することが
できる。

【図面の簡単な説明】

【図１】本発明に係る画像処理装置の第１実施形態の構
成を示すブロック図である。

【図２】本発明による画像処理の流れを説明する概念図
である。

【図３】対象物の画像処理の例を示す説明図である。

【図４】本発明に係る画像処理装置の第２の実施形態の
構成を示すブロック図である。

【図５】本発明の第３実施形態を説明するブロック図で
あり、放送受信装置に適用した例を示すものである。

【図６】第３実施形態の動作を説明するフローチャート
である。

【図７】従来の画像解析手段を示す説明図である。

【符号の説明】

１…画像処理装置、３…仮想視点位置入力部、５…視点
間距離計算部、７…画像取得部、９…対象物・背景分離
部、１１…対象物画像処理部、１３…背景画像処理部、
１５…画像合成部、１７…画像出力部。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA08 BA06 DA02 EA06 EA12 EA18 EA24 FA02 5B057 BA23 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CD02 CD03 CE08 CE09 CH20 DB02 DB09 DC17

Claims (8)

【特許請求の範囲】
1. 【請求項１】 撮影対象物をその周囲の少なくとも２視
   点から撮影した複数の画像データを取得する画像取得手
   段と、 この画像取得手段により取得した複数の画像データをそ
   れぞれ撮影対象物の画像データと背景の画像データとに
   分離する画像分離手段と、 前記分離された撮影対象物の画像データに対して第１の
   画像変換処理を施す第１の画像変換処理手段と、 前記分離された背景の画像データに対して第２の画像変
   換処理を施す第２の画像変換処理手段と、 これらの画像変換処理手段により画像変換処理された撮
   影対象物の画像データと背景の画像データとを合成する
   画像合成手段と、 を備えたことを特徴とする画像処理装置。
2. 【請求項２】 撮影対象物をその周囲の２視点から撮影
   した２つの画像データを取得する画像取得手段と、 この画像取得手段により取得した画像データを前記撮影
   対象物の画像データ及び背景の画像データに分離する画
   像分離手段と、 前記分離された撮影対象物の画像データに対して所望の
   仮想視点から見た前記撮影対象物の画像データを演算す
   る第１の画像演算手段と、 前記分離された背景の画像データに対して前記仮想視点
   から見た背景の画像データを演算する第２の画像演算手
   段と、 前記演算された撮影対象物の画像データと前記演算され
   た背景の画像データとを合成する画像合成手段と、 を備えたことを特徴とする画像処理装置。
3. 【請求項３】 撮影対象物をその周囲の少なくとも２視
   点から撮影した複数の画像データ、及び前記撮影対象物
   の画像データと背景の画像データとを分離するための分
   離条件データを受信する受信手段と、 前記受信した画像データ及び分離条件データから所望の
   仮想視点を挟む２つの視点から撮影した画像データ及び
   その分離条件を選択する画像データ選択手段と、 前記分離条件データを用いて前記画像データから撮影対
   象物の画像データ及び背景の画像データを分離する画像
   分離手段と、 前記分離された撮影対象物の画像データに対して前記仮
   想視点から見た前記撮影対象物の画像データを演算する
   第１の画像演算手段と、 前記分離された背景の画像データに対して前記仮想視点
   から見た背景の画像データを演算する第２の画像演算手
   段と、 前記演算された撮影対象物の画像データと前記演算され
   た背景の画像データとを合成する画像合成手段と、 を備えたことを特徴とする画像処理装置。
4. 【請求項４】 前記分離条件データは、撮影対象物又は
   背景の輝度情報又は色情報又は位置情報又は輪郭情報を
   含むことを特徴とする請求項３記載の画像処理装置。
5. 【請求項５】 前記第１の画像演算手段は撮影対象物の
   画像を回転処理し、 前記第２の画像演算手段は、背景の画像を平行移動処理
   するとともに背景の画像に不足部分が生じた場合には、
   この不足部分に隣接する部分の画像を拡張して補うこと
   を特徴とする請求項２ないし請求項４のいずれか１項記
   載の画像処理装置。
6. 【請求項６】 撮影対象物の周囲から撮影した２つ以上
   の視点からの画像を基に任意視点の画像を合成する画像
   処理方法であって、前記画像を撮影対象物の画像と背景
   の画像とに分離し、撮影対象物の画像には回転移動処
   理、背景の画像には平行移動処理を行い、これら処理さ
   れた撮影対象物の画像と背景の画像とを合成して任意視
   点の画像とすることを特徴とする画像処理方法。
7. 【請求項７】 撮影対象物の周囲の少なくとも２視点か
   ら前記撮影対象物を撮影したそれぞれの画像データを取
   得する画像データ取得手段と、 前記画像データから前記撮影対象物の画像と背景の画像
   とを分離するための分離条件データを生成する分離条件
   生成手段と、 前記画像データに前記分離条件データを付加して送信す
   る送信手段と、 を備えたことを特徴とする画像送信装置。
8. 【請求項８】 撮影対象物の周囲の少なくとも２視点か
   ら前記撮影対象物を撮影してそれぞれ画像データを取得
   し、 前記各画像データから前記撮影対象物の画像と背景の画
   像とを分離するための分離条件データを生成し、 前記画像データに前記分離条件データを付加して送信す
   ることを特徴とする画像送信方法。