JP2009010557A - 奥行データ出力装置及び奥行データ受信装置 - Google Patents

Abstract

【課題】複数のカメラ映像から自然な任意視点映像を作成する際に、取り扱い容易な奥行値（奥行データ）を得ることができる奥行データ出力装置及び奥行データ受信装置を提供する。
【解決手段】奥行データ出力装置１は、被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力するものであって、視差データを算出する視差データ算出手段３と、焦点距離を記憶する記憶手段５と、被写体距離を算出する距離算出手段７と、像倍率に掛ける係数を選択する係数選択手段９と、奥行データを算出する奥行データ算出手段１１と、を備える。
【選択図】図１

Description

本発明は、複数のカメラで撮影したカメラ映像から、任意視点映像を作成する際に必要な、被写体を撮影した複数のカメラのレンズから被写体までの距離（以下、被写体距離と言う）によって規定される表示映像に見かけの奥行を与える為の奥行データを出力する奥行データ出力装置及び奥行データ受信装置に関する。

従来、映像を解析する事により、遠景、中景、近景などの被写体を識別し、それぞれに奥行値（奥行データ）を与える方法が特許文献１に開示されている。この方法では、被写体像の奥行値は相対的な値であり、且つ、注目する被写体に合わせて、非線形に奥行値を与えることとしている。

この特許文献１に開示されている方法を、図１６を参照してさらに詳細に説明する。
この図１６に示される映像１１０は、通常のカメラで撮影された平面画像であり、開示されている方法では、送信側の送信装置（図示せず）にて、この映像１１０を解析する事により、遠景の山や、近景の人物を抽出し、それぞれに奥行値を適宜与える。そして、この方法では、与えられた奥行値を、デプスマップ１３０として、２Ｄ画像１２０と共に、受信装置（図示せず）に送る。

そうすると、受信装置では、与えられたデプスマップ１３０の値に従い視差量に変換し、２Ｄ画像１２０の被写体像位置を左右相反する方向にずらした２枚の視差画像を生成し、両眼視差の原理に基づく立体映像をディスプレイ（図示せず）に表示する。こうすることで、このディスプレイを見る観察者は、立体映像のズレ量である視差量に応じて、大きな視差量の被写体の再生像を近くに、小さな視差量の被写体の再生像を遠くに感じることができる。この立体映像のズレ量を、希望する視点位置に応じて変えることで、任意視点から立体映像又は平面映像を見る事が出来る。

なお、受信装置にて、デプスマップ１３０として送られた奥行値を、視差量に変換する際には、遠方の被写体の視差量が小さく、近景の被写体の視差量が大きくなる様に行われる。この際に、送信側の送信装置は、重要と思われる被写体像の奥行値がより詳細に与えられる様に、奥行値の分解能を非線形に変えられる態様（非線形関数として扱うこと）を取っており、その非線形関数の情報や、分解能を表すスケール情報等と共に受信装置に送っている。

この奥行値の分解能（以下、奥行分解能と略す）を表すスケール情報の例を、図１７に示す。この図１７において、図１７（ａ）は、奥行分解能を線形尺度で与えた例であり、被写体像の奥行値は、映像のどの位置でも同じ分解能で与えられる。図１７（ｂ）は、奥行分解能を対数尺度で与えた例であり、近くの被写体の大きな奥行値は細かな分解能で与えられ、遠くの被写体の小さな奥行値はより粗い分解能で与えられる。そして、スケール情報は、通常、その映像の中で最も遠い被写体と最も近くの被写体像の奥行値の差が、ディスプレイで表せる奥行値の最大値以内になる様に与えられる。

しかし、特許文献１に開示された方法では、複数のカメラで撮影したカメラ映像を、自由に切り替えたり、中間のカメラ位置からのカメラ映像を合成して表示したりするような、自由視点テレビに応用する場合、カメラ映像を切り替えると、カメラに写る被写体の範囲によって、同じ被写体における被写体像の奥行値が変化し、不自然に見えることが生じる。さらに、２台のカメラで撮影したカメラ映像から、奥行値に応じて被写体像の位置をずらして、これらのカメラの中間位置における映像を合成する場合には、２台のカメラ間で同じ被写体における被写体像の奥行値が異なると、合成された映像の奥行を正しく表示できない現象が生じる。

この現象を解決するための従来方法が特許文献２に開示されている。この特許文献２に開示されている方法では、複数のカメラを使う場合は、２台のカメラで撮影したカメラ映像間のマッチング探索を行って、両者で同じ被写体の被写体像の位置（映像中の位置）のずれ量である視差量を求めて奥行値としている。この場合の視差量は、隣り合う２台のカメラ間隔Ｌと、カメラから被写体までの被写体距離Ｄによって決まる。

しかし、この視差量は、カメラ間隔Ｌに応じて変化するので、異なるカメラ間隔で撮影されたカメラ映像を同じ立体ディスプレイに表示する場合には、表示される映像の奥行感が変化し、映像がミニチュアに見える矮小効果が発生したり、表示される映像が平板のように感じられたりする書割効果が発生し、映像の奥行が不自然に見える現象が生じる。

この現象を解決するための別の従来方法が特許文献３に開示されている。この特許文献３に開示されている方法では、距離を測定する為の光を被写体に照射し、被写体から反射して返って来る光の遅延時間を計測して、被写体までの絶対距離を求め、奥行値とするものである。なお、遅延時間の計測には、時間的に変化する光の位相遅れを測るものや、パルス状のレーザ光が被写体に反射して返って来るまでの時間を計るものなどがある。この場合、奥行値は被写体までの絶対距離であるので、カメラ映像を切り替えても被写体像の奥行値は変わらず、切り替えたカメラ映像の表示が自然なものになる。
特開２００４−０７１１０２号公報 特開２００１−６１１６４号公報 特開２００５−１６４３４９号公報

しかしながら、特許文献３でいう奥行値は、被写体までの絶対距離であるので、近くの被写体ほど映像としては大きく写るのに、当該奥行値は小さな値となり、近くの被写体像の奥行を詳しく表示する為には、奥行値の分解能を大きくしなければならず、奥行値の分解能が非常に大きくなるという問題がある。例えば、カメラ映像に空などの無限遠の被写体を含む事が頻繁にあるが、その奥行値は無限大になり、扱い難いと言う問題がある。

そこで、本発明は、前記した問題を解決するもので、複数のカメラ映像から自然な任意視点映像を作成する際に、取り扱い容易な奥行値（奥行データ）を得ることができる奥行データ出力装置及び奥行データ受信装置を提供することを目的とする。

前記課題を解決するため、請求項１に記載の奥行データ出力装置は、被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、記憶手段と、視差データ算出手段と、距離算出手段と、奥行データ算出手段と、を備える構成とした。

かかる構成によれば、奥行データ出力装置は、視差データ算出手段によって、カメラで撮影した少なくとも２つの映像データに基づいて、２つの映像データのズレ量である視差データを算出する。続いて、奥行データ出力装置は、距離算出手段によって、視差データ算出手段で算出した視差データから、カメラのレンズから被写体までの距離である被写体距離を算出する。そして、奥行データ出力装置は、奥行データ算出手段によって、距離算出手段で算出された被写体距離をＤとし、記憶手段に記憶されているレンズの焦点距離をｆとして、被写体と撮影された被写体像との像倍率をｆ／Ｄとした場合に、この像倍率ｆ／Ｄに所定の係数を掛けることで、奥行データを算出する。

請求項２に記載の奥行データ出力装置は、被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、距離画像撮影手段と、記憶手段と、奥行データ算出手段と、を備える構成とした。

かかる構成によれば、奥行データ出力装置は、距離画像撮影手段によって、カメラから被写体までの距離を距離画像として得る。続いて、奥行データ出力装置は、奥行データ算出手段によって、記憶手段に記憶されているレンズの焦点距離をｆとし、距離画像撮影手段で撮影された距離画像から得られたカメラのレンズから被写体までの被写体距離をＤとして、被写体と撮影された被写体像との像倍率をｆ／Ｄとした場合に、この像倍率ｆ／Ｄに所定の係数を掛けることで、奥行データを算出する。

請求項３に記載の奥行データ出力装置は、請求項１又は２に記載の奥行データ出力装置において、前記奥行データ算出手段で使用される前記所定の係数を、予め設定した条件に基づいて選択する係数選択手段を備える構成とした。

かかる構成によれば、奥行データ出力装置は、係数選択手段によって、表示する際のディスプレイが奥行を持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆでない場合の条件のとき、前記所定の係数にＤｆ／（Ｄ−ｆ）を選択し、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが未定の場合の条件のとき、前記所定の係数に１を選択し、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂがあらかじめ与えられている場合の条件のとき、前記所定の係数に前記Ｂを選択し、表示する際のディスプレイが映像に奥行を持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆの場合の条件のとき、前記所定の係数にｆを選択し、表示する際のディスプレイが未定である場合の条件のとき、前記所定の係数に１／ｆを選択する。

請求項４に記載の奥行データ出力装置は、被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、被写体抽出手段と、記憶手段と、奥行データ算出手段と、を備える構成とした。

かかる構成によれば、奥行データ出力装置は、被写体抽出手段によって、立体映像カメラで撮影された立体映像データの各レーヤ映像において、予め設定した閾値よりも高い周波数成分を含む画素を抽出し、この画素が所定数以上含まれる同系色の画素の領域を被写体像として抽出する。そして、奥行データ出力装置は、奥行データ算出手段によって、被写体抽出手段で被写体像が抽出されるまでに前記レンズ又は前記受光面の位置が移動した移動距離から得られた像倍率ｆ／（Ｄ−ｆ）に、所定の係数を掛けることで、奥行データを算出する。

請求項５に記載の奥行データ出力装置は、請求項４に記載の奥行データ出力装置において、前記奥行データ算出手段で使用する前記所定の係数を、予め設定した条件に基づいて選択する係数選択手段を備える構成とした。

かかる構成によれば、奥行データ出力装置は、係数選択手段によって、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが未定の場合の条件のとき、前記所定の係数に１を選択し、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂがあらかじめ与えられている場合の条件のとき、前記所定の係数に前記Ｂを選択し、表示する際のディスプレイが映像に奥行を持つ立体映像ディスプレイであり、前記映像データが立体映像データである場合の条件のとき、前記所定の係数に前記ｆを選択し、表示する際のディスプレイが未定である場合の条件のとき、前記所定の係数に１／ｆを選択する。

請求項６に記載の奥行データ受信装置は、請求項１から５のいずれか一項に記載の奥行データ出力装置から出力された奥行データを受信して、カメラで被写体を撮影した映像データを表示する際に、表示する表示映像に奥行があるように見せるためのパラメータを出力する奥行データ受信装置であって、前記奥行データには、表示する際のディスプレイに応じた値を有したフラグが付随しており、前記奥行データは当該フラグに対応した種類を有しており、記憶手段と、奥行データ取得手段と、奥行算出手段と、を備える構成とした。

かかる構成によれば、奥行データ受信装置は、奥行データ取得手段によって、奥行データを受信し、この受信した奥行データの種類を当該奥行データに付随しているフラグから判定する。そして、奥行データ受信装置は、記憶手段に記憶されている焦点距離又は平均距離を用いた、受信した奥行データに掛けるべき所定の係数を選択する。奥行算出手段によって、奥行データに所定の係数を掛けることで、パラメータを奥行きとして算出する。例えば、この奥行データは、放送波やネットワークを介して、受信することで、取得する。

請求項７に記載の奥行データ受信装置は、請求項３または請求項５に記載の奥行データ出力装置から出力された奥行データを受信して、カメラで被写体を撮影した映像データを表示する際に、表示する表示映像に奥行があるように見せるためのパラメータを出力する奥行データ受信装置であって、前記奥行データには、表示する際のディスプレイに応じた値を有したフラグが付随しており、前記奥行データは当該フラグに対応した種類を有しており、記憶手段と、奥行データ取得手段と、係数選択手段と、奥行算出手段と、を備え、ことを特徴する。

かかる構成によれば、奥行データ受信装置は、奥行データ取得手段によって、奥行データを受信し、この受信した奥行データの種類を当該奥行データに付随しているフラグから判定する。さらに、奥行データ受信装置は、係数選択手段によって、前記ディスプレイの種類を判定して、前記記憶手段に記憶されている焦点距離又は平均距離を用いた、受信した奥行データに掛けるべき所定の係数を選択する。すなわち、奥行データ受信装置は、係数選択手段によって、表示する際のディスプレイが奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記フラグの値に従って算出した前記カメラから前記被写体までの距離である被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆでない場合の条件のとき、前記所定の係数に１を選択し、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが送信側で未定の場合の条件のとき、前記所定の係数に前記記憶手段から読み出された前記平均距離Ｂを選択し、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、前記平均距離Ｂが送信側にあらかじめ与えられている場合の条件のとき、前記所定の係数に１を選択し、表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが立体映像データである場合の条件のとき、前記所定の係数に１を選択し、表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆの場合、前記所定の係数に１を選択し、表示する際のディスプレイが送信側で未定である場合の条件のとき、接続されているディスプレイが２眼を含む多眼立体ディスプレイか映像自身が奥行きを持つ立体映像ディスプレイかに応じて、前記所定の係数にそれぞれｆＢ若しくはｆ^２を選択する。そして、奥行データ受信装置は、奥行算出手段によって、奥行データに所定の係数を掛けることで、パラメータを奥行きとして算出する。

請求項１に記載の奥行データ出力装置によれば、視差データから得た被写体距離Ｄと、焦点距離ｆとで示す像倍率ｆ／Ｄに所定の係数を掛けて、奥行データを算出するので、遠くの被写体が小さく写る場合は小さな奥行データとなり、近くの被写体が大きく写る場合は、大きな奥行データとなる。このため、奥行データ出力装置は、映像中の被写体像のサイズに整合した共通して使用できる奥行データを得ることができ、複数のカメラ映像から自然な任意視点映像を作成する際に、用いることができる。

請求項２に記載の奥行データ出力装置によれば、距離画像から得た被写体距離Ｄと、焦点距離ｆとで示す像倍率ｆ／Ｄに所定の係数を掛けて、奥行データを算出するので、映像中の被写体像のサイズに整合した共通して使用できる奥行データを得ることができ、複数のカメラ映像から自然な任意視点映像を作成する際に、用いることができる。

請求項３、５に記載の奥行データ出力装置によれば、所定の係数に、カメラから被写体までの被写体距離Ｄとレンズの焦点距離ｆと人間の両眼間の平均距離Ｂとから得られる値を用いることで、映像データの種類とディスプレイの種類の自由な組み合わせにおいて、最適な奥行データを得ることができ、任意視点映像を適切に作成することができる。

請求項４に記載の奥行データ出力装置によれば、レンズ又は受光面の位置を移動させながら被写体を撮影可能な立体映像カメラを用いることで、立体映像カメラで撮影された映像データの各レーヤ映像から被写体像を抽出し、この被写体像が抽出されるまでにレンズ又は受光面の位置が移動した移動距離から求めた像倍率ｆ／（Ｄ−ｆ）に所定の係数を掛けて、奥行データを算出しており、映像中の被写体像のサイズに整合した共通して使用できる奥行データを得ることができ、複数のカメラ映像から自然な任意視点映像を作成する際に、用いることができる。

請求項６に記載の奥行データ受信装置によれば、取得した奥行データの種類とディスプレイの種類から、奥行データに掛ける所定の値を決めて、任意視点映像の奥行を算出しており、映像データの種類とディスプレイの種類の自由な組み合わせにおいて、適切な奥行を得ることができ、複数のカメラ映像から自然な任意視点映像を作成する際に、用いることができる。

請求項７に記載の奥行データ受信装置によれば、レンズの焦点距離ｆと人間の両眼間の平均距離Ｂとから得られる値を用いることで、映像データの種類とディスプレイの種類の自由な組み合わせにおいて、適切な奥行を得ることができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。
［第１実施形態］
本発明の第１実施形態に係る任意視点映像（自由視点映像）の奥行データを出力する奥行データ出力装置を包含した任意視点映像システムの構成を図１に基づいて説明する。

この任意視点映像システムＳは、複数のカメラ１０、２０、・・・と、送信機３０と、受信機４０とを備えている。各カメラ１０、２０、・・・で撮影された映像データは、送信機３０に送られ、それぞれの映像データと奥行データとが多重化されて、受信機４０に送られる。

映像データは、通常、カメラ１０、２０、・・・のレンズ後方に設置された画素ごとに赤緑青色のフィルタを持ったイメージセンサ（図示せず）によって取得されたものである。ただし、このイメージセンサで取得された赤緑青色の画素値をそのまま受信機４０に送ると、各色８ビットのデータとしても、１画素当たり２４ビットが必要で効率が悪いので、この映像データを、人の目の感度が高い輝度値と感度の低い色差値に変換している。
そして、送信機３０において、変換した色差値は、その画素数を輝度値の画素数に対して２分の１や４分の１に間引いて、当該映像データのデータ量を減らして送る。なお、この間引きは、各カメラ１０、２０で行ってもよいし、送信機３０で行ってもよい。

奥行データは、複数のカメラ１０、２０、・・・で撮影した複数の映像データから、この映像データに映っている被写体の再生像を、任意視点から表示する任意視点映像を作成する際の被写体像の奥行きを規定するものである。なお、この任意視点映像の作成は、受信機４０で行われることとしている。ちなみに、この奥行データに受信側で所定の係数を掛けたものが、映像の奥行きとなるが、この奥行きは、映像を表示するディスプレイによって異なり、多眼立体映像ディスプレイの場合は、表示映像のズレ量である視差量を表し、映像自身が奥行きを持つ立体映像ディスプレイの場合は、その映像の奥行量を表す。いずれも立体映像の奥行きを表す量なので、一括して表示映像の奥行きまたは奥行値と称す。

ここで、図５（ａ）を参照して、カメラ１０で、撮影した映像と奥行データとの関係について説明する。
図５（ａ）に示すように、カメラ１０のレンズ１２から任意の被写体距離Ｄにある被写体「猫」（以下、符号５０と付す）は、レンズ１２から当該レンズ１２の焦点距離ｆだけ離れた位置にできる被写体像６０として、カメラ１０によって撮影される。

このとき、被写体５０の大きさ（サイズ）をＡとし、被写体像６０の大きさ（サイズ）をａとすると、この比である像倍率は、カメラ１０のレンズ１２から被写体５０までの被写体距離Ｄとレンズ１２の焦点距離ｆの比として、
ａ／Ａ＝ｆ／Ｄ ・・・（１）
となる。

これより、被写体像６０は、被写体５０までの被写体距離Ｄに反比例して小さくなる事が分かる。

しかし、図５（ａ）をさらに詳細に見ると、レンズ１２の後方の位置ｆで撮影される被写体像６０は、完全には焦点が合っておらず、サイズａで形成され若干ぼけた像になっている。そして、完全に焦点が合った被写体像７０は、レンズ１２の後方の位置ｄに若干大きなサイズｂで形成される。図５（ａ）より、この被写体像７０の位置ｄは、
ｄ＝Ｄｆ／（Ｄ−ｆ） ・・・（２）
となり、被写体５０までの被写体距離Ｄによって異なることとなる。

そして、位置ｄの被写体像７０は、当該位置ｄが被写体５０までの被写体距離Ｄによって異なるが、被写体５０の各部分の被写体距離Ｄはすべて異なっている為に、ひとつの被写体であっても、その部分はすべて異なる位置ｄに結像し、立体映像が形成されることになる。このように、焦点が合っている被写体像７０までの距離ｄは、焦点距離ｆとは異なる位置に形成される。そのため、奥行データは、像倍率ｆ／Ｄに後記する所定の係数を掛けた値として示される。すなわち、奥行データは、所定の係数として、Ｄｆ／（Ｄ−ｆ）、１／ｆ、ｆ、１、Ｂ（両眼間の平均距離）のいずれかを像倍率ｆ／Ｄに掛けた値である。

カメラ１０、２０、・・・は、様々な被写体を撮影する一般的なものであり、この実施形態では、被写体として「猫」を撮影している。そして、カメラ１０、２０、・・・が有しているレンズ１２、２２を介して、この被写体「猫」が反転（上下が逆）した状態で撮影されている。

送信機３０は、カメラ１０、２０、・・・で撮影された映像データを符号化した符号化映像データと奥行データとを多重化した多重化データを、複数の受信機４０に送信するもので、奥行データ出力装置１と、映像データ符号化器２と、多重化器４とを備えている。

映像データ符号化器２は、映像データをＭＰＥＧ−２等の符号化方式で符号化して、多重化器４に出力するものである。
多重化器４は、映像データ符号化器２で符号化された符号化映像データと、奥行データ出力装置１から出力された奥行データとを多重化し、多重化した多重化データを放送波又はネットワークデータとして出力するものである。なお、これら映像データ符号化器２及び多重化器４は、既存のもので構成されている。

奥行データ出力装置１は、被写体を複数のカメラ１０、２０、・・・で撮影した複数の映像データ（この実施形態では、平面映像データとも言う）が入力され、これらの映像データから、被写体の再生像を任意視点から表示する任意視点映像を作成する際の被写体像の奥行きを規定する奥行データを出力するもので、視差データ算出手段３と、記憶手段５と、距離算出手段７と、係数選択手段９と、奥行データ算出手段１１とを備えている。

視差データ算出手段３は、カメラ１０、２０、・・・から入力された映像データの中の少なくとも２つの平面映像データと、記憶手段５に記憶されているカメラの設置間隔とに基づいて、視差データ（視差量）を算出するものである。

なお、２つの平面映像データは、隣り合う２台のカメラから入力されたものを使うことを前提にしている。ただし、２つの映像データは、映像データを撮影したカメラが複数台ある場合（特に、カメラ間の距離が近い場合）で、あるカメラから別のカメラまでのカメラ設置間隔が判明している場合、隣り合う２台のカメラで撮影されたものでなくてもよい。また、視差データの算出の仕方については、後ほど、図２を参照して説明する。

記憶手段５は、カメラ１０、２０、・・・ごとのカメラ間隔（後記するＬ）と、カメラ１０、２０、・・・が有しているレンズの焦点距離とを記憶しているもので、一般的なメモリ等の記録媒体によって構成されている。このレンズの焦点距離をｆとする。

距離算出手段７は、視差データ算出手段３で算出された視差データから、カメラ１０、２０、・・・から被写体までの距離を算出するものである。このカメラ１０、２０、・・・から被写体までの被写体距離をＤとする。この距離の算出の仕方については、後ほど、図２を参照して説明する。

係数選択手段９は、入力された情報と距離算出手段７で算出された被写体距離Ｄとに基づいて、奥行データ算出手段１１で奥行データを算出する際に用いる所定の係数を選択するものである。この係数は、映像データがどのように撮影されたのか（平面映像データ又は立体映像データ）と、記憶手段５に記憶されているレンズの焦点距離ｆと距離算出手段７で算出されたＤとを比較した比較結果と、表示する際のディスプレイの形式と、視聴する人間の両眼間の平均距離とに基づいて選択されている。

入力された情報は、複数の映像データを撮影する際に、平面映像データとして撮影したか、立体映像データとして撮影したかを指定すると共に、任意視点映像を表示する際のディスプレイの形式と視聴する人間の両眼間の平均距離（日本人であれば、予め求められた値となり、外国人であればそれに応じた値）を当該装置１の使用者によって指定したものである。比較結果は、被写体距離Ｄと焦点距離ｆとの差が非常に大きい場合（Ｄ≫ｆ）とそうでない場合とに場合分けされる。この「非常に大きい」とする場合の基準は、被写体距離Ｄが焦点距離ｆの例えば２０倍以上である。

そして、この係数選択手段９は、ディスプレイが映像に奥行きを持つ立体映像ディスプレイである場合で、比較結果がＤ≫ｆの場合、所定の係数として、ｆを選択する。また、この係数選択手段９は、ディスプレイが映像に奥行きを持つ立体映像ディスプレイで、比較結果がＤ≫ｆでない場合、所定の係数として、Ｄｆ／（Ｄ−ｆ）を選択する。さらに、この係数選択手段９は、ディスプレイが多眼式立体映像ディスプレイで、人間の両眼間の平均距離があらかじめ与えられている場合、所定の係数として、人間の両眼間の平均距離Ｂを選択する。さらに、この係数選択手段９は、ディスプレイが多眼式立体映像ディスプレイで、人間の両眼間の平均距離が未定の場合、所定の係数として、１を選択する。さらに、この係数選択手段９は、ディスプレイが未定である場合、所定の係数として、１／ｆを選択する。この様に係数を選択すると、送信される奥行データは、映像データの種類とディスプレイの種類のそれぞれの組み合わせに適したデータ形式となり、受信機で容易に所望の奥行きを得る事ができる。

なお、係数選択手段９は、これらの所定の係数のすべての中から選択する必要がなく、表示する際のディスプレイや、人間の両眼間の平均距離Ｂが既知か未知等によって、予め選択する所定の係数を限定しておけばよい。また、所定の係数は、この係数選択手段９で選択した係数を用いることなく、固定の係数としてもよい。

奥行データ算出手段１１は、被写体距離Ｄと焦点距離ｆとから、被写体と撮影された被写体像との像倍率ｆ／Ｄを求め、この像倍率ｆ／Ｄに係数選択手段９で選択された前記所定の係数を掛けることで、奥行データを算出して、多重化器４に出力するものである。

なお、奥行データ算出手段１１では、奥行データを算出する際に、当該奥行データの種類を表すフラグ（例えば、このフラグを“Ｆ”で表し、２ｂｉｔ（Ｆ＝０〜３）とする）を、当該奥行データに付随させている。例えば、“Ｆ＝０”は、任意視点映像を表示する際のディスプレイが立体映像ディスプレイ用の奥行データを表し、“Ｆ＝１”は、任意視点映像を表示する際のディスプレイが多眼立体映像ディスプレイで両眼間距離が既知の場合の奥行データを表している。また、“Ｆ＝２”は、任意視点映像を表示する際のディスプレイが多眼立体映像ディスプレイで両眼間距離が未知の場合の奥行データを表し、“Ｆ＝３”は、任意視点映像を表示する際のディスプレイが未知の場合の奥行データを表している。

さらに、奥行データ算出手段１１では、さらにもう１ビットのフラグ（例えば、このフラグを“Ｇ”で表し、１ｂｉｔ（Ｇ＝０，１）とする）を奥行データに付随させることが可能である。そして、この追加したフラグＧにより、被写体距離Ｄと焦点距離ｆとを比較した比較結果を表すこととする。この場合、“Ｆ＝０、Ｇ＝０”は、Ｄ≫ｆでない場合の奥行データを表し、“Ｆ＝０、Ｇ＝１”は、Ｄ≫ｆの場合の奥行データを表している。

受信機４０は、送信機３０から送信された多重化データを受信して、符号化映像データと奥行データとに分離し、符号化映像データを復号後、奥行データに基づいた任意視点映像を出力するものである。なお、この受信機４０の構成の詳細な説明は、後記する。

ここで、図２を参照して、視差データの算出を説明する。２台のカメラ１０、２０のカメラ間隔をＬとし、焦点距離をｆとし、カメラ１０、２０、・・・から被写体までの被写体距離をＤとし、被写体の大きさをＡとし、被写体像６０、６１の大きさをａとし、カメラ１０から被写体５０までの水平方向の距離をｘとすると、カメラ２０から被写体５０までの水平方向の距離がＬ−ｘとなる。

そして、カメラ１０の中心線（光軸）から被写体像６０までの距離は、ｘ・ｆ／Ｄとなり、２０の中心線（光軸）から被写体像６０までの距離は、（Ｌ−ｘ）ｆ／Ｄとなる。従って、２台のカメラ映像間で、猫の写っている位置の違いは、Δ＝ｘ・ｆ／Ｄ＋（Ｌ−ｘ）ｆ／Ｄ＝ｆ・Ｌ／Ｄとなるが、これが視差データΔである。又、被写体５０の大きさＡと、被写体像６０、６１の大きさａの比は、図２より、ａ／Ａ＝ｆ／Ｄとなり、これが像倍率である。図１の視差データ算出手段３では、カメラ１０及び、カメラ２０の画像を比較し、同じ被写体（猫）の映像の位置のズレ量を測定して、視差データΔを得る。

次に距離算出手段７では、記憶手段５から得たカメラの焦点距離ｆとカメラ間隔Ｌと、前記視差データΔから、Ｄ＝ｆ・Ｌ／Δを計算し、被写体距離Ｄを得る。次に奥行データ算出手段１１は、カメラの焦点距離ｆと被写体距離Ｄから、映像の像倍率ｆ／Ｄを求めた後、係数選択手段の指示に従って、所定の係数としてＤ・ｆ／（Ｄ−ｆ）又は、１、人の両眼の間隔Ｂ、焦点距離ｆ、１／ｆのいずれかを掛けたものを奥行データとして多重化器４に出力する。

ここで、図３に示すフローチャートを参照して、奥行データ出力装置１の動作について説明する（適宜、図１参照）。
奥行データ出力装置１は、視差データ算出手段３によって、カメラ１０、２０、・・・から入力された映像データの少なくとも２つの映像データに基づいて視差データを算出する（ステップＳ１）。

続いて、奥行データ出力装置１は、距離算出手段７によって、視差データ算出手段３で算出された視差データから、カメラ１０、２０から被写体までの距離（被写体距離）を算出する（ステップＳ２）。そして、奥行データ出力装置１は、係数選択手段９によって、距離算出手段７で算出した被写体距離と記憶手段５に記憶されている焦点距離とを比較した比較結果と、入力された情報とに基づいて、所定の係数を選択する（ステップＳ３）。

そして、奥行データ出力装置１は、奥行データ算出手段１１によって、距離算出手段７で算出した被写体距離と記憶手段５に記憶されている焦点距離とから像倍率を求め、この像倍率に係数選択手段９で選択された所定の係数を掛けることで奥行データを算出し、多重化器４に出力する（ステップＳ４）。

［第２実施形態］
次に、本発明の第２実施形態に係る任意視点映像（自由視点映像）の奥行データを出力する奥行データ出力装置を包含した任意視点映像システムの構成を図４に基づいて説明する。

図４に示すように、任意視点映像システムＳＡは、カメラ１０、２０、・・・と、距離画像撮影カメラ（距離画像撮影手段）１３と、送信機３０Ａと、受信機４０とを備えて構成されている。なお、図１に示した任意視点映像システムＳと同様の構成については、同一の符号を付してその説明を省略する。

距離画像撮影カメラ１３は、カメラ１０、２０、・・・から被写体までの被写体距離を距離画像から得るものである。この距離画像は、白黒のグレースケールで表された画像（遠くものほど黒く、近くのものほど白くなる画像）である。

この被写体までの被写体距離Ｄ（図２参照）は、背景技術の特許文献３に述べた方法と同じ方法により、距離画像撮影カメラ１３に組み込まれたレーザ光線照射手段（図示せず）によるレーザ光線などで測定することが可能である。しかし、その測定値をそのまま用いたのでは、被写体像のサイズと奥行データが不釣合いとなることは背景技術の特許文献３で述べたとおりであり、奥行データ算出手段１１Ａで、第１実施形態と同様の処理を行い、奥行データを得る。

送信機３０Ａは、カメラ１０、２０、・・・で撮影された映像データを符号化した符号化映像データと、距離画像撮影カメラ１３で撮影された距離画像から得られた奥行データとを多重化した多重化データを、複数の受信機４０に送信するもので、奥行データ出力装置１Ａと、映像データ符号化器２と、多重化器４とを備えている。

奥行データ出力装置１Ａは、距離画像撮影カメラ１３で得た距離画像が入力され、この距離画像から、被写体の再生像を任意視点から表示する任意視点映像を作成する際の被写体像の奥行きを規定する奥行データを出力するもので、記憶手段５Ａと、奥行データ算出手段１１Ａと、係数選択手段９とを備えている。

記憶手段５Ａは、カメラ１０、２０、・・・が有しているレンズの焦点距離を記憶しているもので、一般的なメモリ等の記録媒体によって構成されている。このレンズの焦点距離をｆとする。

奥行データ算出手段１１Ａは、距離画像撮影カメラ１３で撮影された距離画像から得た被写体距離Ｄと記憶手段５Ａに記憶されている焦点距離ｆとから、被写体と撮影された被写体像との像倍率ｆ／Ｄを求め、この像倍率ｆ／Ｄに係数選択手段９で選択された所定の係数を掛けることで、奥行データを算出して、多重化器４に出力するものである。どの係数を選択するかは、第１実施形態と同一の条件で選択する。

なお、この奥行データ出力装置１Ａは、図３に示した奥行データ出力装置１の動作とほぼ同じ動作をすることから、フローチャートを省略すると共に、奥行データ出力装置１の動作と異なる動作についてのみ説明する。

奥行データ出力装置１Ａは、奥行データ算出手段１１Ａによって、距離画像撮影カメラ１３で撮影された距離画像から被写体距離Ｄを求める。ここでは、被写体距離Ｄは、距離画像撮影カメラ１３に組み込まれたレーザ光線照射手段による測定結果から求められたものである。この様にして求めた距離値を輝度値とみなして図示したものが図１４の距離画像（距離データ）である。そして、奥行データ出力装置１Ａは、この被写体距離Ｄと焦点距離ｆとから、被写体と撮影された被写体像との像倍率ｆ／Ｄを求め、この像倍率ｆ／Ｄに係数選択手段９で選択された所定の係数を掛けることで、奥行データを算出して、多重化器４に出力する。

［第３実施形態］

先ず、第３実施形態の説明に入る前に、図５を参照して、カメラ１０で、平面映像を撮影する場合について補足説明をする。
この場合のレンズ１２から被写体５０までの被写体距離Ｄと、レンズ１２から被写体像７０までの距離ｄとの関係を図５（ｂ）のグラフに示す。この例では、レンズ１２の焦点距離は、ｆ＝５０ｍｍとしたが、無限遠から０．５ｍまでの間の被写体５０の像は、レンズ１２から５０ｍｍ離れた位置から５６ｍｍまでの間に射影されており、非常にコンパクトな立体映像である事が分かる。

一方、被写体像７０のサイズｂは、
ｂ＝Ａｆ／（Ｄ−ｆ） ・・・（３）
となるので、この被写体像７０のサイズｂと位置ｄ（ここで仮に像の奥行と呼ぶ）は、被写体５０の実際のサイズＡと実際の被写体距離Ｄを、同じ倍率ｆ／（Ｄ−ｆ）倍したものである事が分かる。この関係を図５（ｃ）に示す。

この図５（ｃ）において、像の奥行比や像のサイズ比は、被写体５０までの実際の距離が、Ｄ＝１ｍの時の値を１として表示している。通常、被写体５０までの被写体距離Ｄはレンズ１２の焦点距離ｆより十分大きいので、グラフに示すように、被写体像７０の大きさと位置ｄとは被写体５０までの被写体距離Ｄにほぼ反比例して小さくなるが、これは、人の目で自然界を見た時に網膜に映る映像と同じ傾向を示している。従って、この被写体像７０を後述する体積表示ディスプレイやホログラフィックディスプレイに表示すると、自然な立体映像に見える。

この場合の像倍率ｆ／（Ｄ−ｆ）は、従来例で述べた技術を用いて被写体５０までの被写体距離Ｄが計測されれば、ｆ／（Ｄ−ｆ）の値を求める事によって得られるので、被写体５０の実際のサイズを測定したり、被写体像７０のサイズを測定したりする必要はない。

また、後記するように、被写体像７０の位置ｄを２台のカメラ１０、２０の視差量Δから求める場合は、当該視差量Δは、カメラ間隔をＬとすると、Δ＝Ｌｆ／Ｄであるので、被写体５０までの実際の被写体距離Ｄは、Ｄ＝Ｌｆ／Δとして求まり、これより先と同様にして（３）式より像倍率が得られる。

従って、この被写体像７０を立体映像として表示する場合には、このレンズ１２の後方に形成される立体映像のサイズ比ｆ／（Ｄ−ｆ）を用いて被写体５０までの被写体距離Ｄを被写体像７０の位置ｄ＝Ｄｆ／（Ｄ−ｆ）に変換すれば、表示する立体映像のサイズに比例した奥行きが得られる。

この立体映像を表示するディスプレイ（図示せず）のサイズが変わった場合には、撮影時の映像サイズと表示する立体映像サイズとのサイズ比に、前記立体映像の位置ｄを掛ければ、映像サイズに応じた奥行となり、自然な立体映像が得られる。

しかも、この像の位置ｄは、被写体までの被写体距離Ｄとカメラの焦点距離ｆのみから得られるので、任意視点映像（自由視点映像）を生成するために用いられる同じ焦点距離ｆのカメラ間では、カメラを切り替えても立体映像のサイズや奥行は変化せず、自然に切り替えられる。又、この像の位置ｄはカメラ間隔Ｌに依存しないので、表示すべき立体映像が決まれば、その立体映像だけで一意的に決まる。なお、平行配置のカメラ間では、被写体の距離はカメラの光軸上で測るので、全てのカメラに対して、被写体距離Ｄは同じになる。従って、カメラのレンズの後方に出来る被写体像の光軸上の位置ｄも同じになる。

しかし、被写体像７０の位置ｄを直接、奥行データに用いると、（２）式や図４（ａ）に示すように、常にレンズの焦点距離ｆをオフセット値として当該奥行データが持つので、奥行データのダイナミックレンジの大半がこのオフセットの為に使われ、効率の悪いことが生じる。そこで、このオフセット値ｆを、被写体像７０の位置ｄから引いた値を被写体像７０の奥行データδとして用いることにする。すなわち、
δ＝ｄ−ｆ＝Ｄｆ／（Ｄ−ｆ）−ｆ＝ｆ^２／（Ｄ−ｆ） ・・・（４）
となる。
これにより、奥行データのダイナミックレンジをフルに使う事ができ、効率がよい。

この（４）式の値は、カメラが平面映像を映す場合には、（１）式で与えられる像倍率ｆ／Ｄに、Ｄｆ／（Ｄ−ｆ）を掛ける事により、容易に得られるので、立体映像を撮影出来ない通常のカメラで撮影した映像データ（平面映像データ）にも、正しい奥行データを与えることができる。
ちなみに、（１）式の像倍率ｆ／Ｄに、直接、被写体５０からの被写体距離Ｄを掛けたのでは、その値は被写体５０からの被写体距離Ｄに拘わらず、常にｆとなり、立体映像にならない。

次に、本発明の第３実施形態に係る任意視点映像（自由視点映像）の奥行データを出力する奥行データ出力装置を包含した任意視点映像システムの構成を図６に基づいて説明する。
図６に示すように、任意視点映像システムＳＢは、受光面移動カメラ１０Ｂ、２０Ｂ、・・・と、送信機３０Ｂと、受信機４０とを備えて構成されている。なお、図１に示した任意視点映像システムＳと同様の構成については、同一の符号を付してその説明を省略する。

受光面移動カメラ１０Ｂ、２０Ｂ、・・・は、被写体を撮影する際にフレーム画像（レーヤ映像）ごとに、受光面１０ｂ、２０ｂの位置が移動可能に構成されたものである。この受光面１０ｂ、２０ｂは、レンズに対向したまま前後に移動する。従来の１フレームの画像を撮影する時間内に、受講面位置をずらせながら多数枚の映像を撮影する。この各映像をレーヤ映像と称す。この様にすると、１フレームの映像が多数枚のレーヤ映像で構成され、各フレームで被写体像の焦点の合っている部分が異なるので、これを重ねて見ると立体映像になる。なお、この受光面１０ｂ、２０ｂがレンズの焦点距離ｆの位置から移動した距離δが奥行データとなる。この実施形態では、受光面１０ｂ、２０ｂが移動する構成としているが、レンズが同様に移動する機構を備えたレンズ移動カメラ（図示せず）でもよい。又、移動しない透明な受光面（図示せず）を多数重ねたもので、被写体像の焦点が合った部分が写っているレーヤの焦点距離ｆの位置からの距離でもよい。

送信機３０Ｂは、受光面移動カメラ１０Ｂ、２０Ｂ、・・・で撮影された映像データを符号化した符号化映像データと、受光面移動カメラ１０Ｂ、２０Ｂ、・・・で得られた奥行データとを多重化した多重化データを、複数の受信機４０に送信するもので、奥行データ出力装置１Ｂと、映像データ符号化器２と、多重化器４とを備えている。

奥行データ出力装置１Ｂは、受光面移動カメラ１０Ｂ、２０Ｂ、・・・で撮影された映像データが入力され、被写体の再生像を任意視点から表示する任意視点映像を作成する際に、表示映像に奥行がある様に見せる為のパラメータである奥行き（以下、被写体像の奥行きと言う）を規定する奥行データを出力するもので、記憶手段５と、係数選択手段９Ｂと、被写体抽出手段１５と、奥行データ算出手段１１Ｂとを備えている。

被写体抽出手段１５は、受光面移動カメラ１０Ｂ、２０Ｂで撮影された映像データに含まれる各レーヤ映像において、予め設定した閾値よりも高い周波数成分を含む画素を抽出し、この画素が所定数以上含まれる同系色の画素の領域を被写体像として抽出するものである。

閾値は、受光面を前後に移動した時の同じ画素位置での周波数成分であり、最も高い周波数成分を持つレーヤが選ばれる。所定数以上とは、１画素以上である。同系色の画素とは、画素値が例えば、０〜２５５の範囲にある場合、±１０の画素値を持つ画素である。

奥行データ算出手段１１Ｂは、被写体抽出手段１５で被写体像が抽出されるまでに受光面１０ｂ、２０ｂの位置が移動した移動距離から、被写体距離Ｄを得て、被写体と撮影された被写体像の像倍率ｆ（Ｄ−ｆ）を算出し、この像倍率ｆ（Ｄ−ｆ）に係数選択手段９で選択された係数を掛けることで、奥行データを算出するものである。

係数選択手段９Ｂは、ディスプレイが多眼式立体映像ディスプレイで、人間の両眼間の平均距離が未定の場合、所定の係数として、１を選択し、ディスプレイが多眼式立体映像ディスプレイで、人間の両眼間の平均距離があらかじめ与えられている場合、所定の係数として、人間の両眼間の平均距離Ｂを選択する。また、係数選択手段９Ｂは、ディスプレイが映像に奥行きを持つ立体映像ディスプレイである場合で、映像データが立体映像データである場合、所定の係数として、ｆを選択し、表示するディスプレイが未定の場合、所定の係数として１／ｆを選択する。

ここで、この第３実施形態の任意視点映像システムＳＢにおいて、奥行データ出力装置１Ｂで奥行データを出力する場合について、図７に基づいて説明する。図７では、被写体８０が、そこから被写体距離Ｄ離れた位置の焦点距離ｆのレンズ１２により射影され、レンズ１２の後方の位置ｄに、被写体像８１を形成する。

この任意視点映像システムＳＢの受光面移動カメラ１０Ｂ、２０Ｂ、・・・の受光面１０ｂ、２０ｂ、・・・の位置を前後に動かす事や、この受光面１０ｂ、２０ｂそれぞれについて、透明なイメージセンサを多数重ねた立体的なイメージセンサを構成した場合で、このレンズ１２の後方にできる焦点の合った立体映像を３次元的に撮影できる場合には、撮影される被写体の像倍率は、（３）式より、ｆ／（Ｄ−ｆ）で与えられる。

このため、これに受光面移動カメラ１０Ｂ、２０Ｂの焦点距離ｆを掛ける事により、奥行データδ＝ｆ^２／（Ｄ−ｆ）を容易に得る事ができる。また、この場合には、被写体８０が撮影された受光面１０ｂの位置ｄが分かっているので、この位置ｄからカメラの焦点距離ｆを引くことで、δ＝ｄ−ｆとしてその値を直接求める事ができ、レーザ等で被写体距離を計測する必要がなくなり、好都合である。

なお、この奥行データ出力装置１Ｂは、図３に示した奥行データ出力装置１の動作とほぼ同じ動作をすることから、フローチャートを省略すると共に、奥行データ出力装置１の動作と異なる動作についてのみ説明する。

奥行データ出力装置１Ｂは、被写体抽出手段１５によって、予め設定した閾値よりも高い周波数成分を含む画素を抽出し、この画素が所定数以上含まれる同系色の画素の領域を被写体像として抽出する。この被写体像を抽出するまでに受光面１０ｂ、２０ｂが移動距離から被写体距離Ｄを求める。そして、奥行データ出力装置１Ｂは、被写体距離Ｄと焦点距離ｆとから、被写体と撮影された被写体像との像倍率ｆ／（Ｄ−ｆ）を求め、この像倍率ｆ／（Ｄ−ｆ）に係数選択手段９で選択された所定の係数を掛けることで、奥行データを算出して、多重化器４に出力する。

次に、第１実施形態から第３実施形態までに共通する受信機４０の構成について、図８を参照して説明する。
この図８に示すように、受信機４０は、送信機３０、３０Ａ、３０Ｂから送信された多重化データを受信して、多眼立体映像又は映像自身が奥行きを持つ立体映像を出力するもので、受信分離手段１７と、映像データ復号手段１９と、映像作成手段２１と、奥行データ受信装置１Ｃと、を備えている。

奥行データ受信装置１Ｃは、奥行データを受信して、前記映像データを表示する際に、表示映像に奥行きがある様に見せる為のパラメータである奥行きを被写体の再生像の奥行きとして出力するもので、奥行データ取得手段２３と、記憶手段５Ｃと、係数選択手段９Ｃと、奥行算出手段２５とを備えている。なお、図１、３、５に示した任意視点映像システムＳ、ＳＡ、ＳＢと同様の構成については同一の符号を付し、その説明を省略する。なお、このパラメータの具体的なものは、後記する図１２の“奥行データ”に“受信側係数”を掛けたものとなる。

なお、この受信機４０は、多重化データに奥行データが多重化されている場合に対応しており、この受信機４０は、受信した奥行データの種類と、接続されたディスプレイの種類を判定することで、視差量Δ又は、前記した立体映像の位置ｄ（ｄ＝Ｄｆ／（Ｄ−ｆ））を算出して、これを用いた多眼立体映像ディスプレイ又は映像自身が奥行きを持つ立体映像ディスプレイに表示映像を出力することができる。

また、この受信機４０には、図示を省略したが、出力する多眼立体映像又は映像が奥行を持った立体映像に対応したディスプレイ（後記する電子ホログラフィディスプレイ５３、両眼視差型の立体映像ディスプレイ、２視差以上の多眼立体ディスプレイ、３次元ディスプレイ）が接続されている。

なお、これらのディスプレイは既存のもの（当業者にとっては一般的なもの）でよいので、詳細な説明を省略するが、電子ホログラフィディスプレイ５３とは、被写体から出た光を方向も含めてそのまま表示するディスプレイであり、例えば、外の景色からの光が窓のガラス面を通過するときの光を干渉縞として撮影・再生するものである。この再生光は、撮影時と同じ方向と色で再生されるものなので、この電子ホログラフィディスプレイ５３では、ガラス窓から外をみたのと同じ景色が再現される。さらに、この再生光は、第３の実施形態で示した様な映像自身が奥行きを持つ立体映像から出た光の干渉縞として計算で求める事が出来る。

また、両眼視差型の立体映像ディスプレイとは、左右の目に少し被写体像の位置のずれた映像を見せるディスプレイで、その映像のズレ量を人間は奥行きと感じ、立体に見えるものである。さらに、２視差以上の多眼立体ディスプレイとは、このずれた映像のズレ量を変えながら多数表示するものである。そして、３次元ディスプレイとは、液晶ディスプレイの様な透明な表示板を多数重ねて奥行きのある立体ディスプレイを構成し、それぞれの表示板に請求項４で述べた立体映像カメラで撮影した各レーヤ映像を表示したものである。

受信分離手段１７は、受信した多重化データを符号化映像データと、奥行データとに分離し、符号化映像データを映像データ復号手段１９に、奥行データを奥行データ受信装置１Ｃに出力するものである。

映像データ復号手段１９は、受信分離手段１７で分離された符号化映像データを復号するものである。この映像データ復号手段１９は、復号した映像データを映像作成手段２１に出力する。

映像作成手段２１は、映像データ復号手段１９から出力された映像データと、奥行データ受信装置１Ｃから得た奥行きとに基づいて、多眼立体映像又は映像が奥行きを持つ立体映像を作成するものである。

奥行データ取得手段２３は、受信分離手段１７で多重化データから分離された奥行データを取得し、当該奥行データに付随している、表示するディスプレイの種類を指定するフラグ（前記した“Ｆ”）に従って当該奥行データの種類を判定し、奥行算出手段２５に出力すると共に、被写体距離Ｄを記憶手段５Ｃに記憶されているカメラの焦点距離ｆを用いて算出し、係数選択手段９Ｃに出力するものである。

奥行データ取得手段２３では、奥行データをＺとすると、例えば、フラグ“Ｆ”が“Ｆ＝０”の場合、任意視点映像を表示する際のディスプレイが立体映像ディスプレイであり、被写体距離ＤをＤ≒ｆ^２／Ｚとして得る。また、フラグ“Ｆ”が“Ｆ＝１”の場合、任意視点映像を表示する際のディスプレイが多眼立体映像ディスプレイで両眼の間隔Ｂが既知であり、被写体距離ＤをＤ＝ｆＢ／Ｚとして得、フラグ“Ｆ”が“Ｆ＝２”の場合、任意視点映像を表示する際のディスプレイが多眼立体映像ディスプレイで両眼の間隔Ｂが未知であり、被写体距離ＤをＤ＝ｆ／Ｚとして得、フラグ“Ｆ”が“Ｆ＝３”の場合、任意視点映像を表示する際のディスプレイが未知であり、被写体距離ＤをＤ＝１／Ｚとして得る。

さらに、奥行データ取得手段２３は、奥行データにもう１ビットのフラグ（例えば、このフラグを“Ｇ”で表し、１ｂｉｔ（Ｇ＝０，１）とする）が付随されている場合には、そして、このフラグＧにより、“Ｆ＝０、Ｇ＝０”は、Ｄ≫ｆでない場合の奥行データを表し、被写体距離ＤをＤ＝ｆ^２／Ｚ＋ｆとして得、“Ｆ＝０、Ｇ＝１”は、Ｄ≫ｆの場合の奥行データを表し、被写体距離ＤをＤ＝ｆ^２／Ｚとして得る。

記憶手段５Ｃは、送信側で被写体を撮影した際のカメラについて、当該カメラのレンズの焦点距離ｆと、人間の両眼の平均距離Ｂとを記憶しているもので、一般的なメモリ等の記録媒体によって構成されている。

係数選択手段９Ｃは、奥行データ取得手段２３で判定した奥行データの種類（フラグの値、被写体距離Ｄ）と記憶手段５Ｃに記憶されている焦点距離ｆとに基づいて、所定の係数を選択して、奥行算出手段２５に出力するものである。

この係数選択手段９Ｃは、表示する際のディスプレイ（接続されているディスプレイ）が奥行きを持つ立体映像ディスプレイであり、映像データが平面映像データであり、被写体距離Ｄと焦点距離ｆとを比較した比較結果がＤ≫ｆでない場合、所定の係数に１を選択する。また、この係数選択手段９Ｃは、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが送信側で未定の場合、所定の係数に記憶手段５Ｃから読み出した平均距離Ｂを選択する。

さらに、この係数選択手段９Ｃは、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、平均距離Ｂが送信側にあらかじめ与えられている場合、所定の係数に１を選択する。さらに、この係数選択手段９Ｃは、表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、映像データが立体映像データである場合、所定の係数に１を選択する。さらにまた、この係数選択手段９Ｃは、表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、被写体距離Ｄと焦点距離ｆとを比較した比較結果がＤ≫ｆの場合、所定の係数に１を選択する。そして、この係数選択手段９Ｃは、表示する際のディスプレイが送信側で未定である場合、接続されているディスプレイが２眼を含む多眼立体ディスプレイか映像自身が奥行きを持つ立体映像ディスプレイかに応じて、所定の係数にそれぞれｆＢ若しくはｆ^２を選択する。

奥行算出手段２５は、奥行データ取得手段２３で取得された奥行データに、係数選択手段９Ｃで選択された所定の係数を掛けることで、表示する際のディスプレイに対応させた被写体の再生像の奥行きを出力する

次に、図９に示すフローチャートを参照して、奥行データ受信装置１Ｃの動作について説明する（適宜、図８参照）。
奥行データ受信装置１Ｃは、奥行データ取得手段２３によって、取得された奥行データの種類が直接奥行きとして使える形（所定の係数に１を選択する場合）か、所定の係数（１以外の所定の係数）を掛ける必要があるかを判定する（ステップＳ１１）。続いて、奥行データ受信装置１Ｃは、係数選択手段９Ｃによって、接続されているディスプレイが２眼を含む多眼立体ディスプレイか映像自身が奥行きを持つ立体映像ディスプレイかを判定する（ステップＳ１２）。

そして、奥行データ受信装置１Ｃは、係数選択手段９Ｃによって、奥行データ取得手段２３で判定された奥行データの種類と、判定されたディスプレイの種類に応じて、記憶手段５Ｃに記憶されている焦点距離ｆと人間の両眼間の平均距離Ｂと用いて、所定の係数を選択する（ステップＳ１３）。そして、奥行データ受信装置１Ｃは、奥行算出手段２５によって、奥行データ取得手段２３で取得された奥行きデータと係数選択手段９Ｃで選択された所定の係数を掛けることで奥行きを算出して、出力する（ステップＳ１４）。

また、この第３実施形態の任意視点映像システムＳＢで撮影された映像データが、多重化データとして送信されるまでの処理について、図１０を参照して説明する（適宜、図６参照）。
この任意視点映像システムＳＢの受光面移動カメラ１０Ｂで撮影された近景の被写体９０と遠景の被写体１００を含む映像データは、近景の被写体像９１が大きく、遠景の被写体像１０１が小さく撮影される。そして、この映像データは、送信機３０Ｂに送られ、その中で被写体９０及び１００の色や形を表す画像データと、奥行データとに変換される。

なお、この図１０には示していないが、他の受光面移動カメラで撮影された映像データも同様の処理が行われ、全ての映像データが受信機４０（図１参照）に送られて、受信機側で視聴者が希望する視点からの映像（任意視点映像）を抽出してディスプレイ（図示せず）に表示することができる。

また、任意視点映像システムＳＢでは、図示していないが、ネットワークに接続して受信機４０から送信されたリクエスト信号（視聴者が視聴を希望する任意視点映像を指定した信号）を受信する受信手段を備えている場合で、且つ、このリクエスト信号に基づいて、任意視点映像を作成する任意視点映像作成手段を備えている場合には、送信機３０Ｂにて、リクエスト信号に基づいた任意視点映像を作成し、受信機４０に送ることで、受信機側の視聴者は、視聴者が希望した自由な視点からの任意視点映像を享受することができる。

さらに、この第３実施形態の任意視点映像システムＳＢで送信された多重化データが立体映像として表示されるまでの処理について、図１１を参照して説明する（適宜、図８参照）。
受信機４０では、図１１に示すように、画像データとその奥行データを受け取った受信機４０に電子ホログラフィディスプレイ５３が接続されている。この電子ホログラフィディスプレイ５３は、液晶表示素子等で構成されたものである。

また、受信機４０は、映像作成手段２１によって、受け取った画像データ（映像データ）と奥行データとから立体映像５１を再構成（作成）する。そして、受信機４０は、映像作成手段２１によって、この立体映像５１から光が出たとして、その前面の適当な位置に置いたホログラム面５２に届いた時の光の振幅｜Ｍ｜と位相φとを計算して、｜Ｍ｜ｃｏｓφで表されるホログラムパターンを求めている。なお、ホログラム面５２は、映像作成手段２１の具体的な構成における一部分である。また、この映像作成手段２１で作成されたものが立体映像５１である。

このホログラムパターンは、立体映像５１にレーザ光を当てて反射して来る光に、同じレーザ光を重ねて照射した時に出来る干渉縞と同じものであるので、これを電子ホログラフィディスプレイ５３に表示し、参照光として同じレーザ光を当てると、レーザ光が干渉縞により回折され、電子ホログラフィディスプレイ５３から多方向の回折光が出てくることになる。

そして、この多方向の回折光の強さ及び方向は、元の立体映像５１の表面から出た光と同じになるので、この光を視聴者が見ると、電子ホログラフィディスプレイ５３の背面側に立体映像５１がある様に見える。なお、参照光が単色であると、再生される映像も単色であるが、赤緑青色のレーザ光を当てた時の干渉縞を計算し、これを電子ホログラフィディスプレイ５３に表示して、赤緑青色の参照光を当てれば、カラーの立体映像も再生することができる。

ここで再構成される立体映像５１は、受信する画像データが、画素毎にその色や明るさの値を持ち、奥行データが対応する画素毎にその奥行値を持っているので、これらの値をそのまま使って容易に立体映像を再構築できる。

また、奥行データδ＝ｄ−ｆ＝ｆ^２／（Ｄ−ｆ）が、映像データを撮影した受光面移動カメラ１０Ｂと異なる位置から計測された場合には、奥行が計測された位置とカメラ位置の距離Ｃを用いて、奥行データの各画素位置を、δＣ／ｆ＝ｆＣ／（Ｄ−ｆ）ずつずらせば、撮影された映像データの画素に対応した奥行データが得られる。

この場合に、受信機４０において、新たな奥行データが重なる画素位置では、値の大きい奥行データを採用すれば、手前の被写体の奥行データとなる。新たな奥行データが得られなかった画素位置は、前景に隠れていた背景であるので、近傍の値の小さい奥行データを用いればよい。この操作は、送信側で行ってもよいし、受信側で行ってもよい。

また、受信機４０において、この立体映像５１を２枚の視差画像に変換して、両眼視差型の立体映像ディスプレイ（図示せず）に表示する場合は、人間の両眼間の平均距離Ｂ（以下、単に両眼の間隔Ｂともいう）があらかじめ求められている場合は、送信側で像倍率ｆ／（Ｄ−ｆ）に両眼の間隔ＢをかけたものｆＢ／（Ｄ−ｆ）を奥行データとして送り、受信側では、この奥行データをそのまま視差量Δとして両眼視差型の立体映像ディスプレイに表示する。

さらに、送信機３０Ｂにおいて、両眼の間隔Ｂが未定の場合は、像倍率ｆ／（Ｄ−ｆ）をそのまま奥行データとして送り、受信機４０において、両眼の間隔Ｂを得て、この奥行データにその値を掛けたものｆＢ／（Ｄ−ｆ）を視差量Δとして両眼視差型の立体映像ディスプレイに表示する。

そして、受信機４０において、映像作成手段２１によって、この視差量Δだけ、画像データの各画素位置をずらせて視差画像を作成すれば、両眼視差型の立体映像ディスプレイに、容易に両眼視差型の立体映像を表示することができる。

さらに、受信機４０において、２視差以上の多眼立体ディスプレイ（図示せず）に表示する場合は、映像作成手段２１によって、同様にして得られた視差量Δずつ、隣り合う視差画像の画素位置をずらせながら表示すれば、多眼の立体映像を容易に得ることができる。

また、受信機４０において、液晶パネルを多数枚積層したような３次元ディスプレイ（図示せず）が接続されている場合には、送信機３０Ｂにおいて、像倍率ｆ／（Ｄ−ｆ）に、記憶されているレンズの焦点距離ｆを掛けたものを奥行データδとして送る。そして、受信機４０において、送られてくる画像データの画素値をその奥行データδで指定される液晶パネル上に表示する事により、特別な変換なしに立体映像を表示することができる。

さらにまた、この様にして表示される立体映像は、元の被写体の実サイズの空間を表示したものではないが、この立体映像を撮影時のレンズの焦点距離ｆだけ離れた位置から観察者が見れば、実空間を見た時と同じ網膜像が観察者の目に写るので、実空間を見たのと同じ立体感を得ることができる。なお、立体映像が拡大表示される場合は、当該立体映像を見る距離も同じ比率で拡大すればよい。

ここで、係数選択手段９Ｃで選択される所定の係数について、様々なバリエーション（一部重複した説明も含む）と、それらの場合の効果について纏めて説明する。
第１実施形態及び第２実施形態では、ディスプレイが映像自身に奥行きを持つ立体映像ディスプレイの場合は、被写体像の像倍率ｆ／Ｄに、所定の係数として、Ｄｆ／（Ｄ−ｆ）を掛けて奥行データとしたか、被写体までの被写体距離Ｄがレンズの焦点距離ｆより十分大きい場合には、所定の係数はほぼレンズの焦点距離ｆに近くなるので、この様な場合には、Ｄｆ／（Ｄ−ｆ）を掛ける代わりに、レンズの焦点距離ｆのみを掛けたものを奥行データとしている。このため、この場合は、接続されているディスプレイが立体映像ディスプレイである事を確認して、奥行データをそのまま奥行きとして出力する。これにより、奥行を求める操作が簡略化され、高速に奥行を求める事が可能になる。

また、送信側でディスプレイが多眼立体ディスプレイであることが分かっており、人の両眼の間隔Ｂがあらかじめ知られている場合は、奥行データには、所定の値としてＢが掛かっているので、この場合は、奥行データ受信装置１Ｃは、接続されているディスプレイが多眼立体映像ディスプレイである事を確認して、奥行データをそのまま奥行きとして出力する。これにより、受信側での処理が更に容易になる。
これにより、奥行きは、直接視差量を表すので、この値だけ画素位置をずらせて２眼を含む多眼立体ディスプレイに表示すれば、容易に立体映像が得られ、受信側で特別な処理を不要にすることができる。

さらに、送信側でディスプレイが多眼立体ディスプレイであることが分かっており、人の両眼の間隔Ｂが未定の場合は、奥行データには、所定の値として１が掛かっているので、この場合は、奥行データ受信装置１Ｃは、接続されている多眼立体映像ディスプレイの両眼の間隔Ｂを得て、奥行データにＢを掛けて奥行として出力する。

さらに、送信側でディスプレイの種類が未定の場合は、奥行データには、所定の値として１／ｆが掛かっているので、この場合は、奥行データ受信装置１Ｃは、接続されているディスプレイが多眼立体映像ディスプレイか、映像が奥行きを持つ立体映像ディスプレイかを判定して、多眼立体映像ディスプレイの場合は、記憶手段５Ｃに記憶されている焦点距離ｆと両眼の間隔Ｂを得て、ｆＢを奥行データに掛けて奥行きとして出力する。接続されているディスプレイが像に奥行きを持つ立体映像ディスプレイの場合は、ｆ^２を奥行データに掛けて奥行きとして出力する。

これらの所定の係数を掛ける処理は、受信機４０において、受信した奥行データの種類と接続されたディスプレイの種類に応じて、正しい視差量又は立体映像の奥行きを出力することができる。

なお、受信機４０で表示するディスプレイが平面映像ディスプレイの場合は、送られてくる奥行データから、像倍率ｆ／Ｄ又はｆ／（Ｄ−ｆ）を得て、これに映像を表示すべき視点位置と送られてくるカメラ映像の視点位置間の距離Ｃを掛けた値ｆＣ／ＤもしくはｆＣ／（Ｄ−ｆ）ずつ被写体像をずらせて表示すれば、所望の視点位置からの映像を表示出来る。

なお、第１実施形態では、視差量Δ＝ｆＬ／Ｄから被写体の被写体距離Ｄを求めて、像倍率ｆ／Ｄを出し、これに所定の係数を掛けて奥行データを出力したが、ディスプレイが平面ディスプレイ又は多眼立体映像ディスプレイの場合は、視差量Δ＝ｆＬ／Ｄから直接像倍率ｆ／Ｄを求めて、所定の係数を掛けてもよい。

すなわち、本発明の奥行データを用いれば、どのような立体映像ディスプレイに対しても容易に幾何学的に正しい立体映像を表示できる。

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、奥行データ出力装置１、１Ａ、１Ｂを送信機３０、３０Ａ、３０Ｂに包含し、奥行データ受信装置１Ｃを受信機４０に包含するものとしているが、両者を合わせて構成してもよい。
また、奥行データ出力装置１、１Ａ、１Ｂ及び、奥行データ受信装置１Ｃの各構成による処理をコンピュータ言語で実現可能に記述した奥行データ出力プログラムとして構成することも可能である。

ここで、奥行データと係数選択手段で選択される所定の係数との関係について、図１２を参照して説明する。この図１２において、距離測定の「視差量計測」が第１実施形態に対応しており、「距離カメラ」が第２実施形態に対応しており、「受光面位置」が第３実施形態に対応している。
そして、「送信側係数」が送信機３０、３０Ａ、３０Ｂで選択される所定の係数を、「受信側係数」が受信機４０で選択される所定の係数を示している。

この図１２に示したように、奥行データ出力装置１、１Ａ、１Ｂから奥行データを出力する際の所定の係数と、奥行データ受信装置１Ｃで任意視点映像を表示する際に用いる奥行値に、当該奥行データを加工する際の所定の係数との関係が明確になっている。

さらに、図１３〜図１５を参照して、視差データの例と、距離画像の例と、２眼式立体映像ディスプレイ（図示せず）に表示する映像（右目用映像、左目用映像）の例とを示す。
図１３に示したように、視差データは、２つの映像データ（カメラ１画像、カメラ２画像）を視差データ算出手段３に入力することで得られたものである。

また、図１４に示したように、距離画像（距離データ）は、距離画像撮影カメラ１３から直接出力したものである。なお、距離画像撮影カメラ１３は、光を被写体に照射する発光器１３ａと、被写体で反射した反射光を受光する受光器１３ｂと、発光器１３ａが照射した光が反射光として受光されるまでの時間から被写体までの距離を距離画像として出力する距離計測器１３ｃとから構成されている。

さらに、図１５に示したように、映像データと奥行データとを映像作成手段２１に入力することで、２眼式立体映像ディスプレイに出力する右目用映像、左目用映像が得られる。

本発明の第１実施形態に係る任意視点映像システムの概略的な構成図である。 被写体までの光軸上で測った距離と、光軸に対して直角方向にずれた被写体のズレ量と被写体のサイズと、レンズでその焦点距離位置に投影される被写体像のサイズと、被写体像の光軸からのズレ量との関係を説明するための図である。 図１に示した奥行データ出力装置の動作を示したフローチャートである。 本発明の第２実施形態に係る任意視点映像システムの概略的な構成図である。 カメラにより撮影される映像の像倍率と映像の位置の関係及び被写体像の像倍率と、その映像の奥行の比率を説明するためのグラフである。 本発明の第３実施形態に係る任意視点映像システムの概略的な構成図である。 本発明の第３実施形態に係る任意視点映像システムにおいて、被写体と、この被写体からレンズの後方の位置に形成された被写体像とを示した図である。 第１実施形態から第３実施形態まで共通する受信機の構成について説明するための図である。 第１実施形態ないし第３実施形態の奥行データを判定して奥行きを出力する奥行データ受信装置の動作を示したフローチャートである。 第３実施形態の任意視点映像システムで撮影された映像データが、多重化データとして送信されるまでを説明するための図である。 第３実施形態の任意視点映像システムで送信された多重化データが立体映像として表示されるまでを説明するための図である。 奥行データと係数選択手段で選択される所定の係数との関係について示した図である。 視差データについて例示した図である。 距離画像について例示した図である。 ２眼式立体映像ディスプレイに出力する映像を例示した図である。 特許文献に開示されている従来の方法を説明するための図である。 従来の奥行表示尺度の例である。

符号の説明

１、１Ａ、１Ｂ 奥行データ出力装置
１Ｃ 奥行データ受信装置
２ 映像データ符号化器
３ 視差データ算出手段
４ 多重化器
５、５Ａ、５Ｂ、５Ｃ 記憶手段
７ 距離算出手段
９、９Ｂ、９Ｃ 係数選択手段
１０、２０ カメラ
１０Ｂ、２０Ｂ 受光面移動カメラ
１０ｂ、２０ｂ 受光面
１１、１１Ａ、１１Ｂ 奥行データ算出手段
１２、２２ レンズ
１３ 距離画像撮影カメラ（距離画像撮影手段）
１５ 被写体抽出手段
１７ 受信分離手段
１９ 映像データ復号手段
２１ 映像作成手段
２３ 奥行データ取得手段
２５ 奥行算出手段
３０、３０Ａ、３０Ｂ 送信機
４０ 受信機
５０、８０ 被写体
６０、６１、７０、８１ 被写体像
５２ 仮想のホログラム面
５３ 電子ホログラフィディスプレイ
９０ 近景の被写体
９１ 近景の被写体像
１００ 遠景の被写体
１０１ 遠景の被写体像

Claims (7)

1. 被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、
   前記カメラ間の設置間隔を予め記憶していると共に、前記カメラのレンズの焦点距離を予め記憶している記憶手段と、
   前記カメラで撮影した少なくとも２つの映像データに基づいて、２つの映像データのズレ量である視差データを算出する視差データ算出手段と、
   この視差データ算出手段で算出した視差データから、前記カメラのレンズから前記被写体までの距離である被写体距離を算出する距離算出手段と、
   この距離算出手段で算出された被写体距離をＤとし、前記記憶手段に記憶されているレンズの焦点距離をｆとして、前記被写体と撮影された被写体像との像倍率をｆ／Ｄとした場合に、この像倍率ｆ／Ｄに所定の係数を掛けることで、前記奥行データを算出する奥行データ算出手段と、
   を備えることを特徴とする奥行データ出力装置。
2. 被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、
   前記カメラのレンズから前記被写体までの距離を距離画像として得る距離画像撮影手段と、
   前記カメラのレンズの焦点距離を予め記憶している記憶手段と、
   この記憶手段に記憶されているレンズの焦点距離をｆとし、前記距離画像撮影手段で撮影された距離画像から得られた前記カメラのレンズから前記被写体までの距離である被写体距離をＤとして、前記被写体と撮影された被写体像との像倍率をｆ／Ｄとした場合に、この像倍率ｆ／Ｄに所定の係数を掛けることで、前記奥行データを算出する奥行データ算出手段と、
   を備えることを特徴とする奥行データ出力装置。
3. 前記奥行データ算出手段で使用される前記所定の係数を、予め設定した条件に基づいて選択する係数選択手段を備え、この係数選択手段は、
   表示する際のディスプレイが奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆでない場合の条件のとき、前記所定の係数にＤｆ／（Ｄ−ｆ）を選択し、
   表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが未定の場合の条件のとき、前記所定の係数に１を選択し、
   表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが予め与えられている場合の条件のとき、前記所定の係数に前記Ｂを選択し、
   表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆの場合の条件のとき、前記所定の係数にｆを選択し、
   表示する際のディスプレイが未定である場合の条件のとき、前記所定の係数に１／ｆを選択することを特徴とする請求項１又は２に記載の奥行データ出力装置。
4. 被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、
   前記カメラは、カメラのレンズ又は受光面の位置を移動させながら、被写体を当該カメラで複数回撮影する立体映像カメラであって、撮影した複数の立体映像データの各レーヤ映像において、予め設定した閾値よりも高い周波数成分を含む画素を抽出し、この画素が所定数以上含まれる同系色の画素の領域を被写体像として抽出する被写体抽出手段と、
   前記カメラのレンズの焦点距離を予め記憶している記憶手段と、
   この記憶手段に記憶されているレンズの焦点距離をｆとし、前記被写体抽出手段で被写体像が抽出されるまでに前記レンズ又は前記受光面の位置が移動した移動距離から、前記カメラから前記被写体までの距離である被写体距離Ｄを得て、前記被写体と撮影された前記被写体像との像倍率ｆ／（Ｄ−ｆ）を算出し、この像倍率ｆ／（Ｄ−ｆ）に所定の係数を掛けることで、前記奥行データを算出する奥行データ算出手段と、
   を備えることを特徴とする奥行データ出力装置。
5. 前記奥行データ算出手段で使用される前記所定の係数を、予め設定した条件に基づいて選択する係数選択手段を備え、この係数選択手段は、
   表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが未定の場合の条件のとき、前記所定の係数に１を選択し、
   表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが予め与えられている場合の条件のとき、前記所定の係数に前記Ｂを選択し、
   表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが立体映像データである場合の条件のとき、前記所定の係数に前記ｆを選択し、
   表示する際のディスプレイが未定である場合の条件のとき、前記所定の係数に１／ｆを選択することを特徴とする請求項４に記載の奥行データ出力装置。
6. 請求項１から５のいずれか一項に記載の奥行データ出力装置から出力された奥行データを受信して、カメラで被写体を撮影した映像データを表示する際に、表示映像に奥行がある様に見せる為のパラメータを出力する奥行データ受信装置であって、
   前記奥行データには、表示する際のディスプレイに応じた値を有したフラグが付随しており、前記奥行データは当該フラグに対応した種類を有しており、
   前記カメラのレンズの焦点距離と、人間の両眼間の平均距離を予め記憶している記憶手段と、
   前記奥行データを受信し、この受信した奥行データの種類を当該奥行データに付随しているフラグから判定する奥行データ取得手段と、
   前記奥行データに所定の係数を掛けることで、前記パラメータを奥行きとして算出する奥行算出手段と、
   を備えることを特徴とする奥行データ受信装置。
7. 請求項３または請求項５に記載の奥行データ出力装置から出力された奥行データを受信して、カメラで被写体を撮影した映像データを表示する際に、表示映像に奥行がある様に見せる為のパラメータを出力する奥行データ受信装置であって、
   前記奥行データには、表示する際のディスプレイに応じた値を有したフラグが付随しており、前記奥行データは当該フラグに対応した種類を有しており、
   前記カメラのレンズの焦点距離と、人間の両眼間の平均距離を予め記憶している記憶手段と、
   前記奥行データを受信し、この受信した奥行データの種類を当該奥行データに付随しているフラグから判定する奥行データ取得手段と、
   前記ディスプレイの種類を判定して、前記記憶手段に記憶されている焦点距離又は平均距離を用いた、受信した奥行データに掛けるべき所定の係数を選択する係数選択手段と、
   前記奥行データに前記所定の係数を掛けることで、前記パラメータを奥行きとして算出する奥行算出手段と、
   を備え、
   前記係数選択手段は、前記フラグから判定した奥行データの種類に応じ、
   表示する際のディスプレイが奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記フラグの値に従って算出した前記カメラから前記被写体までの距離である被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆでない場合の条件のとき、前記所定の係数に１を選択し、
   表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが送信側で未定の場合の条件のとき、前記所定の係数に前記記憶手段から読み出された前記平均距離Ｂを選択し、
   表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、前記平均距離Ｂが送信側に予め与えられている場合の条件のとき、前記所定の係数に１を選択し、
   表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが立体映像データである場合の条件のとき、前記所定の係数に１を選択し、
   表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆの場合の条件のとき、前記所定の係数に１を選択し、
   表示する際のディスプレイが送信側で未定である場合の条件のとき、接続されているディスプレイが２眼を含む多眼立体ディスプレイか映像自身が奥行きを持つ立体映像ディスプレイかに応じて、前記所定の係数にそれぞれｆＢ若しくはｆ^２を選択することを特徴とする奥行データ受信装置。