JP2003005315A

JP2003005315A - 立体画像撮影装置

Info

Publication number: JP2003005315A
Application number: JP2001194155A
Authority: JP
Inventors: Mitsuo Yamada; 光穗山田; Atsushi Arai; 淳洗井; Tomoyuki Mishina; 智之三科; Koji Mitani; 公ニ三谷; Maki Kobayashi; 真樹小林; Fumio Okano; 文男岡野
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2001-06-27
Filing date: 2001-06-27
Publication date: 2003-01-08
Anticipated expiration: 2021-06-27
Also published as: JP4377557B2

Abstract

(57)【要約】【課題】レンズブロックを結束した接合部の継ぎ目部
分に要素画像の欠けのない画像を得ることができる立体
画像撮影装置を提供する。【解決手段】複数のレンズが結束されたレンズ群から
なる要素レンズブロック同士が接合され、このようにし
て形成された複数の要素レンズブロックを有する撮影用
複眼レンズ部４と、撮像部５と、画像補間処理部７とか
らなり、前記画像補間処理部７の画像を補間する手段と
して、要素画像中の画素値を算出する第１の補間手段、
及び／又は要素画像の回転角を算出する第２の補間手段
によることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体画像装置に関
し、特に、インテグラルフォトグラフィ（integral pho
tography（ＩＰ））方式を応用した立体画像撮影装置に
関する。

【０００２】

【従来の技術】任意の視点から観察することができる立
体テレビジョン方式の一つとして、平面状あるいは球面
状に配列されたレンズ群を用いたいわゆるインテグラル
フォトグラフィ方式が知られている。この方式を用いた
高解像度の動画を撮影する手法について説明する。図１
１は、インテグラルフォトグラフィ（以下、ＩＰとい
う）方式の立体画像の原理を示す模式図である。図１１
を参照して、ＩＰ方式の原理について説明する。図１１
に示すように、同一平面上に配置された複数の凸レンズ
３１₁，３１₂，３１₃，…３１_nからなるレンズ群３１の
後部に写真フィルム３２を配置し、レンズ群３１の前に
置いた被写体３０を撮影すると、写真フィルム３２には
各凸レンズ３１₁，３１₂，３１₃，…３１_nにより被写体
３０の要素画像３２₁，３２₂，３２₃，…３２_nが結像
し、撮影される。次に、撮影後に現像することにより得
られた要素画像を、レンズ群３１に対して撮影時と同じ
位置に配置し、この状態でレンズ群３１の前方から前記
要素画像を見ると、立体再生画像を観察できる。

【０００３】次に、ＩＰ方式を応用した立体画像の撮影
装置を、図１２および図１３を参照して説明する。図１
２は、ＩＰ方式において要素撮影素子とレンズの関係を
示す模式図であり、図１３は、図１２のＡ−Ａ断面図で
ある。図１２に示すように、一つのウェハ３５上に、写
真フィルム３２の代わりに要素撮像素子３４を設ける
と、撮像面積が大きく画素数も極めて多い撮像手段が得
られる。そして、この要素撮像素子３４群の前面にレン
ズ群が配設される。したがって、図１２に示すように、
個々の要素レンズ３３は要素撮像素子３４に対向して設
けられている。なお、図１２は、要素撮像素子３４及び
要素レンズ３３が縦に４個、横に５個配列され、各要素
撮像素子３４に要素画像Ｄ１１〜Ｄ４５が形成される例
を示しているが、実際の要素撮像素子３４及び要素レン
ズ３３は、例えば、千個から二千個程設置される。図１
２、図１３において、要素レンズ３３は、光ファイバを
用いて作製されており、図１１のレンズ群３１に相当す
る。また、ウェハ３５上の要素撮像素子３４は、図１１
の写真フィルム３２に相当する。

【０００４】以上のような構成において、要素撮像素子
３４が充分高精細な画素数で構成されていれば、解像度
の高い立体画像の動画を撮影することができる。そし
て、撮影により得られた画像を、要素レンズ３３からな
るレンズ群に対して撮影時と同じ位置に配置し、その状
態においてレンズ群の前方からその画像を見ると、立体
画像の再生像を観察することができる。

【０００５】図１４は、前記したレンズ群を用いて実現
されるインテグラルフォトグラフィを応用した立体画像
の撮影から表示までを示す全体概念図である。図１４に
示すように、撮影装置４２は、凸レンズ４３と複眼レン
ズ４４とテレビカメラ４５により構成し、表示装置４６
は液晶パネル４７と複眼レンズ４８から構成されてい
る。被写体４１の像は、凸レンズ４３を用いて撮影し、
光ファイバを束ねた複眼レンズ４４の端面４４ａに結像
されるので、テレビカメラ４５はこの像をもう一方の端
面４４ｂを通して撮影する。テレビカメラ４５に撮影さ
れた像は、光ファイバの一つ一つに写し出された像が要
素画像となり、液晶パネル４７に表示される。液晶パネ
ル４７にも撮影レンズと同じ位置関係で複眼レンズ４８
が貼付されており、この複眼レンズ４８を通して画像を
観察することにより、特殊なメガネをかけることなく、
回り込んで見られる立体画像４１´を観察することがで
きる。この複眼レンズ４８上の画像の一例を図１５に示
す。図１５は、その画像の一部を拡大した拡大図であ
る。図１５に示すように、複眼レンズ４８の個々のレン
ズに写った画像が要素画像であり、個々の要素画像は被
写体を少しずつ違う角度から撮影したように、要素画像
の違いが判る。

【０００６】このように、インテグラルフォトグラフィ
（ＩＰ）では、観察者が回り込んで見ると、回りこんだ
方向の画像を観察することができるが、その範囲は図１
４から判るように、カメラ４５を覗き込んだ複眼レンズ
４４の範囲内に限られる。つまり、要素画像の数とその
分布により決まる。したがって、回り込める範囲を大き
くしようとすると、束ねるレンズ群の総数を多くして複
眼レンズ４４を大きくする必要がある。しかし、設計
上、強度上、構造上に限界があり、ある範囲（要素レン
ズの設置数は、約二千個）以上は大きくすることができ
ないため、レンズ群をブロックに分けてレンズブロック
とし、レンズブロックを束ねることでレンズ群の総数を
多くして等価的に大きなレンズにする方法が用いられて
いる。

【０００７】

【発明が解決しようとする課題】しかしながら、レンズ
群をブロックに分け、レンズブロックを結束して接合す
る方法では、レンズブロックを接合した継ぎ目部分の位
置にはレンズが装着できないため、接合部の継ぎ目部分
に要素画像の欠けが生じることになり、良好な画像を得
ることができないという問題があった。また、継ぎ目部
分の要素画像に欠けのない立体画像の撮影ができたとし
ても、要素レンズブロックのずれ量が、各要素レンズ間
の距離の整数倍にすることを前提として生成しているた
め、接合面の研磨精度や接着剤の収縮により、整数倍に
できない場合には、本来の位置からずれた位置に要素画
像が表示されることになり、再生される立体像に歪みが
生じるという問題があった。

【０００８】そこで、本発明は、レンズブロックを結束
した接合部の継ぎ目部分に要素画像の欠けのない画像を
得ることができる立体画像撮影装置を提供することを課
題とする。また、接合面の研磨精度や接着剤の収縮によ
り、要素レンズブロック間のずれに伴う歪みを除去する
ために要素画像の位置を補正し、歪みによるずれのない
要素画像が表示できる立体画像撮影装置を提供すること
を課題とする。

【０００９】

【課題を解決するための手段】請求項１記載の本発明
は、前記課題の問題点を解決するために創案された立体
画像撮影装置であって、被写体を撮像する凸レンズと、
複数のレンズからなる要素レンズブロックを複数接合し
て構成される撮影用複眼レンズ部と、前記撮影用複眼レ
ンズ部の端面に結像された画像を撮像する撮像部と、前
記撮像部によって撮影された要素画像の中で、要素レン
ズブロックの接合部により欠けた要素画像を補間する画
像補間処理部とからなり、前記画像補間処理部の画像を
補間する手段として、前記接合部において欠けた要素画
像中の画素値を算出して画素を生成して補間する第１の
補間手段、及び／又は、接合部により欠けた要素画像の
回転角を算出して画素を生成して補間する第２の補間手
段により補間することを特徴とする。

【００１０】請求項１記載の発明によれば、レンズ群か
らなる要素レンズブロックを結束して接合したことによ
り生じる継ぎ目部分の接合部は、格子状を形成し、この
接合部にはレンズが装着できないことから生じる格子状
の要素画像の欠けは、画像補間処理部が画像を補間する
手段、つまり、接合部において欠けた要素画像中の画素
値を算出して画素を生成して補間する第１の補間手段、
及び／又は、接合部により欠けた要素画像の回転角を算
出して画素を生成して補間する第２の補間手段を実行し
て、すべての要素画像中の画素値を求めることによっ
て、要素画像の欠け部の画素を生成して補間することが
できるので、接合部の継ぎ目部分に要素画像の欠けのな
い良好な立体画像を得ることができる。

【００１１】請求項２に記載された発明は、請求項１に
記載の立体画像撮影装置であって、前記第１の補間手段
は、等間隔に配列された要素画像の中、欠落している要
素画像の要素値を算出する手段は、連続する要素画像
ａ，ｂ，ｃのうち、欠けている要素画像ｂを補間する場
合には、式（１）を用い、連続する要素画像ｄ，ｅ，
ｆ，ｇのうち、欠けている要素画像ｅ、ｆを要素画像
ｄ、ｇで補間する場合には、式（２）、（３）を用いる
ことを特徴とする。ｂij＝（aij＋cij）／２ …（１）ｅij＝（２×ｄij＋ｇij）／３ …（２）ｆij＝（ｄij＋２×ｇij）／３ …（３）

【００１２】請求項２に記載された発明では、接合部の
欠けた要素画像は、前記（１）、（２）、（３）の式を
用いて数値演算をすることにより、要素画像中の画素値
を算出することで、接合部の要素画像を補間することが
できるとするものである。画素値の算出は、加算と乗除
の組み合わせであり、比較的簡単な式で求めることがで
きる。以下に、欠けの要素画像ｂ，ｅ，ｆの画素値を求
める前記式（１）、（２）、（３）について説明する。
格子状に欠けた要素画像を写し出す要素レンズは、上か
ら下に向かって、１個、２個、１個、２個…の繰り返し
で欠けていることが判る。そこで、１個の欠けた要素画
像を補間するのが、式（１）である。前記式（１）で
は、欠けた要素画像をｂとした場合、ｂの両端に位置す
るａとｃを使って求めるものである。つまり、左から順
に配置された要素画像ａ，ｂ，ｃ中、中央の画素値ｂij
は、両隣の画素値ａijと画像値cijを合計して２で除算
することで求められる。ｂij＝（aij＋cij）／２…
（１）

【００１３】次に、式（２）は、欠けた要素レンズの要
素画像がｅ，ｆの２個とした場合、ｅ，ｆの両端に位置
するｄとｇの画素値を使ってｅの画素値を求める。つま
り、左から要素画像ｄ，ｅ，ｆ，ｇの配列において、各
々の配置は略等間隔であり、ｇからｄの距離に対するｄ
からｅの距離の比はちょうど１／３であることから、画
素値ｅijは、画素値ｄijに、画素値ｇijと画素値ｄijの
差の１／３を加算すればよい。つまり、画素値ｅij＝ｄ
ij＋（ｇij−ｄij）／３となり、３を分母にして整理す
ると、ｅij＝（２×ｄij＋ｇij）／３…（２）となる。
同様に、式（３）は、欠けた要素レンズの要素画像が
ｅ，ｆの２個とした場合、ｅ，ｆの両端に位置するｄと
ｇの画素値を使ってｆの画素値を求める。つまり、要素
画像ｄ，ｅ，ｆ，ｇにおいて、画素値ｆijは、画素値ｄ
ijに、画素値ｇijと画素値ｄijの差の２／３を加算すれ
ばよい。そこで、ｆij＝ｄij＋２（ｇij−ｄij）／３と
なり、３を分母にして整理すると、ｆij＝（ｄij＋２×
ｇij）／３…（３）となる。このように、要素レンズブ
ロックの集合体である複眼レンズが大きくなった場合で
も、同様の手段で欠けた要素レンズの要素画像を補正す
ることが可能である。

【００１４】請求項３に記載された発明は、請求項１に
記載の立体画像撮影装置であって、順番に要素画像ａ，
ｂ，ｃのうち、要素画像ｂを補間する手段であり、前記
回転角を補正する第２の補間手段は、要素画像ａのオブ
ジェクトを抽出するステップと、要素画像ａのオブジェ
クトの回転角を算出するステップと、要素画像ｃのオブ
ジェクトの回転角を算出するステップと、要素画像ａの
回転角と要素画像ｃの回転角から、要素画像ｂのオブジ
ェクトの回転角を算出するステップと、要素画像ｂのオ
ブジェクトを生成するステップとを有することを特徴と
する。

【００１５】請求項３に記載された画像補間処理部の第
２の補間手段では、各要素画像に写し出されるオブジェ
クトは、要素レンズと被写体に対する角度がすべて異な
り、要素レンズの配置に応じて一定の角度差で増減する
ことに着眼した補間手段であって、１つの欠けた要素画
像（例えば、要素画像ｂ）に対しては、要素２つの隣接
する要素画像（例えば、要素画像ａと要素画像ｃ）を抽
出して、各々の回転角の計算をおこない、これらの回転
角から欠けた要素画像ｂの回転角を求めることにより画
像を生成し、より精密な、実際の要素画像に近いオブジ
ェクトを補間することが可能である。これにより、より
実際に近い要素画像に補間することができることから、
継ぎ目部分に欠けのある要素画像部分に、正確な要素画
像を補間可能となり、良好な立体画像の撮影を行うこと
が可能である。

【００１６】請求項４に記載された発明は、請求項１か
ら請求項３のいずれか１項に記載の立体画像撮影装置で
あって、前記要素レンズブロックの接合部において要素
画像の欠けた画像を補正するために、前記撮像部により
撮影された要素画像を出力手段による出力タイミングを
調整することで位置補正する位置補正部を、さらに設け
たことを特徴とする。

【００１７】請求項４に記載された立体画像撮影装置で
は、要素画像の位置補正部を設けることにより、接合面
の研磨精度や接着剤の収縮により、要素レンズブロック
間のずれ量が各要素レンズ間の距離の整数倍にできなか
った場合に、要素画像の位置を補正することが可能であ
り、より高精度な要素画像を生成することにより、高品
位な立体映像が可能になる。

【００１８】

【発明の実施の形態】以下、本発明の一実施の形態を、
図面を参照しながら説明する。（第１実施の形態）本発明の第１実施の形態を、図１、
図２を参照して説明する。図１は、第１実施の形態を示
す本発明のインテグラルフォトグラフィを用いた立体画
像撮影装置を示す全体概念図であり、図２（ａ）は、第
１実施の形態を示すブロック図である。図１に示すよう
に、本発明の立体画像撮影装置１は、被写体２を撮影す
るために、凸レンズ３と複眼レンズ４とテレビカメラ５
と、表示装置である液晶パネル８と複眼レンズ９の他、
画像補間処理部７により構成されている。したがって、
被写体２は、凸レンズ３を通して撮影され、光ファイバ
を束ねた複眼レンズ４の端面４ａに結像される。テレビ
カメラ５は、複眼レンズ４の端面４ａに結像した要素画
像をもう一つの端面４ｂを通して撮影され、撮影された
要素画像信号は画像補間処理部７に入り、接合部の欠け
た要素画像中の画素値を算出して補間した後、液晶パネ
ル８に表示される。液晶パネル８にも撮影レンズと同じ
位置関係で複眼レンズ９が貼付されており、この複眼レ
ンズ９を通して画像を観察することにより、特殊なメガ
ネをかけることなく、回り込んで見られる立体画像２´
を観察することができる。

【００１９】図２（ａ）は、第１の補間手段である画像
補間処理部７を示すブロック図である。図２（ａ）にお
いて、複眼レンズ部４は、図４に示すように、要素レン
ズブロック１０を接合したものである。図４は、４個の
要素レンズブロック１０の接合例を示す模式図である
が、実際には、数十から数百個の要素レンズブロック１
０が接合されている。ここでの要素レンズ１２は、例え
ば、微小なレンズである光ファイバの屈折率分布レンズ
であり、この光ファイバを図４に示すように四角に結束
して要素レンズブロック１０を作ると、要素レンズブロ
ック１０の強度を保つために要素レンズブロック１０に
枠を設ける必要がある。要素レンズ１２は、ブロック間
の枠（接合部）に係わらず連続して一面に配置されるべ
きであるが、図４に示すように、要素レンズブロック１
０の接合部１１の近傍には要素レンズ１２が装着できな
いことから、格子状に要素画像が欠けたような見え方に
なる。

【００２０】図２（ａ）に示す本発明の画像補間処理部
７は、このような問題点を解消するために考案されたも
ので、枠の部分によって欠落した要素レンズ（図４に示
す破線で書かれたレンズ）に要素画像を次のような手段
によって補間することができる。図４に示す要素レンズ
１２中の要素画像、例えば、ａ，ｂ，ｃ…の符号は、要
素レンズ１２の位置を示し、図８は、これを拡大した模
式図である。要素画像中の●印は画素を示し、添え字は
画素番号を付した模式図である。破線の〇で示す欠落し
た要素画像ｂ，ｅ，ｆの画素値は、数値演算による補間
では、式（１）、（２）、（３）で算出することができ
る。式（１）、（２）、（３）の説明は、前記したの
で、ここでは省略する。ｂ_ij＝（a_ij＋c_ij）／２ …（１）ｅ_ij＝（２×ｄ_ij＋ｇ_ij）／３ …（２）ｆ_ij＝（ｄ_ij＋２×ｇ_ij）／３ …（３）

【００２１】図４に示すように、縦の接合部１１に注目
すると、接合部１１を形成するために欠落している要素
レンズ１２は、上から下に向かって１個と２個、１個と
２個、…と規則通りに欠けていることが判る。式（１）
は、要素画像が１個欠けている場合の演算式であり、式
（２）は、要素画像が２個欠けている場合の左側の画素
値ｅijを算出する式である。また、式（３）は、要素画
像が２個欠けている場合の右側の画素値ｆijを算出する
式である。本発明の第１の補間手段は、これらの式によ
り数値演算させることによって欠落した要素レンズ１２
ｂ、１２ｅ、…に写し出される画像の画素値を算出して
画素を生成し補間するものである。

【００２２】一方、横の接合部１１´に沿って欠落して
いる要素レンズ１２の画素値に対しても、同様に求める
ことができる。図４に示すように、欠落している要素レ
ンズ１２は横一列であり、且つ、半ピッチ分右にずれた
構成になっていることが判る。これらの横一列に連続し
た欠けの補間方法としては、次のようにすればよい。例
えば、図４に示した欠けの要素レンズ１２ｙの要素画像
を例にとると、１２ｙに対応する要素レンズは、一つ飛
ばして１２ｘ、１２ｚとすると都合がよい。この横軸１
１´の座標系を９０°反転して縦軸に変換し、同様に式
（１）を用いて求めることができる。つまり、１２ｙ＝
（１２ｘ＋１２ｚ）／２…（１´）として算出すればよ
い。これにより、横の接合部１１´に沿って欠落してい
る要素レンズ１２の要素画像の画素値が算出される。

【００２３】このようにして、図４に示すような欠けた
要素レンズ（破線で示す〇印）の画素値のすべてを求め
ることができることから、多くの要素レンズブロックか
らなる複眼レンズ４（図１参照）中の欠けに対しても、
同様に求めることができる。そして、求めた画素値を使
用して画像処理することにより画素を生成し、画像を補
間することができる。

【００２４】（第２実施の形態）次に、接合部により欠
けた要素画像の回転角を算出して画素を補間する第２の
補間手段について、説明する。本発明の第２の補間手段
は、第１の補間手段の際使用した式（１）、（２）、
（３）から導いた、角度を求める式（４）、（５）、
（６）を使用して、欠落したオブジェクトの角度を求め
て補間する。要素画像の欠落が１個の場合は、 φｂ＝（φａ＋φｃ）／２ …（４）また、要素画像の欠落が２個の場合は、 φｅ＝（２×φｄ＋φｇ）／３ …（５） φｆ＝（φｄ＋２×φｇ）／３ …（６）図９は、要素レンズ内の各要素画像の、第２の補間手段
を示す説明図であり、図１０は、第２の補間手段のステ
ップを示すフローチャートである。図９に示すように、
式（４）は、要素画像ａ，ｂ，ｃのうち、真中の要素画
像ｂが欠けている場合、要素画像ｂの回転角φｂを算出
する式である。同様に、式（５）、（６）は、要素画像
ｄ，ｅ，ｆ，ｇのうち、要素画像ｅ，ｆの２個欠けてい
る場合であり、式（５）は、左側の要素画像ｅの回転角
φｅ（図示せず）を算出する式である。また、式（６）
は、右側の要素画像ｆの回転角φｆ（図示せず）を算出
する式である。

【００２５】本発明の第２の補間手段は、これらの式に
より数値演算させることによって欠落した要素レンズ１
２ｂ、１２ｅ、１２ｆ…に写し出されるであろう要素画
像の角度を算出して実際に即した傾きのある要素画像を
生成し補間するものである。そこで、第２の補間手段の
特徴である角度補間のステップとしては、図１０に示す
ように、最初、要素画像ａのオブジェクト（画像）を抽
出する（ステップＳ１）。オブジェクトの抽出は、隣接
する要素画像との比較をおこなうことで抽出することで
可能である。

【００２６】次に、要素画像ａのオブジェクトの回転角
φａを算出する（ステップＳ２）。オブジェクトの回転
角φａを算出する方法としては、オブジェクトの重心位
置を求めると都合がよい。オブジェクトの重心位置を求
める方としては、検出したオブジェクトの座標、（ｘ、
ｙ）値の加算平均によって求めることができる。さら
に、図９に示すように、例えば、オブジェクトの重心位
置を中心として要素画像ａにおいて、オブジェクトの最
も長い辺を抽出し、細線化して基準点（観察者相当位
置）との方向よりφａを求めるとよい。次に、要素画像
ｃのオブジェクトの回転角φｃを同様に求める（ステッ
プＳ３）。さらに、回転角φａと回転角φｃより、式
（４）から回転角φｂを算出する（ステップＳ４）。こ
れにより、要素画像ｂの回転角φｂを求めることができ
るため、欠けた要素画像の見合った回転角で補間でき、
オブジェクトを生成することができる（ステップ５）。
以上のようにＳ１〜Ｓ５のステップにより、実際と同様
にカメラと被写体の角度を反映させた継ぎ目部分の要素
画像に欠けのない立体画像の撮影を行うことができる。
これにより、より実際に近い要素画像に補間することが
できることから、継ぎ目部分に欠けのある要素画像部分
に、正確な要素画像を補間可能となり、臨場感のある良
好な立体画像の撮影を行うことが可能である。

【００２７】（第３実施の形態）図２（ｂ）は、請求項
３に係る立体画像撮影装置の一実施の形態を示すブロッ
ク図であり、図３は、第３実施の形態を示す本発明のイ
ンテグラルフォトグラフィを用いた立体画像撮影装置を
示す全体概念図である。前記第１と第２の実施の形態で
は、画像補間処理部7により、要素レンズブロック１０
の枠の接合部１１によって欠落した要素レンズ１２ｂ、
１２ｅ…（図４で破線の〇印で示す）を第１と第２の補
間手段にて補間して、欠けのない立体画像の撮影を行う
ことができることを説明した。しかしながら、要素レン
ズブロック１０の接合には、細心の注意を払っても、側
面の研磨精度や接着剤の収縮等により、接触部の距離を
各要素レンズ間の距離の整数倍にすることができない場
合にずれが生じることがある。

【００２８】図５は、要素レンズブロック１０の一つが
接合部９のところで大きくずれた状態を示す摸式図であ
る。図５に示すように、矢印で示した方向に要素レンズ
ブロック１０がずれてしまった場合、そのずれが各要素
レンズの距離の整数倍とはならないときは、従来方式で
の補間手段では解決できないことがある。

【００２９】図６は、要素画像のずれについて水平方向
の１ラインを示した説明図である。垂直方向のずれに対
しても同様であるが、ここでは、水平方向のずれに対す
る補正について説明する。図６に示すように、図中の一
点鎖線は１ラインに相当しており間隔、実線の「〇」印
は正しい間隔の要素画像を示している。また、破線の
「〇」印は正しい間隔で補正された要素画像である。図
中ｐは正規の要素画像の間隔であり、「□」印は、ずれ
た要素画像を示している。したがって、図６では、寸法
ｄだけ正しい位置からずれていることになる。インテグ
ラルフォトグラフィを用いた立体画像テレビでは、表示
の際にも、撮影時の要素画像のレンズ間隔に比例したレ
ンズ間隔のマイクロレンズアレーが用いられる。従っ
て、要素画像の位置がｄだけずれていると、表示される
画像の位置も、撮影時の被写体の位置よりｄだけずれる
ことになり、歪んだ立体画像が表示されることになる。

【００３０】そこで、図２（ｂ）のブロック図に示すよ
うに、本実施形態における要素画像位置補正部６を追加
し、ずれｄを補正して、歪んだ立体画像を直すことがで
きる。つまり、要素画像位置補正部６は、ずれｄを正し
い位置に要素画像を並べ直すように補正するものであ
る。図３に示す立体画像撮影装置１には、要素画像位置
補正部６が追加されて構成されている。図７は、前記要
素画像位置補正部６の制御について説明するブロック図
である。図７に示すように、最初、要素画像信号２１を
フレームメモリー２３に順次記録させ、続いて、フレー
ムメモリー２３を制御するシステムクロック２２をフレ
ームメモリー２３とＣＰＵ（Central Processing Uni
t）２６に入力させる。システムクロック２２の周波数
は、精度の高い補正を行うことから、要素画像の繰り返
し周期よりも充分に高いことが望ましい。また、通常
は、要素画像内の個々の画素に対応するクロックを用い
るとよい。ＣＰＵ２６は、予め各要素画像のアドレスを
記録したＲＯＭ（Read Only Memory）２５と接続されて
おり、要素画像の位置を補正すべき要素レンズブロック
１０（図４参照）を読み出すときには、前記したずれｄ
だけ読み出しタイミングをずらすようになっている。読
み出しタイミングをずらす手段については後述する。そ
して、このままでは、位置が補正されても、要素画像に
記録された画像は、ずれた方向から撮影されたものであ
る。したがって、さらに、ずれｄの相当分を、要素画像
位置補正部６にて要素画像の位置補正２７を行う。この
位置補正の手段は、前記した第１の補間例や、第２の補
間例を使用することができる。

【００３１】出力手段である出力タイミングの調整方法
について、以下に説明する。図６に示すように、Ｄを要
素画像ブロック１０のずれとすると、ｎ=（Ｄ mod ｐ）：要素画像ブロック間の継ぎ目に補間
する要素画像の数（mod：除算して整数値部分を与える）ｄ＝ｐ−（Ｄ−ｎ×ｐ）：正しい間隔からずれた要素画
像間隔ｆ＝ｄ/ｔ：ｔはシステムクロックの周波数、ｆはｔ
に対する波数に換算したずれを表すＣＰＵ２６は、クロック数ｆだけずらした位置に要素画
像が来るように読み出す。ここでは、時間軸上を遅らせ
る例として紹介したが、ｄ´＝ｐ−（Ｄ−（ｎ−１）×ｐ）ｆ´＝ｄ´/ｔとして、ｆ´だけ進めた位置に要素画像が来るように読
み出してもよい。このようにすることにより、要素画像
ブロックの接続位置が、一つ一つの要素画像間の、距離
の整数倍からずれたときでも、撮影画像に歪みのない立
体画像撮影装置を実現することができる。

【００３２】つまり、要素レンズブロック間がＤだけず
れて、Ｄが正しい間隔ｐの整数倍でないとき、式（１）
から（３）に従って補間すると端数ｄができる。隣にあ
る要素レンズブロックの最初の画素の位置をｄだけ場所
を移動させないと、ｐ間隔で均等に配置されなくなる。
電気的には、ｆ＝ｄ／ｔだけ遅延させることにより、最
初の画素の位置をｄだけずらすことができる。以後、要
素画像ブロックの各画素の位置はｄだけずれることにな
る。次のｄ´は、逆にｄ´だけ時間的に進める（このと
き、式（１）から（３）で計算される補間画素数は、先
の例より1個減る）ことにより、次の要素レンズブロッ
クの画素をｐ間隔で均等に配置する。なお、クロック数
とは、ＣＰＵの動作を制御するための基準信号の周波数
をいい、システムクロックとは、各要素画像を構成する
画素のサンプリング周波数をいう。

【００３３】

【発明の効果】請求項１に記載の発明によれば、レンズ
群を結束し接合した継ぎ目部分の位置にレンズが装着で
きないことから生じる要素画像の欠け、つまり、格子状
に欠けた要素画像を生成するために画像補間処理部を設
け、簡単な数値演算によりすべての要素画像中の画素値
を求めることによって、要素画像の欠け部の画像を生成
することができる。これにより、継ぎ目部分に要素画像
の欠けのない良好な立体画像の撮影を行うことが可能で
あり、品位の高い立体映像の提供が可能である。

【００３４】請求項２に記載の発明によれば、簡単な演
算式を用いて数値演算をすることにより、要素画像中の
画素値を算出することができるので、接合部の要素画像
を補間することができる。また、要素レンズブロックの
集合体が大きくなった場合でも、同様の手段で補間する
要素画像の数を増やすことで対応が可能である。

【００３５】請求項３に記載の発明によれば、各要素画
像に写し出されるオブジェクトは、カメラと被写体のオ
ブジェクトに対する角度がすべて異なり、一定の角度差
があることに着眼した補間手段であり、２つの要素画像
のオブジェクトを抽出して、２つの回転角を計算するこ
とにより、補間が必要な要素画像の回転角を求めること
でき、より精密な、実際の要素画像に近いオブジェクト
の生成することが可能である。これにより、より正確に
補間することができることから、継ぎ目部分の要素画像
に欠けのない良好な立体画像の撮影を行うことが可能で
あり、品位の高い立体映像の提供が可能である。

【００３６】請求項４に記載された立体画像撮影装置
は、要素レンズブロックの接合部において要素画像の欠
けた画像を補正するために、前記撮像部により撮影され
た要素画像の出力タイミングを調整することで位置補正
する位置補正部を設けたことにより、要素レンズブロッ
ク間のずれが、接合面の研磨精度や接着剤の収縮によ
り、各要素レンズ間の距離の整数倍にできなかった場合
であっても、位置補正が可能であり、高精度な要素画像
を生成することにより、より臨場感のある、高品位な立
体映像が可能である。

【図面の簡単な説明】

【図１】第１、第２実施の形態を示す本発明のインテグ
ラルフォトグラフィを用いた立体画像撮影装置を示す全
体概念図である。

【図２】（ａ）第１、第２実施の形態を示す本発明の立
体画像撮影装置のブロック図である。（ｂ）第３実施の形態を示す本発明の立体画像撮影装置
のブロック図である。

【図３】第３実施の形態を示す本発明のインテグラルフ
ォトグラフィを用いた立体画像撮影装置を示す全体概念
図である。

【図４】要素レンズブロックの接合例を示す摸式図であ
る。

【図５】要素レンズブロックの接合が不良な例の摸式図
である。

【図６】一方向１ラインの要素画像のずれについて示し
た説明図である。

【図７】要素画像位置補正部の構成について説明するブ
ロック図である。

【図８】第１の補間手段を示す要素画像の画素番号を付
した模式図である。

【図９】要素レンズ内の各要素画像の、第２の補間例を
示す説明図である。

【図１０】第２の補間例の手順を示すフローチャートで
ある。

【図１１】インテグラルフォトグラフィ方式の立体画像
の原理を示す模式図である。

【図１２】ＩＰ方式において撮影素子とレンズの関係を
示す模式図である。

【図１３】図１２のＡ−Ａ断面図である。

【図１４】レンズ群を用いて実現されるインテグラルフ
ォトグラフィを用いた立体画像の撮影から表示までを示
す全体概念図である。

【図１５】図１４に示す複眼レンズ上の画像の拡大図で
ある。

【符号の説明】

１立体画像撮影装置２被写体２´立体画像３凸レンズ４複眼レンズ４ａ，４ｂ複眼レンズの端面４ｃ複眼レンズ部５（５ａ）テレビカメラ（撮影部）６要素画像位置補正部７画像補間処理部８液晶パネル９複眼レンズ２１要素画像信号２２システムクロック２３フレームメモリー２４画像補正２５ＲＯＭ２６ＣＰＵ２７位置補正された要素画像Ｄ要素画像ブロックのずれｐ正しい要素画像間隔ｄ正しい間隔からずれた要素画像間隔

───────────────────────────────────────────────────── フロントページの続き (72)発明者三科智之東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内 (72)発明者三谷公ニ東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内 (72)発明者小林真樹東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内 (72)発明者岡野文男東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内Ｆターム(参考） 2H059 AA08 5C061 AA06 AA29 AB03 AB08 AB14 AB16

Claims

【特許請求の範囲】

【請求項１】被写体を撮像する凸レンズと、複数のレンズからなる要素レンズブロックを複数接合し
て構成される撮影用複眼レンズ部と、前記撮影用複眼レンズ部の端面に結像された画像を撮像
する撮像部と、前記撮像部によって撮影された要素画像の中で、要素レ
ンズブロックの接合部により欠けた要素画像を補間する
画像補間処理部とからなり、前記画像補間処理部の画像を補間する手段として、前記
接合部において欠けた要素画像中の画素値を算出して画
素を生成して補間する第１の補間手段、及び／又は、接
合部により欠けた要素画像の回転角を算出して画素を生
成して補間する第２の補間手段により補間することを特
徴とする立体画像撮影装置。
【請求項２】前記第１の補間手段は、等間隔に配列さ
れた要素画像のうち、欠けている要素画像の要素値を算
出する手段であって、連続する要素画像ａ，ｂ，ｃのうち、欠けている要素画
像ｂを補間する場合には、式（１）を用い、連続する要
素画像ｄ，ｅ，ｆ，ｇのうち、欠けている要素画像ｅ、
ｆを要素画像ｄ、ｇで補間する場合には、式（２）、
（３）を用いることを特徴とする請求項１に記載の立体
画像撮影装置。ｂ_ij＝（a_ij＋c_ij）／２ …（１）ｅ_ij＝（２×ｄ_ij＋ｇ_ij）／３ …（２）ｆ_ij＝（ｄ_ij＋２×ｇ_ij）／３ …（３）添え字のｉ，ｊは、要素画像を構成する画素のうち、
ｉ，ｊ番目の画素を示し、ｉ，ｊは整数である。
【請求項３】前記第２の補間手段は、順番に要素画像
ａ，ｂ，ｃのうち、要素画像ｂを補間する手段であり、要素画像ａのオブジェクトを抽出するステップと、要素画像ａのオブジェクトの回転角を算出するステップ
と、要素画像ｃのオブジェクトの回転角を算出するステップ
と、要素画像ａの回転角と要素画像ｃの回転角から、要素画
像ｂのオブジェクトの回転角を算出するステップと、要素画像ｂのオブジェクトを生成するステップとを有す
ることを特徴とする請求項１に記載の立体画像撮影装
置。
【請求項４】前記要素レンズブロックの接合部におい
て要素画像の欠けた画像を補正する立体画像撮影装置で
あって、前記撮像部により撮影された要素画像を出力手段による
出力タイミングを調整することで位置補正する位置補正
部を、さらに設けたことを特徴とする請求項１から請求
項３のいずれか１項に記載の立体画像撮影装置。