JP2004336239A - 立体映像補正装置およびその方法 - Google Patents
立体映像補正装置およびその方法 Download PDFInfo
- Publication number
- JP2004336239A JP2004336239A JP2003127207A JP2003127207A JP2004336239A JP 2004336239 A JP2004336239 A JP 2004336239A JP 2003127207 A JP2003127207 A JP 2003127207A JP 2003127207 A JP2003127207 A JP 2003127207A JP 2004336239 A JP2004336239 A JP 2004336239A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- display
- image
- information
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Liquid Crystal Display Device Control (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】品質の高い再生像の再生を可能とする立体映像補正装置および方法を提供する。
【解決手段】立体映像補正装置３０は、立体映像システムにおける撮像側レンズ群１１の撮像側位置情報ａと、表示側レンズ群２２の表示側位置情報ｂとを取得して比較し、表示側位置情報ｂに基づいて、撮像部１０で撮像された映像の各要素画像を、表示側レンズ群２２の各表示レンズの位置に適合させるための補正情報を演算し、この補正情報に基づいて、各要素画像の位置を補正する手段を備えた。
【選択図】 図１
【解決手段】立体映像補正装置３０は、立体映像システムにおける撮像側レンズ群１１の撮像側位置情報ａと、表示側レンズ群２２の表示側位置情報ｂとを取得して比較し、表示側位置情報ｂに基づいて、撮像部１０で撮像された映像の各要素画像を、表示側レンズ群２２の各表示レンズの位置に適合させるための補正情報を演算し、この補正情報に基づいて、各要素画像の位置を補正する手段を備えた。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、レンズ群を利用した立体テレビジョン方式の立体映像システムにおいて、レンズ群により撮像された映像の各要素画像の位置を補正するための立体映像補正装置および方法に係り、特に、いわゆる、ＩＰ（Ｉｎｔｅｇｒａｌ Ｐｈｏｔｏｇｒａｐｈｙ）方式による立体映像において、より品質の高い再生像を提供することができる立体映像補正装置およびその方法に関するものである。
【０００２】
【従来の技術】
従来、立体撮像方式として、偏光眼鏡等によらない方式の開発や検討が行われている。偏光眼鏡等によらない３次元立体表示技術として、レンチキュラー板を用いた装置がすでに商品化されており、さらにレンチキュラー方式では不可能とされた、上下左右からでも認識可能な３次元立体画像を得ることのできるＩＰ方式の実用化が進められている。このＩＰ方式には、平面状に配列されたレンズ群あるいはピンホール群を用いた方式が知られている。
【０００３】
図１７および図１８を参照してレンズ群を用いた場合を例にして、ＩＰ方式の構成並びに立体表示の原理について説明する。
図１７は、従来のＩＰ方式における被写体の撮像方法を説明した図、図１８は、従来のＩＰ方式における立体像の観察方法を説明した図である。
図１７に示すように、レンズ群１０２は、被写体１０１の像を結像する作用を有する複数の凸レンズ（以下、各凸レンズを要素レンズという。）からなる。写真フィルム１０３は、撮像面として作用し、レンズ群１０２により結像された被写体１０１の複数の平面像（以下、個々の平面像を要素画像という。）が写真フィルム１０３上に撮像される。このレンズ群１０２は、通常、微小なレンズを縦横数百個以上同一平面状に並べて構成されるものであり、同図では、代表された一列分の要素レンズ１０２１，１０２２…１０２ｎのみを図示している。
【０００４】
また、写真フィルム１０３とレンズ群１０２とは、平行に配置されており、両者の間隔は、レンズの焦点距離近傍となっている。なお、被写体１０１は、レンズ群１０２に対して写真フィルム１０３と反対位置にレンズの焦点距離より充分大きい距離を置いて設置されているものとする。被写体１０１からの出射光は、レンズの作用により、被写体１０１の倒立像を結像し、写真フィルム１０３上に各要素画像１０３１，１０３２…１０３ｎとして撮像される。
各要素画像１０３１，１０３２…１０３ｎは、各要素レンズ１０２１，１０２２…１０２ｎの位置の違いによって、少しずつ異なる画像となっており、これによって、後記する被写体１０１の再生された立体画像における奥行きの情報が与えられることとなる。
【０００５】
このようにして撮像された各要素画像１０３１，１０３２…１０３ｎを有する写真フィルム１０３は、写真現像後に、表示面として作用し、図１８に示すように、各要素画像１０４１，１０４２…１０４ｎが、撮像時と同じ位置に配置されたレンズ群１０２を通じて、観察者１０５の目に立体再生像１０６として映るようになる。このことを図１７を用いて説明すれば、各要素画像１０３１，１０３２…１０３ｎから発した光は、対応する要素レンズ１０２１，１０２２…１０２ｎの作用により、図１７に示される光路の逆方向に進み、レンズ群１０２の正面で立体再生像１０６を形成する（特許文献１）。
【０００６】
なお、実際には、図１８の状態で観察者１０５が立体再生像１０６を見たときには、奥行きが反転して見える虚立体像となる。このため、奥行きの正しい立体像は、各要素画像１０４１，１０４２…１０４ｎの中心を線対称の中心として、別途手段による点対称の位置変換処理等を行なうことにより得られるようになる（例えば、特開平１０−１５０６７５号公報）。
【０００７】
また、図１７において、写真フィルム１０３の代わりとして、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの光電変換を行うことのできる撮像素子を配置して、奥行きの正しい立体像を得るようにしても良い。
このようなＩＰ方式を用いたものにおいて、十分な立体感を得るためには、前記レンズ群１０２および写真フィルム１０３のサイズを大きくする必要がある。しかし、そうすると、各要素画像が形成される位置に配置される撮像素子を、一つの撮像素子で実現することは難しくなる。
【０００８】
そこで、撮像素子を用いる代わりに、レンズ群による各要素画像をテレビジョンカメラ等により直接撮像する手法が考えられる。
図１９は、このテレビジョンカメラを用いた方法を説明するための図であり、前記フィルム１０３の位置に、拡散特性を有する半透明の拡散スクリーン１１０が配置されている。
【０００９】
被写体１０１の各要素画像は、拡散スクリーン１１０上に結像され、それらは、拡散スクリーン１１０の後方に配置されたカメラ１１１のレンズ１１２を通じて撮像され、カメラ１１１の撮像板１１３上に結像される。これにより、要素画像群としての画像信号（テレビジョン信号）が得られる。
このテレビジョン信号は、図示しない表示装置に入力され、観察者は、その表示装置の表示面の全面に設置されたレンズ群（要素レンズ１０２１，１０２２…１０２ｎと同様のもの。）を通じて、その表示装置を見ることにより、立体映像を見ることができる。
なお、前記拡散スクリーン１１０の特性による劣化を避けるために、同等の口径を有する図示しない凸レンズをレンズ群１０２とカメラ１１１との間に配置して、各要素画像を効果的に取得する方法などが、電子情報通信学会技術報告Ｖｏｌ．９５ Ｎｏ．５８１ ＩＥ９５−１４６に記載されている。
【００１０】
【特許文献１】
特開平８−２８９３２９号公報（段落番号［００１２］，図１）
【００１１】
【発明が解決しようとする課題】
前記ＩＰ方式により生成された立体映像において、充分な視域と解像度を確保するためには各要素画像の解像度を十分に確保することが必要になる。そのためには、要素画像数を充分な数量とするとともに、レンズを微小化することが必要になる。すなわち、立体映像の品質を向上させるためには、レンズをより微細に精度良く製作することが必要になってくる。
【００１２】
仮に、レンズ群の加工精度が充分でない場合には、レンズ群における配列精度、すなわち、各レンズ間のピッチにバラツキが生じてしまう。
従来の写真技術に基づくＩＰ方式においては、図１７，図１８に示すように、撮像された各要素画像は、そのまま現像され、撮像時のレンズ群１０２がそのまま用いられて表示が行われる。したがって、前記のようにレンズ群１０２の加工精度が充分ではなく、レンズの配列精度が低くても、前記レンズ群１０２は、撮像時と表示時が同位置で用いられ、撮像時と表示時とにおいて、レンズ群１０２の各レンズと各要素画像とが相互に対応したものとなっているので、レンズの配列精度の低さが生成される画像に影響を及ぼすようなことにはなりにくい。
【００１３】
これに対して、ＩＰ方式を、例えば、電子的な手段で実現する場合、一般的には、撮像におけるレンズ群と、表示におけるレンズ群は別のものを用いる。このため、撮像側と表示側とでは、製造時の製作精度、経年変化、温度や機械的な変形などによって、両者間のレンズ位置に差が生じやすく、各レンズの形成位置誤差により生じる再生像の歪みや解像度の低下を来たしやすかった。
図２０は、このような差が生じることによる不具合を説明するための図であり、同図（ａ）に示すように、撮像時に、図示しない被写体上の１点から発せられる光は、撮像レンズＳＬ１を通じて、撮像面Ｓ１上に形成される要素画像Ｇ１の一部Ｇ１ａとして記録される。
一方、表示時には、図２０（ｂ）に示すように、表示面Ｈ１上に形成される要素画像Ｇ１に対応する表示レンズＨＬ１の位置（実際のレンズ位置と表記）が、撮像レンズＳＬ１の位置（正しいレンズ位置と表記）と比べて前記理由等により変化することがあるため、要素画像Ｇ１の一部Ｇ１ａとして記録された部分は、撮像レンズＳＬ１を通る正しい光線の方向（イ）からずれて、表示レンズＨＬ１を通る実際の光線の方向（ロ）へ再現されることとなる。このため、立体再生像が歪んだり解像度が低下する等の不具合を生じる。
このような光線の誤差は、前記のように、レンズ群の加工精度を充分なものにするとともに整列させる手段の精度を向上させれば、解決されるものではあるが、実際には、コスト高となる点や、様々な撮像装置と表示装置との混在使用を考慮すると、現実的ではない。
【００１４】
本発明は、以上のような問題点に鑑み、撮像側と表示側とにおける各レンズの形成位置誤差により生じる再生像の歪みや解像度の低下を低減させることができ、品質の高い再生像の再生を可能とする立体映像補正装置および方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成するために本発明にかかる立体映像補正装置は、複数の撮像レンズによりなる撮像側レンズ群を用いて被写体の映像を撮像し、複数の表示レンズによりなる表示側レンズ群を通じて立体映像が生成されるようにした立体映像装置において、前記各撮像レンズの撮像側位置情報と、前記各表示レンズの表示側位置情報とに基づいて、前記映像の各要素画像の位置を補正する立体映像補正装置であって、撮像側位置情報取得手段と、表示側位置情報取得手段と、補正情報演算手段と、要素画像補正手段と、を具備した構成とした（請求項１）。
【００１６】
このように構成された立体映像補正装置によれば、撮像側位置情報取得手段により撮像側位置情報が取得されるとともに、表示側位置情報取得手段により表示側位置情報が取得される。補正情報演算手段は、これら取得された撮像側位置情報と表示側位置情報とを比較し、表示側レンズ群の各表示レンズの位置に、映像の各要素画像を適合させるための補正情報を表示側位置情報に基づいて演算する。
そして、要素画像補正手段は、撮像側レンズ群により撮像された映像を入力し、補正情報演算手段により算出された補正情報に基づいて、映像の各要素画像の位置を補正する。
すなわち、撮像側で撮像された映像の各要素画像は、要素画像補正手段による補正によって、表示側レンズ群の各レンズの位置に適合された状態に補正されることとなる。したがって、撮像側レンズ群と表示側レンズ群とにおける各撮像レンズと各表示レンズとの位置誤差によって生じる再現画像の相違を、表示側レンズ群に適合させるかたちで、少なくなるようにすることができ、映像の各要素画像は、光線再現誤差の少ない状態で表示されることとなる。これにより、再生像の歪みや解像度の低下を低減させることができ、高品質の再生像を再生することができるようになる。
【００１７】
また、本発明にかかる立体映像補正方法は、立体映像を構成する各要素画像の位置を、撮像側レンズ群および表示側レンズ群における各レンズの位置情報を用いてそれぞれ補正する立体映像補正方法であって、前記撮像側レンズ群の撮像側位置情報と、前記撮像側レンズ群の位置特定の基準となる撮像側基準位置情報とに基づいて、前記撮像側基準位置情報における各レンズの基準位置に、前記撮像側レンズ群により撮像された映像の各要素画像を適合させるための撮像側補正情報を演算し、この撮像側補正情報に基づいて前記撮像側レンズ群により撮像された前記各要素画像の位置補正を行うとともに、前記表示側レンズ群の表示側位置情報と、前記表示側レンズ群の位置特定の基準となる表示側基準位置情報とに基づいて、前記表示側基準位置情報における各レンズの基準位置に、前記撮像側補正情報により補正された映像の各要素画像を適合させるための表示側補正情報を演算し、この表示側補正情報に基づいて、前記撮像側補正情報により補正された映像の各要素画像の位置補正を行なうこととした（請求項２）。
【００１８】
この立体映像補正方法によれば、撮像側においては、撮像側レンズ群の撮像側位置情報と、撮像側レンズ群の位置特定の基準となる撮像側基準位置情報とに基づいて、撮像側基準位置情報における各レンズの基準位置に、撮像側レンズ群により撮像された映像の各要素画像を適合させるための撮像側補正情報が演算される。
また、表示側においては、撮像側で演算された撮像側補正情報に基づいて、撮像側レンズ群により撮像された各要素画像の位置補正を行うとともに、表示側レンズ群の表示側位置情報と、特定の基準となる表示側基準位置情報とに基づいて、表示側基準位置情報における各レンズの基準位置に、撮像側補正情報により補正された映像の各要素画像を適合させるための表示側補正情報が演算され、この表示側補正情報に基づいて、撮像側補正情報により補正された映像の各要素画像の位置補正が行われる。
すなわち、撮像側と表示側とのそれぞれにおいて、各要素画像は、算出された補正情報によって、特定の基準とされる撮像側基準位置情報と表示側基準位置情報とに適合されるように補正されることとなり、撮像側と表示側とに共通する標準化された状態に補正されることとなる。
【００１９】
さらに本発明にかかる立体映像補正方法は、複数のレンズによりなるレンズ群を用いて撮像された被写体の各要素画像の位置を補正するための立体映像補正方法であって、補正対象とする要素画像とその周辺の要素画像とで対応点探索を行い、この対応点探索により得られた対応点と前記補正対象とする要素画像に対応する撮像レンズの位置情報とにより、撮像時における該レンズと被写体との距離情報を演算し、この演算により算出された距離情報と、前記レンズ位置情報とに基づいて、前記要素画像上の部分ごとの位置補正量を演算するとともに、この位置補正量に基づいて前記要素画像の位置補正を行うこととした（請求項３）。
【００２０】
この立体映像補正方法によれば、補正対象とする要素画像およびその周辺の要素画像との対応点探索により、撮像時におけるレンズと被写体との距離情報の演算が、前記対応点探索により得られた対応点と要素画像に対応するレンズの位置情報とにより行われるので、撮像時における該レンズと被写体との距離がこの演算により算出されることとなる。そして、この演算により算出された距離情報と、前記レンズ位置情報とに基づいて、要素画像上の部分ごとの位置補正量が演算されるとともに、この位置補正量に基づいて、要素画像の位置補正が行われる。これにより、例えば、要素画像上の小部分ごとの位置補正量を求めることにより、要素画像のより細かい位置補正を行なうことができるようになり、より精度の高い位置補正を行なうことができる。
【００２１】
また、本発明にかかる立体映像補正装置は、複数の撮像レンズによりなる撮像側レンズ群を用いて被写体の映像を撮像し、複数のピンホールによりなる表示側ピンホール群を通じて立体映像が生成されるようにした立体映像システムにおいて、前記各撮像レンズの撮像側位置情報に基づいて、表示側で表示される前記映像の各要素画像の位置を補正する立体映像補正装置であって、撮像側位置情報取得手段と、位置制御情報を生成する位置制御情報生成手段と、位置制御情報を出力する出力手段と、を具備した構成とした（請求項４）。
【００２２】
このように構成された立体映像補正装置によれば、表示側ピンホール群の各ピンホールの形成位置を制御するための位置制御情報は、撮像側位置情報取得手段によって取得された撮像側位置情報に合致させて生成されるので、表示側ピンホール群の各ピンホールの形成位置は、撮像側レンズ群の各撮像レンズの形成位置と合致したものとなる。したがって、撮像側の各レンズ位置と表示側の各ピンホール位置とがほぼ同一となり、従来の、撮像側と表示側とで同じレンズ群を用いて映像を撮像し、再生をしたときのように、精度の高い立体画像が得られる。
【００２３】
【発明の実施の形態】
以下、添付図面を参照して、本発明の実施の形態を詳細に説明する。なお、説明において、同一要素には同一の符号を用い、重複する説明は省略する。
【００２４】
（第一の実施の形態）
図１は本発明の第一の実施の形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図であり、図２は立体映像補正装置の構成を示すブロック図、図３は要素画像の補正手順の説明図であり、（ａ）は撮像側位置情報に基づくレンズ位置を示した図、（ｂ）は撮像側位置情報に基づくレンズ位置と表示側位置情報に基づくレンズ位置とを示した図である。
【００２５】
図１に示すように、立体映像システム１は、被写体Ｐを撮像する撮像部１０と、被写体Ｐの映像を立体的に表示するための表示部２０と、前記撮像部１０で撮像された映像の各要素画像の形成位置を補正して表示部２０に送る立体映像補正装置３０を備えている。そして、撮像部１０は、被写体Ｐに向けて配置される撮像側レンズ群１１および被写体Ｐの像である各要素画像ＲＰを撮像する撮像手段１２を備えており、また、表示部２０は、前記要素画像ＲＰを表示する表示手段２１および表示側レンズ群２２とを備えている。さらに、撮像部１０は、撮像側レンズ群１１における各撮像レンズの位置情報となる撮像位置情報（位置情報ａ）を有しているとともに、表示部２０は、表示側レンズ群２２における各表示レンズの位置情報となる表示位置情報（位置情報ｂ）を有している。なお、このような立体映像システム１は、放送用テレビカメラや、一般ユーザが使用するビデオカメラ、デジタルカメラを用いることができる。
【００２６】
ここで、立体映像システム１の各構成要素について説明する。図１に示すように、撮像に用いられる撮像部１０の撮像側レンズ群１１の撮像レンズは、例えば、要素レンズ１１１，１１２…１１ｎから構成されており、図１に示したように被写体Ｐからこれを見ると、正方格子状の配列となっている。また、レンズ配列として、ラインオフセット状の配列を有するものを用いてもよい。各要素レンズ１１は、公知の保持手段により保持されており、例えば、不図示のホルダに各要素レンズ１１を収めることなどにより形成される。また、各要素レンズ１１の隙間を埋める部材等により、要素レンズ１１を一体的に形成することも可能である。なお、本実施の形態において各要素レンズ１１は、両凸形状のレンズを用いているが、片凸形状のレンズ、凹形状を有するレンズ、非球面レンズ等を用いることもできる。また、要素レンズ１１の数や形状は、任意のものを選択することが可能であるが、本実施の形態では、高品質の立体映像が得られるように、微小の凸レンズからなるものを採用している。
【００２７】
なお、本実施の形態においては、図１に示した表示側レンズ群２２も同様の構成（要素レンズ２２１，２２２…２２ｎ）を有しているが、表示手段２１で用いられる表示画面の大きさに合わせて、その要素レンズ２２の大きさや、配列間隔が変更される。さらに、撮像側レンズ群１１や、表示側レンズ群２２を用いる代わりに、複数のピンホールからなるピンホール群を用いることもできる。
【００２８】
撮像部１０の撮像手段１２は、拡散スクリーンと、テレビジョンカメラとを備えており、拡散スクリーン上に結像された各要素画像を、カメラのレンズを通じて撮像し、カメラの撮像板上に結像された各要素画像を画像信号（例えば、テレビジョン信号）として出力するものである（図１９参照）。
【００２９】
図１に示した表示部２０の表示手段２１は、ＬＣＤやＥＬ素子、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等の発光素子を備えたものを用いることができる。観察者１０５は、このようにして表示される複数の要素画像ＲＰを、表示側レンズ群２２を通して観察することで、所定の被写体Ｐを立体像として捉えることが可能になる。
【００３０】
立体映像補正装置３０は、図２に示すように、撮像側位置情報取得手段３１と、表示側位置情報取得手段３２と、補正情報演算手段３３と、要素画像補正手段３４とを備えている。
撮像側位置情報取得手段３１は、撮像部１０（図１参照）より撮像側レンズ群１１の位置情報ａを取得し、補正情報演算手段３３にその位置情報ａを出力する。表示側位置情報取得手段３２は、前記表示部２０（図１参照）の表示側レンズ群２２の位置情報ｂを取得し、補正情報演算手段３３にその位置情報ｂを出力する。
【００３１】
ここで、位置情報ａ，ｂは、各レンズの中心位置データからなるものであり、例えば、図３（ａ）に示すように、撮像側レンズ群１１を構成する面上の適当な基準点Ｄを定め、２次元座標（ｘ，ｙ）で与えることができる。これらの位置情報ａ，ｂは、工場等における製造検査時にデータとして得ることができる他、その後においてもレンズ配列を光学的手段などにより走査することによっても得ることができる。なお、位置情報ａ，ｂは、固定的なものであるので一度測定すれば充分であり、したがって、撮像部１０あるいは表示部２０に対して、後述するレンズ位置を比較する際の、固定化されたデータとして格納しておくことができる。
【００３２】
図２に示すように、補正情報演算手段３３は、撮像側位置情報取得手段３１により取得した位置情報ａと、表示側位置情報取得手段３２により取得した位置情報ｂとを比較し、表示側の位置情報ｂに基づいて、前記撮像手段１２（図１参照）より送られてきた映像の各要素画像ＲＰを、表示側レンズ群２２の各表示レンズの位置（位置情報ｂ）に適合させるための補正情報を演算するようになっている。ここで、この補正情報の演算を模式的に説明すると次のようになる。
図３（ｂ）に示すように、位置情報ａに基づく撮像側レンズ群１１の撮像レンズｎの位置は、前記のように（ｘ，ｙ）で求められる。ここで、撮像レンズｎに対応している表示側レンズ群２２の表示レンズｎの位置は、位置情報ｂにより（ｘ’，ｙ’）で与えられる。これらの撮像レンズｎと表示レンズｎとの間には、（ｘ’−ｘ，ｙ’−ｙ）で与えられるレンズ位置の誤差δが生じている。
【００３３】
このレンズ位置の誤差δにより生じる要素画像の位置ずれを図４を参照してさらに説明すると、次のようになる。
撮像時、撮像レンズｎを通じて撮像された要素画像ｎは、何も補正されない状態では、表示手段２１において、表示面Ｈ１上の所定の位置に表示されることとなるが、この要素画像ｎ上の一点Ｇからの光は、表示レンズｎを通じて表示されることとなるため、このままでは、表示レンズｎを通じる光線の方向（ロ）は、撮像時を基準とした本来あるべき正しい光線の方向（イ）と比べて、異なったものとなってしまう。
そこで、前記レンズ位置の誤差δ分（ｘ’−ｘ，ｙ’−ｙ）だけ、表示面Ｈ１上に表示される要素画像ｎを位置補正すると、要素画像ｎは、誤差δ分だけ移動されて、表示面Ｈ１上に要素画像δｎが形成される。この状態において、前記と同様に、要素画像δｎの一点Ｇから表示レンズｎを通じる光線の方向（ハ）を見てみると、光線の方向（ハ）は、前記光線の方向（ロ）に比べて光線の方向（イ）に近づいた状態となる。
したがって、要素画像δｎは、立体画像としてずれの少ない位置に補正されたことが分かる。
【００３４】
図２に示すように、要素画像補正手段３４は、撮像部１０（図１参照）の撮像手段１２より映像を入力し、補正情報演算手段３３により算出された補正情報に基づいて、映像の各要素画像の位置を補正するようになっている。
すなわち、映像の各要素画像すべてにおいて、前記補正情報に基づく位置補正が行われ、映像の各要素画像すべてが、表示側レンズ群２２の位置情報ｂに照らし合わされて補正される。
このように補正情報に基づいた処理が施されることにより、図４に示すように、再現される光線の方向（ハ）が本来の正しい光線の方向（イ）に近づいた状態となるように改善される。したがって、高品質の再生像を再生することができるようになる。
【００３５】
次に、図１から図３に基づいて、立体映像システム１における立体映像補正装置３０の動作について説明する。まず、図１，図２に示すように、立体映像補正装置３０の撮像側位置情報取得手段３１と表示側位置情報取得手段３２とにより、撮像側レンズ群１１の位置情報ａと表示側レンズ群２２の位置情報ｂとが取得され、これら位置情報ａ，ｂが補正情報演算手段３３に送られる。補正情報演算手段３３は、位置情報ａ，ｂを比較し、位置情報ｂに基づいて、撮像部１０から送られてきた映像の各要素画像の位置を、表示側レンズ群２２の各表示レンズの位置に適合させるための補正情報を演算する（図３（ｂ）参照）。このような補正情報の演算は、映像の各要素画像の全てに対して行われる。
【００３６】
要素画像補正手段３４（図２参照）は、表示部１０（図１参照）の撮像手段１２により撮像された映像を入力し、前記補正情報演算手段３３により算出された各補正情報に基づいて、前記映像の各要素画像の位置を補正する。
これにより、表示部２０の表示手段２１には、表示側レンズ群２２のレンズ位置に適合されて補正された映像が表示されることとなる。
【００３７】
以上説明したように、本実施形態の立体映像補正装置３０によれば、撮像部１０の撮像手段１２により撮像された映像の各要素画像が、表示側レンズ群２２の各レンズの位置情報ｂに適合されるように補正されることとなるので、違和感が少なく、高品質の再生像を再生することができるようになる。
【００３８】
なお、図５に示すように、立体映像システム１に、固設のハードディスクや、デジタルビデオディスクあるいは、ビデオテープ、または、データを電気的、磁気的に記憶する着脱可能なメモリ等、任意の記憶手段４０を採用することにより、この記憶手段４０を介して、撮像部１０から表示部２０へデータを受け渡すことができる。この場合、図５に示すように、立体映像補正装置３０は、表示部２０側に設けられて、表示部２０側において映像の各要素画像が補正されるように構成する。また、立体映像システム１の撮像部１０と表示部２０とが遠隔に配置されたシステムとされる場合には、入力端子や出力端子、伝送路などの通信手段を設けて、撮像部１０から表示部２０へ映像や位置情報ａが送られるように構成しても良い。
【００３９】
（第二の実施の形態）
次に、図６を参照して、本発明における第二の実施の形態に係る立体映像補正装置について説明する。図６は、立体映像補正装置が適用される立体映像システムを示したシステム構成図である。なお、図１ですでに説明した構成と同じ部材は同じ符号を付して説明を省略する。
本実施形態では、立体映像システム２を構成している撮像部１０と表示部２０とのそれぞれに撮像側立体映像補正装置３０ａ，表示側立体映像補正装置３０ｂが配置されて構成されている。さらに、撮像部１０は、撮像側レンズ群１１の位置特定の基準となる撮像側基準位置情報ａ’（基準位置情報ａ’）を記憶手段などに備えており、また、表示部２０は、表示側レンズ群２２の位置特定の基準となる表示側基準位置情報ｂ’（基準位置情報ｂ’）を記憶手段などに備えている。ここで、基準位置情報ａ’および基準位置情報ｂ’は、ともに、位置特定の基準となる情報として、設計値に対し誤差のない理想的なレンズ配列としたときの各レンズの位置情報（標準位置情報）を言う。さらに、撮像部１０は、送信手段１４を備えているとともに、表示部２０は、受信手段２４を備えており、伝送路ＤＲを介して送信手段１４から受信手段２４へデータが送られる。
【００４０】
撮像側立体映像補正装置３０ａは、図２に示した立体映像補正装置３０の構成要素を部分的に変更したものであり、図７に示すように、基準位置情報ａ’を取得するための撮像側基準位置情報取得手段３５を備えている。
撮像側立体映像補正装置３０ａにおける補正情報演算手段３３は、取得された基準位置情報ａ’と、撮像側位置情報取得手段３１により取得された位置情報ａとに基づいて、撮像側レンズ群１１（図６参照）により撮像された映像の各要素画像の位置を、基準位置情報ａ’における各レンズの基準位置に適合させるための補正情報を演算する。
要素画像補正手段３４は、撮像部１０（図６参照）の撮像手段１２より映像を入力し、補正情報演算手段３３により算出された補正情報に基づいて、映像の各要素画像の位置を補正するようになっている点は、第一の実施形態のものと同様ではあるが、映像の各要素画像が基準位置（標準位置）に適合されるように補正される点が異なる。
【００４１】
撮像側立体映像補正装置３０ａにより補正された映像は、図６に示すように、撮像部１０の送信手段１４により、伝送路ＤＲを介して表示部２０の受信手段２４に送られる。
【００４２】
表示側立体映像補正装置３０ｂは、撮像側立体映像補正装置３０ａと同様に、図２に示した立体映像補正装置３０の構成要素を部分的に変更したものであり、図８に示すように、基準位置情報ｂ’を取得するための表示側基準位置情報取得手段３６を備えている。
表示側立体映像補正装置３０ｂにおける補正情報演算手段３３は、取得された基準位置情報ｂ’と、表示側位置情報取得手段３１により取得された位置情報ｂとに基づいて、受信手段２４（図６参照）により受信された撮像部１０からの映像の各要素画像の位置を、基準位置情報ｂ’における各レンズの基準位置に適合させるための補正情報を演算するようになっている。
【００４３】
すなわち、このような立体映像システム２では、撮像部１０と表示部２０とのそれぞれにおいて、算出された補正情報に基づき、各要素画像が、基準位置情報ａ’，ｂ’に適合されるように補正されることとなり、これにより、撮像部１０側と表示部２０側とでそれぞれ標準化された状態に補正されることとなる。したがって、撮像部１０から表示部２０へ送られる映像データは、撮像側で補正されて標準化されたものとなる。これにより、表示部２０側においては、常に標準化された映像データが入力されるようになり、これに基づいて、その要素画像の位置の補正量は、小さいものとして想定すれば足りるようになる。したがって、再生像の歪みや解像度の低下を低減させることができ、高品質の立体映像を得ることができるようになる。
【００４４】
さらに、撮像部１０から表示部２０へは、標準化された映像データが送られることとなるので、撮像側レンズ群１１の位置情報ａを表示部２０側へ送る必要がなくなる。したがって、データ伝送の簡易化を図ることができる。
【００４５】
また、このようにデータ伝送の簡易化を図れるので、例えば、放送サービスのような多くの撮像装置（撮像部１０）と多くの受信装置（表示部２０）とが用いられるようなシステムにおける使用態様に好適である。
【００４６】
なお、撮像側レンズ群１１や表示側レンズ群２２を用いる代わりに、これらのいずれか一方あるいは両方を複数のピンホールからなるピンホール群としても良い。
【００４７】
（第三の実施の形態）
次に、図９を参照して、本発明における第三の実施の形態に係る立体映像補正装置について説明する。図９は、立体映像補正装置が適用される立体映像システムを示したシステム構成図である。
本実施の形態の立体映像システム３では、前記第一，第二の実施の形態における表示側レンズ群２２（図１，図６参照）の代わりに、複数のピンホールによりなるピンホール群２５が用いられており、このピンホール群２５を通じて立体映像が生成されるように構成されている。本実施形態では、ピンホール群２５として、図１０（ａ）（ｂ）に示すように、各ピンホール２５ａの位置が電子的に変更可能なマトリクス構造を有する液晶装置により構成されている。この液晶装置２５は、立体映像補正装置５０からの出力信号により作動する制御装置２６により駆動制御されるようになっている。
【００４８】
立体映像補正装置５０は、図１１に示すように、前記第一，第二の実施の形態で説明したものと同様の撮像側位置情報取得手段３１を含み、位置制御情報生成手段５１と、出力手段５２とを備えている。
位置制御情報生成手段５１は、取得された位置情報ａを入力し、この位置情報ａに合致させて、液晶装置２５の各ピンホール２５ａ（図１０参照）の形成位置を制御するための位置制御情報ｃを生成するようになっている。例えば、図には示さないが、撮像側レンズ群１１の位置情報ａとして、レンズ配列の垂直ｊ番目、水平ｉ番目におけるレンズ位置が、特定の基準点からの距離（ｘ，ｙ）で与えられるとすると、位置制御情報生成手段５１は、これに対する液晶装置２５の垂直ｊ番目、水平ｉ番目におけるピンホール２５ａの形成位置を（ｘ，ｙ）に制御するための位置制御情報ｃを生成するようになっている。このような位置制御情報ｃは、撮像側レンズ群１１の全てのレンズに対応されて生成される。
出力手段５２は、この位置制御情報生成手段５１により生成された位置制御情報ｃを制御装置２６（図９参照）に出力する。
【００４９】
制御装置２６は、出力手段５２からの位置制御情報ｃを入力し、位置制御情報ｃに基づいて液晶装置２５の各ピンホール２５ａ（図１０参照）の形成位置を駆動制御する。
液晶装置２５としては、例えば、通常のＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｔｒａｎｓｉｓｔｏｒ）液晶パネルが用いられるており、指定のピンホール２５ａの位置の１画素のみを白（透過）とし、その他を黒（遮光）とする制御により、所望の位置にピンホール２５ａが形成されるようになっている。なお、各ピンホール２５ａの位置精度は、液晶パネルの画素ピッチに依存する。
【００５０】
このような立体映像補正装置５０を用いた立体映像システム３によれば、表示部２０の液晶装置２５の各ピンホール２５ａを制御するための位置制御情報ｃは、取得された位置情報ａに合致させて生成されるので、各ピンホール２５ａの形成位置は、撮像側レンズ群１１の各撮像レンズの形成位置に合致したものとなる。すなわち、本実施形態では、各要素画像の位置が補正されるのではなく、各ピンホール２５ａの形成位置そのものが位置補正されるようになっている。
したがって、撮像側における各撮像レンズの形成位置と表示側における各ピンホール２５ａの形成位置とがほぼ同一となり、精度の高い立体画像が得られる。したがって、映像の各要素画像の位置誤差が生じにくくなり、レンズ位置の同一性に優れた高品質の再生像を再生することができるようになる。
【００５１】
なお、撮像側レンズ群１１を用いる代わりに、これを複数のピンホールからなるピンホール群で構成しても良い。また、撮像部１０から表示部２０へ図示しない伝送路や記録手段等を介して映像データや位置情報ａが送られるように構成しても良い。
【００５２】
（第四の実施の形態）
次に、図１２を参照して、本発明における第四の実施の形態に係る立体映像補正装置について説明する。図１２は、立体映像補正装置が適用される立体映像システムを示したシステム構成図、図１３は、立体映像補正装置（対応点探索）を示すブロック図である。
本実施形態の立体映像システム４では、前記第一の実施の形態で説明した立体映像システム１（図１参照）において、立体映像補正装置（対応点探索）６０を付加した構成としたものである。すなわち、図１２に示すように、立体映像補正装置３０により補正された映像に対して、さらに、立体映像補正装置６０による補正を加えるようにして、より精度の高い再生像を再生することができるようにしたものである。
【００５３】
図１３に示すように、立体映像補正装置６０は、前記第一の実施の形態で説明したものと同様の撮像側位置情報取得手段３１を含み、対応点探索手段６１と、距離情報演算手段６２と、位置補正量演算手段６３と位置補正手段６４とを備えている。
対応点探索手段６１は、立体映像補正装置３０（図１２参照）より補正された映像を入力し、補正対象とする要素画像とその周辺の要素画像とを、取得された位置情報ａに基づいて、撮像時における被写体と撮像レンズとの距離を求めるのに必要となる対応点探索を行う。
【００５４】
ここで、対応点探索手段６１により行われる対応点探索を、図１４を用いて模式的に説明する。同図において、符号ｂ０，ｂ１…で示される像は、撮像時のレンズ位置に対応して結像される要素画像である。また、符号δｎで示される要素画像は、要素画像ｂ０を誤差δ分（図３（ｂ）参照）だけ位置補正したものである。
図１４において、各要素画像に対応している各レンズは、その要素画像の誤差δが、レンズピッチの１／２を超えない程度に十分に調整されているものとする。
まず、要素画像δｎに隣接される要素画像ｂ０，ｂ１…のうち、要素画像δｎに最も近い要素画像と、２番目に近い要素画像を選択する。同図より明らかであるように、最も近いものは、要素画像ｂ０であり、２番目に近いものは要素画像ｂ５である。
【００５５】
次に、これらの要素画像ｂ０，ｂ５において、対応点探索を行い対応点を求める。ここで、対応点探索手法は、通常用いられるブロックマッチング法、すなわち、２つの画像において一方の画像の小ブロック領域を切り出し、他方の画像内の位置を変えながら対応の度合いを計算し対応点を求める手法が採られる。算出された対応点の情報は、距離情報演算手段６２（図１３参照）に出力される。
【００５６】
距離情報演算手段６２は、対応点探索手段６１により得られた対応点の情報と、補正対象とする要素画像ｂ０に対応するレンズの位置情報ａとにより、撮像時における該レンズと被写体との距離情報（被写体距離ｄ）を演算する。
ここで、距離情報演算手段６２により行われる距離情報の演算を、図１５を用いて模式的に説明する。図１５に示すように、前記要素画像ｂ０，ｂ５間で対応点Ｂ０，Ｂ５が与えられたとすると、これらの対応点Ｂ０，Ｂ５に対し、撮像時のレンズ位置Ｌ０，Ｌ５は、位置情報ａにより既知であるから、対応点Ｂ０，Ｂ５からレンズ位置Ｌ０，Ｌ５を通る２つの光線の交点として、被写体位置Ｉが特定される。
これにより、撮像時における被写体と撮像レンズとの距離情報（被写体距離ｄ）を求めることができる。算出された被写体距離ｄの情報は、位置補正量演算手段６３（図１３参照）に出力される。
【００５７】
位置補正量演算手段６３は、距離情報演算手段６２により算出された被写体距離ｄ（図１５参照）に基づいて、要素画像上の部分ごとの位置補正量を演算する。ここで、撮像レンズと表示レンズとの誤差δに基づく要素画像の位置補正量＝δ、表示部２０の表示手段２１における表示面Ｈ１から表示レンズまでの実際の距離＝ｇ（図１６参照）とすると、位置補正量演算手段６３により演算される位置補正量δ１は、次式（１）の演算を実行することにより行われる。
δ１＝δ・ｇ／ｄ 式（１）
【００５８】
この位置補正量δ１を加えることによる要素画像の位置の補正について、図１６を参照して模式的に説明すると、次のようになる。
撮像レンズと表示レンズとの誤差δに基づく要素画像の位置の補正により、要素画像ｎ（補正前）は、誤差δ分に基づく位置補正量δだけ移動されて、表示面Ｈ１上に要素画像δｎとして形成される（図４参照：立体映像補正装置３０による補正）。
この状態において、要素画像δｎの一点Ｇから表示レンズｎを通じる光線の方向（ハ）を見てみると、光線の方向（ハ）は、前記光線の方向（ロ）に比べて光線の方向（イ）に近づいた状態となる（ここまでは、前記第一の実施の形態による補正）。
この状態からさらに、位置補正量δ１分だけ、表示面Ｈ１上に表示される要素画像ｎの位置を補正すると、表示面Ｈ１上に要素画像δｎ１として形成される。この状態で、要素画像δｎ１の一点Ｇから表示レンズｎを通じる光線の方向（ニ）を見てみると、光線の方向（ニ）は、撮像レンズｎから再生像距離ｄ（被写体距離ｄ）を隔てたポイントＤＩで、撮像時の正しい光線の方向（イ）に交差する。すなわち、撮像時の被写体の置かれている位置とほぼ同一位置（再生像上の点ＤＩ）において、再生像を再生することが可能となる。
したがって、要素画像δｎ１は、立体画像としてずれのほとんどない再生画像が得られる位置に補正されたことが分かる。
なお、対応点探索の精度を上げるために、２つの要素画像ではなく、３つ以上の要素画像を用いることができる。
【００５９】
また、図１４において、任意の要素画像の組において対応点を求めることができるが、要素画像δｎを生成するための小部分領域が含まれると予想される、ｂ０−ｂ２，ｂ０−ｂ４，ｂ０−ｂ５，ｂ０−ｂ７、または、ｂ２−ｂ７，ｂ４−ｂ５が要素画像の組として適している。なお、複数の組から得られる複数の対応点データを統合して、精度の良い推定値を得るための方法が、例えば、「対応点の確度分布を考慮した多眼画像からの奥行き推定」、情報学研報、Ｖｏ ｌ． ２０００，Ｎｏ ．７，ＣＶＩＭ１２０−２，ｐｐ．９−１６（２０００）において、開示されている。
これによると、例えば、前記ｂ０−ｂ２，ｂ０−ｂ４，ｂ０−ｂ５，ｂ０−ｂ７の各組で得られた対応点から要素画像δｎを求め、これを図には示さないが任意の符号、Ａ１，Ａ２，Ａ３，Ａ４として、相関値を確度として参照し、要素画像δｎ内の各部分において前記Ａ１，Ａ２，Ａ３，Ａ４のうち最も確度の高い値を採用することにより、要素画像δｎの全体を構成するようにすることもできる。
【００６０】
本実施の形態の立体映像補正方法によれば、補正対象とする要素画像（例えば、符号ｂ０で示したもの）およびその周辺の要素画像（ｂ１，ｂ２…）による対応点探索で得られた対応点と要素画像（ｂ）に対応するレンズの位置情報ａとにより、撮像時における該レンズと被写体との距離（被写体距離ｄ）が算出され、この距離情報と、レンズの位置情報ａとに基づいて、要素画像（ｂ０）上の部分ごとの位置補正量が演算され、この位置補正量に基づいて、要素画像（ｂ０）の位置補正が行われるようになっているので、要素画像（ｂ０）のより細かい位置の補正を行なうことができるようになり、より精度の高い高品質の再生像を再生することができるようになる。
【００６１】
なお、撮像側レンズ群１１や表示側レンズ群２２を用いる代わりに、これらのいずれか一方あるいは両方を複数のピンホールからなるピンホール群としても良い。また、立体映像補正装置３０，６０は、表示部２０側に配置されるようにシステムを構成して、撮像部１０から表示部２０へ映像データや位置情報ａが図示しない伝送路や記録手段を介して送られるように構成しても良い。また、図１３において、対応点を求めるために入力される映像は、必ずしも補正された映像でなくても良く、補正前の映像を用いても良い。
【００６２】
【発明の効果】
以上説明したように、本発明に係る立体映像補正装置および方法では、以下に示す優れた効果を奏する。
請求項１に記載の発明によれば、撮像側と表示側とのレンズの位置誤差によって生じる再現画像の相違を、表示側レンズ群の各レンズ位置に各要素画像の位置を適合させることで少なくすることができ、歪みや解像度の低下を来し難い高品質の再生像を再生することができるようになる。
【００６３】
請求項２に記載の発明によれば、撮像側と表示側とのそれぞれにおいて、レンズの位置誤差によって生じる再現画像の相違を解消すべく、標準化された位置情報に適合されるように各要素画像の位置が補正されるので、撮像側の位置情報を表示側に送る必要がなく、歪みや解像度の低下を来し難い高品質の再生像を再生することができるようになる。
【００６４】
請求項３に記載の発明によれば、映像の要素画像上の小部分ごとの位置補正量を求めることにより、要素画像のより細かい位置の補正を行うことができ、より高品質の再生像を再生することができるようになる。
【００６５】
請求項４に記載の発明によれば、撮像側レンズ群のレンズ位置に合致するように、表示側ピンホール群の各ピンホールの形成位置そのものを補正することができるので、撮像側と表示側とでレンズ位置の誤差が生じ難くなり、同一性に優れた、より高品質の再生像を再生することができるようになる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図である。
【図２】立体映像補正装置の構成を示すブロック図である。
【図３】要素画像の補正手順の説明図であり、（ａ）は撮像側位置情報に基づくレンズ位置を示した図、（ｂ）は撮像側位置情報に基づくレンズ位置と表示側位置情報に基づくレンズ位置とを示した図である。
【図４】補正情報に基づいた処理を説明するための模式図である。
【図５】その他のシステム構成図である。
【図６】本発明の第二の実施の形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図である。
【図７】撮像側立体映像補正装置の構成を示すブロック図である。
【図８】表示側立体映像補正装置の構成を示すブロック図である。
【図９】本発明の第三の実施の形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図である。
【図１０】表示側ピンホール群としての液晶装置を示す図であり、（ａ）は、要部の斜視図、（ｂ）は、図１０（ａ）の部分拡大正面図である。
【図１１】立体映像補正装置の構成を示すブロック図である。
【図１２】本発明の第四の実施形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図である。
【図１３】立体映像補正装置の構成を示すブロック図である。
【図１４】対応点探索を模式的に表した図。
【図１５】補正情報に基づいた処理を説明するための模式図である。
【図１６】補正情報に基づいた処理を説明するための模式図である。
【図１７】従来のＩＰ方式を説明する図である。
【図１８】従来のＩＰ方式による立体写真の再生法を説明する図である。
【図１９】従来のＩＰ方式において拡散スクリーンを使用した例を説明する図である。
【図２０】レンズ位置の誤差による不具合を説明するための図である。
【符号の説明】
１，２，３，４ 立体映像システム
１０ 撮像部
１１ 撮像側レンズ群
１２ 撮像手段
１４ 送信手段
２０ 表示部
２１ 表示手段
２２ 表示側レンズ群
２４ 受信手段
２５ 液晶装置（ピンホール群）
２５ａ ピンホール
３０ 立体映像補正装置
３０ａ 撮像側立体映像補正装置
３０ｂ 表示側立体映像補正装置
３１ 撮像側位置情報取得手段
３２ 表示側位置情報取得手段
３３ 補正情報演算手段
３４ 要素画像補正手段
３５ 撮像側基準位置情報取得手段
３６ 表示側基準位置情報取得手段
４０ 記憶手段
５０ 立体映像補正装置
５１ 位置制御情報生成手段
５２ 出力手段
６０ 立体映像補正装置（対応点探索）
６１ 対応点探索手段
６２ 距離情報演算手段
６３ 位置補正量演算手段
６４ 位置補正手段
ａ，ｂ 位置情報
ａ’，ｂ’ 基準位置情報
ｃ 位置制御情報
δ 誤差
【発明の属する技術分野】
本発明は、レンズ群を利用した立体テレビジョン方式の立体映像システムにおいて、レンズ群により撮像された映像の各要素画像の位置を補正するための立体映像補正装置および方法に係り、特に、いわゆる、ＩＰ（Ｉｎｔｅｇｒａｌ Ｐｈｏｔｏｇｒａｐｈｙ）方式による立体映像において、より品質の高い再生像を提供することができる立体映像補正装置およびその方法に関するものである。
【０００２】
【従来の技術】
従来、立体撮像方式として、偏光眼鏡等によらない方式の開発や検討が行われている。偏光眼鏡等によらない３次元立体表示技術として、レンチキュラー板を用いた装置がすでに商品化されており、さらにレンチキュラー方式では不可能とされた、上下左右からでも認識可能な３次元立体画像を得ることのできるＩＰ方式の実用化が進められている。このＩＰ方式には、平面状に配列されたレンズ群あるいはピンホール群を用いた方式が知られている。
【０００３】
図１７および図１８を参照してレンズ群を用いた場合を例にして、ＩＰ方式の構成並びに立体表示の原理について説明する。
図１７は、従来のＩＰ方式における被写体の撮像方法を説明した図、図１８は、従来のＩＰ方式における立体像の観察方法を説明した図である。
図１７に示すように、レンズ群１０２は、被写体１０１の像を結像する作用を有する複数の凸レンズ（以下、各凸レンズを要素レンズという。）からなる。写真フィルム１０３は、撮像面として作用し、レンズ群１０２により結像された被写体１０１の複数の平面像（以下、個々の平面像を要素画像という。）が写真フィルム１０３上に撮像される。このレンズ群１０２は、通常、微小なレンズを縦横数百個以上同一平面状に並べて構成されるものであり、同図では、代表された一列分の要素レンズ１０２１，１０２２…１０２ｎのみを図示している。
【０００４】
また、写真フィルム１０３とレンズ群１０２とは、平行に配置されており、両者の間隔は、レンズの焦点距離近傍となっている。なお、被写体１０１は、レンズ群１０２に対して写真フィルム１０３と反対位置にレンズの焦点距離より充分大きい距離を置いて設置されているものとする。被写体１０１からの出射光は、レンズの作用により、被写体１０１の倒立像を結像し、写真フィルム１０３上に各要素画像１０３１，１０３２…１０３ｎとして撮像される。
各要素画像１０３１，１０３２…１０３ｎは、各要素レンズ１０２１，１０２２…１０２ｎの位置の違いによって、少しずつ異なる画像となっており、これによって、後記する被写体１０１の再生された立体画像における奥行きの情報が与えられることとなる。
【０００５】
このようにして撮像された各要素画像１０３１，１０３２…１０３ｎを有する写真フィルム１０３は、写真現像後に、表示面として作用し、図１８に示すように、各要素画像１０４１，１０４２…１０４ｎが、撮像時と同じ位置に配置されたレンズ群１０２を通じて、観察者１０５の目に立体再生像１０６として映るようになる。このことを図１７を用いて説明すれば、各要素画像１０３１，１０３２…１０３ｎから発した光は、対応する要素レンズ１０２１，１０２２…１０２ｎの作用により、図１７に示される光路の逆方向に進み、レンズ群１０２の正面で立体再生像１０６を形成する（特許文献１）。
【０００６】
なお、実際には、図１８の状態で観察者１０５が立体再生像１０６を見たときには、奥行きが反転して見える虚立体像となる。このため、奥行きの正しい立体像は、各要素画像１０４１，１０４２…１０４ｎの中心を線対称の中心として、別途手段による点対称の位置変換処理等を行なうことにより得られるようになる（例えば、特開平１０−１５０６７５号公報）。
【０００７】
また、図１７において、写真フィルム１０３の代わりとして、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの光電変換を行うことのできる撮像素子を配置して、奥行きの正しい立体像を得るようにしても良い。
このようなＩＰ方式を用いたものにおいて、十分な立体感を得るためには、前記レンズ群１０２および写真フィルム１０３のサイズを大きくする必要がある。しかし、そうすると、各要素画像が形成される位置に配置される撮像素子を、一つの撮像素子で実現することは難しくなる。
【０００８】
そこで、撮像素子を用いる代わりに、レンズ群による各要素画像をテレビジョンカメラ等により直接撮像する手法が考えられる。
図１９は、このテレビジョンカメラを用いた方法を説明するための図であり、前記フィルム１０３の位置に、拡散特性を有する半透明の拡散スクリーン１１０が配置されている。
【０００９】
被写体１０１の各要素画像は、拡散スクリーン１１０上に結像され、それらは、拡散スクリーン１１０の後方に配置されたカメラ１１１のレンズ１１２を通じて撮像され、カメラ１１１の撮像板１１３上に結像される。これにより、要素画像群としての画像信号（テレビジョン信号）が得られる。
このテレビジョン信号は、図示しない表示装置に入力され、観察者は、その表示装置の表示面の全面に設置されたレンズ群（要素レンズ１０２１，１０２２…１０２ｎと同様のもの。）を通じて、その表示装置を見ることにより、立体映像を見ることができる。
なお、前記拡散スクリーン１１０の特性による劣化を避けるために、同等の口径を有する図示しない凸レンズをレンズ群１０２とカメラ１１１との間に配置して、各要素画像を効果的に取得する方法などが、電子情報通信学会技術報告Ｖｏｌ．９５ Ｎｏ．５８１ ＩＥ９５−１４６に記載されている。
【００１０】
【特許文献１】
特開平８−２８９３２９号公報（段落番号［００１２］，図１）
【００１１】
【発明が解決しようとする課題】
前記ＩＰ方式により生成された立体映像において、充分な視域と解像度を確保するためには各要素画像の解像度を十分に確保することが必要になる。そのためには、要素画像数を充分な数量とするとともに、レンズを微小化することが必要になる。すなわち、立体映像の品質を向上させるためには、レンズをより微細に精度良く製作することが必要になってくる。
【００１２】
仮に、レンズ群の加工精度が充分でない場合には、レンズ群における配列精度、すなわち、各レンズ間のピッチにバラツキが生じてしまう。
従来の写真技術に基づくＩＰ方式においては、図１７，図１８に示すように、撮像された各要素画像は、そのまま現像され、撮像時のレンズ群１０２がそのまま用いられて表示が行われる。したがって、前記のようにレンズ群１０２の加工精度が充分ではなく、レンズの配列精度が低くても、前記レンズ群１０２は、撮像時と表示時が同位置で用いられ、撮像時と表示時とにおいて、レンズ群１０２の各レンズと各要素画像とが相互に対応したものとなっているので、レンズの配列精度の低さが生成される画像に影響を及ぼすようなことにはなりにくい。
【００１３】
これに対して、ＩＰ方式を、例えば、電子的な手段で実現する場合、一般的には、撮像におけるレンズ群と、表示におけるレンズ群は別のものを用いる。このため、撮像側と表示側とでは、製造時の製作精度、経年変化、温度や機械的な変形などによって、両者間のレンズ位置に差が生じやすく、各レンズの形成位置誤差により生じる再生像の歪みや解像度の低下を来たしやすかった。
図２０は、このような差が生じることによる不具合を説明するための図であり、同図（ａ）に示すように、撮像時に、図示しない被写体上の１点から発せられる光は、撮像レンズＳＬ１を通じて、撮像面Ｓ１上に形成される要素画像Ｇ１の一部Ｇ１ａとして記録される。
一方、表示時には、図２０（ｂ）に示すように、表示面Ｈ１上に形成される要素画像Ｇ１に対応する表示レンズＨＬ１の位置（実際のレンズ位置と表記）が、撮像レンズＳＬ１の位置（正しいレンズ位置と表記）と比べて前記理由等により変化することがあるため、要素画像Ｇ１の一部Ｇ１ａとして記録された部分は、撮像レンズＳＬ１を通る正しい光線の方向（イ）からずれて、表示レンズＨＬ１を通る実際の光線の方向（ロ）へ再現されることとなる。このため、立体再生像が歪んだり解像度が低下する等の不具合を生じる。
このような光線の誤差は、前記のように、レンズ群の加工精度を充分なものにするとともに整列させる手段の精度を向上させれば、解決されるものではあるが、実際には、コスト高となる点や、様々な撮像装置と表示装置との混在使用を考慮すると、現実的ではない。
【００１４】
本発明は、以上のような問題点に鑑み、撮像側と表示側とにおける各レンズの形成位置誤差により生じる再生像の歪みや解像度の低下を低減させることができ、品質の高い再生像の再生を可能とする立体映像補正装置および方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成するために本発明にかかる立体映像補正装置は、複数の撮像レンズによりなる撮像側レンズ群を用いて被写体の映像を撮像し、複数の表示レンズによりなる表示側レンズ群を通じて立体映像が生成されるようにした立体映像装置において、前記各撮像レンズの撮像側位置情報と、前記各表示レンズの表示側位置情報とに基づいて、前記映像の各要素画像の位置を補正する立体映像補正装置であって、撮像側位置情報取得手段と、表示側位置情報取得手段と、補正情報演算手段と、要素画像補正手段と、を具備した構成とした（請求項１）。
【００１６】
このように構成された立体映像補正装置によれば、撮像側位置情報取得手段により撮像側位置情報が取得されるとともに、表示側位置情報取得手段により表示側位置情報が取得される。補正情報演算手段は、これら取得された撮像側位置情報と表示側位置情報とを比較し、表示側レンズ群の各表示レンズの位置に、映像の各要素画像を適合させるための補正情報を表示側位置情報に基づいて演算する。
そして、要素画像補正手段は、撮像側レンズ群により撮像された映像を入力し、補正情報演算手段により算出された補正情報に基づいて、映像の各要素画像の位置を補正する。
すなわち、撮像側で撮像された映像の各要素画像は、要素画像補正手段による補正によって、表示側レンズ群の各レンズの位置に適合された状態に補正されることとなる。したがって、撮像側レンズ群と表示側レンズ群とにおける各撮像レンズと各表示レンズとの位置誤差によって生じる再現画像の相違を、表示側レンズ群に適合させるかたちで、少なくなるようにすることができ、映像の各要素画像は、光線再現誤差の少ない状態で表示されることとなる。これにより、再生像の歪みや解像度の低下を低減させることができ、高品質の再生像を再生することができるようになる。
【００１７】
また、本発明にかかる立体映像補正方法は、立体映像を構成する各要素画像の位置を、撮像側レンズ群および表示側レンズ群における各レンズの位置情報を用いてそれぞれ補正する立体映像補正方法であって、前記撮像側レンズ群の撮像側位置情報と、前記撮像側レンズ群の位置特定の基準となる撮像側基準位置情報とに基づいて、前記撮像側基準位置情報における各レンズの基準位置に、前記撮像側レンズ群により撮像された映像の各要素画像を適合させるための撮像側補正情報を演算し、この撮像側補正情報に基づいて前記撮像側レンズ群により撮像された前記各要素画像の位置補正を行うとともに、前記表示側レンズ群の表示側位置情報と、前記表示側レンズ群の位置特定の基準となる表示側基準位置情報とに基づいて、前記表示側基準位置情報における各レンズの基準位置に、前記撮像側補正情報により補正された映像の各要素画像を適合させるための表示側補正情報を演算し、この表示側補正情報に基づいて、前記撮像側補正情報により補正された映像の各要素画像の位置補正を行なうこととした（請求項２）。
【００１８】
この立体映像補正方法によれば、撮像側においては、撮像側レンズ群の撮像側位置情報と、撮像側レンズ群の位置特定の基準となる撮像側基準位置情報とに基づいて、撮像側基準位置情報における各レンズの基準位置に、撮像側レンズ群により撮像された映像の各要素画像を適合させるための撮像側補正情報が演算される。
また、表示側においては、撮像側で演算された撮像側補正情報に基づいて、撮像側レンズ群により撮像された各要素画像の位置補正を行うとともに、表示側レンズ群の表示側位置情報と、特定の基準となる表示側基準位置情報とに基づいて、表示側基準位置情報における各レンズの基準位置に、撮像側補正情報により補正された映像の各要素画像を適合させるための表示側補正情報が演算され、この表示側補正情報に基づいて、撮像側補正情報により補正された映像の各要素画像の位置補正が行われる。
すなわち、撮像側と表示側とのそれぞれにおいて、各要素画像は、算出された補正情報によって、特定の基準とされる撮像側基準位置情報と表示側基準位置情報とに適合されるように補正されることとなり、撮像側と表示側とに共通する標準化された状態に補正されることとなる。
【００１９】
さらに本発明にかかる立体映像補正方法は、複数のレンズによりなるレンズ群を用いて撮像された被写体の各要素画像の位置を補正するための立体映像補正方法であって、補正対象とする要素画像とその周辺の要素画像とで対応点探索を行い、この対応点探索により得られた対応点と前記補正対象とする要素画像に対応する撮像レンズの位置情報とにより、撮像時における該レンズと被写体との距離情報を演算し、この演算により算出された距離情報と、前記レンズ位置情報とに基づいて、前記要素画像上の部分ごとの位置補正量を演算するとともに、この位置補正量に基づいて前記要素画像の位置補正を行うこととした（請求項３）。
【００２０】
この立体映像補正方法によれば、補正対象とする要素画像およびその周辺の要素画像との対応点探索により、撮像時におけるレンズと被写体との距離情報の演算が、前記対応点探索により得られた対応点と要素画像に対応するレンズの位置情報とにより行われるので、撮像時における該レンズと被写体との距離がこの演算により算出されることとなる。そして、この演算により算出された距離情報と、前記レンズ位置情報とに基づいて、要素画像上の部分ごとの位置補正量が演算されるとともに、この位置補正量に基づいて、要素画像の位置補正が行われる。これにより、例えば、要素画像上の小部分ごとの位置補正量を求めることにより、要素画像のより細かい位置補正を行なうことができるようになり、より精度の高い位置補正を行なうことができる。
【００２１】
また、本発明にかかる立体映像補正装置は、複数の撮像レンズによりなる撮像側レンズ群を用いて被写体の映像を撮像し、複数のピンホールによりなる表示側ピンホール群を通じて立体映像が生成されるようにした立体映像システムにおいて、前記各撮像レンズの撮像側位置情報に基づいて、表示側で表示される前記映像の各要素画像の位置を補正する立体映像補正装置であって、撮像側位置情報取得手段と、位置制御情報を生成する位置制御情報生成手段と、位置制御情報を出力する出力手段と、を具備した構成とした（請求項４）。
【００２２】
このように構成された立体映像補正装置によれば、表示側ピンホール群の各ピンホールの形成位置を制御するための位置制御情報は、撮像側位置情報取得手段によって取得された撮像側位置情報に合致させて生成されるので、表示側ピンホール群の各ピンホールの形成位置は、撮像側レンズ群の各撮像レンズの形成位置と合致したものとなる。したがって、撮像側の各レンズ位置と表示側の各ピンホール位置とがほぼ同一となり、従来の、撮像側と表示側とで同じレンズ群を用いて映像を撮像し、再生をしたときのように、精度の高い立体画像が得られる。
【００２３】
【発明の実施の形態】
以下、添付図面を参照して、本発明の実施の形態を詳細に説明する。なお、説明において、同一要素には同一の符号を用い、重複する説明は省略する。
【００２４】
（第一の実施の形態）
図１は本発明の第一の実施の形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図であり、図２は立体映像補正装置の構成を示すブロック図、図３は要素画像の補正手順の説明図であり、（ａ）は撮像側位置情報に基づくレンズ位置を示した図、（ｂ）は撮像側位置情報に基づくレンズ位置と表示側位置情報に基づくレンズ位置とを示した図である。
【００２５】
図１に示すように、立体映像システム１は、被写体Ｐを撮像する撮像部１０と、被写体Ｐの映像を立体的に表示するための表示部２０と、前記撮像部１０で撮像された映像の各要素画像の形成位置を補正して表示部２０に送る立体映像補正装置３０を備えている。そして、撮像部１０は、被写体Ｐに向けて配置される撮像側レンズ群１１および被写体Ｐの像である各要素画像ＲＰを撮像する撮像手段１２を備えており、また、表示部２０は、前記要素画像ＲＰを表示する表示手段２１および表示側レンズ群２２とを備えている。さらに、撮像部１０は、撮像側レンズ群１１における各撮像レンズの位置情報となる撮像位置情報（位置情報ａ）を有しているとともに、表示部２０は、表示側レンズ群２２における各表示レンズの位置情報となる表示位置情報（位置情報ｂ）を有している。なお、このような立体映像システム１は、放送用テレビカメラや、一般ユーザが使用するビデオカメラ、デジタルカメラを用いることができる。
【００２６】
ここで、立体映像システム１の各構成要素について説明する。図１に示すように、撮像に用いられる撮像部１０の撮像側レンズ群１１の撮像レンズは、例えば、要素レンズ１１１，１１２…１１ｎから構成されており、図１に示したように被写体Ｐからこれを見ると、正方格子状の配列となっている。また、レンズ配列として、ラインオフセット状の配列を有するものを用いてもよい。各要素レンズ１１は、公知の保持手段により保持されており、例えば、不図示のホルダに各要素レンズ１１を収めることなどにより形成される。また、各要素レンズ１１の隙間を埋める部材等により、要素レンズ１１を一体的に形成することも可能である。なお、本実施の形態において各要素レンズ１１は、両凸形状のレンズを用いているが、片凸形状のレンズ、凹形状を有するレンズ、非球面レンズ等を用いることもできる。また、要素レンズ１１の数や形状は、任意のものを選択することが可能であるが、本実施の形態では、高品質の立体映像が得られるように、微小の凸レンズからなるものを採用している。
【００２７】
なお、本実施の形態においては、図１に示した表示側レンズ群２２も同様の構成（要素レンズ２２１，２２２…２２ｎ）を有しているが、表示手段２１で用いられる表示画面の大きさに合わせて、その要素レンズ２２の大きさや、配列間隔が変更される。さらに、撮像側レンズ群１１や、表示側レンズ群２２を用いる代わりに、複数のピンホールからなるピンホール群を用いることもできる。
【００２８】
撮像部１０の撮像手段１２は、拡散スクリーンと、テレビジョンカメラとを備えており、拡散スクリーン上に結像された各要素画像を、カメラのレンズを通じて撮像し、カメラの撮像板上に結像された各要素画像を画像信号（例えば、テレビジョン信号）として出力するものである（図１９参照）。
【００２９】
図１に示した表示部２０の表示手段２１は、ＬＣＤやＥＬ素子、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等の発光素子を備えたものを用いることができる。観察者１０５は、このようにして表示される複数の要素画像ＲＰを、表示側レンズ群２２を通して観察することで、所定の被写体Ｐを立体像として捉えることが可能になる。
【００３０】
立体映像補正装置３０は、図２に示すように、撮像側位置情報取得手段３１と、表示側位置情報取得手段３２と、補正情報演算手段３３と、要素画像補正手段３４とを備えている。
撮像側位置情報取得手段３１は、撮像部１０（図１参照）より撮像側レンズ群１１の位置情報ａを取得し、補正情報演算手段３３にその位置情報ａを出力する。表示側位置情報取得手段３２は、前記表示部２０（図１参照）の表示側レンズ群２２の位置情報ｂを取得し、補正情報演算手段３３にその位置情報ｂを出力する。
【００３１】
ここで、位置情報ａ，ｂは、各レンズの中心位置データからなるものであり、例えば、図３（ａ）に示すように、撮像側レンズ群１１を構成する面上の適当な基準点Ｄを定め、２次元座標（ｘ，ｙ）で与えることができる。これらの位置情報ａ，ｂは、工場等における製造検査時にデータとして得ることができる他、その後においてもレンズ配列を光学的手段などにより走査することによっても得ることができる。なお、位置情報ａ，ｂは、固定的なものであるので一度測定すれば充分であり、したがって、撮像部１０あるいは表示部２０に対して、後述するレンズ位置を比較する際の、固定化されたデータとして格納しておくことができる。
【００３２】
図２に示すように、補正情報演算手段３３は、撮像側位置情報取得手段３１により取得した位置情報ａと、表示側位置情報取得手段３２により取得した位置情報ｂとを比較し、表示側の位置情報ｂに基づいて、前記撮像手段１２（図１参照）より送られてきた映像の各要素画像ＲＰを、表示側レンズ群２２の各表示レンズの位置（位置情報ｂ）に適合させるための補正情報を演算するようになっている。ここで、この補正情報の演算を模式的に説明すると次のようになる。
図３（ｂ）に示すように、位置情報ａに基づく撮像側レンズ群１１の撮像レンズｎの位置は、前記のように（ｘ，ｙ）で求められる。ここで、撮像レンズｎに対応している表示側レンズ群２２の表示レンズｎの位置は、位置情報ｂにより（ｘ’，ｙ’）で与えられる。これらの撮像レンズｎと表示レンズｎとの間には、（ｘ’−ｘ，ｙ’−ｙ）で与えられるレンズ位置の誤差δが生じている。
【００３３】
このレンズ位置の誤差δにより生じる要素画像の位置ずれを図４を参照してさらに説明すると、次のようになる。
撮像時、撮像レンズｎを通じて撮像された要素画像ｎは、何も補正されない状態では、表示手段２１において、表示面Ｈ１上の所定の位置に表示されることとなるが、この要素画像ｎ上の一点Ｇからの光は、表示レンズｎを通じて表示されることとなるため、このままでは、表示レンズｎを通じる光線の方向（ロ）は、撮像時を基準とした本来あるべき正しい光線の方向（イ）と比べて、異なったものとなってしまう。
そこで、前記レンズ位置の誤差δ分（ｘ’−ｘ，ｙ’−ｙ）だけ、表示面Ｈ１上に表示される要素画像ｎを位置補正すると、要素画像ｎは、誤差δ分だけ移動されて、表示面Ｈ１上に要素画像δｎが形成される。この状態において、前記と同様に、要素画像δｎの一点Ｇから表示レンズｎを通じる光線の方向（ハ）を見てみると、光線の方向（ハ）は、前記光線の方向（ロ）に比べて光線の方向（イ）に近づいた状態となる。
したがって、要素画像δｎは、立体画像としてずれの少ない位置に補正されたことが分かる。
【００３４】
図２に示すように、要素画像補正手段３４は、撮像部１０（図１参照）の撮像手段１２より映像を入力し、補正情報演算手段３３により算出された補正情報に基づいて、映像の各要素画像の位置を補正するようになっている。
すなわち、映像の各要素画像すべてにおいて、前記補正情報に基づく位置補正が行われ、映像の各要素画像すべてが、表示側レンズ群２２の位置情報ｂに照らし合わされて補正される。
このように補正情報に基づいた処理が施されることにより、図４に示すように、再現される光線の方向（ハ）が本来の正しい光線の方向（イ）に近づいた状態となるように改善される。したがって、高品質の再生像を再生することができるようになる。
【００３５】
次に、図１から図３に基づいて、立体映像システム１における立体映像補正装置３０の動作について説明する。まず、図１，図２に示すように、立体映像補正装置３０の撮像側位置情報取得手段３１と表示側位置情報取得手段３２とにより、撮像側レンズ群１１の位置情報ａと表示側レンズ群２２の位置情報ｂとが取得され、これら位置情報ａ，ｂが補正情報演算手段３３に送られる。補正情報演算手段３３は、位置情報ａ，ｂを比較し、位置情報ｂに基づいて、撮像部１０から送られてきた映像の各要素画像の位置を、表示側レンズ群２２の各表示レンズの位置に適合させるための補正情報を演算する（図３（ｂ）参照）。このような補正情報の演算は、映像の各要素画像の全てに対して行われる。
【００３６】
要素画像補正手段３４（図２参照）は、表示部１０（図１参照）の撮像手段１２により撮像された映像を入力し、前記補正情報演算手段３３により算出された各補正情報に基づいて、前記映像の各要素画像の位置を補正する。
これにより、表示部２０の表示手段２１には、表示側レンズ群２２のレンズ位置に適合されて補正された映像が表示されることとなる。
【００３７】
以上説明したように、本実施形態の立体映像補正装置３０によれば、撮像部１０の撮像手段１２により撮像された映像の各要素画像が、表示側レンズ群２２の各レンズの位置情報ｂに適合されるように補正されることとなるので、違和感が少なく、高品質の再生像を再生することができるようになる。
【００３８】
なお、図５に示すように、立体映像システム１に、固設のハードディスクや、デジタルビデオディスクあるいは、ビデオテープ、または、データを電気的、磁気的に記憶する着脱可能なメモリ等、任意の記憶手段４０を採用することにより、この記憶手段４０を介して、撮像部１０から表示部２０へデータを受け渡すことができる。この場合、図５に示すように、立体映像補正装置３０は、表示部２０側に設けられて、表示部２０側において映像の各要素画像が補正されるように構成する。また、立体映像システム１の撮像部１０と表示部２０とが遠隔に配置されたシステムとされる場合には、入力端子や出力端子、伝送路などの通信手段を設けて、撮像部１０から表示部２０へ映像や位置情報ａが送られるように構成しても良い。
【００３９】
（第二の実施の形態）
次に、図６を参照して、本発明における第二の実施の形態に係る立体映像補正装置について説明する。図６は、立体映像補正装置が適用される立体映像システムを示したシステム構成図である。なお、図１ですでに説明した構成と同じ部材は同じ符号を付して説明を省略する。
本実施形態では、立体映像システム２を構成している撮像部１０と表示部２０とのそれぞれに撮像側立体映像補正装置３０ａ，表示側立体映像補正装置３０ｂが配置されて構成されている。さらに、撮像部１０は、撮像側レンズ群１１の位置特定の基準となる撮像側基準位置情報ａ’（基準位置情報ａ’）を記憶手段などに備えており、また、表示部２０は、表示側レンズ群２２の位置特定の基準となる表示側基準位置情報ｂ’（基準位置情報ｂ’）を記憶手段などに備えている。ここで、基準位置情報ａ’および基準位置情報ｂ’は、ともに、位置特定の基準となる情報として、設計値に対し誤差のない理想的なレンズ配列としたときの各レンズの位置情報（標準位置情報）を言う。さらに、撮像部１０は、送信手段１４を備えているとともに、表示部２０は、受信手段２４を備えており、伝送路ＤＲを介して送信手段１４から受信手段２４へデータが送られる。
【００４０】
撮像側立体映像補正装置３０ａは、図２に示した立体映像補正装置３０の構成要素を部分的に変更したものであり、図７に示すように、基準位置情報ａ’を取得するための撮像側基準位置情報取得手段３５を備えている。
撮像側立体映像補正装置３０ａにおける補正情報演算手段３３は、取得された基準位置情報ａ’と、撮像側位置情報取得手段３１により取得された位置情報ａとに基づいて、撮像側レンズ群１１（図６参照）により撮像された映像の各要素画像の位置を、基準位置情報ａ’における各レンズの基準位置に適合させるための補正情報を演算する。
要素画像補正手段３４は、撮像部１０（図６参照）の撮像手段１２より映像を入力し、補正情報演算手段３３により算出された補正情報に基づいて、映像の各要素画像の位置を補正するようになっている点は、第一の実施形態のものと同様ではあるが、映像の各要素画像が基準位置（標準位置）に適合されるように補正される点が異なる。
【００４１】
撮像側立体映像補正装置３０ａにより補正された映像は、図６に示すように、撮像部１０の送信手段１４により、伝送路ＤＲを介して表示部２０の受信手段２４に送られる。
【００４２】
表示側立体映像補正装置３０ｂは、撮像側立体映像補正装置３０ａと同様に、図２に示した立体映像補正装置３０の構成要素を部分的に変更したものであり、図８に示すように、基準位置情報ｂ’を取得するための表示側基準位置情報取得手段３６を備えている。
表示側立体映像補正装置３０ｂにおける補正情報演算手段３３は、取得された基準位置情報ｂ’と、表示側位置情報取得手段３１により取得された位置情報ｂとに基づいて、受信手段２４（図６参照）により受信された撮像部１０からの映像の各要素画像の位置を、基準位置情報ｂ’における各レンズの基準位置に適合させるための補正情報を演算するようになっている。
【００４３】
すなわち、このような立体映像システム２では、撮像部１０と表示部２０とのそれぞれにおいて、算出された補正情報に基づき、各要素画像が、基準位置情報ａ’，ｂ’に適合されるように補正されることとなり、これにより、撮像部１０側と表示部２０側とでそれぞれ標準化された状態に補正されることとなる。したがって、撮像部１０から表示部２０へ送られる映像データは、撮像側で補正されて標準化されたものとなる。これにより、表示部２０側においては、常に標準化された映像データが入力されるようになり、これに基づいて、その要素画像の位置の補正量は、小さいものとして想定すれば足りるようになる。したがって、再生像の歪みや解像度の低下を低減させることができ、高品質の立体映像を得ることができるようになる。
【００４４】
さらに、撮像部１０から表示部２０へは、標準化された映像データが送られることとなるので、撮像側レンズ群１１の位置情報ａを表示部２０側へ送る必要がなくなる。したがって、データ伝送の簡易化を図ることができる。
【００４５】
また、このようにデータ伝送の簡易化を図れるので、例えば、放送サービスのような多くの撮像装置（撮像部１０）と多くの受信装置（表示部２０）とが用いられるようなシステムにおける使用態様に好適である。
【００４６】
なお、撮像側レンズ群１１や表示側レンズ群２２を用いる代わりに、これらのいずれか一方あるいは両方を複数のピンホールからなるピンホール群としても良い。
【００４７】
（第三の実施の形態）
次に、図９を参照して、本発明における第三の実施の形態に係る立体映像補正装置について説明する。図９は、立体映像補正装置が適用される立体映像システムを示したシステム構成図である。
本実施の形態の立体映像システム３では、前記第一，第二の実施の形態における表示側レンズ群２２（図１，図６参照）の代わりに、複数のピンホールによりなるピンホール群２５が用いられており、このピンホール群２５を通じて立体映像が生成されるように構成されている。本実施形態では、ピンホール群２５として、図１０（ａ）（ｂ）に示すように、各ピンホール２５ａの位置が電子的に変更可能なマトリクス構造を有する液晶装置により構成されている。この液晶装置２５は、立体映像補正装置５０からの出力信号により作動する制御装置２６により駆動制御されるようになっている。
【００４８】
立体映像補正装置５０は、図１１に示すように、前記第一，第二の実施の形態で説明したものと同様の撮像側位置情報取得手段３１を含み、位置制御情報生成手段５１と、出力手段５２とを備えている。
位置制御情報生成手段５１は、取得された位置情報ａを入力し、この位置情報ａに合致させて、液晶装置２５の各ピンホール２５ａ（図１０参照）の形成位置を制御するための位置制御情報ｃを生成するようになっている。例えば、図には示さないが、撮像側レンズ群１１の位置情報ａとして、レンズ配列の垂直ｊ番目、水平ｉ番目におけるレンズ位置が、特定の基準点からの距離（ｘ，ｙ）で与えられるとすると、位置制御情報生成手段５１は、これに対する液晶装置２５の垂直ｊ番目、水平ｉ番目におけるピンホール２５ａの形成位置を（ｘ，ｙ）に制御するための位置制御情報ｃを生成するようになっている。このような位置制御情報ｃは、撮像側レンズ群１１の全てのレンズに対応されて生成される。
出力手段５２は、この位置制御情報生成手段５１により生成された位置制御情報ｃを制御装置２６（図９参照）に出力する。
【００４９】
制御装置２６は、出力手段５２からの位置制御情報ｃを入力し、位置制御情報ｃに基づいて液晶装置２５の各ピンホール２５ａ（図１０参照）の形成位置を駆動制御する。
液晶装置２５としては、例えば、通常のＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｔｒａｎｓｉｓｔｏｒ）液晶パネルが用いられるており、指定のピンホール２５ａの位置の１画素のみを白（透過）とし、その他を黒（遮光）とする制御により、所望の位置にピンホール２５ａが形成されるようになっている。なお、各ピンホール２５ａの位置精度は、液晶パネルの画素ピッチに依存する。
【００５０】
このような立体映像補正装置５０を用いた立体映像システム３によれば、表示部２０の液晶装置２５の各ピンホール２５ａを制御するための位置制御情報ｃは、取得された位置情報ａに合致させて生成されるので、各ピンホール２５ａの形成位置は、撮像側レンズ群１１の各撮像レンズの形成位置に合致したものとなる。すなわち、本実施形態では、各要素画像の位置が補正されるのではなく、各ピンホール２５ａの形成位置そのものが位置補正されるようになっている。
したがって、撮像側における各撮像レンズの形成位置と表示側における各ピンホール２５ａの形成位置とがほぼ同一となり、精度の高い立体画像が得られる。したがって、映像の各要素画像の位置誤差が生じにくくなり、レンズ位置の同一性に優れた高品質の再生像を再生することができるようになる。
【００５１】
なお、撮像側レンズ群１１を用いる代わりに、これを複数のピンホールからなるピンホール群で構成しても良い。また、撮像部１０から表示部２０へ図示しない伝送路や記録手段等を介して映像データや位置情報ａが送られるように構成しても良い。
【００５２】
（第四の実施の形態）
次に、図１２を参照して、本発明における第四の実施の形態に係る立体映像補正装置について説明する。図１２は、立体映像補正装置が適用される立体映像システムを示したシステム構成図、図１３は、立体映像補正装置（対応点探索）を示すブロック図である。
本実施形態の立体映像システム４では、前記第一の実施の形態で説明した立体映像システム１（図１参照）において、立体映像補正装置（対応点探索）６０を付加した構成としたものである。すなわち、図１２に示すように、立体映像補正装置３０により補正された映像に対して、さらに、立体映像補正装置６０による補正を加えるようにして、より精度の高い再生像を再生することができるようにしたものである。
【００５３】
図１３に示すように、立体映像補正装置６０は、前記第一の実施の形態で説明したものと同様の撮像側位置情報取得手段３１を含み、対応点探索手段６１と、距離情報演算手段６２と、位置補正量演算手段６３と位置補正手段６４とを備えている。
対応点探索手段６１は、立体映像補正装置３０（図１２参照）より補正された映像を入力し、補正対象とする要素画像とその周辺の要素画像とを、取得された位置情報ａに基づいて、撮像時における被写体と撮像レンズとの距離を求めるのに必要となる対応点探索を行う。
【００５４】
ここで、対応点探索手段６１により行われる対応点探索を、図１４を用いて模式的に説明する。同図において、符号ｂ０，ｂ１…で示される像は、撮像時のレンズ位置に対応して結像される要素画像である。また、符号δｎで示される要素画像は、要素画像ｂ０を誤差δ分（図３（ｂ）参照）だけ位置補正したものである。
図１４において、各要素画像に対応している各レンズは、その要素画像の誤差δが、レンズピッチの１／２を超えない程度に十分に調整されているものとする。
まず、要素画像δｎに隣接される要素画像ｂ０，ｂ１…のうち、要素画像δｎに最も近い要素画像と、２番目に近い要素画像を選択する。同図より明らかであるように、最も近いものは、要素画像ｂ０であり、２番目に近いものは要素画像ｂ５である。
【００５５】
次に、これらの要素画像ｂ０，ｂ５において、対応点探索を行い対応点を求める。ここで、対応点探索手法は、通常用いられるブロックマッチング法、すなわち、２つの画像において一方の画像の小ブロック領域を切り出し、他方の画像内の位置を変えながら対応の度合いを計算し対応点を求める手法が採られる。算出された対応点の情報は、距離情報演算手段６２（図１３参照）に出力される。
【００５６】
距離情報演算手段６２は、対応点探索手段６１により得られた対応点の情報と、補正対象とする要素画像ｂ０に対応するレンズの位置情報ａとにより、撮像時における該レンズと被写体との距離情報（被写体距離ｄ）を演算する。
ここで、距離情報演算手段６２により行われる距離情報の演算を、図１５を用いて模式的に説明する。図１５に示すように、前記要素画像ｂ０，ｂ５間で対応点Ｂ０，Ｂ５が与えられたとすると、これらの対応点Ｂ０，Ｂ５に対し、撮像時のレンズ位置Ｌ０，Ｌ５は、位置情報ａにより既知であるから、対応点Ｂ０，Ｂ５からレンズ位置Ｌ０，Ｌ５を通る２つの光線の交点として、被写体位置Ｉが特定される。
これにより、撮像時における被写体と撮像レンズとの距離情報（被写体距離ｄ）を求めることができる。算出された被写体距離ｄの情報は、位置補正量演算手段６３（図１３参照）に出力される。
【００５７】
位置補正量演算手段６３は、距離情報演算手段６２により算出された被写体距離ｄ（図１５参照）に基づいて、要素画像上の部分ごとの位置補正量を演算する。ここで、撮像レンズと表示レンズとの誤差δに基づく要素画像の位置補正量＝δ、表示部２０の表示手段２１における表示面Ｈ１から表示レンズまでの実際の距離＝ｇ（図１６参照）とすると、位置補正量演算手段６３により演算される位置補正量δ１は、次式（１）の演算を実行することにより行われる。
δ１＝δ・ｇ／ｄ 式（１）
【００５８】
この位置補正量δ１を加えることによる要素画像の位置の補正について、図１６を参照して模式的に説明すると、次のようになる。
撮像レンズと表示レンズとの誤差δに基づく要素画像の位置の補正により、要素画像ｎ（補正前）は、誤差δ分に基づく位置補正量δだけ移動されて、表示面Ｈ１上に要素画像δｎとして形成される（図４参照：立体映像補正装置３０による補正）。
この状態において、要素画像δｎの一点Ｇから表示レンズｎを通じる光線の方向（ハ）を見てみると、光線の方向（ハ）は、前記光線の方向（ロ）に比べて光線の方向（イ）に近づいた状態となる（ここまでは、前記第一の実施の形態による補正）。
この状態からさらに、位置補正量δ１分だけ、表示面Ｈ１上に表示される要素画像ｎの位置を補正すると、表示面Ｈ１上に要素画像δｎ１として形成される。この状態で、要素画像δｎ１の一点Ｇから表示レンズｎを通じる光線の方向（ニ）を見てみると、光線の方向（ニ）は、撮像レンズｎから再生像距離ｄ（被写体距離ｄ）を隔てたポイントＤＩで、撮像時の正しい光線の方向（イ）に交差する。すなわち、撮像時の被写体の置かれている位置とほぼ同一位置（再生像上の点ＤＩ）において、再生像を再生することが可能となる。
したがって、要素画像δｎ１は、立体画像としてずれのほとんどない再生画像が得られる位置に補正されたことが分かる。
なお、対応点探索の精度を上げるために、２つの要素画像ではなく、３つ以上の要素画像を用いることができる。
【００５９】
また、図１４において、任意の要素画像の組において対応点を求めることができるが、要素画像δｎを生成するための小部分領域が含まれると予想される、ｂ０−ｂ２，ｂ０−ｂ４，ｂ０−ｂ５，ｂ０−ｂ７、または、ｂ２−ｂ７，ｂ４−ｂ５が要素画像の組として適している。なお、複数の組から得られる複数の対応点データを統合して、精度の良い推定値を得るための方法が、例えば、「対応点の確度分布を考慮した多眼画像からの奥行き推定」、情報学研報、Ｖｏ ｌ． ２０００，Ｎｏ ．７，ＣＶＩＭ１２０−２，ｐｐ．９−１６（２０００）において、開示されている。
これによると、例えば、前記ｂ０−ｂ２，ｂ０−ｂ４，ｂ０−ｂ５，ｂ０−ｂ７の各組で得られた対応点から要素画像δｎを求め、これを図には示さないが任意の符号、Ａ１，Ａ２，Ａ３，Ａ４として、相関値を確度として参照し、要素画像δｎ内の各部分において前記Ａ１，Ａ２，Ａ３，Ａ４のうち最も確度の高い値を採用することにより、要素画像δｎの全体を構成するようにすることもできる。
【００６０】
本実施の形態の立体映像補正方法によれば、補正対象とする要素画像（例えば、符号ｂ０で示したもの）およびその周辺の要素画像（ｂ１，ｂ２…）による対応点探索で得られた対応点と要素画像（ｂ）に対応するレンズの位置情報ａとにより、撮像時における該レンズと被写体との距離（被写体距離ｄ）が算出され、この距離情報と、レンズの位置情報ａとに基づいて、要素画像（ｂ０）上の部分ごとの位置補正量が演算され、この位置補正量に基づいて、要素画像（ｂ０）の位置補正が行われるようになっているので、要素画像（ｂ０）のより細かい位置の補正を行なうことができるようになり、より精度の高い高品質の再生像を再生することができるようになる。
【００６１】
なお、撮像側レンズ群１１や表示側レンズ群２２を用いる代わりに、これらのいずれか一方あるいは両方を複数のピンホールからなるピンホール群としても良い。また、立体映像補正装置３０，６０は、表示部２０側に配置されるようにシステムを構成して、撮像部１０から表示部２０へ映像データや位置情報ａが図示しない伝送路や記録手段を介して送られるように構成しても良い。また、図１３において、対応点を求めるために入力される映像は、必ずしも補正された映像でなくても良く、補正前の映像を用いても良い。
【００６２】
【発明の効果】
以上説明したように、本発明に係る立体映像補正装置および方法では、以下に示す優れた効果を奏する。
請求項１に記載の発明によれば、撮像側と表示側とのレンズの位置誤差によって生じる再現画像の相違を、表示側レンズ群の各レンズ位置に各要素画像の位置を適合させることで少なくすることができ、歪みや解像度の低下を来し難い高品質の再生像を再生することができるようになる。
【００６３】
請求項２に記載の発明によれば、撮像側と表示側とのそれぞれにおいて、レンズの位置誤差によって生じる再現画像の相違を解消すべく、標準化された位置情報に適合されるように各要素画像の位置が補正されるので、撮像側の位置情報を表示側に送る必要がなく、歪みや解像度の低下を来し難い高品質の再生像を再生することができるようになる。
【００６４】
請求項３に記載の発明によれば、映像の要素画像上の小部分ごとの位置補正量を求めることにより、要素画像のより細かい位置の補正を行うことができ、より高品質の再生像を再生することができるようになる。
【００６５】
請求項４に記載の発明によれば、撮像側レンズ群のレンズ位置に合致するように、表示側ピンホール群の各ピンホールの形成位置そのものを補正することができるので、撮像側と表示側とでレンズ位置の誤差が生じ難くなり、同一性に優れた、より高品質の再生像を再生することができるようになる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図である。
【図２】立体映像補正装置の構成を示すブロック図である。
【図３】要素画像の補正手順の説明図であり、（ａ）は撮像側位置情報に基づくレンズ位置を示した図、（ｂ）は撮像側位置情報に基づくレンズ位置と表示側位置情報に基づくレンズ位置とを示した図である。
【図４】補正情報に基づいた処理を説明するための模式図である。
【図５】その他のシステム構成図である。
【図６】本発明の第二の実施の形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図である。
【図７】撮像側立体映像補正装置の構成を示すブロック図である。
【図８】表示側立体映像補正装置の構成を示すブロック図である。
【図９】本発明の第三の実施の形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図である。
【図１０】表示側ピンホール群としての液晶装置を示す図であり、（ａ）は、要部の斜視図、（ｂ）は、図１０（ａ）の部分拡大正面図である。
【図１１】立体映像補正装置の構成を示すブロック図である。
【図１２】本発明の第四の実施形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図である。
【図１３】立体映像補正装置の構成を示すブロック図である。
【図１４】対応点探索を模式的に表した図。
【図１５】補正情報に基づいた処理を説明するための模式図である。
【図１６】補正情報に基づいた処理を説明するための模式図である。
【図１７】従来のＩＰ方式を説明する図である。
【図１８】従来のＩＰ方式による立体写真の再生法を説明する図である。
【図１９】従来のＩＰ方式において拡散スクリーンを使用した例を説明する図である。
【図２０】レンズ位置の誤差による不具合を説明するための図である。
【符号の説明】
１，２，３，４ 立体映像システム
１０ 撮像部
１１ 撮像側レンズ群
１２ 撮像手段
１４ 送信手段
２０ 表示部
２１ 表示手段
２２ 表示側レンズ群
２４ 受信手段
２５ 液晶装置（ピンホール群）
２５ａ ピンホール
３０ 立体映像補正装置
３０ａ 撮像側立体映像補正装置
３０ｂ 表示側立体映像補正装置
３１ 撮像側位置情報取得手段
３２ 表示側位置情報取得手段
３３ 補正情報演算手段
３４ 要素画像補正手段
３５ 撮像側基準位置情報取得手段
３６ 表示側基準位置情報取得手段
４０ 記憶手段
５０ 立体映像補正装置
５１ 位置制御情報生成手段
５２ 出力手段
６０ 立体映像補正装置（対応点探索）
６１ 対応点探索手段
６２ 距離情報演算手段
６３ 位置補正量演算手段
６４ 位置補正手段
ａ，ｂ 位置情報
ａ’，ｂ’ 基準位置情報
ｃ 位置制御情報
δ 誤差
Claims (4)
- 複数の撮像レンズによりなる撮像側レンズ群を用いて被写体の映像を撮像し、複数の表示レンズによりなる表示側レンズ群を通じて立体映像が生成されるようにした立体映像システムにおいて、前記各撮像レンズの撮像側位置情報と、前記各表示レンズの表示側位置情報とに基づいて、前記各要素画像の位置を補正する立体映像補正装置であって、
前記撮像側位置情報を取得する撮像側位置情報取得手段と、
前記表示側位置情報を取得する表示側位置情報取得手段と、
前記撮像側位置情報取得手段により取得した前記撮像側位置情報と、前記表示側位置情報取得手段により取得した前記表示側位置情報とを比較し、前記表示側位置情報に基づいて、前記表示側レンズ群の各表示レンズの位置に、前記映像の各要素画像を適合させるための補正情報を演算する補正情報演算手段と、
前記補正情報演算手段により算出された補正情報に基づいて、前記映像の各要素画像の位置を補正する要素画像補正手段と、を具備したことを特徴とする立体映像補正装置。 - 立体映像を構成する各要素画像の位置を、撮像側レンズ群および表示側レンズ群における各レンズの位置情報を用いてそれぞれ補正する立体映像補正方法であって、
前記撮像側レンズ群の撮像側位置情報と、前記撮像側レンズ群の位置特定の基準となる撮像側基準位置情報とに基づいて、前記撮像側基準位置情報における各レンズの基準位置に、前記撮像側レンズ群により撮像された映像の各要素画像を適合させるための撮像側補正情報を演算し、この撮像側補正情報に基づいて前記撮像側レンズ群により撮像された前記各要素画像の位置補正を行うとともに、
前記表示側レンズ群の表示側位置情報と、前記表示側レンズ群の位置特定の基準となる表示側基準位置情報とに基づいて、前記表示側基準位置情報における各レンズの基準位置に、前記撮像側補正情報により補正された映像の各要素画像を適合させるための表示側補正情報を演算し、この表示側補正情報に基づいて、前記撮像側補正情報により補正された映像の各要素画像の位置補正を行なうことを特徴とする立体映像補正方法。 - 複数のレンズによりなるレンズ群を用いて撮像された被写体の各要素画像の位置を補正するための立体映像補正方法であって、
補正対象とする要素画像とその周辺の要素画像との対応点探索を行い、この対応点探索により得られた対応点と前記補正対象とする要素画像に対応する撮像レンズの位置情報とにより、撮像時における該レンズと被写体との距離情報を演算し、この演算により算出された距離情報と、前記レンズ位置情報とに基づいて、前記要素画像上の部分ごとの位置補正量を演算するとともに、この位置補正量に基づいて前記要素画像の位置補正を行うことを特徴とする立体映像補正方法。 - 複数の撮像レンズによりなる撮像側レンズ群を用いて被写体の映像を撮像し、複数のピンホールによりなる表示側ピンホール群を通じて立体映像が生成されるようにした立体映像システムにおいて、前記各撮像レンズの撮像側位置情報に基づいて、表示側で表示される前記各要素画像の位置を補正する立体映像補正装置であって、
前記撮像側位置情報を取得する撮像側位置情報取得手段と、
この撮像側位置情報取得手段により取得された前記撮像側位置情報に合致させて、前記表示側ピンホール群の各ピンホールの形成位置を制御するための位置制御情報を生成する位置制御情報生成手段と、
この位置制御情報生成手段により生成された位置制御情報を出力する出力手段と、を具備したことを特徴とする立体映像補正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003127207A JP4272464B2 (ja) | 2003-05-02 | 2003-05-02 | 立体映像補正装置およびその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003127207A JP4272464B2 (ja) | 2003-05-02 | 2003-05-02 | 立体映像補正装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004336239A true JP2004336239A (ja) | 2004-11-25 |
| JP4272464B2 JP4272464B2 (ja) | 2009-06-03 |
Family
ID=33503839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003127207A Expired - Fee Related JP4272464B2 (ja) | 2003-05-02 | 2003-05-02 | 立体映像補正装置およびその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4272464B2 (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006162945A (ja) * | 2004-12-07 | 2006-06-22 | Hitachi Displays Ltd | 立体視表示装置 |
| JP2007150536A (ja) * | 2005-11-25 | 2007-06-14 | Hitachi Displays Ltd | 立体映像撮影表示装置 |
| JP2009514030A (ja) * | 2005-10-27 | 2009-04-02 | リアルデー | 裸眼立体レンズアレイとディスプレイ画面の膨張差の温度補償 |
| JP2009521137A (ja) * | 2005-11-14 | 2009-05-28 | リアルデー | 一体的交互嵌合を有するモニタ |
| JP2009276410A (ja) * | 2008-05-13 | 2009-11-26 | National Institute Of Information & Communication Technology | 立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法 |
| JP2010026332A (ja) * | 2008-07-22 | 2010-02-04 | National Institute Of Information & Communication Technology | 撮影カメラ、画像表示装置及び画像表示システム |
| JP2011160344A (ja) * | 2010-02-03 | 2011-08-18 | Nippon Hoso Kyokai <Nhk> | 立体画像補正装置および立体画像補正方法 |
| JP2011234142A (ja) * | 2010-04-28 | 2011-11-17 | Nippon Hoso Kyokai <Nhk> | 立体像生成装置およびそのプログラム |
| JP2012060625A (ja) * | 2010-08-11 | 2012-03-22 | Sony Corp | 画像処理装置、立体画像表示装置および立体画像表示システム、ならびに立体画像表示装置の視差ずれ検出方法および立体画像表示装置の製造方法 |
| JP2012220614A (ja) * | 2011-04-06 | 2012-11-12 | Nippon Hoso Kyokai <Nhk> | 立体画像補正装置およびそのプログラム、ならびに、立体画像表示装置 |
| JP2014107752A (ja) * | 2012-11-28 | 2014-06-09 | Nippon Hoso Kyokai <Nhk> | 撮影装置および表示装置 |
| JP2016526321A (ja) * | 2013-05-15 | 2016-09-01 | サムスン エレクトロニクス カンパニー リミテッド | タイルドディスプレイで３ｄ映像を補正する方法及び装置 |
| JP2020161994A (ja) * | 2019-03-27 | 2020-10-01 | 日本放送協会 | 位置ずれ補正量算出装置及びそのプログラム |
-
2003
- 2003-05-02 JP JP2003127207A patent/JP4272464B2/ja not_active Expired - Fee Related
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006162945A (ja) * | 2004-12-07 | 2006-06-22 | Hitachi Displays Ltd | 立体視表示装置 |
| JP2009514030A (ja) * | 2005-10-27 | 2009-04-02 | リアルデー | 裸眼立体レンズアレイとディスプレイ画面の膨張差の温度補償 |
| JP2009521137A (ja) * | 2005-11-14 | 2009-05-28 | リアルデー | 一体的交互嵌合を有するモニタ |
| JP4523538B2 (ja) * | 2005-11-25 | 2010-08-11 | 株式会社 日立ディスプレイズ | 立体映像撮影表示装置 |
| JP2007150536A (ja) * | 2005-11-25 | 2007-06-14 | Hitachi Displays Ltd | 立体映像撮影表示装置 |
| JP2009276410A (ja) * | 2008-05-13 | 2009-11-26 | National Institute Of Information & Communication Technology | 立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法 |
| JP2010026332A (ja) * | 2008-07-22 | 2010-02-04 | National Institute Of Information & Communication Technology | 撮影カメラ、画像表示装置及び画像表示システム |
| JP2011160344A (ja) * | 2010-02-03 | 2011-08-18 | Nippon Hoso Kyokai <Nhk> | 立体画像補正装置および立体画像補正方法 |
| JP2011234142A (ja) * | 2010-04-28 | 2011-11-17 | Nippon Hoso Kyokai <Nhk> | 立体像生成装置およびそのプログラム |
| JP2012060625A (ja) * | 2010-08-11 | 2012-03-22 | Sony Corp | 画像処理装置、立体画像表示装置および立体画像表示システム、ならびに立体画像表示装置の視差ずれ検出方法および立体画像表示装置の製造方法 |
| JP2012220614A (ja) * | 2011-04-06 | 2012-11-12 | Nippon Hoso Kyokai <Nhk> | 立体画像補正装置およびそのプログラム、ならびに、立体画像表示装置 |
| JP2014107752A (ja) * | 2012-11-28 | 2014-06-09 | Nippon Hoso Kyokai <Nhk> | 撮影装置および表示装置 |
| JP2016526321A (ja) * | 2013-05-15 | 2016-09-01 | サムスン エレクトロニクス カンパニー リミテッド | タイルドディスプレイで３ｄ映像を補正する方法及び装置 |
| JP2020161994A (ja) * | 2019-03-27 | 2020-10-01 | 日本放送協会 | 位置ずれ補正量算出装置及びそのプログラム |
| JP7312585B2 (ja) | 2019-03-27 | 2023-07-21 | 日本放送協会 | 位置ずれ補正量算出装置及びそのプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4272464B2 (ja) | 2009-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Okano et al. | Real-time integral imaging based on extremely high resolution video system | |
| CN102883093B (zh) | 摄像装置以及摄像元件 | |
| CN1934874B (zh) | 用于个人电子装置的三维获取和显像系统 | |
| US8078048B2 (en) | Imaging device and video recording/reproducing system | |
| KR101131998B1 (ko) | 3차원 이미지 센서 및 그를 구비하는 입체영상 카메라 | |
| JP2010078768A (ja) | 立体映像撮影装置および立体映像撮影システム | |
| JP4272464B2 (ja) | 立体映像補正装置およびその方法 | |
| TW201229563A (en) | Mounting accuracy inspection method and inspection apparatus using the inspection method | |
| US20050083516A1 (en) | Method and system for calibration of optics for an imaging device | |
| JP6289017B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| CN103327223A (zh) | 摄像装置 | |
| KR100950628B1 (ko) | 허상과 실상 결합형 집적 영상 시스템 | |
| KR20010093245A (ko) | 3차원 화상촬영장치 및 방법, 3차원 화상표시장치 및방법, 및 3차원 화상표시 위치변환장치 및 방법 | |
| JP4980748B2 (ja) | 立体像および平面像表示装置 | |
| JP5567901B2 (ja) | ステレオ撮影対応型の交換レンズ、撮像システム | |
| JP4693727B2 (ja) | 三次元光線入力装置 | |
| CN1361993A (zh) | 立体系统 | |
| JP2000308091A (ja) | 立体画像撮像装置 | |
| JPH1198532A (ja) | 立体撮像装置および立体表示装置 | |
| JP2004333691A (ja) | レンズ位置検出方法およびその装置 | |
| US11238830B2 (en) | Display device and display method thereof | |
| JP5551517B2 (ja) | 撮像装置 | |
| JP2013061560A (ja) | 測距装置および撮像装置 | |
| RU2305320C2 (ru) | Способ формирования матричного изображения объекта | |
| JP2003005315A (ja) | 立体画像撮影装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090227 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4272464 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140306 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |