JP2000102037A - 撮像装置及び画像生成方法 - Google Patents

Abstract

(57)【要約】 【課題】 メモリの容量を無駄に増加させることなく、
少ないメモリを切り換えて、立体画像の表示を可能と
し、結果として高速、低消費電力で安価な撮像装置を提
供することにある。 【解決手段】 上記の課題を解決するために、左右の撮
像手段と、前記左右の撮像手段から出力された画像デー
タをそれぞれ一時的にストアする左右のバッファメモリ
と、前記左右のバッファメモリより読み出した画像デー
タを合成する画像合成手段とを備え、前記各バッファメ
モリを複数のメモリで構成し、それらのメモリを書き込
み、読み出しで交互に切り換えることにより、フィール
ド周期で立体画像を表示可能とした撮像装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体映像及び２次
元映像の撮影、表示が可能な撮像装置に関するものであ
る。

【０００２】

【従来の技術】立体映像を撮影、表示する場合、これま
でに考えられたシステムでは、たとえば特開昭６２−２
１３９６号公報等に示される立体テレビ装置がある。

【０００３】このような立体映像撮影、表示システムで
は、基本的に複数のカメラから視差を持った一組の映像
を得て、これをそのシステム専用の立体映像表示装置に
より撮影者に立体映像を提供するものである。

【０００４】このような立体映像システムでは、撮影を
行うカメラと、立体映像を表示する立体ディスプレイが
分離しているものであった。

【０００５】したがってカメラを移動させながら撮影す
る場合などでは、ディスプレイを切り離して撮影し、そ
の後映像を確認しながら編集するという作業を行ってい
た。

【０００６】

【発明が解決しようとする課題】しかしながら、このよ
うな立体映像システムでは、撮影者が常に映像を立体的
に観察できず、映像を見ながらカメラの調整を行うこと
が難しい、簡単な立体映像撮影ができないという問題が
あり、本発明者により、カメラとディスプレイが一体化
されたものが提案され、本出願人によって出願されてい
る。

【０００７】しかしながら、上記の出願では、複眼撮像
う動作、液晶ディスプレイへの表示動作を行う際うに、
２つの撮像系は同期して撮像動作を行うために同時に映
像信号を出力するのに対して、その後の処理は片方ずつ
処理しなければならず、立体やパノラマの際に画像表示
サイズを大きくできない、表示レートを上げられないと
いった問題があった。

【０００８】単眼の撮像の場合には、単に撮像素子の画
素数と後段の処理スピードで決まる上記の表示サイズや
表示レートが、複眼同期撮影の場合には、上述の新たな
問題点を生じている。

【０００９】また単にメモリを増加させて記録するとい
った方法では、容量の無駄だけではなく、消費電力が大
きく、コスト的にも高価格となるといった問題を生じ
る。

【００１０】そこで本発明の課題は、メモリの容量を無
駄に増加させることなく、また性能を落とすことなく有
効に活用し、結果として低消費電力で安価な撮像装置を
提供することにある。

【００１１】

【課題を解決するための手段】上記の課題を解決するた
めに、本願の請求項１に記載の発明によれば、複数の撮
像手段と、前記複数の撮像手段から出力された画像デー
タをそれぞれ一時的にストアする複数のバッファメモリ
と、前記バッファメモリより読み出した画像データを合
成する画像合成手段とを備えた撮像装置を開示する。

【００１２】また本願の請求項２に記載の発明によれ
ば、請求項１に記載の発明において、前記複数のバッフ
ァメモリは、前記撮像手段より出力された画像データの
書き込み・読み出しを切り換えて使用するダブルバッフ
ァとして用いた撮像装置を特徴とする。

【００１３】また本願の請求項３に記載の発明によれ
ば、請求項２において、前記撮像手段より出力された画
像データにそれぞれ所定の色信号処理を施す色信号処理
回路を備え、前記ダブルバッファは、前記色信号処理回
路の後段に設けられている撮像装置を特徴とする。

【００１４】また本願における請求項４に記載の発明に
よれば、請求項２において、前記撮像手段より出力され
た画像データにそれぞれ所定の信号処理を施す信号処理
回路を備え、前記ダブルバッファは、前記色信号処理回
路の前段に設けられている撮像装置を特徴とする。

【００１５】また本願の請求項５に記載の発明によれ
ば、請求項２において、前記画像合成手段によって、前
記複数の撮像手段それぞれにおける画像データを合成す
るにあたり、前記各画像データに対して間引きあるいは
補間処理を施す間引き・補間回路を備え、前記ダブルバ
ッファは前記間引き・補間回路の後段に設けた撮像装置
を特徴とする。

【００１６】また本願の請求項６に記載の発明によれ
ば、複数の撮像手段と、画像を立体表示可能な立体ディ
スプレイと、前記複数の撮像手段からの画像データを一
時的にストアし、前記撮像手段より出力された画像デー
タの書き込み・読み出しを切り換えて使用するダブルバ
ッファとして用いるバッファメモリと、前記バッファメ
モリより読み出した画像データを合成する画像合成手段
とを備えた撮像装置を特徴とする。

【００１７】また本願の請求項７に記載の発明によれ
ば、請求項６において、前記立体ディスプレイは、リア
バリア方式のディスプレイである撮像装置を特徴とす
る。

【００１８】また本願の請求項８に記載の発明によれ
ば、請求項６において、前記立体ディスプレイは、液晶
シャッタ方式のディスプレイである撮像装置を特徴とす
る。

【００１９】また本願の請求項９に記載の発明によれ
ば、左右の撮像手段と、前記左右の撮像手段から出力さ
れた画像データをそれぞれ一時的にストアする左右のバ
ッファメモリ手段と、前記左右のバッファメモリ手段よ
りそれぞれ読み出された画像データを合成する画像合成
手段とを備え、前記左右のバッファメモリ手段は、それ
ぞれ複数のメモリを有し、画像データの書き込み動作と
読み出し動作を所定の周期で同時に実行可能に構成さ
れ、前記画像合成手段は、前記左右のバッファメモリ手
段それぞれから出力された画像データを合成して前記所
定の周期で出力可能に構成された撮像装置を特徴とす
る。

【００２０】また本願の請求項１０に記載の発明によれ
ば、請求項９において、前記所定の周期はフィールド周
期である撮像装置を特徴とする。

【００２１】また本願の請求項１１に記載の発明」によ
れば、請求項１０において、前記画像合成手段より出力
された合成画像データを記憶する画像メモリと、該画像
メモリに記憶された画像を表示する表示手段とを備える
ことにより、前記左右の撮像手段によって撮像された左
右の画像データを合成した画像を前記フィールド周期で
表示し得るように構成した撮像装置を特徴とする。

【００２２】また本願の請求項１２に記載の発明によれ
ば、請求項９において、前記左右のバッファメモリ手段
は、それぞれ前記複数のメモリに対して書き込み動作と
読み出し動作を交互に前記所定の周期で切り換え制御す
ることにより、前記バッファメモリ手段に対する画像デ
ータの書き込み動作と読み出し動作を同時に可能とした
撮像装置を特徴とする。

【００２３】また本願の請求項１３に記載の発明によれ
ば、請求項１０において、前記左右のバッファメモリ手
段からそれぞれ読み出された画像データを記録媒体に記
録する記録手段を備え、前記記録手段は、前記記録媒体
上に、前記左右のバッファメモリより読み出された画像
データ及びこれらの画像データがそれぞれ立体画像を構
成する左右の画像であることを示す属性を記録するよう
に構成された撮像装置を特徴とする。

【００２４】また本願の請求項１４に記載の発明によれ
ば、請求項１１において、前記画像データを圧縮符号化
して前記表示手段へと供給する圧縮符号化手段を備えた
撮像装置を特徴とする。

【００２５】また本願の請求項１５に記載の発明によれ
ば、複数の撮像手段から出力された画像データをそれぞ
れ複数のバッファメモリにストアし、前記複数のバッフ
ァメモリ手段のそれぞれから読み出された画像データを
合成して立体画像あるいはパノラマ画像を生成させる画
像生成方法であって、前記複数のバッファメモリ手段を
それぞれ複数のメモリで構成するとともに、画像データ
の書き込み動作と読み出し動作を所定の周期で同時に実
行可能とし、前記複数のバッファメモリ手段それぞれか
ら出力された画像データを合成して前記所定の周期で出
力するようにした画像生成方法を特徴とする。

【００２６】また本願の請求項１６に記載の発明によれ
ば、請求項１５において、前記所定の周期をフィールド
周期となし、前記画像合成された合成画像データを画像
メモリに記憶し、該記憶された画像データを表示手段に
表示することによって、前記複数の撮像手段によって撮
像された複数の画像データを合成した画像を前記フィー
ルド周期で表示し得るようにした画像生成方法を特徴と
する。

【００２７】また本願の請求項１７に記載の発明によれ
ば、請求項１５において、前記複数のバッファメモリ手
段は、それぞれ前記複数のメモリに対して書き込み動作
と読み出し動作を交互に前記所定の周期で切り換え制御
することにより、前記バッファメモリ手段に対する画像
データの書き込み動作と読み出し動作を同時に可能とし
た画像生成方法を特徴とする。

【００２８】

【発明の実施の形態】以下本発明における撮像装置を、
各図を参照しながら、その実施形態について説明する。

【００２９】（第１の実施例）図２は本発明における撮
像装置の構成の第１の実施例を示すものであり、詳細は
後述することによって明らかとなるが、信号処理回路の
後に複数の画像メモリからなるダブルバッファを配した
場合を示している。

【００３０】同図において、１は複眼撮像装置本体を示
し、２，３はそれぞれ右側，左側撮像光学系、４は立体
表示可能なモニタとしての液晶（ＬＣＤ）等の表示素子
である（本発明の表示手段に相当する）。

【００３１】５〜１０は、表示素子４の構成部材を拡大
表示したものであり、５はバックライト、６は市松状の
開口マスク、７，８はレンチキュラーレンズ、９は高分
子分散液晶、１０は液晶層、１１はガラス基板である。

【００３２】同図中においては、偏光板、カラーフィル
タ、電極、ブラックマトリクス、反射防止膜などは、図
示を省略する。

【００３３】図２に示すように、カメラは複眼カメラ本
体１及びレンズを中に持つ２つの撮像光学系２，３から
なり、映像の立体感を出すために、立体撮像モードでは
撮像光学系２，３は本体の左右に配置され、基線長を長
く取る構成になっている。

【００３４】また、カメラ本体上には左右撮像光学系
２，３から得られた映像を立体的に観察可能な表示モー
ドを持つ液晶ディスプレイによる表示素子４が設けられ
ており、撮影時、撮影者は２つの撮像光学系２，３によ
り、撮影された立体映像を、立体表示可能な表示素子４
によつて立体的に観察することができる。

【００３５】このときの撮像光学系２，３と立体表示可
能な表示素子４との位置関係は、図２で示されるよう
に、チルト方向に対して観察者に合わせた位置を取るこ
とができる。

【００３６】また２つの撮像光学系の相対位置関係は、
図６に示すように切り換え可能である。これはパノラマ
撮影と立体撮影の両方を可能とするためである。

【００３７】簡単に撮影光学ブロックの部分の説明を行
なうと、図６において、８００はミラー、８０１は光学
ブロック、２０，２００はＣＣＤである。

【００３８】図６（ａ）の状態と（ｂ）の状態が切り替
わる。同図（ｂ）は、パノラマ画像撮影状態で、同図
（ａ）は立体画像撮影状態である。

【００３９】パノラマ撮影の際には、ミラーが同図
（ｂ）の状態になり、あたかも同じ視点から撮影してい
る状態を形成している。

【００４０】撮像光学系の詳細は、特開平10-145656号
公報に詳細に記載された構成を用いることができ、ここ
での詳細な説明は省略する。

【００４１】次に画像再生について説明する。撮影時あ
るいは撮影後の再生時には、図２に示す立体画像を観察
することができる。これは複眼カメラ本体１にある記録
媒体から立体の映像信号を読み出し、表示素子４へ供給
することにより観察可能となる。

【００４２】立体表示可能な表示素子４は、液晶層など
からなる表示画素部１０とガラス基板１１の間に形成さ
れている。

【００４３】５は照明光源となるバックライトである。
その前方には、光が透過する市松状の開口を有するマス
クパターンを形成したマスク基板６が配されている。

【００４４】このマスクパターンはクロムなどの金属蒸
着膜または光吸収材からなり、ガラスまたは樹脂からな
るマスク基板上にパターンニングすることにより形成さ
れる。

【００４５】マスク基板６と画像表示用液晶ディスプレ
イ１０の間には、マイクロレンズとして透明樹脂または
ガラス製の互いに直交する２つのレンチキュラーレンズ
７，８が配置されている。

【００４６】そして、レンチキュラーレンズと画像表示
用液晶ディスプレイ１０の間には、高分子分散液晶９が
配置されている。

【００４７】画像表示用液晶ディスプレイ１０には図中
のように左右の撮像系２，３から得られた画像を上下方
向に交互に横ストライプ状に配列して表示する。

【００４８】バックライト５からの光はマスク基板６の
各々の開口を透過し、レンチキュラーレンズ７，８及び
高分子分散液晶９を順次通過して、画像用液晶ディスプ
レイ１０を照明し、撮影観察者の両眼に先の画像が左右
の視差画像として分離して観察される。これにより立体
的な画像を撮影者が観察可能となる。

【００４９】このとき高分子分散液晶９には電界がかけ
られており、マスク６とレンチキュラーレンズ７，８で
指向された光がその指向性を保ったまま、すなわち観察
者の両眼に画像が分離して観察されるよう、画像表示用
液晶ディスプレイ１０を照明している。

【００５０】次に立体映像撮像時のカメラ内での信号の
流れ、処理の流れを図３を用いて説明する。

【００５１】図３において、２０，２００はＣＣＤ等の
撮像素子（本発明の撮像手段に相当する）、２４はＣＣ
Ｄの垂直ドライバ、２１，２０１はＣＤＳ・ＡＧＣ回
路、２２，２０２はクランプ回路、２３，２０３はＡ／
Ｄ変換器、２５はタイミングジェネレータ、２６，２０
６は色信号処理回路、２７は信号処理回路、２８はＶＲ
ＡＭ、２９は図２のＬＣＤ表示デバイスによる立体表示
可能な表示素子４を駆動制御する液晶ディスプレイコン
トロール回路である。

【００５２】また２０４，２０５、２００４，２００５
はプロセスメモリで、本発明のバッファメモリを構成す
るものである。２０７は圧縮／伸張回路で、例えばＭｏ
ｔｉｏｎ ＪＰＥＧ圧縮／伸張を行なう。

【００５３】２０８はディジタルのインタフェースであ
り、例えばＵＳＢ等である。２０９は記憶媒体へのアク
セスを行なうためのインタフェース、２１０は記憶媒体
で、ここでは、例えばフラッシュメモリを用いている。

【００５４】２１１はシステム全体の制御を統括して行
うＭＰＵ、２１２はワークメモリ、２１４はカメラ制御
部である。

【００５５】まず操作者が映像の記録・再生等の操作を
カメラ制御部２１４に対して入力すると、この入力に対
する信号がカメラ制御部２１４からＭＰＵ２１１へ送ら
れ、ＭＰＵ２１１により各部の制御が行なわれる。ここ
では立体映像撮影モードが選択されたとする。

【００５６】２つの撮像光学系２，３により撮影した映
像は、ＣＣＤ２０，２００の撮像素子上に結像される。

【００５７】ＣＣＤ２０，２００で光学映像は光電変換
され、それぞれ左右の画像信号として出力され、次段の
ＣＤＳ/ＡＧＣ回路（ＣＤＳは相関二重サンプリング、
ＡＧＣはオートゲインコントロール）２１，２０１で、
サンプリング及びゲインコントロールがなされ、クラン
プ回路２２，２０２を介して基準レベルにクランプされ
た後、Ａ／Ｄ変換器２３，２０３によりそれぞれディジ
タル信号に変換される。

【００５８】このとき、左右の画像信号はＣＣＤ垂直ド
ライバ２４とタイミングジェネレータ２５の制御により
同期して駆動処理されているので、時間的に左右同じ時
刻に撮像された画像が処理されることになる。

【００５９】ＣＣＤ２０，２００にはフレーム蓄積モー
ドとフィールド蓄積モードと両方があるが、ここでは表
示ディスプレイに表示する場合と、画像を記録する場合
とでモードを切り替える場合を例にとって説明する。

【００６０】スルーで表示素子４に表示するときはフィ
ールド蓄積モードで動作する場合である。

【００６１】Ａ／Ｄ変換器２３，２０３によりディジタ
ル信号に変換された左右画像データは、それぞれの色信
号処理回路２６，２０６に送られて、色変換処理などが
施される。

【００６２】色変換が施された左右のディジタル信号は
信号処理回路２７を経由して、メモリ２０４，２０５に
ストアされる。この時ＣＣＤ２０からの画像データはメ
モリ２０４へ、ＣＣＤ２００からの画像は２０５にスト
アされる。

【００６３】次のフィールドでは、ＣＣＤ２０からの画
像はメモリ２００４へＣＣＤ２０５からの画像はメモリ
２００５にストアされる。

【００６４】このようにメモリ２０４と２００４がフィ
ールド毎に切り替えられ、画像データをストアするため
に使用される。メモリ２０５と２００５に関しても同様
である。

【００６５】一方、メモリへのストアが順々に繰り返さ
れている際に、ストアに使用していない側のメモリ、例
えばメモリ２０４，２０５がストア用に使用されている
ときのメモリ２００４，２００５からは、ストアされて
いる画像が読み出される。すなわち読み出すアドレスを
画像が反転するよう、後述する図１に図示したアドレス
エンコーダ１００１，１００２から読み出しアドレスが
出力され、このアドレスにしたがって、画像が読み出さ
れて行く。

【００６６】これにより、あるフィールドでは片方のメ
モリ２０４，２０５は書き込みに使用され、もう一方の
メモリ２００４，２００５は読み出しに使用され、交互
に読み書きが繰り返される。すなわちダブルバッファと
してメモリが使用される（本発明では、このメモリの切
り替え動作により、書き込み及び読み出し動作を実行す
る形態をダブルバッファと称することにし、本発明のダ
ブルバッファ手段に相当する）。

【００６７】この際、読み出しは反転して読み出される
ので、撮像ヘッド内に使用されているミラーによって画
像が反転されているものも、正常に読み出すことができ
る。

【００６８】読み出された画像は信号処理回路２７にお
いて、液晶ディスプレイの画素サイズに変換され、左右
画像が上下１ラインずつ交互に合成されてＶＲＡＭ２８
に転送される。信号処理回路２７は、このように双方向
にわたる制御を行なう。

【００６９】この時点でＣＣＤで撮像された信号は画像
として、それぞれメモリ２０４、２０５あるいは２００
４，２００５のどちらかに、ならびにＶＲＡＭ２８に保
持されたことになる。

【００７０】複眼カメラ内の表示素子４にて立体映像信
号生成のためには、ＶＲＡＭ２８の内容を使用するが、
このＶＲＡＭ２８は表示用の画像メモリであり、液晶デ
ィスプレイ４に表示する画像の容量を持っている。

【００７１】メモリ２０４，２０５あるいは２００４，
２００５に保持された画像の画素数と液晶ディスプレイ
による表示素子４の表示画像の画素数は同数とは限らな
いので、信号処理回路２７にはその間引きや補間を行な
う機能を備えているわけである。

【００７２】ＶＲＡＭ２８に書き込まれた右側画像と左
側画像は走査線ごとに交互に左右の画像が液晶ディスプ
レイコントロール回路２９を介して液晶ディスプレイの
表示素子４上に表示される。これにより観察者は立体映
像を観察可能となる。

【００７３】次に、信号処理回路２７での流れを図１を
用いて説明すると、図１において、１００１はアドレス
発生部、１００５はデータ制御回路である。

【００７４】その他の共通部材は同一番号を付してい
る。Ａ／Ｄ変換器２３からのディジタル信号は、(1)の
経路で色信号処理回路２６に送られ、色変換処理などが
施され、色変換が施されたディジタル信号は(2)の経路
でメモリ２０４にストアされる。この時、書き込みのア
ドレスはアドレス制御回路１００１により発生される。

【００７５】前のフィールドでメモリ２００４にストア
されている画像は同時に、アドレス発生部１００１より
所望の間引き、合成がなされるようアドレス発生がなさ
れ、経路(3)でＶＲＡＭ２８へと転送される。

【００７６】これと同様のことが、反対側のＡ／Ｄ変換
器２０３からの信号についても言えるのは前述の通りで
ある（経路(4)）。

【００７７】経路(3)にて送出される信号は、データ制
御回路１００５により、アドレスが発生されるととも
に、左右の画像を振り分けるようスイッチされて経路
(3)もしくは経路(5)のデータがＶＲＡＭ２８に書き込ま
れて行く。

【００７８】ここで言うスイッチとは、左右画像が上下
１ラインづつ交互に合成されていくようにＶＲＡＭ２８
に転送されることを言う。

【００７９】合成画像の生成を図４に更に模式的に示
す。図４において、３０，３００はそれぞれＣＣＤで撮
像されたフィールド画像、３１，３０１は横１／２に圧
縮された画像である。

【００８０】ＣＣＤの有効画素数は、６４０＊２４０
（１フィールド）でＬＣＤの表示画素数は３２０＊２４
０として以下に説明を行なう。

【００８１】撮像光学系２，３によりＣＣＤに結像され
た左右画像は、ディジタル信号となり、色変換され有効
画素として３０，３００に示すようにそれぞれ６４０＊
２４０である（１ラインごとにＬ０，Ｌ１，……… ，
Ｌ２３９、Ｒ０，Ｒ１，……，Ｒ２３９である）。

【００８２】この信号が信号処理回路２７を介して、一
方ではそのままメモリ２０４，２０５あるいは、２００
４，２００５に保持されると共に、信号処理回路２７内
にて、まずそれぞれの左右画像３０，３００がＬＣＤサ
イズにあわせて３２０＊２４０のサイズの画像３１，３
０１に変換される（１ラインごとにＬ’０，Ｌ’１，…
…… ，Ｌ’２３９、Ｒ’０，Ｒ’１，……，Ｒ’２３
９である）。この変換は単純な間引きでもよく、補間さ
れていてもよい。

【００８３】次に３２０＊２４０に変換された左右画像
３１，３０１は、次に３２に示すように１ラインごとに
交互にＬ’０，Ｒ’０，Ｌ’２，Ｒ’２……… ，Ｒ２
３８のように合成される。合成された画像はＶＲＡＭ２
８に書き込まれる。

【００８４】また操作者がカメラ制御部２１４を介して
立体映像撮影モードを選択することにより、ＬＣＤ制御
部２９にそのモードが伝えられ、高分子分散液晶９に電
界が印加される。すなわちＬＣＤ制御部２９からは表示
する映像信号と高分子分散液晶９を制御する信号の２つ
が出力される。これにより立体的に観察可能なことは、
前述した通りである。

【００８５】次に画像の記録に関して説明する。記録媒
体の種類は磁気テープ、磁気ディスク、光ディスク、半
導体メモリ等を用いることが可能だが、ここではフラッ
シュメモリを例に挙げ説明する。

【００８６】記録媒体へのインターフェース２０９は記
録媒体２１０の空き領域に立体映像信号をディジタル形
式のままファイルとして保存し、またファイル管理領域
への登録も行なう。

【００８７】これは記録の開始を撮影者がカメラ制御部
２１４へと指示する操作を入力することにより始まり、
撮影の指示がＭＰＵ２１１に識別されると、ＣＣＤはフ
ィールド蓄積モードからフレーム蓄積モードに変更さ
れ、前述のように処理され、メモリ２０４，２０５，２
００４，２００５に保存される。

【００８８】これは２０４，２０５がそれぞれＣＣＤの
１フィールド分の画像記憶容量を持つものとすると、蓄
積モードをフレーム蓄積モードにすることにより倍の記
憶容量が必要となる。

【００８９】この時、複眼でフレーム蓄積モードである
ことから、２フレーム分の記録容量が必要となる。

【００９０】すなわち２フレーム分の容量は４フィール
ド分の容量となるので２０４，２０５，２００４，２０
０５のすべてのメモリを使用する。

【００９１】ＶＲＡＭ２８に保持されている内容は、液
晶ディスプレイにそのまま表示され、記録動作に入る前
に行なわれていたメモリ２０４等からのデータの流れは
いったん停止され、ディスプレイ上には静止した画面が
表示されている。

【００９２】メモリ２０４，２０５，２００４，２００
５にストアされた内容は、まずはメモリ２０４，２００
４を先に信号処理回路２７を介して、圧縮回路２０７に
送り、情報の圧縮を行ない、圧縮されたデータはワーク
メモリ２１２に保持される。図１上の経路(6)を介して
行なわれる。

【００９３】次に、同様にメモリ２０５、２００５の内
容を信号処理回路２７を介して圧縮回路２０７に送り、
情報の圧縮を行ない、圧縮されたデータをワークメモリ
２１２に保持する。図１の経路(7)である。

【００９４】ここでは圧縮方式の例としてMotion JPEG
を行なうこととする。圧縮されたデータ（１フレームも
しくは１フィールド分のデータ）はワークメモリ２１２
に保持されており、これを圧縮し、例えばs001L.Mjpg、
s001R.Mjpgといったファイル名を付け、まず最初の１フ
レームもしくは１フィールドを前記ファイルとして書き
込む。

【００９５】次々と流れてくるフレームもしくはフィー
ルドのデータも同様に、続けてその後ろに書き込む。書
き込まれた左右動画圧縮画像は、ペアとしてファイル管
理される。

【００９６】この時ファイル管理領域にはペアを識別す
る識別情報も同時に記録される。更に上記の各画像とと
もに、サムネール画像を記録する。

【００９７】ここでサムネール画像とは上記本画像に対
して、動画の最初のフレーム（もしくはフィールド）、
ここでは左右の動画像あるいは左側（例えば）のフレー
ムの縮小された画像のことを指し、例えば８０＊６０の
大きさの縮小画像を指す。

【００９８】このサムネール画像は本動画像の圧縮画像
作成と同じく、メモリ２０４、２００４の内容を信号処
理回路２７を介して、いったん８０＊６０の大きさに縮
小して、その後、圧縮回路２０７に送り、情報の圧縮を
行い、圧縮されたデータはワークメモリ２１２に保持さ
れる。

【００９９】ここでは圧縮の例として１フレームのみ
（左側だけ）のMotion JPEGを行なうこととする（これ
はJPEGと同じである）。

【０１００】圧縮されたデータはワークメモリ２１２に
保持されており、これに例えば、ss001L.mjpgといった
ファイル名を付け、サムネール圧縮画像としてファイル
管理を行なうものとする。

【０１０１】この時、ファイル管理領域には左右動画像
を識別する識別情報も、同時に記録される。

【０１０２】以上が立体動画像記録の流れであり、カメ
ラ使用者はディスプレイで立体映像観察を行ない、所望
の時にのみ記録動作を行なうことができる。

【０１０３】これにより、撮影時の自由度が大きく、撮
影中カメラを持って移動する場合でも立体感を確認でき
る。

【０１０４】次に、簡単に記録媒体２１０に記録された
立体動映像の再生について説明する。

【０１０５】媒体中には複数のファイル立体映像が記録
されているため、まずメモリＩ／Ｆ２０９は記録媒体２
１０の管理領域を調べ、画像ファイル登録データをＭＰ
Ｕ２１１へ送る。

【０１０６】ＭＰＵ２１１ではこの場合は立体として再
生可能な画像ファイルを選択し、該当する画像ファイル
名データを任意の表示フォーマットに整え、その画像フ
ァイルとしてサムネール画像に相当するものを、記録媒
体２１０から読み込み、ワークメモリ２１２に保持す
る。

【０１０７】ワークメモリ２１２に保持されたサムネー
ル画像はJPEG圧縮（１フレームのみのMotion JPEG）さ
れているので、サムネール画像の９枚を選択して、信号
処理回路２７へデータとして送り、立体ディスプレイに
図５のように表示する。

【０１０８】この時、立体ディスプレイは、２次元表示
モードとなっており、サムネール画像は立体画像を意味
するフラグ情報を同時に表示する。

【０１０９】図５において、１００はサムネール画像、
Ｓは立体画像を意味するフラグである。操作者は表示さ
れたサムネール画像から再生したい画像ファイルを選択
し、カメラ制御部２１４へ入力する。

【０１１０】入力信号はカメラ制御部２１４からＭＰＵ
２１１へ送られ、選択されたファイルの動画データがフ
レーム単位でメモリＩ／Ｆ２０９を介して記録媒体２１
０から読み出され、ワークメモリ２１２に転送される。

【０１１１】その後ワークメモリの情報を圧縮/伸張回
路２０７を介して１フレーム分の画像データが伸張さ
れ、プロセスメモリ２０４、２０５に送られる。

【０１１２】この後は前述したようにＶＲＡＭ２８でサ
イズ変換され、インターレース合成された後、立体映像
としてディスプレイ４へ表示される。

【０１１３】次のフレームも同様に処理され、これらを
繰り返し実行することにより、動画像が再生される。こ
のように、撮影された立体画像を簡単に再生することが
できる。

【０１１４】また、不図示のマイクを各撮像光学系と一
緒に配置することで、映像と共に音声に対しても、より
立体的な効果が得られる。

【０１１５】以上の構成によれば、ＣＣＤ２３側で撮像
した画像は、色信号処理回路２６を介してフィールド周
期でメモリ２０４，２００４の一方に書き込まれ、書き
込みの行なわれない他方のメモリからは、前フィールド
期間に書き込まれた画像が読み出され、データ制御回路
１００５にフィールド周期で供給される。

【０１１６】一方、ＣＣＤ２０３側で撮像した画像は、
色信号絵処理回路２０６を介してフィールド周期でメモ
リ２０５，２００５の一方に書き込まれ、書き込みの行
なわれない他方のメモリからは、前フィールド期間に書
き込まれた画像が読み出され、データ制御回路１００５
にフィールド周期で供給され、メモリ２０４，２００４
側から供給されるフィールド画像と合成される。

【０１１７】これらの両撮像系からの画像は時間的に同
時に撮像されており、これらを画像合成してＶＲＡＭ２
８へと格納することにより、フィールド周期で立体画像
をモニタすることができ、少ないメモリを効率的に切り
換えることにより、立体画像の動画表示が可能となる。

【０１１８】また記録媒体に記録を行なう場合には、４
つのメモリを用いて、立体フレーム画像を互いに属性、
識別情報とともに記録することができる。

【０１１９】（第２の実施例）第１の実施例では表示装
置に立体液晶ディスプレイを用いたが、このデバイスの
かわりに、カメラから立体画像を出力し、液晶シャッタ
メガネで立体画像を観察することも考えられる。

【０１２０】この場合、図１における信号の流れは左右
の画像がライン順次にスイッチされたが、左右の画像が
フレーム単位でスイッチされる。

【０１２１】以下、図７に図１と同様に、信号の流れを
付加して説明する。

【０１２２】図１の構成との違いは、出力先がＶＲＡＭ
２８とＤ／Ａ変換器７００がある点である。

【０１２３】Ａ／Ｄ変換器２３からのディジタル信号
は、(1)の経路で色処理回路２６に送られ、色変換処理
などが施される。

【０１２４】色変換が施されたディジタル信号は(2)の
経路でメモリ２０４にストアされる。この時、書き込み
のアドレスはアドレス制御回路１００１により発生され
る。

【０１２５】次に前のフィールドでメモリ２００４にス
トアされている画像は同時に、アドレス制御回路１００
１より所望の間引き、合成がなされるようアドレス発生
がなされ、経路(3)でＶＲＡＭ２８へ転送される。

【０１２６】これと同様のことが、反対側のＡ／Ｄ２０
３からの信号についても言えるのは前述の通りである。

【０１２７】しかしながらＶＲＡＭ２８への出力は経路
(3)にて送出されてくる信号のみを用いる。

【０１２８】一方、Ｄ／Ａ変換器７００には、左右の画
像を振り分けるようスイッチされて経路(3)’もしくは
経路(5)’のデータがＤ／Ａ変換器７００に供給され
る。

【０１２９】ここで言うスイッチとは、たとえば左右画
像が左右１フィールドづつ交互に出力されるよう、Ｄ／
Ａ変換器７００に転送されることを言う。

【０１３０】これにより、液晶ディスプレイの表示素子
の片側の画像が出力されるとともに、Ｄ／Ａ変換器７０
０を介してフィールド順次の画像がカメラから出力さ
れ、ＴＶ信号となり、これを液晶シャッタメガネで観察
することにより立体像画像を観察することができる。

【０１３１】（第３の実施例）前述の第１、第２の実施
例では、いずれもダブルバッファは色信号処理回路の後
段に用いられたが、Ａ／Ｄ変換器２３，２０３のすぐ後
段に用いることも可能である。

【０１３２】この場合の図を図８に示す。図８におい
て、９００は色信号処理回路である。

【０１３３】Ａ／Ｄ変換器２３からのディジタル信号
は、経路(81)でダブルバッファ２０４，２００４の片側
に送られ、書き込まれる。

【０１３４】同様にもう片側のＡ／Ｄ変換器２０３から
のディジタル信号も例えばダブルバッファ２０５へと送
信され、書き込まれる（経路(82)）。

【０１３５】ダブルバッファのもう一方のメモリ（今回
は２００４，２００５）からディジタル信号が読み出さ
れ（経路(83)，(84)）、色処理回路９００に送信され、
色変換処理などが施される。

【０１３６】この時、左右のダブルバッファのそれぞれ
の書き込まれていない方の読み出し側のメモリからデー
タが読み出されるのは言うまでもない。

【０１３７】また左右どちらのデータが色信号処理回路
に送られるかは（経路(83)，(84)の選択は）、第１の実
施例と同じディスプレイの場合はライン順次に、第２実
施例の場合、フィールド順次に送信される。

【０１３８】色信号が施された後は所望の間引き、補間
回路を経てＶＲＡＭへと出力されて行く（経路(85)）。

【０１３９】この場合、色信号処理回路９００より後段
が旧通貨されてるというメリットも生じる。

【０１４０】尚、本実施例１，２，３では書き込みを行
なった後に、読み出し時に反転して読む例で説明した
が、書き込みを反転して、読み出しを通常に行なうこと
を実施してもよい。

【０１４１】また本実施例では色信号処理回路。Ａ／Ｄ
変換器の後段にダブルバッファを用いたがその場所は間
引き回路、補間回路などのいずれの後段にあっても良
い。

【０１４２】また、本実施例では、ダブルバッファを実
現するのに、ＤＲＡＭを４個使用するようにして説明し
たが、これは物理的の４個に限定されるものではなく、
メモリ素子の数にこだわるものではなく、容量の大きい
メモリ内において、実質的に４個のメモリを構成し、機
能的にダブルバッファを実現可能としてもよく、ようす
るにダブルバッファの機能を達成できれば、何でも良
い。

【０１４３】尚、上述の実施形態では、本発明を立体画
像を生成する場合について説明したが、例えばパノラマ
画像の生成等の他の画像処理にも適用可能であることは
言うまでもない。

【０１４４】

【発明の効果】以上述べたように、本発明によれば、立
体画像を撮影するとともに、立体ディスプレイにおいて
立体画像を観察することを可能とし、立体感を確認しな
がら撮影を行なうことができ、かつ記録並びにスルー表
示時にダブルバッファとしてメモリを使用することによ
り、メモリの効率化が可能となり、リアルタイムで、且
つ省電力、低コストで立体画像の撮影が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における、信号処理回路
の構成と信号の流れを示す概略図である。

【図２】本発明で用いる複眼カメラの構成を示す図であ
る。

【図３】本発明での複眼カメラのシステム構成を示すブ
ロック図である。

【図４】表示用の画像を生成する概念を示す図である。

【図５】サムネール画像の表示例を示す図である。

【図６】撮像光学ヘッド部の構成を示す図である。

【図７】本発明の第２の実施例における信号処理回路の
構成及び信号の流れを示す図である。

【図８】本発明の第３の実施例を示す信号処理回路の構
成及び信号の流れを示す図である。

【符号の説明】

１ 複眼カメラ本体 ２ 右側撮像系 ３ 左側撮像系 ４ 表示素子 ２６ 色信号処理回路 ２７ 信号処理回路 ２８ ＶＲＡＭ ２０４ メモリ ２０５ メモリ １００１ アドレス制御回路 １００５ データ制御回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 崎村 岳生 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 Ｆターム(参考） 5C022 AA13 AB43 AB61 AB62 AB68 AC01 AC42 AC54 AC55 AC69 5C061 AA07 AB02 AB04 AB08 AB11 AB12 AB16 AB17 5C066 AA01 AA03 BA01 CA01 DD06 EE01 GA01 GA31 HA02 HA03 KE01 KE09 KE11 KM02 KM11 KM13

Claims (17)

【特許請求の範囲】
1. 【請求項１】 複数の撮像手段と、 前記複数の撮像手段から出力された画像データをそれぞ
   れ一時的にストアする複数のバッファメモリと、 前記バッファメモリより読み出した画像データを合成す
   る画像合成手段と、を備えたことを特徴とする撮像装
   置。
2. 【請求項２】 請求項１において、 前記複数のバッファメモリは、前記撮像手段より出力さ
   れた画像データの書き込み・読み出しを切り換えて使用
   するダブルバッファとして用いることを特徴とする撮像
   装置。
3. 【請求項３】 請求項２において、 前記撮像手段より出力された画像データにそれぞれ所定
   の色信号処理を施す色信号処理回路を備え、前記ダブル
   バッファは、前記色信号処理回路の後段に設けられてい
   ることを特徴とする撮像装置。
4. 【請求項４】 請求項２において、 前記撮像手段より出力された画像データにそれぞれ所定
   の信号処理を施す信号処理回路を備え、前記ダブルバッ
   ファは、前記色信号処理回路の前段に設けられているこ
   とを特徴とする撮像装置。
5. 【請求項５】 請求項２において、 前記画像合成手段によって、前記複数の撮像手段それぞ
   れにおける画像データを合成するにあたり、前記各画像
   データに対して間引きあるいは補間処理を施す間引き・
   補間回路を備え、前記ダブルバッファは前記間引き・補
   間回路の後段に設けることを特徴とする撮像装置。
6. 【請求項６】 複数の撮像手段と、画像を立体表示可能
   な立体ディスプレイと、 前記複数の撮像手段からの画像データを一時的にストア
   し、前記撮像手段より出力された画像データの書き込み
   ・読み出しを切り換えて使用するダブルバッファとして
   用いるバッファメモリと、 前記バッファメモリより読み出した画像データを合成す
   る画像合成手段と、を備えたことを特徴とする撮像装
   置。
7. 【請求項７】 請求項６において、 前記立体ディスプレイは、リアバリア方式のディスプレ
   イであることを特徴とする撮像装置。
8. 【請求項８】 請求項６において、 前記立体ディスプレイは、液晶シャッタ方式のディスプ
   レイであることを特徴とする撮像装置。
9. 【請求項９】 左右の撮像手段と、 前記左右の撮像手段から出力された画像データをそれぞ
   れ一時的にストアする左右のバッファメモリ手段と、 前記左右のバッファメモリ手段よりそれぞれ読み出され
   た画像データを合成する画像合成手段と、を備え、 前記左右のバッファメモリ手段は、それぞれ複数のメモ
   リを有し、画像データの書き込み動作と読み出し動作を
   所定の周期で同時に実行可能に構成され、 前記画像合成手段は、前記左右のバッファメモリ手段そ
   れぞれから出力された画像データを合成して前記所定の
   周期で出力可能に構成されていることを特徴とする撮像
   装置。
10. 【請求項１０】 請求項９において、 前記所定の周期はフィールド周期であることを特徴とす
    る撮像装置。
11. 【請求項１１】 請求項１０において、 前記画像合成手段より出力された合成画像データを記憶
    する画像メモリと、 該画像メモリに記憶された画像を表示する表示手段とを
    備えることにより、 前記左右の撮像手段によって撮像された左右の画像デー
    タを合成した画像を前記フィールド周期で表示し得るよ
    うに構成したことを特徴とする撮像装置。
12. 【請求項１２】 請求項９において、 前記左右のバッファメモリ手段は、それぞれ前記複数の
    メモリに対して書き込み動作と読み出し動作を交互に前
    記所定の周期で切り換え制御することにより、前記バッ
    ファメモリ手段に対する画像データの書き込み動作と読
    み出し動作を同時に可能としたことを特徴とする撮像装
    置。
13. 【請求項１３】 請求項１０において、 前記左右のバッファメモリ手段からそれぞれ読み出され
    た画像データを記録媒体に記録する記録手段を備え、前
    記記録手段は、前記記録媒体上に、前記左右のバッファ
    メモリより読み出された画像データ及びこれらの画像デ
    ータがそれぞれ立体画像を構成する左右の画像であるこ
    とを示す属性を記録するように構成されていることを特
    徴とする撮像装置。
14. 【請求項１４】 請求項１１において、 前記画像データを圧縮符号化して前記表示手段へと供給
    する圧縮符号化手段を備えたことを特徴とする撮像装
    置。
15. 【請求項１５】 複数の撮像手段から出力された画像デ
    ータをそれぞれ複数のバッファメモリにストアし、 前記複数のバッファメモリ手段よりそれぞれ読み出され
    た画像データを合成して立体あるいはパノラマ画像を生
    成させる画像生成方法であって、 前記複数のバッファメモリ手段のそれぞれを、複数のメ
    モリで構成するとともに、画像データの書き込み動作と
    読み出し動作を所定の周期で同時に実行可能とし、前記
    複数のバッファメモリ手段それぞれから出力された画像
    データを合成して前記所定の周期で出力するようにした
    画像生成方法。
16. 【請求項１６】 請求項１５において、 前記所定の周期をフィールド周期となし、前記画像合成
    された合成画像データを画像メモリに記憶し、該記憶さ
    れた画像データを表示手段に表示することによって、前
    記複数の撮像手段によって撮像された複数の画像データ
    を合成した画像を前記フィールド周期で表示し得るよう
    にしたことを特徴とする画像生成方法。
17. 【請求項１７】 請求項１５において、 前記左右のバッファメモリ手段は、それぞれ前記複数の
    メモリに対して書き込み動作と読み出し動作を交互に前
    記所定の周期で切り換え制御することにより、前記バッ
    ファメモリ手段に対する画像データの書き込み動作と読
    み出し動作を同時に可能としたことを特徴とする画像生
    成方法。