JP2007104583A - 撮影装置 - Google Patents

Abstract

【課題】信号処理部による合成処理の高速化を実現した撮影装置を提供する。
【解決手段】ＡＦＥ１２Ａ，１２Ｂ，１２ＣによってＣＣＤ１１Ａ，１１Ｂ，１１Ｃからの各画素ごとの画素信号のうち重複領域にある画素信号についてはフラグＦＬＧ＿Ａ（Ｂ，Ｃ）＝‘１’を付加して画像合成部１３に出力する。画像合成部１３は、画像信号中のフラグをチェックして‘１’が立っていたら重複領域の信号であると判定する。３つのＡＦＥ１２Ａ〜１２Ｃから供給されてくる各画像信号のフラグをすべて確認して合成画像信号を生成する。
【選択図】図３

Description

本発明は、撮影光学系と撮像素子とを具備した撮像部を２つ以上備えた撮影装置に関する。

撮影装置の中には、撮影光学系と撮像素子とを具備した撮像部を２つ以上備えた複眼カメラと呼ばれる撮影装置がある。このような撮影装置を用いて撮影を行なうと、２つ以上の撮像部各々で撮影した画像を合成することによりパノラマ画像を得ることもできる。

この２つ以上の撮像部を備えた撮影装置によって撮影が行なわれるときには、１つの撮影光学系が捉える画角とその撮影光学系の画角に隣接する画角を持つ撮影光学系の画角とを少々重複させておいて画像合成部によってその重複領域を検出することにより双方の撮影光学系で捉えた画像を連続的に繋ぐ処理が行なわれている。

例えば、画像合成部により画像合成を行なうにあたって特許文献１の技術によれば、二つ以上の撮像部各々から得られた画像信号の一方の画像信号をずらしながら減算処理を行なっていきその減算結果が最小になったところを重複領域とするような処理が行なわれている。しかしながら画像信号をずらしながら減算処理を行なっていくようなことを行なうとその減算処理に時間がかかるという問題がある。
特開平０６−１２５４９７号公報

本発明は、上記事情に鑑み、画像合成部による画像合成処理の高速化を実現した撮影装置を提供することを目的とする。

上記目的を達成する本発明の撮影装置は、撮影光学系と撮像素子とを具備した撮像部を２つ以上備えた撮影装置において、
上記２つ以上の撮影光学系それぞれが捉える画角は相互に隣接する部分に双方の画角が重なり合う重複領域を有するものであって、
上記２つ以上の撮像素子それぞれで生成された画像信号それぞれを受け取って受け取った画像信号それぞれが表わす画像を合成した画像を表わす合成画像信号を生成する画像合成部と、
上記撮像素子と上記画像合成部との間にその撮像素子の数分だけ設けられ、上記撮像素子で生成されたアナログの画像信号をデジタルの画像信号に変換して上記画像合成部に出力する中間処理部とを備え、
上記中間処理部それぞれは、上記２以上の撮影光学系それぞれが捉える画角の重複領域それぞれの座標データが予め記憶された記憶部を備え、
その記憶部を参照して、上記撮像素子で生成された、その撮像素子が備える各画素ごとの画像信号それぞれが重複領域に在る画素の画像信号であるか、重複領域にはない画素の画像信号であるかが上記画像合成部で識別されるようにその画像信号に所定の処理を施してから上記画像合成部に出力するものであることを特徴とする。

上記本発明の撮影装置によれば、上記中間処理部それぞれによって上記重複領域にある画素の画像信号であるかないかが画像合成部側によって簡単に識別されるような所定の処理が施されてから画像信号が画像合成部に出力される。

そうすると、上記画像合成部は、いままでのように上記中間処理部から得た画素信号をずらしながら上記重複領域を探索する処理を行なわなくても即座に重複領域の画像信号であるかどうかを識別することができるようになる。つまり、一方の画像信号をずらす処理を行なわなくても済む分、上記画像合成部における画像合成処理の高速化が達成されることになる。

以上説明したように画像合成部による画像合成処理の高速化を実現した撮影装置が実現する。

上記画像合成部で識別されるように上記中間処理部が画像信号に所定の処理を施すにあたっては以下に示す機能を有していれば良い。

例えば、上記中間処理部は、上記記憶部に記憶された座標データに基づいて各画素ごとの画像信号にその画素が上記重複領域内の画素であるか否かを表わすフラグを付加してから上記画像合成部に出力するものであっても、また、上記中間処理部は、上記記憶部を参照して、上記撮像素子それぞれが備える各画素ごとの画像信号それぞれが重複領域に在った場合には、隣接するいずれか一方の撮像素子側の画像信号を０レベルにして上記画像合成部に出力するものであっても、さらに、上記中間処理部が上記撮像素子にリセットパルスを供給してその撮像素子から強制的に０レベルを表わす信号を出力させることが自在なものであれば、上記中間処理部は、上記記憶部を参照して、上記撮像素子それぞれが備える各画素ごとの画像信号それぞれが重複領域に在ると判定した場合には、上記撮像素子に上記リセットパルスを供給して、隣接するいずれか一方の撮像素子側の画像信号を０レベルにして上記撮像素子から出力させて上記画像合成部にその０レベルを表わす信号を出力するものであっても良い。

ここで、上記機能を上記中間処理部に持たせるにあたっては、従来より配備されているアナログフロントエンドにその機能を持たせることが好ましい。

そうすると、従来のものを用いて簡単に上記中間処理部を構成することができる。

さらには上記中間処理部から上記０レベル信号を表わす信号が出力されてきたときにおいて、
上記画像合成部は、上記中間処理部のいずれかから出力された画素ごとの画像信号の値が所定の値以上の変化があってしかもその後０レベルの信号が続くことを検知した場合には、その所定の値以上の変化があった部分を境界として０レベルの信号が続く領域を重複領域であるとみなして画像信号の画像合成処理を行なうものであると良い。

そうすると、いままでの機能を若干拡張するだけで簡単に上記機能に適合する画像合成を構成することができる。

以上、説明したように、画像合成部による画像合成処理の高速化を実現した撮影装置が実現する。さらに従来の構成のものを用いることができるため、撮影装置の低廉化を図ることができるという効果も得られる。

以下、本発明の実施の形態について説明する。

図１は本発明の一実施形態である撮影装置１の外観を示す図である。

図１に示す撮影装置１は、３つの撮影レンズ１０Ａ，１０Ｂ，１０Ｃを備えたものである。これらの撮影レンズ１０Ａ〜１０Ｃが捉えている画角はそれぞれ異なる画角であって、これらの撮影レンズ１０Ａ〜１０Ｃが捉えた被写体を繋ぐとパノラマ写真が得られる。

図２は、図１に示す３つの撮影レンズそれぞれが捉える画角を示す図である。

３つの撮影レンズ１０Ａ〜１０Ｃのうちの撮影レンズ１０Ａの画角には符号Ａを付し、撮影レンズ１０Ｂの画角には符号Ｂを付し、撮影レンズの画角には符号Ｃを付してある。また各画角Ａ，Ｂ，Ｃをそれぞれ異なる座標系として、それぞれの座標系の座標を（Ｈｓｉｚｅ、Vｓｉｚｅ）Ａ、（Ｈｓｉｚｅ、Vｓｉｚｅ）Ｂ、（Ｈｓｉｚｅ、Vｓｉｚｅ）Ｃのように表わすことにする。

図２には、撮影レンズ１０Ａと撮影レンズ１０Ｂとの双方が捉えている重複領域、撮影レンズ１０Ｂと撮影レンズ１０Ｃとの双方が捉えている重複領域がともにハッチングで示されており、前者側の重複領域の水平方向の長さをＨｃＡ、垂直方向の長さをＶｃＡとし、後者側の重複領域の水平方向の長さをＨｃＢ、垂直方向の長さをＶｃＢとする。

これらハッチングで示されている重複領域の座標データをアナログフロントエンド内のメモリに記憶しておけば、撮像素子から出力されてきた画像信号を画像合成部に出力するときにそのメモリを参照して重複領域である場合にはフラグを付加して画像信号を出力する処理を行なうことができる。なお図２に示すように３つの画角Ａ，Ｂ，Ｃが上下いずれかの方向にそれぞれオフセットされて設定されているような場合には、それぞれの画角の高さをオフセット方向（上方向：オフセット量Ｖ**あるいは下方向：オフセット量−Ｖ**など）を、重複領域を示す座標データとともにメモリに記憶するようにしておけば良い。

図３は、図１に示す撮影装置の内部構成を示す図である。

図３に示すようにそれぞれの撮影レンズ１０Ａ，１０Ｂ，１０Ｃの後方には撮像素子（ここではＣＣＤ固体撮像素子が用いられているので以降の説明においてはＣＣＤと記載する）１１Ａ〜１１Ｃが備えられており、それらのＣＣＤ１１Ａ〜１１Ｃの後段にアナログフロントエンド（以降ＡＦＥという）１２Ａ〜１２Ｃがそれぞれ配備されている。それらのＡＦＥ１２Ａ〜１２ＣによってＣＣＤ１１Ａ〜１１Ｃそれぞれから出力されてきたアナログの画像信号のノイズが低減された後、さらにそのノイズの低減が行われたアナログの画像信号のデジタル信号への変換が行なわれる。

本実施形態においては３つのＡＦＥ１２Ａ，１２Ｂ，１２Ｃ内でデジタル信号に変換された画像信号それぞれが画像合成部１３に供給されるときには、ＡＦＥ１２Ａ，１２Ｂ，１２Ｃ内のメモリ１２０Ａ，１２０Ｂ，１２０Ｃがそれぞれ参照され重複領域にある画素の画像信号についてはフラグビットが付加されてから画像合成部１３に供給される。

そのフラグビットが付加された画像信号を受けた画像合成部１３によって、そのフラグにより重複領域内の画像信号であると判定された画像信号については例えば重複領域の画像信号のうちの一方の画像信号を切り捨てるとともに繋ぐ処理等が行なわれ３つのＡＦＥ１２Ａ〜１２Ｃから出力されてきた画像信号に基づいて合成画像信号が生成される。

こうして生成された合成画像信号が表示部に供給されてパノラマ画像が表示されたり、記録部に供給されてパノラマ画像を表わす画像データがメモリカードに記録されたりする。

なお図３からも分かるように本実施形態においては撮影レンズと撮像素子とを具備した撮像部を３つ備えた場合の例が示されている。

図４は、ＡＦＥ１２Ａから出力された画像信号が、画像合成部１３に入力されるときの入力順序を示す図である。

図４に示すように左下の位置にある画素に対応する画像信号から順次出力が開始されて一行づつ画像信号が出力されていって右上の位置にある画素に対応する画像信号まで出力されたら画像信号の出力が終了する。

図４に示す点線で囲まれた部分が図２中ハッチングで示されている重複領域（ＨｃＡ，ＶｃＡ）の部分になり、この部分の画像信号が画像合成部１３に出力されるときにはＮビットの画像信号に加えてフラグビットＦＬＧ＿Ａ＝‘１’が付加され画像合成部１３に入力され、それ以外のところの画像信号が出力されるときにはＦＬＧ＿Ａ＝‘０’が付加され画像合成部１３に入力される。図４には、図２に示す画角Ａと画角Ｂの重複領域が示されているが、図２に示す画角Ｂと画角Ｃの重複領域内の画素ごとの画像信号についても同様の処理が施される。

図５は、画像合成部１３が行なう処理手順を示すフローチャートである。

図５に示すように、ステップＳ５０１で３つのＡＦＥ１１Ａ〜１１Ｃより画像信号を受け取ったら次のステップＳ５０２でそれぞれの画像信号の中に重複領域であることを示すフラグが立っている画素があるかどうかをチェックする。次のステップＳ５０３へ進んで１画素分の画像信号中にフラグが立っていてＦＬＧ＿Ａ（ここではＡ領域を例に掲げてあるが、Ｂ領域であればＦＬＧ＿Ｂ、Ｃ領域であればＦＬＧ＿Ｃになる）が‘１’であると判定したらＹｅｓ側に進んで当該画素は重複領域に含まれるとみなしこのフローの処理を終了する。ステップＳ５０３で１画素分の画像信号中にフラグが立っておらずＦＬＧ＿Ａ（又はＦＬＧ＿Ｂ又はＦＬＧ＿Ｃ）＝‘０’であると判定したらＮｏ側へ進んで当該画素は重複領域に含まれないとみなしてこのフローの処理を終了する。

上記の如く各画素ごとの画像信号のうち、重複領域にある画像信号にＡＦＥ側でフラグが付加されると、画像合成部１３によって、３つのＣＣＤ１０Ａ〜１０Ｃのうちの２つの画角内に含まれる重複領域（図２に示したハッチング部）内の画像信号であるかどうかがすぐに判別される。そうすると、例えば重複領域の画像信号を切り捨てる処理等が画像合成部で行なわれ３つのＣＣＤ１０Ａ〜１０Ｃから供給されてきた画像信号がうまく繋がるように合成処理が行なわれてから表示部または記録部に合成画像信号が供給されるようになる。

このようになると画像合成部１３によって画像信号をずらしながら重複領域を探索する処理が省略されるため、画像合成処理が容易になって高速化が達成される。

なお、図４の例では、フラグをＡＦＥ内で１ビット付加するようにした例を示したが、図６に示す様にＡＦＥの後段に別途フラグ付加部１９を設けてフラグを付加する様にしても良い。図６は、ＡＦＥ１２外にフラグ付加部１９を別途設けた場合の構成を示す図である。

図７、図８は、第２の実施形態を示す図である。

図７は、ＡＦＥ１２の内部構成を説明する図である。図８は、ＣＤＳ１２１に供給される２つのサンプリングパルスＳＨＰ，ＳＨＤそれぞれの位相を変えたときにどのような画像信号が出力されるかを説明する図である。図８（ａ）には、通常時（非重複領域）の画素ごとの画像信号のサンプリングの状態を示す波形図が示されており、図８（ｂ）には、重複領域内の画素ごとの画像信号のサンプリングの状態を示す波形図が示されている。

図７に示すように、ＣＣＤからＡＦＥ１２に画像信号が出力されてくると、まずＡＦＥ内のＣＤＳ１２１によって相関２重サンプリングが行なわれ、その相関２重サンプリングされた画像信号がアンプ１２２によって増幅された後、増幅されたアナログの画像信号がＡ／Ｄコンバータ１２３によってデジタルの画像信号に変換され画像合成部１３に出力される。

上記ＣＤＳ１２１には図７に示すようにサンプリングパルスＳＨＰともう一つのサンプリングパルスＳＨＤが供給され、それぞれのサンプリングパルスに同期して２回サンプリングが行なわれて画素ごとの画像信号が生成されて後段のアンプ１２２へと供給される。この画素ごとの画像信号が生成されるときには、図８（ａ）に示すように一方のサンプリングパルスＳＨＰによって黒レベルのクランプが行なわれた後、もう一つのサンプリングパルスＳＨＤによって１画素あたりの画像信号が抽出される。

本実施形態においては、この２つのサンプリングパルスの位相を自在に変更することができる構成を持つＡＦＥを用いて上記課題を達成しようとしている。

この例においては、非重複領域の画像信号を処理するときには２つのサンプリングパルスＳＨＰ，ＳＨＤの位相関係を図８（ａ）に示す位相関係にしてまず一方のサンプリングパルスＳＨＰで黒レベルをサンプリングした後、もう一つのサンプリングパルスＳＨＤで画像信号をサンプリングするようにしている。

ここで、ＡＦＥ１２Ａ〜１２Ｃが、内蔵メモリ１２０Ａ〜１２０Ｃを参照してＣＣＤ１１Ａ〜１１Ｃからの画像信号が重複領域にある画像信号であると判定したときに、一方のサンプリングパルスＳＨＤの位相を変更して他方のサンプリングパルスと同相にし図８（ｂ）に示すタイミングでサンプリングを行なうようにして画素ごとの画像信号の出力を強制的に０レベルにしている。ここでは黒レベルにクランプしたままにするような処理を０レベルにして出力する処理としている。

このように強制的に０レベルにした信号を出力して画像合成部１３に供給し、画像合成部１３に０レベル信号が続くところを重複領域であるとみなす処理を行なわせるようにしても上記フラグを追加したときと同様の効果が得られる。

図９は、各ＡＦＥ１２Ａ，１２Ｂ，１２Ｃが行なう画像信号の出力処理の手順を示すフローチャートである。また、図１０は、図９に示す処理によりＡＦＥ１２から出力されてきた画像信号を受けて画像合成部１３が行なう画像合成処理の手順を示すフローチャートである。

ステップＳ９０１でＣＣＤより出力されてきた画素ごとの画像信号を順次受け取る。ステップＳ９０２で各ＡＦＥ１２Ａ，１２Ｂ，１２Ｃ（図３参照）は内蔵のメモリ１２０Ａ，１２０Ｂ，１２０Ｃを参照してその信号が重複領域の座標にある画素であるかどうかを判定する。このステップＳ９０２で重複領域にある画素であると判定したときには、ＹＥＳ側に進んでステップＳ９０３で一方のサンプリングパルスＳＨＤの位相を変えて双方の位相をあわせてＣＤＳ処理を行なって０レベルを表わす信号を出力する。次のステップＳ９０４へ進んで次の画素の信号があるかどうかを判定してあると判定したらＹＥＳ側に進んでステップＳ９０１に戻ってステップＳ９０２からステップＳ９０４までの処理を繰り返し、ステップＳ９０４で次の画素の信号がなく図４に示す終了位置まできたと判定したらこのフローの処理を終了する。

またステップＳ９０２で信号が重複領域のものではないと判定したらステップＳ９０５に進んでステップＳ９０５で通常のＣＤＳ処理を行なってステップＳ９０４へ進んで次の画素の信号があるかどうかを判定する。このステップＳ９０４で次の信号があると判定したらステップＳ９０２に戻ってステップＳ９０１からステップＳ９０４までの処理を繰り返し、ステップＳ９０４で次の画素の信号がないと判定したらこのフローの処理を終了する。こうして図９の処理が終了した画像信号がＡＦＥから出力される。

そのＡＦＥからの画像信号の出力を受けて画像合成部１３は図１０に示すステップの処理を開始する。

ステップＳ１００１で各ＡＦＥよりＣＣＤから出力された画素ごとの画像信号を順次受け取る。次のステップＳ１００２へ進んで信号レベル０が規定回数以上連続したかどうかを判定する。このステップＳ１００２で規定回数以上連続したと判定してＹＥＳ側に進んだらステップＳ１００３で０レベルの信号が受けた位置にある画素から０でなくなる画素までの領域を画素領域とする処理を行なって次のステップＳ１００４へ進む。またこのステップで規定回数以上連続していないと判定したらＮｏ側に進んでステップＳ１００３の処理をジャンプして次のステップＳ１００４へ進む。ステップＳ１００４で次の画素の信号があるかどうかを判定して次の画素信号があると判定したときにはＹＥＳ側に進んでステップＳ１００１〜ステップＳ１００４の処理を繰り返し、ステップＳ１００４で次の画素の信号がないと判定したらＮｏ側に進んてこのフローの処理を終了する。

このようにしても、第１実施形態と同様の効果が得られる。

図１１、図１２は、第３実施形態を示す図である。

第２実施形態においてはＡＦＥ１２内のＣＤＳ１２１で０レベルを表わす信号を生成したが、図１１，図１２に示す第３実施形態においてはＡＦＥ１２ＭからＣＣＤ１１に供給するリセットパルスの駆け方を変えることによって重複領域の画像信号を出力させるときに０レベルを表わす信号を出力させる様に変更している。

図１２（ａ）に示すように非重複領域の画像信号を出力させるにあたっては、繰り返しリセットパルスをＣＣＤに供給して１画素ごとの画像信号を通常通り出力させるようにして、上記重複領域においては１画素ごとに繰り返しリセットパルスを供給せずにＣＣＤ１１にリセットパルスを供給しっぱなしにして０レベルを表わす画素信号を出力させるようにしている。

このようにしても第２実施形態と同様の効果を得ることができる。

なお、本実施形態では撮影光学系と撮像素子とを備えた撮像部を３つ備えた撮影装置を例に挙げたが、撮像部を４つ以上備えたものであっても、また撮像部を２つ備えた撮影装置であっても良い。

本発明の一実施形態である撮影装置１の外観を示す図である。 図１に示す３つの撮影レンズそれぞれが捉える画角を示す図である。 図１に示す撮影装置の内部構成を示す図である。 ＡＦＥ１１Ａから出力された画像信号が、画像合成部１２に入力されるときの入力順序を示す図である。 画像合成部１２が行なう処理手順を示すフローチャートである。 フラグ付加部を別途設けた場合の構成を示す図である。 ＡＦＥの内部構成を説明する図である。 ＣＤＳに供給される２つのサンプリングパルスそれぞれの位相を変えたときにどのような画像信号が出力されるかを説明する図である。 ＡＦＥの処理手順を説明するフローチャートである。 ＡＦＥから出力されてきた画像信号を受けて画像合成部が行なう画像合成処理の手順を示すフローチャートである。 第３実施形態を説明する図である。 図１１の動作を説明する図である。

符号の説明

１ 撮影装置
１０Ａ １０Ｂ １０Ｃ 撮影レンズ
１１ １１Ａ １１Ｂ １１Ｃ ＣＣＤ固体撮像素子
１２ １２Ａ １２Ｂ １２Ｃ １２Ｍ ＡＦＥ
１２０Ａ １２０Ｂ １２０Ｃ メモリ
１２１ ＣＤＳ
１２２ アンプ
１２３ Ａ／Ｄコンバータ
１３ 画像合成部

Claims (6)

1. 撮影光学系と撮像素子とを具備した撮像部を２つ以上備えた撮影装置において、
   前記２つ以上の撮影光学系それぞれが捉える画角は相互に隣接する部分に双方の画角が重なり合う重複領域を有するものであって、
   前記２つ以上の撮像素子それぞれで生成された画像信号それぞれを受け取って受け取った画像信号それぞれが表わす画像を合成した画像を表わす合成画像信号を生成する画像合成部と、
   前記撮像素子と前記画像合成部との間にその撮像素子の数分だけ設けられ、前記撮像素子で生成されたアナログの画像信号をデジタルの画像信号に変換して前記画像合成部に出力する中間処理部とを備え、
   前記中間処理部それぞれは、前記２以上の撮影光学系それぞれが捉える画角の重複領域それぞれの座標データが予め記憶された記憶部を備え、該記憶部を参照して、前記撮像素子で生成された、該撮像素子が備える各画素ごとの画像信号それぞれが重複領域に在る画素の画像信号であるか、重複領域にはない画素の画像信号であるかが前記画像合成部で識別されるように該画像信号に所定の処理を施してから前記画像合成部に出力するものであることを特徴とする撮影装置。
2. 前記中間処理部は、前記記憶部に記憶された座標データに基づいて各画素ごとの画像信号に該画素が前記重複領域内の画素であるか否かを表わすフラグを付加してから前記画像合成部に出力するものであることを特徴とする請求項１記載の撮影装置。
3. 前記中間処理部は、前記記憶部を参照して、前記撮像素子それぞれが備える各画素ごとの画像信号それぞれが重複領域に在った場合には、隣接するいずれか一方の撮像素子側の画像信号を０レベルにして前記画像合成部に出力するものであることを特徴とする請求項１記載の撮影装置。
4. 前記中間処理部は、前記撮像素子にリセットパルスを供給して該撮像素子から強制的に０レベルを表わす信号を出力させることが自在なものであって、
   前記中間処理部は、前記記憶部を参照して、前記撮像素子それぞれが備える各画素ごとの画像信号それぞれが重複領域に在ると判定した場合には、前記撮像素子に前記リセットパルスを供給して、隣接するいずれか一方の撮像素子側の画像信号を０レベルにして前記撮像素子から出力させて前記画像合成部に該０レベルを表わす信号を出力するものであることを特徴とする請求項１記載の撮影装置。
5. 前記中間処理部は、アナログフロントエンドであることを特徴とする請求項２から４のうちのいずれか１項記載の撮影装置。
6. 前記信号処理部は、前記中間処理部のいずれかから出力された画素ごとの画像信号の値が所定の値以上の変化があってしかもその後０レベルの信号が続くことを検知した場合には、該所定の値以上の変化があった部分を境界として０レベルの信号が続く領域を重複領域であるとみなすものであることを特徴とする請求項３又は４記載の撮影装置。

Images