JP2002262300A

JP2002262300A - 撮像装置および撮像方法

Info

Publication number: JP2002262300A
Application number: JP2001059008A
Authority: JP
Inventors: Mitsuru Owada; 満大和田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-03-02
Filing date: 2001-03-02
Publication date: 2002-09-13

Abstract

(57)【要約】【課題】複眼のパララックスによる画質の劣化を低減
する撮像装置および撮像方法を提供する。【解決手段】パララックスを有する複数の撮影光学系
１０１〜１０３と、複数の撮影光学系１０１〜１０３を
介した像をそれぞれ撮像するための複数の撮像手段１０
４〜１０６と、複数の撮像手段１０４〜１０６の画像を
合成して合成画像を形成する合成手段１１０と、複数の
撮影光学系１０１〜１０３のパララックスにより生じる
画像のずれが所定量以上である場合、または画像のズレ
が所定量以上になることが予想される場合に所定の信号
を形成する信号発生手段と、前記信号発生手段からの前
記所定の信号に基づき、合成画像の少なくとも一部の彩
度を低減する制御手段１１２と、を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置に係り、
特に複数の撮像光学系を用いて得られた複数の画像を合
成する複眼撮像装置に関する。

【０００２】

【従来の技術】従来より複数の撮像光学系（複眼撮像
系）を用いて得られた複数の画像を合成することにより
１つの高精細な画像を得る原理方式として、たとえば画
像電子学会予稿９０−０３−０４（ｐ２３〜２８）等に
開示されるような方式が知られている。

【０００３】この方式は、複数の撮像光学系を用いた複
数のイメージセンサのサンプリング点を仮想的に共通の
被写体上に対して投影した際に、空間的に位相が異なる
ことを利用する。そして、その後画像処理で各々の面像
信号を合成処理することにより、１つの高精細な画像信
号を得ようとするものである。この原理を用いて、カラ
ー画像に応用しても同様であり、複数の撮像光学系のそ
れぞれにベイヤー配列やストライプ配列等に配列された
カラー撮像装置を用いる方法と、複数の撮像光学系にそ
れぞれ色感度特性の異なる撮像装置を用いる方法があ
る。

【０００４】前者の場合、複眼の光軸がずれたパララッ
クス（視差）を有した状態の場合、複数の画像合成によ
る高精細な画像を得る効果が低減されると同時に色ズレ
等が発生することになる。後者の場合、同じように複眼
の光軸がずれたパララックスを有した状態の場合、複数
の画像合成による高精細カラー画像を得る効果が同様に
低減され、特に色ズレとして発生することになる。両者
共に光軸のズレのパララックスの影響は、その被写体ま
での距離により変わる。

【０００５】この従来例について図９を用いて説明す
る。図９において、１０１,１０２,１０３は撮影光学系
であり、それぞれのイメージセンサ１０４,１０５,１０
６に同一被写体が結像される。このときそれぞれの撮像
受光特性が異なりイメージセンサ１０４は赤（Ｒ）波長
領域を撮像し、イメージセンサ１０５は緑（Ｇ）波長領
域を撮像し、イメージセンサ１０６は青（Ｂ）波長領域
を撮像するものとする。各イメージセンサの撮像信号は
それぞれＲ信号処理回路１０７、Ｇ信号処理回路１０
８、Ｂ信号処理回路１０９により画像処理される。そし
て、その後画像合成処理１１０により合成されてカラー
画像として出力される。

【０００６】この構成において複眼の撮影光軸は異な
り、特定被写体位置の法線に対して、対象にθほど傾斜
した状態に配置される。この輻射角を図７の被写体位置
ｂに合うように設定し、固定した場合、被写体位置ａ、
ｂでは最適な輻射角が異なるために複眼間の撮影画像に
ズレが生じてしまう。

【０００７】この様子を図１０を用いて説明する。図１
０は上記複眼の合成画像を表し、黒の背景に丸く白い被
写体を撮影したと仮定している。被写体位置ｂの場合、
輻射角が適切に設定されているために色ズレのない高精
細な画像を出力される。被写体位置ａの場合、輻射角が
適切でないため、Ｇ画像に対してＲ画像とＢ画像はそれ
ぞれ左右にずれた画像となり、合成後の画像はそのずれ
た分だけ色ズレとして出力されてしまう。

【０００８】このようにずれたことにより、Ｂ画像が欠
落した部分はＧ画像とＲ画像によりイエロー（Ｙｅ）に
なり、Ｒ画像が欠落した部分はＧ画像とＢ画像によりシ
アン（Ｃｙ）となり、Ｂ画像とＲ画像が欠落した部分は
Ｇとなる。このとき複数の光学系の光軸が一次元に配置
しているために、その配置方向の一次元のズレである
が、二次元に配置した場合は二次元のズレになる。その
場合、Ｇ画像が欠落したＲ画像とＢ画像からなるマゼン
ダ（Ｍｇ）が生じることとなる。被写体位置ｃの場合
は、前述の被写体位置ａに対してＲ画像とＢ画像がそれ
ぞれ左右逆方向にずれた合成画像となる。

【０００９】ここで、複眼の輻射角とそのパララックス
による画像ズレについて説明する。図１１は、説明を簡
単にするために簡素化した構成図である。撮影レンズ１
０１と１０２は無限遠として設定した場合、光軸は並行
となりイメージセンサ１０４,１０５の中心に来る。２
板間に空間的オフセットを持たせるときはこのセンサ位
置をずらすことになる。この状態で被写体距離ｄの位置
は輻射角θを持ち、センサ１０４ではズレ量eだけずれ
た画像となる。

【００１０】このときの被写体距離ｄとズレ量ｅの関係
を求める。撮影レンズ１０１,１０２と被写体距離位置
で構成する３角形と撮影レンズ１０１とセンサ１０４の
中心とセンサ１０４のズレ位置で構成する３角形は相似
であるので、ｓ／ｄ＝ｅ／ｆ、すなわちｅ＝ｓ・ｆ／ｄ
となる。

【００１１】これをグラフにすると図１２の「無限遠に
調整時」のグラフとなる。このとき横軸は被写体距離、
縦軸はズレ量である。グラフからも分かるように、近距
離で急激にズレ量が増えることが分かる。複眼の光軸が
無限遠での説明をしたが、図１２の被写体距離「１」の
位置に輻射角を合わせ複眼を設定した場合の特性を点線
で示している。設定被写体距離より遠くなるとズレ量が
負となり、反対側にずれることが分かる。どちらにして
も、近距離で急激にパララックスによるズレ量が大きく
なる。これは複眼の画像を合成した場合に色ズレとして
画像を劣化させるものである。通常は被写体距離が２〜
５ｍでズレ量が零となる輻射角に設定することになるた
め、マクロ撮影時等は色ズレ量が大きくなってしまう。

【００１２】

【発明が解決しようとする課題】本発明はかかる観点に
鑑みてなされたものであり、その課題は複眼のパララッ
クスによる画質の劣化を低減する撮像装置を提供するこ
とを目的とする。さらに詳しくは色ズレについて改善を
行う。

【００１３】

【課題を解決するための手段】本発明の撮像装置は、パ
ララックスを有する複数の撮影光学系と、前記複数の撮
影光学系を介した像をそれぞれ撮像するための複数の撮
像手段と、前記複数の撮像手段の画像を合成して合成画
像を形成する合成手段と、前記複数の撮影光学系のパラ
ラックスにより生じる画像のずれが所定量以上である場
合、または画像のズレが所定量以上になることが予想さ
れる場合に所定の信号を形成する信号発生手段と、前記
信号発生手段からの前記所定の信号に基づき、前記合成
画像の少なくとも一部の彩度を低減する制御手段と、を
有することを特徴とする。

【００１４】また、本発明の撮像装置において、前記信
号発生手段は、撮影モード情報を基に発生することを特
徴とする。

【００１５】また、本発明の撮像装置において、前記信
号発生手段は、前記複数の撮影画像の相関情報を基に発
生することを特徴とする。

【００１６】また、本発明の撮像装置において、前記信
号発生手段は、被写体の測距情報を基に発生することを
特徴とする。

【００１７】また、本発明の撮像装置において、前記複
数の撮像手段は、受光特性が少なくとも１つは異なるこ
とを特徴とする。

【００１８】また、本発明の撮像方法は、パララックス
を有する複数の撮影光学系を介した像をそれぞれ撮像す
るための複数の撮像工程と、前記複数の撮像工程の画像
を合成して合成画像を形成する合成工程と、前記複数の
撮影光学系のパララックスにより生じる画像のずれが所
定量以上である場合、または画像のズレが所定量以上に
なることが予想される場合に所定の信号を形成する信号
発生工程と、前記信号発生工程における前記所定の信号
に基づき、前記合成画像の少なくとも一部の彩度を低減
する制御工程と、を有することを特徴とする。

【００１９】また、本発明の撮像方法において、前記信
号発生工程において、撮影モード情報を基に発生するこ
とを特徴とする。

【００２０】また、本発明の撮像方法において、前記信
号発生工程において、前記複数の撮影画像の相関情報を
基に発生することを特徴とする。

【００２１】また、本発明の撮像方法において、前記信
号発生工程において、被写体の測距情報を基に発生する
ことを特徴とする。

【００２２】また、本発明の撮像方法において、前記複
数の撮像工程において、受光特性が少なくとも１つは異
なることを特徴とする。

【００２３】本発明の典型的態様において、撮像装置は
パララックスによる影響を検出する信号発生手段と、そ
の信号により出力画像の彩度を制御する手段を有するこ
とで、複眼のパララックスによる画質の劣化を低減する
ことができる。

【００２４】

【発明の実施の形態】以下、図面に基づき、従来例と実
質的に同一部材には同一符号を用いて、本発明による撮
像装置の好適な実施の形態を説明する。この実施形態に
おいて本発明は、複数の撮影光学系を有する複眼撮像装
置に実施され、特にそのパララックスによる色ズレ等の
画質低下の改善に特に有効である。

【００２５】第１の実施形態について、図１を用いてそ
の概要を説明する。図１において、１１１は画像合成処
理回路１１０によって合成された画像の彩度を撮影制御
回路１１２の信号により制御する彩度制御処理回路であ
る。撮影制御回路１１２は撮影時の撮影モード等を制御
する働きをし、撮影モード情報によるパララックスの発
生を予め検出し、その信号を彩度制御処理回路１１１に
送る。

【００２６】撮影者は撮影する被写体により、その撮影
モードをマクロ撮影モード等に設定する。その設定は装
置自身が判断可能で有れば、装置自身がそのモードに自
動で移行してもよい。従来例で既に説明したようにマク
ロ撮影モード時は、輻射角が大きくなるためにパララッ
クスが大きく発生することを予め予測することができ
る。このためパララックスによる色ズレを補正すべく彩
度制御処理回路１１１に信号を発し、彩度制御処理回路
では画像合成処理回路１１０によって合成されたカラー
画像の彩度を低減する処理を行う。そして、彩度を低減
することにより色ズレによる視覚的な画質低下を抑制す
ることができる。このときの彩度制御処理は画像全体に
行ってもよいが、彩度の強い部分やエッジ部分等画像の
一部に行なうことで、より効果的に画質の改善を図るこ
とができる。

【００２７】図３は、具体的な彩度制御処理回路の例を
示す。図３において、１１１１は入力信号をＹ（輝度信
号）とＣ（色信号）に分離するＹ／Ｃ分離回路である。
分離されたＹ信号はそのままＹ／Ｃ合成回路１１１３
へ、Ｃ信号は補正回路１１１２を介してＹ／Ｃ合成回路
１１１３へ入力される。Ｙ／Ｃ合成回路はＹ信号とＣ信
号を合成し、カラー信号を出力する。補正回路１１１２
は画像のズレ検出信号に基づきＣ信号を補正して彩度を
制御する。

【００２８】補正回路１１１２の入出力特性の例を図４
に示す。入出力特性（ａ）は直線性をそのままとし、ゲ
インを変えた特性となる。補正無は無補正の状態で通常
時に選択用いられ、補正（１）および補正（２）はズレ
検出信号に基づき選択されるものである。ここでは、補
正を２種類の特性を示したが、この限りでなく無段階に
補正してもよいし、Ｃ信号を単純にオン・オフしてＹ信
号のみの白黒信号としてもよい。この切換は画像ごとで
もよいし、ブロックごと、さらには画素ごとでもよい。

【００２９】入出力特性（ｂ）は、非線形な入出力特定
とした場合の例である。たとえば、γ補正をしたような
特性であり、彩度の高い部分ほど抑圧した出力となる。
これらの補正は演算器を用いて構成してもよいし、ＬＵ
Ｔ（Look Up Table）のようにメモリで構成してもよ
い。

【００３０】つぎに、図２のフローチャート用いて全体
動作について説明する。まず、ステップＳ２０１におい
て、「撮影？」では撮像するかどうかを判断する。撮影
動作をしないときは「Nｏ」に進み、スタートへ戻る。
撮影時はステップＳ２０２へ進む。ステップ２０２の
「ＲＧＢ撮像」では複眼のＲ，Ｇ，Ｂそれぞれで被写体
を撮像し、ステップＳ２０３へ進む。ステップＳ２０３
の「ＲＧＢ画像合成」では、ステップＳ２０２で撮像し
たＲＧＢ画像を合成し、カラー画像を生成しステップＳ
２０４へ進む。

【００３１】ステップＳ２０４において、「マクロ撮影
モード？」では撮影モードがマクロ撮影であるかを判断
する。ＹｅｓであればステップＳ２０５へ、Ｎｏであれ
ばステップＳ２０５をスキップしてステップＳ２０６へ
進む。ステップＳ２０５の「彩度制御」では、ステップ
Ｓ２０３での合成画像の彩度を低減して、色ズレ等の視
覚的影響を抑制する。このとき画像全体に対し、均一に
彩度を低減する方法でも、画像の一部の彩度を低減して
もよい。パララックスによる色ズレは画像のエッジ部に
発生するので、画像からエッジ部を検出して、その検出
部またはその周辺部に対して彩度をより低減すると効果
的である。また、その色ズレの幅は複眼の輻射角と被写
体距離等により概略予測可能である。

【００３２】別の手法として彩度の大きな部分が視覚的
に刺激度が強いので、その部分の彩度を低減して色ズレ
の視覚的影響を低減してもよい。

【００３３】彩度制御処理後、ステップＳ２０６へ進
む。ステップＳ２０６「画像出力」では、合成処理され
た画像を外部に出力しフローを終了する。

【００３４】以上のフローの動作により、図１と同等の
処理が可能となる。本実施形態はマクロモードについて
説明したが、この限りではなく撮像装置がパララックス
の発生を予め予測可能で有れば、その条件で彩度を制御
すればよい。

【００３５】つぎに、第２の実施形態について図５を用
いて概要を説明する。第１の実施形態では彩度制御を撮
影モードによって行ったが、第２の実施形態では複眼撮
影画像の画像間の相関情報から彩度制御を行うものであ
る。

【００３６】図５において、３０１は相関検出回路であ
り、Ｒ画像信号、Ｇ画像信号、Ｂ画像信号の相関からパ
ララックスによるズレを検出する。そして、その検出信
号で彩度制御回路１１１により合成画像の彩度を低減
し、パララックスによる色ズレの視覚的画質低下を抑制
する。このとき相関検出回路３０１の検出結果により画
像全面の彩度を低減してもよいし、また相関検出回路に
より画像を細分化し、それぞれの検出結果に基づき、色
ズレの発生してると推測できる部分についてのみ彩度を
低減するとさらによい。

【００３７】図６のフローチャート用いて、第２の実施
形態の動作について説明する。なお、図２と実質的に同
一のフローは説明を省略するものとする。ステップＳ４
０１において、「相関検出」ではステップＳ２０２のＲ
ＧＢ撮像の出力画像から画像相関を求め、色ズレの有無
を検出する。この検出は画面全体について行ってもよい
し、細部に分割して検出してもよい。

【００３８】検出結果はステップＳ４０２の「色ズレ有
り？」に送られ、ステップＳ４０２ではステップＳ４０
１の検出結果に基づき色ズレの有無を判断する。判断結
果がＮｏのときはステップＳ２０５の彩度制御をスキッ
プし、ステップＳ２０６に進み、Ｙｅｓのときはステッ
プＳ２０５の彩度制御に進む。以下、第１の実施形態と
同様の処理により同様の効果を実現することができる。

【００３９】つぎに、第３の実施形態について図７を用
いて概要を説明する。第１の実施形態では彩度制御を撮
影モードによって、また第２の実施形態では複眼画像の
相関によりそれぞれ行ったが、この第３の実施形態では
被写体までの測距結果から彩度制御を行うものである。

【００４０】図７において、５０１は測距回路であり、
撮影装置と被写体までの距離に相当する情報を測定し、
その情報から発生するであろうパララックスによるズレ
を予測する。そして、その検出信号で彩度制御回路１１
１により合成画像の彩度を低減し、パララックスによる
色ズレの視覚的画質低下を抑制する。このとき測距回路
５０１の検出結果により画像全面の彩度を低減してもよ
いし、測距回路により画像を細分化しそのそれぞれの検
出結果に基づき色ズレの発生してると推測できる部分に
付いてのみ彩度を低減するとさらによい。

【００４１】図８のフローチャート用いて、第３の実施
形態の動作について説明する。なお、図２あるいは図６
と実質的に同一のフローは説明を省略するものとする。
ステップＳ６０１において、「測距」では撮影装置と被
写体までの距離情報を求める。この検出は画面全体につ
いて行ってもよいし、細部に分割して検出してもよい。

【００４２】検出結果はステップＳ６０２の「色ズレ有
り？」に送られ、ステップＳ６０２ではステップＳ６０
１の検出結果に基づき色ズレの有無を判断する。判断結
果がＮｏのときはステップＳ２０５の彩度制御をスキッ
プし、ステップＳ２０６に進み、Ｙｅｓのときはステッ
プＳ２０５の彩度制御に進む。以下、第１の実施形態と
同様の処理により同様の効果を実現することができる。

【００４３】ここで、上記様々な実施形態に示した各機
能ブロックおよび処理手順は、ハードウェアにより構成
しても良いし、ＣＰＵあるいはＭＰＵ、ＲＯＭおよびＲ
ＡＭ等からなるマイクロコンピュータシステムによって
構成し、その動作をＲＯＭやＲＡＭに格納された作業プ
ログラムに従って実現するようにしても良い。また、上
記各機能ブロックの機能を実現するように当該機能を実
現するためのソフトウェアのプログラムをＲＡＭに供給
し、そのプログラムに従って上記各機能ブロックを動作
させることによって実施したものも、本発明の範疇に含
まれる。

【００４４】この場合、上記ソフトウェアのプログラム
自体が上述した各実施形態の機能を実現することにな
り、そのプログラム自体、及びそのプログラムをコンピ
ュータに供給するための手段、例えばかかるプログラム
を格納した記録媒体は本発明を構成する。かかるプログ
ラムを記憶する記憶媒体としては、上記ＲＯＭやＲＡＭ
の他に例えばフロッピー（登録商標）ディスク、ハード
ディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯ
Ｍ、ＣＤ−Ｉ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ｚｉ
ｐ、磁気テープ、あるいは不揮発性のメモリカード等を
用いることができる。

【００４５】また、コンピュータが供給されたプログラ
ムを実行することにより、上述の実施形態の機能が実現
されるだけでなく、そのプログラムがコンピュータにお
いて稼働しているＯＳ（オペレーティングシステム）あ
るいは他のアプリケーションソフト等の共同して上述の
実施形態の機能が実現される場合にもかかるプログラム
は本発明の実施形態に含まれることは言うまでもない。

【００４６】さらに、供給されたプログラムがコンピュ
ータの機能拡張ボードやコンピュータに接続された機能
拡張ユニットに備わるメモリに格納された後、そのプロ
グラムの指示に基づいてその機能拡張ボードや機能拡張
ユニットに備わるＣＰＵ等が実際の処理の一部または全
部を行い、その処理によって上述した実施形態の機能が
実現される場合にも本発明に含まれることは言うまでも
ない。

【００４７】

【発明の効果】以上説明した様に本発明によれば、この
種の撮像装置において複眼のパララックスによる色ズレ
を検出し、その検出結果に基づき彩度を低減すること
で、色ズレによる視覚的画質低下を抑制することが可能
となり、常により高画質な画像を撮像することが可能と
なる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態を説明するブロック図
である。

【図２】本発明の第１の実施形態を説明するフローチャ
ートである。

【図３】彩度制御回路の実施例を説明する図である。

【図４】彩度制御回路のＣ信号入出力特性を説明する図
である。

【図５】本発明の第２の実施形態を説明するブロック図
である。

【図６】本発明の第２の実施形態を説明するフローチャ
ートである。

【図７】本発明の第３の実施形態を説明するブロック図
である。

【図８】本発明の第３の実施形態を説明するフローチャ
ートである。

【図９】従来例を説明するブロック図である。

【図１０】従来例による色ズレを説明する図である。

【図１１】被写体距離とズレ量の関係を説明する図であ
る。

【図１２】被写体距離とズレ量の関係を示すグラフであ
る。

【符号の説明】

１０１〜１０３撮影光学系１０４〜１０６イメージセンサ１０７Ｒ信号処理回路１０８Ｇ信号処理回路１０９Ｂ信号処理回路１１０画像合成処理１１１彩度制御処理１１２撮影制御回路３０１相関検出回路５０１測距回路

Claims

【特許請求の範囲】

【請求項１】パララックスを有する複数の撮影光学系
と、前記複数の撮影光学系を介した像をそれぞれ撮像するた
めの複数の撮像手段と、前記複数の撮像手段の画像を合成して合成画像を形成す
る合成手段と、前記複数の撮影光学系のパララックスにより生じる画像
のずれが所定量以上である場合、または画像のズレが所
定量以上になることが予想される場合に所定の信号を形
成する信号発生手段と、前記信号発生手段からの前記所定の信号に基づき、前記
合成画像の少なくとも一部の彩度を低減する制御手段
と、を有することを特徴とする撮像装置。
【請求項２】前記信号発生手段は、撮影モード情報を
基に発生することを特徴とする請求項１に記載の撮像装
置。
【請求項３】前記信号発生手段は、前記複数の撮影画
像の相関情報を基に発生することを特徴とする請求項１
に記載の撮像装置。
【請求項４】前記信号発生手段は、被写体の測距情報
を基に発生することを特徴とする請求項１に記載の撮像
装置。
【請求項５】前記複数の撮像手段は、受光特性が少な
くとも１つは異なることを特徴とする請求項１〜４のい
ずれか１項に記載の撮像装置。
【請求項６】パララックスを有する複数の撮影光学系
を介した像をそれぞれ撮像するための複数の撮像工程
と、前記複数の撮像工程の画像を合成して合成画像を形成す
る合成工程と、前記複数の撮影光学系のパララックスにより生じる画像
のずれが所定量以上である場合、または画像のズレが所
定量以上になることが予想される場合に所定の信号を形
成する信号発生工程と、前記信号発生工程における前記所定の信号に基づき、前
記合成画像の少なくとも一部の彩度を低減する制御工程
と、を有することを特徴とする撮像方法。
【請求項７】前記信号発生工程において、撮影モード
情報を基に発生することを特徴とする請求項６に記載の
撮像方法。
【請求項８】前記信号発生工程において、前記複数の
撮影画像の相関情報を基に発生することを特徴とする請
求項６に記載の撮像方法。
【請求項９】前記信号発生工程において、被写体の測
距情報を基に発生することを特徴とする請求項６に記載
の撮像方法。
【請求項１０】前記複数の撮像工程において、受光特
性が少なくとも１つは異なることを特徴とする請求項６
〜９のいずれか１項に記載の撮像方法。