JP2013106229A

JP2013106229A - 複眼カメラの制御方法及び制御装置

Info

Publication number: JP2013106229A
Application number: JP2011249331A
Authority: JP
Inventors: Hiroshi Chokai; 大士鳥海
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-11-15
Filing date: 2011-11-15
Publication date: 2013-05-30

Abstract

【課題】複数の固体撮像素子間の画質の差異を小さくすることを可能にした固体撮像素子の駆動制御方法を提供すること。
【解決手段】第１の撮像素子と第２の撮像素子と、前記第１、第２の撮像素子の駆動回路と、前記第１、第２の撮像素子からの映像信号のノイズ量を比較するための画像処理回路と、を具え、前記第１の撮像素子を駆動している期間において、前記ノイズ量の比較結果に応じて、第２の撮像素子を駆動することを特徴とする構成とした。
【選択図】図３

Description

本発明は、複眼センサの制御方法に関し、特に複眼センサの画質向上に関するものである。

従来、複数の固体撮像素子に対する駆動制御の最適化を目的とした先願例が多数提案されている。

例えば、特許文献１では、カメラ筐体の制約によって、固体撮像素子から駆動回路までの距離が各撮像系列で異なる場合の駆動制御の最適化について提案されている。

特許文献１は駆動回路から固体撮像素子の配線のインピーダンスに応じた撮像駆動データを各撮像素子用に用意し、各撮像素子の特性を引き出すという先行例である。

特開２００４−２４８００３号公報

しかしながら、上述の特許文献に開示された従来技術では、筐体の制約や環境の変化による固体撮像素子の温度特性差については最適化が図られていない。例えば、一方の撮像素子を駆動し、もう一方の撮像素子を駆動しない状態が長時間続くと、両方の撮像素子を駆動した直後は温度依存のあるキズ・シェーディング・サグなどのノイズは撮像素子ごとで大きく異なる。その結果、例えば、２枚の撮影画像から１枚の画像を生成する３Ｄ撮影モードにおいて、２枚の画像のノイズ感の違いにより３Ｄ画像に違和感が生じてしまう。

そこで、本発明の目的は、複数の固体撮像素子間の画質の差異を小さくし、違和感のない３Ｄ画像を生成するための固体撮像素子の駆動制御方法を提供することである。

上記目的を達成するために、本発明は、
第１の撮像素子と第２の撮像素子と、
前記第１、第２の撮像素子の駆動回路と、
前記第１、第２の撮像素子からの映像信号のノイズ量を比較するための画像処理回路と、
を具え、
前記第１の撮像素子を駆動している期間において、
前記ノイズ量の比較結果に応じて、第２の撮像素子を駆動することを特徴とする。

複数の固体撮像素子間の画質の差異を小さくし、違和感のない３Ｄ画像を生成するための固体撮像素子の駆動制御方法を提供することが可能となる。

本発明の実施例に係る全体構成図である。本発明の実施例１に係るフローチャートである。本発明の実施例１に係るフローチャートである。本発明の実施例２に係るフローチャートである。本発明の実施例３に係るフローチャートである。本発明の実施例４に係るフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例１］
図１は、本発明の実施例の形態によるデジタルカメラの主要構成を示すブロック図である。

１０１、１５１は被写体の入射光量を受光するためのレンズである。１０３、１５３は結像された光の像を電気信号に変換するための固体撮像素子で、本実施例ではＣＣＤセンサとする。１０５、１５５は撮像素子からの出力信号をサンプル／ホールド、増幅、Ａ／Ｄ変換を行うための信号処理回路である。１０７、１５７は固体撮像素子１０１、１５１を駆動させるための固体撮像素子駆動回路である。

１０９、１５９は固体撮像素子１０３、１５３、信号処理回路１０５、１５５、固体撮像素子駆動回路１０７、１５７を動作させるための撮像電源回路である。１１１は信号処理回路１０５、１５５からの被写体像のデジタルデータの画像信号処理や現像処理を行うための画像処理回路である。画像処理回路１１１は２入力のデジタルデータを処理することができ、デジタルデータの比較・演算処理を行う。

１１３は固体撮像素子駆動回路１０７、１５７、撮像電源回路１０９、１５９、画像処理回路１１１などデジタルカメラ各部の制御を司るＣＰＵである。１１５は固体撮像素子１０３、１５３それぞれに対する固定パターンノイズの補正テーブルなどデジタルカメラの各種設定情報を記憶するためのメモリである。１１７はユーザがカメラ操作を行うためのスイッチなどの操作部である。１１９は計時機能をもつＲＴＣである。

図２、３は本発明の実施例に係るフローチャートである。

図２は本実施例の全体フローである。

Ｓ２０１でユーザが２Ｄ撮影モードを選択しているものとし、現在、固体撮像素子１０３を使用、固体撮像素子１５３は未使用状態とする。なお、２Ｄ撮影モードは１つのＣＣＤセンサ、３Ｄ撮影モードは２つのＣＣＤセンサを使用するものとする。２Ｄ撮影モードにて、被写体像を記録するために必要なＣＣＤセンサ（本実施例では固体撮像素子１０３）を第１のセンサとする。一方、２Ｄ撮影モードに必要のないＣＣＤセンサ（本実施例では固体撮像素子１５３）を第２のセンサとする。

２０２でＣＰＵ１１３は操作部１１７からの入力信号によりユーザ操作の有無を検知する。ユーザ操作を検知した場合はＳ２０３にて、ＣＰＵ１１３は固体撮像素子１０３の駆動モードの切り替えが必要な操作であるか検知する。前記駆動モードとは、例えば静止画撮影時の全画素読み出しモード、ライブビュー時の間引き読み出しモードなどカメラ動作に応じた選択が可能となるよう用意されたＣＣＤセンサの読み出しモードである。また、本実施例では消費電力に小さい順に超低消費電力モード、低消費電力モード、通常駆動モードという駆動モードを持つものとし、通常駆動モードは上述の全画素読み出しモードや間引き読み出しモードである。

Ｓ２０３でＣＣＤセンサの駆動モードが変わる場合、Ａのフローに入る。Ａのフローは図３に示すものである。

図３は２つのＣＣＤセンサの画質差を軽減するフローである。

Ｓ３０１で第１のＣＣＤセンサの画像を記録する。Ｓ３０２で画像処理回路１１１は第１のＣＣＤセンサ画像のノイズ量を算出し、ＣＰＵ１１３を介してメモリ１１５に記録する。Ｓ３０３で第２のＣＣＤセンサを駆動し、Ｓ３０４で画像を取得する。Ｓ３０５で画像処理回路１１１は第２のＣＣＤセンサ画像のノイズ量を算出し、ＣＰＵ１１３を介してメモリ１１５に記録する。

Ｓ３０６にてＣＰＵ１１３は第１と第２のＣＣＤセンサのノイズ量をメモリ１１５から読み出し、画像処理回路１１１はノイズ量を比較演算する。Ｓ３０７で演算したノイズσと所定の閾値であるノイズ量σ_１を比較し、σ＜σ_１であればノイズ差は十分小さいものとし、ダミーＣＣＤセンサは駆動しない。

Ｓ３０７でσ＞σ_１であれば、Ｓ３０９で所定の閾値であるノイズ量σ_１、σ_２と比較し（ただし、σ_１＜σ_２）、σ_１≦σ＜σ_２であればノイズ差は小さいものとし、Ｓ３１０で第２のＣＣＤセンサを超低消費駆動する。超低消費駆動はＣＰＵ１１３が固体撮像素子駆動回路１５７に対し、固体撮像素子１５３を超低消費で駆動するよう命令し、また、撮像電源回路１０９に対し、固体撮像素子１５３、固体撮像素子駆動回路１５７のみ電源を供給し、信号処理回路１５５には供給しないよう命令する駆動である。

Ｓ３０９でσ＞σ_２であれば、Ｓ３１１で所定の閾値であるノイズ量σ_２、σ_３と比較し（ただし、σ_２＜σ_３）、σ_２≦σ＜σ_３であればノイズ差はやや小さいものとし、Ｓ３１２で第２のＣＣＤセンサを低消費駆動する。低消費駆動はＣＰＵ１１３が固体撮像素子駆動回路１５７に対し、固体撮像素子１５３を低消費で駆動するよう命令し、また、撮像電源回路１０９に対し、固体撮像素子１５３、固体撮像素子駆動回路１５７のみ電源を供給し、信号処理回路１５５には供給しないよう命令する駆動である。

Ｓ３１１でσ＞σ_３であれば、ノイズ差は大きいものとし、Ｓ３１３で第２のＣＣＤセンサを通常駆動する。

このようにノイズ量に応じて第２のＣＣＤセンサの駆動を行うことで、温度依存性や露光時間の依存性のあるキズ・シェーディング・サグ等のノイズがセンサ間で小さくなる。

なお、超低消費電力モードと低消費電力モードで信号処理回路１５５に電源を供給していないのは記録画像を必要としないからである。そのため、これらのモードではフレームレートを極端に遅くすることも可能である。

Ｓ２０３でＡのフローの後、再びＳ２０２に戻る。Ｓ２０２でユーザ操作を検知しなかった場合、もしくはＳ２０３で第１のＣＣＤセンサの駆動モードを変更しない場合、Ｓ２０４で、ＣＰＵ１１３は、第１のセンサ画像に対する固定パターンノイズの補正処理が変更となるか確認するため、画像処理回路１１１にアクセスする。補正処理が変更となる場合、図３のフローに入る。第１のＣＣＤセンサの補正処理が変更になる場合、第１のＣＣＤセンサの温度上昇や露光時間の長秒設定などが考えられるため、図３にて、２つのＣＣＤセンサの画質差を軽減するフローに入る。

Ｓ２０４で第１のＣＣＤセンサの固定パターンノイズ補正処理が変更とならない場合、Ｓ２０５で、ＣＰＵ１１３はＲＴＣ１１９の計時情報にて、所定時間が経過したかカウントする。Ｓ２０５で所定時間を経過していたらフローＡに入る。所定時間を超えていなければＳ２０５のフローに戻る。Ｓ２０５で時間経過を観測することで、定期的に２つのＣＣＤセンサの画質差を軽減することができる。

Ｓ２０６で２Ｄ撮影モードが続く場合はＳ２０２のフローに戻り、２Ｄ撮影モードを続けない場合は図２のフローは終了となる。

本実施例は第１のＣＣＤセンサと第２のＣＣＤセンサのノイズ量を、第１のＣＣＤセンサの駆動が切り替わる時、第１のＣＣＤセンサの固定パターンノイズの補正処理が変更となる時、所定時間を経過した時に比較し、第２のＣＣＤセンサをノイズ量に応じて駆動するものである。

ノイズ量に応じて第２のＣＣＤセンサを駆動させておくことで、温度依存性や露光時間の依存性のあるノイズに対し、ＣＣＤセンサ間で生じる差異を小さくすることができる。

その結果、図２のフロー後に複数の画像を合成して１枚の画像を生成する３Ｄ撮影モードなど、複数のＣＣＤセンサを使用するカメラモードに切り替わる際、ＣＣＤセンサの画質差による画像の違和感を軽減することが可能となる。

なお、ＣＣＤセンサは２つに限定する必要はなく、２つ以上でもよい。カメラの機能として駆動の必要な複数のＣＣＤセンサと、カメラの機能として駆動する必要のない複数のＣＣＤセンサのノイズ差に応じて、カメラの機能として駆動する必要のない複数のＣＣＤセンサを低消費電力で動作させ、複数の固体撮像素子間の画質の差異を小さくすることが本発明の目的である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

固体撮像素子１５３は未使用状態とする。

［実施例２］
実施例２は２Ｄ撮影モードからＣＣＤセンサを使わないカメラモードに遷移した時に、２Ｄ撮影モードで使っていたＣＣＤセンサの温度を下げるよう制御することで、実施例１の効果を具えつつ省電力化を図るものである。

本発明の実施例の形態によるデジタルカメラの主要構成を示すブロック図は実施例１と同様、図１を用いる。

図４は本発明の実施例２に係るフローチャートである。

Ｓ４０１でユーザが２Ｄ撮影モードを選択しているものとし、現在、固体撮像素子１０３を使用、固体撮像素子１５３は未使用状態とする。２Ｄ撮影モードにて、被写体像を記録するために必要なＣＣＤセンサ（本実施例では固体撮像素子１０３）を第１のセンサとする。一方、２Ｄ撮影モードに必要のないＣＣＤセンサ（本実施例では固体撮像素子１５３）を第２のセンサと呼ぶことにする。

Ｓ４０２でユーザ操作にてカメラが再生モードに切り替わる場合、Ｓ４０３で、ＣＰＵ１１３は固体撮像素子駆動回路１０７に対し、固体撮像素子１０３を停止するよう命令する。Ｓ４０４でユーザが２Ｄ撮影モードを選択したら、Ｓ４０５で、ＣＰＵ１１３は固体撮像素子駆動回路１５７に対し、固体撮像素子１５３を通常駆動するよう命令する。

なお、Ｓ４０２でユーザが再生モードを選択しない場合、Ｓ４０４で２Ｄ撮影モードを選択しない場合、フローは終了となる。

本実施例は１つのＣＣＤセンサを使うカメラモードにて、ＣＣＤセンサを使わないカメラモードを挟んで、使用するＣＣＤセンサを切り替えるものである。

使用するＣＣＤセンサを順次切り替えることで、複数のＣＣＤセンサは交互に温度上昇していく。その結果、第２のＣＣＤセンサの駆動時間を抑えることができる。

実施例２を実施例１とあわせて適用することで、温度依存性や露光時間の依存性のあるノイズに対し、ＣＣＤセンサ間で生じる差異を小さくしつつ、省電力化を図ることができる。

［実施例３］
実施例３はカメラ起動時にノイズ量の小さい（温度の低い）ＣＣＤセンサを２Ｄ撮影モードで使用することで、実施例１の効果を具えつつ省電力化を図るものである。

図５は本発明の実施例３に係るフローチャートである。

Ｓ５０１でユーザがカメラを起動する。Ｓ５０２で２Ｄ撮影モードが選択された場合、
Ｓ５０３で片方のＣＣＤセンサ（本実施例では固体撮像素子１０３でセンサＡとする）の画像を記録する。Ｓ５０４で画像処理回路１１１はＣＣＤセンサＡの画像のノイズ量を算出し、ＣＰＵ１１３を介してメモリ１１５に記録する。Ｓ５０５でもう一方のＣＣＤセンサ（本実施例では固体撮像素子１５３でセンサＢとする）、Ｓ５０６で画像を取得する。Ｓ５０７で画像処理回路１１１はＣＣＤセンサＢの画像のノイズ量を算出し、ＣＰＵ１１３を介してメモリ１１５に記録する。

Ｓ５０８にてＣＰＵ１１３はＣＣＤセンサＡとＣＣＤセンサＢのノイズ量をメモリ１１５から読み出し、画像処理回路１１１はノイズ量を比較演算する。Ｓ５０９でＣＣＤセンサＡのノイズσ_ＡとＣＣＤセンサＢのノイズ量σ_Ｂを比較し、σ_Ａ＜σ_ＢであればＳ５１０でＣＣＤセンサＡを駆動する。Ｓ５０９でσ_Ａ≧σ_Ｂであれば、Ｓ５１１でＣＣＤセンサＢを駆動する。

なお、Ｓ５０２で２Ｄ撮影モードが選択されない場合、フローは終了となる。

本実施例は１つのＣＣＤセンサを使うカメラモードにて、カメラ起動時にノイズ量の小さい（温度の低い）ＣＣＤセンサを使用するものである。

ノイズ量の小さい（温度の低い）ＣＣＤセンサを使用することで、ノイズ量の大きい（温度の高い）ＣＣＤセンサのノイズ量を超えるまで、第２のＣＣＤセンサの駆動時間を抑えることができる。

実施例３を実施例１とあわせて適用することで、温度依存性や露光時間の依存性のあるノイズに対し、ＣＣＤセンサ間で生じる差異を小さくしつつ、省電力化を図ることができる。

［実施例４］
実施例４は３Ｄ撮影モードから２Ｄ撮影モードに切り替える際に、ノイズ量の小さい（温度の低い）ＣＣＤセンサを２Ｄ撮影モードで使用することで、実施例１の効果を具えつつ省電力化を図るものである。

図６は本発明の実施例４に係るフローチャートである。

Ｓ６０１でユーザが３Ｄ撮影モードを選択しているものとする。Ｓ６０２で２Ｄ撮影モードが選択された場合、Ｓ６０３で片方のＣＣＤセンサ（本実施例では固体撮像素子１０３でセンサＡとする）の画像を記録する。Ｓ６０４で画像処理回路１１１はＣＣＤセンサＡの画像のノイズ量を算出し、ＣＰＵ１１３を介してメモリ１１５に記録する。Ｓ６０５でもう一方のＣＣＤセンサ（本実施例では固体撮像素子１５３でセンサＢとする）、Ｓ６０６で画像を取得する。Ｓ６０７で画像処理回路１１１はＣＣＤセンサＢの画像のノイズ量を算出し、ＣＰＵ１１３を介してメモリ１１５に記録する。

Ｓ６０８にてＣＰＵ１１３はＣＣＤセンサＡとＣＣＤセンサＢのノイズ量をメモリ１１５から読み出し、画像処理回路１１１はノイズ量を比較演算する。Ｓ６０９でＣＣＤセンサＡのノイズσ_ＡとＣＣＤセンサＢのノイズ量σ_Ｂを比較し、σ_Ａ＜σ_ＢであればＳ６１０でＣＣＤセンサＡを駆動する。Ｓ６０９でσ_Ａ≧σ_Ｂであれば、Ｓ６１１でＣＣＤセンサＢを駆動する。

なお、Ｓ６０２で２Ｄ撮影モードが選択されない場合、フローは終了となる。

本実施例は２つのＣＣＤセンサを使うカメラモードから、１つのＣＣＤセンサを使うカメラモードに移行する場合、ノイズ量の小さい（温度の低い）ＣＣＤセンサを使用するものである。

実施例４を実施例１とあわせて適用することで、温度依存性や露光時間の依存性のあるノイズに対し、ＣＣＤセンサ間で生じる差異を小さくしつつ、省電力化を図ることができる。

１０１：レンズ
１０３：固体撮像素子
１０５：信号処理回路
１０７：固体撮像素子駆動回路
１０９：撮像回路電源
１１１：画像処理回路
１１３：制御回路（ＣＰＵ）
１１５：メモリ
１１７：操作部
１１９：ＲＴＣ
１５１：レンズ
１５３：固体撮像素子
１５５：信号処理回路
１５７：固体撮像素子駆動回路
１５９：撮像回路電源

Claims

第１の撮像素子と第２の撮像素子と、
前記第１、第２の撮像素子の駆動回路と、
前記第１、第２の撮像素子からの映像信号のノイズ量を比較するための画像処理回路と、
を具え、
前記第１の撮像素子を駆動している期間において、
前記ノイズ量の比較結果に応じて、第２の撮像素子を駆動することを特徴とする制御装置。
前記駆動回路は、消費電力の異なる複数の駆動方法を具え、
前記第１の撮像素子を駆動している期間において、
前記ノイズ量が小さいときは消費電力の小さい駆動方法を選択し、
前記ノイズ量が大きいときは消費電力の大きい駆動方法を選択することを特徴とする、
請求項１に記載の制御装置。
前記第１、第２の撮像素子の出力信号をサンプリング、Ａ／Ｄ変換するための信号処理回路と、
前記信号処理回路に電源を供給するための電源回路と、を具え、
第２の撮像素子を駆動する期間は、前記ノイズ量の比較結果に応じて、
前記信号処理回路に電源供給を行わないことを特徴とする、請求項１に記載の制御装置。
前記ノイズ量の比較は、所定の時間ごとに行うことを特徴とする、請求項１記載の制御装置。
前記ノイズ量の比較は、前記第１の撮像素子の駆動が切り替わる際に行うことを特徴とする、請求項１に記載の制御装置。
前記画像処理回路は、前記第１、第２の撮像素子の映像信号の補正処理を行う機能を具え、
前記ノイズ量の比較は、前記第１の撮像素子の補正処理が切り替わる際に行うことを特徴とする、請求項１記載の制御装置。
第１の撮像素子と第２の撮像素子と、
前記第１、第２の撮像素子の駆動回路と、
前記第１、第２の撮像素子からの映像信号のノイズ量を比較するための画像処理回路と、
を具え、
第１、第２いづれか１つの撮像素子を駆動する際は、前記ノイズ量の比較結果に応じて、ノイズ量の小さい撮像素子を駆動することを特徴とする制御装置。