JP2005045312A

JP2005045312A - Imaging device, adjustment method of imaging device, and manufacturing method of imaging device

Info

Publication number: JP2005045312A
Application number: JP2003199777A
Authority: JP
Inventors: Ryuichi Kitaoka; 隆一北岡; Toshihisa Maeda; 利久前田; Toshihito Kido; 稔人木戸
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2003-07-22
Filing date: 2003-07-22
Publication date: 2005-02-17

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology capable of simply adjusting an imaging device provided with two imaging elements whose number of pixels differs from each other. <P>SOLUTION: A digital camera 1 provided with first and second imaging elements the number of pixels of which differs from each other is adjusted as shown in the following; first, the first imaging element acquires a first image being an image resulting from photographing an adjustment chart 70, and the second imaging element acquires a second image being an image resulting from photographing the adjustment chart 70, the digital camera obtains a cross-reference between the pixels in the first imaging element and the pixels in the second imaging element on the basis of the first and second images, and stores the cross-reference to a memory of the digital camera. The cross-reference is preferably obtained after number of pixel extending processing is applied to the second image with a comparatively smaller number of pixels. Further, the cross-reference is preferably obtained after number of pixel converting processing is carried out so that the number of pixels of the first image is nearly equal to that of the second image. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラなどの撮像装置に関する。
【０００２】
【従来の技術】
１つの撮像装置において、２つの撮像素子を設ける構成の撮像装置が提案されている（例えば、特許文献１、特許文献２参照）。具体的には、或る被写体からの光が、プリズムを用いて反射光成分と透過光成分とに分離され、２つの撮像素子のそれぞれに結像される。
【０００３】
このような撮像装置によれば、同一の被写体に関する画像を、２つの撮像素子のそれぞれで撮影することが可能である。
【０００４】
具体的には、画素数の異なる２つの撮像素子を用いて、静止画像および動画像をそれぞれ撮影することができる。例えば、高画素数を有する一方の撮像素子を用いて静止画像を撮影し、低画素数を有する他方の撮像素子を用いて動画像を撮影することができる。
【０００５】
【特許文献１】
特開２００１−８６３８２号公報
【特許文献２】
特開平６−６８１４号公報
【０００６】
【発明が解決しようとする課題】
その画素数が互いに異なる２つの撮像素子を有する撮像装置においては、２つの撮像素子によって撮影された両画像は、同一の被写体の同一部分を位置ずれ等が存在しない状態で撮像したものであることが好ましい。具体的には、両画像間において、上下方向、左右方向、回転方向のずれが存在しないことが好ましい。
【０００７】
したがって、その画素数が互いに異なる２つの撮像素子を有する撮像装置においては、２つの撮像素子のそれぞれによる画像相互間の位置関係を合わせるために、２つの撮像素子を非常に高い精度で位置合わせすることが要求される。
【０００８】
しかしながら、そのような高度な機械的調整が要求される調整作業（位置合わせ作業）は、非常に困難であるという問題が存在する。なお、特許文献２には、画素数が同一の２つの撮像素子の画素間の対応関係を求める技術が記載されているが、画素数が互いに異なる２つの撮像素子の画素間の対応関係を求める技術は記載されていない。
【０００９】
そこで、本発明は前記問題点に鑑み、画素数が互いに異なる２つの撮像素子を備える撮像装置を、簡易に調整することが可能な技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、請求項１の発明は、画素数が互いに異なる第１の撮像素子および第２の撮像素子と、前記第１の撮像素子および前記第２の撮像素子の双方に向けて同一の被写体からの光像を導く撮影光学系とを備える撮像装置の調整方法であって、ａ）前記第１の撮像素子による調整用チャートの撮影画像である第１画像と、前記第２の撮像素子による前記調整用チャートの撮影画像である第２画像とを取得する工程と、ｂ）前記第１画像および前記第２画像に基づいて、前記第１の撮像素子内の画素と前記第２の撮像素子内の画素との間の対応関係を求め、前記対応関係を前記撮像装置の記憶手段に記憶する工程と、を含む。
【００１１】
請求項２の発明は、請求項１の発明に係る調整方法において、前記第２の撮像素子の画素数は、前記第１の撮像素子の画素数よりも少なく、前記工程ａ）は、前記第２画像の画素数を増大させる画素数変換処理を含む。
【００１２】
請求項３の発明は、請求項１の発明に係る調整方法において、前記工程ａ）は、前記第１画像の画素数と前記第２画像の画素数とが互いに略同一となるように、前記第１画像および前記第２画像の少なくとも一方の画像に対する画素数変換処理を行う工程を含み、前記工程ｂ）は、その画素数が略同一にされた前記第１画像および前記第２画像に基づいて、前記第１の撮像素子内の画素と前記第２の撮像素子内の画素との間の対応関係を求める工程を含む。
【００１３】
請求項４の発明は、請求項３の発明に係る調整方法において、前記第２の撮像素子の画素数は、前記第１の撮像素子の画素数よりも少なく、前記画素数変換処理は、前記第２画像の画素数を増大させる処理を含む。
【００１４】
請求項５の発明は、請求項３の発明に係る調整方法において、前記工程ａ）は、画素ずらし光学系を用いて前記第２の撮像素子による画像を撮像し、当該画像を用いて画素数を増大させた前記第２画像を取得する工程を含む。
【００１５】
請求項６の発明は、請求項１の発明に係る調整方法において、前記工程ａ）においては、前記調整用チャートの線幅が前記第１の撮像素子および前記第２の撮像素子のそれぞれの複数の画素に相当する幅を有する状態で、前記第１画像および前記第２画像が撮像され、前記工程ｂ）においては、前記調整用チャートの線幅の中央位置を比較することによって前記対応関係を求める。
【００１６】
請求項７の発明は、画素数が互いに異なる第１の撮像素子および第２の撮像素子と、前記第１の撮像素子および前記第２の撮像素子の双方に向けて同一の被写体からの光像を導く撮影光学系とを備える撮像装置の製造方法であって、ａ）前記第１の撮像素子による調整用チャートの撮影画像である第１画像と、前記第２の撮像素子による前記調整用チャートの撮影画像である第２画像とを取得する工程と、ｂ）前記第１画像および前記第２画像に基づいて、前記第１の撮像素子内の画素と前記第２の撮像素子内の画素との間の対応関係を求め、前記対応関係を前記撮像装置の記憶手段に記憶する工程と、を含む。
【００１７】
請求項８の発明は、撮像装置であって、画素数が互いに異なる第１の撮像素子および第２の撮像素子と、前記第１の撮像素子および前記第２の撮像素子の双方に向けて同一の被写体からの光像を導く撮影光学系と、前記第１の撮像素子内の画素と前記第２の撮像素子内の画素との間の対応関係を記憶する記憶手段と、前記第１の撮像素子による第１画像と前記第２の撮像素子による第２画像とのうちの一方の画像である基準画像に対する他方の画像のずれを前記対応関係に基づいて補正して、当該他方の画像を読み出す読出手段と、を備える。
【００１８】
請求項９の発明は、請求項８の発明に係る撮像装置において、前記第１の撮像素子は、前記第２の撮像素子よりも多くの画素を有しており、前記読出手段は、前記第１画像を基準として前記第２画像のずれを補正し、前記第２画像を読み出す。
【００１９】
請求項１０の発明は、請求項８または請求項９の発明に係る撮像装置において、前記第１の撮像素子による画像を記録する記録手段と、前記第２の撮像素子による画像をプレビュー画像として表示する表示手段と、をさらに備え、前記第２の撮像素子による画像は、前記読出手段によって前記他方の画像として読み出され、前記表示手段によって前記プレビュー画像として表示される。
【００２０】
請求項１１の発明は、請求項８または請求項９の発明に係る撮像装置において、前記読出手段は、前記第１の撮像素子による画像を記録用静止画として読み出し、前記第２の撮像素子による画像を前記他方の画像として且つ記録用動画を構成するフレーム画像として読み出す。
【００２１】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００２２】
＜システム構成概要＞
図１は、本発明の実施形態に係るデジタルカメラ（撮像装置）１、およびその調整を行う調整システム１００の概略構成を示す図である。また、図２は、デジタルカメラ１の機能構成を中心に示す図である。
【００２３】
図１に示すように、調整システム１００は、外部演算装置５０、画素ずらし光学系６０、調整用チャート７０、および雲台８０を備えている。なお、図１に示すＸＹＺ座標系は直交座標系であり、Ｘ軸は床面に平行な方向を示し、Ｙ軸は鉛直方向、Ｚ軸はデジタルカメラ１の撮影レンズ１４の光軸方向を示している。
【００２４】
外部演算装置５０は、ＵＳＢケーブルなどの接続線を介してデジタルカメラ１と接続されており、画像データおよび補正データ等のデータの送受信を行うことが可能である。
【００２５】
外部演算装置５０は、たとえば、パーソナルコンピュータにおいて所定のプログラムを実行させることによって実現される。外部演算装置５０は、後述するような各種の演算機能を有している。たとえば、外部演算装置５０は、デジタルカメラ１で撮像された画像データ等に基づいて、デジタルカメラ１内の２つの撮像素子１１，１２（後述）の相互間の回転方向のずれ、水平方向のずれ、上下方向のずれを算出する機能を有している。
【００２６】
画素ずらし光学系６０は、後述するようにくさび形状（あるいは平板形状）等の光学素子であり、光学像の結像位置（撮像素子表面での平面位置）をずらす機能を有している。画素ずらし光学系６０は、図示しない駆動系によって、デジタルカメラ１の撮影レンズ１４を覆う装着位置ＰＳ１と、デジタルカメラ１の撮影レンズ１４から外れた離脱位置ＰＳ２との間を移動することができる。後述するように、画素ずらし光学系６０を離脱位置ＰＳ２に移動させて撮像した通常の画像と、画素ずらし光学系６０を装着位置ＰＳ１に移動させて撮像した画素ずらし画像とを用いることによって、２つの低解像度の画像に基づいて画素数を増大させた高解像度の画像を作成することができる。
【００２７】
なお、図１では図示の簡略化のため、画素ずらし光学系６０は、装着位置ＰＳ１において被写体からの各光線の結像位置をＹ方向にずらすように配置されている。ただし、実際には後述するように、画素ずらし光学系６０は、図１の状態からさらにデジタルカメラ１の撮影レンズ１４の光軸（Ｚ軸に平行な軸）の回りに４５度回転させた姿勢で配置される。
【００２８】
調整用チャート７０は、薄い板状部材の表面において、白色の背景に黒色の図形として描かれている（図３等参照）。ここでは、図３に示すような菱形形状のタイプ（「ローテーションチャート」とも称する）の調整用チャート７０（７０ａ）を用いるものとするが、これに限定されない。たとえば、図４に示すようなＶ字型形状のタイプ（「Ｖ字チャート」とも称する）の調整用チャート７０（７０ｂ）を用いるようにしてもよい。
【００２９】
雲台８０は、デジタルカメラ１の角度を自由に調整する調整機構を有している。具体的には、Ｘ軸回りの回転角度、Ｙ軸回りの回転角度、およびＺ軸回りの回転角度を適宜に調整することが可能である。
【００３０】
雲台８０の調整機構は、モータなどの駆動機構を有しており、外部演算装置５０から雲台８０の駆動部（不図示）への移動指示に応答して、雲台８０に固定されたデジタルカメラ１の調整用チャート７０に対する角度を自由に変更することが可能である。なお、ここでは、デジタルカメラ１の角度を自動駆動により調整する場合を例示するが、これに限定されず、手動で調整するようにしてもよい。
【００３１】
＜カメラ構成概要＞
つぎに、図２を中心にデジタルカメラ１の構成について説明する。
【００３２】
図２に示すように、デジタルカメラ１は、撮像ブロック１０、画像処理ブロック２０、表示部３０（ＥＶＦ３１，ＬＣＤ３２）、および記録媒体３３を備えている。
【００３３】
撮像ブロック１０は、ＣＣＤ撮像素子１１と、Ｃ−ＭＯＳ撮像素子１２と、Ａ／Ｄ変換部１３と、撮影レンズ１４と、プリズム（ハーフミラー）１５とを有している。
【００３４】
また、画像処理ブロック２０は、メモリ（記憶部）２１，２２と、画像処理部２３と、ずれ補正処理部２４とを有している。
【００３５】
メモリ２１としては、高速アクセスが可能なＲＡＭなどが用いられ、メモリ２２としては電気的に書き換え可能なＲＯＭ（ＥＥＰＲＯＭ、ＦＲＯＭなど）が用いられる。メモリ２２には、制御用のプログラムや、後述するズレ補正データ等が格納される。また、メモリ２１はプログラムおよびデータの一時的な格納等に利用される。
【００３６】
また、画像処理部２３は、ＷＢ補正、黒レベル補正等などの画像処理を行い、ずれ補正処理部２４は、ＣＣＤ撮像素子１１とＣ−ＭＯＳ撮像素子１２との製造時における位置ずれ補正する「ズレ補正処理」を行う。
【００３７】
図５は、撮像ブロック１０の詳細構成を示す図である。図５に示すように、撮像ブロック１０は、ＩＲ（赤外線）カットフィルタ１７、光学ローパスフィルタ１８，１９をさらに有している。
【００３８】
ＣＣＤ撮像素子１１は、高画素数（ここでは、約５００万画素）を有する撮像素子であり、Ｃ−ＭＯＳ撮像素子１２は、比較的低画素数を有する撮像素子である。ＣＣＤ撮像素子１１およびＣ−ＭＯＳ撮像素子１２は、それぞれ、プリズム１５の異なる面に配置されている。
【００３９】
複数のレンズで構成される撮影レンズ１４からの入射光は、ＩＲカットフィルタ１７で赤外線成分が除去された後、プリズム１５に入射する。プリズム１５は、被写体からの光を透過光成分と反射光成分とに分離する機能を有している。そのため、プリズム１５への入射光は、プリズム１５で透過光と反射光とに分離される。透過光は光学ローパスフィルタ１８をさらに透過してＣＣＤ撮像素子１１で受光され、反射光は光学ローパスフィルタ１９をさらに透過してＣ−ＭＯＳ撮像素子１２で受光される。このように、撮影レンズ１４、プリズム１５などの撮影光学系によって、ＣＣＤ撮像素子１１とＣ−ＭＯＳ撮像素子１２との双方に向けて、同一の被写体からの光像が導かれる。
【００４０】
ＣＣＤ撮像素子１１およびＣ−ＭＯＳ撮像素子１２への入射光は、各種の変換処理（光電変換、Ａ／Ｄ変換等）を経て、それぞれ、デジタル形式の画像データに変換される。ＣＣＤ撮像素子１１により得られる画像データは、高解像度（たとえば、約５００万画素）の記録用の静止画データとして生成され、記録媒体３３に記録される。また、Ｃ−ＭＯＳ撮像素子１２により得られる画像データは、低解像度（たとえば、約３１万画素）のプレビュー用のデータとして生成され、ＥＶＦ３１および／またはＬＣＤ３２に、微小時間間隔（たとえば１／１５秒間隔）で表示される。
【００４１】
具体的には、ＣＣＤ撮像素子１１で光電変換された各画素の画像信号は、Ａ／Ｄ変換部１３によってアナログ信号からデジタル信号へと変換され、画像処理ブロック２０の画像処理部２３に入力する。画像処理部２３は、ＣＣＤ撮像素子１１からの画像信号に対して、ＷＢ補正、黒レベル補正等を施し、各種の画像処理が施された画像信号を一時的にメモリ２１に格納する。その後、画像処理部２３は、メモリ２１に格納された画像信号に対して更に圧縮処理などの画像処理を施した後、その画像信号を記録媒体３３に格納する。また、メモリ２１内の画像信号（画像データ）は、画像処理部２３によって画素数変換処理が施され、ＬＣＤ３２の画素サイズへと変換された後、ＬＣＤ３２に確認用のアフタービュー画像として出力される。なお、ＥＶＦ３１にアフタービュー画像を表示する場合には、ＥＶＦ３１の画素サイズへの変換処理が施された画像データが、ＥＶＦ３１に表示される。
【００４２】
また、Ｃ−ＭＯＳ撮像素子１２で光電変換された各画素の画像信号は、Ａ／Ｄ変換部１３によってアナログ信号からデジタル信号へと変換され、画像処理部２３に入力する。画像処理部２３は、Ｃ−ＭＯＳ撮像素子１２からの画像信号に対して、ＷＢ補正、黒レベル補正等を施し、各種の画像処理が施された画像信号を一時的にメモリ２１に格納する。メモリ２１内の画像信号（画像データ）は、ずれ補正処理部２４によって「ズレ補正処理」が施されて読み出され、画像処理部２３を経由して、ＬＣＤ３２に静止画撮影用のプレビュー画像（ライブビュー画像とも称する）として出力される。後述するように、「ズレ補正処理」は、電子的調整による補正データを用いて、ＣＣＤ撮像素子１１とＣ−ＭＯＳ撮像素子１２との位置ずれ等を補正する処理である。
【００４３】
ここにおいて、プレビュー時には、Ｃ−ＭＯＳ撮像素子１２による撮影画像のみを取得し、静止画像撮影時には、ＣＣＤ撮像素子１１による画像を取得することが好ましい。これによれば、必ずしもプレビュー時にＣＣＤ撮像素子１１を駆動することを要しないので、消費電力の低減を図ることができる。
【００４４】
なお、上記においては、Ｃ−ＭＯＳ撮像素子１２における画素数とＬＣＤ（表示部）３２の画素数とが同一（約３０万画素）である場合を想定しているため、画素数変換処理を行っていない。撮像素子の画素数と表示部の画素数とが同一でない場合には、画像データの画素数を表示部の画素数に変換する処理（画素数変換処理）を施し、その画素数変換処理後の画像データを、表示部３０に出力すればよい。ＥＶＦ３１にプレビュー画像を表示する場合も同様である。
【００４５】
また、ここではＣＣＤ撮像素子１１とほぼ同じ大きさ（画素数ではなく物理的な大きさ）のＣ−ＭＯＳ撮像素子１２を設ける場合を例示したが、これに限定されない。たとえば、図６に示すように、ＣＣＤ撮像素子１１と大きさが異なるＣ−ＭＯＳ撮像素子１２を、リレー光学系１６を介して、プリズム１５の一面側に設けるようにしてもよい。
【００４６】
＜２つの撮像素子相互間のずれ＞
次に、ＣＣＤ撮像素子１１およびＣ−ＭＯＳ撮像素子１２の相互間の「ずれ」について説明する。
【００４７】
図７（ａ）に示すように、ＣＣＤ撮像素子１１とＣ−ＭＯＳ撮像素子１２とが精度良く配置されていれば、ＣＣＤ撮像素子１１による画像Ｐ１０とＣ−ＭＯＳ撮像素子１２による画像Ｐ２０との間に「ずれ」が存在しない理想状態となる。一方、調整が不十分であるときには、図７（ｂ）に示すように、ＣＣＤ撮像素子１１による画像Ｐ１０とＣ−ＭＯＳ撮像素子１２による画像Ｐ２０との間に「ずれ」が存在する。
【００４８】
詳細には、画像Ｐ１０の横方向をＵ軸方向とし、縦方向をＶ軸方向とし、画像Ｐ１０平面に垂直な方向をＷ軸方向とすると、両画像Ｐ１０，Ｐ２０の相互間には、Ｕ方向における位置ずれと、Ｖ方向における位置ずれと、Ｗ軸に平行な所定軸回りの回転方向Θにおける角度のずれとが存在し得る。
【００４９】
この調整システム１００は、この「ずれ」（より詳細には、上記３つの自由度に関する「ずれ」）に関する補正データを生成して、デジタルカメラ１のメモリ２２内に格納する。したがって、デジタルカメラ１は、上述したように、この補正データを用いて、画像Ｐ２０の画像Ｐ１０に対する「ずれ」を補正し、補正後の画像Ｐ２０を表示部３０に出力することができる。また、画像Ｐ２０の表示出力時においては、デジタルカメラ１は、画像Ｐ２０の視野範囲のうち画像Ｐ１０との共通視野範囲ＣＲを表示部３０に表示すればよい。
【００５０】
なお、図７では、画像Ｐ１０の画角と画像Ｐ２０の画角とが同一である場合を想定しているが、これに限定されない。
【００５１】
たとえば、図８（ａ）に示すように、画像Ｐ１０の画角が画像Ｐ２０の画角よりも大きくてもよい。ただし、この場合、ずれが存在しなくとも、画像Ｐ２０を用いたプレビュー時の視野率（記録用静止画像である画像Ｐ１０に対する視野率）が１００％よりも小さくなる。また、図８（ｂ）に示すように、画像Ｐ２０の画像Ｐ１０に対するずれが存在する場合には、その共通視野領域がさらに狭くなってしまう。
【００５２】
あるいは、図９（ａ）に示すように、逆に、画像Ｐ２０の画角が画像Ｐ１０の画角よりも大きくてもよい。特に、この場合には、図９（ｂ）に示すように、画像Ｐ２０の画像Ｐ１０に対するずれが所定範囲内であれば、画像Ｐ２０の視野範囲は画像Ｐ１０の視野範囲を常に含むこと（カバーすること）ができる。したがって、画像Ｐ２０によるプレビュー時の視野率を常に１００％にすること、あるいは、常に１００％に近い値にすることができる。したがって、図９（ａ）に示すように、画像Ｐ２０の画角は画像Ｐ１０の画角よりも大きいことが好ましい。
【００５３】
＜調整動作＞
図１０および図１１は、調整システム１００における調整動作を示すフローチャートである。この調整動作は、デジタルカメラ１の製造工程の一部として用いられる。また、この調整動作は、製造後の修理工程などにも用いられる。
【００５４】
なお、ステップＳＰ７（後述）以外の撮影時には、画素ずらし光学系６０は、離脱位置ＰＳ２（図１参照）に配置されているものとする。
【００５５】
図１０に示すように、まず、デジタルカメラ１の調整用チャート７０に対する姿勢を調整する（ステップＳＰ１〜ＳＰ３）。
【００５６】
具体的には、デジタルカメラ１を雲台８０（図１参照）に装着し（ステップＳＰ１）、デジタルカメラ１のＣＣＤ撮像素子１１によって、調整用チャート７０を被写体とする画像Ｐ１０を取得する（ステップＳＰ２）。そして、デジタルカメラ１のＸ軸回りの回転角度、Ｙ軸回りの回転角度、およびＺ軸回りの回転角度を適宜に調整して、調整用チャート７０の画像が歪むことなく取得されるようにする。言い換えれば、デジタルカメラ１と調整用チャート７０とが正対するように位置調整を行う。より詳細には、ステップＳＰ２での撮影画像における菱形の調整用チャート７０の各頂点の位置を検出し、当該各頂点の位置関係に基づいて各角度を調整する。ここでは、デジタルカメラ１が撮影画像を外部演算装置５０へと転送し、外部演算装置５０が撮影画像に基づいて目標姿勢角度を決定し、外部演算装置５０が雲台８０へ駆動指示を送することによって、デジタルカメラ１の姿勢を自動的に調整するものとする。ただし、これに限定されず、作業者が撮影画像を目視によって確認しながら手動で調整するようにしてもよい。
【００５７】
つぎに、ずれ補正用の２つの画像Ｐ１０，Ｐ２０を取得する（ステップＳＰ４〜ＳＰ８）。
【００５８】
図１２は、ずれ補正用の２つの画像Ｐ１０，Ｐ２０の取得動作等を示す概念図である。ここでは、図１２に示すように、その画素数が略同一（約１２５万画素）となるような両画像Ｐ１０（Ｐ１２），Ｐ２０（Ｐ２２）を生成し、両画像Ｐ１２，Ｐ２２の比較処理を行って「ずれ補正」を行う場合を例示する。そのため、ＣＣＤ撮像素子１１による高画素数（約５００万画素）の画像Ｐ１０（Ｐ１１）に対しては画素数縮小処理（画素数変換処理）を施して画像Ｐ１２を生成する。また、Ｃ−ＭＯＳ撮像素子１２による低画素数（約３１万画素）の画像Ｐ２０（Ｐ２１ａ）に対しては画素数拡大処理（画素数変換処理）を施して画像Ｐ２２を生成する。
【００５９】
具体的には、まず、ステップＳＰ４において、デジタルカメラ１のＣＣＤ撮像素子１１を用いて、調整用チャート７０を被写体とする約５００万画素の画像Ｐ１０（Ｐ１１）を再び撮像する。この画像Ｐ１１は、調整用チャート７０の線幅がＣＣＤ撮像素子１１の複数の画素に相当する幅を有する状態で撮像される（後述、図１６参照）。デジタルカメラ１はこの画像Ｐ１１を外部演算装置５０に転送する。
【００６０】
そして、ステップＳＰ５において、外部演算装置５０は、転送されてきた画像Ｐ１１に対して画素数縮小処理を施して、１／４にリサイズされた約１２５万画素の画像Ｐ１０（Ｐ１２）を生成し、外部演算装置５０内の記憶部５１（図１）に格納する。画素数縮小処理（縮小補間）の手法としては、バイキュービック法、あるいは、バイリニア法などの各種の手法を用いることができる。この縮小処理によって、ＣＣＤ撮像素子１１の撮影による約１２５万画素の画像Ｐ１２が取得される。なお、この画素縮小処理によって、元の画像の１／３などの他の画素数にリサイズするようにしてもよい。
【００６１】
また、ステップＳＰ６において、今度は、デジタルカメラ１のＣ−ＭＯＳ撮像素子１２によって、調整用チャート７０を被写体とする約３１万画素の画像Ｐ２０（Ｐ２１ａ）が取得される。デジタルカメラ１は撮像画像Ｐ２１ａを外部演算装置５０に転送する。転送された画像Ｐ２１ａは、外部演算装置５０内の記憶部５１（図１）に格納される。
【００６２】
そして、ステップＳＰ７においては、画素ずらし光学系６０をデジタルカメラ１のレンズの直前の装着位置ＰＳ１に移動させて、デジタルカメラ１のＣ−ＭＯＳ撮像素子１２によって、同一の調整用チャート７０を被写体とする約３１万画素の画像Ｐ２０（Ｐ２１ｂ）が取得される。デジタルカメラ１は撮像画像Ｐ２１ｂも外部演算装置５０に転送する。転送された画像Ｐ２１ｂは、外部演算装置５０内の記憶部５１（図１）に格納される。なお、画像Ｐ２１ａ，Ｐ２１ｂは、調整用チャート７０の線幅がＣ−ＭＯＳ撮像素子１２の複数の画素に相当する幅を有する状態で撮像される（後述、図１６参照）。
【００６３】
図１３は、画素ずらし光学系６０による画素ずらしの原理を説明する図である。図１３に示すように、画素ずらし光学系６０の入射面Ｆ１の法線は、光軸ＬＡに対して角度α傾斜した状態となっている。そのため、被写体からの光線は、面Ｆ１に入射するときの屈折現象等によってその進路が変更される。そして、屈折後に画素ずらし光学系６０を透過した光線は、そのまま直進した場合の直進光に比べて、図１３の微少距離δだけずれた位置を進行する。これによって、被写体からの光の結像位置をずらすことができる。なお、ここでは、画素ずらし光学系６０のテーパ角度αが微小であり且つ画素ずらし光学系６０の厚さＤが比較的大きいため、ずれ量δは各位置においてほぼ同一となる。
【００６４】
具体的には、この略矩形平板形状の画素ずらし光学系６０を、図１の状態から、デジタルカメラ１の光軸（Ｚ軸に平行な軸）の回りに４５度回転させた状態で挿入する。これによって、図１４の概念図に示すように、画像Ｐ２１ｂにおける各画素は画像Ｐ２１ａの対応画素に対して、斜め方向（矢印ＡＲ１の方向）にずらされる。また、画素ずらし光学系６０による「ずらし量」は、画像Ｐ２１ｂの各画素位置が画像Ｐ２１ａの画素位置に対して、横方向（Ｕ方向）および縦方向（Ｖ方向）のいずれの方向にもＣ−ＭＯＳ撮像素子１２の半画素分ずつずれるように設定される。なお、図１４は、画素ずらし光学系６０と画像Ｐ２１ａ，Ｐ２１ｂとの間の対応関係を概念的に示す図である。
【００６５】
そして、ステップＳＰ８において、外部演算装置５０は、その画素位置が互いに半画素位置ずつずれたこれら２枚の画像Ｐ２１ａ，Ｐ２１ｂを用いて画素補間処理を行うことによって、画像の解像度を４倍に向上させた画像Ｐ２２を取得する。
【００６６】
以上のようにして、Ｃ−ＭＯＳ撮像素子１２の撮影による約１２５万画素の画像Ｐ２２が取得される。なお、ステップＳＰ４，ＳＰ６，ＳＰ７などにおける撮影時においては、絞りは開放よりも２〜３ＥＶ（ＡＰＥＸ値）絞った状態で撮影することが好ましい。これによれば、開放時よりも収差の影響を排除することができるとともに、絞り過ぎたときに生じる回折の影響を回避することもできるからである。
【００６７】
つぎに、外部演算装置５０は、両画像Ｐ１０，Ｐ２０の相互間における、Ｗ軸に平行な軸回りの回転方向Θにおける角度のずれθと、Ｕ方向およびＶ方向における位置ずれ（ｕ，ｖ）とを求めて、その演算結果をデジタルカメラ１に通知する（図１１、ステップＳＰ９〜ＳＰ１３）。すなわち、両画像Ｐ１０，Ｐ２０に基づいて、ＣＣＤ撮像素子１１内の画素とＣ−ＭＯＳ撮像素子１２内の画素との間の対応関係を求める動作などを行う。
【００６８】
図１５は画像Ｐ１０（Ｐ１２）と画像Ｐ２０（Ｐ２２）との間のずれを示す概念図である。
【００６９】
まず、ステップＳＰ９において、外部演算装置５０は両画像Ｐ１２，Ｐ２２相互間のずれ角度θ（図１５参照）を求める。詳細には、両画像Ｐ１２，Ｐ２２のそれぞれについて、各水平ラインＬ１，Ｌ２，Ｌ３，Ｌ４，．．．における調整用チャート７０の黒線の位置を求める。ここでは、菱形の調整用チャート７０の４つの黒線ＢＬ１〜ＢＬ４のうち黒線ＢＬ１を用いた動作について説明するが、他の黒線ＢＬ２〜ＢＬ４について同様の動作を行っても良い。
【００７０】
図１６は調整用チャート７０の一部拡大図である。図１６に示すように、黒線ＢＬ１は画素ＰＸの所定画素数（たとえば、数画素から数十画素程度）の幅を有している。ここでは、各水平ラインＬ（たとえば各水平ラインＬ１，Ｌ２など）における黒線ＢＬ１の両端点ＱＬ，ＱＲの中央の位置ＱＣを黒線の位置として求める。なお、両画像Ｐ１０，Ｐ２０における解像度が異なる場合には、倍率変換係数γを用いて座標変換（倍率変換）することによって、両画像の位置を同一スケールで比較するようにすればよい。
【００７１】
そして、各水平ラインＬ１，Ｌ２，Ｌ３，Ｌ４，．．．ごとに黒線の位置を、両画像Ｐ１２，Ｐ２２間で比較する。各水平ラインＬ１，Ｌ２，Ｌ３，Ｌ４，．．．、としては、垂直方向（Ｖ方向）に連続する全ての水平ラインを採用しても良いが、ここでは全水平ラインのうち数本ずつ間引いた（所定間隔Δｖごとの）水平ラインを採用するものとする。
【００７２】
具体的には、図１５に示すように、まず、水平ラインＬ１について、画像Ｐ１２の黒線ＢＬ１の水平位置ｕ１と画像Ｐ２２の黒線ＢＬ１の水平位置ｕ２とを求める。そして、水平位置ｕ１を基準とする水平位置ｕ２の相対位置ｘ（＝ｕ２−ｕ１）を求める。同様に、他の水平ラインＬ２，Ｌ３，Ｌ４，．．．についても、黒線位置ｕ２（画像Ｐ２２）の黒線位置ｕ１（画像Ｐ２１）に対する相対位置ｘを求める。
【００７３】
図１７および図１８は、比較の様子を示す概念図である。図１７においては、両画像Ｐ１２，Ｐ２２における各黒線位置ｕ１，ｕ２が各水平ラインＬ１，Ｌ２，Ｌ３，Ｌ４．．．ごとに示されている。また、図１８においては、画像Ｐ２２の各黒線の相対位置ｘが画像Ｐ１２における各黒線位置を基準として、各水平ラインＬ１，Ｌ２，Ｌ３，Ｌ４，．．．ごとに示されている。図１７および図１８においては、画像Ｐ１２の黒線位置が黒丸印で示されており、画像Ｐ２２の黒線位置が×印で示されている。
【００７４】
図１８に示すように、画像Ｐ１２に対する画像Ｐ２２の対応黒線位置のずれ量（相対位置）ｘは、水平ラインＬ１において＋Δｕであり、水平ラインＬ２においてゼロであり、水平ラインＬ３において−Δｕであり、水平ラインＬ４において−２・Δｕである。このとき、ずれ角度θは、ｔａｎθ＝Δｕ／Δｖ、を満たすθとして求められる。より詳細には、多数ラインについての位置ずれ量に基づいて、回帰計算を行い、ずれ角度θを求めればよい。なお、黒線位置ｕ１，ｕ２の差（すなわち、ずれ量ｘ）が複数の水平ラインのいずれにおいても同一になるときには、ずれ角度θはゼロであるとして求められる。
【００７５】
また、相対的な位置ずれ量ｘがゼロとなる水平ライン（ここではＬ２）での黒線位置を、回転中心ＲＣとして求めることができる。なお、回転位置が実在の水平ライン上に存在しないこともあるが、その場合には、画像Ｐ１２の黒線ＢＬ（もしくはその延長線）と画像Ｐ２２の黒線ＢＬ（もしくはその延長線）との仮想的な交点位置を、回転中心ＲＣとすればよい。
【００７６】
外部演算装置５０は、回転中心ＲＣの位置とずれ角度θとを求めるとその演算結果をデジタルカメラ１に送信し、デジタルカメラ１は、受信した情報、言い換えれば「ずれ角度θ」に関する情報をデジタルカメラ１内のメモリ２２に格納する（ステップＳＰ１０）。
【００７７】
つぎに、ステップＳＰ１１，ＳＰ１２において、外部演算装置５０は、両画像Ｐ１０，Ｐ２０の相互間における、Ｕ方向およびＶ方向における位置ずれを求める。
【００７８】
ステップＳＰ１１では、外部演算装置５０は、ずれ角度θを用いて、画像Ｐ２２に対する座標変換を行う。具体的には、図１９（ａ）に示すように、外部演算装置５０は、画像Ｐ２２を回転中心ＲＣの回りに、矢印ＡＲ２の向き（図１８の矢印ＡＲ１の向きとは逆向き）に「ずれ角度θ」回転させた画像を求める。これによって、図１９（ｂ）のように、両画像Ｐ２２は、回転中心ＲＣ回りの「ずれ角度θ」が補正された状態となる。ただし、この状態においては、Ｕ方向およびＶ方向における位置ずれ（ｕ，ｖ）は未だ存在している。
【００７９】
次のステップＳＰ１２において、外部演算装置５０は、画像Ｐ１２と座標変換後のＰ２２とのＵ方向およびＶ方向における位置ずれ（ｕ，ｖ）を求める。
【００８０】
外部演算装置５０は、ステップＳＰ１２でも、ステップＳＰ９と同様に、各水平ラインＬ（たとえばＬ１，Ｌ２など）における黒線ＢＬ１の両端点ＱＬ，ＱＲの中央の位置ＱＣを黒線の位置として求める。同様に、黒線ＢＬ１だけでなく他の黒線ＢＬ２〜ＢＬ４についても黒線位置を求めておく。そして、今度は、ずれ角度θではなく、両画像Ｐ１２，Ｐ２２のＵ方向における位置ずれ量ｕとＶ方向における位置ずれ量ｖとを求める。
【００８１】
たとえば、図１９（ｂ）に示すような場合には、画像Ｐ１２の黒線ＢＬ２から画像Ｐ２２の黒線ＢＬ２までの水平方向（Ｕ方向）のずれ量ｅと、画像Ｐ１２の黒線ＢＬ３から画像Ｐ２２の黒線ＢＬ３までの垂直方向（Ｖ方向）ずれ量ｆとを求め、両ずれ量ｅ，ｆと幾何学的関係等とに基づいて位置ずれ量ｕ、ｖを求めればよい。具体的には、ｅ＝ｕ＋ｖ／ｔａｎβ、ｆ＝ｕ・ｔａｎβ＋ｖ、の関係から位置ずれ量ｕ、ｖを求めることができる。角度βは、調整用チャート７０の菱形における長軸対角線と黒線ＢＬ２（ないしＢＬ１）とのなす角である。
【００８２】
その後、外部演算装置５０は、求めた位置ずれ量（ｕ，ｖ）に関する情報をデジタルカメラ１に送信する。デジタルカメラ１は、受信した情報、すなわち「位置ずれ量（ｕ，ｖ）」に関する情報をデジタルカメラ１内のメモリ２２に格納する（ステップＳＰ１３）。
【００８３】
ステップＳＰ１４において、デジタルカメラ１は、回転中心ＲＣの位置とずれ角度θとＵ方向の位置ずれ量ｕとＶ方向の位置ずれ量ｖとに基づいて、画像Ｐ２０をそのずれ量が補正された状態で読み出すための読出しアドレス順序を求める。そして、デジタルカメラ１は、このアドレス読出し順序をテーブル情報ＴＢＬ（不図示）としてメモリ２２に格納しておく。
【００８４】
以上のようにして、調整処理が行われる。この調整処理の結果、デジタルカメラ１は、Ｃ−ＭＯＳ撮像素子１２による画像の読出しの際に、両撮像素子１１，１２の配置ずれを補正することが可能である。詳細には、デジタルカメラ１は、プレビュー画像としてＣ−ＭＯＳ撮像素子１２により撮像され一時的にメモリ２１に格納された画像データを、テーブル情報ＴＢＬに基づくアドレス順序で読み出せばよい。なお、このように、テーブル情報ＴＢＬに基づくアドレス順序で読み出す処理は、ＣＣＤ撮像素子１１とＣ−ＭＯＳ撮像素子１２との位置ずれ等を補正する処理、すなわち、「ズレ補正処理」に相当する。
【００８５】
このように、上記の調整処理によれば、画素数が互いに異なる２つの撮像素子を備えるデジタルカメラ１に対して、高度な機械的調整を必要とせず、電気的な調整によって、比較的簡易に調整を行うことが可能である。その結果、デジタルカメラ１は、調整結果として得られた対応関係に基づいて、一方の撮像素子（例えばＣＣＤ撮像素子１１）から得られた画像に対する他方の撮像素子（例えばＣ−ＭＯＳ撮像素子１２）から得られた画像のずれを簡易に補正することができる。したがって、製造コストを低減することも可能である。
【００８６】
特に、上記の調整処理においては、低画素数の画像Ｐ２０は画素数拡大処理によって画素数が増大された後に、高画素数の画像Ｐ１０と比較されているので、両画像の対応関係を比較的高い精度で求めることができる。
【００８７】
また、画像Ｐ２０は、画素ずらし光学系を用いてその画素数が増大されるので、簡易な構成で画素数を増大させることができる。
【００８８】
さらに、上記の調整処理においては、ＣＣＤ撮像素子１１による画像Ｐ１０とＣ−ＭＯＳ撮像素子１２による画像Ｐ２０とに関する画素数変換処理を行い、両画像Ｐ１０の画素数と画像Ｐ２０の画素数とが略同一にされた状態で、ＣＣＤ撮像素子１１内の画素とＣ−ＭＯＳ撮像素子１２内の画素との間の対応関係が求められている。したがって、対応関係を比較的高い精度で求めることができる。
【００８９】
また、上記の調整処理においては、調整用チャートの線幅がＣＣＤ撮像素子１１およびＣ−ＭＯＳ撮像素子１２のそれぞれの複数の画素に相当する幅を有する状態で画像Ｐ１０，Ｐ２０が撮像され、調整用チャートの線幅の中央位置（中心位置）を比較することによって対応関係が求められている。調整用チャートの黒線は所定画素数の幅を有しているので、１画素幅の線の位置を特定して比較する場合に比べて、誤差を低減して、より正確にその中央位置を特定して両画像の対応関係を求めることができる。特に、画像Ｐ１０，Ｐ２０の画素数が互いに異なる場合であっても、両撮像素子の対応関係を比較的精度良く求めることができる。
【００９０】
＜その他＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【００９１】
たとえば、上記実施形態においては、ステップＳＰ１１で画像Ｐ２２を座標変換することによってずれ角度θが補正された画像（図１９（ｂ）参照）を生成したが、これに限定されない。具体的には、Ｃ−ＭＯＳ撮像素子１２によって調整用チャート７０をもう一度撮影し直すようにしてもよい。
【００９２】
より詳細には、ステップＳＰ１０の後のステップＳＰ１１において、ステップＳＰ６〜ＳＰ８の動作をもう一度繰り返す。ただし、このとき、ずれ角度θの変換処理をデジタルカメラ１のずれ補正処理部２４で行うことによって、画像Ｐ２１ａ，Ｐ２１ｂを再取得するものとする。デジタルカメラ１によるこの変換処理は、ステップＳＰ１０でデジタルカメラ１に転送され格納された角度θに基づいて行われる。変換処理後の再取得画像Ｐ２１ａ，Ｐ２１ｂは、外部演算装置５０に転送される。そして、外部演算装置５０は、これらの画像Ｐ２１ａ，Ｐ２１ｂに対して画素数拡大処理を施し、約１２５万画素の画像Ｐ２２を生成する。これによれば、ずれ角度θの角度変換処理がデジタルカメラ１側で行われるので、デジタルカメラ１による実撮影時の状況に類似した状況となる。したがって、角度変換処理時の演算誤算の影響を軽減することが可能である。
【００９３】
また、上記実施形態においては、ずれ角度θおよびずれ量（ｕ，ｖ）の求め方の一例を示したが、これに限定されない。たとえば、両画像Ｐ１２，Ｐ２２において、調整用チャート７０の菱形の４つの頂点の座標値をそれぞれ求めておき、対応する４つの頂点の相対的ずれ量の関係と幾何学的関係とに基づいて、ずれ角度θ、その回転中心ＲＣの位置、およびずれ量（ｕ，ｖ）を求めるようにしてもよい。
【００９４】
さらに、上記実施形態においては、２つの撮像素子として、ＣＣＤ撮像素子とＣ−ＭＯＳ撮像素子とを用いる場合を例示したが、これに限定されない。たとえば、２つのＣＣＤ撮像素子を用いるようにしてもよく、あるいは、２つのＣ−ＭＯＳ撮像素子を用いるようにしてもよい。
【００９５】
また、上記実施形態においては、２つの撮像素子による画像相互間の位置ずれ等を補正する場合を例示したが、これに限定されず、３つ以上の撮像素子による画像相互間の位置ずれ等を補正する場合にも、本発明を適用することができる。
【００９６】
さらに、上記実施形態においては、画素ずらし光学系６０を装着位置ＰＳ１に配置した状態で撮影した画像Ｐ２１ｂと、離脱位置ＰＳ２に配置した状態で撮影した画像Ｐ２１ａとに基づいて、画像Ｐ２２を生成する場合について例示したが、これに限定されない。たとえば、上記の画像Ｐ２１ｂと、上記の画像Ｐ２１ａとは別の画像Ｐ２１ｃとに基づいて画像Ｐ２２を取得するようにしてもよい。ここで、画像Ｐ２１ｃは、画素ずらし光学系６０を装着位置ＰＳ１において画像Ｐ２１ｂの撮影時の姿勢（図２０（ａ）参照）から撮影レンズ１４の光軸ＬＡ回りに１８０度回転させて配置した状態（図２０（ｂ）参照）で撮影した画像である。このように、各光線のずれ方向を互いに１８０度回転させて撮影された２枚の画像Ｐ２１ｂ，Ｐ２１ｃに基づいて、画像Ｐ２２を生成するようにしてもよい。
【００９７】
また、上記実施形態においては、画素ずらし光学系６０として断面形状がくさび形のものを用いる場合を例示したが、これに限定されない。たとえば、図２１に示すように、入射面と出射面とが平行な透明板６０ｂを画素ずらし光学系６０として用いても良い。より詳細には、透明板６０ｂの法線が光軸に対して傾きを有する状態で、デジタルカメラ１のレンズの前の位置に挿入すればよい。
【００９８】
さらに、上記実施形態においては、画像Ｐ２０の画素数を拡大するために２枚の画像を撮像する場合を例示しているが、１枚の画像Ｐ２１ａから画素補間処理によって画素数を拡大した画像Ｐ２２（Ｐ２０）を生成するようにしてもよい。
【００９９】
また、上記実施形態においては、Ｃ−ＭＯＳ撮像素子１２による画像Ｐ２０をプレビュー用画像として読み出す場合について説明したが、これに限定されない。たとえば、ＣＣＤ撮像素子１１による画像Ｐ１０を記録用静止画として読み出す一方で、Ｃ−ＭＯＳ撮像素子１２による画像Ｐ２０を記録用動画を構成するフレーム画像として読み出すようにしてもよい。これによれば、動画像の撮影と静止画像の撮影とを同時に行うことが可能になる。
【０１００】
そして、この記録用動画を構成する画像Ｐ２０を読み出す際に、上記の補正処理技術を適用することによれば、動画像の撮影と静止画像の撮影とを同時に行うことが可能なデジタルカメラ１において、両画像のずれを簡易に補正することが可能になる。
【０１０１】
さらに、上記実施形態においては、低画素数の画像Ｐ２０に対してずれ補正を行う場合を例示しているが、逆に高画素数の画像Ｐ１０に対してずれ補正を施すようにしてもよい。
【０１０２】
【発明の効果】
以上のように、請求項１ないし請求項１１に記載の発明によれば、高度な機械的調整を必要とせず、簡易に調整を行うことが可能である。
【０１０３】
特に、請求項２に記載の発明によれば、第２画像の画素数を第２の撮像素子の画素数よりも増大させた上で、第１画像と第２画像とに基づいて対応関係が求められるので、比較的高い精度で調整を行うことができる。
【０１０４】
また、請求項３に記載の発明によれば、その画素数が略同一の状態で２つの画像が比較されるので、対応関係を高い精度で求めることができる。
【０１０５】
さらに、請求項４に記載の発明によれば、第２画像の画素数を第２の撮像素子の画素数よりも増大させ、互いに略同一の画素数を有するように変更された第１画像と第２画像とに基づいて対応関係が求められるので、さらに精度よく調整を行うことができる。
【０１０６】
また、請求項５に記載の発明によれば、画素ずらし光学系を用いることによって、簡易な構成で画素数を増大させた第２画像を取得することができる。
【０１０７】
さらに、請求項６に記載の発明によれば、両撮像素子の対応関係を比較的精度良く求めることができる。
【図面の簡単な説明】
【図１】デジタルカメラ１の調整を行う調整システム１００を示す図である。
【図２】デジタルカメラ１の機能構成を中心に示す図である。
【図３】調整用チャート７０の一例を示す図である。
【図４】調整用チャート７０の他の一例を示す図である。
【図５】撮像ブロック１０の詳細構成を示す図である。
【図６】撮像ブロック１０の詳細構成の変形例を示す図である。
【図７】ＣＣＤ撮像素子１１およびＣ−ＭＯＳ撮像素子１２の相互間の「ずれ」を示す図である。
【図８】ＣＣＤ撮像素子１１およびＣ−ＭＯＳ撮像素子１２の相互間の「ずれ」を示す図である。
【図９】ＣＣＤ撮像素子１１およびＣ−ＭＯＳ撮像素子１２の相互間の「ずれ」を示す図である。
【図１０】調整システム１００における調整動作を示すフローチャートである。
【図１１】調整システム１００における調整動作を示すフローチャートである。
【図１２】ずれ補正用の２つの画像Ｐ１０，Ｐ２０の取得動作等を示す概念図である。
【図１３】画素ずらし光学系６０による画素ずらしの原理を説明する図である。
【図１４】画素ずらし光学系６０の配置状態を示す概念図である。
【図１５】画像Ｐ１０（Ｐ１２）と画像Ｐ２０（Ｐ２２）との間のずれを示す概念図である。
【図１６】調整用チャート７０の一部拡大図である。
【図１７】両画像Ｐ１２，Ｐ２２の比較の様子を示す概念図である。
【図１８】両画像Ｐ１２，Ｐ２２の比較の様子を示す概念図である。
【図１９】ずれ角度θおよび位置ずれ量（ｕ，ｖ）を示す図である。
【図２０】画素ずらし光学系６０の他の配置例を示す図である。
【図２１】画素ずらし光学系６０の他の例を示す図である。
【符号の説明】
１デジタルカメラ
１１ＣＣＤ撮像素子
１２Ｃ−ＭＯＳ撮像素子
１４撮影レンズ
１５プリズム（ハーフミラー）
２１，２２メモリ
５１記憶部
６０画素ずらし光学系
７０調整用チャート
８０雲台
１００調整システム[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus such as a digital camera.
[0002]
[Prior art]
An imaging apparatus having a configuration in which two imaging elements are provided in one imaging apparatus has been proposed (see, for example, Patent Document 1 and Patent Document 2). Specifically, light from a certain subject is separated into a reflected light component and a transmitted light component using a prism, and is imaged on each of the two imaging elements.
[0003]
According to such an imaging apparatus, it is possible to capture an image relating to the same subject with each of the two imaging elements.
[0004]
Specifically, still images and moving images can be taken using two imaging elements having different numbers of pixels. For example, a still image can be taken using one image sensor having a high number of pixels, and a moving image can be taken using the other image sensor having a low number of pixels.
[0005]
[Patent Document 1]
JP 2001-86382 A
[Patent Document 2]
Japanese Patent Laid-Open No. 6-6814
[0006]
[Problems to be solved by the invention]
In an imaging apparatus having two imaging elements having different pixel numbers, both images taken by the two imaging elements are obtained by imaging the same part of the same subject in a state where there is no positional deviation or the like. Is preferred. Specifically, it is preferable that there is no shift in the vertical direction, the horizontal direction, and the rotation direction between the two images.
[0007]
Therefore, in an imaging apparatus having two imaging elements having different numbers of pixels, the two imaging elements are aligned with very high accuracy in order to match the positional relationship between images by the two imaging elements. Is required.
[0008]
However, there is a problem that adjustment work (positioning work) that requires such high-level mechanical adjustment is very difficult. Patent Document 2 describes a technique for obtaining a correspondence between pixels of two imaging elements having the same number of pixels. However, a correspondence between pixels of two imaging elements having different numbers of pixels is obtained. The technology is not described.
[0009]
In view of the above problems, an object of the present invention is to provide a technique that can easily adjust an imaging apparatus including two imaging elements having different numbers of pixels.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, the invention of claim 1 is directed to both the first image sensor and the second image sensor having different numbers of pixels, and both the first image sensor and the second image sensor. An adjustment method of an imaging apparatus including an imaging optical system that guides a light image from the same subject, wherein: a) a first image that is a captured image of an adjustment chart by the first imaging element; and the second A step of acquiring a second image that is a photographed image of the adjustment chart by the image sensor; b) a pixel in the first image sensor and the second based on the first image and the second image; Obtaining a correspondence relationship with the pixels in the imaging device, and storing the correspondence relationship in a storage unit of the imaging device.
[0011]
According to a second aspect of the present invention, in the adjustment method according to the first aspect of the present invention, the number of pixels of the second image sensor is smaller than the number of pixels of the first image sensor, and the step a) It includes a pixel number conversion process for increasing the number of pixels of two images.
[0012]
According to a third aspect of the present invention, in the adjustment method according to the first aspect of the invention, in the step a), the number of pixels of the first image and the number of pixels of the second image are substantially the same. Including a step of performing a pixel number conversion process on at least one of the first image and the second image, wherein the step b) is based on the first image and the second image having the same number of pixels. And obtaining a correspondence relationship between the pixels in the first image sensor and the pixels in the second image sensor.
[0013]
According to a fourth aspect of the present invention, in the adjustment method according to the third aspect of the present invention, the number of pixels of the second image sensor is smaller than the number of pixels of the first image sensor, Including a process of increasing the number of pixels of the second image.
[0014]
According to a fifth aspect of the present invention, in the adjustment method according to the third aspect of the invention, in the step a), an image is captured by the second image sensor using a pixel shifting optical system, and the number of pixels is determined using the image. Acquiring the second image with increased.
[0015]
According to a sixth aspect of the present invention, in the adjustment method according to the first aspect of the present invention, in the step a), the line width of the adjustment chart is a plurality of each of the first image sensor and the second image sensor. The first image and the second image are picked up in a state having a width corresponding to the pixel, and in step b), the correspondence relationship is obtained by comparing the center position of the line width of the adjustment chart. Ask.
[0016]
According to a seventh aspect of the present invention, a first image sensor and a second image sensor having different numbers of pixels, and a light image from the same subject toward both the first image sensor and the second image sensor. An imaging device manufacturing method comprising: a photographic optical system for guiding a), a) a first image that is a photographed image of an adjustment chart by the first image sensor, and the adjustment chart by the second image sensor. A step of acquiring a second image that is a captured image of the first image sensor; and b) a pixel in the first image sensor and a pixel in the second image sensor based on the first image and the second image; Obtaining a correspondence relationship between the two, and storing the correspondence relationship in a storage unit of the imaging apparatus.
[0017]
The invention according to claim 8 is the imaging apparatus, and is the same for both the first imaging element and the second imaging element having different numbers of pixels, and both the first imaging element and the second imaging element. A photographing optical system for guiding a light image from the subject, storage means for storing a correspondence relationship between a pixel in the first imaging element and a pixel in the second imaging element, and the first imaging The deviation of the other image with respect to the reference image, which is one of the first image by the element and the second image by the second imaging element, is corrected based on the correspondence, and the other image is read out. Reading means.
[0018]
According to a ninth aspect of the present invention, in the image pickup apparatus according to the eighth aspect of the invention, the first image pickup element has more pixels than the second image pickup element, and the reading means includes the first image pickup element. The second image is read out by correcting the shift of the second image on the basis of one image.
[0019]
According to a tenth aspect of the present invention, in the imaging apparatus according to the eighth or ninth aspect, a recording unit that records an image by the first imaging element and an image by the second imaging element are displayed as a preview image. Display means, and an image by the second image sensor is read as the other image by the reading means and displayed as the preview image by the display means.
[0020]
According to an eleventh aspect of the present invention, in the imaging apparatus according to the eighth or ninth aspect, the reading unit reads an image from the first image sensor as a still image for recording, and the second image sensor. The image is read out as the other image and as a frame image constituting a recording moving image.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0022]
<System configuration overview>
FIG. 1 is a diagram showing a schematic configuration of a digital camera (imaging device) 1 according to an embodiment of the present invention and an adjustment system 100 that performs the adjustment. FIG. 2 is a diagram mainly showing a functional configuration of the digital camera 1.
[0023]
As shown in FIG. 1, the adjustment system 100 includes an external arithmetic device 50, a pixel shifting optical system 60, an adjustment chart 70, and a pan head 80. The XYZ coordinate system shown in FIG. 1 is an orthogonal coordinate system, the X axis indicates a direction parallel to the floor surface, the Y axis indicates a vertical direction, and the Z axis indicates the optical axis direction of the photographing lens 14 of the digital camera 1. ing.
[0024]
The external computing device 50 is connected to the digital camera 1 via a connection line such as a USB cable, and can transmit and receive data such as image data and correction data.
[0025]
The external computing device 50 is realized, for example, by causing a personal computer to execute a predetermined program. The external computing device 50 has various computing functions as will be described later. For example, the external computing device 50 is based on image data captured by the digital camera 1 or the like, and a rotational displacement or a horizontal displacement between two imaging elements 11 and 12 (described later) in the digital camera 1. , Has a function of calculating the vertical displacement.
[0026]
The pixel shifting optical system 60 is a wedge-shaped (or flat plate-shaped) optical element as will be described later, and has a function of shifting the imaging position of the optical image (planar position on the surface of the imaging element). The pixel shifting optical system 60 can be moved between a mounting position PS1 that covers the photographing lens 14 of the digital camera 1 and a separation position PS2 that is out of the photographing lens 14 of the digital camera 1 by a driving system (not shown). As will be described later, by using a normal image captured by moving the pixel shifting optical system 60 to the separation position PS2 and a pixel shifting image captured by moving the pixel shifting optical system 60 to the mounting position PS1, 2 A high-resolution image with an increased number of pixels can be created based on two low-resolution images.
[0027]
In FIG. 1, for simplification of illustration, the pixel shifting optical system 60 is disposed so as to shift the imaging position of each light beam from the subject in the Y direction at the mounting position PS1. However, as will be described later, the pixel shifting optical system 60 is rotated 45 degrees around the optical axis (axis parallel to the Z axis) of the photographing lens 14 of the digital camera 1 from the state shown in FIG. It is arranged with.
[0028]
The adjustment chart 70 is drawn as a black figure on a white background on the surface of the thin plate member (see FIG. 3 and the like). Here, a diamond-shaped type chart (also referred to as “rotation chart”) 70 (70a) as shown in FIG. 3 is used, but the present invention is not limited to this. For example, an adjustment chart 70 (70b) of a V-shaped type (also referred to as “V-chart”) as shown in FIG. 4 may be used.
[0029]
The pan head 80 has an adjustment mechanism that freely adjusts the angle of the digital camera 1. Specifically, the rotation angle around the X axis, the rotation angle around the Y axis, and the rotation angle around the Z axis can be appropriately adjusted.
[0030]
The adjusting mechanism of the pan head 80 has a drive mechanism such as a motor, and is fixed to the pan head 80 in response to a movement instruction from the external computing device 50 to the drive unit (not shown) of the pan head 80. The angle of the digital camera 1 with respect to the adjustment chart 70 can be freely changed. In addition, although the case where the angle of the digital camera 1 is adjusted by automatic driving is illustrated here, the present invention is not limited to this and may be adjusted manually.
[0031]
<Camera configuration overview>
Next, the configuration of the digital camera 1 will be described with reference to FIG.
[0032]
As shown in FIG. 2, the digital camera 1 includes an imaging block 10, an image processing block 20, a display unit 30 (EVF 31, LCD 32), and a recording medium 33.
[0033]
The imaging block 10 includes a CCD imaging device 11, a C-MOS imaging device 12, an A / D conversion unit 13, a photographing lens 14, and a prism (half mirror) 15.
[0034]
The image processing block 20 includes memories (storage units) 21 and 22, an image processing unit 23, and a deviation correction processing unit 24.
[0035]
As the memory 21, a RAM that can be accessed at high speed is used, and as the memory 22, an electrically rewritable ROM (EEPROM, FROM, etc.) is used. The memory 22 stores a control program, deviation correction data described later, and the like. The memory 21 is used for temporary storage of programs and data.
[0036]
Further, the image processing unit 23 performs image processing such as WB correction, black level correction, and the like, and the deviation correction processing unit 24 corrects a positional deviation at the time of manufacturing the CCD imaging device 11 and the C-MOS imaging device 12. The “deviation correction process” is performed.
[0037]
FIG. 5 is a diagram illustrating a detailed configuration of the imaging block 10. As shown in FIG. 5, the imaging block 10 further includes an IR (infrared) cut filter 17 and optical low-pass filters 18 and 19.
[0038]
The CCD image pickup device 11 is an image pickup device having a high number of pixels (here, about 5 million pixels), and the C-MOS image pickup device 12 is an image pickup device having a relatively low number of pixels. The CCD image pickup device 11 and the C-MOS image pickup device 12 are respectively disposed on different surfaces of the prism 15.
[0039]
Incident light from the photographing lens 14 composed of a plurality of lenses is incident on the prism 15 after the infrared component is removed by the IR cut filter 17. The prism 15 has a function of separating light from the subject into a transmitted light component and a reflected light component. Therefore, the incident light to the prism 15 is separated into transmitted light and reflected light by the prism 15. The transmitted light is further transmitted through the optical low-pass filter 18 and received by the CCD image sensor 11, and the reflected light is further transmitted through the optical low-pass filter 19 and received by the C-MOS image sensor 12. In this way, a light image from the same subject is guided toward both the CCD image sensor 11 and the C-MOS image sensor 12 by the photographing optical system such as the photographing lens 14 and the prism 15.
[0040]
Incident light to the CCD image sensor 11 and the C-MOS image sensor 12 is converted into digital image data through various conversion processes (photoelectric conversion, A / D conversion, etc.). Image data obtained by the CCD image pickup device 11 is generated as still image data for recording with high resolution (for example, about 5 million pixels) and recorded on the recording medium 33. The image data obtained by the C-MOS image sensor 12 is generated as preview data with a low resolution (for example, about 310,000 pixels), and is sent to the EVF 31 and / or the LCD 32 at a minute time interval (for example, 1/15 seconds). (Interval).
[0041]
Specifically, the image signal of each pixel photoelectrically converted by the CCD image sensor 11 is converted from an analog signal to a digital signal by the A / D converter 13 and input to the image processor 23 of the image processing block 20. . The image processing unit 23 performs WB correction, black level correction, and the like on the image signal from the CCD image pickup device 11, and temporarily stores the image signal subjected to various types of image processing in the memory 21. Thereafter, the image processing unit 23 further performs image processing such as compression processing on the image signal stored in the memory 21, and then stores the image signal in the recording medium 33. Further, the image signal (image data) in the memory 21 is subjected to a pixel number conversion process by the image processing unit 23, converted into the pixel size of the LCD 32, and then output to the LCD 32 as an after-view image for confirmation. . Note that when an after-view image is displayed on the EVF 31, the image data that has been converted to the pixel size of the EVF 31 is displayed on the EVF 31.
[0042]
Further, the image signal of each pixel photoelectrically converted by the C-MOS image sensor 12 is converted from an analog signal to a digital signal by the A / D converter 13 and input to the image processor 23. The image processing unit 23 performs WB correction, black level correction, and the like on the image signal from the C-MOS image pickup device 12 and temporarily stores the image signal subjected to various image processes in the memory 21. The image signal (image data) in the memory 21 is read after being subjected to the “deviation correction process” by the deviation correction processing unit 24, and is displayed on the LCD 32 via the image processing unit 23 on the LCD 32. As a live view image). As will be described later, the “deviation correction process” is a process for correcting a positional deviation or the like between the CCD image pickup device 11 and the C-MOS image pickup device 12 using correction data obtained by electronic adjustment.
[0043]
Here, it is preferable to acquire only an image captured by the C-MOS image sensor 12 at the time of preview and to acquire an image by the CCD image sensor 11 at the time of still image capturing. According to this, since it is not always necessary to drive the CCD image pickup device 11 at the time of preview, power consumption can be reduced.
[0044]
In the above description, since it is assumed that the number of pixels in the C-MOS image sensor 12 and the number of pixels in the LCD (display unit) 32 are the same (approximately 300,000 pixels), the pixel number conversion process is performed. Not. When the number of pixels of the image sensor and the number of pixels of the display unit are not the same, a process of converting the number of pixels of the image data into the number of pixels of the display unit (pixel number conversion process) is performed, and after the pixel number conversion process The image data may be output to the display unit 30. The same applies when a preview image is displayed on the EVF 31.
[0045]
In addition, although the case where the C-MOS image sensor 12 having the same size as the CCD image sensor 11 (physical size rather than the number of pixels) is provided is illustrated here, the present invention is not limited to this. For example, as shown in FIG. 6, a C-MOS image sensor 12 having a size different from that of the CCD image sensor 11 may be provided on one surface side of the prism 15 via the relay optical system 16.
[0046]
<Difference between two image sensors>
Next, the “deviation” between the CCD image sensor 11 and the C-MOS image sensor 12 will be described.
[0047]
As shown in FIG. 7A, if the CCD image pickup device 11 and the C-MOS image pickup device 12 are accurately arranged, an image P10 obtained by the CCD image pickup device 11 and an image P20 obtained by the C-MOS image pickup device 12 are displayed. It becomes an ideal state with no “displacement” between them. On the other hand, when the adjustment is insufficient, there is a “deviation” between the image P10 by the CCD image sensor 11 and the image P20 by the C-MOS image sensor 12 as shown in FIG.
[0048]
Specifically, if the horizontal direction of the image P10 is the U-axis direction, the vertical direction is the V-axis direction, and the direction perpendicular to the plane of the image P10 is the W-axis direction, the U direction is between the images P10 and P20. There may be a positional deviation at, a positional deviation in the V direction, and an angular deviation in the rotational direction Θ about a predetermined axis parallel to the W axis.
[0049]
The adjustment system 100 generates correction data related to this “deviation” (more specifically, “deviation” relating to the three degrees of freedom) and stores it in the memory 22 of the digital camera 1. Accordingly, as described above, the digital camera 1 can correct the “deviation” of the image P20 with respect to the image P10 using the correction data, and output the corrected image P20 to the display unit 30. Further, at the time of display output of the image P20, the digital camera 1 may display the common visual field range CR with the image P10 in the visual field range of the image P20 on the display unit 30.
[0050]
In FIG. 7, it is assumed that the angle of view of the image P10 and the angle of view of the image P20 are the same, but the present invention is not limited to this.
[0051]
For example, as shown in FIG. 8A, the angle of view of the image P10 may be larger than the angle of view of the image P20. However, in this case, even when there is no shift, the field of view during preview using the image P20 (the field of view with respect to the image P10 that is a recording still image) is smaller than 100%. Further, as shown in FIG. 8B, when there is a deviation of the image P20 from the image P10, the common visual field region is further narrowed.
[0052]
Alternatively, as shown in FIG. 9A, conversely, the angle of view of the image P20 may be larger than the angle of view of the image P10. Particularly, in this case, as shown in FIG. 9B, if the deviation of the image P20 from the image P10 is within a predetermined range, the visual field range of the image P20 always includes (covers) the visual field range of the image P10. be able to. Therefore, it is possible to always set the field of view at the time of preview by the image P20 to 100% or a value close to 100%. Therefore, as shown in FIG. 9A, the angle of view of the image P20 is preferably larger than the angle of view of the image P10.
[0053]
<Adjustment action>
10 and 11 are flowcharts showing the adjustment operation in the adjustment system 100. FIG. This adjustment operation is used as part of the manufacturing process of the digital camera 1. This adjustment operation is also used in a repair process after manufacturing.
[0054]
It is assumed that the pixel shifting optical system 60 is disposed at the separation position PS2 (see FIG. 1) during photographing other than step SP7 (described later).
[0055]
As shown in FIG. 10, first, the attitude of the digital camera 1 with respect to the adjustment chart 70 is adjusted (steps SP1 to SP3).
[0056]
Specifically, the digital camera 1 is mounted on the camera platform 80 (see FIG. 1) (step SP1), and the CCD image pickup device 11 of the digital camera 1 acquires an image P10 having the adjustment chart 70 as a subject (step). SP2). Then, the rotation angle around the X-axis, the rotation angle around the Y-axis, and the rotation angle around the Z-axis of the digital camera 1 are appropriately adjusted so that the image of the adjustment chart 70 can be acquired without distortion. . In other words, the position adjustment is performed so that the digital camera 1 and the adjustment chart 70 face each other. More specifically, the position of each vertex of the rhombus adjustment chart 70 in the photographed image at step SP2 is detected, and each angle is adjusted based on the positional relationship of each vertex. Here, the digital camera 1 transfers the captured image to the external computing device 50, the external computing device 50 determines the target posture angle based on the captured image, and the external computing device 50 sends a drive instruction to the pan head 80. Thus, the posture of the digital camera 1 is automatically adjusted. However, the present invention is not limited to this, and the operator may adjust manually while visually confirming the captured image.
[0057]
Next, two images P10 and P20 for deviation correction are acquired (steps SP4 to SP8).
[0058]
FIG. 12 is a conceptual diagram showing an operation of acquiring two images P10 and P20 for deviation correction. Here, as shown in FIG. 12, both images P10 (P12) and P20 (P22) having substantially the same number of pixels (about 1.25 million pixels) are generated, and comparison processing of both images P12 and P22 is performed. An example of performing “deviation correction” is shown. Therefore, the image P12 is generated by performing pixel number reduction processing (pixel number conversion processing) on the image P10 (P11) having a high number of pixels (about 5 million pixels) by the CCD imaging device 11. In addition, the image P22 is generated by performing pixel number enlargement processing (pixel number conversion processing) on the image P20 (P21a) having a low pixel count (about 310,000 pixels) by the C-MOS image sensor 12.
[0059]
Specifically, first, in step SP4, the CCD image pickup device 11 of the digital camera 1 is used again to pick up an image P10 (P11) of about 5 million pixels with the adjustment chart 70 as the subject. This image P11 is imaged in a state where the line width of the adjustment chart 70 has a width corresponding to a plurality of pixels of the CCD image sensor 11 (see FIG. 16 described later). The digital camera 1 transfers this image P11 to the external computing device 50.
[0060]
In step SP5, the external computing device 50 performs a pixel number reduction process on the transferred image P11 to generate an image P10 (P12) having about 1.25 million pixels resized to ¼, The data is stored in the storage unit 51 (FIG. 1) in the external arithmetic device 50. Various methods such as a bicubic method or a bilinear method can be used as a method for reducing the number of pixels (reduction interpolation). By this reduction processing, an image P12 of about 1.25 million pixels obtained by photographing with the CCD image sensor 11 is acquired. Note that this pixel reduction processing may be resized to another number of pixels such as 1/3 of the original image.
[0061]
In step SP6, an image P20 (P21a) of about 310,000 pixels with the adjustment chart 70 as a subject is acquired by the C-MOS image sensor 12 of the digital camera 1 this time. The digital camera 1 transfers the captured image P21a to the external arithmetic device 50. The transferred image P21a is stored in the storage unit 51 (FIG. 1) in the external computing device 50.
[0062]
In step SP7, the pixel shift optical system 60 is moved to the mounting position PS1 immediately before the lens of the digital camera 1, and the same adjustment chart 70 is set as a subject by the C-MOS image sensor 12 of the digital camera 1. The image P20 (P21b) of about 310,000 pixels is acquired. The digital camera 1 also transfers the captured image P21b to the external arithmetic device 50. The transferred image P <b> 21 b is stored in the storage unit 51 (FIG. 1) in the external arithmetic device 50. The images P21a and P21b are captured in a state where the line width of the adjustment chart 70 has a width corresponding to a plurality of pixels of the C-MOS image sensor 12 (see FIG. 16 described later).
[0063]
FIG. 13 is a diagram for explaining the principle of pixel shifting by the pixel shifting optical system 60. As shown in FIG. 13, the normal line of the incident surface F1 of the pixel shifting optical system 60 is inclined by an angle α with respect to the optical axis LA. Therefore, the path of the light beam from the subject is changed by a refraction phenomenon or the like when entering the surface F1. Then, the light beam transmitted through the optical system 60 after pixel refraction after refraction travels at a position shifted by a minute distance δ in FIG. 13 as compared to the straight light when traveling straight as it is. Thereby, the imaging position of light from the subject can be shifted. Here, since the taper angle α of the pixel shifting optical system 60 is minute and the thickness D of the pixel shifting optical system 60 is relatively large, the shift amount δ is substantially the same at each position.
[0064]
Specifically, the pixel shifting optical system 60 having a substantially rectangular flat plate shape is inserted from the state of FIG. 1 while being rotated by 45 degrees around the optical axis of the digital camera 1 (axis parallel to the Z axis). . As a result, as shown in the conceptual diagram of FIG. 14, each pixel in the image P21b is shifted in an oblique direction (the direction of the arrow AR1) with respect to the corresponding pixel in the image P21a. Further, the “shift amount” by the pixel shifting optical system 60 is such that each pixel position of the image P21b is C in both the horizontal direction (U direction) and the vertical direction (V direction) with respect to the pixel position of the image P21a. -It is set so as to be shifted by half a pixel of the MOS image sensor 12. FIG. 14 is a diagram conceptually showing the correspondence between the pixel shifting optical system 60 and the images P21a and P21b.
[0065]
In step SP8, the external computing device 50 increases the image resolution by a factor of four by performing pixel interpolation using these two images P21a and P21b whose pixel positions are shifted from each other by a half pixel position. Acquired image P22 is acquired.
[0066]
As described above, an image P22 of about 1.25 million pixels obtained by photographing with the C-MOS image sensor 12 is acquired. Note that, at the time of shooting in steps SP4, SP6, SP7, etc., it is preferable to shoot with the aperture set to 2 to 3 EV (APEX value) less than the full aperture. This is because the influence of aberration can be eliminated more than when the aperture is open, and the influence of diffraction that occurs when the aperture is excessively reduced can also be avoided.
[0067]
Next, the external computing device 50, between the images P10 and P20, the angular deviation θ in the rotational direction Θ about the axis parallel to the W axis, and the positional deviations (u, v) in the U direction and the V direction. And the calculation result is notified to the digital camera 1 (FIG. 11, steps SP9 to SP13). That is, based on both images P10 and P20, an operation for obtaining the correspondence between the pixels in the CCD image sensor 11 and the pixels in the C-MOS image sensor 12 is performed.
[0068]
FIG. 15 is a conceptual diagram showing a shift between the image P10 (P12) and the image P20 (P22).
[0069]
First, in step SP9, the external computing device 50 obtains a shift angle θ (see FIG. 15) between the images P12 and P22. Specifically, for each of the images P12 and P22, the horizontal lines L1, L2, L3, L4,. . . The position of the black line of the adjustment chart 70 is determined. Here, the operation using the black line BL1 among the four black lines BL1 to BL4 of the rhombus adjustment chart 70 will be described, but the same operation may be performed for the other black lines BL2 to BL4.
[0070]
FIG. 16 is a partially enlarged view of the adjustment chart 70. As shown in FIG. 16, the black line BL1 has a width of a predetermined number of pixels PX (for example, about several pixels to several tens of pixels). Here, the central position QC of both end points QL, QR of the black line BL1 in each horizontal line L (for example, each horizontal line L1, L2, etc.) is obtained as the position of the black line. If the resolutions of the images P10 and P20 are different, the positions of both images may be compared on the same scale by performing coordinate conversion (magnification conversion) using the magnification conversion coefficient γ.
[0071]
And each horizontal line L1, L2, L3, L4,. . . The position of the black line is compared between the images P12 and P22. Each horizontal line L1, L2, L3, L4,. . . For example, all horizontal lines that are continuous in the vertical direction (V direction) may be used, but here, horizontal lines obtained by thinning out several horizontal lines (every predetermined interval Δv) are used. And
[0072]
Specifically, as shown in FIG. 15, first, for the horizontal line L1, the horizontal position u1 of the black line BL1 of the image P12 and the horizontal position u2 of the black line BL1 of the image P22 are obtained. Then, the relative position x (= u2-u1) of the horizontal position u2 with respect to the horizontal position u1 is obtained. Similarly, other horizontal lines L2, L3, L4,. . . Also, the relative position x of the black line position u2 (image P22) to the black line position u1 (image P21) is obtained.
[0073]
17 and 18 are conceptual diagrams showing a comparison. In FIG. 17, the black line positions u1, u2 in both the images P12, P22 are shown as horizontal lines L1, L2, L3, L4. . . As shown. In FIG. 18, the relative position x of each black line in the image P22 is determined by using the horizontal lines L1, L2, L3, L4,. . . As shown. In FIG. 17 and FIG. 18, the black line position of the image P12 is indicated by a black circle, and the black line position of the image P22 is indicated by an x mark.
[0074]
As shown in FIG. 18, the shift amount (relative position) x of the corresponding black line position of the image P22 with respect to the image P12 is + Δu in the horizontal line L1, zero in the horizontal line L2, and −Δu in the horizontal line L3. Yes, -2 · Δu in the horizontal line L4. At this time, the shift angle θ is obtained as θ satisfying tan θ = Δu / Δv. More specifically, a regression calculation may be performed based on the positional deviation amounts for many lines to obtain the deviation angle θ. When the difference between the black line positions u1 and u2 (that is, the shift amount x) is the same in any of the plurality of horizontal lines, the shift angle θ is determined to be zero.
[0075]
Further, the black line position on the horizontal line (L2 in this case) at which the relative displacement x is zero can be obtained as the rotation center RC. Although the rotational position may not exist on the actual horizontal line, in that case, the black line BL (or an extension line thereof) of the image P12 and the black line BL (or an extension line thereof) of the image P22. The virtual intersection position may be set as the rotation center RC.
[0076]
When the external computing device 50 obtains the position of the rotation center RC and the shift angle θ, it transmits the calculation result to the digital camera 1, and the digital camera 1 digitally receives the received information, in other words, the information about the “shift angle θ”. It is stored in the memory 22 in the camera 1 (step SP10).
[0077]
Next, in steps SP11 and SP12, the external computing device 50 obtains a positional shift in the U direction and the V direction between the images P10 and P20.
[0078]
In step SP11, the external computing device 50 performs coordinate conversion on the image P22 using the deviation angle θ. Specifically, as shown in FIG. 19A, the external computing device 50 displays the image P22 around the rotation center RC in the direction of the arrow AR2 (opposite the direction of the arrow AR1 in FIG. 18). An image rotated by “shift angle θ” is obtained. As a result, as shown in FIG. 19B, both images P22 are in a state in which the “deviation angle θ” around the rotation center RC is corrected. However, in this state, the positional deviation (u, v) in the U direction and the V direction still exists.
[0079]
In the next step SP12, the external arithmetic unit 50 obtains a positional deviation (u, v) in the U direction and the V direction between the image P12 and P22 after coordinate conversion.
[0080]
In step SP12, the external arithmetic unit 50 also obtains the center position QC of the two end points QL, QR of the black line BL1 in each horizontal line L (for example, L1, L2, etc.) as the position of the black line, similarly to step SP9. Similarly, the black line positions are obtained not only for the black line BL1 but also for the other black lines BL2 to BL4. Then, instead of the deviation angle θ, the positional deviation amount u in the U direction and the positional deviation amount v in the V direction of both images P12 and P22 are obtained.
[0081]
For example, in the case shown in FIG. 19B, the horizontal direction (U direction) shift amount e from the black line BL2 of the image P12 to the black line BL2 of the image P22, and the black line BL3 of the image P12 It is only necessary to obtain the vertical direction (V direction) deviation amount f up to the black line BL3 of P22 and obtain the positional deviation amounts u and v based on both the deviation amounts e and f and the geometrical relationship. Specifically, the positional deviation amounts u and v can be obtained from the relationship of e = u + v / tan β and f = u · tan β + v. The angle β is an angle formed by the major axis diagonal line in the rhombus of the adjustment chart 70 and the black line BL2 (or BL1).
[0082]
Thereafter, the external arithmetic device 50 transmits information regarding the obtained positional deviation amount (u, v) to the digital camera 1. The digital camera 1 stores the received information, that is, information related to “positional deviation (u, v)” in the memory 22 in the digital camera 1 (step SP13).
[0083]
In step SP14, the digital camera 1 is in a state in which the displacement amount of the image P20 is corrected based on the position of the rotation center RC, the displacement angle θ, the displacement amount u in the U direction, and the displacement amount v in the V direction. The read address order for reading is obtained. The digital camera 1 stores this address reading order in the memory 22 as table information TBL (not shown).
[0084]
The adjustment process is performed as described above. As a result of this adjustment processing, the digital camera 1 can correct the misalignment between the image sensors 11 and 12 when the C-MOS image sensor 12 reads an image. Specifically, the digital camera 1 may read image data captured by the C-MOS imaging device 12 as a preview image and temporarily stored in the memory 21 in the order of addresses based on the table information TBL. As described above, the process of reading in the address order based on the table information TBL corresponds to a process of correcting misalignment between the CCD image sensor 11 and the C-MOS image sensor 12, that is, a “deviation correction process”.
[0085]
As described above, according to the adjustment process described above, the digital camera 1 including two imaging elements having different numbers of pixels does not require advanced mechanical adjustment and can be relatively easily performed by electrical adjustment. Adjustments can be made. As a result, the digital camera 1 uses the other image sensor (for example, the C-MOS image sensor 12) for the image obtained from one image sensor (for example, the CCD image sensor 11) based on the correspondence obtained as the adjustment result. It is possible to easily correct the image shift obtained from the above. Therefore, the manufacturing cost can be reduced.
[0086]
In particular, in the adjustment process described above, the image P20 having a low pixel count is compared with the image P10 having a high pixel count after the pixel count is increased by the pixel count enlargement process. It can be obtained with high accuracy.
[0087]
Further, since the number of pixels of the image P20 is increased by using a pixel shifting optical system, the number of pixels can be increased with a simple configuration.
[0088]
Further, in the above adjustment processing, pixel number conversion processing is performed on the image P10 by the CCD image pickup device 11 and the image P20 by the C-MOS image pickup device 12, and the number of pixels of both images P10 and the number of pixels of the image P20 are substantially reduced. In the same state, the correspondence between the pixels in the CCD image sensor 11 and the pixels in the C-MOS image sensor 12 is required. Therefore, the correspondence can be obtained with relatively high accuracy.
[0089]
In the above adjustment process, the images P10 and P20 are picked up in a state where the line width of the adjustment chart has a width corresponding to each of the plurality of pixels of the CCD image pickup device 11 and the C-MOS image pickup device 12. Correspondence is obtained by comparing the center position (center position) of the line width of the chart. Since the black line of the adjustment chart has a predetermined number of pixels, the error can be reduced and the center position can be more accurately compared with the case where the position of the line of 1 pixel width is specified and compared. The correspondence between both images can be obtained by specifying. In particular, even when the number of pixels of the images P10 and P20 is different from each other, it is possible to obtain the correspondence between the two image pickup devices with relatively high accuracy.
[0090]
<Others>
Although the embodiments of the present invention have been described above, the present invention is not limited to the contents described above.
[0091]
For example, in the above-described embodiment, an image (see FIG. 19B) in which the shift angle θ is corrected by coordinate-transforming the image P22 in step SP11 is generated, but the present invention is not limited to this. Specifically, the adjustment chart 70 may be imaged again by the C-MOS image sensor 12.
[0092]
More specifically, in step SP11 after step SP10, the operations of steps SP6 to SP8 are repeated once more. However, at this time, it is assumed that the images P21a and P21b are re-acquired by performing the conversion process of the shift angle θ by the shift correction processing unit 24 of the digital camera 1. This conversion process by the digital camera 1 is performed based on the angle θ transferred to and stored in the digital camera 1 in step SP10. The re-acquired images P21a and P21b after the conversion process are transferred to the external arithmetic device 50. Then, the external computing device 50 performs a pixel number enlargement process on these images P21a and P21b to generate an image P22 having about 1.25 million pixels. According to this, since the angle conversion process of the deviation angle θ is performed on the digital camera 1 side, the situation is similar to the situation at the time of actual photographing with the digital camera 1. Therefore, it is possible to reduce the influence of calculation errors during angle conversion processing.
[0093]
Moreover, in the said embodiment, although the example of how to obtain | require deviation | shift angle | corner (theta) and deviation | shift amount (u, v) was shown, it is not limited to this. For example, in both images P12 and P22, the coordinate values of the four vertices of the rhombus of the adjustment chart 70 are obtained, respectively, and based on the relationship between the relative shift amounts of the corresponding four vertices and the geometric relationship, The shift angle θ, the position of the rotation center RC, and the shift amount (u, v) may be obtained.
[0094]
Furthermore, although the case where a CCD image sensor and a C-MOS image sensor are used as the two image sensors has been described in the above embodiment, the present invention is not limited to this. For example, two CCD image sensors may be used, or two C-MOS image sensors may be used.
[0095]
Further, in the above embodiment, the case where the positional deviation between the images by the two image sensors is corrected is illustrated, but the present invention is not limited to this, and the positional deviation between the images by three or more image sensors is used. The present invention can also be applied when correcting.
[0096]
Further, in the above-described embodiment, the image P22 is generated based on the image P21b photographed with the pixel shifting optical system 60 disposed at the mounting position PS1 and the image P21a photographed with the pixel shifting optical system 60 disposed at the separation position PS2. Although illustrated about the case, it is not limited to this. For example, the image P22 may be acquired based on the image P21b and the image P21c different from the image P21a. Here, the image P21c is a state in which the pixel shifting optical system 60 is arranged by being rotated 180 degrees around the optical axis LA of the photographing lens 14 from the posture at the time of photographing the image P21b at the mounting position PS1 (see FIG. 20A). It is the image image | photographed by (refer FIG.20 (b)). As described above, the image P22 may be generated based on the two images P21b and P21c that are photographed by rotating the deviation directions of the respective light beams by 180 degrees.
[0097]
Moreover, although the case where the cross-sectional shape uses a wedge shape is illustrated as the pixel shifting optical system 60 in the above embodiment, the present invention is not limited to this. For example, as shown in FIG. 21, a transparent plate 60b in which the entrance surface and the exit surface are parallel may be used as the optical system 60 by shifting the pixels. More specifically, the transparent plate 60b may be inserted at a position in front of the lens of the digital camera 1 in a state where the normal line of the transparent plate 60b is inclined with respect to the optical axis.
[0098]
Furthermore, although the case where two images are captured in order to increase the number of pixels of the image P20 is illustrated in the above embodiment, the image P22 in which the number of pixels is expanded from one image P21a by pixel interpolation processing. (P20) may be generated.
[0099]
In the above-described embodiment, the case where the image P20 by the C-MOS imaging element 12 is read as the preview image has been described. However, the present invention is not limited to this. For example, the image P10 obtained by the CCD image pickup device 11 may be read as a recording still image, while the image P20 obtained by the C-MOS image pickup device 12 may be read as a frame image constituting a recording moving image. According to this, it is possible to simultaneously perform moving image shooting and still image shooting.
[0100]
In the digital camera 1 capable of simultaneously capturing moving images and still images by applying the above correction processing technique when reading the image P20 constituting the recording moving image. Thus, it is possible to easily correct the shift between the two images.
[0101]
Furthermore, in the above-described embodiment, the case where the shift correction is performed on the image P20 with the low pixel number is illustrated, but conversely, the shift correction may be performed on the image P10 with the high pixel count.
[0102]
【The invention's effect】
As described above, according to the invention described in claims 1 to 11, it is possible to easily perform adjustment without requiring high-level mechanical adjustment.
[0103]
In particular, according to the second aspect of the present invention, the number of pixels of the second image is made larger than the number of pixels of the second image sensor, and the correspondence relationship is based on the first image and the second image. Therefore, adjustment can be performed with relatively high accuracy.
[0104]
According to the third aspect of the present invention, since two images are compared in a state where the number of pixels is substantially the same, the correspondence can be obtained with high accuracy.
[0105]
Furthermore, according to the invention described in claim 4, the number of pixels of the second image is increased more than the number of pixels of the second image sensor, and the first image is changed to have substantially the same number of pixels. Since the correspondence relationship is obtained based on the second image, the adjustment can be performed with higher accuracy.
[0106]
According to the fifth aspect of the present invention, it is possible to acquire a second image with an increased number of pixels with a simple configuration by using a pixel shifting optical system.
[0107]
Further, according to the sixth aspect of the present invention, it is possible to obtain the correspondence between the two image pickup devices with relatively high accuracy.
[Brief description of the drawings]
FIG. 1 is a diagram showing an adjustment system 100 for adjusting a digital camera 1;
FIG. 2 is a diagram mainly showing a functional configuration of the digital camera 1;
FIG. 3 is a diagram illustrating an example of an adjustment chart.
4 is a diagram showing another example of the adjustment chart 70. FIG.
5 is a diagram showing a detailed configuration of an imaging block 10. FIG.
6 is a diagram showing a modification of the detailed configuration of the imaging block 10. FIG.
FIG. 7 is a diagram showing a “deviation” between the CCD image pickup device 11 and the C-MOS image pickup device 12;
FIG. 8 is a diagram showing a “deviation” between the CCD image pickup device 11 and the C-MOS image pickup device 12;
FIG. 9 is a diagram showing a “deviation” between the CCD image pickup device 11 and the C-MOS image pickup device 12;
10 is a flowchart showing an adjustment operation in the adjustment system 100. FIG.
11 is a flowchart showing an adjustment operation in the adjustment system 100. FIG.
FIG. 12 is a conceptual diagram showing an operation of acquiring two images P10 and P20 for deviation correction.
13 is a diagram illustrating the principle of pixel shifting by the pixel shifting optical system 60. FIG.
14 is a conceptual diagram showing an arrangement state of a pixel shifting optical system 60. FIG.
FIG. 15 is a conceptual diagram showing a shift between an image P10 (P12) and an image P20 (P22).
16 is a partially enlarged view of the adjustment chart 70. FIG.
FIG. 17 is a conceptual diagram showing a state of comparison between both images P12 and P22.
FIG. 18 is a conceptual diagram showing a state of comparison between both images P12 and P22.
FIG. 19 is a diagram showing a deviation angle θ and a positional deviation amount (u, v).
20 is a diagram showing another example of arrangement of the pixel shifting optical system 60. FIG.
21 is a diagram showing another example of the pixel shifting optical system 60. FIG.
[Explanation of symbols]
1 Digital camera
11 CCD image sensor
12 C-MOS image sensor
14 Shooting lens
15 Prism (half mirror)
21,22 memory
51 Storage unit
60 pixel shift optical system
70 Adjustment chart
80 pan head
100 Adjustment system

Claims

A first image sensor and a second image sensor having different numbers of pixels, and an imaging optical system for guiding a light image from the same subject toward both the first image sensor and the second image sensor. A method for adjusting an imaging apparatus comprising:
a) obtaining a first image that is a captured image of the adjustment chart by the first image sensor and a second image that is a captured image of the adjustment chart by the second image sensor;
b) Based on the first image and the second image, a correspondence relationship between a pixel in the first imaging device and a pixel in the second imaging device is obtained, and the correspondence relationship is obtained as the imaging device. Storing in the storage means,
The adjustment method of an imaging device characterized by including these.

The adjustment method according to claim 1,
The number of pixels of the second image sensor is less than the number of pixels of the first image sensor,
The method of adjusting an imaging apparatus, wherein the step a) includes a pixel number conversion process for increasing the number of pixels of the second image.

The adjustment method according to claim 1,
The step a) includes a pixel number conversion process for at least one of the first image and the second image so that the number of pixels of the first image and the number of pixels of the second image are substantially the same. Including the step of performing
In the step b), between the pixels in the first image sensor and the pixels in the second image sensor based on the first image and the second image whose number of pixels is substantially the same. A method for adjusting an imaging apparatus, comprising a step of obtaining a correspondence relationship between

The adjustment method according to claim 3,
The number of pixels of the second image sensor is less than the number of pixels of the first image sensor,
The method for adjusting an imaging apparatus, wherein the pixel number conversion process includes a process of increasing the number of pixels of the second image.

The adjustment method according to claim 3,
The step a) includes a step of capturing an image by the second image sensor using a pixel shifting optical system and acquiring the second image with an increased number of pixels using the image. A method for adjusting an imaging apparatus.

The adjustment method according to claim 1,
In the step a), the line width of the adjustment chart has a width corresponding to each of the plurality of pixels of the first image sensor and the second image sensor, and the first image and the first image Two images are taken,
In the step b), the correspondence relationship is obtained by comparing the center positions of the line widths of the adjustment chart.

A first image sensor and a second image sensor having different numbers of pixels, and an imaging optical system for guiding a light image from the same subject toward both the first image sensor and the second image sensor. A method for manufacturing an imaging device comprising:
a) obtaining a first image that is a captured image of the adjustment chart by the first image sensor and a second image that is a captured image of the adjustment chart by the second image sensor;
b) Based on the first image and the second image, a correspondence relationship between a pixel in the first imaging device and a pixel in the second imaging device is obtained, and the correspondence relationship is obtained as the imaging device. Storing in the storage means,
A method for manufacturing an imaging device, comprising:

An imaging device,
A first imaging element and a second imaging element having different numbers of pixels;
A photographing optical system for guiding a light image from the same subject toward both the first image sensor and the second image sensor;
Storage means for storing a correspondence relationship between a pixel in the first image sensor and a pixel in the second image sensor;
Correcting the shift of the other image with respect to the reference image, which is one of the first image by the first image sensor and the second image by the second image sensor, based on the correspondence relationship; Reading means for reading the other image;
An imaging apparatus comprising:

The imaging device according to claim 8,
The first image sensor has more pixels than the second image sensor,
The reading device corrects a shift of the second image on the basis of the first image, and reads the second image.

In the imaging device according to claim 8 or 9,
Recording means for recording an image by the first image sensor;
Display means for displaying an image by the second image sensor as a preview image,
The image pick-up apparatus, wherein the image by the second image sensor is read as the other image by the reading means and displayed as the preview image by the display means.

In the imaging device according to claim 8 or 9,
The reading means reads an image from the first image sensor as a recording still image, and reads an image from the second image sensor as the other image and a frame image constituting a recording moving image. An imaging device.