JP2004236365A - 撮像装置 - Google Patents

Abstract

【課題】
本発明の目的は、高画質で、かつリアルタイムのモニタリングが可能な静止画撮像用の撮像装置を提供することにある。
【解決手段】
表示画像生成部（５）と、マイコンでソフト処理を行なう記録画像生成部（９）を備え、モニタリング時はＣＣＤ（２）を飛び越し走査してリアルタイムの表示用画像を生成し、撮影時にはＣＣＤを順次走査して記録画像高画質静止画を生成する。
【選択図】 図１

Description

本発明は撮像装置に係り、特に静止画撮像に好適な撮像装置に関する。

ＣＣＤ(Charge Coupled Device)等の撮像素子を用いて光電変換を行ない、これにデジタル処理を施して所定のデジタル画像信号を得る従来の撮像装置では、通常、ＣＣＤが出力したアナログの画像信号をＡ／Ｄ変換してデジタル信号に変換した後に所定の信号処理を行なってデジタル画像信号を生成する。このような撮像装置は、一般に画像信号を生成するために必要な所定の演算を行なうためのハードウェアを備えており、高速の処理が行なえる特徴がある。このような装置に関し、例えば特開平２−２８０４９６号公報に記載されている。また、このような撮像装置の信号処理を行うＬＳＩやその画質制御に関し、例えば１９９１年テレビジョン学会年次大会予稿集、第３６１頁から３６２頁に記載されている。このＬＳＩは主として動画撮像用であるが、静止画を撮像するための装置も開発されており、例えば１９９５年、日本写真学会、ファインイメージシンポジウム予稿集、第５９頁から６２頁に記載されている。

しかし、上記従来技術においては、撮像装置の信号処理回路が専用のハードウェアで構成されているため、一般に信号処理の自由度が小さい。信号処理の自由度を高め、複数種類のＣＣＤに対応したり、複雑な信号処理を行なえば、回路規模が大きくなる。また、新しい機能を追加する場合に新しいハードウェアの開発が必要となる場合が多い。

これに対し、信号処理の自由度を高めるため、専用のハードウェアを用いず、マイコンやＤＳＰを用いてソフトウェアによる信号処理を行なう方法がある。このような撮像装置に関し、ＪＰＥＧによる画像圧縮をマイコンで行なう例が１９９５年、日本写真学会、ファインイメージシンポジウム予稿集、第６５頁から６８頁に述べられている。

しかし、このようなソフトウェアによる信号処理は１枚の画像を生成するための処理時間が長いため、リアルタイムで映像を表示できないという問題があった
。具体的には、動画像を再生する場合に単位時間あたりの画像の枚数が少なく間欠的な映像になると共に、実際の被写体の動きと表示される画像の間に時間差が生じ、シャッタチャンスを逃したり、フレーミングに時間を要することになる。この問題は、撮像素子の高画素化が進み画像１枚あたりの処理時間が長くなるに従って顕著になる。

本発明の目的は、上記問題を解決しリアルタイムのモニタリングが可能な撮像装置を提供することにある。

上記問題を解決するため、本発明では、レンズ等の光学系によって結像された光信号を電気信号に変換する複数の画素の配列を備え、画素に蓄積した電気信号を、順次走査、または飛び越し走査して画像信号を出力する撮像素子と、この撮像素子を順次走査か、飛び越し走査の内の一方で駆動する撮像素子駆動手段と、画像信号から表示用画像信号を生成する表示画像生成手段と、記録用の画像信号を生成する記録画像生成手段と、撮影開始タイミングを指定するシャッタ釦と、上記撮像素子駆動手段、表示画像生成手段、記録画像生成手段を制御する制御手段と、によって撮像装置を構成した。制御手段はシャッタ釦入力を検出し、該シャッタ釦の入力に応じて該撮像素子の走査方法を切り換えると共に、該表示画像生成手段において該撮像素子を飛び越し走査出力したデジタル画像信号を処理して出力し、該記録画像生成手段において該撮像素子を順次走査出力したデジタル画像信号を処理して出力するように制御する。

本発明では、シャッタ釦入力時、記録用の画像を生成する際には記録画像生成手段により高画質の静止画像を生成する。シャッタ釦入力前には、動画像を表示するために必要なレートで画像信号を出力できるように撮像素子を飛び越し走査し、表示画像生成手段により表示用の画像を生成するため、リアルタイムのモニタリングが可能となる。

本発明による撮像装置の一実施形態について説明する。図１は本発明による撮像装置の構成を示すブロック図である。同図において１はレンズ、２はＣＣＤ、３は増幅回路、４はＡ／Ｄ変換回路である。５は表示画像生成部、６は切り換えスイッチ、７はＮＴＳＣやＰＡＬ等、標準テレビ信号を生成するエンコーダ、１５は液晶ディスプレイ等の表示部である。また、８はＣＣＤを駆動する駆動回路、９は高精細の静止画像を生成する記録画像生成部、１０はＪＰＥＧ(Joint Photographic Expert Group)等の方式で画像の圧縮および伸長を行なう圧縮伸長回路である。１２は圧縮伸長回路１０において圧縮された記録画像はを記録する記録媒体、１７は記録画像生成部９で生成した画像を保持するメモリである。記録媒体は、フラッシュメモリ等の半導体メモリや、ハードディスク等の磁気ディスク等を用いる。ＰＣカード等着脱可能な媒体を用いても良い。１１はパソコン等の外部装置に１２に記録画像を出力するためのインターフェース回路である。１６はシャッタ釦である。

本実施形態における撮像装置の動作について説明する。レンズ１に入射した光はＣＣＤ２の撮像面上に結像する。ＣＣＤ２は、図２に示すようにその撮像面に多数の画素を備えている。図２において２０は画素、２１は垂直転送部、２２は水平転送部、２３は出力部である。画素２０において光電変換により生成された画素信号は垂直ＣＣＤ２１に転送される。画素から垂直ＣＣＤへの転送動作は、通常は全画素一斉に行われる。垂直ＣＣＤに転送された画素信号は、垂直ＣＣＤ内を上方に転送され、さらに水平ＣＣＤ内を転送された後、出力部２３から出力される。

なお、ＣＣＤ２は飛び越し走査と順次走査の二つの走査モードに対応した信号読み出しが可能な構成を有している。飛び越し走査モードはＣＣＤの画素配列における水平行を間引いて出力するモードであり、順次走査モードは間引かずに全ての画素の信号を順次出力するモードである。飛び越し走査モードは、撮影時に映像をモニタするための表示画像を生成する際に用いるモードであり、順次走査モードは静止画を撮像する際に用いるモードである。

順次走査モードでは図２においてｌ１、ｌ２、ｌ３、ｌ４・・というように全ての画素の信号を順番に出力する。飛び越し走査モードでは、例えばｌ１、ｌ２、ｌ５、ｌ６・・・というようにｌ３、ｌ４、ｌ７、ｌ８の行の画素を間引いて出力する。間引き方は画像の表示に必要なレートと、撮像素子の構造に応じて可能な方法を用いる。なお、図２においてｌ６以降の画素行は省略しているが、実際のＣＣＤにおける有効画素の数は例えば５００Ｘ５００、１０００Ｘ１０００等、トータル画素数は数１０万から、数１００万になる。

ＣＣＤ２の撮像面にはカラーの画像信号を生成するため一定のパターンを持った色フィルタが配列されており、各画素はこの色フィルタの種類に応じた特定の色光のみを光電変換するように構成されている。色フィルタ配列としては、図３（ａ）に示す３原色Ｒ（赤）、Ｇ（緑）、Ｂ（青）を用いた原色方式、あるいは図３（ｂ）に示すＭｇ（マゼンタ）、Ｃｙ（シアン）、Ｙｅ（黄色）等、光利用率の高い補色フィルタを用いた補色方式があり、いずれの配列でも良い。ＣＣＤ２にはこのような色フィルタが配列されているため、その出力信号は、色フィルタに対応した画素の点順次信号を含む画像信号となる。

図１の増幅回路３は上記した画像信号を増幅し出力する。なお、ここでＣＤＳ（Correlated Double Sampling）等、公知の低雑音化処理を行なっても良い。次にＡ／Ｄ変換回路４においてアナログの画素信号をデジタル信号に変換する。表示画像生成処理部５は、入力されたデジタル画像信号から表示用の画像信号を生成する。表示用の画像は、撮影する際のモニタ用であり、通常、動画像である。

表示画像生成部は図４に示す構成を有している。図４において５０、５１はラインメモリ、５２は加算回路、５３、５５はマトリクス回路、５４はガンマ補正回路である。表示画像生成回路が生成する画像信号は、液晶ディスプレイ等の表示装置を用いて画像を再生するために必要な輝度信号Ｙと、２種の色差信号ＣｒとＣｂを含む。このため、ラインメモリ５０、および５１を用いて、入力信号を含め３ライン分の信号を生成し、これら３ラインの信号から３Ｘ３画素の信号に対して（１）式の積和演算を行なう。この際、画素配列の対称性から、１ラインと３ラインの画素に対するマトリクス係数は等しくすれば良いので、予め加算回路５２において１ラインと２ラインの信号は加算した上で（１）式と等価な演算を行なう。

Ｙ＝ΣＫijxＳij −−−（１）
（１）式においてＫijはマトリクス係数、Ｓijは画素信号である。（１）式は輝度信号Ｙに対する式であるが、ＲＧＢについても、係数Ｋijの値が異なるが、同様の式で表わされる。この係数Ｋijの値により、ＹＲＧＢ信号の分光特性や、周波数特性を設定することができる。また、ＲＧＢのゲインの制御によるホワイトバランス調整も行なう。係数Ｋijの設定は、図１の制御回路１３によって行なうことができる。マトリクス回路５３で生成したＲＧＢ信号は、ガンマ補正回路５４では、ディスプレイの入出力特性を補正するための公知の処理であるガンマ補正を行なう。またマトリクス回路５５では、ガンマ補正されたＲＧＢ信号から、マトリクス演算により色差信号ＣｒとＣｂを生成する。この例では３Ｘ３画素の範囲でマトリクス処理を行なったが、、さらに大きなサイズで処理を行なってもよい、この場合、サイズに応じたラインメモリが必要となる。

以上のような動作により表示画像生成部で生成された画像信号は、切り換えスイッチ６を介してエンコーダ７でＮＴＳＣ等、所定の信号フォーマットにエンコードされ、表示部１５に供給される。切り換えスイッチ６は、後述する記録画像生成部９で生成した画像と、モニタリング時に表示する表示画像を切り換えるものである。なお、表示部１５としてＮＴＳＣ入力以外、例えばＲＧＢ入力のものを用いても良い。この場合には、エンコーダ７に代えてＲＧＢ生成を行なった後に生成したＲＧＢ信号を表示部に入力すれば良い。

一方、記録画像生成部９では、高精細の画像を生成する。通常、生成する画像は静止画である。高画質を得るため、処理の自由度が高い画像処理ＤＳＰ(DigitalSignalProcessor)によって記録画像生成部９を構成する。記録画像生成回路９における信号処理内容は、基本的に表示画像生成部５における処理と同様であるが、表示画像のような間引きを行なわずＣＣＤは順次走査モードとし、フルサイズの画像を生成する。マトリクス係数の他、ガンマ補正カーブや白、黒レベル、コアリング等のパラメータを制御回路から供給し、画質制御が自由に行なえるようにする。

記録画像生成部９は表示画像生成回路５と同様に輝度信号Ｙと色差信号Ｃｒ，Ｃｂを出力する。これらの出力信号は圧縮伸長回路においてＪＰＥＧ等の圧縮を行なった後、記録媒体１２に記録する。また、記録媒体に記録された画像を再生するときは、圧縮伸長回路で伸長した後、メモリ１７に画像を転送する。切り換えスイッチでメモリ側を選択すれば、エンコーダ７デエンコードされ、表示装置１５に表示される。また、記録媒体に記録した画像をパソコン等に出力するときには、インターフェース回路から、圧縮または非圧縮の画像データを出力する。

実際の撮影操作は以下のようになる。撮影モード、記録モード切り換えスイッチ（図示せず）によって撮影モードに設定すると、制御回路１３はＣＣＤ駆動回路８がＣＣＤ２を飛び越し操作モードで駆動するように制御する。表示画像生成回路では表示用の動画像を生成し、表示装置に表示する。撮影者は表示装置で画像をモニタしながら、静止画撮影を行なう場合にはシャッタ釦をオンする。制御回路１３はシャッタオンを検出すると、ＣＣＤ２の動作モードを順次操作に切り換える。記録画像生成部９では順次操作出力したフルサイズの静止画像を生成すし、圧縮伸長回路１２で圧縮した後、記録媒体１２へ記録する。

本実施形態では、ＣＣＤを飛び越し走査した画像を用いてモニタ用の表示画像を生成する表示画像生成部と、順次走査した画像を用いて高画質の静止画を生成する記録画像生成部を設けたので、リアルタイムのモニタリングが可能である。記録画像生成部はＤＳＰで構成したので、画像処理の自由度が高く、高画質の静止画を生成できる。

図５を用いて、本発明の他の実施例について説明する。図５は本実施形態の構成を示すブロック図であり、２０はマイコン、２２はバッファ、２１はＤＲＡＭ等のメモリ、２３はバスであり、マイコン２０のデータバスとアドレスバスを含んでいる。これら破線で囲んだ部分１４は、図１において同様に破線で囲んだ１４と同一の機能を果たす部分である。その他の部分は図１のブロック図と同様の構成である。マイコン２０は、図１における記録画像生成部９、圧縮伸長回路１０、制御回路１３のすべての動作をソフトウェアで処理する。

撮影時の動作は次のようになる。撮影モードにおいて、シャッタ釦が押されるまではＣＣＤを飛び越し走査して、先の実施例と同様、表示画像生成部によってモニタ用の動画像を生成する。シャッタ釦が押されたときには、マイコン２０でこれを検出し、ＣＣＤを順次走査モードに切り換える。マイコンは、ＣＣＤ２が出力し、Ａ／Ｄ変換回路４から出力されるデジタル画像データを、バッファ２２を経由してメモリ２１に書き込む。マイコン２１はメモリ内のデータを用いて図１における記録画像生成部９、圧縮伸長回路１０が行なう処理内容をソフトウェア処理によって行なう。さらにマイコン２０は、図１における制御回路１３を兼ねており、記録媒体１２への画像データの書き込みや、インターフェース回路１１を経由したパソコンとの通信、撮影した画像データの出力等を行なう。

本実施形態では、マイコン２０が静止画像の生成や圧縮、ＣＣＤ駆動回路８等の周辺回路の制御等、複数の処理を兼ねており、構成が簡単になり、また自由度の高いソフトウェア処理を行なえるので高画質の静止画を撮像できる。

本発明の他の実施例について説明する。図６は本実施形態の構成を示すブロック図であり、６０はＡＦ（オートフォーカス）レンズ、６１は絞り、６２は絞り駆動回路、６３はＡＦモータである。

本実施例は、図５に示した実施例と同様の動作をするが、オートフォーカス機能や、絞り６１を用いた露光制御機能を備えている。オートフォーカス制御を行なうには、画像信号から高周波成分を検出し、検出値が最大となるようにレンズ位置をフィードバック制御すれば良い。また、露光制御についても、画像信号から、信号レベルを検出し、検出値が参照値と一致するように絞り値や、シャッタ速度をフィードバック制御すれば良い。このためには、ＡＦ検波や、露光検波を行なう必要がある。通常、これらの検波を行なうハードウェアを設けるが、本実施例では、モニタリング動作中に、マイコン２０を用いてソフト処理によるＡＦ検波や、露光検波を行なう。同様にして、ＡＷＢ（ホワイトバランス）検波も行なう。ＡＷＢ検波は、例えばＲＧＢ信号の積分値を求めることによって行なう。白色の被写体を撮像したときのＲＧＢ信号の信号レベルをほぼ一定にするのがＡＷＢ制御であり、検出されたＲＧＢの積分値がほぼ一定となるようにＲＧＢマトリクスのゲインを制御すれば良い。

ＣＣＤ２飛び越し走査し、表示画像生成部５で表示画像の処理を行なう間、マイコン２０はメモリ２１に書き込まれた画像信号を用いて上記したＡＦ，ＡＥ，ＡＷＢ検波を行なう。その結果、これらの制御量を求め、ＡＦ制御についてはＡＦモータ６３、絞り制御については絞り駆動回路６２を制御し、ＡＷＢについてはＲＧＢマトリクス係数を表示画像生成部に送ることによりこれらの制御を行なっている。

本実施例では、マイコン２０によってＡＦ，ＡＥ，ＡＷＢの検波や制御を行なうので、表示画像生成部にこれらの検波回路を設ける必要がなく、回路規模を低減できる。

本発明による撮像装置の一実施形態の構成を示すブロック図 ＣＣＤの構成を示す図 ＣＣＤの色フィルタ配列を示す図 一実施形態における表示画像生成部の構成を示すブロック図 本発明による撮像装置の一実施形態の構成を示すブロック図 本発明による撮像装置の一実施形態の構成を示すブロック図

符号の説明

１・・・レンズ
２・・・ＣＣＤ
３・・・増幅回路
４・・・Ａ／Ｄ変換回路
５・・・表示画像生成部
８・・・ＣＣＤ駆動回路
９・・・記録画像生成部
１０・・・圧縮伸長回路
１６・・・シャッタ釦
２０・・・マイコン
２１・・・メモリ

Claims (7)

1. 光学系によって結像された光信号を電気信号に変換する複数の画素の配列を備え、該画素に蓄積した電気信号を、順次走査、または飛び越し走査して画像信号を出力する撮像素子と、
   該撮像素子を、該２種類の走査方法すなわち順次走査、飛び越し走査の内の一方の走査方法を選択して駆動する撮像素子駆動手段と、
   該撮像素子が出力する画像信号から表示用画像信号を生成する表示画像生成手段と、
   該撮像素子が出力する画像信号から記録用の画像信号を生成する記録画像生成手段と、
   撮影開始タイミングを指定するシャッタ釦と、
   シャッタ釦入力を検出し、該シャッタ釦の入力に応じて該撮像素子の走査方法を切り換えると共に、該表示画像生成手段において該撮像素子を飛び越し走査出力した画像信号を処理して出力し、該記録画像生成手段において該撮像素子を順次走査出力した画像信号を処理して出力するように制御する制御手段と、
   から構成されたことを特徴とする撮像装置。
2. 請求項１において、上記表示画像生成手段において動画像、上記記録画像生成手段において静止画像を生成することを特徴とする撮像装置。
3. 請求項１または２において、上記記録画像生成手段と、上記制御手段をマイクロコンピュータで構成したことを特徴とする撮像装置。
4. 請求項１乃至３において、上記記録画像生成手段はソフトウェア処理によって画像信号を生成することを特徴とする撮像装置。
5. 光学系によって結像された光信号を電気信号に変換する複数の画素の配列を備え、該画素に蓄積した電気信号を、順次走査、または飛び越し走査して画像信号を出力する撮像素子と、
   該撮像素子を、該２種類の走査方法すなわち順次走査、飛び越し走査の内の一方の走査方法を選択して駆動する撮像素子駆動手段と、
   該撮像素子が出力する画像信号から表示用画像信号を生成する表示画像生成手段と、
   該撮像素子が出力する画像信号から記録用の画像信号を生成する記録画像生成手段と、
   撮影開始タイミングを指定するシャッタ釦と、
   シャッタ釦入力を検出し、該シャッタ釦の入力に応じて該撮像素子の走査方法を切り換えると共に、該表示画像生成手段において該撮像素子を飛び越し走査出力した画像信号を処理して出力し、該記録画像生成手段において該撮像素子を順次走査出力した画像信号を処理して出力するように制御する制御手段と、
   から構成され、
   該記録画像生成手段は色信号レベルの検出手段を備え、該色信号レベル検出手段による検出値に基づいて表示画像生成手段における色信号レベルを制御することを特徴とする撮像装置。
6. 光学系によって結像された光信号を電気信号に変換する複数の画素の配列を備え、該画素に蓄積した電気信号を、順次走査、または飛び越し走査して画像信号を出力する撮像素子と、
   該撮像素子を、該２種類の走査方法すなわち順次走査、飛び越し走査の内の一方の走査方法を選択して駆動する撮像素子駆動手段と、
   露光量を変化させる絞り手段と、
   該撮像素子が出力する画像信号から表示用画像信号を生成する表示画像生成手段と、
   該撮像素子が出力する画像信号から記録用の画像信号を生成する記録画像生成手段と、
   撮影開始タイミングを指定するシャッタ釦と、
   シャッタ釦入力を検出し、該シャッタ釦の入力に応じて該撮像素子の走査方法を切り換えると共に、該表示画像生成手段において該撮像素子を飛び越し走査出力した画像信号を処理して出力し、該記録画像生成手段において該撮像素子を順次走査出力した画像信号を処理して出力するように制御する制御手段と、
   から構成され、
   該記録画像生成手段は信号レベルの検出手段を備え、該信号レベル検出手段による検出値に基づいて絞り手段、及び露光時間を制御たことを特徴とする撮像装置。
7. 焦点調整機能を有する光学系と、
   該光学系によって結像された光信号を電気信号に変換する複数の画素の配列を備え、該画素に蓄積した電気信号を、順次走査、または飛び越し走査して画像信号を出力する撮像素子と、
   該撮像素子を、該２種類の走査方法すなわち順次走査、飛び越し走査の内の一方の走査方法を選択して駆動する撮像素子駆動手段と、
   該撮像素子が出力する画像信号から表示用画像信号を生成する表示画像生成手段と、
   該撮像素子が出力する画像信号から記録用の画像信号を生成する記録画像生成手段と、
   撮影開始タイミングを指定するシャッタ釦と、
   シャッタ釦入力を検出し、該シャッタ釦の入力に応じて該撮像素子の走査方法を切り換えると共に、該表示画像生成手段において該撮像素子を飛び越し走査出力した画像信号を処理して出力し、該記録画像生成手段において該撮像素子を順次走査出力した画像信号を処理して出力するように制御する制御手段と、
   から構成され、
   該記録画像生成手段は、画像信号から高周波成分量を検出する焦点検出手段を備え、該焦点検出手段による検出値に基づいて焦点制御たことを特徴とする撮像装置。
   
   

Images