JP2007282158A - 撮像装置 - Google Patents

Abstract

【課題】得られた画像データに対する演算処理や専用の撮像素子を必要とせず、歪みの低減された状態の画像データを高速に得る。
【解決手段】光学系により結像された光学像を各画素で光電変換し、駆動信号に応じた画素の信号を読み出して出力する撮像素子と、前記光学系が結像させる前記光学像に含まれる歪みに応じた読み出しパターンを保持する読み出しアドレス記憶手段と、前記読み出しパターンに応じた状態で前記撮像素子の各画素から読み出しを行うようにアドレスを指定した駆動信号を生成して前記撮像素子に供給する駆動手段と、を有することを特徴とする撮像装置である。
【選択図】図１

Description

本発明は、撮像素子により撮像を行って画像データを生成する撮像装置に関し、撮像レンズ（光学系）が有する光学的な歪みの影響を減じた状態の画像データを生成する撮像装置に関する。

ディジタルカメラやビデオカメラなど撮像素子を用いて画像データを生成する撮像装置が多数使用されている。このような撮像装置では、小型軽量化が求められており、小型の撮像レンズでは各種の歪みを有するものも存在している。

この種の歪みとしてもっとも一般的なものを、図５に示す。ここで、図５（ａ）は歪みの無い状態で得られる理想的な画像、図５（ｂ）は縦横の中央部が膨らむ歪みとして樽型歪みを有する画像、図５（ｃ）は縦横の中央部が痩せる歪みとして糸巻き型歪みを有する画像、である。

なお、このような歪みは、レンズの種類によって程度が異なっており、また、ズームレンズの場合には１つのレンズでも焦点距離によって異なる状態の歪みが発生することが知られている。

以上のような歪みの補正のため、撮像素子から得られた画像データをフレームメモリなどに記憶し、歪み補正データを基準にして画像処理により歪みの無い状態の画像データを生成することが、以下の特許文献１などに記載されている。

また、以上のような歪みの補正のため、歪みに応じたパターンで個々の受光素子を配置することで、歪みの無い状態の画像データを生成することが、以下の特許文献２などに記載されている。
特開平６−２９２２０７号公報（第１頁、図１） 特開２００４−２２１６５７号公報（第１頁、図１）

以上の特許文献１に記載された歪み補正方法は、画像処理であり一般的ではあるものの、フレームメモリ、画像処理用の演算回路もしくは画像処理ソフトウェアなどが必要であり、演算処理のために若干の時間が必要になる。なお、撮像する画像を確認のために動画として出力し続ける場合や、ビデオ撮影のためには、画像処理が間に合わなくなる可能性もある。

以上の特許文献２に記載された歪み補正方法では、単焦点レンズを固定する場合には対処可能であるが、レンズを交換すると対応できなくなる問題がある。別なレンズの撮像装置を製造するためには、撮像素子を新規に作成しなければならない問題を含んでいる。

本発明は、以上のような課題を解決するためになされたものであって、得られた画像データに対する演算処理や専用の撮像素子を必要とせず、歪みの低減された状態の画像データを高速に得ることが可能な撮像装置を提供することを目的とする。

以上の課題を解決する本発明は、以下に記載するようなものである。
（１）請求項１記載の発明は、光学系により結像された光学像を各画素で光電変換し、駆動信号に応じた画素の信号を読み出して出力する撮像素子と、前記光学系が結像させる前記光学像に含まれる歪みに応じた読み出しパターンを保持する読み出しアドレス記憶手段と、前記読み出しパターンに応じた状態で前記撮像素子の各画素から読み出しを行うようにアドレスを指定した駆動信号を生成して前記撮像素子に供給する駆動手段と、を有することを特徴とする撮像装置である。

（２）請求項２記載の発明は、前記読み出しアドレス記憶手段は複数の光学系の歪みに応じた読み出しパターンを保持しており、装着される光学系に応じた前記読み出しパターンを選択する、ことを特徴とする請求項１記載の撮像装置である。

（３）請求項３記載の発明は、前記読み出しアドレス記憶手段は光学系の各焦点距離に対応する歪みに応じた読み出しパターンを保持しており、装着されている光学系の焦点距離に応じた前記読み出しパターンを選択する、ことを特徴とする請求項１記載の撮像装置である。

（４）請求項４記載の発明は、前記光学系の識別情報もしくは焦点距離情報の少なくとも一方を参照し、前記光学系の歪みに関する情報を前記読み出しアドレス記憶手段に伝達する制御手段を備える、ことを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置である。

（５）請求項５記載の発明は、前記撮像素子から読み出された少なくとも１画素分の信号を記憶する画素データ記憶手段と、前記読み出しパターンによって前記撮像素子のすでに読み出された画素と同一画素の読み出しが発生した場合に、前記画素データ記憶手段からの読み出しに切り替える判定を行うデータ切り替え判定回路と、前記データ切り替え判定回路の判定結果に基づいて、前記撮像素子からの読み出しと前記画素データ記憶手段からの読み出しとを切り替える読み出し切り替え回路と、備えることを特徴とする請求項１乃至請求項４の何れかに記載の撮像装置である。

本発明によると以下のような効果が得られる。
（１）請求項１記載の発明では、光学系により結像された光学像を各画素で光電変換する際に、読み出しアドレス記憶手段が保持している光学像に含まれる歪みに応じた読み出しパターンに応じた状態で、撮像素子の各画素から読み出しを行うように駆動手段が駆動信号を生成して撮像素子に供給する。

これにより、歪みが相殺された画像データが出力されるようになり、得られた画像データをメモリ上で補正演算処理する必要が無く、また、歪みパターンに応じた専用の撮像素子を必要とせず、歪みの低減された状態の画像データを高速に得ることが可能になる。

（２）請求項２記載の発明では、読み出しアドレス記憶手段は複数の光学系の歪みに応じた読み出しパターンを保持しており、装着される光学系に応じた読み出しパターンを選択するため、光学系（レンズ）の交換に対応しつつ、歪みが相殺された画像データが出力されるようになり、得られた画像データをメモリ上で補正演算処理する必要が無く、また、歪みパターンに応じた専用の撮像素子を必要とせず、歪みの低減された状態の画像データを高速に得ることが可能になる。

（３）請求項３記載の発明では、読み出しアドレス記憶手段は光学系の各焦点距離に対応する歪みに応じた読み出しパターンを保持しており、装着されている光学系の焦点距離に応じた読み出しパターンを選択するため、可変焦点距離の光学系（ズームレンズ）を用いた場合であっても、その焦点距離の変化に対応しつつ、歪みが相殺された画像データが出力されるようになり、得られた画像データをメモリ上で補正演算処理する必要が無く、また、歪みパターンに応じた専用の撮像素子を必要とせず、歪みの低減された状態の画像データを高速に得ることが可能になる。

（４）請求項４記載の発明では、制御手段が、光学系の識別情報もしくは焦点距離情報の少なくとも一方を参照し、光学系の歪みに関する情報を読み出しアドレス記憶手段に伝達するため、交換式の光学系（レンズ）や可変焦点距離の光学系（ズームレンズ）を用いた場合であっても、使用される光学系に対応しつつ、歪みが相殺された画像データが出力されるようになり、得られた画像データをメモリ上で補正演算処理する必要が無く、また、歪みパターンに応じた専用の撮像素子を必要とせず、歪みの低減された状態の画像データを高速に得ることが可能になる。

（５）請求項５記載の発明では、撮像素子から読み出された少なくとも１画素分の信号を記憶しておき、読み出しパターンによって前記撮像素子のすでに読み出された画素と同一画素の読み出しが発生した場合に、画素データ記憶手段からの読み出しに切り替える判定を行い、判定結果に基づいて、撮像素子からの読み出しと画素データ記憶手段からの読み出しとを切り替える。

これにより、歪みが相殺された画像データが出力されるようになり、得られた画像データをメモリ上で補正演算処理する必要が無く、また、歪みパターンに応じた専用の撮像素子を必要とせず、歪みに応じた読み出しパターンの読み出しを行って、歪みの低減された状態の画像データを高速に得ることが可能になる。

以下、図面を参照して本発明を実施するための最良の形態（以下、実施形態）を詳細に説明する。
〈撮像装置の電気的構成〉
図１は本発明の第１の実施形態の撮像装置１００内の詳細構成を示すブロック図である。なお、この図１では、本実施形態の動作説明に必要な部分の周囲を中心に記載してあり、その他の撮像装置１００として既知の部分については省略してある。

撮像装置１００は、撮像素子により被写体を光学的に撮像して画像データを生成するディジタルカメラやビデオカメラなどの各種カメラであり、単体のカメラだけではなく、各種の装置に組み込まれた状態のカメラであってもよい。

制御部１０１は、後述する各部を制御する制御手段であり、後述するレンズと通信を行って、レンズの識別情報や焦点距離情報を収集し、レンズに応じて歪みの低減に関する制御を行う。なお、レンズの識別情報と焦点距離情報とをあわせて、レンズ情報と呼ぶことにする。

不揮発性メモリ１０２は、装置の各種設定データが保持されており、本実施形態では、歪みに応じた読み出しパターンがレンズ情報と関連づけされて記憶されている。
レンズ１１０は、被写体を撮像する際に光学像を撮像素子の受光面上に生成する光学系であり、撮像装置に固定された状態のものであっても交換式であってもよく、また、単焦点であっても可変焦点であってもよい。なお、レンズ１１０が交換式の場合には、レンズ鏡筒内に識別情報をＲＯＭなどにより有していて、制御部１０１と通信可能であることが望ましい。なお、レンズ１１０が可変焦点の場合には、レンズ鏡筒内に焦点距離情報を生成して、制御部１０１と通信可能であることが望ましい。

読み出しアドレスメモリ１２０は、レンズ１１０が結像させる光学像に含まれる歪みに応じた読み出しパターンを保持する読み出しアドレス記憶手段である。ここで、図２に読み出しパターンの一例を簡単に示す。

図２（ａ）はレンズ１１０の歪みのない状態を想定した通常の読み出しパターンである。レンズ１１０の歪みがない場合（図５（ａ）参照）には、このような読み出しパターンで撮像素子の各画素から読み出しを行うことにより、正常な画像が得られる。

図２（ｂ）はレンズ１１０に樽型の歪みが存在する状態（図５（ｂ）参照）を想定した読み出しパターンである。レンズ１１０に樽型の歪みがある場合には、このような読み出しパターンで撮像素子の各画素から読み出しを行うことにより、歪みの状態を低減した正常な画像が得られる。なお、実際には、歪みの程度に応じて、読み出しパターンも変化させる。

図２（ｃ）はレンズ１１０に糸巻き型の歪みが存在する状態（図５（ｃ）参照）を想定した読み出しパターンである。レンズ１１０に糸巻き型の歪みがある場合には、このような読み出しパターンで撮像素子の各画素から読み出しを行うことにより、歪みの状態を低減した正常な画像が得られる。なお、実際には、歪みの程度に応じて、読み出しパターンも変化させる。

駆動回路１３０は、読み出しアドレスメモリ１２０からの読み出しパターン（図２参照）に応じた状態で、撮像素子の各画素から読み出しを行うようにアドレスを指定した駆動信号を生成して撮像素子に供給する駆動手段である。

撮像素子１４０は、レンズ１１０により結像された光学像を各画素で光電変換し、駆動回路１３０からの駆動信号に応じて指定されたアドレスの画素の信号を読み出して出力するＣ−ＭＯＳ型などの撮像素子である。

Ａ-Ｄ変換器１５０は撮像素子１４０から読み出されたアナログ状態の画素信号をＡ-Ｄ変換してディジタルデータとして出力する。
画素データメモリ１６０は数画素分の記憶容量の記憶手段であり、上述した読み出しパターンによって、同一の画素で複数回の読み出しが発生した場合に読み出されるメモリである。

データ切り替え判定回路１７０は、上述した読み出しパターンによって、同一の画素で複数回の読み出しが発生した場合に、撮像素子１４０からの読み出しではなく、画素データメモリ１６０からの読み出しに切り替えを行うための判定手段である。

読み出し切り替え回路１８０は、上述した読み出しパターンによって、同一の画素で複数回の読み出しが発生した場合に、データ切り替え判定回路１７０からの指示に基づいて、撮像素子１４０からの読み出しではなく、画素データメモリ１６０からの読み出しに切り替えを行う切り替え手段である。そして、この読み出し切り替え回路１８０を通過したデータが、レンズの歪みが低減された状態の画像データとして外部に出力される。

〈第１の実施形態の動作状態〉
以下、第１の実施形態の撮像装置の動作について、図２の説明図、図３のフローチャート、図４以降の各説明図を参照して、詳細な動作説明を行う。

撮像装置１００のメインスイッチ（図示せず）がオンされると、まず、制御部１０１は各部を初期化する。そして、制御部１０１は、レンズ１１０が交換式あるいはズームレンズである場合には、レンズ１１０と通信を行ってレンズ情報を取得する（図３中のステップＳ３０１）。ここで、レンズ１１０のレンズ情報としては、レンズ１１０を特定することが可能な識別情報、レンズ１１０の焦点距離情報、などが少なくとも該当する。なお、本実施形態とは直接的に関連しないが、絞り値情報などが含まれることがある。

そして、レンズ１１０のレンズ情報を取得した制御部１０１は、レンズ１１０のレンズ情報から、不揮発性メモリ１０２を参照し、レンズ１１０の歪みの形状を認識し、その歪み形状に対応した読み出しパターンの指定をアドレスメモリ１２０に伝達する（図３中のステップＳ３０２）。

この場合、レンズ１１０が交換式の場合にはレンズの種類、また、レンズ１１０がズームレンズの場合には焦点距離に応じて、不揮発性メモリ１０２を参照して、レンズ１１０の歪みの形状を認識する。

読み出しパターンの指定を受けた読み出しアドレスメモリ１２０は、指定された読み出しパターンに応じたアドレス値を駆動回路１３０に伝達する。読み出しパターンに応じたアドレス値を受けた駆動回路１３０は、読み出しパターンに応じたアドレス値に従った駆動信号を撮像素子１４０に供給し、撮像素子１４０を動作させる（図３中のステップＳ３０３）。

ここで、撮像素子１４０は所定時間の露光を行い、受光面に結像している光学像に応じた信号を各画素に生じさせる（図３中のステップＳ３０４）。そして、所定時間の露光が完了した時点で、駆動信号に基づいて指定された画素の信号が読み出される（図３中のステップＳ３０５）。この場合、図２（ｂ）（ｃ）などのような読み出しパターンに応じた画素のアドレスを指定する駆動信号になっている。

なお、図４（ａ）はレンズ１１０の歪みのない状態を想定した通常の読み出しパターンでの駆動信号による読み出しの様子である。レンズ１１０の歪みがない場合（図５（ａ）参照）には、(1),(2),(3),(4),(5),…のように水平に移動する順序の読み出しパターンで撮像素子の各画素から読み出しを行うことにより、正常な画像が得られていた。

それに対し、図４（ｂ）はレンズ１１０に樽型の歪みが存在する状態（図５（ｂ）参照）を想定した読み出しパターンでの駆動信号による読み出しである。レンズ１１０に樽型の歪みがある場合には、(1),(2),(3),(4),(5),…のように樽型の形状に応じた順序の読み出しパターンで撮像素子の各画素から読み出しを行うことにより、歪みの状態を低減した正常な画像が得られる。なお、実際には、歪みの程度に応じて、読み出しパターンも変化させる。

なお、歪みの状態によっては、図４（ｃ）のように、二番目に読み出す画素(2)と三番目に読み出す画素(3)とが同一画素に重なることがありうる。このため、データ切り替え判定回路１７０が、読み出しアドレスメモリ１２０からの読み出しパターンに応じたアドレス値毎に、同一画素読み出しが発生するか否かの判定を行っている（図３中のステップＳ３０６）。

同一画素読み出しが発生していなければ（図３中のステップＳ３０６でＮ）、通常の手順で読み出し切り替え回路１８０は、撮像素子１４０から出力されＡ-Ｄ変換器１５０で変換されたディジタルデータを選択して出力する（図３中のステップＳ３０８）。

なお、このように同一画素読み出しが発生しない場合に、データ切り替え判定回路１７０は、画素データメモリ１６０の記憶内容を更新して常に最新の読み出し画素のディジタルデータを記憶するようにしている。

図４（ｃ）の(2)(3)のように同一画素読み出しが発生していれば（図３中のステップＳ３０６でＹ）、すでに読み出した画素を再度読み出すタイミング（図４（ｃ）(3)のタイミング）で、読み出し切り替え回路１８０は、画素データメモリ１６０で記憶されたディジタルデータを選択して出力する（図３中のステップＳ３０８）。

そして、以上のような判定と切り替えとを伴った各画素の読み出しについて、撮像素子１４０の全体にわたって、読み出しパターンに応じた駆動信号による読み出しを続行する（図３中のステップＳ３０９）。

本実施形態によれば、以上のように、レンズ１１０により結像された光学像を撮像素子１４０の各画素で光電変換する際に、読み出しアドレスメモリ１２０が保持している歪みに応じた読み出しパターンに応じた状態で、撮像素子１４０の各画素から読み出しを行うように駆動手段１３０が駆動信号を生成して撮像素子１４０に供給する。

これにより、歪みが相殺された画像データが出力されるようになり、得られた画像データをメモリ上で補正演算処理する必要が無く、また、歪みパターンに応じた専用の撮像素子を必要とせず、歪みの低減された状態の画像データを高速に得ることが可能になる。

また、本実施形態では、読み出しアドレスメモリ１２０は複数のレンズ１１０の歪みに応じた読み出しパターンを保持しており、装着されるレンズ１１０に応じた読み出しパターンを選択するため、レンズ１１０（レンズ）の交換に対応しつつ、歪みが相殺された画像データが出力されるようになり、得られた画像データをメモリ上で補正演算処理する必要が無く、また、歪みパターンに応じた専用の撮像素子を必要とせず、歪みの低減された状態の画像データを高速に得ることが可能になる。

また、本実施形態では、読み出しアドレスメモリ１２０はレンズ１１０の各焦点距離に対応する歪みに応じた読み出しパターンを保持しており、装着されているレンズ１１０の焦点距離に応じた読み出しパターンを選択するため、可変焦点距離のレンズ１１０（ズームレンズ）を用いた場合であっても、その焦点距離の変化に対応しつつ、歪みが相殺された画像データが出力されるようになり、得られた画像データをメモリ上で補正演算処理する必要が無く、また、歪みパターンに応じた専用の撮像素子を必要とせず、歪みの低減された状態の画像データを高速に得ることが可能になる。

また、本実施形態では、制御部１０１が、レンズ１１０の識別情報もしくは焦点距離情報の少なくとも一方を参照し、レンズ１１０の歪みに関する情報を読み出しアドレスメモリ１２０に伝達するため、交換式のレンズ１１０（レンズ）や可変焦点距離のレンズ１１０（ズームレンズ）を用いた場合であっても、使用されるレンズ１１０に対応しつつ、歪みが相殺された画像データが出力されるようになり、得られた画像データをメモリ上で補正演算処理する必要が無く、また、歪みパターンに応じた専用の撮像素子を必要とせず、歪みの低減された状態の画像データを高速に得ることが可能になる。

また、本実施形態では、撮像素子１４０から読み出された少なくとも１画素分の信号を画素データメモリ１６０で記憶しておき、読み出しパターンによって撮像素子１４０のすでに読み出された画素と同一画素の読み出しが発生した場合に、画素データメモリ１６０からの読み出しに切り替える判定を行い、判定結果に基づいて、撮像素子１４０からの読み出しと画素データメモリ１６０からの読み出しとを切り替えることにより、歪みが相殺された画像データが出力されるようになり、得られた画像データをメモリ上で補正演算処理する必要が無く、また、歪みパターンに応じた専用の撮像素子を必要とせず、歪みに応じた読み出しパターンの読み出しを行って、歪みの低減された状態の画像データを高速に得ることが可能になる。

なお、以上の具体的動作例では、樽型歪みの例を用いたが、糸巻き歪みの場合にも同様の手順で撮像を行えばよい。
また、以上の撮像装置１００で、レンズ１１０が固定かつ単焦点の場合には、専用の読み出しパターンに応じたアドレスを指定する駆動信号を生成すればよい。この場合、制御部１０１と不揮発性メモリ１０２を用いなくても、読み出しアドレスメモリ１２０から固定単焦点レンズ専用の読み出しパターンに応じたアドレスを出力することで対応できる。

また、以上の実施形態では、歪みによって縮小している領域で同一画素の読み出しが発生する可能性を有していたが、同一画素の読み出しを発生させないようにして、歪みによって縮小しなかった部分（樽型歪みの中央付近、糸巻き型歪みの端部付近）で間引きをするような読み出しパターンの駆動信号を発生させるようにしてもよい。この場合には、画素データメモリ１６０、データ切り替え判定回路１７０、読み出し切り替え回路１８０が不要になる。

さらに、以上の実施形態では、レンズ１１０の歪みを相殺する方向の読み出しパターンによる駆動信号を発生させるようにしていたが、逆に、特殊効果として、歪みを積極的に発生させることも可能である。その場合には、操作部（図示せず）などからの指定に基づいて制御部１０１が所望の歪みを発生あるいは強調する読み出しパターンを選択すればよい。

また、以上の実施形態では、撮像装置として具体例を説明してきたが、歪みに関する情報を各種回線やネットワーク経由で供給されて、撮像素子から離れた位置において読み出しパターンや駆動信号の制御を行う撮像システムあるいは画像システムも、本発明の実施形態例の一部である。

また、この場合に、以上の実施形態の撮像装置の各部はレンズ近傍あるいは一体に設置される場合だけではなく、ネットワークや各種回線を経由して各部が離れた位置に分割されて設置される場合も含まれる。

本発明の実施形態の撮像装置の電気的な構成を示す機能ブロック図である。 本発明の実施形態の撮像装置の読み出しパターンの一例を示す説明図である。 本発明の実施形態の画像読み取りの動作を示すフローチャートである。 本発明の実施形態の画像読み取りの様子を示す説明図である。 歪みの様子を示す説明図である。

符号の説明

１００ 撮像装置
１０１ 制御部
１０２ 不揮発性メモリ
１１０ レンズ
１２０ 読み出しアドレスメモリ
１３０ 駆動回路
１４０ 撮像素子
１５０ Ａ-Ｄ変換器
１６０ 画素データメモリ
１７０ データ切り替え判定回路
１８０ 読み出し切り替え回路

Claims (5)

1. 光学系により結像された光学像を各画素で光電変換し、駆動信号に応じた画素の信号を読み出して出力する撮像素子と、
   前記光学系が結像させる前記光学像に含まれる歪みに応じた読み出しパターンを保持する読み出しアドレス記憶手段と、
   前記読み出しパターンに応じた状態で前記撮像素子の各画素から読み出しを行うようにアドレスを指定した駆動信号を生成して前記撮像素子に供給する駆動手段と、
   を有することを特徴とする撮像装置。
2. 前記読み出しアドレス記憶手段は複数の光学系の歪みに応じた読み出しパターンを保持しており、装着される光学系に応じた前記読み出しパターンを選択する、
   ことを特徴とする請求項１記載の撮像装置。
3. 前記読み出しアドレス記憶手段は光学系の各焦点距離に対応する歪みに応じた読み出しパターンを保持しており、装着されている光学系の焦点距離に応じた前記読み出しパターンを選択する、
   ことを特徴とする請求項１記載の撮像装置。
4. 前記光学系の識別情報もしくは焦点距離情報の少なくとも一方を参照し、前記光学系の歪みに関する情報を前記読み出しアドレス記憶手段に伝達する制御手段を備える、
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置。
5. 前記撮像素子から読み出された少なくとも１画素分の信号を記憶する画素データ記憶手段と、
   前記読み出しパターンによって前記撮像素子のすでに読み出された画素と同一画素の読み出しが発生した場合に、前記画素データ記憶手段からの読み出しに切り替える判定を行うデータ切り替え判定回路と、
   前記データ切り替え判定回路の判定結果に基づいて、前記撮像素子からの読み出しと前記画素データ記憶手段からの読み出しとを切り替える読み出し切り替え回路と、
   を備えることを特徴とする請求項１乃至請求項４の何れかに記載の撮像装置。

Images