JP2004032100A - 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム - Google Patents
撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP2004032100A JP2004032100A JP2002181922A JP2002181922A JP2004032100A JP 2004032100 A JP2004032100 A JP 2004032100A JP 2002181922 A JP2002181922 A JP 2002181922A JP 2002181922 A JP2002181922 A JP 2002181922A JP 2004032100 A JP2004032100 A JP 2004032100A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- light reception
- image processing
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】隣接する画素で露光時間を独立して制御可能な撮像素子を用い、受光開始タイミングが異なるが受光終了タイミングを同じにする隣接画素グループと、受光開始タイミングを同じにするが受光終了タイミングが異なる隣接画素グループを形成する。隣接画素の露光時間をビデオレートの1/N時間ずつずらして撮像・記録することによって、装置を高速化せずに、通常のビデオレートにおける表示と、そのN倍速のスローモーションでの表示を選択的に実現する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、受光量に応じた画素信号を生成する複数の画素からなる撮像装置、各画素信号を処理して撮影画像を得る画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、各画素の駆動制御により高速撮影を実現する撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【0002】
さらに詳しくは、本発明は、装置の高速化を必要とせずに高速撮影を実現する撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、通常のビデオレートでの高解像度撮影と高速レートでの低解像度撮影を同時に実現する撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【0003】
【従来の技術】
昨今の半導体製造技術の急速な進歩とも相俟って、比較的安価な撮像素子が入手可能となってきた。この結果、携帯電話やPDA(Personal Digital Assistant)などの携帯端末において、小型のカメラを付属あるいは搭載した機器が開発され、市場に流通し始めている。
【0004】
一般的に、カメラといえばCCD(Charge Coupled Device:電荷結合素子)センサを用いたものを思い浮かべることができる。CCDとは、MOS(Metal Oxide Semiconductor)型電極をチェーンのように配設して構成される集積回路のことであり、半導体表面の電荷をある電極から次の電極へと順次転送する機能を利用して、撮像した画像データを出力するようになっている。
【0005】
他方、CMOS(Complementary Metal−Oxide Semiconductor:相補性金属酸化膜半導体)イメージ・センサが次世代のイメージ・センサとして注目を浴び始めている。
【0006】
CMOS技術を用いて実装されるこのタイプのイメージ・センサであれば、小型・軽量化や、低消費電力などの仕様を満足させることができる。また、イメージ・センサと同一のチップ上に、CMOS技術で実現できる様々な回路部品を集積することができる。センサ上の各画素におけるフォトダイオード出力をノイズ除去並びにゲイン補正を経た後、アナログ値からデジタル値に変換して、さらにはデジタル信号のまま画像処理を行うといった機能を同一チップ上に搭載したCMOSイメージ・センサに関する報告も幾つかなされている。特に、センサ上で画像処理を行う機能を搭載した、いわゆる「スマート・センサ」は、ゲーム用からセキュリティ用途に至るまで幅広く利用されるものとして期待されている。
【0007】
ところで、スポーツや理工学系の運動解析などにおいて、スローモーション撮影などを行うために高速撮像が可能なビデオ・カメラ装置が必要とされている。
【0008】
第1の高速撮影方法として、上述したCCDやCMOSなどの固体撮像素子を高速に駆動し、なお且つ外部に一時記憶用のメモリを持ち、メモリに高速書き込みすることにより高速撮像を実現するものを挙げることができる。このような装置では、例えば通常のビデオレートのN倍の高速撮像を実現する場合には、撮像素子、およびその周辺回路をビデオレートのN倍の周波数で駆動する必要がある。また、撮像素子の出力信号のデータ量は、ビデオレートでの駆動時と同等の画素数の場合にはN倍になるため、相応の外部メモリが必要になる。
【0009】
また、第2の高速撮影方法として、高速撮像時には固体撮像素子からの出力画素数を間引きや画素加算によって減らすことにより、周辺回路の駆動周波数を高速化させずに高速撮像を実現するものを挙げることができる。このような装置では、例えばビデオレートのN倍の高速撮像を実現する場合には、有効な撮像素子の画素数が1/Nとなってしまう。
【0010】
しかしながら、上述した第1の高速撮影方法では、装置全体を高速駆動する必要があり、高周波対応の構成部品の使用や、回路設計が複雑になるなど、装置が高価になるという問題がある。また、外部メモリ容量が増加することにより、部品点数が増加し、装置が大型化するという問題がある。
【0011】
また、第2の高速撮影方法では、上記のような装置のコストやサイズの問題を解決することができるが、高速撮影時には、固体撮像素子からの出力画素数が減少してしまうために、常に解像度が劣化してしまう。したがって、このような装置では、同時に高解像度の通常撮影と、低解像度の高速撮影を行なうことはできない。
【0012】
【発明が解決しようとする課題】
本発明の目的は、受光量に応じた画素信号を生成する複数の画素からなる優れた撮像装置、各画素信号を処理して撮影画像を好適に得ることができる画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【0013】
本発明のさらなる目的は、各画素の駆動制御により高速撮影を実現することができる、優れた撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【0014】
本発明のさらなる目的は、装置の高速化を必要とせずに高速撮影を実現することができる、優れた撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【0015】
本発明のさらなる目的は、通常のビデオレートでの高解像度撮影と高速レートでの低解像度撮影を同時に実現することができる、優れた撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【0016】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第1の側面は、所定の受光期間における受光量に応じた画素信号を生成する複数の画素からなる撮像装置であって、
受光開始タイミングが異なるが受光終了タイミングが同じになる2個の画素からなる1以上の画素グループと、
受光開始タイミングが同じになるが受光終了タイミングが異なる2個の画素からなる1以上の画素グループと、
を具備することを特徴とする撮像装置である。
【0017】
ここで、前記の各画素グループは近隣の画素で構成されていることがより好ましい。
【0018】
本発明の第1の側面に係る撮像装置は、さらに前記の各画素グループ毎の画素信号の差を求める差分処理手段を備えていてもよい。
【0019】
このような場合、各画素の画素信号をそのまま出力する第1の撮像モードと、前記差分処理手段による各画素グループ毎の画素信号の差分を出力する第2の撮像モードを備えることができる。
【0020】
例えば、撮像装置が少なくともN個の画素グループを備えている場合において、前記第2の撮像モードでは、各画素グループ内における画素間の受光開始タイミング又は受光終了タイミングは前記第1の撮像モードにおけるビデオ・フレーム周期のN分の1だけ相違させるように各画素を駆動する。
【0021】
この結果、前記第1の撮像モードでは通常のビデオレートでの画像表示又は画像記録を行なうことができるのに対して、前記第2の撮像モードでは、そのN倍速のスローモーションでの画像表示又は画像記録を行なうことができる。
【0022】
したがって、本発明の第1の側面に係る撮像装置によれば、装置の高速化を必要とせずに高速撮影を実現することができる。また、通常のビデオレートでの高解像度撮影と高速レートでの低解像度撮影を同時に実現することができる。
【0023】
また、本発明の第2の側面は、所定の受光期間における受光量に応じた画素信号を生成する複数の画素によって捕捉された画像情報を処理する画像処理装置又は画像処理方法であって、
前記画像情報は、受光開始タイミングが異なるが受光終了タイミングが同じになる2個の画素からなる1以上の画素グループの画素信号と、受光開始タイミングが同じになるが受光終了タイミングが異なる2個の画素からなる1以上の画素グループの画素信号を含み、
前記の各画素グループ毎の画素信号の差を求める差分処理手段又はステップを備える、
ことを特徴とする画像処理装置又は画像処理方法である。
【0024】
ここで、前記の各画素グループは近隣の画素で構成されているものとする。
【0025】
また、前記差分処理手段又はステップによる前記の各画素グループ毎の画素信号の差に基づく表示出力を行なう画像表示手段又はステップ、あるいは、前記差分処理手段又はステップによる前記の各画素グループ毎の画素信号の差を記録する画像記録手段又はステップをさらに備えていてもよい。
【0026】
本発明の第2の側面に係る画像処理装置又は画像処理方法は、各画素の画素信号をそのまま取り扱う第1の画像処理モードと、前記差分処理手段による各画素グループ毎の画素信号の差分を出力する第2の画像処理モードを備えることができる。
【0027】
例えば、画像情報がN個の画素グループからの画素信号で構成されている場合において、各画素グループ内における画素間の受光開始タイミング又は受光終了タイミングは通常のビデオ・フレーム周期のN分の1だけ相違させておく。このような場合、前記第1の画像処理モードでは通常のビデオレートでの画像表示又は画像記録を行なうことができるのに対して、前記第2の画像処理モードでは、そのN倍速のスローモーションでの画像表示又は画像記録を行なうことができる。
【0028】
したがって、本発明の第2の側面に係る画像処理装置又は画像処理方法によれば、装置の高速化を必要とせずに高速撮影を実現することができる。また、通常のビデオレートでの高解像度撮影と高速レートでの低解像度撮影を同時に実現することができる。
【0029】
また、本発明の第3の側面は、所定の受光期間における受光量に応じた画素信号を生成する複数の画素によって捕捉された画像情報の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納下記憶媒体であって、
前記画像情報は、受光開始タイミングが異なるが受光終了タイミングが同じになる2個の画素からなる1以上の画素グループの画素信号と、受光開始タイミングが同じになるが受光終了タイミングが異なる2個の画素からなる1以上の画素グループの画素信号を含み、前記コンピュータ・ソフトウェアは、
前記の各画素グループ毎の画素信号の差を求めるステップと、
前記の各画素グループ毎の画素信号の差に基づく画像情報を表示又は記録するステップと、
を具備することを特徴とする記憶媒体である。
【0030】
本発明の第3の側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、DVD(Digital Versatile Disc)やCD(Compact Disc)、FD(Flexible Disk)、MO(Magneto−Optical disc)などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク(ネットワークは無線、有線の区別を問わない)などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。
【0031】
また、本発明の第3の側面に係る記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第3の側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第1の側面に係る画像処理装置又は画像処理方法と同様の作用効果を得ることができる。
【0032】
また、本発明の第4の側面は、所定の受光期間における受光量に応じた画素信号を生成する複数の画素によって捕捉された画像情報の処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
前記画像情報は、受光開始タイミングが異なるが受光終了タイミングが同じになる2個の画素からなる1以上の画素グループの画素信号と、受光開始タイミングが同じになるが受光終了タイミングが異なる2個の画素からなる1以上の画素グループの画素信号を含み、
前記の各画素グループ毎の画素信号の差を求めるステップと、
前記の各画素グループ毎の画素信号の差に基づく画像情報を表示又は記録するステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【0033】
本発明の第4の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第3の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第2の側面に係る画像処理装置又は画像処理方法と同様の作用効果を得ることができる。
【0034】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【0035】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【0036】
本発明は、例えばCMOSイメージ・センサのような、受光量に応じた画素信号を生成する画素がマトリックス状に配列して構成される撮像装置を用いて高速撮影を可能とするものである。この種の撮影装置は一般に各画素にリセット・パルスと読み出しパルスを供給することにより露光タイミングを制御することができるが、本発明では、隣接する画素において露光時間を独立して制御することができる構造を備えた撮像装置を用いて、隣接する画素の信号の差分を求めることによって高速撮影を可能とする。
【0037】
図1には、通常のビデオレートのN倍の高速撮影を行なう場合を例にとって、本発明に係る高速撮影の原理を示している。
【0038】
同図において、横軸は時間を表しており、縦軸は画素を構成するセンサに蓄積される電荷量を表している。P1からP3は、画素単位、又はブロック単位で独立に露光制御が可能なセンサにおいて、独立に駆動することができる隣り合う3画素を表している。
【0039】
本発明に係る撮像方法によれば、N倍速の撮像を行う場合には2N個の独立に駆動可能な画素を持つブロックが必要であり、その場合にはビデオレートの1/N時間毎に2N個の画素を持つブロックから2画素分の信号が得られる。
【0040】
P1,P2,P3の各画素の駆動タイミングは、図1に示すようにずれている。したがって、P1とP2、並びにP2とP3の差分を求めることにより、それぞれ異なる時刻におけるビデオレートの1/N時間の画像を得ることができる。
【0041】
本発明による高速撮像方法では、2N個の画素を持つブロック内において、隣り合う3画素のうち1画素は基準となる露光時間の撮像を行い、その画素と隣り合う他の2画素は、リセット・タイミングと読み出しタイミングのいずれかが異なっており、1/Nフィールドだけ長い露光時間の撮像を行なう。図1に示す例では、水平方向で隣接する3つの画素P1,P2,P3のうち中央の画素P2は、(1−2/N)フィールド時間を露光時間として撮影を行なう。そして、この画素P2と隣り合う他の2つの画素P1及びP3は、リセット・タイミングと読み出しタイミングのいずれか一方が画素P2とは異なっており、1/Nフィールドだけ長い露光時間の撮影を行なう。
【0042】
このように画素毎に露光時間をずらして撮像することにより、フル解像度での通常のビデオレートでの表示と、1/N解像度でのN倍速のスローモーション表示を同時に実現することが可能である。
【0043】
すなわち、ビデオレートでの再生表示の場合には、撮像した映像信号をそのまま表示する。このとき、ブロック内では最大で(1−1/N)フィールドのずれが生じるが、各画素単位では1フィールド相当の画像が連続して表示されるので、通常のビデオ映像程度の表示が可能である。
【0044】
一方、スローモーション再生表示の場合には、隣り合う画素の差分(P1−P2,P3−P2など)を求め、その差分信号をビデオレートにて表示する。このとき得られる差分信号は、1/Nフィールド時間毎に全画素の1/Nになっており、出力信号の解像度が1/Nになっている。
【0045】
図2には、本発明に係る撮影装置により撮影した画像を記録し、再生し、表示出力するためのシステム構成を模式的に示している。
【0046】
撮像装置1は、後述する駆動方法によって撮像を行ない、その信号を映像処理した後に記録媒体2に記録する。
【0047】
再生装置3は、記録媒体2から信号を読み取り、後述のような信号処理を行った後に表示装置4にて映像表示する。
【0048】
記録媒体2は、例えば、デジタルビデオテープや、磁気記録ディスクなどで構成されるが、映像信号を記録する媒体であれば特に限定されない。
【0049】
表示装置4は、例えば、CRT(Cathode Ray Tube)ディスプレイや、LCD(Liquid Crystal Display:液晶表示ディスプレイ)などで構成されるが、映像信号を表示する装置であれば特に限定されない。
【0050】
本発明の第1の実施形態では、撮像装置1は撮像した信号を映像処理した後に記録媒体に記録する。そして、再生装置3は、記録媒体2から読み取った信号を、通常表示をする場合にはそのまま映像処理を行って表示装置4に出力するが、スローモーション表示をする場合には後述のようにして配置された画素配列に従って隣り合う画素間の差分を求めた後に映像処理を行なってから表示装置4に出力する。したがって、本発明の第1の実施形態によれば、再生時に通常表示とスローモーション表示を選択的に実現することができる。
【0051】
また、本発明の第2の実施形態では、撮像装置1が撮像した信号を、通常記録をする場合には映像処理した後にそのまま記録媒体2に記録するが、スローモーション記録をする場合には、所定の画素配列(後述)に従って隣り合う画素間の差分を求めた後に映像処理を行なって記録媒体2に記録する。そして、再生装置3は、記録媒体2から読み取った信号を表示装置4に出力する。したがって、本発明の第2の実施形態によれば、撮像後に通常記録をするかスローモーション記録をするかを選択的に実現することができるようになる。
【0052】
なお、撮影装置の駆動方法の詳細については後述に譲る。
【0053】
図3には、本発明の第1の実施形態に係る撮像装置1の機能構成を模式的に示している。
【0054】
センサ部11は、被写体の映像を撮像する機能モジュールであり、レンズや光学フィルタなどの光学系と、CCDやCMOSなどの固体撮像素子で構成されている。以下では、撮像素子としてCMOSを採用した場合を例にとって説明する。
【0055】
センサ部11からの出力信号は、映像処理部12に入力され、相関2重サンプリング(CDS)、オート・ゲイン・コントロール(AGC)、A/D変換、輝度色差分離などの処理が施された後に映像記録部13に出力される。
【0056】
映像記録部13では、入力された映像信号を記録媒体2に記録するためのフォーマットに変換して記録する。
【0057】
制御部14は、マイコンなどを利用することができ、操作入力部15からの入力に従って、センサ部11、映像処理部12、映像記録部13などの動作を統括的に制御する。
【0058】
操作入力部15は、ユーザの操作を受け付けるために装備され、ボタン類やタッチパネルが利用可能である。
【0059】
図4には、本発明の第1の実施形態に係る再生装置3の機能構成を模式的に示している。
【0060】
読み取り部21は、記録媒体2から信号を読み取る部分であり、磁気ヘッドや光ピックアップなどで構成されている。読み取り部21からの出力信号は、映像処理部22に入力され、ガンマ補正、輝度色差混合、D/A変換などの処理を施して映像表示部23に出力される。
【0061】
さらに、本実施形態に係る再生装置3では、映像処理部22において隣り合う画素の信号差分を求めるための差分処理部26を備えている。この差分処理部26は、高速撮像された映像をスローモーション再生する場合には、画素間差分を行なうことによりスローモーション映像を生成して映像表示部23に出力する。
【0062】
映像表示部23は、表示装置4に表示するためのアナログ増幅器などで構成されている。
【0063】
制御部24は、マイコンなどを利用することができ、操作入力部25からの入力に従って、読み取り部21と映像処理部22の制御を行なう。操作入力部25は、ボタン類やタッチパネルなどで構成され、ユーザの操作を受け付ける。
【0064】
図5には、本実施形態に係る撮像装置1のセンサ部11に適用されるCMOS方式撮像素子の画素構造の一例を模式的に示している。
【0065】
同図において、受光セル31は、CMOS方式撮像素子の1つの画素を形成する。CMOS方式撮像素子は、2次元配列上に配置された受光セル31と、受光セルを垂直方向に駆動するための垂直駆動回路36と、一水平ライン分の受光セルをリセットするためのリセット信号線39と、一水平ライン分の受光セルの読み出しを制御するための水平信号線40と、一垂直ライン分の受光セルの信号を出力するための垂直信号線41と、垂直信号線41の信号を水平方向にシフトして出力するための水平駆動回路37と、水平駆動回路37の出力を増幅するための出力アンプ38とから構成されている。
【0066】
各受光セル31は、受光して光電変換により電荷を発生するフォトダイオード32(PD)と、フォトダイオードに蓄積されている電荷をリセットするためのリセット・ゲート33(RST)と、フォトダイオード32に蓄積されている電荷を電流として読み出すための読み出しゲート35(RD)とから構成されている。
【0067】
垂直駆動回路36は、受光セルを水平ライン毎にリセットしたり、読み出ししたりするためのパルスを生成してリセット信号線39、及び水平信号線40に与える。垂直駆動回路36から出力されるリセット・パルスがハイになると、リセット・ゲート33が導通して、フォトダイオード32の電荷がリセットされる。リセット後、一定時間後に垂直駆動回路36から出力される読み出しパルスがハイになると、読み出しゲート35が導通して、一定時間の間にフォトダイオードに蓄積された電荷が垂直信号線41に出力される。
【0068】
水平駆動回路37は、シフト・レジスタ(図示しない)により構成されており、各垂直信号線41に出力された信号は順次シフトされて、出力アンプ38で増幅されてから出力される。
【0069】
図5に示した実施形態では、センサ部11は、水平ライン毎にリセット・タイミングと読み出しタイミングを独立して制御することが可能である。但し、垂直信号線41に同時に出力することはできないため、一水平ラインの信号を水平駆動回路37によって出力した後に、次のラインの読み出しを行う必要がある。したがって、図示のセンサ部11からなる撮像装置においては隣り合う画素の読み出しタイミングがずれてしまうが、信号の読み出し駆動は非常に高速なため、高速化倍率のNが大きくなければ画質には影響しない。
【0070】
また、図6には、CMOS方式撮像素子の画素構造についての変形例を模式的に示している。
【0071】
図示の実施形態は、図5に示した上述の実施形態において問題になる読み出しタイミングのずれを解消するために、フォトダイオード32に蓄積された電荷を一旦フローティング・ディフュージョン34に保持し、読み出しタイミングの制御により垂直信号線41に出力するものである。
【0072】
この実施形態において、受光セル31は、受光して光電変換により電荷を発生するフォトダイオード32(PD)と、フォトダイオードに蓄積されている電荷をリセットするためのリセット・ゲート33(RST)と、フォトダイオード32に蓄積されている電荷を増幅して電気信号とするためのフローティング・ディフュージョン・アンプ34(FD)と、フォトダイオード32の電荷をフローティング・ディフュージョン34に転送するための転送ゲート42(TX)と、フローティング・ディフュージョン34の信号を読み出すための読み出しゲート35(RD)とで構成されている。
【0073】
この実施形態における垂直駆動回路36は、転送ゲート42を駆動するための転送パルス信号線43を駆動している。その他の回路構成は、図5に示した実施形態と略同一である。
【0074】
図7乃至図10には、図5に示したCMOS方式撮像素子における駆動タイミングを示している。上述したように受光セル31は、垂直駆動回路36及び水平駆動回路37により駆動されており、これらの駆動回路は撮像装置の制御部14により制御されている。ここでは、通常のビデオレートの4倍の高速撮像を行うタイミングを例にとって説明する。
【0075】
各図において、A乃至Hは、それぞれ独立にリセット・パルス及び読み出しパルスが制御可能な隣り合う8画素を表している。図7及び図8には、各画素の読み出しパルスのタイミングを示している。また、図9は、各画素のリセット・パルスのタイミングを示している。また、図10には、各画素におけるフォトダイオード32の蓄積電荷と、画素間の差分として得られる高速撮像信号を示している。
【0076】
センサ部11の画素の駆動は1フィールド周期で繰り返され、本実施形態ではこの4倍の周波数でリセット・パルス及び読み出しパルスが制御されている。すなわち、1フィールド周期内では、t1〜t4の各タイミングでリセット・パルス及び読み出しパルスが該当する画素に印加される。
【0077】
まず、時刻t1において画素Aにリセット・パルス52が印加され、フォトダイオード32の電荷がリセットされる。また、同時刻に画素Hも電荷リセットされる。次いで、時刻t2において、画素B及びCが電荷リセットされる。同様に、時刻t3において画素D及びEが電荷リセットされ、時刻t4において画素F及びGが電荷リセットされる。
【0078】
画素Aは、時刻t1でリセットされた後にフォトダイオード32電荷が蓄積され始める。そして、時刻t4において画素Aに読み出しパルスが印加されると、そのフォトダイオード32に蓄積された電荷53は垂直信号線41から読み出される。
【0079】
同様にして、画素Bは、時刻t2から電荷の蓄積が開始され、時刻t4において蓄積された電荷54が読み出される。また、画素Cは、時刻t2から電荷の蓄積が開始され、次の時刻t1において蓄積された電荷55が読み出される。以下、同様にして画素Hまでが駆動される。
【0080】
既に述べたように、図5に示したCMOS方式撮像素子においては、垂直信号線41に同時に信号を読み出すことができない。したがって、本来は図7に示すように、画素Aと画素Bから電荷を同時に読み出しすることが望ましいが、画素の2次元的な配列によっては隣接する画素Aと画素Bが垂直信号線を共有するため(後述)、これらの画素の読み出しパルスをずらす必要がある。
【0081】
図8には、画素Aと画素Bの読み出しパルスを微少時間だけずらした例を示している。この場合、水平駆動回路37が水平信号線40を選択的に駆動して、センサ部11内のすべての画素Aから画素信号を出力した後に、画素Bに読み出しパルスを印加している。
【0082】
図5に示した実施形態に係る1撮像装置では、撮像素子から出力される信号に映像信号処理を施して、そのまま記録媒体2に記録する。また、再生装置3では、記録媒体2から読み出した各画素の信号から差分信号を求めて高速撮像信号を生成して、スローモーション再生表示を実現する。
【0083】
図10に示すように、画素Aと画素Bの差分信号56は、時刻t2における映像信号として得られ、また、画素Bと画素Cの差分信号57は、時刻t1における映像信号として得られる。したがって、同図に示すように、A乃至Hの8画素の信号から、ビデオレートの4倍の周波数に従う各時刻t1、t2、t3、t4において、それぞれ2画素の差分信号を得ることができる。
【0084】
図11及び図12は、図6に示した実施形態に係るCMOS方式撮像素子における駆動タイミングを示している。このうち、図11には各画素の転送パルスのタイミングを示し、図12には各画素の読み出しパルスのタイミングを示している。図6に示したCMOS方式撮像素子では、リセット・パルスは図9に示したものと同様の駆動が行われる。また、図6に示したCMOS方式の撮像素子では、上述したように、フォトダイオード32に蓄積された電荷は画素毎に一旦フローティング・ディフュージョン・アンプ34に転送された後、読み出しパルスにより垂直信号線41によって読み出される。
【0085】
図6に示した実施形態における露光の動作については、図7〜図10を参照しながら説明した図5に示した実施形態と異なる部分についてのみ説明する。
【0086】
画素Aにおける電荷の蓄積は、リセット・パルス52が印加される時刻t1から開始される。時刻t4において、転送パルス58が印加されると、画素Aのフォトダイオード32に蓄積されていた電荷はフローティング・ディフュージョン・アンプ34に転送される。
【0087】
フローディング・ディフュージョン・アンプ34への転送は同じ垂直信号線41を使う画素でも同時に行なうことができるため、隣接する画素Aと画素Bからの転送は同時に行われる。その後、画素Aに対して読み出しパルス59が印加され、フローティング・ディフュージョン・アンプ34の出力が垂直信号線41に読み出される。
【0088】
図7〜図10に示した実施形態と同様に、垂直信号線41に同時に信号を読み出すことはできないため、水平駆動回路37において画素Aの信号を出力した後に、これに隣接する画素Bに読み出しパルス60が印加される。したがって、画素Bにおいては、転送パルスが印加されてから読み出しパルスが印加されるまでの間は、フローティング・ディフュージョン・アンプ34に電荷が蓄積されていることになる。
【0089】
図5に示したCMOS方式の撮像素子によれば、各画素を構成する受光セル31の構造を単純なものにすることができるが、垂直信号線41を共有する画素においては同時に読み出しすることができない。このため、露光時間に微小なずれが発生し、差分信号として得られる高速撮像信号にも誤差が生じるという問題がある。一方、図6に示したCMOS方式の撮像素子によれば、各画素において蓄積した電荷を一旦フローティング・ディフュージョン・アンプ34に保持することができるため、露光時間のずれの問題を解決することができる。
【0090】
但し、ここまでで説明した各実施形態は、本発明における撮像方法を実現する一方法に過ぎない。例えば、画素毎にA/D変換器とメモリ素子を持ち、フォトダイオード32から転送する際にデジタル信号として蓄積するような素子を利用してもよい。
【0091】
次に、上述したようなCMOS方式の撮像素子において、独立にリセット・パルスと読み出しパルスが制御可能な隣り合う8画素の2次元配列の組み合わせについて、図13乃至図16を参照しながら説明する。また、図17乃至図20は、これらの配列を実現するための配線構造を示している。
【0092】
リセット・パルスと読み出しパルスを独立して制御可能にするためには、これらの配列は、差分信号を求める2つの画素が隣接しているようになっている必要がある。
【0093】
図13には、8画素が垂直方向に並んでいる配列の例を示している。同図に示す例では、水平信号線毎にリセット・パルス及び読み出しパルスを制御する。また、図17には、水平に並んだ画素毎にリセット信号線と水平信号線が独立に配線されている撮像素子を表している。図17において、信号線71は、画素Aに相当する受光セル141を駆動するリセット信号線であり、信号線81は、同じく画素Aを駆動する水平信号線である。以下、同様に、本撮像素子は、画素Bに相当する受光セル142を駆動するリセット信号線72と、水平信号線82と、画素Cに相当する受光セル143を駆動するリセット信号線73と、水平信号線83と、画素Dに相当する受光セル144を駆動するリセット信号線74と、水平信号線84と、画素Eに相当する受光セル145を駆動するリセット信号線75と、水平信号線85と、画素Fに相当する受光セル146を駆動するリセット信号線76と、水平信号線86と、画素Gに相当する受光セル147を駆動するリセット信号線77と、水平信号線87と、画素Hに相当する受光セル148を駆動するリセット信号線78と、水平信号線88とから構成されている。
【0094】
図14には、8画素が水平方向に並んでいる配列の例を示している。同図に示す例では、垂直信号線毎にリセット・パルス及び読み出しパルスを制御する。また、図18には、垂直方向に並んだ画素毎にリセット信号線と垂直信号線が独立に配線されている撮像素子を表している。同図に示す例では、図17に示した独立に駆動可能な撮像素子を90度回転させたような構造により実現可能であり、水平駆動回路と垂直駆動回路の機能が入れ替わっている。
【0095】
図15には、8画素がジグザグ状に並んでいる配列の例を示している。また、図19には、リセット信号線が水平方向に交互に上と下の画素に配線されている撮像素子を表している。図7に示したように、画素Aと画素Bの読み出しは同時に行われるため、受光セル141と受光セル142に接続する水平信号線は共通にすることができる。また、図9に示したように、画素Bと画素Cのリセットは同時に行われるため、受光セル142と受光セル143に接続するリセット信号線は共通にすることができる。このように、信号線91は画素Aに相当する受光セル141と画素Hに相当する受光セル148を駆動するリセット信号線に相当し、信号線101は画素Aに相当する受光セル141と画素Bに相当する受光セル142を駆動する水平信号線に相当する。以下、同様に、図19に示す撮像素子は、画素Bに相当する受光セル142と画素Cに相当する受光セル143を駆動するリセット信号線92と、画素Cに相当する受光セル143と画素Dに相当する受光セル144を駆動する水平信号線102と、画素Dに相当する受光セル144と画素Eに相当する受光セル145を駆動するリセット信号線93と、画素Eに相当する受光セル145と画素Fに相当する受光セル146を駆動する水平信号線103と、画素Fに相当する受光セル146と画素Gに相当する受光セル147を駆動するリセット信号線94と、画素Gに相当する受光セル147と画素Hに相当する受光セル148を駆動する水平信号線104とで構成されている。
【0096】
図16には、8画素がコの字を並べたように並んでいる配列の例を示している。また、図20には、この配列を実現する撮像素子構造を示しているが、これは図19において受光セル143と受光セル144、及び受光セル147と受光セル148が入れ替わったような構造によって実現することができる。この場合、リセット信号線の配線が変更されるが、リセット・パルス、及び読み出しパルスともにタイミングに変更はない。
【0097】
次に、本発明の第2の実施形態に係る撮像装置1及び再生装置3について図面を参照しながら詳解する。
【0098】
図21には、本発明の第2の実施形態に係る撮像装置1の機能構成を模式的に示している。
【0099】
センサ部111は、被写体の映像を撮像する部分であり、レンズ、光学フィルタなどの光学系と、CCDやCMOSなどの固体撮像素子で構成されている。以下では、撮像素子としてCMOS方式を採用した場合を例にとって説明する。
【0100】
センサ部111からの出力信号は、映像処理部112に入力され、相関2重サンプリング(CDS)、オート・ゲイン・コントロール(AGC)、A/D変換、輝度色差分離などの処理が施された後に、映像記録部113に出力される。
【0101】
さらに、本実施形態に係る撮像装置1では、映像処理部113において隣り合う画素の信号差分を求めるための差分処理部116を備えている。この差分処理部116は、高速撮像された映像をスローモーション記録する場合には画素間差分を行うことによりスローモーション映像を生成して映像記録部113に出力する。
【0102】
映像記録部113は、入力された映像信号を記録媒体2に記録するためのフォーマットに変換して記録する。
【0103】
制御部114は、マイコンなどを利用することができ、操作入力部115からの入力に従って、センサ部111、映像処理部112、映像記録部113などの動作を統括的に制御する。
【0104】
操作入力部115は、ボタン類やタッチパネルなどで構成され、ユーザの操作を受け付ける。
【0105】
図22には、本発明の第2の実施形態に係る再生装置3の機能構成を模式的に示している。
【0106】
読み取り部121は、記録媒体2から信号を読み取る部分であり、磁気ヘッドや光ピックアップなどで構成されている。読み取り部121からの出力信号は、映像処理部122に入力され、ガンマ補正、輝度色差混合、D/A変換などの処理が施された後、映像表示部123に出力される。
【0107】
映像表示部123は、表示装置4に表示するためのアナログ増幅器などで構成されている。
【0108】
制御部124は、マイコンなどを利用することができ、操作入力部125からの入力に従って、読み取り部121と映像処理部122の制御を行う。
【0109】
操作入力部125は、ユーザーの操作を受け付けるためにあり、ボタン類やタッチパネルが利用可能である。
【0110】
なお、図21及び図22に示した本発明の第2の実施形態におけるセンサ部111の構造は、上述した第1の実施形態に示したものと略同一なので、ここでは説明を省略する。
【0111】
[追補]
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【0112】
【発明の効果】
以上詳記したように、本発明によれば、装置の高速化を必要とせずに高速撮影を実現することができる、優れた撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【0113】
また、本発明によれば、通常のビデオレートでの高解像度撮影と高速レートでの低解像度撮影を同時に実現することができる、優れた撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【0114】
本発明によれば、隣接する画素において独立に露光時間を制御することができる撮像素子を用い、隣接する画素の露光時間をビデオレートの1/N時間ずつずらして撮像して記録することによって、撮像装置、記録装置、及び再生装置の高速化を必要とせずに、再生装置において通常のビデオレートにおける表示と、そのN倍速のスローモーションでの表示を選択的に実現することが可能となる。
【図面の簡単な説明】
【図1】本発明に係る高速撮影の原理を示した図である。
【図2】本発明に係る撮影装置により撮影した画像を記録し、再生し、表示出力するためのシステム構成を模式的に示した図である。
【図3】本発明の第1の実施形態に係る撮像装置1の機能構成を模式的に示した図である。
【図4】本発明の第1の実施形態に係る再生装置3の機能構成を模式的に示した図である。
【図5】本実施形態に係る撮像装置1のセンサ部11に適用されるCMOS方式撮像素子の画素構造の一例を模式的に示した図である。
【図6】本実施形態に係る撮像装置1のセンサ部11に適用されるCMOS方式撮像素子の画素構造についての他の例を模式的に示した図である。
【図7】図5に示したCMOS方式撮像素子における駆動タイミングを示したチャートである。
【図8】図5に示したCMOS方式撮像素子における駆動タイミングを示したチャートである。
【図9】図5に示したCMOS方式撮像素子における駆動タイミングを示したチャートである。
【図10】図5に示したCMOS方式撮像素子における駆動タイミングを示したチャートである。
【図11】図6に示した実施形態に係るCMOS方式撮像素子における駆動タイミングを示したチャートである。
【図12】図6に示した実施形態に係るCMOS方式撮像素子における駆動タイミングを示したチャートである。
【図13】本実施形態に係るCMOS方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う8画素の2次元配列の組み合わせを示した図である。
【図14】本実施形態に係るCMOS方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う8画素の2次元配列の組み合わせを示した図である。
【図15】本実施形態に係るCMOS方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う8画素の2次元配列の組み合わせを示した図である。
【図16】本実施形態に係るCMOS方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う8画素の2次元配列の組み合わせを示した図である。
【図17】CMOS方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う8画素の2次元配列の組み合わせを実現するための配線構造を示した図である。
【図18】CMOS方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う8画素の2次元配列の組み合わせを実現するための配線構造を示した図である。
【図19】CMOS方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う8画素の2次元配列の組み合わせを実現するための配線構造を示した図である。
【図20】CMOS方式撮像素子において独立にリセット・パルスと読み出しパルスが制御可能な隣り合う8画素の2次元配列の組み合わせを実現するための配線構造を示した図である。
【図21】本発明の第2の実施形態に係る撮像装置1の機能構成を模式的に示した図である。
【図22】本発明の第2の実施形態に係る再生装置3の機能構成を模式的に示した図である。
【符号の説明】
1…撮影装置,2…記録媒体
3…再生装置,4…表示装置
11…センサ部,12…映像処理部
13…映像記録部,14…制御部
15…操作入力部,21…読み取り部
22…映像処理部,23…映像表示部
24…制御部,25…操作入力部
26…差分処理部
31…受光セル,32…フォトダイオード
33…リセット・ゲート,34…フローティング・ディフュージョン
35…読み出しゲート,36…垂直駆動回路
37…水平駆動回路,38…出力アンプ
39…リセット信号線,40…水平信号線
41…垂直信号線,42…転送ゲート
43…転送パルス信号線
111…センサ部,112…映像処理部
113…映像記録部,114…制御部
115…操作入力部,116…差分処理部
Claims (19)
- 所定の受光期間における受光量に応じた画素信号を生成する複数の画素からなる撮像装置であって、
受光開始タイミングが異なるが受光終了タイミングが同じになる2個の画素からなる1以上の画素グループと、
受光開始タイミングが同じになるが受光終了タイミングが異なる2個の画素からなる1以上の画素グループと、
を具備することを特徴とする撮像装置。 - 前記の各画素グループは近隣の画素で構成される、
ことを特徴とする請求項1に記載の撮像装置。 - 前記の各画素グループ毎の画素信号の差を求める差分処理手段をさらに備える、
ことを特徴とする請求項1に記載の撮像装置。 - 各画素の画素信号をそのまま出力する第1の撮像モードと、前記差分処理手段による各画素グループ毎の画素信号の差分を出力する第2の撮像モードを備える、
ことを特徴とする請求項3に記載の撮像装置。 - 少なくともN個の画素グループを備え、
前記第2の撮像モードでは、各画素グループ内における画素間の受光開始タイミング又は受光終了タイミングは前記第1の撮像モードにおけるビデオ・フレーム周期のN分の1だけ相違する、
ことを特徴とする請求項4に記載の撮像装置。 - 所定の受光期間における受光量に応じた画素信号を生成する複数の画素によって捕捉された画像情報を処理する画像処理装置であって、
前記画像情報は、受光開始タイミングが異なるが受光終了タイミングが同じになる2個の画素からなる1以上の画素グループの画素信号と、受光開始タイミングが同じになるが受光終了タイミングが異なる2個の画素からなる1以上の画素グループの画素信号を含み、
前記の各画素グループ毎の画素信号の差を求める差分処理手段を備える、
ことを特徴とする画像処理装置。 - 前記の各画素グループは近隣の画素で構成される、
ことを特徴とする請求項6の記載の画像処理装置。 - 前記差分処理手段による前記の各画素グループ毎の画素信号の差に基づく表示出力を行なう画像表示手段をさらに備える、
ことを特徴とする請求項6の記載の画像処理装置。 - 前記差分処理手段による前記の各画素グループ毎の画素信号の差を記録する画像記録手段をさらに備える、
ことを特徴とする請求項6の記載の画像処理装置。 - 各画素の画素信号をそのまま取り扱う第1の画像処理モードと、前記差分処理手段による各画素グループ毎の画素信号の差分を出力する第2の画像処理モードを備える、
ことを特徴とする請求項6の記載の画像処理装置。 - 少なくともN個の画素グループを備え、
各画素グループ内における画素間の受光開始タイミング又は受光終了タイミングは前記第1の画像処理モードにおけるビデオ・フレーム周期のN分の1だけ相違する、
ことを特徴とする請求項10の記載の画像処理装置。 - 所定の受光期間における受光量に応じた画素信号を生成する複数の画素によって捕捉された画像情報を処理する画像処理方法であって、
前記画像情報は、受光開始タイミングが異なるが受光終了タイミングが同じになる2個の画素からなる1以上の画素グループの画素信号と、受光開始タイミングが同じになるが受光終了タイミングが異なる2個の画素からなる1以上の画素グループの画素信号を含み、
前記の各画素グループ毎の画素信号の差を求める差分処理ステップを備える、ことを特徴とする画像処理方法。 - 前記の各画素グループは近隣の画素で構成される、
ことを特徴とする請求項12の記載の画像処理方法。 - 前記差分処理ステップによる前記の各画素グループ毎の画素信号の差に基づく表示出力を行なう画像表示ステップをさらに備える、
ことを特徴とする請求項12の記載の画像処理方法。 - 前記差分処理ステップによる前記の各画素グループ毎の画素信号の差を記録する画像記録ステップをさらに備える、
ことを特徴とする請求項12の記載の画像処理方法。 - 各画素の画素信号をそのまま取り扱う第1の画像処理モードと、前記差分処理ステップにおける各画素グループ毎の画素信号の差分を出力する第2の画像処理モードを備える、
ことを特徴とする請求項12の記載の画像処理方法。 - 少なくともN個の画素グループを備え、
各画素グループ内における画素間の受光開始タイミング又は受光終了タイミングは前記第1の画像処理モードにおけるビデオ・フレーム周期のN分の1だけ相違する、
ことを特徴とする請求項16の記載の画像処理方法。 - 所定の受光期間における受光量に応じた画素信号を生成する複数の画素によって捕捉された画像情報の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納下記憶媒体であって、
前記画像情報は、受光開始タイミングが異なるが受光終了タイミングが同じになる2個の画素からなる1以上の画素グループの画素信号と、受光開始タイミングが同じになるが受光終了タイミングが異なる2個の画素からなる1以上の画素グループの画素信号を含み、前記コンピュータ・ソフトウェアは、
前記の各画素グループ毎の画素信号の差を求めるステップと、
前記の各画素グループ毎の画素信号の差に基づく画像情報を表示又は記録するステップと、
を具備することを特徴とする記憶媒体。 - 所定の受光期間における受光量に応じた画素信号を生成する複数の画素によって捕捉された画像情報の処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
前記画像情報は、受光開始タイミングが異なるが受光終了タイミングが同じになる2個の画素からなる1以上の画素グループの画素信号と、受光開始タイミングが同じになるが受光終了タイミングが異なる2個の画素からなる1以上の画素グループの画素信号を含み、
前記の各画素グループ毎の画素信号の差を求めるステップと、
前記の各画素グループ毎の画素信号の差に基づく画像情報を表示又は記録するステップと、
を具備することを特徴とするコンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002181922A JP4131133B2 (ja) | 2002-06-21 | 2002-06-21 | 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002181922A JP4131133B2 (ja) | 2002-06-21 | 2002-06-21 | 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004032100A true JP2004032100A (ja) | 2004-01-29 |
JP4131133B2 JP4131133B2 (ja) | 2008-08-13 |
Family
ID=31178637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002181922A Expired - Fee Related JP4131133B2 (ja) | 2002-06-21 | 2002-06-21 | 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4131133B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006060449A (ja) * | 2004-08-19 | 2006-03-02 | Sony Corp | 撮像装置および撮像方法、プログラム、並びに記録媒体 |
WO2007029738A1 (ja) * | 2005-09-09 | 2007-03-15 | Matsushita Electric Industrial Co., Ltd. | 撮像素子 |
WO2007094403A1 (ja) * | 2006-02-17 | 2007-08-23 | Matsushita Electric Industrial Co., Ltd. | 撮像装置 |
JP2008005213A (ja) * | 2006-06-22 | 2008-01-10 | Fujifilm Corp | 固体撮像装置およびその駆動方法 |
JP2008028516A (ja) * | 2006-07-19 | 2008-02-07 | Olympus Corp | カメラシステム |
JP2010219597A (ja) * | 2009-03-13 | 2010-09-30 | Omron Corp | 固体撮像装置 |
JP2015111761A (ja) * | 2013-12-06 | 2015-06-18 | 株式会社ニコン | 電子機器 |
JP2018174592A (ja) * | 2018-08-15 | 2018-11-08 | 株式会社ニコン | 電子機器 |
-
2002
- 2002-06-21 JP JP2002181922A patent/JP4131133B2/ja not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006060449A (ja) * | 2004-08-19 | 2006-03-02 | Sony Corp | 撮像装置および撮像方法、プログラム、並びに記録媒体 |
JP4548041B2 (ja) * | 2004-08-19 | 2010-09-22 | ソニー株式会社 | 撮像装置および撮像方法、プログラム、並びに記録媒体 |
US7623174B2 (en) | 2005-09-09 | 2009-11-24 | Panasonic Corporation | Imaging device for multi-resolution video data |
WO2007029738A1 (ja) * | 2005-09-09 | 2007-03-15 | Matsushita Electric Industrial Co., Ltd. | 撮像素子 |
US8144206B2 (en) | 2006-02-17 | 2012-03-27 | Panasonic Corporation | Imaging apparatus adapted to perform normal imaging and high-speed imaging |
WO2007094403A1 (ja) * | 2006-02-17 | 2007-08-23 | Matsushita Electric Industrial Co., Ltd. | 撮像装置 |
JP5033628B2 (ja) * | 2006-02-17 | 2012-09-26 | パナソニック株式会社 | 撮像装置 |
JP2008005213A (ja) * | 2006-06-22 | 2008-01-10 | Fujifilm Corp | 固体撮像装置およびその駆動方法 |
JP4695550B2 (ja) * | 2006-06-22 | 2011-06-08 | 富士フイルム株式会社 | 固体撮像装置およびその駆動方法 |
JP2008028516A (ja) * | 2006-07-19 | 2008-02-07 | Olympus Corp | カメラシステム |
JP2010219597A (ja) * | 2009-03-13 | 2010-09-30 | Omron Corp | 固体撮像装置 |
JP2015111761A (ja) * | 2013-12-06 | 2015-06-18 | 株式会社ニコン | 電子機器 |
JP2018174592A (ja) * | 2018-08-15 | 2018-11-08 | 株式会社ニコン | 電子機器 |
Also Published As
Publication number | Publication date |
---|---|
JP4131133B2 (ja) | 2008-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4518616B2 (ja) | 固体撮像装置およびその駆動方法並びにカメラシステム | |
JP5251778B2 (ja) | 固体撮像装置、固体撮像装置のアナログ−デジタル変換方法および電子機器 | |
JP4290066B2 (ja) | 固体撮像装置および撮像システム | |
US20070076269A1 (en) | Imaging unit and image sensor | |
JP2009268073A (ja) | 撮像装置及び撮像装置の信号処理方法 | |
JP2005347932A (ja) | 固体撮像装置および撮像システム | |
JP5635092B2 (ja) | 固体撮像素子および当該固体撮像素子を備える撮像装置、ならびに撮像制御方法および撮像制御プログラム | |
JP2012253422A (ja) | 撮像装置、撮像方法 | |
JP2011166379A (ja) | 固体撮像素子及びその駆動方法及び撮像装置 | |
JP2010258828A (ja) | 固体撮像素子およびその駆動方法、並びにカメラシステム | |
JP6802642B2 (ja) | 撮像装置およびその制御方法、プログラム、並びに記憶媒体 | |
JP2009239693A (ja) | 固体撮像装置、撮像システム及び固体撮像装置の駆動方法 | |
JP4131133B2 (ja) | 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム | |
WO2021014999A1 (ja) | 固体撮像装置およびその駆動方法、並びに電子機器 | |
JP2005109993A (ja) | 撮影装置 | |
JP2013121027A (ja) | 固体撮像素子およびその駆動方法、カメラシステム | |
JPWO2003034714A1 (ja) | 固体撮像装置 | |
JP5274169B2 (ja) | 撮像装置 | |
JP2006060766A (ja) | 撮像装置及び固体撮像素子 | |
JP5640509B2 (ja) | 固体撮像素子およびカメラシステム | |
JP2006074436A (ja) | 読出アドレス制御方法、物理情報取得装置、および半導体装置 | |
WO2019176309A1 (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
JP2010171856A (ja) | 撮像装置 | |
JP6019295B2 (ja) | 固体撮像装置及びカメラシステム | |
JP6393087B2 (ja) | 撮像素子及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080430 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080513 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |