JP2006148861A - 撮像信号処理装置及び方法 - Google Patents
撮像信号処理装置及び方法 Download PDFInfo
- Publication number
- JP2006148861A JP2006148861A JP2005161725A JP2005161725A JP2006148861A JP 2006148861 A JP2006148861 A JP 2006148861A JP 2005161725 A JP2005161725 A JP 2005161725A JP 2005161725 A JP2005161725 A JP 2005161725A JP 2006148861 A JP2006148861 A JP 2006148861A
- Authority
- JP
- Japan
- Prior art keywords
- area
- vertical line
- signal processing
- read
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
Abstract
【課題】 ＭＯＳ撮像センサにおいて、メカニカルシャッター等の補助的な同時性確保手段がないとき、移動速度の速い動被写体を静止画撮像するとＭＯＳセンサの撮像及び読み出しの同時性がないため、動被写体がゆがんで撮像されてしまう課題がある。
【解決手段】 ＭＯＳセンサの露光順序と読み出し順序を変更する手段と、読み出したデータを補間する手段とを有し、高解像度の動画時には読み出し順序をラインごとに変更し、またラインごとに補正する事により、動被写体ゆがみを改善することができる
【選択図】 図１
【解決手段】 ＭＯＳセンサの露光順序と読み出し順序を変更する手段と、読み出したデータを補間する手段とを有し、高解像度の動画時には読み出し順序をラインごとに変更し、またラインごとに補正する事により、動被写体ゆがみを改善することができる
【選択図】 図１
Description
本発明は、ＭＯＳ（ＭＥＴＡＬ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ撮像素子から出力される画素信号にデジタル信号処理を施して得られた画像データを高精細度の静止画のＪＰＥＧ又は動画のＭｏｔｉｏｎＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４又はＨ２６３、Ｈ２６４の記録処理する装置及び方法に関し、更に詳しくは、デジタルカメラ、携帯カメラなど撮像素子を有する装置に関する。
動画及び静止画を撮影できる携帯型のデジタルカメラ装置、携帯カメラ装置、携帯電話において、ＮＭＯＳ及びＣＭＯＳイメージセンサはＣＣＤの次の世代をになう撮像素子として進歩しつつある。これはＣＣＤセンサに比べ、ＭＯＳセンサではＣＣＤの転送部分がなく単にドライブとセンス配線のみの構成であるためにフォトダイオードの開口面積を大きくすることができることから、ダイナミックレンジが大きくとれることが期待される。これは高解像度が進む中にあってＭＯＳセンサのほうが有利である。さらにＣＣＤセンサは転送を行うために複数個の電源とその配線が必要であるが、ＭＯＳセンサは単一電源であることから、電源及び配線の構成も非常に簡単で安価になる点も有利である。
デジタルカメラ装置、携帯カメラ装置、携帯電話における撮像信号処理では、ＣＣＤ又はＭＯＳセンサからの入力信号を、センサの一番端から１画素ごとに１ライン読み出し、まず比較的安価なＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）等のメモリに一時記憶してゆく。１ラインの読み出しとＳＤＲＡＭへの書き込みが終了すれば次に２ライン３ラインと繰り返してゆき、１フレーム分をＳＤＲＡＭに書き込む。次にその一時記憶から読み出し、拡大又は縮小等のズーム処理などの信号処理演算を行い、演算後のデータを再度ＳＤＲＡＭに一時記憶し、これを読み出して圧縮処理を施して記録に適したＪＰＥＧ等の圧縮データに変換し、それを再度ＳＤＲＡＭに一時記憶し、その後ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）制御等により高速にＳＤＲＡＭから読み出して外部の半永久保存メモリへ出力される。
以上がデジタルスチルカメラの1枚静止画撮影つまりいわゆる単写撮像時の信号処理の例である。近年デジタルカメラにおいても単写の信号処理を連続して撮影する連続撮影モードつまりいわゆる連写が一般に使用されるようになってきた。
ＣＣＤセンサは、メカニカルシャッターを用いた場合、シャッターの開始と共にＣＣＤセンサに含まれる全ての画素のチャージが同時に開始され、シャッターの終了と共に、全ての画素のチャージが終了する。このように全画素が同時にチャージされる動作を、撮像素子の同時性という。
ＣＣＤセンサは、メカニカルシャッターを用いた場合、シャッターの開始と共にＣＣＤセンサに含まれる全ての画素のチャージが同時に開始され、シャッターの終了と共に、全ての画素のチャージが終了する。このように全画素が同時にチャージされる動作を、撮像素子の同時性という。
ＣＣＤセンサにおいては、同時性を保持する手段であるメカニカルシャッターがないときでも、露光後、各画素のＣＣＤに電荷を移動してしまえば、たとえ次の露光がきてもその電荷が変化してしまうことがないので、全ＣＣＤ電荷をあるタイミング信号で一度に記憶することができる。つまりＣＣＤセンサ自体に同時性がある。
一方ＭＯＳセンサの場合は、ＣＣＤセンサのように電荷を一時保持する機能がなく、しかも読み出しは各画素ごとに逐次行われるので、読み出しを開始した画素と終了した画素の間では時間差が生じてしまう。このとき静止物を撮影する限り問題はないが、被写体の中で動いているものがあれば、その被写体が読み出し時間の差により、ゆがんでしまう。
一方ＭＯＳセンサの場合は、ＣＣＤセンサのように電荷を一時保持する機能がなく、しかも読み出しは各画素ごとに逐次行われるので、読み出しを開始した画素と終了した画素の間では時間差が生じてしまう。このとき静止物を撮影する限り問題はないが、被写体の中で動いているものがあれば、その被写体が読み出し時間の差により、ゆがんでしまう。
従来、この問題を解決するためにいろいろな手法が提案されている。もっとも簡単な手法は静止画撮像時に、メカシャッターを付加することにより露光の同時性をはかるものである。この場合露光は同時に行われ、読み出しは後で逐次読み出すというものである。
また全体が暗いときにはフォーカルプレーンシャッターというライン露光ができるように露光と同じ速さで動作するメカニカルシャッターを使用して、全体が明るいときには、フォーカルプレーンシャッターでは十分な露光ができないので、メカニカルシャッターで全露光し、電子シャッターのＯＮ／ＯＦＦ信号を作ることによりＲＥＳＥＴを入れるタイミングを各ラインごとに設定してよりダイナミックレンジの広い電子シャッターで実現しようというものである（特許文献１参照）。
次に上記方法の例を説明する。
図１３と図１４は、かかるＭＯＳセンサの同時性確保における構成図とフローチャート図である。以下、図１３を参照して、従来の同時性確保について説明する。まず構成を説明する。
図１３は撮像レンズ５０と、上記撮像レンズ５０からの光信号を電気信号に変換する撮像素子５１と、信号処理部５２と、記憶部５３、５４と、上記撮像レンズ５０の絞りを駆動するレンズ絞り駆動部５６と、撮像素子を駆動する駆動部５５と、撮像レンズの位置情報などを検知するレンズ情報検知部５８と、全体の制御を行う制御部５７と、ユーザーが操作する操作部５９と、光源色検出部６０とにより構成されるカメラである。
図１３と図１４は、かかるＭＯＳセンサの同時性確保における構成図とフローチャート図である。以下、図１３を参照して、従来の同時性確保について説明する。まず構成を説明する。
図１３は撮像レンズ５０と、上記撮像レンズ５０からの光信号を電気信号に変換する撮像素子５１と、信号処理部５２と、記憶部５３、５４と、上記撮像レンズ５０の絞りを駆動するレンズ絞り駆動部５６と、撮像素子を駆動する駆動部５５と、撮像レンズの位置情報などを検知するレンズ情報検知部５８と、全体の制御を行う制御部５７と、ユーザーが操作する操作部５９と、光源色検出部６０とにより構成されるカメラである。
次に動作を説明する。
図１３の撮像レンズ５０からの光信号を撮像素子５１は電気信号に変換する。この信号を、信号処理部５２により処理し記憶部５３、５４に与える。一方撮像レンズ５０の絞りはレンズ絞り駆動部５６により駆動する。撮像素子を駆動する駆動部５５は制御部５７により制御され第１の駆動信号を加えてから第２の駆動信号を与えるまでの時間が画素間で異なる。また第１の駆動信号を与える時期と第２の駆動信号を与える時期が画素ごとに可変である。
図１３の撮像レンズ５０からの光信号を撮像素子５１は電気信号に変換する。この信号を、信号処理部５２により処理し記憶部５３、５４に与える。一方撮像レンズ５０の絞りはレンズ絞り駆動部５６により駆動する。撮像素子を駆動する駆動部５５は制御部５７により制御され第１の駆動信号を加えてから第２の駆動信号を与えるまでの時間が画素間で異なる。また第１の駆動信号を与える時期と第２の駆動信号を与える時期が画素ごとに可変である。
フラッシュをたかないときの動体ひずみ又は被写体のぶれを改善するアルゴリズムを図１４に示す。まず撮影対象距離測定＃４０５を行い被写体までの距離を測距する。つぎに撮影対象輝度測定＃４１０により露光時間を決める。次に主撮影対象判別＃４１５により撮影される部分のみを判別する。次に主撮影対象範囲設定＃４２０により撮影範囲を設定する。次に光電変換開始（Ｓ１）＃４２５により光電変換を開始する。光電変換終了待機＃４３０において光電変換の終了を待機する。次に復号出力開始（Ｓ２）＃４３５により復号出力を開始する。このようにして、被写体部分を抽出して動被写体のゆがみを極力少なくする方法である。
特開２００３−３２５５６号公報
上記の従来例は、電荷蓄積部分が２次元平面上に形成されるため、各画素のフォトダイオードの開口面積が狭くなり、ダイナミックレンジを高くとりつつ高解像度に対応するというＭＯＳセンサの長所を低下させる問題がある。
また特許文献１に記載の方法は、動被写体検出方法の具体性が乏しかった。
また特許文献１に記載の方法は、動被写体検出方法の具体性が乏しかった。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、動被写体を効率良く抽出し、その部分を効率よく検出すること手段を提供し、かつＭＯＳセンサのダイナミックレンジを低下させることなく動被写体の静止画撮影時の動体ゆがみを軽減する方法を提供するものである。
１つには、垂直ラインごとの読み出し順番を切り替えて、メモリに一時記憶後、ラインごとにインタレース補正する手段を提供するものであり、２つには、ブロックに分けて、ブロック内で動被写体を含むエリアを検出して、そのエリアを優先して露光と読み出しを行う手段を提供するものである。
１つには、垂直ラインごとの読み出し順番を切り替えて、メモリに一時記憶後、ラインごとにインタレース補正する手段を提供するものであり、２つには、ブロックに分けて、ブロック内で動被写体を含むエリアを検出して、そのエリアを優先して露光と読み出しを行う手段を提供するものである。
第１の発明は、撮像センサと、上記センサの垂直ラインアクセスを制御する垂直ライン制御部と、上記垂直ライン制御部にアクセスする順序を指定する信号処理部と、上記撮像センサから、垂直ラインのデータをまびいて高速に読み出す垂直ラインデータ読み出し部と、上記垂直ラインデータ読み出し部からのデータにおいて、動被写体を含む垂直ラインであることを検出する動被写体垂直ライン検出部と、読み出した動被写体の垂直ラインを補正する垂直ライン補正部とからなることを特徴とし、上記ＭＯＳセンサによる撮像時の動被写体ゆがみを軽減する撮像信号処理装置である。
第２の発明は、撮像センサと、上記センサの水平ピクセルアクセスを制御する水平ピクセル制御部と、上記水平ピクセル制御部にアクセスする順序を変更して指定する信号処理部と、上記撮像センサから、水平ピクセルのデータをまびいて高速に読み出す水平ピクセルデータ読み出し部と、上記水平ピクセルデータ読み出し部からのデータにおいて、動被写体を含む水平ピクセルであることを検出する動被写体水平ピクセル検出部と、読み出した動被写体の水平ピクセルを補正する水平ピクセル補正部とからなることを特徴とし、上記ＭＯＳセンサによる撮像時の動被写体ゆがみを軽減する撮像信号処理装置である。
第３の発明は、撮像センサと、上記センサのエリアアクセスを制御する複数の垂直ラインと複数の水平ピクセルをまとめたエリア制御部と、上記エリア制御部にアクセスする順序を指定する信号処理部と、上記撮像センサから、エリアのデータをまびいて高速に読み出すエリアデータ読み出し部と、上記エリアデータ読み出し部からのデータにおいて、動被写体を含むエリアであることを検出する動被写体エリア検出部と、読み出した動被写体のエリアを補正するエリア補正部とからなることを特徴とし、上記ＭＯＳセンサによる撮像時の動被写体ゆがみを軽減する撮像信号処理装置である。
好ましい実施の形態では、水平ピクセル制御部において、エリア内部の水平ピクセルの読み出し順番を自由に変更できることを特徴とする撮像信号処理装置である。
好ましい実施の形態では、水平ピクセル制御部において、Ｎ（Ｎは正の整数）水平ピクセルごとに選択する構成を有することを特徴とする撮像信号処理装置である。
好ましい実施の形態では、垂直ライン制御部において、Ｍ（Ｍは正の整数）垂直ラインごとに選択する構成を有することを特徴とする撮像信号処理装置である。
好ましい実施の形態では、上記センサのエリアアクセスを制御する複数の垂直ラインと複数の水平ピクセルをまとめたエリア制御部において、垂直ラインｋ（ｋは正の整数）ごとに垂直ライン制御部のＭｋ（Ｍｋは正の整数）垂直ラインごとに選択する構成を有することを特徴とする撮像信号処理装置である。
好ましい実施の形態では、上記センサのエリアアクセスを制御する複数の垂直ラインと複数の水平ピクセルをまとめたエリア制御部において、水平ピクセルｐ（ｐは正の整数）ごとに水平ピクセル制御部のＮｐ（Ｎｐは正の整数）水平ピクセルごとに選択する構成を有することを特徴とする撮像信号処理装置である。
好ましい実施の形態では、水平ピクセル制御部において、Ｎ（Ｎは正の整数）水平ピクセルごとに選択する構成を有することを特徴とする撮像信号処理装置である。
好ましい実施の形態では、垂直ライン制御部において、Ｍ（Ｍは正の整数）垂直ラインごとに選択する構成を有することを特徴とする撮像信号処理装置である。
好ましい実施の形態では、上記センサのエリアアクセスを制御する複数の垂直ラインと複数の水平ピクセルをまとめたエリア制御部において、垂直ラインｋ（ｋは正の整数）ごとに垂直ライン制御部のＭｋ（Ｍｋは正の整数）垂直ラインごとに選択する構成を有することを特徴とする撮像信号処理装置である。
好ましい実施の形態では、上記センサのエリアアクセスを制御する複数の垂直ラインと複数の水平ピクセルをまとめたエリア制御部において、水平ピクセルｐ（ｐは正の整数）ごとに水平ピクセル制御部のＮｐ（Ｎｐは正の整数）水平ピクセルごとに選択する構成を有することを特徴とする撮像信号処理装置である。
好ましい実施の形態では、上記垂直ライン制御部において、動被写体が構図の中に複数個あり、動被写体を含む垂直ライン群が複数個になる場合は、動被写体を含む垂直ライン群をすべて先に読み出して、動被写体を含まない垂直ライン群をその後から読み出す構成を有することを特徴とする撮像信号処理装置である。
好ましい実施の形態では、上記エリアアクセスを制御する複数の垂直ラインと複数の水平ピクセルをまとめたエリア制御部において、動被写体が構図の中に複数個あり、動被写体を含むエリア群が複数個になる場合は、動被写体を含むエリア群を先に読み出して、動被写体を含まないエリア群を後から読み出す構成を有することを特徴とする撮像信号処理装置である。
好ましい実施の形態では、上記エリアアクセスを制御する複数の垂直ラインと複数の水平ピクセルをまとめたエリア制御部において、動被写体が構図の中に複数個あり、動被写体を含むエリア群が複数個になる場合は、動被写体を含むエリア群を先に読み出して、動被写体を含まないエリア群を後から読み出す構成を有することを特徴とする撮像信号処理装置である。
更に、第４の発明は、撮像センサの垂直ラインのアクセスを制御し、垂直ラインにアクセスする順序を指定し、垂直ラインのデータをまびいて高速に読み出し、読み出した垂直ラインから動被写体を含む垂直ラインを検出し、読み出した動被写体の垂直ラインを補正することを特徴とする撮像信号処理方法である。
第５の発明は、撮像センサの水平ピクセルのアクセスを制御し、水平ピクセルにアクセスする順序を指定し、水平ピクセルのデータをまびいて高速に読み出し、読み出した水平ピクセルから動被写体を含む水平ピクセルを検出し、読み出した動被写体の水平ピクセルを補正することを特徴とする撮像信号処理方法である。
第６の発明は、撮像センサのエリアのアクセスを制御し、複数の垂直ラインと複数の水平ピクセルをまとめたエリアを特定し、上記エリアにアクセスする順序を指定し、エリアのデータをまびいて高速に読み出し、読み出したエリアから動被写体を含むエリアを検出し、読み出した動被写体のエリアを補正することを特徴とする撮像信号処理方法である。
第５の発明は、撮像センサの水平ピクセルのアクセスを制御し、水平ピクセルにアクセスする順序を指定し、水平ピクセルのデータをまびいて高速に読み出し、読み出した水平ピクセルから動被写体を含む水平ピクセルを検出し、読み出した動被写体の水平ピクセルを補正することを特徴とする撮像信号処理方法である。
第６の発明は、撮像センサのエリアのアクセスを制御し、複数の垂直ラインと複数の水平ピクセルをまとめたエリアを特定し、上記エリアにアクセスする順序を指定し、エリアのデータをまびいて高速に読み出し、読み出したエリアから動被写体を含むエリアを検出し、読み出した動被写体のエリアを補正することを特徴とする撮像信号処理方法である。
以上説明したように、本発明によれば、ＭＯＳセンサにおける動被写体の静止画撮像において、動被写体のゆがみを軽減できるという格別な効果を奏する。
＜実施の形態１＞
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。
図１は、本発明の一実施の形態を説明した一構成例を示すブロック図である。
また、本実施の形態による撮像制御は、デジタルカメラ装置に適用されるものとして説明する。各部の構成を説明する。
本発明に係る撮像信号処理装置は、ランダムな垂直ラインアクセス可能なＭＯＳセンサ１と、信号処理ブロック２と、ＳＤＲＡＭ７とからなる。信号処理ブロック２は、垂直ライン制御部３と、垂直ラインデータ読み出し部４と、垂直ライン補正部５と、信号処理部６とからなる。ＭＯＳセンサ１は、ＣＣＤセンサと異なり、同時性を有さない、非同時性撮像素子である。
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。
図１は、本発明の一実施の形態を説明した一構成例を示すブロック図である。
また、本実施の形態による撮像制御は、デジタルカメラ装置に適用されるものとして説明する。各部の構成を説明する。
本発明に係る撮像信号処理装置は、ランダムな垂直ラインアクセス可能なＭＯＳセンサ１と、信号処理ブロック２と、ＳＤＲＡＭ７とからなる。信号処理ブロック２は、垂直ライン制御部３と、垂直ラインデータ読み出し部４と、垂直ライン補正部５と、信号処理部６とからなる。ＭＯＳセンサ１は、ＣＣＤセンサと異なり、同時性を有さない、非同時性撮像素子である。
各部の機能を説明する。
ＭＯＳセンサ１は、水平方向と垂直方向に並んだ多数の画素（ピクセル）で構成される。水平方向に並んだ画素のひとつひとつを水平ピクセルと言う。また、１本の水平方向の線上に並んだ複数の水平ピクセルの集合体を垂直ラインという。これは、ラインが、垂直方向に隣り合うように並んでいるから、垂直ラインと言う。従って、ＭＯＳセンサ１は、垂直方向に並んだ複数の垂直ラインで構成される。また、各画素に蓄積された光電荷量は、垂直ライン単位で読み出しが行われる。どの垂直ラインから読み出しが行われるかは、垂直ライン制御部３により設定された順番で決まる。後で説明するように、垂直ライン制御部３は、どの垂直ラインから読み出すかの設定を各フレーム毎に変更することができる。また、各垂直ラインにある複数の水平ピクセルは、１ライン分同時に読み出すこともできるし、後で説明する水平センス部により決められた順番で順次読み出すことも可能である。また１ピクセルごとに飛ばして間引いて読み出すこともできるし、ｉ（ｉ＝整数）ピクセルごとに飛ばして間引いて読み出すこともできる。ピクセルの読み出しは、センスすると言う。
ＭＯＳセンサ１は、水平方向と垂直方向に並んだ多数の画素（ピクセル）で構成される。水平方向に並んだ画素のひとつひとつを水平ピクセルと言う。また、１本の水平方向の線上に並んだ複数の水平ピクセルの集合体を垂直ラインという。これは、ラインが、垂直方向に隣り合うように並んでいるから、垂直ラインと言う。従って、ＭＯＳセンサ１は、垂直方向に並んだ複数の垂直ラインで構成される。また、各画素に蓄積された光電荷量は、垂直ライン単位で読み出しが行われる。どの垂直ラインから読み出しが行われるかは、垂直ライン制御部３により設定された順番で決まる。後で説明するように、垂直ライン制御部３は、どの垂直ラインから読み出すかの設定を各フレーム毎に変更することができる。また、各垂直ラインにある複数の水平ピクセルは、１ライン分同時に読み出すこともできるし、後で説明する水平センス部により決められた順番で順次読み出すことも可能である。また１ピクセルごとに飛ばして間引いて読み出すこともできるし、ｉ（ｉ＝整数）ピクセルごとに飛ばして間引いて読み出すこともできる。ピクセルの読み出しは、センスすると言う。
ランダムな垂直ラインアクセス可能なＭＯＳセンサ１はＭＯＳセンサのアクセス順位を変更する機能を有し、信号処理ブロック２は読み出したデータを順番にＳＤＲＡＭ７に記録する信号処理機能を有し、垂直ライン制御部３は任意の垂直ラインを読み出す制御を行う機能を有し、垂直ラインデータ読み出し部４は、上記垂直ライン制御部３により指定されたランダムな垂直ラインアクセス可能なＭＯＳセンサ１から出力された垂直ラインデータを読み出す機能を有し、垂直ライン補正部５は垂直ラインデータ読み出し部４から読み出された垂直ラインのデータをインタレース補正する機能を有する。ＳＤＲＡＭ７は信号処理部６のデータを一時記憶して、信号処理を行うメモリとしての機能を有する。
次に動作を説明する。
図２は本発明の一実施の形態を説明した動作例を示す計算アルゴリズムを解説する図面である。垂直ラインは、所定本数の垂直ラインを跳ばして読み出す、スキップ読み出しが行われる。次にスキップ読み出しについて説明する。
垂直ライン制御部３は、ランダムな垂直ラインアクセス可能なＭＯＳセンサ１の垂直ラインの読み出し順序を次の通りに制御する。ライン１を１番目に読み出し、次に２ライン跳ばしてライン４を２番目に読み出し、さらに２ライン跳ばしてライン７を３番目に読み出す。次にライン１のすぐ下のライン２を４番目として読み出し、２ライン跳ばしてライン５を５番目に読み出し、２ライン跳ばしてライン８を６番目の垂直ラインデータとして読み出し、ライン３を７番目に読み出し、ライン６を８番目に読み出す。読み出しは、読み出し部４を経由して垂直ライン補正部５に読み出される。垂直ライン補正部５では、図２に示されるように、ＭＯＳセンサの１番目のライン１のデータは４番目のライン２のデータにより補正される。４番目のライン２のデータは補正を行わない。７番目のライン３のデータは４番目のライン２のデータにより補正される。２番目のライン４のデータは５番目のライン５のデータにより補正される。５番目のライン５のデータは補正を行わない。８番目のライン６のデータは５番目のライン５のデータにより補正される。３番目のライン７のデータは６番目のライン８のデータにより補正される。６番目のライン８のデータは補正を行わない。９番目のライン９のデータは６番目のライン８のデータにより補正される。
図２は本発明の一実施の形態を説明した動作例を示す計算アルゴリズムを解説する図面である。垂直ラインは、所定本数の垂直ラインを跳ばして読み出す、スキップ読み出しが行われる。次にスキップ読み出しについて説明する。
垂直ライン制御部３は、ランダムな垂直ラインアクセス可能なＭＯＳセンサ１の垂直ラインの読み出し順序を次の通りに制御する。ライン１を１番目に読み出し、次に２ライン跳ばしてライン４を２番目に読み出し、さらに２ライン跳ばしてライン７を３番目に読み出す。次にライン１のすぐ下のライン２を４番目として読み出し、２ライン跳ばしてライン５を５番目に読み出し、２ライン跳ばしてライン８を６番目の垂直ラインデータとして読み出し、ライン３を７番目に読み出し、ライン６を８番目に読み出す。読み出しは、読み出し部４を経由して垂直ライン補正部５に読み出される。垂直ライン補正部５では、図２に示されるように、ＭＯＳセンサの１番目のライン１のデータは４番目のライン２のデータにより補正される。４番目のライン２のデータは補正を行わない。７番目のライン３のデータは４番目のライン２のデータにより補正される。２番目のライン４のデータは５番目のライン５のデータにより補正される。５番目のライン５のデータは補正を行わない。８番目のライン６のデータは５番目のライン５のデータにより補正される。３番目のライン７のデータは６番目のライン８のデータにより補正される。６番目のライン８のデータは補正を行わない。９番目のライン９のデータは６番目のライン８のデータにより補正される。
このようにして信号処理部６において、３ラインごとにインタレース処理を行うことにより、相前後する垂直ラインのデータを使用して補正する。
この場合の補正手段としては、線形補間法、キュービック補間、バイリニア補間が使用できる。
図１５を用いて線形補間法を説明する。図１５において、フレームＰａの１番目の垂直ラインの画素Ｇａ１，Ｇａ２，Ｇａ３，・・・が１番目に読み出され、２番目の垂直ラインの画素Ｇａ１１，Ｇａ１２，Ｇａ１３，・・・が４番目に読み出される。画素Ｇａ１の読み出しデータには、輝度データＹａ１と色データＣａ１が含まれる。同様に、画素Ｇａ１１の読み出しデータには、輝度データＹａ１１と色データＣａ１１が含まれる。線形補間法により、新たな輝度データＹａ１’が次式で求められる。
Ｙａ１’＝（Ｙａ１＋Ｙａ１１）／２
新たな輝度データＹａ１’が、１番目の垂直ラインの画素Ｇａ１の輝度データＹａ１と入れ替わり、線形補間がなされる。同様に、新たな色データＣａ１’が次式で求められる。
Ｃａ１’＝（Ｃａ１＋Ｃａ１１）／２
新たな色データＣａ１’が、１番目の垂直ラインの画素Ｇａ１の色データＣａ１と入れ替わり、線形補間がなされる。
このようにして、動被写体のゆがみまたはぶれを軽減することが可能である。
ここで動被写体とは、フレーム中において、動いている被写体を言う。動被写体は、実際に動いている被写体のみならず、実際は静止しているが、カメラが動いた結果、フレーム中において動いている被写体も含む。ここで被写体とは、フレーム中で注目される特定物だけを言うのではなく、フレーム中に含まれる全てのものを言う。従って、背景も被写体の一つである。また、フレーム中においてこのような動被写体が部分的に存在すれば、その部分的な領域を動体領域という。更に、フレーム中に含まれる画像全体が動いている場合、例えば、カメラが動いている場合、フレーム中に含まれる注目被写体や背景など全ての被写体が動被写体となり、この場合は、フレーム全体が動体領域となる。
なお、１ピクセルごとに飛ばして間引いて読み出して計算することにより、より高速に動被写体を検出することができる。
また、ｉ（ｉ＝整数）ピクセルごとに飛ばして間引いて読み出して計算することにより、より高速に動被写体を検出することができる。
この場合の補正手段としては、線形補間法、キュービック補間、バイリニア補間が使用できる。
図１５を用いて線形補間法を説明する。図１５において、フレームＰａの１番目の垂直ラインの画素Ｇａ１，Ｇａ２，Ｇａ３，・・・が１番目に読み出され、２番目の垂直ラインの画素Ｇａ１１，Ｇａ１２，Ｇａ１３，・・・が４番目に読み出される。画素Ｇａ１の読み出しデータには、輝度データＹａ１と色データＣａ１が含まれる。同様に、画素Ｇａ１１の読み出しデータには、輝度データＹａ１１と色データＣａ１１が含まれる。線形補間法により、新たな輝度データＹａ１’が次式で求められる。
Ｙａ１’＝（Ｙａ１＋Ｙａ１１）／２
新たな輝度データＹａ１’が、１番目の垂直ラインの画素Ｇａ１の輝度データＹａ１と入れ替わり、線形補間がなされる。同様に、新たな色データＣａ１’が次式で求められる。
Ｃａ１’＝（Ｃａ１＋Ｃａ１１）／２
新たな色データＣａ１’が、１番目の垂直ラインの画素Ｇａ１の色データＣａ１と入れ替わり、線形補間がなされる。
このようにして、動被写体のゆがみまたはぶれを軽減することが可能である。
ここで動被写体とは、フレーム中において、動いている被写体を言う。動被写体は、実際に動いている被写体のみならず、実際は静止しているが、カメラが動いた結果、フレーム中において動いている被写体も含む。ここで被写体とは、フレーム中で注目される特定物だけを言うのではなく、フレーム中に含まれる全てのものを言う。従って、背景も被写体の一つである。また、フレーム中においてこのような動被写体が部分的に存在すれば、その部分的な領域を動体領域という。更に、フレーム中に含まれる画像全体が動いている場合、例えば、カメラが動いている場合、フレーム中に含まれる注目被写体や背景など全ての被写体が動被写体となり、この場合は、フレーム全体が動体領域となる。
なお、１ピクセルごとに飛ばして間引いて読み出して計算することにより、より高速に動被写体を検出することができる。
また、ｉ（ｉ＝整数）ピクセルごとに飛ばして間引いて読み出して計算することにより、より高速に動被写体を検出することができる。
＜実施の形態２＞
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。
図３は、本発明の一実施の形態を説明した一構成例を示すブロック図である。
また、本実施の形態による撮像制御は、デジタルカメラ装置に適用されるものとして説明する。各部の構成を説明する。
本発明に係る撮像信号処理装置は、ランダムな垂直ラインアクセス可能なＭＯＳセンサ１と、信号処理ブロック２と、ＳＤＲＡＭ７とからなる。信号処理ブロック２は、垂直ライン制御部３と、垂直ラインデータ読み出し部４と、動画垂直ライン検出部８と、動画垂直ライン補正部９と、信号処理部６とからなる。
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。
図３は、本発明の一実施の形態を説明した一構成例を示すブロック図である。
また、本実施の形態による撮像制御は、デジタルカメラ装置に適用されるものとして説明する。各部の構成を説明する。
本発明に係る撮像信号処理装置は、ランダムな垂直ラインアクセス可能なＭＯＳセンサ１と、信号処理ブロック２と、ＳＤＲＡＭ７とからなる。信号処理ブロック２は、垂直ライン制御部３と、垂直ラインデータ読み出し部４と、動画垂直ライン検出部８と、動画垂直ライン補正部９と、信号処理部６とからなる。
各部の機能を説明する。
ランダムな垂直ラインアクセス可能なＭＯＳセンサ１はＭＯＳセンサのアクセス順位を変更する機能を有し、信号処理ブロック２は読み出したデータを順番に記録する信号処理機能を有し、垂直ライン制御部３は任意の垂直ラインを読み出す制御を行う機能を有し、垂直ラインデータ読み出し部４は、上記垂直ライン制御部３により指定されたランダムな垂直ラインアクセス可能なＭＯＳセンサ１から出力された垂直ラインデータを読み出す機能を有し、動画垂直ライン検出部８は動画である垂直ラインを検出する機能を有する。動画垂直ライン補正部９は動画部分をインタレース補正する機能を有する。ＳＤＲＡＭ７は信号処理部６のデータを一時記憶して、信号処理を行うメモリとしての機能を有する。
ランダムな垂直ラインアクセス可能なＭＯＳセンサ１はＭＯＳセンサのアクセス順位を変更する機能を有し、信号処理ブロック２は読み出したデータを順番に記録する信号処理機能を有し、垂直ライン制御部３は任意の垂直ラインを読み出す制御を行う機能を有し、垂直ラインデータ読み出し部４は、上記垂直ライン制御部３により指定されたランダムな垂直ラインアクセス可能なＭＯＳセンサ１から出力された垂直ラインデータを読み出す機能を有し、動画垂直ライン検出部８は動画である垂直ラインを検出する機能を有する。動画垂直ライン補正部９は動画部分をインタレース補正する機能を有する。ＳＤＲＡＭ７は信号処理部６のデータを一時記憶して、信号処理を行うメモリとしての機能を有する。
次に動作を説明する。
図４はその計算アルゴリズムにしたがって計算した時の画像補正処理方法の説明である。動画垂直ライン検出部８により動画被写体がその垂直ラインにあることを検知する。この例では１番目から６番目までが動画を含む垂直ラインであることを検知している。
動画垂直ライン検出部８は静止画撮像前にモニタ処理をしている間に、各ラインごとのフレーム間の差分をとることにより行う。差分の平均値が動画か静止画の切り分け値б１より大きいときはその垂直ラインに動画被写体があると検知し、б１以下であれば静止画のみであると検知し、動画被写体のある垂直ラインを上記アルゴリズムにしたがって読み出す。動画垂直ライン検出部８について、図１５を用いて更に説明する。
図４はその計算アルゴリズムにしたがって計算した時の画像補正処理方法の説明である。動画垂直ライン検出部８により動画被写体がその垂直ラインにあることを検知する。この例では１番目から６番目までが動画を含む垂直ラインであることを検知している。
動画垂直ライン検出部８は静止画撮像前にモニタ処理をしている間に、各ラインごとのフレーム間の差分をとることにより行う。差分の平均値が動画か静止画の切り分け値б１より大きいときはその垂直ラインに動画被写体があると検知し、б１以下であれば静止画のみであると検知し、動画被写体のある垂直ラインを上記アルゴリズムにしたがって読み出す。動画垂直ライン検出部８について、図１５を用いて更に説明する。
図１５において、今回のフレームＰｂと前回のフレームＰａとが、垂直ライン毎に比較される。今回のフレームＰｂと前回のフレームＰａの時間差ΔＴは、例えば１／３０秒である。今回のフレームＰｂの１番目のラインの画素Ｇｂ１，Ｇｂ２，Ｇｂ３の輝度データと色データは次の表１の通りである。
表１
画素 Ｇｂ１ Ｇｂ２ Ｇｂ３
輝度データ Ｙｂ１ Ｙｂ２ Ｙｂ３
色データ Ｃｂ１ Ｃｂ２ Ｃｂ３
表１
画素 Ｇｂ１ Ｇｂ２ Ｇｂ３
輝度データ Ｙｂ１ Ｙｂ２ Ｙｂ３
色データ Ｃｂ１ Ｃｂ２ Ｃｂ３
また、前回のフレームＰａの１番目のラインの画素Ｇａ１，Ｇａ２，Ｇａ３の輝度データと色データは次の表の通りである。
表２
画素 Ｇａ１ Ｇａ２ Ｇａ３
輝度データ Ｙａ１ Ｙａ２ Ｙａ３
色データ Ｃａ１ Ｃａ２ Ｃａ３
表２
画素 Ｇａ１ Ｇａ２ Ｇａ３
輝度データ Ｙａ１ Ｙａ２ Ｙａ３
色データ Ｃａ１ Ｃａ２ Ｃａ３
差分は、輝度データの差分と、色データの差分がとられ、結果は表３に示す通りである。
表３
輝度データ差分 Ｙａ１−Ｙｂ１ Ｙａ２−Ｙｂ２ Ｙａ３−Ｙｂ３
色データ差分 Ｃａ１−Ｃｂ１ Ｃａ２−Ｃｂ２ Ｃａ３−Ｃｂ３
表３においては、３つの画素間での差分を示したが、実際には、垂直ラインに含まれる全ての画素について差分を求める。このようにして求められた１検査ラインについて、相前後する２フレームからの輝度データ差分を合計した値ΣＹが所定値ΣＹ０よりも大きいかどうかを判断する。同様に、１検査ラインについて、相前後する２フレームからの色データ差分を合計した値ΣＣが所定値ΣＣ０よりも大きいかどうかを判断する。
ΣＹ＞ΣＹ０ （１）
または
ΣＣ＞ΣＣ０ （２）
であれば、その検査ラインは、動画の成分を含むと判断する。このようにして、動画の成分を含む垂直ラインが検出される。式（１）、（２）の両方が成立したときに、動画の星群が含まれていると判断するようにしても良い。通常、垂直方向に連続した複数本の垂直ラインが動画成分を含む垂直ラインとして検出される。検出された動画を含む垂直ラインは、所定本数の垂直ラインを跳ばして読み出す、スキップ読み出しが行われる。次に２ラインスキップ読み出しについて説明する。
表３
輝度データ差分 Ｙａ１−Ｙｂ１ Ｙａ２−Ｙｂ２ Ｙａ３−Ｙｂ３
色データ差分 Ｃａ１−Ｃｂ１ Ｃａ２−Ｃｂ２ Ｃａ３−Ｃｂ３
表３においては、３つの画素間での差分を示したが、実際には、垂直ラインに含まれる全ての画素について差分を求める。このようにして求められた１検査ラインについて、相前後する２フレームからの輝度データ差分を合計した値ΣＹが所定値ΣＹ０よりも大きいかどうかを判断する。同様に、１検査ラインについて、相前後する２フレームからの色データ差分を合計した値ΣＣが所定値ΣＣ０よりも大きいかどうかを判断する。
ΣＹ＞ΣＹ０ （１）
または
ΣＣ＞ΣＣ０ （２）
であれば、その検査ラインは、動画の成分を含むと判断する。このようにして、動画の成分を含む垂直ラインが検出される。式（１）、（２）の両方が成立したときに、動画の星群が含まれていると判断するようにしても良い。通常、垂直方向に連続した複数本の垂直ラインが動画成分を含む垂直ラインとして検出される。検出された動画を含む垂直ラインは、所定本数の垂直ラインを跳ばして読み出す、スキップ読み出しが行われる。次に２ラインスキップ読み出しについて説明する。
垂直ライン制御部３は、ランダムな垂直ラインアクセス可能なＭＯＳセンサ１の垂直ラインの読み出し順序を次の通り制御する。ライン２を１番目に読み出し、次に２ライン跳ばしてライン５を２番目に読み出し、次にライン２のすぐ下のライン３を３番目として読み出し、２ライン跳ばしてライン６を４番目に読み出し、次にライン３のすぐ下のライン４を５番目として読み出し、２ライン跳ばしてライン７を６番目として読み出す。読み出されたデータは信号処理部６に与えられ、図４に示されるように、ＭＯＳセンサ１の１番目のライン２のデータは３番目のライン３のデータにより補正を行う。３番目のライン３のデータは補正を行わない。５番目のライン４のデータは３番目のライン３のデータにより補正する。２番目のライン５のデータは４番目のライン６のデータにより補正を行う。４番目のライン６のデータは補正を行わない。６番目のライン７のデータは４番目のライン６のデータにより補正する。
その後に静止画のみを含む垂直ライン１を７番目に読み出し、次に垂直ライン８を８番目に読み出す。このようにして信号処理部６において、３ラインごとにインタレース処理を行うことにより、相前後する垂直ラインのデータを使用して補正する。
図５は本発明の一実施の形態を説明した動作例を示す計算アルゴリズムを解説する図面である。これは一般的な動画ラインの選択と３ライン補間の例を示すものである。
静止画撮像の前には、モニタモード（Ｓ２）で、常に低解像度で露光を行い（Ｓ３・Ｓ４）、そのデータをＳＤＲＡＭに一時的に書き込んでいる（Ｓ５）。このときにフレームｎと前のフレームｎ−１の垂直ラインごとの差分により、動被写体がどの垂直ラインにあるかを検出しておく（Ｓ６）。次に静止画撮像モードになる（Ｓ７）と、ＭＯＳセンサの垂直ラインのスキャン順番を動被写体のある垂直ラインｍより開始する（Ｓ８）。次のスキャンと読み出しはｍ＋ｐの垂直ラインを行うことになる（Ｓ１０）。動被写体の動きが速いときは飛び越しスキャン幅ｐを３、４と高いインタレーススキャンとし、動被写体の動きが遅いときは飛び越しスキャン幅（スキップ幅）ｐを１，２と低いインタレーススキャンとする（Ｓ９）。こうすることにより動きの速い場合は時間差の少ない垂直ラインで読み出して、補正することにより、動被写体のゆがみを軽減することができる。また図６のように、垂直ラインの中で動被写体が複数個の垂直ライン群に分かれている場合は、動被写体のある垂直ラインを先にインタレーススキャンし、被写体のない垂直ラインはその後でインタレーススキャンする。こうすることにより、動被写体のある垂直ラインをもっとも短い時間で読み出すことができるので、動被写体のゆがみも少なくすることができる。
図５は本発明の一実施の形態を説明した動作例を示す計算アルゴリズムを解説する図面である。これは一般的な動画ラインの選択と３ライン補間の例を示すものである。
静止画撮像の前には、モニタモード（Ｓ２）で、常に低解像度で露光を行い（Ｓ３・Ｓ４）、そのデータをＳＤＲＡＭに一時的に書き込んでいる（Ｓ５）。このときにフレームｎと前のフレームｎ−１の垂直ラインごとの差分により、動被写体がどの垂直ラインにあるかを検出しておく（Ｓ６）。次に静止画撮像モードになる（Ｓ７）と、ＭＯＳセンサの垂直ラインのスキャン順番を動被写体のある垂直ラインｍより開始する（Ｓ８）。次のスキャンと読み出しはｍ＋ｐの垂直ラインを行うことになる（Ｓ１０）。動被写体の動きが速いときは飛び越しスキャン幅ｐを３、４と高いインタレーススキャンとし、動被写体の動きが遅いときは飛び越しスキャン幅（スキップ幅）ｐを１，２と低いインタレーススキャンとする（Ｓ９）。こうすることにより動きの速い場合は時間差の少ない垂直ラインで読み出して、補正することにより、動被写体のゆがみを軽減することができる。また図６のように、垂直ラインの中で動被写体が複数個の垂直ライン群に分かれている場合は、動被写体のある垂直ラインを先にインタレーススキャンし、被写体のない垂直ラインはその後でインタレーススキャンする。こうすることにより、動被写体のある垂直ラインをもっとも短い時間で読み出すことができるので、動被写体のゆがみも少なくすることができる。
このようにして、ｋ＝１、２，３・・と順次ｍ ＋（ｋ ｘ ｐ）ラインをスキャンし、動被写体の垂直ラインの一番下までスキャン（Ｓ１１）すれば、次に読み飛ばした（ｍ＋１）＋ｐ ラインに戻ってスキャンと読み出しを行う（Ｓ１２）。同様にｋ＝１、２，３・・と順次ｍ ＋ １ ＋（ｋ ｘ ｐ）ラインをスキャンして読み出しを完了する（Ｓ１４）。以下同様にして、すべての動被写体を含む垂直ラインをすべてインタレーススキャンして読み出す。その後、スキャンされていない動被写体を含まない垂直ラインを順次スキャンして読み出す。読み出されたデータはＳＤＲＡＭ７に一時記憶され、ｍラインはｍ−１ラインのデータとｍ＋１のラインのデータにより補正される（Ｓ１５）。
なお図６のように動被写体が２つの垂直ライン群に分離しているときは、動画ライン群Ａと動画ライン群Ｂを連続して読み出して、その後、動画でないラインを読み出す。信号処理によりインタレース補正することにより、２つの垂直ライン群の動画のゆがみまたはぶれを軽減することが可能である。
この場合の補正手段としては、線形補間法、キュービック補間、バイリニア補間のいずれを使用しても良い。
このようにして、動被写体のゆがみまたはぶれを軽減することが可能である。
この場合の補正手段としては、線形補間法、キュービック補間、バイリニア補間のいずれを使用しても良い。
このようにして、動被写体のゆがみまたはぶれを軽減することが可能である。
＜実施の形態３＞
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。
図７は、本発明の一実施の形態を説明した一構成例を示すブロック図である。
また、本実施の形態による撮像制御は、デジタルカメラ装置に適用されるものとして説明する。各部の構成を説明する。
本実施の形態の撮像信号処理装置は、ランダムなエリアアクセス可能なＭＯＳセンサ１３と、信号処理ブロック２と、ＳＤＲＡＭ７からなる。信号処理ブロック２は、エリア制御部１４と、エリアデータ読み出し部１０と、動画エリア検出部１１と、動画エリア補正部１２と、信号処理部６とからなる。
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。
図７は、本発明の一実施の形態を説明した一構成例を示すブロック図である。
また、本実施の形態による撮像制御は、デジタルカメラ装置に適用されるものとして説明する。各部の構成を説明する。
本実施の形態の撮像信号処理装置は、ランダムなエリアアクセス可能なＭＯＳセンサ１３と、信号処理ブロック２と、ＳＤＲＡＭ７からなる。信号処理ブロック２は、エリア制御部１４と、エリアデータ読み出し部１０と、動画エリア検出部１１と、動画エリア補正部１２と、信号処理部６とからなる。
各部の機能を説明する。
ランダムなエリアアクセス可能なＭＯＳセンサ１３はＭＯＳセンサのアクセス順位を変更する機能を有する。信号処理ブロック２は読み出したデータを順番に記録する信号処理機能を有する。エリア制御部１４は任意のエリアを読み出す制御を行う機能を有する。エリアデータ読み出し部１０は、上記エリア制御部１４により指定されたランダムなエリアアクセス可能なＭＯＳセンサ１３から出力されたエリアデータを読み出す機能を有し、動画エリア検出部１１は動画であるエリアを検出する機能を有する。動画エリア補正部１２は動画部分を補正する機能を有する。ＳＤＲＡＭ７は信号処理部６のデータを一時記憶して、信号処理を行うメモリとしての機能を有する。
ランダムなエリアアクセス可能なＭＯＳセンサ１３はＭＯＳセンサのアクセス順位を変更する機能を有する。信号処理ブロック２は読み出したデータを順番に記録する信号処理機能を有する。エリア制御部１４は任意のエリアを読み出す制御を行う機能を有する。エリアデータ読み出し部１０は、上記エリア制御部１４により指定されたランダムなエリアアクセス可能なＭＯＳセンサ１３から出力されたエリアデータを読み出す機能を有し、動画エリア検出部１１は動画であるエリアを検出する機能を有する。動画エリア補正部１２は動画部分を補正する機能を有する。ＳＤＲＡＭ７は信号処理部６のデータを一時記憶して、信号処理を行うメモリとしての機能を有する。
次に動作を説明する。
図８は本発明の一実施の形態を説明した動作例を示すその計算アルゴリズムにしたがって計算した時の画像補正処理方法の説明である。
動画エリア検出部１１により動画被写体がそのエリアにあることを検知する。
この例ではエリア１番目から１２番目までに動画を含むエリアがあることを検知している。
動画エリア検出部１１は静止画撮像前にモニタ処理をしている間に、各エリアごとのフレーム間の差分をとることにより行う。差分の平均値が動画か静止画の切り分け値б２より大きいときはそのエリアに動画被写体があると検知し、б２以下であれば静止画のみであると検知し、動画被写体のあるエリアを上記アルゴリズムにしたがって読み出す。実際には、上記式（１）、（２）を用いて、ピクセル単位での差を検出する。
図８は本発明の一実施の形態を説明した動作例を示すその計算アルゴリズムにしたがって計算した時の画像補正処理方法の説明である。
動画エリア検出部１１により動画被写体がそのエリアにあることを検知する。
この例ではエリア１番目から１２番目までに動画を含むエリアがあることを検知している。
動画エリア検出部１１は静止画撮像前にモニタ処理をしている間に、各エリアごとのフレーム間の差分をとることにより行う。差分の平均値が動画か静止画の切り分け値б２より大きいときはそのエリアに動画被写体があると検知し、б２以下であれば静止画のみであると検知し、動画被写体のあるエリアを上記アルゴリズムにしたがって読み出す。実際には、上記式（１）、（２）を用いて、ピクセル単位での差を検出する。
エリア制御部１４は、ランダムな垂直ラインアクセス可能なＭＯＳセンサ１３のエリアの読み出し順序を次の通り制御する。１エリア目を読み出し、次に１エリア跳ばして２エリア目を読み出し、次に１エリア目のすぐ下を３エリア目として読み出す。次に４エリアを読み出し２エリア跳ばして５エリア目を読み出し、４エリアのすぐ下の６エリアを読み出し、２エリア跳ばして７エリア目を読み出し、次に６エリアのすぐ下の８エリアを読み出す。次に９エリアを読み出し、２エリア跳ばして１０エリア目を読み出し、９エリアのすぐ下の１１エリアを読み出し、２エリア跳ばして１２エリア目を読み出し、次に１１エリアのすぐ下の１３エリアを読み出す。
読み出されたデータは信号処理部６に与えられ、ＭＯＳセンサの１番目のエリアデータは３番目のエリアにより補正を行う。３番目のエリアは補正を行わない。２番目のエリアは３番目のエリアにより補正する。４番目のエリアのデータは６番目のエリアにより補正を行う。６番目のエリアは補正を行わない。８番目のエリアは６番目のエリアにより補正する。５番目のエリアのデータは７番目のエリアにより補正を行う。７番目のエリアは補正を行わない。９番目のエリアのデータは１１番目のエリアにより補正を行う。１１番目のエリアは補正を行わない。１３番目のエリアは１１番目のエリアにより補正する。１０番目のエリアのデータは１２番目のエリアにより補正を行う。１２番目のエリアは補正を行わない。
その後に静止画のみを含むエリアを読み出す。
その後に静止画のみを含むエリアを読み出す。
このようにして信号処理部６において、３ラインごとにインタレース処理を行うことにより、相前後するエリアのデータを使用して補正する。
図９は本発明の一実施の形態を説明した動作例を示す計算アルゴリズムを解説する図面である。これは一般的な動画ラインの選択と２ラインエリア補間の例を示すものである。
静止画撮像の前には、モニタモード（Ｓ２０）で、常に低解像度で露光を行い（Ｓ２２・Ｓ２３）、そのデータをＳＤＲＡＭに一時的に書き込んでいる（Ｓ２４）。このときにフレームｎと前のフレームｎ−１の垂直ラインごとの差分により、動被写体がどのエリアにあるかを検出しておく（Ｓ２５）。次に静止画撮像モードになる（Ｓ２６）と、ＭＯＳセンサのエリアのスキャン順番を動被写体のあるエリアｍより開始する（Ｓ２７）。次のスキャンと読み出しはｍ＋ｐのエリアを行うことになる（Ｓ２９）。動被写体の動きが速いときは飛び越しスキャン幅ｐを３、４と高いインタレーススキャンとし、動被写体の動きが遅いときは飛び越しスキャン幅ｐを１，２と低いインタレーススキャンとする（Ｓ２８）。こうすることにより動きの速い場合は時間差の少ないエリアで読み出して、補正することにより、動被写体のゆがみを軽減することができる。
図９は本発明の一実施の形態を説明した動作例を示す計算アルゴリズムを解説する図面である。これは一般的な動画ラインの選択と２ラインエリア補間の例を示すものである。
静止画撮像の前には、モニタモード（Ｓ２０）で、常に低解像度で露光を行い（Ｓ２２・Ｓ２３）、そのデータをＳＤＲＡＭに一時的に書き込んでいる（Ｓ２４）。このときにフレームｎと前のフレームｎ−１の垂直ラインごとの差分により、動被写体がどのエリアにあるかを検出しておく（Ｓ２５）。次に静止画撮像モードになる（Ｓ２６）と、ＭＯＳセンサのエリアのスキャン順番を動被写体のあるエリアｍより開始する（Ｓ２７）。次のスキャンと読み出しはｍ＋ｐのエリアを行うことになる（Ｓ２９）。動被写体の動きが速いときは飛び越しスキャン幅ｐを３、４と高いインタレーススキャンとし、動被写体の動きが遅いときは飛び越しスキャン幅ｐを１，２と低いインタレーススキャンとする（Ｓ２８）。こうすることにより動きの速い場合は時間差の少ないエリアで読み出して、補正することにより、動被写体のゆがみを軽減することができる。
また図１０のように、エリアの中で動被写体が複数個のエリアに分かれている場合は、動被写体のあるエリアを先にインタレーススキャンし、被写体のないエリアはその後でインタレーススキャンする。これにより、動被写体のあるエリアをもっとも短い時間で読み出すことができるので、動被写体のゆがみもすくなくすることができる。
このようにして、ｋ＝１、２，３・・と順次ｍ ＋（ｋ ｘ ｐ）ラインをスキャンし、動被写体のエリアの一番下までスキャンすれば、次に読み飛ばした（ｍ＋１）＋ｐ ラインに戻ってスキャンと読み出しを行う（Ｓ２９）。同様にｋ＝１、２，３・・と順次ｍ ＋ １ ＋（ｋ ｘ ｐ）ラインをスキャンして読み出しを完了する（Ｓ３２）。以下同様にして、すべての動被写体を含むエリアをすべてインタレーススキャンして読み出す（Ｓ３３）。その後、スキャンされていない動被写体を含まないエリアを順次スキャンして読み出す。読み出されたデータはＳＤＲＡＭ７に一時記憶され、ｍラインはｍ−１ラインのデータとｍ＋１のラインのデータにより補正される（Ｓ３３）。
この場合の補正手段としては、線形補間法、キュービック補間、バイリニア補間が使用できる。
このようにして、動被写体のゆがみまたはぶれを軽減することが可能である。
このようにして、ｋ＝１、２，３・・と順次ｍ ＋（ｋ ｘ ｐ）ラインをスキャンし、動被写体のエリアの一番下までスキャンすれば、次に読み飛ばした（ｍ＋１）＋ｐ ラインに戻ってスキャンと読み出しを行う（Ｓ２９）。同様にｋ＝１、２，３・・と順次ｍ ＋ １ ＋（ｋ ｘ ｐ）ラインをスキャンして読み出しを完了する（Ｓ３２）。以下同様にして、すべての動被写体を含むエリアをすべてインタレーススキャンして読み出す（Ｓ３３）。その後、スキャンされていない動被写体を含まないエリアを順次スキャンして読み出す。読み出されたデータはＳＤＲＡＭ７に一時記憶され、ｍラインはｍ−１ラインのデータとｍ＋１のラインのデータにより補正される（Ｓ３３）。
この場合の補正手段としては、線形補間法、キュービック補間、バイリニア補間が使用できる。
このようにして、動被写体のゆがみまたはぶれを軽減することが可能である。
＜実施の形態４＞
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。
図１１は、本発明の一実施の形態を説明した一構成例を示すブロック図である。
また、本実施の形態による撮像制御は、デジタルカメラ装置に適用されるものとして説明する。各部の構成を説明する。
本実施の形態は垂直動画ライン及び垂直エリアドライブを行うものである。
本実施の形態の撮像信号処理装置は、ランダムに垂直エリアアクセス可能なＭＯＳセンサ１を有し、その内部構成として、ドライブ順設定レジスタ２２と、ドライブ切り換え２３と、ドライブ回路２４と、垂直ドライブ線１５と、ＭＯＳセンサ受光部１６と、水平センス部２８と、水平センス線１７と、クロック発生器２６と、タイミングジェネレータ２７を備える。水平センス部２８には、水平ピクセルセンス回路２９と、水平読み出し回路３０が設けられている。信号処理部６には、動画垂直ライン検出１８と、動画垂直ライン設定１９と、ドライブ順算出２０と、信号処理回路２５とが設けられている。ＳＤＲＡＭ７が信号処理部６に接続されている。
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。
図１１は、本発明の一実施の形態を説明した一構成例を示すブロック図である。
また、本実施の形態による撮像制御は、デジタルカメラ装置に適用されるものとして説明する。各部の構成を説明する。
本実施の形態は垂直動画ライン及び垂直エリアドライブを行うものである。
本実施の形態の撮像信号処理装置は、ランダムに垂直エリアアクセス可能なＭＯＳセンサ１を有し、その内部構成として、ドライブ順設定レジスタ２２と、ドライブ切り換え２３と、ドライブ回路２４と、垂直ドライブ線１５と、ＭＯＳセンサ受光部１６と、水平センス部２８と、水平センス線１７と、クロック発生器２６と、タイミングジェネレータ２７を備える。水平センス部２８には、水平ピクセルセンス回路２９と、水平読み出し回路３０が設けられている。信号処理部６には、動画垂直ライン検出１８と、動画垂直ライン設定１９と、ドライブ順算出２０と、信号処理回路２５とが設けられている。ＳＤＲＡＭ７が信号処理部６に接続されている。
各部の機能を説明する。動画垂直ライン検出１８は、ＳＤＲＡＭ７に一時記憶された垂直ライン又は垂直エリアの前々フレームと前フレームとの差が閾値以上である場合、そのライン又はエリアを動画垂直ラインとして検出する。動画垂直ライン設定１９は、現フレームの垂直ラインのうち動画処理する垂直ラインと静止画処理する垂直ラインを設定する。クロック発生器２６は、ＭＯＳセンサのクロックを供給する機能を有する。タイミングジェネレータ２７は垂直ドライブ部２１と水平センス部２８に垂直ドライブタイミングと水平ドライブタイミングを指示する機能を有する。水平ピクセルセンス回路２９は水平ピクセルの選択を行うセンス機能を有する。水平読み出し回路３０はセンスされたピクセル読み出しを行う機能を有する。信号処理部６の信号処理回路２５は垂直ラインの水平ピクセルの信号処理を行う機能を有する。
次に動作を説明する。
動画垂直ライン検出１８は、ＳＤＲＡＭ７に一時記憶されている前々フレームと前フレームの同一垂直ラインごとに、各ピクセルの差分をとり、差分値の各平均値が閾値б以上であれば、動画のある垂直ラインと判断する。動画垂直ライン設定１９において、動画垂直ラインを設定する。またひとつの垂直エリアたとえば、垂直ドライブエリアＡ３１を設定する際は、垂直ドライブ線Ｖ５、６、７、８を設定する。また複数個の垂直エリアたとえば、垂直ドライブエリアＡ３１と垂直ドライブエリアＢ３２を設定する際は、垂直ドライブＶ５、Ｖ６、Ｖ７、Ｖ８とＶｎ−２、Ｖｎ−１を動画垂直ラインとして設定する。
動画垂直ライン検出１８は、ＳＤＲＡＭ７に一時記憶されている前々フレームと前フレームの同一垂直ラインごとに、各ピクセルの差分をとり、差分値の各平均値が閾値б以上であれば、動画のある垂直ラインと判断する。動画垂直ライン設定１９において、動画垂直ラインを設定する。またひとつの垂直エリアたとえば、垂直ドライブエリアＡ３１を設定する際は、垂直ドライブ線Ｖ５、６、７、８を設定する。また複数個の垂直エリアたとえば、垂直ドライブエリアＡ３１と垂直ドライブエリアＢ３２を設定する際は、垂直ドライブＶ５、Ｖ６、Ｖ７、Ｖ８とＶｎ−２、Ｖｎ−１を動画垂直ラインとして設定する。
ドライブ順算出２０は動画垂直ライン検出１８による動き速度の速いときは、ドライブのインタレース値ｋ＝３、４、５・・と高く設定し、逆に速度の遅いときはｋ＝１、２と低く設定するともに、動画のエリアが複数個あるとき、例えば垂直ドライブエリアＡ３１、垂直ドライブエリアＢ３２がある場合は、垂直ドライブエリアＡ３１と垂直ドライブエリアＢ３２を一つの垂直ドライブエリアとみなして、インタレース値を設定して、読み出す。
たとえばｋ＝１のときは、動画のある垂直ラインｖ５、ｖ７、ｖｎ−２、ｖ６、ｖ８、ｖｎ−１というドライブ順になる。その次にｖ０、ｖ１、ｖ２・・の順になる。
垂直ドライブ部２１はそのドライブ順に従い、ドライブ順設定レジスタ２２にドライブ順を一時記憶する。ドライブ切り替え２３においては、その設定値とタイミングジェネレータ２７により、ドライブする垂直ラインを瞬時に切り替える。ドライブ回路２４は各垂直ラインをタイミングジェネレータ２７の制御によりドライブする。
たとえばｋ＝１のときは、動画のある垂直ラインｖ５、ｖ７、ｖｎ−２、ｖ６、ｖ８、ｖｎ−１というドライブ順になる。その次にｖ０、ｖ１、ｖ２・・の順になる。
垂直ドライブ部２１はそのドライブ順に従い、ドライブ順設定レジスタ２２にドライブ順を一時記憶する。ドライブ切り替え２３においては、その設定値とタイミングジェネレータ２７により、ドライブする垂直ラインを瞬時に切り替える。ドライブ回路２４は各垂直ラインをタイミングジェネレータ２７の制御によりドライブする。
ドライブされた垂直ラインの各水平ピクセルの光電荷量は電圧に変換され、水平ピクセルセンス回路２９によりセンスされたピクセルの電圧は水平センス線１７を経由して水平読み出し回路３０に与えられる。水平読み出し回路３０から信号処理回路２５へデータは送られ、ＳＤＲＡＭ７に一時記憶される。この際、どの垂直ドライブのどの水平ピクセルのデータであるかは信号処理回路２５によりアドレッシングされて一意にＳＤＲＡＭ７に一時記憶される。
このようにして水平垂直エリアをドライブセンスすることにより、動被写体のゆがみを軽減することが可能となる。
このようにして水平垂直エリアをドライブセンスすることにより、動被写体のゆがみを軽減することが可能となる。
＜実施の形態５＞
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。
図１２は、本発明の一実施の形態を説明した一構成例を示すブロック図である。
また、本実施の形態による撮像制御は、デジタルカメラ装置に適用されるものとして説明する。各部の構成を説明する。
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。
図１２は、本発明の一実施の形態を説明した一構成例を示すブロック図である。
また、本実施の形態による撮像制御は、デジタルカメラ装置に適用されるものとして説明する。各部の構成を説明する。
本実施の形態の撮像信号処理装置は、ランダムに垂直ライン及び水平ピクセルアクセス可能なＭＯＳセンサ１３を有し、その内部構成として、垂直ラインドライブ順設定レジスタ２２と、ドライブ切り換え２３と、ドライブ回路２４と、垂直ラインドライブ線１５と、ＭＯＳセンサ受光部１６と、水平センス部２８と、クロック発生器２６と、タイミングジェネレータ２７を備える。水平センス部２８には、水平ピクセルセンス回路２９と、水平読み出し回路３０と、水平センス線１７と、水平センス順設定レジスタ３９と、センス切り換え４０が設けられている。信号処理部６には、動画垂直ライン検出３３と、動画垂直ライン設定３４と、垂直ラインドライブ順算出３５と、動画水平ピクセル検出３６と、動画水平ピクセル設定３７と、水平ピクセルセンス順算出３８と、信号処理回路２５が設けられている。更に、ＳＤＲＡＭ７が信号処理部６に接続されている。
各部の機能を説明する。動画垂直ライン検出３３は、ＳＤＲＡＭ７に一時記憶された垂直ラインの前々フレームと前フレームとの差が閾値以上である場合、そのラインを動画垂直ラインとして検出する。動画垂直ライン設定３４は、現フレームの垂直ラインのうち動画処理する垂直ラインと静止画処理する垂直ラインを設定する。垂直ドライブ部は実施の形態４と同じ機能を有するので説明を省略する。
画水平ピクセル検出３６は、ＳＤＲＡＭ７に一時記憶された水平ピクセルの前々フレームと前フレームとの差が閾値以上である場合、そのピクセルを動画水平ピクセルとして検出する。動画水平ピクセル設定３７は、現フレームの水平ピクセルのうち動画処理する水平ピクセルと静止画処理する水平ピクセルを設定する。
画水平ピクセル検出３６は、ＳＤＲＡＭ７に一時記憶された水平ピクセルの前々フレームと前フレームとの差が閾値以上である場合、そのピクセルを動画水平ピクセルとして検出する。動画水平ピクセル設定３７は、現フレームの水平ピクセルのうち動画処理する水平ピクセルと静止画処理する水平ピクセルを設定する。
クロック発生器２６は、ＭＯＳセンサのクロックを供給する機能を有する。タイミングジェネレータ２７は垂直ドライブ部２１と水平センス部２８に垂直ドライブタイミングと水平センスタイミングを指示する機能を有する。
水平センス順設定レジスタ３９は水平ピクセルセンス順算出の指示により水平センス順をレジスタに設定する。センス切り換え４０は水平ピクセルセンス回路２９の水平ピクセルの指示とピクセルごとの読み出し順番を指示する。
水平ピクセルセンス回路２９は水平ピクセルの選択を行うセンス機能を有する。水平読み出し回路３０はセンスされたピクセル読み出しを行う機能を有する。信号処理部６の信号処理回路２５は垂直ラインの水平ピクセルの信号処理を行う機能を有する。
水平センス順設定レジスタ３９は水平ピクセルセンス順算出の指示により水平センス順をレジスタに設定する。センス切り換え４０は水平ピクセルセンス回路２９の水平ピクセルの指示とピクセルごとの読み出し順番を指示する。
水平ピクセルセンス回路２９は水平ピクセルの選択を行うセンス機能を有する。水平読み出し回路３０はセンスされたピクセル読み出しを行う機能を有する。信号処理部６の信号処理回路２５は垂直ラインの水平ピクセルの信号処理を行う機能を有する。
次に動作を説明する。
動画垂直ライン検出３３は、ＳＤＲＡＭ７に一時記憶されている前々フレームと前フレームの同一垂直ラインごとに、各ピクセルの差分をとり、差分値の各平均値が閾値б以上であれば、動画のある垂直ラインと判断する。
画水平ピクセル検出３６は、ＳＤＲＡＭ７に一時記憶されている前々フレームと前フレームの同一水平ピクセルごとに、各ピクセルの差分をとり、差分値の各平均値が閾値б以上であれば、動画のある水平ピクセルと判断する。
動画垂直ライン検出３３は、ＳＤＲＡＭ７に一時記憶されている前々フレームと前フレームの同一垂直ラインごとに、各ピクセルの差分をとり、差分値の各平均値が閾値б以上であれば、動画のある垂直ラインと判断する。
画水平ピクセル検出３６は、ＳＤＲＡＭ７に一時記憶されている前々フレームと前フレームの同一水平ピクセルごとに、各ピクセルの差分をとり、差分値の各平均値が閾値б以上であれば、動画のある水平ピクセルと判断する。
動画垂直ライン設定３４において、動画垂直ラインを設定する。またひとつの垂直ドライブエリアたとえば、垂直ドライブエリアＡ４１を設定する際は、垂直ドライブ線Ｖ４、Ｖ５、Ｖ６、Ｖ７、Ｖ８、Ｖ９を設定する。また複数個の垂直ラインたとえば、垂直ドライブエリアＡ４１と垂直ドライブエリアＢ４２を設定する際は、垂直ドライブＶ４、Ｖ５、Ｖ６、Ｖ７、Ｖ８、Ｖ９とＶｎ−４、Ｖｎ−３、Ｖｎ−２、Ｖｎ−１を動画垂直ラインとして設定する。
動画水平ピクセル設定３７において、動画水平ピクセルを設定する。またひとつの水平ドライブエリアたとえば、水平ドライブエリアＡ４１を設定する際は、水平センス線Ｈ７，Ｈ８，Ｈ９，Ｈ１０，Ｈ１１，Ｈ１２を設定する。また複数個の水平ドライブエリアたとえば、水平ドライブエリアＡ４１と水平ドライブエリアＢ４２を設定する際は、水平センスＨ７、Ｈ８、Ｈ９、Ｈ１０、Ｈ１１、Ｈ１２とＨｍ−６、Ｈｍ−５、Ｈｍ−４、Ｈｍ−３、Ｈｍ−２、Ｈｍ−１、Ｈｍを動画水平ピクセルとして設定する。
動画水平ピクセル設定３７において、動画水平ピクセルを設定する。またひとつの水平ドライブエリアたとえば、水平ドライブエリアＡ４１を設定する際は、水平センス線Ｈ７，Ｈ８，Ｈ９，Ｈ１０，Ｈ１１，Ｈ１２を設定する。また複数個の水平ドライブエリアたとえば、水平ドライブエリアＡ４１と水平ドライブエリアＢ４２を設定する際は、水平センスＨ７、Ｈ８、Ｈ９、Ｈ１０、Ｈ１１、Ｈ１２とＨｍ−６、Ｈｍ−５、Ｈｍ−４、Ｈｍ−３、Ｈｍ−２、Ｈｍ−１、Ｈｍを動画水平ピクセルとして設定する。
ドライブ順算出３５は動画垂直ライン検出３３による動き速度の速いときは、ドライブのインタレース値ｋ＝３、４、５・・と高く設定し、逆に速度の遅いときはｋ＝１、２と低く設定するともに、動画のエリアが複数個あるとき、例えば垂直水平ドライブエリアＡ４１、垂直水平ドライブエリアＢ４２がある場合は、垂直水平ドライブエリアＡ４１と垂直水平ドライブエリアＢ３２を一つの垂直水平ドライブエリアとみなして、インタレース値を設定して、読み出す。
たとえばｋ＝１のときは、動画のある垂直ラインＶ４、Ｖ６、Ｖ８、Ｖｎ−３、Ｖｎ−１の次にＶ５、Ｖ７、Ｖ９、Ｖｎ−２、Ｖｎというドライブ順になる。その次にＶ０、Ｖ１、Ｖ２・・の順になる。
たとえばｋ＝１のときは、動画のある垂直ラインＶ４、Ｖ６、Ｖ８、Ｖｎ−３、Ｖｎ−１の次にＶ５、Ｖ７、Ｖ９、Ｖｎ−２、Ｖｎというドライブ順になる。その次にＶ０、Ｖ１、Ｖ２・・の順になる。
垂直ドライブ部２１はそのドライブ順に従い、ドライブ順設定レジスタ２２にドライブ順を一時記憶する。ドライブ切り替え２３においては、その設定値とタイミングジェネレータ２７により、ドライブする垂直ラインを瞬時に切り替える。ドライブ回路２４は各垂直ラインをタイミングジェネレータ２７の制御によりドライブする。
同様に水平センス部２８はそのセンス順に従い、センス順設定レジスタ３９にセンス順を一時記憶する。センス切り替え４０においては、その設定値とタイミングジェネレータ２７により、センスする水平ラインを瞬時に切り替える。センス回路２９は各水平ラインをタイミングジェネレータ２７の制御によりドライブする。
同様に水平センス部２８はそのセンス順に従い、センス順設定レジスタ３９にセンス順を一時記憶する。センス切り替え４０においては、その設定値とタイミングジェネレータ２７により、センスする水平ラインを瞬時に切り替える。センス回路２９は各水平ラインをタイミングジェネレータ２７の制御によりドライブする。
ドライブセンスされた各水平ピクセルの光電荷量は電圧に変換され、水平センス線１７を経由して水平読み出し回路３０に与えられる。水平読み出し回路３０から信号処理回路２５へデータは送られ、ＳＤＲＡＭ７に一時記憶される。この際、どの垂直ドライブのどの水平ピクセルのデータであるかは信号処理回路２５によりアドレッシングされて一意にＳＤＲＡＭ７に一時記憶される。
このようにして水平垂直エリアをドライブセンスすることにより、動被写体のゆがみを軽減することが可能となる。
このようにして水平垂直エリアをドライブセンスすることにより、動被写体のゆがみを軽減することが可能となる。
本発明は今後あらゆるところで採用されると予想されるＭＯＳセンサを有する電子機器全般に採用されるものであって、簡単な構成で高ダイナミックレンジを保持しつつ動体ゆがみを軽減できる手段を提供するものであり、今後ますます多くの用途で使用されることになる。
１ ランダム垂直ラインアクセス可能なＭＯＳセンサ
２ 信号処理ブロック
３ 垂直ライン制御部
４ 垂直ラインデータ読み出し部
５ 垂直ライン補正部
６ 信号処理部
７ ＳＤＲＡＭ
８ 動画垂直ライン検出部
９ 動画ライン補正部
１０ エリアデータ読み出し部
１１ 動画エリア検出部
１２ 動画エリア補正部
１３ ランダムエリアアクセス可能なＭＯＳセンサ
１４ エリア制御部
１５ 垂直ドライブ線
１６ ＭＯＳセンサ受光部
１７ 水平センス線
１８ 動画垂直ライン検出
１９ 動画垂直ライン設定
２０ ドライブ順算出
２１ 垂直ドライブ部
２２ ドライブ順設定レジスタ
２３ ドライブ切り換え
２４ ドライブ回路
２５ 信号処理回路
２６ クロック発生器
２７ タイミングジェネレータ
２８ 水平センス部
２９ 水平ピクセルセンス回路
３０ 水平読み出し回路
３１ 垂直ドライブエリアＡ
３２ 垂直ドライブエリアＢ
３３ 動画垂直エリア検出
３４ 動画垂直エリア設定
３５ 垂直エリアドライブ順算出
３６ 動画水平エリア検出
３７ 動画水平エリア設定
３８ 水平エリアセンス順算出
３９ 水平センス順設定レジスタ
４０ センス切り換え
４１ エリアＡ
４２ エリアＢ
４３ 水平センス部
４４〜４９ 欠番
５０ 撮像レンズ
５１ 撮像素子
５２ 信号処理部
５３ 記憶部
５４ 記憶部
５５ 駆動部
５６ レンズ／絞り駆動部
５７ 制御部
５８ レンズ情報検知部
５９ 操作部
６０ 光源色検出部
２ 信号処理ブロック
３ 垂直ライン制御部
４ 垂直ラインデータ読み出し部
５ 垂直ライン補正部
６ 信号処理部
７ ＳＤＲＡＭ
８ 動画垂直ライン検出部
９ 動画ライン補正部
１０ エリアデータ読み出し部
１１ 動画エリア検出部
１２ 動画エリア補正部
１３ ランダムエリアアクセス可能なＭＯＳセンサ
１４ エリア制御部
１５ 垂直ドライブ線
１６ ＭＯＳセンサ受光部
１７ 水平センス線
１８ 動画垂直ライン検出
１９ 動画垂直ライン設定
２０ ドライブ順算出
２１ 垂直ドライブ部
２２ ドライブ順設定レジスタ
２３ ドライブ切り換え
２４ ドライブ回路
２５ 信号処理回路
２６ クロック発生器
２７ タイミングジェネレータ
２８ 水平センス部
２９ 水平ピクセルセンス回路
３０ 水平読み出し回路
３１ 垂直ドライブエリアＡ
３２ 垂直ドライブエリアＢ
３３ 動画垂直エリア検出
３４ 動画垂直エリア設定
３５ 垂直エリアドライブ順算出
３６ 動画水平エリア検出
３７ 動画水平エリア設定
３８ 水平エリアセンス順算出
３９ 水平センス順設定レジスタ
４０ センス切り換え
４１ エリアＡ
４２ エリアＢ
４３ 水平センス部
４４〜４９ 欠番
５０ 撮像レンズ
５１ 撮像素子
５２ 信号処理部
５３ 記憶部
５４ 記憶部
５５ 駆動部
５６ レンズ／絞り駆動部
５７ 制御部
５８ レンズ情報検知部
５９ 操作部
６０ 光源色検出部
Claims (15)
- 撮像センサと、上記センサの垂直ラインアクセスを制御する垂直ライン制御部と、上記垂直ライン制御部にアクセスする順序を指定する信号処理部と、上記撮像センサから、垂直ラインのデータをまびいて高速に読み出す垂直ラインデータ読み出し部と、上記垂直ラインデータ読み出し部からのデータにおいて、動被写体を含む垂直ラインであることを検出する動被写体垂直ライン検出部と、読み出した動被写体の垂直ラインを補正する垂直ライン補正部とからなることを特徴とする撮像信号処理装置。
- 撮像センサと、上記センサの水平ピクセルアクセスを制御する水平ピクセル制御部と、上記水平ピクセル制御部にアクセスする順序を変更して指定する信号処理部と、上記撮像センサから、水平ピクセルのデータをまびいて高速に読み出す水平ピクセルデータ読み出し部と、上記水平ピクセルデータ読み出し部からのデータにおいて、動被写体を含む水平ピクセルであることを検出する動被写体水平ピクセル検出部と、読み出した動被写体の水平ピクセルを補正する水平ピクセル補正部とからなることを特徴とする撮像信号処理装置。
- 撮像センサと、上記センサのエリアアクセスを制御する複数の垂直ラインと複数の水平ピクセルをまとめたエリア制御部と、上記エリア制御部にアクセスする順序を指定する信号処理部と、上記撮像センサから、エリアのデータをまびいて高速に読み出すエリアデータ読み出し部と、上記エリアデータ読み出し部からのデータにおいて、動被写体を含むエリアであることを検出する動被写体エリア検出部と、読み出した動被写体のエリアを補正するエリア補正部とからなることを特徴とする撮像信号処理装置。
- 水平ピクセル制御部において、エリア内部の水平ピクセルの読み出し順番を自由に変更できることを特徴とする請求項１、２、３のいずれかに記載の撮像信号処理装置。
- 水平ピクセル制御部において、Ｎ（Ｎは正の整数）水平ピクセルごとにまびいて選択する構成を有することを特徴とする請求項１、２、３のいずれかに記載の撮像信号処理装置。
- 垂直ライン制御部において、Ｍ（Ｍは正の整数）垂直ラインごとにまびいて選択する構成を有することを特徴とする請求項１、３のいずれかに記載の撮像信号処理装置。
- 上記センサのエリアアクセスを制御する複数の垂直ラインと複数の水平ピクセルをまとめたエリア制御部において、垂直エリアｋ（ｋは正の整数）ごとに垂直ライン制御部のＭｋ（Ｍｋは正の整数）垂直ラインごとにまびいて選択する構成を有することを特徴とする請求項３に記載の撮像信号処理装置。
- 上記センサのエリアアクセスを制御する複数の垂直ラインと複数の水平ピクセルをまとめたエリア制御部において、水平エリアｐ（ｐは正の整数）ごとに水平ピクセル制御部のＮｐ（Ｎｐは正の整数）水平ピクセルごとに選択する構成を有することを特徴とする請求項３に記載の撮像信号処理装置。
- 上記垂直ライン制御部において、動被写体が構図の中に複数個あり、動被写体を含む垂直ライン群が複数個になる場合は、動被写体を含む垂直ライン群をすべて先に読み出して、動被写体を含まない垂直ライン群をその後から読み出す構成を有することを特徴とする請求項１、３のいずれかに記載の撮像信号処理装置。
- 上記エリアアクセスを制御する複数の垂直ラインと複数の水平ピクセルをまとめたエリア制御部において、動被写体が構図の中に複数個あり、動被写体を含むエリア群が複数個になる場合は、動被写体を含むエリア群を先に読み出して、動被写体を含まないエリア群を後から読み出す構成を有することを特徴とする請求項３に記載の撮像信号処理装置。
- 撮像センサの垂直ラインのアクセスを制御し、垂直ラインにアクセスする順序を指定し、垂直ラインのデータをまびいて高速に読み出し、読み出した垂直ラインから動被写体を含む垂直ラインを検出し、読み出した動被写体の垂直ラインを補正することを特徴とする撮像信号処理方法。
- 撮像センサの水平ピクセルのアクセスを制御し、水平ピクセルにアクセスする順序を指定し、水平ピクセルのデータをまびいて高速に読み出し、読み出した水平ピクセルから動被写体を含む水平ピクセルを検出し、読み出した動被写体の水平ピクセルを補正することを特徴とする撮像信号処理方法。
- 撮像センサのエリアのアクセスを制御し、複数の垂直ラインと複数の水平ピクセルをまとめたエリアを特定し、上記エリアにアクセスする順序を指定し、エリアのデータをまびいて高速に読み出し、読み出したエリアから動被写体を含むエリアを検出し、読み出した動被写体のエリアを補正することを特徴とする撮像信号処理方法。
- 前記動被写体は、動体領域に含まれることを特徴とする請求項１、２、３のいずれかに記載の撮像信号処理装置。
- 前記動被写体は、動体領域に含まれることを特徴とする請求項１１、１２、１３のいずれかに記載の撮像信号処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005161725A JP2006148861A (ja) | 2004-10-21 | 2005-06-01 | 撮像信号処理装置及び方法 |
| US11/252,834 US7697037B2 (en) | 2004-10-21 | 2005-10-18 | Image signal processing device and method |
| US12/731,274 US20100238339A1 (en) | 2004-10-21 | 2010-03-25 | Image signal processing device and method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004306880 | 2004-10-21 | ||
| JP2005161725A JP2006148861A (ja) | 2004-10-21 | 2005-06-01 | 撮像信号処理装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006148861A true JP2006148861A (ja) | 2006-06-08 |
Family
ID=36205808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005161725A Pending JP2006148861A (ja) | 2004-10-21 | 2005-06-01 | 撮像信号処理装置及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7697037B2 (ja) |
| JP (1) | JP2006148861A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008085552A (ja) * | 2006-09-27 | 2008-04-10 | Casio Comput Co Ltd | 撮像装置 |
| JP2009182527A (ja) * | 2008-01-29 | 2009-08-13 | Morpho Inc | 撮像方法および撮像装置 |
| KR20100135683A (ko) * | 2009-06-17 | 2010-12-27 | 호야 가부시키가이샤 | 롤링 셔터를 이용하여 촬상하는 촬상 장치 |
| JP2012235256A (ja) * | 2011-04-28 | 2012-11-29 | Casio Comput Co Ltd | 撮像装置及びプログラム |
| EP2713610A2 (en) | 2012-09-28 | 2014-04-02 | Fujitsu Limited | Method and device for processing captured-image signals |
| JP7438251B2 (ja) | 2015-05-19 | 2024-02-26 | マジック リープ， インコーポレイテッド | セミグローバルシャッタイメージャ |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8169495B2 (en) * | 2006-12-01 | 2012-05-01 | Broadcom Corporation | Method and apparatus for dynamic panoramic capturing |
| JP5163935B2 (ja) * | 2007-05-17 | 2013-03-13 | ソニー株式会社 | イメージセンサ |
| JP4998232B2 (ja) * | 2007-11-27 | 2012-08-15 | セイコーエプソン株式会社 | 撮像装置及び映像記録装置 |
| TWI520030B (zh) | 2009-05-21 | 2016-02-01 | 原相科技股份有限公司 | 互補式金氧半導體影像感測器及其操作方法 |
| US9684416B2 (en) | 2013-04-09 | 2017-06-20 | Pixart Imaging Inc. | Image sensor |
| TWI502446B (zh) | 2013-04-09 | 2015-10-01 | Pixart Imaging Inc | 影像感測方法以及影像感測器 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2600504B2 (ja) * | 1991-01-25 | 1997-04-16 | 日本ビクター株式会社 | 動きベクトル検出回路 |
| DE69326751T2 (de) * | 1992-08-27 | 2000-05-11 | Toshiba Kawasaki Kk | Bewegtbildkodierer |
| US5828406A (en) * | 1994-12-30 | 1998-10-27 | Eastman Kodak Company | Electronic camera having a processor for mapping image pixel signals into color display pixels |
| US6452632B1 (en) * | 1997-01-31 | 2002-09-17 | Kabushiki Kaisha Toshiba | Solid state image sensor and video system using the same |
| US6624849B1 (en) * | 1997-12-08 | 2003-09-23 | Nikon Corporation | Solid-state imaging apparatus for motion detection |
| JP3880759B2 (ja) * | 1999-12-20 | 2007-02-14 | 富士通株式会社 | 移動物体検出方法 |
| JP3828349B2 (ja) * | 2000-09-27 | 2006-10-04 | 株式会社日立製作所 | 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体 |
| JP2003032556A (ja) | 2001-07-16 | 2003-01-31 | Minolta Co Ltd | 撮像装置 |
-
2005
- 2005-06-01 JP JP2005161725A patent/JP2006148861A/ja active Pending
- 2005-10-18 US US11/252,834 patent/US7697037B2/en not_active Expired - Fee Related
-
2010
- 2010-03-25 US US12/731,274 patent/US20100238339A1/en not_active Abandoned
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008085552A (ja) * | 2006-09-27 | 2008-04-10 | Casio Comput Co Ltd | 撮像装置 |
| JP2009182527A (ja) * | 2008-01-29 | 2009-08-13 | Morpho Inc | 撮像方法および撮像装置 |
| JP4689687B2 (ja) * | 2008-01-29 | 2011-05-25 | 株式会社モルフォ | 撮像方法および撮像装置 |
| KR20100135683A (ko) * | 2009-06-17 | 2010-12-27 | 호야 가부시키가이샤 | 롤링 셔터를 이용하여 촬상하는 촬상 장치 |
| KR101626894B1 (ko) | 2009-06-17 | 2016-06-02 | 리코 이메징 가부시키가이샤 | 롤링 셔터를 이용하여 촬상하는 촬상 장치 |
| JP2012235256A (ja) * | 2011-04-28 | 2012-11-29 | Casio Comput Co Ltd | 撮像装置及びプログラム |
| EP2713610A2 (en) | 2012-09-28 | 2014-04-02 | Fujitsu Limited | Method and device for processing captured-image signals |
| US9413997B2 (en) | 2012-09-28 | 2016-08-09 | Fujitsu Limited | Method and device for processing captured-image signals |
| JP7438251B2 (ja) | 2015-05-19 | 2024-02-26 | マジック リープ， インコーポレイテッド | セミグローバルシャッタイメージャ |
Also Published As
| Publication number | Publication date |
|---|---|
| US7697037B2 (en) | 2010-04-13 |
| US20100238339A1 (en) | 2010-09-23 |
| US20060087565A1 (en) | 2006-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2006148861A (ja) | 撮像信号処理装置及び方法 | |
| KR100917088B1 (ko) | 촬상 장치 및 전자 줌 방법 | |
| TWI387330B (zh) | 具有用於拍攝平移圖像之平移模式的攝像裝置 | |
| JP3980782B2 (ja) | 撮像制御装置および撮像制御方法 | |
| JP6019692B2 (ja) | 撮像素子、撮像素子の制御方法、および、撮像装置 | |
| JP4948090B2 (ja) | 撮像装置及び駆動制御方法 | |
| JP5764740B2 (ja) | 撮像装置 | |
| US7652691B2 (en) | Imaging apparatus, control method thereof, and imaging system for performing appropriate image capturing when a driving method is changed | |
| US8436928B2 (en) | Image sensing apparatus and method with drive control variation of each of the plurality of output fields | |
| JP2007135057A (ja) | 撮像装置、画像処理方法、並びにプログラム | |
| JP2008109336A (ja) | 画像処理装置および撮像装置 | |
| JP2006013828A (ja) | 撮像装置 | |
| JP2013074313A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP4985124B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| US20070160355A1 (en) | Image pick up device and image pick up method | |
| JP2006261929A (ja) | 撮像装置 | |
| US9007479B2 (en) | Imaging apparatus and evaluation value generation apparatus | |
| US8908060B2 (en) | Imaging apparatus generating evaluation values at a high frame rate and having a live view function of displaying a video smoothly at a low frame rate | |
| JP2000350101A (ja) | 固体撮像装置及び画像情報取得装置 | |
| JP2000023024A (ja) | 画像入力装置 | |
| JP4292963B2 (ja) | 撮像装置 | |
| JP2004228775A (ja) | フレーム変換方法、フレーム変換回路および電子カメラ | |
| JP2008306616A (ja) | 撮像装置 | |
| JP4211572B2 (ja) | 撮像装置 | |
| JP2007068209A (ja) | 動画像生成装置及び動画像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20061208 |