JP2004064334A

JP2004064334A - 撮像装置

Info

Publication number: JP2004064334A
Application number: JP2002218534A
Authority: JP
Inventors: Kenichi Shimomura; 下邨　研一; Yoshikazu Kondo; 近藤　由和; Yoichi Kato; 加藤　陽一; Kenji Watanabe; 渡邉　研二
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-07-26
Filing date: 2002-07-26
Publication date: 2004-02-26
Also published as: CN1251485C; KR20040010077A; EP1385334A3; US7336303B2; EP1385334A2; KR100505802B1; CN1471310A; US20040017596A1; US20080043123A1

Abstract

【課題】大容量のフレームメモリを使用せずに電子ズームを行う際のフレームレートを一定に保つ。
【解決手段】撮像制御部４は電子ズームの倍率に基づき有効画素領域とブランキング領域から構成される走査領域を指定し、イメージセンサ部１は走査領域を走査することにより入力した光信号を電気信号に変換して蓄積し、蓄積されている電気信号を読み出して画像データとして出力し、ＲＷ制御部６は電子ズームの倍率に基づき画像データをレジスタ５に蓄積して所定のフレームレートで読み出し、解像度変換部７は電子ズームの倍率に基づき画像データの補間処理を行う。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
この発明は画像を拡大する電子ズーム機能を有する撮像装置に関するものである。
【０００２】
【従来の技術】
図７は従来の撮像装置の構成を示すブロック図であり、図において、１１は入力した光信号を電気信号に変換して蓄積すると共に、蓄積されている電気信号を読み出して画像データとして出力するイメージセンサ部、１２はイメージセンサ部１１に有効画素領域とブランキング領域から構成される所定の走査領域を指定すると共に、イメージセンサ部１１が走査領域を走査する際の走査タイミングを制御する撮像制御部である。
【０００３】
また、図７において、１３はイメージセンサ部１１から出力された１フレーム分の画像データをそれぞれ保持するメモリＡ及びメモリＢ（図示せず）を備えたフレームメモリ、１４は電子ズームの倍率を指定する倍率指定部、１５はイメージセンサ部１１から出力された画像データをフレームメモリ１３に書き込むと共に、倍率指定部１４により指定された電子ズームの倍率に基づきフレームメモリ１３に保持されている１フレーム分の画像データ又は一部の画像データを読み出すＲＷ（Ｒｅａｄ　Ｗｒｉｔｅ）制御部、１６は倍率指定部１４により指定された電子ズームの倍率に基づき、フレームメモリ１３から読み出された一部の画像データの補間処理を行い１フレーム分の画像データのサイズに変換して画像信号を出力する解像度変換部である。
【０００４】
次に動作について説明する。
図８は撮像制御部１２がイメージセンサ部１１に指定する走査領域を説明する図である。図に示すように、走査領域は画像データを出力する有効画素領域と画像データを出力しないブランキング領域により構成されており、例えば、ここでは、有効画素領域をいわゆるＶＧＡ（Ｖａｒｉａｂｌｅ　Ｇｒａｐｈｉｃｓ　Ａｒｒａｙ）に相当する６４０×４８０画素のサイズ、走査領域を８００×６００画素のサイズの場合を示している。
【０００５】
撮像制御部１２はイメージセンサ部１１に所定の走査領域を指定すると共に、イメージセンサ部１１が走査領域を走査する際の走査タイミングを制御する。イメージセンサ部１１は、撮像制御部１２により指定された走査領域を、撮像制御部１２からの走査タイミングに基づき走査することにより、入力した光信号を電気信号に変換して蓄積すると共に、蓄積されている電気信号を読み出して画像データとして出力する。図９はイメージセンサ部１１が撮像制御部１２により指定された走査領域を走査する様子を示す図である。
【０００６】
まず、倍率指定部１４が電子ズームの倍率を１倍と指定した場合について説明する。ＲＷ制御部１５は倍率指定部１４により指定された電子ズームの倍率に係りなく、あるタイミングでイメージセンサ部１１から出力された１フレーム分の画像データをフレームメモリ１３のメモリＡに書き込む。また、次のタイミングでＲＷ制御部１５は次の１フレーム分の画像データをフレームメモリ１３のメモリＢに書き込む。このように、倍率指定部１４により指定された電子ズームの倍率に係りなく、イメージセンサ部１１から出力された１フレーム分の画像データが、順次、フレームメモリ１３に書き込まれる。
【０００７】
また、ＲＷ制御部１５は、フレームメモリ１３のメモリＢに１フレーム分の画像データを書き込む際に、倍率指定部１４により指定された電子ズームの１倍の倍率に基づき、メモリＡに書き込まれ保持されている１フレーム分の画像データを読み出し、次のタイミングでフレームメモリ１３のメモリＢに保持されている１フレーム分の画像データを読み出す。
【０００８】
図１０は電子ズームの倍率が１倍のときのフレームメモリ１３の読み出しと書き込みの様子を説明する図である。このように、電子ズームの倍率が１倍の場合には、メモリＡ又はメモリＢに保持されている１フレーム分の画像データ全体が読み出される。以上のようにして、順次、１フレーム分の画像データがフレームメモリ１３に書き込まれ、読み出されて解像度変換部１６に出力される。
【０００９】
解像度変換部１６は、倍率指定部１４により指定された電子ズームの１倍の倍率に基づき、フレームメモリ１３から順次読み出された１フレーム分の画像データをそのまま画像信号として出力する。
【００１０】
次に、倍率指定部１４が１フレーム分の画像データの中央部について電子ズームの倍率を２倍と指定した場合について説明する。ＲＷ制御部１５は倍率指定部１４により指定された電子ズームの倍率に係りなく、あるタイミングでイメージセンサ部１１から出力された１フレーム分の画像データをフレームメモリ１３のメモリＡに書き込む。また、次のタイミングでＲＷ制御部１５は次の１フレーム分の画像データをフレームメモリ１３のメモリＢに書き込む。このように、倍率指定部１４により指定された電子ズームの倍率に係りなく、イメージセンサ部１１から出力された１フレーム分の画像データが、順次、フレームメモリ１３に書き込まれる。
【００１１】
また、ＲＷ制御部１５は、フレームメモリ１３のメモリＢに１フレーム分の画像データを書き込む際に、倍率指定部１４により指定された２倍の電子ズームの倍率に基づき、メモリＡに書き込まれ保持されている１フレーム分の画像データの中央部の１／４の領域を読み出し、次のタイミングでフレームメモリ１３のメモリＢに書き込まれている１フレーム分の画像データの中央部の１／４の領域を読み出す。
【００１２】
図１１は電子ズームの倍率が２倍のときのフレームメモリ１３の読み出しと書き込みの様子を説明する図である。このようにして、順次、１フレーム分の画像データがフレームメモリ１３に書き込まれ、１フレーム分の画像データの中央部の１／４の領域が読み出されて解像度変換部１６に出力される。
【００１３】
解像度変換部１６は、倍率指定部１４により指定された２倍の電子ズームの倍率に基づき、フレームメモリ１３から順次読み出された１フレーム分の画像データの中央部を、縦横とも２倍に引き伸ばす補間処理を行い、最終的には１フレーム分の画像データのサイズと同じサイズにして画像信号として出力する。
【００１４】
次にフレームメモリ１３に保持されている画像データを読み出す際のデータレートについて説明する。電子ズームの倍率が１倍の場合には、ＲＷ制御部１５は、フレームメモリ１３に保持されている１フレーム分の画像データを、書き込み時のデータレートと同じデータレートで読み出すことにより、解像度変換部１６から画像信号が所定のフレームレートで出力される。
【００１５】
一方、電子ズームの倍率が２倍の場合には、フレームレートを一定に保つために、ＲＷ制御部１５は、フレームメモリ１３に保持されている中央部の画像データを、書き込み時のデータレートの１／４のデータレートで読み出す。これは、読み出す画像データのデータ量が、書き込まれた画像データのデータ量の１／４に減少しているからである。
【００１６】
このように、電子ズームの倍率が１倍以外の場合には、フレームレートを一定にするために、書き込み時のデータレートと読み出し時のデータレートを変更する必要があり、フレームメモリ１３として、メモリＡ，Ｂのように、２フレーム分の画像データを保持する容量が必要となる。例えば、ＶＧＡの場合は、６４０×４８０＝約３０万画素のサイズであり、２フレーム分の画像データを保持するには、約４．８Ｍｂｉｔの２ポートＲＡＭ、又は２つの約２．４ＭｂｉｔのシングルポートＲＡＭが必要となる。
【００１７】
すなわち、フレームメモリ１３から画像データを読み出す際のデータレートを電子ズームの倍率に応じて変更することで、最終的に電子ズームの倍率に対応して引き伸ばした画像データを出力する際のフレームレートを、電子ズームの倍率によらず一定にすることができる。
【００１８】
【発明が解決しようとする課題】
従来の撮像装置は以上のように構成されているので、電子ズームを行う際にフレームレートを一定に保つために、大容量のフレームメモリ１３を搭載する必要があり、消費電力の増大や、撮像装置のサイズの増大や、コストの増大につながり、特にモバイル用途の撮像装置への適用は困難であるという課題があった。
【００１９】
この発明は上記のような課題を解決するためになされたもので、大容量のフレームメモリを使用せずに、電子ズームを行う際のフレームレートを一定に保つことができ、モバイル用途にも適用が可能な撮像装置を得ることを目的とする。
【００２０】
【課題を解決するための手段】
この発明に係る撮像装置は、電子ズームの倍率に基づき有効画素領域とブランキング領域から構成される走査領域を指定し、走査領域を走査することにより、入力した光信号を電気信号に変換して蓄積し、蓄積されている電気信号を読み出して画像データとして出力し、電子ズームの倍率に基づき画像データを蓄積して所定のフレームレートで読み出し、電子ズームの倍率に基づき読み出された画像データの補間処理を行うものである。
【００２１】
この発明に係る撮像装置は、入力した光信号を電気信号に変換して蓄積すると共に蓄積されている電気信号を読み出して画像データとして出力するイメージセンサ部と、電子ズームの倍率を指定する倍率指定部と、電子ズームの倍率に基づき電子ズームに係る撮像パラメータを演算するパラメータ演算部と、撮像パラメータに基づき、イメージセンサ部が走査する、有効画素領域とブランキング領域から構成される走査領域を指定すると共に、イメージセンサ部が走査領域を走査する際の走査タイミングを制御する撮像制御部と、イメージセンサ部から出力された画像データの一部を一時的に保持するレジスタと、撮像パラメータに基づきイメージセンサ部から出力された少なくとも１行分の画像データをレジスタに書き込むと共に、保持されている少なくとも１行分の画像データを所定のフレームレートで読み出すＲＷ制御部と、撮像パラメータに基づきレジスタから読み出された画像データの補間処理を行い１フレーム分の画像データのサイズに変換して画像信号を出力する解像度変換部とを備えたものである。
【００２２】
この発明に係る撮像装置は、パラメータ演算部が撮像パラメータとして、電子ズームの第一の倍率における水平走査期間、垂直走査期間、垂直走査行数及び水平走査画素数に基づき、電子ズームの第二の倍率における水平走査期間、垂直走査期間、垂直走査開始行、垂直走査行数、水平走査開始画素及び水平走査画素数を演算し、撮像制御部は第二の倍率における水平走査期間、垂直走査期間、垂直走査開始行及び垂直走査行数に基づき走査領域を指定し、ＲＷ制御部は第二の倍率における水平走査開始画素及び水平走査画素数に基づき少なくとも１行分の画像データをレジスタに書き込み、解像度変換部は第二の倍率における水平走査開始画素及び水平走査画素数に基づき補間処理を行うものである。
【００２３】
この発明に係る撮像装置は、パラメータ演算部が、第二の倍率における水平走査期間及び垂直走査期間を、第一及び第二の倍率の比を使用して演算するものである。
【００２４】
この発明に係る撮像装置は、パラメータ演算部が、整数化関数を使用して第二の倍率における水平走査期間及び垂直走査期間を演算すると共に、整数化関数により余剰となった端数画素走査期間を演算し、撮像制御部は端数画素走査期間を含めて走査領域を指定するものである。
【００２５】
この発明に係る撮像装置は、パラメータ演算部が撮像パラメータとして、電子ズームの第一の倍率における水平走査期間、フレームレートを規定するフレーム期間、垂直走査行数及び水平走査画素数に基づき、第一及び第二の倍率の比及び整数化関数を使用して第二の倍率における水平走査期間及び垂直走査期間を演算し、整数化関数により余剰となった端数画素走査期間を演算すると共に、第二の倍率における垂直走査開始行、垂直走査行数、水平走査開始画素及び水平走査画素数を演算し、撮像制御部は第二の倍率における水平走査期間、垂直走査期間、垂直走査開始行及び垂直走査行数に基づき走査領域を指定し、ＲＷ制御部は第二の倍率における水平走査開始画素及び水平走査画素数に基づき少なくとも１行分の画像データをレジスタに書き込み、解像度変換部は第二の倍率における水平走査開始画素及び水平走査画素数に基づき補間処理を行うものである。
【００２６】
この発明に係る撮像装置は、電子ズームの倍率に基づき有効画素領域とブランキング領域から構成される走査領域を指定し、走査領域を走査することにより、入力した光信号を電気信号に変換して蓄積し、蓄積されている電気信号を読み出して画像データとして出力し、電子ズームの倍率に基づき読み出された画像データの補間処理を行い、電子ズームの倍率に基づき、補間処理された画像データを蓄積して所定のフレームレートで読み出すものである。
【００２７】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による撮像装置の構成を示すブロック図である。図において、１は入力した光信号を電気信号に変換して蓄積すると共に、蓄積されている電気信号を読み出して画像データとして出力するイメージセンサ部であり、ＶＧＡ相当の６４０×４８０の画素アレー構造を持つＣＣＤ又はＣＭＯＳイメージセンサ等の固体撮像素子により構成されている。ここでは、簡単化のために、有効画素領域周辺部の常に遮光状態となっている遮光画素については省略する。
【００２８】
また、図１において、２は電子ズームの倍率を指定する倍率指定部、３は倍率指定部２により指定された電子ズームの倍率に基づき、電子ズームに係る撮像パラメータを演算するパラメータ演算部、４はパラメータ演算部３により演算された撮像パラメータに基づき、イメージセンサ部１が走査する、有効画素領域とブランキング領域から構成される走査領域を指定すると共に、イメージセンサ部１が走査領域を走査する際の走査タイミングを制御する撮像制御部である。
【００２９】
さらに、図１において、５はイメージセンサ部１から出力された１行分の画像データを一時的に保持し、電子ズームの倍率により変化する一水平走査期間内のデータレートのズレを補正するＦＩＦＯ（Ｆｉｒｓｔ　Ｉｎ　Ｆｉｒｓｔ　Ｏｕｔ）等を使用した約１７Ｋｂｉｔ程度の小容量のレジスタ、６はパラメータ演算部３により演算された撮像パラメータに基づき、イメージセンサ部１から出力された少なくとも１行分の画像データをレジスタ５に書き込むと共に、保持されている少なくとも１行分の画像データを所定のフレームレートで読み出すＲＷ（Ｒｅａｄ　Ｗｒｉｔｅ）制御部、７はパラメータ演算部３により演算された撮像パラメータに基づき、レジスタ５から読み出された画像データの補間処理を行い１フレーム分の画像データのサイズに変換して画像信号を出力する解像度変換部である。
【００３０】
次に動作について説明する。
パラメータ演算部３は倍率指定部２により指定された電子ズームの倍率に基づき、電子ズームに係る撮像パラメータ、すなわち、画素単位の水平走査期間ＰＨ、行単位の垂直走査期間ＰＶ、垂直走査開始行ＶＳＴＲＴ、垂直走査行数ＶＳＩＺＥ、水平走査開始画素ＨＳＴＲＴ及び水平走査画素数ＨＳＩＺＥを演算する。
【００３１】
ここでは、電子ズームの倍率が１倍の場合の水平走査期間をＰＨｉ、垂直走査期間をＰＶｉ、垂直走査行数をＶＳＩＺＥｉ、水平走査画素数ＨＳＩＺＥｉとし、１フレームの画像データの中央部をＮ倍に電子ズームするものとすると、パラメータ演算部３は、水平走査期間ＰＨ、垂直走査期間ＰＶ、垂直走査開始行ＶＳＴＲＴ、垂直走査行数ＶＳＩＺＥ、水平走査開始画素ＨＳＴＲＴ及び水平走査画素数ＨＳＩＺＥを次の（１）式から（６）式により演算する。
【００３２】
ＰＨ＝ＰＨｉ×Ｎ　　　　　　　　　　　　　　　　　　　　　　（１）
ＰＶ＝ＰＶｉ÷Ｎ　　　　　　　　　　　　　　　　　　　　　　（２）
ＶＳＴＲＴ＝ＶＳＩＺＥｉ÷２×（１−１／Ｎ）　　　　　　　　（３）
ＶＳＩＺＥ＝ＶＳＩＺＥｉ÷Ｎ　　　　　　　　　　　　　　　　（４）
ＨＳＴＲＴ＝ＨＳＩＺＥｉ÷２×（１−１／Ｎ）　　　　　　　　（５）
ＨＳＩＺＥ＝ＨＳＩＺＥｉ÷Ｎ　　　　　　　　　　　　　　　　（６）
【００３３】
例えば、ＰＨｉ＝８００、ＰＶｉ＝６００、ＨＳＩＺＥｉ＝６４０、ＶＳＩＺＥｉ＝４８０、Ｎ＝２とすると、上記（１）式から（６）式により、ＰＨ＝１６００、ＰＶ＝３００、ＶＳＴＲＴ＝１２０、ＶＳＩＺＥ＝２４０、ＨＳＴＲＴ＝１６０、ＨＳＩＺＥ＝３２０となる。なお、ＶＳＴＲＴは１行目の値を０とした値であり、ＨＳＴＲＴは１画素目の値を０とした値である。
【００３４】
撮像制御部４はパラメータ演算部３により演算された撮像パラメータ、すなわち水平走査期間ＰＨ、垂直走査期間ＰＶ、垂直走査開始行ＶＳＴＲＴ及び垂直走査行数ＶＳＩＺＥに基づき、イメージセンサ部１が走査する、有効画素領域とブランキング領域から構成される走査領域を指定すると共に、イメージセンサ部１が走査領域を走査する際の走査タイミングを制御する。
【００３５】
図２は撮像制御部４が指定する走査領域を説明する図であり、ここでは、電子ズーム倍率が１倍のときの水平走査期間ＰＨｉ＝８００、垂直走査期間ＰＶｉ＝６００、水平走査画素数ＨＳＩＺＥｉ＝６４０、垂直走査行数ＶＳＩＺＥｉ＝４８０とすると、電子ズームの倍率が２倍のときに、走査領域はＰＨ×ＰＶ＝１６００×３００画素のサイズとなり、電子ズームする領域（斜線部分の３２０×２４０画素のサイズの領域）を含む有効画素領域（６４０×３００画素のサイズの領域）とブランキング領域から構成される。また、垂直走査開始行ＶＳＴＲＴは１２０、垂直走査行数ＶＳＩＺＥは２４０、水平走査開始画素ＨＳＴＲＴは１６０、水平走査画素数ＨＳＩＺＥは３２０である。
【００３６】
イメージセンサ部１は、撮像制御部４により指定された走査領域を、撮像制御部４からの走査タイミングに基づき走査することにより、入力した光信号を電気信号に変換して蓄積すると共に、蓄積されている電気信号を読み出して画像データとして出力する。
【００３７】
撮像制御部４により指定された走査領域は、電子ズームの倍率が１倍のときは８００×６００画素のサイズであり、電子ズームの倍率が２倍のときは１６００×３００画素のサイズであり、走査領域のサイズが電子ズームの倍率に係りなく一定の４８００００画素のサイズになるので、イメージセンサ部１から出力される画像データのフレームレートは電子ズームの倍率に係りなく一定である。
【００３８】
ＲＷ制御部６はパラメータ演算部３により演算された撮像パラメータ、すなわち水平走査開始画素ＨＳＴＲＴ及び水平走査画素数ＨＳＩＺＥに基づき、イメージセンサ部１から出力された少なくとも１行分の画像データをレジスタ５に書き込むと共に、保持されている少なくとも１行分の画像データを所定のフレームレートで読み出す。
【００３９】
電子ズームの倍率が１倍の場合には、図２に示すように水平走査画素数ＨＳＩＺＥｉ＝６４０なので、ＲＷ制御部６は６４０画素の１行分の画素データを、ＦＩＦＯ等により構成されたレジスタ５に書き込み、保持されている１行分の画像データを所定のフレームレートで読み出す。この処理は、各行毎に行われ、ＶＳＩＺＥｉ＝４８０なので、４８０行分の処理を行うことにより１フレーム分の画像データが解像度変換部７に出力される。
【００４０】
電子ズームの倍率が２倍の場合には、図２に示すように水平走査開始画素ＨＳＴＲＴ＝１６０、水平走査画素数ＨＳＩＺＥ＝３２０なので、ＲＷ制御部６は３２０画素の１行分の画素データを、ＦＩＦＯ等により構成されたレジスタ５に書き込み、保持されている１行分の画像データを、電子ズームの倍率が１倍の場合と同じ所定のフレームレートで読み出す。この処理は、各行毎に行われ、ＶＳＩＺＥｉ＝２４０なので、２４０行分の処理を行うことにより１フレームの中の電子ズームされる領域の画像データが解像度変換部７に出力される。
【００４１】
図３はＲＷ制御部６によるレジスタ５に対する画像データの書き込みと読み出しのタイミングチャートである。上記のように、ＲＷ制御部６は１行分の画像データのレジスタ５への書き込みが終了すると読み出しているが、電子ズームの倍率に係りなく同じフレームレートで読み出すためには、１行分の画素数が多いほど、前の時間からレジスタ５への書き込みを開始しなければならない。
【００４２】
すなわち、図３に示すように、電子ズームの倍率が１倍（Ｎ＝１）で１行分の画素数が多いフレーム０，１のレジスタ５への書き込み開始の時間ｔ１は、電子ズーム倍率が２倍（Ｎ＝２）で１行分の画素数が少ないフレーム２，３のレジスタ５への書き込み開始の時間ｔ２より、前の時間（ｔ１＞ｔ２）となっている。ここで、ｔ１，ｔ２は各フレームの読み出し開始時間を基準にした書き込み開始の時間である。このように、ＦＩＦＯ等のレジスタ５は、電子ズームの倍率に係りなく同じフレームレートを維持するために、電子ズームの倍率によるデータレートのずれを補正している。
【００４３】
解像度変換部７は、パラメータ演算部３により演算された撮像パラメータ、すなわち水平走査開始画素ＨＳＴＲＴ、水平走査画素数ＨＳＩＺＥに基づき、レジスタ５から読み出された画像データの補間処理を行い１フレーム分の画像データのサイズに変換して画像信号を出力する。
【００４４】
すなわち、電子ズームの倍率が１倍の場合には、水平走査画素数ＨＳＩＺＥｉ＝６４０、垂直走査行ＶＳＩＺＥｉ＝４８０なので、レジスタ５から読み出された画像データの補間処理をせずに、そのまま１フレーム分の画像データとして画像信号を出力する。
【００４５】
一方、電子ズームの倍率が２倍の場合には、水平走査画素数ＨＳＩＺＥ＝３２０で、垂直走査行ＶＳＩＺＥ＝２４０なので、レジスタ５から読み出された画像データを、縦横２倍にし１フレーム分の画像データのサイズに変換して画像信号を出力する。
【００４６】
以上のような構成により、従来のように４．８Ｍｂｉｔの大容量のフレームメモリ１３を使用しなくても、電子ズームを行う際のフレームレートを一定に保つことができる。図４はイメージセンサ部１の画素数に対するフレームメモリ１３の有無による撮像装置の回路規模を説明する図である。この実施の形態１では、イメージセンサ部１として６４０×４８０画素のいわゆるＶＧＡサイズの場合について述べたが、図４に示すように、イメージセンサ部１の画素数が増え解像度が上がれば、フレームメモリ１３を使用しないことによる回路規模の削減効果がますます大きくなる。
【００４７】
この実施の形態１では、電子ズームを行う際に、１フレームの画像データの中央部、すなわち１フレームの中心点を中心としてズーム操作するようにしているが、１フレームの中心から水平方向にＨＯＦＳだけオフセットし、垂直方向にＶＯＦＳだけオフセットした点を中心としてズーム操作する場合には、パラメータ演算部３は、垂直走査開始行ＶＳＴＲＴ及び水平走査開始画素ＨＳＴＲＴを次の（７）式、（８）式により演算する。
ＶＳＴＲＴ＝ＶＳＩＺＥｉ÷２×（１−１／Ｎ）＋ＶＯＦＳ　　　（７）
ＨＳＴＲＴ＝ＨＳＩＺＥｉ÷２×（１−１／Ｎ）＋ＨＯＦＳ　　　（８）
【００４８】
また、この実施の形態１では、電子ズームの倍率を１倍からＮ倍にする場合について説明したが、一般的に、電子ズームの倍率をＮ１倍からＮ２倍にする場合には、下記のようにすれば良い。
【００４９】
電子ズームの倍率がＮ１倍の場合の水平走査期間をＰＨ１、垂直走査期間をＰＶ１、垂直走査開始行をＶＳＴＲＴ１、垂直走査行数をＶＳＩＺＥ１、水平走査開始画素をＨＳＴＲＴ１、水平走査画素数ＨＳＩＺＥ１とし、１フレームの画像データの中央部をＮ２倍に電子ズームするものとすると、パラメータ演算部３は、電子ズームの倍率がＮ２倍の場合の水平走査期間ＰＨ２、垂直走査期間ＰＶ２、垂直走査開始行ＶＳＴＲＴ２、垂直走査行数ＶＳＩＺＥ２、水平走査開始画素ＨＳＴＲＴ２及び水平走査画素数ＨＳＩＺＥ２を次の（９）式から（１４）式により演算する。
【００５０】
ＰＨ２＝ＰＨ１×（Ｎ２／Ｎ１）　　　　　　　　　　　　　　　（９）
ＰＶ２＝ＰＶ１÷（Ｎ２／Ｎ１）　　　　　　　　　　　　　　　（１０）
ＶＳＴＲＴ２＝ＶＳＩＺＥ１÷２×（１−Ｎ１／Ｎ２）　　　　　（１１）
ＶＳＩＺＥ２＝ＶＳＩＺＥ１÷（Ｎ２／Ｎ１）　　　　　　　　　（１２）
ＨＳＴＲＴ２＝ＨＳＩＺＥ１÷２×（１−Ｎ１／Ｎ２）　　　　　（１３）
ＨＳＩＺＥ２＝ＨＳＩＺＥ１÷（Ｎ２／Ｎ１）　　　　　　　　　（１４）
【００５１】
さらに一般的に、電子ズームの倍率をＮ１倍からＮ２倍にする場合で、１フレームの中心から水平方向にＨＯＦＳだけオフセットし、垂直方向にＶＯＦＳだけオフセットした点を中心としてズーム操作する場合には、パラメータ演算部３は、垂直走査開始行ＶＳＴＲＴ２及び水平走査開始画素ＨＳＴＲＴ２を次の（１５）式、（１６）式により演算する。
ＶＳＴＲＴ２＝ＶＳＩＺＥ１÷２×（１−Ｎ１／Ｎ２）＋ＶＯＦＳ　（１５）ＨＳＴＲＴ２＝ＨＳＩＺＥ１÷２×（１−Ｎ１／Ｎ２）＋ＨＯＦＳ　（１６）
【００５２】
以上のように、この実施の形態１によれば、撮像制御部４が指定された電子ズームの倍率に基づき、倍率が変化してもサイズが一定となるように有効画素領域とブランキング領域から構成される走査領域を指定し、イメージセンサ部１が、この走査領域を走査することにより、入力した光信号を電気信号に変換して蓄積し、蓄積されている電気信号を読み出して画像データとして出力し、ＲＷ制御部６が電子ズームの倍率に基づき画像データをレジスタ５に一時蓄積して所定のフレームレートで読み出すことで、イメージセンサ部１から出力される画像データの電子ズームの倍率によるデータレートのずれを補正することにより、大容量のフレームメモリを使用せずに、電子ズームを行う際のフレームレートを一定に保つことができるという効果が得られる。
【００５３】
なお、この実施の形態１の図１において、解像度変換部７をイメージセンサ部１とレジスタ５の間に置き換え、電子ズームの倍率に基づき、イメージセンサ部１から読み出された画像データの補間処理を行い、ＲＷ制御部６が電子ズームの倍率に基づき、補間処理された画像データをレジスタ５に一時蓄積して所定のフレームレートで読み出すように構成しても良く、電子ズームを行う際のフレームレートを一定に保つことが可能である。
【００５４】
実施の形態２．
この発明の実施の形態２による撮像装置の構成を示すブロック図は、実施の形態１の図１と同様である。上記実施の形態１では、電子ズームの倍率によって制御される走査領域を指定する水平走査期間ＰＨ、垂直走査期間ＰＶを整数値として説明しているが、電子ズームの倍率によっては、この水平走査期間ＰＨ、垂直走査期間ＰＶが整数値にならない場合がある。この実施の形態２では、この水平走査期間ＰＨ、垂直走査期間ＰＶが整数値にならない場合でも、フレームレートを一定にするものである。
【００５５】
次に動作について説明する。
パラメータ演算部３は倍率指定部２により指定された電子ズームの倍率に基づき、電子ズームに係る撮像パラメータ、すなわち、画素単位の水平走査期間ＰＨ、行単位の垂直走査期間ＰＶを、実施の形態１の（１）式、（２）式の代わりに次の（１７）式、（１８）式により演算する。
ＰＨ＝ＩＮＴ｛ＰＨｉ×Ｎ｝　　　　　　　　　　　　　　　　　（１７）
ＰＶ＝ＩＮＴ｛ＰＶｉ÷Ｎ｝　　　　　　　　　　　　　　　　　（１８）
ここで、ＩＮＴは整数化関数であり、ＰＨｉは電子ズームの倍率が１倍の場合の水平走査期間、ＰＶｉは電子ズームの倍率が１倍の場合の垂直走査期間、Ｎは電子ズームの倍率である。
【００５６】
また、パラメータ演算部３は上記（１７）式、（１８）式の整数化関数により余剰となった端数画素走査期間ＰＲを次の（１９）式により演算する。
ＰＲ＝（ＰＨｉ×ＰＶｉ）−（ＰＨ×ＰＶ）　　　　　　　　　　（１９）
このとき、フレームレートの逆数であるフレーム期間Ｆｃは次の（２０）式となる。
Ｆｃ＝ＰＨ×ＰＶ＋ＰＲ　　　　　　　　　　　　　　　　　　　（２０）
ここで、端数画素走査期間ＰＲは、通常、水平走査期間ＰＨより小さく、次の（２１）式の関係がある。
０＜ＰＲ＜ＰＨ　　　　　　　　　　　　　　　　　　　　　　　（２１）
【００５７】
また、パラメータ演算部３は倍率指定部２により指定された電子ズームの倍率に基づき、垂直走査開始行ＶＳＴＲＴ、垂直走査行数ＶＳＩＺＥ、水平走査開始画素ＨＳＴＲＴ及び水平走査画素数ＨＳＩＺＥを、次の（２２）式から（２５）式により演算する。
ＶＳＴＲＴ＝ＩＮＴ｛ＶＳＩＺＥｉ÷２×（１−１／Ｎ）｝　　　　（２２）
ＶＳＩＺＥ＝ＩＮＴ｛ＶＳＩＺＥｉ÷Ｎ｝　　　　　　　　　　　　（２３）
ＨＳＴＲＴ＝ＩＮＴ｛ＨＳＩＺＥｉ÷２×（１−１／Ｎ）｝　　　　（２４）
ＨＳＩＺＥ＝ＩＮＴ｛ＨＳＩＺＥｉ÷Ｎ｝　　　　　　　　　　　　（２５）
【００５８】
撮像制御部４はパラメータ演算部３により演算された撮像パラメータ、すなわち水平走査期間ＰＨ、垂直走査期間ＰＶ、端数画素走査期間ＰＲ、垂直走査開始行ＶＳＴＲＴ及び垂直走査行数ＶＳＩＺＥに基づき、イメージセンサ部１に電子ズームする領域を含む走査領域を指定すると共に、イメージセンサ部１が走査領域を走査する際の走査タイミングを制御する。
【００５９】
図５は撮像制御部４が指定する走査領域を説明する図であり、図に示すように、電子ズームが１倍のときの走査領域ＰＨｉ×ＰＶｉに対して、Ｎ倍のときの走査領域をＰＨ×ＰＶ＋ＰＲにより指定し、１フレーム分の画素データのうち最後の行のみ、端数画素走査期間ＰＲだけ余分にイメージセンサ部１を走査させている。
【００６０】
図６は電子ズームの倍率を変更した場合のフレームレートを説明する図である。図６（ａ）は端数画素走査期間ＰＲを含めない場合であり、６（ｂ）は端数画素走査期間ＰＲを含めた場合である。この例では、ＰＨｉ＝８００、ＰＶｉ＝５８０、Ｎ＝１．２、ＰＲ＝３２０の場合である。電子ズームの倍率を１．２倍に変更すると、ＰＨ＝８００×１．２＝９６０、ＰＶ＝５８０÷１．２＝４８３．３３３．．．となり、フレームレートが一定となる整数解にならない。
【００６１】
そのため、図６（ａ）に示すように、端数画素走査期間ＰＲを含めない場合には、電子ズームの倍率を変更するとフレームレートは変化してしまうが、図６（ｂ）に示すように、端数画素走査期間ＰＲ＝３２０を含めた場合には、電子ズームの倍率を変更しても、走査領域のサイズが変化しないために、フレームレートは変化せず一定に保つことができる。これにより、撮像制御部４が指定する走査領域を、１画素を読み出す時間である画素サイクル単位で自由に変えることが可能となる。
【００６２】
その他のイメージセンサ部１、レジスタ５、ＲＷ制御部６、解像度変換部７の処理は、実施の形態１と同様である。
【００６３】
この実施の形態では、水平走査期間ＰＨ、垂直走査期間ＰＶを上記（１７）式、（１８）式により演算しているが、電子ズームの倍率がＮ１倍の場合の水平走査期間をＰＨ１、垂直走査期間をＰＶ１、端数画素走査期間ＰＲ１とし、１フレームの画像データの中央部をＮ２倍に電子ズームするものとすると、パラメータ演算部３は、電子ズームの倍率がＮ２倍の場合の水平走査期間ＰＨ２、垂直走査期間ＰＶ２及び端数画素走査期間ＰＲ２を、次の（２６）式から（２８）式により演算する。
ＰＨ２＝ＩＮＴ｛ＰＨ１×（Ｎ２／Ｎ１）｝　　　　　　　　　　　（２６）
ＰＶ２＝ＩＮＴ｛ＰＶ１÷（Ｎ２／Ｎ１）｝　　　　　　　　　　　（２７）
ＰＲ２＝（ＰＨ１×ＰＶ１＋ＰＲ１）−（ＰＨ２×ＰＶ２）　　　　（２８）
【００６４】
以上のように、この実施の形態２によれば、撮像制御部４が、電子ズームの倍率に基づき、イメージセンサ部１が走査する走査領域を、端数画素走査期間ＰＲを含めて指定し、小容量のレジスタ５を使用してイメージセンサ部１から出力される画像データの電子ズームの倍率によるデータレートのずれを補正することにより、大容量のフレームメモリを使用せずに、どのような倍率でも電子ズームを行う際のフレームレートを一定に保つことができるという効果が得られる。
【００６５】
また、この実施の形態２によれば、フレームレートを画素サイクル単位で自由に選択することができるという効果が得られる。
【００６６】
実施の形態３．
この発明の実施の形態３による撮像装置の構成を示すブロック図は、実施の形態１の図１と同様である。上記実施の形態２では、電子ズームが１倍のときの水平走査期間ＰＨｉ、垂直走査期間ＰＶｉを予め与えていたが、この実施の形態３では、電子ズームが１倍のときの水平走査期間ＰＨｉとフレームレートの逆数であるフレーム期間Ｆｃが与えられているものとする。
【００６７】
次に動作について説明する。
パラメータ演算部３は、電子ズームが１倍のときの垂直走査期間ＰＶｉ及び端数画素走査期間ＰＲｉを、次の（２９）式、（３０）式により演算する。
ＰＶｉ＝ＩＮＴ｛Ｆｃ÷ＰＨｉ）　　　　　　　　　　　　　　（２９）
ＰＲｉ＝Ｆｃ−（ＰＨｉ×ＰＶｉ）　　　　　　　　　　　　　（３０）
【００６８】
また、パラメータ演算部３は、電子ズームがＮ倍のときの画素単位の水平走査期間ＰＨを上記（１７）式により演算すると共に、垂直走査期間ＰＶを、上記（１８）式の代わりに次の（３１）式により演算し、端数画素走査期間ＰＲを次の（３２）式により演算する。
ＰＶ＝ＩＮＴ｛Ｆｃ÷ＰＨ｝　　　　　　　　　　　　　　　　（３１）
ＰＲ＝Ｆｃ−（ＰＨ×ＰＶ）　　　　　　　　　　　　　　　　（３２）
このように、パラメータ演算部３が水平走査期間ＰＨ及びフレーム期間Ｆｃのパラメータで撮像パラメータを演算する。その他の処理は実施の形態２と同様である。
【００６９】
この実施の形態では、電子ズームの倍率が１倍のときの垂直走査期間ＰＶｉ及び端数画素走査期間ＰＲｉを上記（２９）式、（３０）式により演算し、電子ズームの倍率がＮ倍の場合の水平走査期間ＰＨ、垂直走査期間ＰＶ及び端数画素走査期間ＰＲを（１７）式、（３１）式、（３２）式により演算しているが、電子ズームの倍率がＮ１倍の場合の水平走査期間をＰＨ１、フレーム期間をＦｃとし、１フレームの画像データの中央部をＮ２倍に電子ズームするものとすると、パラメータ演算部３は、電子ズームの倍率がＮ１倍の場合の垂直走査期間ＰＶ１及び端数画素走査期間ＰＲ１、電子ズームの倍率がＮ２倍の場合の水平走査期間ＰＨ２、垂直走査期間ＰＶ２及び端数画素走査期間ＰＲ２を、次の（３３）式から（３７）式により演算する。
【００７０】
ＰＶ１＝ＩＮＴ｛Ｆｃ÷ＰＨ１）　　　　　　　　　　　　　　　（３３）
ＰＲ１＝Ｆｃ−（ＰＨ１×ＰＶ１）　　　　　　　　　　　　　　（３４）
ＰＨ２＝ＩＮＴ｛ＰＨ１×（Ｎ２／Ｎ１）｝　　　　　　　　　　（３５）
ＰＶ２＝ＩＮＴ｛Ｆｃ÷ＰＨ２｝　　　　　　　　　　　　　　　（３６）
ＰＲ２＝Ｆｃ−（ＰＨ２×ＰＶ２）　　　　　　　　　　　　　　（３７）
【００７１】
以上のように、この実施の形態３によれば、実施の形態２と同様に、大容量のフレームメモリを使用せずに、どのような倍率でも電子ズームを行う際のフレームレートを一定に保つことができると共に、フレームレートを画素サイクル単位で自由に選択することができるという効果が得られる。
【００７２】
【発明の効果】
以上のように、この発明によれば、大容量のフレームメモリを使用せずに電子ズームを行う際のフレームレートを一定に保つことができるという効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による撮像装置の構成を示すブロック図である。
【図２】この発明の実施の形態１による撮像装置の撮像制御部が指定する走査領域を説明する図である。
【図３】この発明の実施の形態１による撮像装置のＲＷ制御部によるレジスタに対する画像データの書き込みと読み出しのタイミングチャートである。
【図４】イメージセンサ部の画素数に対するフレームメモリの有無による撮像装置の回路規模を説明する図である。
【図５】この発明の実施の形態２による撮像装置の撮像制御部が指定する走査領域を説明する図である。
【図６】この発明の実施の形態２による撮像装置において電子ズームの倍率を変更した場合のフレームレートを説明する図である。
【図７】従来の撮像装置の構成を示すブロック図である。
【図８】撮像制御部がイメージセンサ部に指定する走査領域を説明する図である。
【図９】イメージセンサ部が撮像制御部により指定された走査領域を走査する様子を示す図である。
【図１０】従来の撮像装置において電子ズームの倍率が１倍のときのフレームメモリの読み出しと書き込みの様子を説明する図である。
【図１１】従来の撮像装置において電子ズームの倍率が２倍のときのフレームメモリの読み出しと書き込みの様子を説明する図である。
【符号の説明】
１　イメージセンサ部、２　倍率指定部、３　パラメータ演算部、４　撮像制御部、５　レジスタ、６　ＲＷ制御部、７　解像度変換部。

Claims

電子ズームの倍率に基づき有効画素領域とブランキング領域から構成される走査領域を指定し、該走査領域を走査することにより、入力した光信号を電気信号に変換して蓄積し、蓄積されている電気信号を読み出して画像データとして出力し、上記電子ズームの倍率に基づき上記画像データを蓄積して所定のフレームレートで読み出し、上記電子ズームの倍率に基づき読み出された画像データの補間処理を行う撮像装置。
入力した光信号を電気信号に変換して蓄積すると共に蓄積されている電気信号を読み出して画像データとして出力するイメージセンサ部と、
電子ズームの倍率を指定する倍率指定部と、
該倍率指定部により指定された電子ズームの倍率に基づき電子ズームに係る撮像パラメータを演算するパラメータ演算部と、
該パラメータ演算部により演算された撮像パラメータに基づき、上記イメージセンサ部が走査する、有効画素領域とブランキング領域から構成される走査領域を指定すると共に、上記イメージセンサ部が上記走査領域を走査する際の走査タイミングを制御する撮像制御部と、
上記イメージセンサ部から出力された画像データの一部を一時的に保持するレジスタと、
上記パラメータ演算部により演算された撮像パラメータに基づき上記イメージセンサ部から出力された少なくとも１行分の画像データを上記レジスタに書き込むと共に、保持されている少なくとも１行分の画像データを所定のフレームレートで読み出すＲＷ制御部と、
上記パラメータ演算部により演算された撮像パラメータに基づき上記レジスタから読み出された画像データの補間処理を行い１フレーム分の画像データのサイズに変換して画像信号を出力する解像度変換部とを備えた撮像装置。
パラメータ演算部は撮像パラメータとして、電子ズームの第一の倍率における水平走査期間、垂直走査期間、垂直走査行数及び水平走査画素数に基づき、電子ズームの第二の倍率における水平走査期間、垂直走査期間、垂直走査開始行、垂直走査行数、水平走査開始画素及び水平走査画素数を演算し、撮像制御部は上記第二の倍率における水平走査期間、垂直走査期間、垂直走査開始行及び垂直走査行数に基づき走査領域を指定し、
ＲＷ制御部は上記第二の倍率における水平走査開始画素及び水平走査画素数に基づき少なくとも１行分の画像データをレジスタに書き込み、
解像度変換部は上記第二の倍率における水平走査開始画素及び水平走査画素数に基づき補間処理を行うことを特徴とする請求項２記載の撮像装置。
パラメータ演算部は、第二の倍率における水平走査期間及び垂直走査期間を、第一及び第二の倍率の比を使用して演算することを特徴とする請求項３記載の撮像装置。
パラメータ演算部は、整数化関数を使用して第二の倍率における水平走査期間及び垂直走査期間を演算すると共に、上記整数化関数により余剰となった端数画素走査期間を演算し、
撮像制御部は上記端数画素走査期間を含めて走査領域を指定することを特徴とする請求項４記載の撮像装置。
パラメータ演算部は撮像パラメータとして、電子ズームの第一の倍率における水平走査期間、フレームレートを規定するフレーム期間、垂直走査行数及び水平走査画素数に基づき、第一及び第二の倍率の比及び整数化関数を使用して上記第二の倍率における水平走査期間及び垂直走査期間を演算し、上記整数化関数により余剰となった端数画素走査期間を演算すると共に、上記第二の倍率における垂直走査開始行、垂直走査行数、水平走査開始画素及び水平走査画素数を演算し、
撮像制御部は上記第二の倍率における水平走査期間、垂直走査期間、垂直走査開始行及び垂直走査行数に基づき走査領域を指定し、
ＲＷ制御部は上記第二の倍率における水平走査開始画素及び水平走査画素数に基づき少なくとも１行分の画像データをレジスタに書き込み、
解像度変換部は上記第二の倍率における水平走査開始画素及び水平走査画素数に基づき補間処理を行うことを特徴とする請求項２記載の撮像装置。
電子ズームの倍率に基づき有効画素領域とブランキング領域から構成される走査領域を指定し、該走査領域を走査することにより、入力した光信号を電気信号に変換して蓄積し、蓄積されている電気信号を読み出して画像データとして出力し、上記電子ズームの倍率に基づき読み出された画像データの補間処理を行い、上記電子ズームの倍率に基づき、補間処理された画像データを蓄積して所定のフレームレートで読み出す撮像装置。