JP2007259428A - 撮像素子、撮像装置、撮像システム、撮像方法、モーションデータ生成システム、モーションデータ生成プログラム及びモーションデータ生成方法 - Google Patents

Abstract

【課題】所定露光時間に対応した通常フレームレートの画像と、所定露光時間以下の複数種類の露光時間に対応した高速フレームレートの画像とを同時に撮像できる撮像素子及び撮像装置、並びに当該撮像装置を利用したモーションデータ生成システム、モーションデータ生成プログラム及びモーションデータ生成方法を提供する。
【解決手段】撮像装置１を、光電変換素子等から構成される撮像素子１００と、撮像素子１００からの画素信号を破壊読み出し方式及び非破壊読み出し方式の両方式を用いて読み出す撮像処理部１０と、撮像処理部１０から出力される、複数回の間引き走査において非破壊読み出し方式で読み出された間引き走査画像データに基づき高フレームレート画像データを生成する画像処理部１２と、通常走査画素データ、間引き走査画像データ及び高フレームレート画像データ等の各種画像データを記憶するフレームメモリ１４とを含んだ構成とした。
【選択図】図１

Description

本発明は、光電変換素子からの電荷の読み出しを、破壊読み出し方式及び非破壊読み出し方式の両方を用いて行うことが可能な撮像装置及び当該撮像装置を利用したモーションデータ生成システムに関する。

従来、リアルな動きのＣＧ（Computer Graphics）キャラクタが要求される映画やゲームなどの分野においては、例えば、人間の身体運動をコンピュータに取り込むモーションキャプチャが良く用いられる。モーションキャプチャの手法は幾つか存在するが、比較的ポピュラーな手法は光学式である。光学式とは、撮像装置（カメラ）でマーカを付けた対象物体（人間など）を撮影し、この撮影により得た画像データを画像処理してマーカの位置を検出し、対象物体の動き（モーション）データを取得（生成）する方法である。光学式においては、高速フレームレートの撮像装置（カメラ）が使用される。これはフレームレートが高ければ、１フレームあたりのマーカの移動量が小さくなり位置検出の精度が向上するためである。しかし、高速フレームレートのカメラを用いると露光時間が短くなるため、光量不足となり、撮影画像からマーカの位置を検出することが困難になる。そのため、モーションキャプチャ装置において対象物体の動作をキャプチャする際に、例えば、補助光装置（例えば、ストロボ）及び光を反射するマーカを組み合わせて光量不足となるのを防いでいる（特許文献１参照）。
特開２００３―１０６８１２号公報

しかしながら、上記特許文献１の従来技術にあっては、位置検出の精度を高めるために、高速なフレームレートで対象物体の撮影を行うと、光量の多いマーカは正確に撮影できても、対象物体の外観及び背景などを正確（精細）に撮影することができない。そのため、対象物体のモーションデータと共に対象物体の精細な外観及び背景などの画像が必要なときは、別途、対象物体の精細な外観及び背景などの画像が得られるフレームレート（通常フレームレート）で対象物体の撮影を行う必要がある。

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、所定露光時間に対応した通常フレームレートの画像と、所定露光時間以下の複数種類の露光時間に対応した高速フレームレートの画像とを同時に撮像できる撮像素子、撮像装置、撮像システム及び撮像方法、並びに当該撮像装置、撮像システム又は撮像方法を利用したモーションデータ生成システム、モーションデータ生成プログラム及びモーションデータ生成方法を提供することを目的としている。

〔形態１〕 上記目的を達成するために、形態１の撮像素子は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出手段と、
前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第１出力チャンネルと、
前記第２読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第２出力チャンネルと、を備え、
前記第２読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。

このような構成であれば、第１読出手段によって、前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行うことが可能であり、第２読出手段によって、前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行うことが可能である。

更に、第１出力チャンネルによって、前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、第２出力チャンネルによって、前記第２読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能である。

なお更に、前記第２読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことが可能である。
つまり、第１読出手段によって、所定露光時間の露光で光電変換部の各画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第２読出手段によって、前記光電変換部の画素のうち所定画素を間引いた残りの画素に対して、複数回の走査を行い、前記所定露光時間以下の複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。更に、第１読出手段で走査し読み出した所定露光時間で露光した時の画素データは第１出力チャンネルから出力し、第２読出手段で走査し読み出した所定露光時間以下の複数種類の露光時間で露光時の画素データは第２出力チャンネルから出力するようにしたので、破壊読み出し方式で読み出した画素データと、非破壊読み出し方式で読み出した画素データとをそれぞれ独立に出力することができる。

また、第２読出手段においては、所定画素を間引きした残りの画素に対して走査を行うため、全画素に対して走査を行うよりも高速な走査が可能になる。更に、各画素からの電荷の読み出しを非破壊読み出し方式で行うと共に、所定露光時間の露光期間中に、所定露光時間以下の複数種類の露光時間で複数回の走査を行うようにしたので、高速なフレームレートで電荷を読み出すことができる。これにより、被写体の高速な動きに追随して、所定露光時間では捉えきれない動作中（位置変位途中）の被写体画像を撮像することが可能となる。また、電荷の読み出しを非破壊読み出し方式で行うことで、所定露光時間の露光期間において複数回の走査を行っても各画素の蓄積電荷量を維持することができる。

例えば、比較的輝度が高く且つ動きのある被写体（例えば、モーションキャプチャのマーカなど）及び比較的輝度の低い（暗い）背景から構成される撮像対象を撮像する場合に、第１読出手段で読み出した所定露光時間で露光時の電荷から構成される画素データから、被写体及び背景が十分な露光時間で露光された鮮明な画像を得ることができると共に、第２読出手段で読み出した、複数回の走査による所定露光時間以下の複数種類の露光時間で露光時の電荷から構成される画素データから、被写体の動きに追従し被写体の動きを正確に捉えた複数の画像を得ることができる。

つまり、所定露光時間の露光期間において、撮像対象が鮮明に撮像された撮像画像と、被写体の動きを正確に捉えた複数の撮像画像とを同時に得ることができるという効果が得られる。
また、間引きする画素数を変更することによって、簡易にフレームレートを変更（高速化）することができるという効果も得られる。

ここで、上記「光電変換部」は、例えば、ＣＭＯＳ技術を用いて構成されており、ＣＭＯＳ技術を利用した非破壊読み出し可能な撮像素子としては、閾値変調型撮像素子（例えば、ＶＭＩＳ（Threshold Voltage Modulation Image Sensor））などがある。以下、形態２の撮像素子、形態３及び６の撮像装置、形態１３及び１４の撮像システム、形態１５及び１６の撮像方法において同じである。

また、上記「破壊読読み出し方式」は、撮像装置の撮像素子（光電変換部）を構成する光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にするリセット処理を伴うものである。以下、形態２の撮像素子、形態３及び６の撮像装置、形態１３及び１４の撮像システム、形態１５及び１６の撮像方法において同じである。

また、上記「非破壊読み出し方式」は、前記光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出すものである。つまり、電荷読み出し時にリセット処理を伴わないため、設定された露光時間に至るまで、電荷の蓄積途中において、何度でも電荷の読み出しを行うことができる。以下、形態２の撮像素子、形態３及び６の撮像装置、形態１３及び１４の撮像システム、形態１５及び１６の撮像方法において同じである。

〔形態２〕 また、上記目的を達成するために、形態２の撮像素子は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでＮ個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出手段と、
前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第１出力チャンネルと、
前記第２読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したＮ個（Ｎは２以上の自然数）の第２〜第（Ｎ＋１）出力チャンネルと、を備え、
前記第２読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。

このような構成であれば、第１読出手段によって、前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行うことが可能であり、第２読出手段によって、前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行うことが可能である。

更に、第１出力チャンネルによって、前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、前記各組毎に独立した第２〜第（Ｎ＋１）出力チャンネルによって、前記第２読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能である。

なお更に、前記第２読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことが可能である。
つまり、第１読出手段によって、所定露光時間の露光で光電変換部の各画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第２読出手段によって、前記光電変換部の画素のうち所定画素を間引いた残りの画素に対して、各組毎に走査を行い、各組毎に独立に前記所定露光時間以下の複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。更に、第１読出手段で走査し読み出した所定露光時間で露光した時の画素データは第１出力チャンネルから出力し、第２読出手段で走査し読み出した各組の所定露光時間以下の複数種類の露光時間で露光時の画素データは第２〜第（Ｎ＋１）出力チャンネルから出力するようにしたので、破壊読み出し方式で読み出した画素データと、非破壊読み出し方式で読み出した各組の画素データとをそれぞれ独立に出力することができる。

また、第２読出手段においては、所定画素を間引きした残りの画素に対して走査を行うため、全画素に対して走査を行うよりも高速な走査が可能になる。更に、各画素からの電荷の読み出しを非破壊読み出し方式で行うと共に、所定露光時間の露光期間中に、所定露光時間以下の複数種類の露光時間で複数回の走査を行うようにしたので、高速なフレームレートで電荷を読み出すことができる。これにより、被写体の高速な動きに追随して、所定露光時間では捉えきれない動作中（位置変位途中）の被写体画像を撮像することが可能となる。また、電荷の読み出しを非破壊読み出し方式で行うことで、所定露光時間の露光期間において複数回の走査を行っても各画素の蓄積電荷量を維持することができる。また、間引きする画素数を変更することによって、簡易にフレームレートを変更することが可能である。更に、出力チャンネル数を物理的に増やすことによって、走査回数を簡易に増加することができ、これにより、所定露光期間中における同一画素に対する電荷の読み出し回数を簡易に増加することが可能である。

例えば、比較的輝度が高く且つ動きのある被写体（例えば、モーションキャプチャのマーカなど）及び比較的輝度の低い（暗い）背景から構成される撮像対象を撮像する場合に、第１読出手段で読み出した所定露光時間で露光時の電荷から構成される画素データから、被写体及び背景が十分な露光時間で露光された鮮明な画像を得ることができると共に、第２読出手段で読み出した、複数回の走査による所定露光時間以下の複数種類の露光時間で露光時の電荷から構成される画素データから、被写体の動きに追従し被写体の動きを正確に捉えた複数の画像を得ることができる。

つまり、所定露光時間の露光期間において、撮像対象が鮮明に撮像された撮像画像と、被写体の動きを正確に捉えた複数の撮像画像とを同時に得ることができるという効果が得られる。
また、間引き画素数や出力チャンネル数を増やすことによって、簡易に、より高速なフレームレートで電荷を読み出すことができるという効果も得られる。

〔形態３〕 一方、上記目的を達成するために、形態３の撮像装置は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出手段と、
前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する}第１出力チャンネルと、
前記第２読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第２出力チャンネルと、
前記第１出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第２出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第２読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。

このような構成であれば、第１読出手段によって、前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行うことが可能であり、第２読出手段によって、前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行うことが可能である。

更に、第１出力チャンネルによって、前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、第２出力チャンネルによって、前記第２読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、通常撮像画像データ生成手段によって、前記第１出力チャンネルから出力される画素データに基づき、所定露光時間で露光時の撮像画像データを生成することが可能であり、高速撮像画像データ生成手段によって、前記第２出力チャンネルからそれぞれ出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成することが可能である。

なお更に、前記第２読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことが可能である。
つまり、第１読出手段によって、所定露光時間の露光で光電変換部の各画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第２読出手段によって、前記光電変換部の画素のうち所定画素を間引いた残りの画素に対して、複数回の走査を行い、前記所定露光時間以下の複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。更に、第１読出手段で走査し読み出した所定露光時間で露光時の画素データは第１出力チャンネルから出力し、第２読出手段で走査し読み出した所定露光時間以下の複数種類の露光時間で露光時の画素データは、各走査毎に第２出力チャンネルからそれぞれ独立に出力するようにしたので、破壊読み出し方式で読み出した画素データと、非破壊読み出し方式で読み出した画素データとをそれぞれ独立に出力することができる。

また、第２読出手段においては、所定画素を間引きした残りの画素に対して走査を行うため、全画素に対して走査を行うよりも高速な走査が可能になる。更に、各画素からの電荷の読み出しを非破壊読み出し方式で行うと共に、所定露光時間の露光期間中に、所定露光時間以下の複数種類の露光時間で複数回の走査を行うようにしたので、高速なフレームレートで電荷を読み出すことができる。これにより、被写体の高速な動きに追随して、所定露光時間では捉えきれない動作中（位置変位途中）の被写体画像を撮像することが可能となる。また、電荷の読み出しを非破壊読み出し方式で行うことで、所定露光時間の露光期間において複数回の走査を行っても各画素の蓄積電荷量を維持することができる。また、間引きする画素数を変更することによって、簡易にフレームレートを変更することが可能である。

例えば、比較的輝度が高く且つ動きのある被写体（例えば、モーションキャプチャのマーカなど）及び比較的輝度の低い（暗い）背景から構成される撮像対象を撮像する場合に、第１読出手段で読み出した所定露光時間で露光時の電荷から構成される画素データから通常撮像画像データを生成するようにしたので、被写体及び背景が十分な露光時間で露光された鮮明な画像を得ることができる。更に、第２読出手段で読み出した、複数回の走査による所定露光時間以下の複数種類の露光時間で露光時の電荷から構成される画素データから各走査毎の高速撮像画像データを生成するようにしたので、被写体の動きに追従し且つ被写体を鮮明に捉えた複数の画像を得ることができる。
つまり、所定露光時間の露光期間において、撮像対象が鮮明に撮像された撮像画像と、被写体の動きを正確に捉えた複数の撮像画像とを同時に得ることができるという効果が得られる。

〔形態４〕 更に、形態４の撮像装置は、形態３の撮像装置において、
前記第２出力チャンネルは、前記画素のライン毎に前記画素データを出力するようになっており、
前記第２読出手段は、前記複数回の走査を、前記画素群から所定ラインの画素を間引いた残りのラインの画素に対して行うようになっていることを特徴としている。
このような構成であれば、所定の画素をライン単位で間引くことができるので、走査を行うライン数の調整が簡易であると共に、当該走査を行う画素のライン数の調整によって、フレームレートを簡易に変更することができるという効果が得られる。

〔形態５〕 更に、形態５の撮像装置は、形態３又は４の撮像装置において、
前記高速撮像画像データ生成手段は、前記複数回の走査における各回の走査毎に、前記第２出力チャンネルから出力される画素データの画素値と、前記第２出力チャンネルから前記各回の走査の１つ前の回の走査において出力される画素データの画素値との差分値を算出すると共に、当該差分値に基づき、前記各回の走査にそれぞれ対応する撮像画像データを生成することを特徴としている。

このような構成であれば、前記複数回の走査における各回の走査時に読み出した画素データとその１つ前の回の走査時に読み出した画素データとの差分値を算出することができるので、各回の走査毎にそれぞれ対応する画素データから、非破壊読み出し方式で問題となる固定パターンノイズを除去又は低減することが可能となる。
従って、固定パターンノイズを除去又は低減した画素データから撮像画像データを生成することができるので、固定パターンノイズによる画質劣化を防ぐ又は低減することができるという効果が得られる。

ここで、「固定パターンノイズ」には、長時間露光時に問題になる暗電流シェーディングや、画素ごとのセンサ感度の違いによって発生するものなどがある。以下、形態２の撮像素子、形態３及び６の撮像装置、形態１３及び１４の撮像システム、形態１５及び１６の撮像方法において同じである。

〔形態６〕 一方、上記目的を達成するために、形態６の撮像装置は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでＮ個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出手段と、
前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第１出力チャンネルと、
前記第２読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したＮ個（Ｎは２以上の自然数）の第２〜第（Ｎ＋１）出力チャンネルと、
前記第１出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第２〜第（Ｎ＋１）出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第２読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。

このような構成であれば、第１読出手段によって、前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行うことが可能であり、第２読出手段によって、前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行うことが可能である。

更に、第１出力チャンネルによって、前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、前記各組毎に独立した第２〜第（Ｎ＋１）出力チャンネルによって、前記第２読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力することが可能であり、通常撮像画像データ生成手段によって、前記第１出力チャンネルから出力される画素データに基づき、所定露光時間で露光時の撮像画像データを生成することが可能であり、高速撮像画像データ生成手段によって、前記第２〜第（Ｎ＋１）出力チャンネルからそれぞれ出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成することが可能である。

なお更に、前記第２読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことが可能である。
つまり、第１読出手段によって、所定露光時間の露光で光電変換部の各画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第２読出手段によって、前記光電変換部の画素のうち所定画素を間引いた残りの画素に対して、各組毎に走査を行い、各組毎に独立に前記所定露光時間以下の複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。更に、第１読出手段で走査し読み出した所定露光時間で露光した時の画素データは第１出力チャンネルから出力し、第２読出手段で走査し読み出した各組の所定露光時間以下の複数種類の露光時間で露光時の画素データは第２〜第（Ｎ＋１）出力チャンネルから出力するようにしたので、破壊読み出し方式で読み出した画素データと、非破壊読み出し方式で読み出した各組の画素データとをそれぞれ独立に出力することができる。

また、第２読出手段においては、所定画素を間引きした残りの画素に対して走査を行うため、全画素に対して走査を行うよりも高速な走査が可能になる。更に、各画素からの電荷の読み出しを非破壊読み出し方式で行うと共に、所定露光時間の露光期間中に、所定露光時間以下の複数種類の露光時間で複数回の走査を行うようにしたので、高速なフレームレートで電荷を読み出すことができる。これにより、被写体の高速な動きに追随して、所定露光時間では捉えきれない動作中（位置変位途中）の被写体画像を撮像することが可能となる。また、電荷の読み出しを非破壊読み出し方式で行うことで、所定露光時間の露光期間において複数回の走査を行っても各画素の蓄積電荷量を維持することができる。また、間引きする画素数を変更することによって、簡易にフレームレートを変更することが可能である。更に、出力チャンネル数を物理的に増やすことによって、走査回数を簡易に増加することができ、これにより、所定露光期間中における同一画素に対する電荷の読み出し回数を簡易に増加することが可能である。

例えば、比較的輝度が高く且つ動きのある被写体（例えば、モーションキャプチャのマーカなど）及び比較的輝度の低い（暗い）背景から構成される撮像対象を撮像する場合に、第１読出手段で読み出した所定露光時間で露光時の電荷から構成される画素データから通常撮像画像データを生成するようにしたので、被写体及び背景が十分な露光時間で露光された鮮明な画像を得ることができる。更に、第２読出手段で読み出した、複数回の走査による所定露光時間以下の複数種類の露光時間で露光時の電荷から構成される画素データから各走査毎の高速撮像画像データを生成するようにしたので、被写体の動きに追従し且つ被写体を鮮明に捉えた複数の画像を得ることができる。

つまり、所定露光時間の露光期間において、撮像対象が鮮明に撮像された撮像画像と、被写体の動きを正確に捉えた複数の撮像画像とを同時に得ることができるという効果が得られる。
また、間引き画素数や出力チャンネル数を増やすことによって、簡易に、より高速なフレームレートで電荷を読み出すことができるという効果も得られる。

〔形態７〕 更に、形態７の撮像装置は、形態６の撮像装置において、
前記第２〜第（Ｎ＋１）出力チャンネルは、前記画素のライン毎に前記画素データを出力するようになっており、
前記第２読出手段は、前記複数回の走査を、前記画素群から所定ラインの画素を間引いた残りのラインの画素に対して行うようになっていることを特徴としている。
このような構成であれば、所定の画素をライン単位で間引くことができるので、走査を行うライン数の調整が簡易であると共に、当該走査を行う画素のライン数の調整によって、フレームレートを簡易に変更することができるという効果が得られる。

〔形態８〕 更に、形態８の撮像装置は、形態６又は７の撮像装置において、
前記高速撮像画像データ生成手段は、前記複数回の走査における各回の走査毎に、前記第２〜第（Ｎ＋１）出力チャンネルから出力される画素データの画素値と、前記第２〜第（Ｎ＋１）出力チャンネルから前記各回の走査の１つ前の回の走査において出力される画素データの画素値との差分値を算出すると共に、当該差分値に基づき、前記各回の走査にそれぞれ対応する撮像画像データを生成することを特徴としている。
このような構成であれば、所定の画素をライン単位で間引くことができるので、走査を行うライン数の調整が簡易であると共に、当該走査を行う画素のライン数の調整によって、フレームレートを簡易に変更することができるという効果が得られる。

〔形態９〕 一方、上記目的を達成するために、形態９のモーションデータ生成システムは、
所定動作を行う動作体の動作内容を示すモーションデータを生成するモーションデータ生成システムであって、
請求項３乃至請求項８のいずれか１項に記載の撮像装置を備え、
前記撮像装置は、位置検出用のマーカが付された前記動作体を含む撮像対象に対する、前記所定露光時間で露光時の画素データを前記第１読出手段によって読み出すと共に、前記複数種類の露光時間で露光時の画素データを前記第２読出手段によって読み出し、
前記撮像装置における前記高速撮像画像データ生成手段で生成された撮像画像データに基づき、前記マーカの位置を検出する位置検出手段と、
前記位置検出手段の検出結果に基づき前記モーションデータを生成するモーションデータ生成手段と、を備えることを特徴としている。

このような構成であれば、請求項３乃至請求項８のいずれか１項に記載の撮像装置において、位置検出用のマーカが付された前記動作体を含む撮像対象に対する、所定露光時間で露光時の画素データ及び複数種類の露光時間で露光時の画素データを読み出すことが可能である。
更に、位置検出手段によって、前記撮像装置における前記高速撮像画像データ生成手段で生成された撮像画像データに基づき、前記マーカの位置を検出することが可能であり、モーションデータ生成手段によって、前記位置検出手段の検出結果に基づき前記モーションデータを生成することが可能である。

従って、高輝度のマーカを付された動作体に対して、高速なフレームレートで電荷を読み出すことができるので、動作体の動きに追随して、所定露光時間では捉えきれない変位中のマーカの画像を取得することが可能である。そして、このようなマーカの画像からマーカの位置を検出することができるので、動作体の動きに対して精度の高い位置検出を行うことが可能であり、これにより、動作体の動きに対してより正確なモーションデータを生成することができるという効果が得られる。また、所定露光時間に対応する撮像画像データからは、鮮明な背景画像（あるは他の動作体画像）のデータや、鮮明な動作体画像のデータが取得できるので、これらの画像データをモーションデータの生成とは別の用途に利用することが可能である。

ここで、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。

〔形態１０〕 更に、形態１０のモーションデータ生成装置は、形態９のモーションデータ生成装置において、
前記撮像装置における前記通常撮像画像データ生成手段で生成された撮像画像データから、前記動作体のテクスチャデータを抽出するテクスチャデータ抽出手段を備えることを特徴としている。

このような構成であれば、テクスチャデータ抽出手段によって、前記撮像装置における前記通常撮像画像データ生成手段で生成された撮像画像データから、前記動作体のテクスチャデータを抽出することが可能である。
従って、高速なフレームレートで撮像した撮像画像データからはモーションデータを、動作体を鮮明に撮像した撮像画像データからテクスチャデータを生成することができるので、モーションキャプチャ用の撮像画像と、テクスチャーデータ取得用の撮像画像とを、それぞれを別々に撮像する手間を省くことができるという効果が得られる。

〔形態１１〕 また、上記目的を達成するために、形態１１のモーションデータ生成プログラムは、
所定動作を行う動作体の動作内容を示すモーションデータを生成するためのモーションデータ生成プログラムであって、
請求項３乃至請求項８のいずれか１項に記載の撮像装置における前記高速撮像画像データ生成手段で生成された、位置検出用のマーカが付された前記動作体を含む撮像対象に対する撮像画像データに基づき、前記マーカの位置を検出する位置検出ステップと、
前記位置検出ステップの検出結果に基づき前記モーションデータを生成するモーションデータ生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態９のモーションデータ生成システムと同等の作用および効果が得られる。

〔形態１２〕 また、上記目的を達成するために、形態１２のモーションデータ生成方法は、
所定動作を行う動作体の動作内容を示すモーションデータを生成するためのモーションデータ生成方法であって、
請求項３乃至請求項８のいずれか１項に記載の撮像装置における前記高速撮像画像データ生成手段で生成された、位置検出用のマーカが付された前記動作体を含む撮像対象に対する撮像画像データに基づき、前記マーカの位置を検出する位置検出ステップと、
前記位置検出ステップの検出結果に基づき前記モーションデータを生成するモーションデータ生成ステップと、を含むことを特徴としている。
これにより、形態９のモーションデータ生成システムと同等の効果が得られる。

〔形態１３〕 一方、上記目的を達成するために、形態１３の撮像システムは、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出手段と、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出手段と、
前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第１出力チャンネルと、
前記第２読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第２出力チャンネルと、
前記第１出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第２出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第２読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。

これにより、形態３の撮像装置と同等の作用及び効果が得られる。
ここで、本システムは、単一の装置、端末その他の機器（この場合は、形態３の撮像装置と同等）として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。

〔形態１４〕 また、上記目的を達成するために、形態１４の撮像システムは、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出手段と、
前記各画素に対して行う複数回の走査を所定の組み合わせでＮ個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出手段と、
前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第１出力チャンネルと、
前記第２読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したＮ個（Ｎは２以上の自然数）の第２〜第（Ｎ＋１）出力チャンネルと、
前記第１出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
前記第２〜第（Ｎ＋１）出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
前記第２読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。

これにより、形態６の撮像装置と同等の作用及び効果が得られる。
ここで、本システムは、単一の装置、端末その他の機器（この場合は、形態６の撮像装置と同等）として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。

〔形態１５〕 一方、上記目的を達成するために、形態１５の撮像方法は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部を有する撮像装置に用いられる撮像方法であって、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出ステップと、
前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出ステップと、
前記第１読出ステップで読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第１出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成ステップと、
前記第２読出ステップで読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第２出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成ステップと、を含み、
前記第２読出ステップは、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
これにより、形態３の撮像装置と同等の作用及び効果が得られる。

〔形態１６〕 一方、上記目的を達成するために、形態１６の撮像方法は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部を有する撮像装置に用いられる撮像方法であって、
前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出ステップと、
前記各画素に対して行う複数回の走査を所定の組み合わせでＮ個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出ステップと、
前記第１読出ステップで読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第１出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成ステップと、
前記第２読み出しステップで読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したＮ個（Ｎは２以上の自然数）の第２〜第（Ｎ＋１）出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成ステップと、を含み、
前記第２読出ステップは、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴としている。
これにより、形態６の撮像装置と同等の作用及び効果が得られる。

〔第１の実施の形態〕
以下、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の実施の形態（第１の実施の形態）を、図面に基づいて説明する。図１〜図８は、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第１の実施の形態を示す図である。
以下、図１に基づき、本発明に係る撮像装置１の概略構成を説明する。ここで、図１は、本発明に係る撮像装置１の概略構成を示すブロック図である。

撮像装置１は、図１に示すように、光電変換素子等から構成される撮像素子１００（後述）と、撮像素子１００からの画素信号を破壊読み出し方式及び非破壊読み出し方式の両方式を用いて読み出し、当該読み出した画素信号の画素データを出力する撮像処理部１０と、撮像処理部１０から出力される非破壊読み出し方式で読み出された画素データに基づき、高フレームレート画像データを生成する等の画像処理を行う画像処理部１２と、撮像処理部１０から出力される通常走査画素データ及び間引き走査画像データ、画像処理部１２で生成される高フレームレート画像データ等の各種画像データを記憶するフレームメモリ１４とを含んで構成される。

また、本実施の形態における撮像装置１は、不図示の外部装置（システムコントローラ）からの各種制御信号に基づき、後述する間引き走査処理等の各種処理が制御され且つ実行される。
撮像処理部１０は、撮像素子１００と、第１のＡＦＥ(Analog Front End)１０２と、第２のＡＦＥ１０４とを含んで構成される。

撮像素子１００は、被写体からの光を撮像レンズ（不図示）でセンサセルアレイ５６（後述）に集光し、その集光量に応じた電荷をセンサセルアレイ５６の各画素に蓄積させる。
また、撮像素子１００は、駆動パルス発生器５２（後述）から出力される駆動信号に基づいて、通常露光時間（ユーザ等によって任意の時間に設定可能）でセンサセルアレイ５６の各画素列を順次走査（以下、通常走査と称す）する。そして、各走査された各画素列に蓄積されている電荷群を電圧群に変換して順次読み出すと共に、各画素列の蓄積電荷をリセット（蓄積電荷を空にする）する。更に、読み出した電圧群（画素信号）を、第１ラインメモリを含んで構成される第１出力チャンネル５８（後述）を介して第１のＡＦＥ１０２に順次出力する。

また、撮像素子１００は、駆動パルス発生器５２（後述）から出力される駆動信号に基づいて、センサセルアレイ５６を構成する画素列群を、システムコントローラから指定される間引き量に従って、所定量の画素列を間引きながら走査（以下、間引き走査と称す）する。そして、各走査された画素列から電圧群（画素信号）を読み出す（このとき、蓄積電荷のリセットは行わない）。なお、間引き走査は、通常露光時間の露光期間において複数回行う。つまり、１回の露光期間において、複数回の間引き走査における各走査時に蓄積された電荷群を順次電圧群に変換して読み出し、当該読み出した電圧群（画素信号）を、各走査毎に第２ラインメモリを含んで構成される第２出力チャンネル６０（後述）を介して第２のＡＦＥ１０４に順次出力する。

このように、本実施の形態においては、破壊読み出し方式及び非破壊読み出し方式の両方式を併用して各画素からの電荷の読み出しを行うことによって、１回の露光期間（通常露光時間）において、各画素列の通常露光時間での露光時の画素信号を破壊読み出し方式で読み出すと共に、複数回の間引き走査による各画素列の通常露光時間以下の露光時間で露光時の画素信号を非破壊読み出し方式で読み出す。

更に、図２に基づき、撮像素子１００の内部構成を説明する。ここで、図２は、撮像素子１００の内部構成を示す図である。
撮像素子１００は、図２に示すように、基準タイミング発生器５０と、駆動パルス発生器５２と、走査ラインスキャナ５４と、センサセルアレイ５６と、第１出力チャンネル５８と、第２出力チャンネル６０とを含んで構成される。

基準タイミング発生器５０は、画像処理部１２のタイミング制御部１２ｂ（後述）からの垂直同期信号０及び水平同期信号に基づき、基準タイミング信号を発生する。
駆動パルス発生器５２は、基準タイミング発生器５０からの基準タイミング信号と、走査ラインスキャナ５４からのリセットライン選択信号及び読出しライン選択信号とに基づき駆動パルスを発生してセンサセルアレイ５６に供給する。

走査ラインスキャナ５４は、画像処理部１２の通信器１２ａ（後述）からの間引き量の情報（駆動制御信号）に基づき、センサセルアレイ５６の画素列群に対するリセットラインの位置を選択してリセットライン選択信号を生成すると共に、通常走査及び間引き走査に対する読み出しラインの位置をそれぞれ選択して読み出しライン選択信号を生成する。そして、これら生成した選択信号を駆動パルス発生器５２に出力する。また、間引き走査に対する基準同期信号である垂直同期信号１を生成して、これを駆動パルス発生器５２及び画像処理部１２のタイミング制御部１２ｂ（後述）にそれぞれ出力する。

センサセルアレイ５６は、ＣＭＯＳ技術を用いて各画素が構成されており、駆動パルス発生器５２から供給される駆動パルスに基づき、各画素列を通常露光時間で露光し、当該露光により各画素列に蓄積された電荷群を、各画素列毎に破壊読み出し方式で順次読み出す。つまり、電荷群の読み出し後に蓄積電荷のリセットも行う。更に、各画素列毎にリセット直後の画素信号を、非破壊読み出し方式で読み出して第１出力チャンネル５８に順次出力する。また、センサセルアレイ５６は、この通常露光時間の露光期間において、複数回の間引き走査を行い、各走査毎に、各画素列に蓄積された電荷群を、各走査された画素列毎に順次非破壊読み出し方式で読み出して第２出力チャンネル６０に順次出力する。

第１出力チャンネル５８は、センサセルアレイ５６から読み出された通常露光時間に対応する画素信号データを各画素列毎に第１ラインメモリを構成する第１ラインメモリＳに記憶すると共に、リセット直後の画素信号データを、各画素列毎に第１ラインメモリを構成する第１ラインメモリＮに記憶する。そして、当該記憶した通常露光時間及びリセット直後の画素信号データを、差動増幅器６２（図６に図示）にそれぞれ出力する。

差動増幅器６２は、通常露光時間及びリセット直後の画素信号データに対して減算処理を行い、当該減算処理後の画素信号を第１のＡＦＥ１０２に出力する。
第２出力チャンネル６０は、センサセルアレイ５６から各走査毎にそれぞれ読み出された各走査時の露光時間に対応する画素信号データを、各走査毎に且つ各画素列毎に第２ラインメモリに記憶する。そして、当該記憶した画素信号データを第２のＡＦＥ１０４に出力する。

更に、図３に基づき、センサセルアレイ５６の詳細構成を説明する。ここで、図３は、センサセルアレイ５６の詳細構成を示す図である。
図３に示すように、センサセルアレイ５６は、ＣＭＯＳを用いて構成された複数のセンサセル（画素）５６ａをマトリクス状に配設し、各画素列毎に、各画素列を構成するセンサセル５６ａに対して、アドレス線、リセット線及び読出し線が共通に接続され、この３本の制御線を介して各種駆動信号が各画素列を構成するセンサセル５６ａに送信される。そして、アドレス線及び読出し線が有効になると、図３に示す信号線を介して蓄積電荷を第１又は第２出力チャンネル５８又は６０に転送する構成となっている。このような構成によって、アドレス線により、リセット動作又は読出し動作を行わせる画素列を有効に（選択）し、当該選択信号で選択した画素列の各センサセル５６ａに対して、リセット動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。選択信号によって選択された各センサセル５６ａは、リセット動作を指示する信号が入力されたときはリセット動作を行い、蓄積電荷の転送を指示する信号が入力されたときは、信号線を介して第１又は第２出力チャンネル５８又は６０への蓄積電荷の転送を行う。

更に、図４に基づき、走査ラインスキャナ５４の内部構成を説明する。ここで、図４は、走査ラインスキャナ５４の内部構成を示す図である。
走査ラインスキャナ５４は、図４に示すように、通常走査カウンタ５４ａと、通常走査アドレスデコーダ５４ｂと、間引き走査カウンタ５４ｃと、間引き走査アドレスデコーダ５４ｄと、ＯＲロジック５４ｅとを含んで構成される。

通常走査カウンタ５４ａは、基準タイミング発生器５０からの垂直同期信号０及び水平同期信号に基づいて、カウントアップ動作を繰り返す。ここで、カウンタの値は、通常走査時の各画素列のライン番号に対応しており、このライン番号は、通常走査アドレスデコーダ５４ｂに出力される。
通常走査アドレスデコーダ５４ｂは、通常走査カウンタ５４ａからのライン番号の画素列を「読み出しライン」として有効にし、それ以外の画素列を無効にする。更に、各画素列の有効／無効を示す読み出しライン制御信号をＯＲロジック５４ｅに出力すると共に、この読み出しライン制御信号をリセットライン選択信号として駆動パルス発生器５２に出力する。

間引き走査カウンタ５４ｃは、基準タイミング発生器５０からの水平同期信号と、通信器１２ａからの間引き量を示す情報とに基づき、垂直同期信号１を生成し、当該生成した垂直同期信号１に基づきカウントアップ動作を繰り返す。ここで、カウンタの値は、間引き走査時の画素列のライン番号に対応しており、このライン番号は、間引き走査アドレスデコーダ５４ｄに出力される。また、垂直同期信号１は、画像処理部１２のタイミング制御部１２ｂにも出力する。

間引き走査アドレスデコーダ５４ｄは、間引き走査カウンタ５４ｃからのライン番号の画素列を「読み出しライン」として有効にし、それ以外の画素列を無効にする。更に、各画素列の有効／無効を示す読み出しライン制御信号をＯＲロジック５４ｅに出力する。
ＯＲロジック５４ｅは、通常走査アドレスデコーダ５４ｂからの読み出しライン制御信号と、間引き走査アドレスデコーダ５４ｄからの読み出しライン制御信号とに基づき、各ライン毎にＯＲ演算を行い、通常走査に対する最終的な読み出しライン選択信号を生成すると共に、間引き走査に対する最終的な読み出しライン選択信号を生成する。これら生成した読み出しライン選択信号は駆動パルス発生器５２に出力される。

更に、図５に基づき、間引き走査について説明する。ここで、図５（ａ）は、間引き走査の一例を示す図であり、（ｂ）は、（ａ）の間引き走査によってセンサセル５６ａから出力される画素信号のレベル（蓄積電荷量）の推移を示す図である。
図５（ａ）の例では、通常露光時間の露光期間において、第１ライン、第５ライン、第９ライン、第１３ラインで一巡する間引き走査を４回行い、それぞれの走査時における蓄積電荷（画素信号）を読み出している。このように間引き走査を行うことにより、走査する画素列の数を１／４にする。このようにして、１回（１フレーム）の走査にかかる走査時間を短縮することにより、通常露光時間における走査回数を４倍にすることができるので、フレームレートを通常走査時の４倍に高速化できる。

ここで、図５（ａ）の第１ラインにおける「ある画素」に着目すると、図５（ｂ）に示すように、その画素の蓄積電荷量は、１回目の走査時と比較して、２回目、３回目、４回目と、走査が進むにつれ（時間の経過と共に）増加する。これは、間引き走査において、非破壊読み出し方式で各画素から電荷が読み出されるためで、蓄積電荷のリセットが行われないため、露光期間中に電荷の読み出しを何度行っても各画素の蓄積電荷量は維持された状態となる。つまり、図５（ａ）に示す間引き走査によって、図５（ｂ）に示すように、（１）〜（４）の走査タイミングで電荷の読み出しを行っても、各タイミングまでに蓄積された電荷量はそのまま維持され、電荷の蓄積（露光）が継続される。

このような間引き走査を行うために、間引き走査カウンタ５４ｃは、通信器１２ａから出力される間引き量を指定する駆動制御信号に基づき、カウントアップ動作を行い、間引き量に応じたカウント値を間引き走査アドレスデコーダ５４ｄに出力する。図５（ａ）の例では、間引き量が「４」となっており、間引き走査カウンタ５４ｃのカウント値は、１、５、９、１３と「４」ずつカウントアップし、カウント値が１３（最大値（間引き量及び画素の総ライン数によって変わる））になったときに、カウント値を、「１」（開始ライン番号に対応）に戻す（リセットする）と共に、垂直同期信号１をアクティブとする。つまり、間引き走査カウンタ５４ｃは、カウント値が最大値になる毎に垂直同期信号１をアクティブとする。

更に、図６に基づき、撮像素子１００のセンサセルアレイ５６における各画素列毎の露光及び画素信号の読み出し動作について説明する。ここで、図６は、撮像素子１００のセンサセルアレイ５６における各画素列毎の露光及び画素信号の読み出し動作の一例を示す図である。
図６に示すように、まず、通常走査によって、センサセルアレイ５６における各画素列の通常露光時間で露光時の画素信号の読み出し及び当該画素信号の読み出し後に蓄積電荷のリセットを行う第１読み出しラインを選択すると共に、複数回の間引き走査によって、センサセルアレイ５６における走査対象の画素列に対して、各走査時の露光時間で露光時の画素信号の非破壊読み出しを行う第２読み出しラインを選択する。そして、１回の露光期間（通常露光時間）において、通常走査による各画素列に対する通常露光時間で露光時の画素信号の読み出し及び蓄積電荷のリセットと、複数回の間引き走査による各走査対象の画素列に対する各走査時の露光時間で露光時の画素信号の非破壊読み出しとをそれぞれ独立に実行する。

つまり、第１読み出しライン及び第２読み出しラインは、図６に示すように、全画素列（例えば、第１〜第１２ライン）においては、これら画素列のいずれか１に通常露光時間分の電荷が蓄積されると、第１読み出しラインが当該画素列の画素信号を読み出すと共に、その蓄積電荷をリセットするように選択される。また、蓄積電荷のリセットされた画素列は、第１読み出しラインが他の画素列を走査後に再び走査されたときに、丁度通常露光時間分の露光が行われているように走査タイミングが制御される。なお、通常走査による各画素列の走査は、各フレーム毎に全画素列（例えば、第１〜第１２ライン）をループしながら順次走査を行う。図６の例では、第１ライン（一番下のライン）から第１２ライン（一番上のライン）に向かって１ライン毎に順次走査を行い、走査が第１２ラインに到達すると１フレーム期間の走査が終了し、再び第１ラインから次フレームに対する同様の走査を行う。

一方、間引き走査においては、第１読み出しラインによる蓄積電荷のリセット後に、通常露光時間分の電荷が蓄積される間に各走査時の露光時間において走査対象の各画素列の画素信号を非破壊で順次読み出すように第２読み出しラインがそれぞれ選択される。これにより、第１読み出しラインによって走査対象の画素列の蓄積電荷がリセットされると、当該リセット後の画素列に対して、第２読み出しラインにおいて各走査時の露光時間で露光された画素の画素信号の非破壊読み出しが各走査順に順次行われる。なお、間引き走査においては、システムコントローラから指定される間引き量に従って、所定量の画素列を間引きながら走査が行われ、走査対象の画素列のうち最大番号の画素列に到達すると、走査対象の画素列のうち最小番号の画素列に戻り、通常走査と同様に、ループしながら順次走査を行う。但し、間引き走査においては、通常露光時間の１フレームにおいて、実行可能な（あるいは予め設定された）走査回数だけループが繰り返されることになる。

なお、本実施の形態においては、図６に示すように、通常走査によって読み出された通常露光時間で露光時の画素信号（アナログデータ）は、第１出力チャンネル５８（以下、ＣＨ１と称す）の第１ラインメモリＳに読み出され、一方、リセット直後の画素信号は、ＣＨ１の第１ラインメモリＮに読み出される。そして、これら読み出された画素信号は、図６に示すように、ＣＨ１の出力側に設けられた差動増幅器６２に出力され、当該差動増幅器６２において、リセット前及びリセット後のそれぞれ対応する画素信号同士の減算処理を行って信号レベルの検出及びノイズ除去を行う。そして減算処理後の画素信号は、第１のＡＦＥ１０２に出力されそこでデジタルデータ（画素データ）に変換される。一方、複数回の間引き走査によって読み出された各走査毎の画素信号は、第２出力チャンネル（以下、ＣＨ２と称す）の第２ラインメモリに各走査毎に読み出されて第２のＡＦＥ１０４に出力されそこでデジタルデータ（画素データ）に変換される。

また、本実施の形態において、第１読み出しラインの画素信号の読み出しと、第２読み出しラインの画素信号の読み出しとがバッティングしたとき（例えば、双方が通常露光時間での読み出しを行うとき）には、例えば、水平同期信号によって設定される読み出し期間を２つの期間に分けて、一方の期間で第１読み出しラインによりＣＨ１の第１ラインメモリに画素信号を読み出し、他方の期間で第２読み出しラインによりＣＨ２の第２ラインメモリに画素信号を読み出すことで回避するようになっている。

更に、図７に基づき、画像処理部１２の内部構成を説明する。ここで、図７は、画像処理部１２の内部構成を示す図である。
画像処理部１２は、図７に示すように、通信器１２ａと、タイミング制御部１２ｂと、高フレームレート画像生成部１２ｃと、メモリアクセス部１２ｄと、出力読出し部１２ｅとを含んで構成される。

通信器１２ａは、撮像素子１００と画像処理部１２とが各種データ通信を行うための手段であり、外部システムコントローラ（不図示）から、センサセルアレイ５６の間引き走査に対する間引き量の情報を受信し、当該受信した間引き量の情報を撮像素子１００の走査ラインスキャナ５４に送信する。
タイミング制御部１２ｂは、撮像素子１００の駆動信号（ピクセルクロック、水平同期信号、垂直同期信号０）を生成し、これを撮像素子１００の基準タイミング発生器５０に出力する。また、タイミング制御部１２ｂは、水平同期信号、垂直同期信号０から、撮像処理部１０のＣＨ１から出力される画素信号の、撮像素子１００のセンサセルアレイ５６における画素位置（画素列（ライン）番号、画素番号）が分かるので、その画素列(ライン)番号及び画素番号（以下、「アドレス情報」とも呼ぶ。）を生成し、そのアドレス情報をメモリアクセス部１２ｄに出力する。また、タイミング制御部１２ｂは、水平同期信号、走査ラインスキャナ５４からの垂直同期信号１から、撮像処理部１０のＣＨ２からそれぞれ出力される画素信号の、撮像素子１００のセンサセルアレイ５６における画素位置（画素列（ライン）番号、画素番号）が分かるので、そのアドレス情報を生成し、当該アドレス情報を高フレームレート画像生成部１２ｃに出力する。

高フレームレート画像生成部１２ｃは、まず、フレームメモリ１４に格納された、複数回の間引き走査における各回の走査毎に撮像処理部１０の第２のＡＦＥ１０４から出力される画像データ（以下、間引き走査画像データと称す）と、当該各回の走査毎の間引き走査画像データに対応する、各回の走査（以下、現走査と称す）の１つ前の回の走査（以下、前走査と称す）において撮像処理部１０の第２のＡＦＥ１０４から出力された間引き走査画像データとをメモリアクセス部１２ｄを介して読み出す。次に、これら読み出した現走査の間引き走査画像データを構成する各画素データと、当該各画素データに対応する各画素データと同位置の前走査の間引き走査画像データを構成する各画素データとの差分値をそれぞれ算出し、当該差分値に基づき各回の間引き走査毎にそれぞれ対応する画像データ（以下、高フレームレート画像データと称す）を生成する。そして、当該生成した高フレームレート画像データをメモリアクセス部１２ｄを介してフレームメモリ１４に格納する（書き込む）。

メモリアクセス部１２ｄは、撮像処理部１０、高フレームレート画像生成部１２ｃ、及び出力読出し部１２ｅからの画像データの書き込み・読み出し命令に基づき、フレームメモリ１４に格納された各画像データへアクセスする。つまり、３系統からのアクセス要求を調停し、フレームメモリ１４に対して、画像データの読み出し及び画像データの書き込みを行う。本実施の形態において、メモリアクセス部１２ｄは、撮像処理部１０の、第１のＡＦＥ１０２から出力される通常走査画像データと、第２のＡＦＥ１０４から出力される間引き走査画像データとを、フレームメモリ１４に書き込む。また、高フレームレート画像生成部１２ｃからの、読み出し命令に応じて、各間引き走査及びこれらと対応する前走査の間引き走査画像データをフレームメモリ１４から読み出したり、高フレームレート画像生成部１２ｃからの書き込み命令に応じて、高フレームレート画像データをフレームメモリ１４に書き込んだりする。

出力読出し部１２ｅは、外部の出力装置（不図示）からの同期信号（ピクセルクロック、水平同期信号、垂直同期信号０）に同期して、フレームメモリ１４内の画像データを出力する。具体的には、まず、メモリアクセス部１２ｄに対して、高フレームレート画像データ及び通常走査画像データの読み出し要求（読み出し命令含む）を行い、高フレームレート画像データ及び通常走査画像データを取得する。そして、外部の出力装置に対して、当該出力装置からの同期信号に同期して、高フレームレート画像データ及び通常走査画像データを出力する。出力装置はこれらの出力データに基づき、表示処理や解析処理等の所定の処理を実行する。

フレームメモリ１４は、図７に示すように、ＣＨ１を介して出力される通常走査画像データ、ＣＨ２を介して出力される各間引き走査及びこれらと対応する前走査の間引き走査画像データ、高フレームレート画像生成部１２ｃで生成される高フレームレート画像データを格納可能な容量を有したメモリであり、メモリアクセス部１２ｄから読み出し要求があると、その要求が示す画像データを読み出す。また、フレームメモリ１４は、メモリアクセス部１２ｄから書き込み要求があると、その書き込み要求が示す画像データを書き込む。

次に、図８に基づき、本実施の形態の撮像装置１の実際の動作を説明する。ここで、図８（ａ）は、通常走査及び間引き走査の一例を示す図であり、（ｂ）は、第１０ラインのある画素に対する蓄積電荷量の推移を示す図である。
なお、説明の便宜上、センサセルアレイ５６が第１〜第１５ラインの１５本の画素列で構成されているとする。

撮像装置１は、電源が投入され、且つ外部装置である不図示のシステムコントローラからの間引き量の情報を画像処理部１２の通信器１２ａが受信すると、間引き量を指定する駆動制御信号を、撮像処理部１０の走査ラインスキャナ５４に出力する。一方、撮像処理部１０は、ＣＨ１に対応する第１読み出しラインに対して通常露光時間を設定する。
また、画像処理部１２は、タイミング制御部１２ｂにおいて駆動信号（ピクセルクロック、水平同期信号、垂直同期信号０）を生成し、撮像素子１００に出力する。

撮像素子１００は、駆動信号が供給されると、走査ラインスキャナ５４の通常走査カウンタ５４ａにおいて、カウントアップ動作を開始し、カウント値を通常走査アドレスデコーダ５４ｂに出力する。通常走査アドレスデコーダ５４ｂは、通常走査カウンタ５４ａから出力されるライン番号のラインを「第１読み出しライン」として有効にし、それ以外のラインを無効にする。

例えば、ライン番号１を第１読出しラインとして有効にした場合は、ライン番号１以外の残りのライン（第２ライン〜第１５ライン）を無効にする。更に、ライン番号１が有効であることを示す第１読み出しライン制御信号をＯＲロジック５４ｅに出力する。
一方、間引き走査カウンタ５４ｃは、タイミング制御部１２ｂからの駆動信号（水平同期信号）及び通信器１２ａからの間引き量を指定する駆動制御信号に基づき、カウントアップ動作を開始し、カウント値を間引き走査アドレスデコーダ５４ｄに出力する。また、間引き走査の基準同期信号である垂直同期信号１を生成してタイミング制御部１２ｂに出力する。

ここで、指定された間引き量が「３」であり、且つカウント値の開始番号が「１」であるとすると、間引き走査カウンタ５４ｃは、１、４、７、１０、１３とカウントアップを行う。つまり、指定された間引き量である「３」をカウントアップ時の増加量としたカウントアップを行う。そして、センサセルアレイ５６の画素列数が１５本であることから、カウント値が「１３」（最大値）になると、カウント値を「１」に戻す（リセットする）と共に垂直同期信号１をアクティブにし、再び、カウント値「１」から間引き量「３」を増加量としたカウントアップを行う。間引き走査カウンタ５４ｃは、このようなカウントアップ動作を、通常露光時間の露光期間において、間引き走査の回数に応じて繰り返し行う。ここでは、通常露光時間の露光期間において間引き走査を３回行うこととする。

間引き走査アドレスデコーダ５４ｄは、通常走査アドレスデコーダ５４ｂと同様に、間引き走査カウンタ５４ｃから出力されるライン番号のラインを「第２読み出しライン」として有効にし、それ以外のラインを無効にする。そして、第２読み出しライン制御信号をＯＲロジック５４ｅに出力する。
ＯＲロジック５４ｅは、通常走査アドレスデコーダ５４ｂからの第１読み出しライン制御信号と、間引き走査アドレスデコーダ５４ｄからの第２読み出しライン制御信号とに基づき、露光領域の各ライン位置毎にＯＲ演算を行い、通常走査及び間引き走査に対する最終的な読み出しライン選択信号を生成する。そして、これら生成した第１読み出しライン選択信号及び第２読出しライン選択信号を駆動パルス発生器５２に出力する。

これにより、図８（ａ）に示すように、センサセルアレイ５６の全画素列に対して、第１読み出しラインの走査による通常露光時間で露光時の画素信号の破壊読み出しが行われ、一方、この破壊読み出しによって蓄積電荷がリセットされた第１ラインに対して、第２読み出しラインの間引き走査による画素信号の非破壊読み出しを行う。なお、各画素列の電荷の蓄積量は、各間引き走査の開始タイミングによって異なってくる。図８（ａ）の例では、時刻ｔ４のタイミングで１回目の間引き走査を開始し、同様に、時刻ｔ９、ｔ１４のタイミングで２回目、３回目の間引き走査をそれぞれ開始する。また、２回目の間引き走査は、１回目の間引き走査が終了してから開始され、３回目の間引き走査は２回目の間引き走査が終了してから開始される。

第１出力チャンネル５８及び第２出力チャンネル６０はそれぞれ内部のラインメモリを介して前記読み出した画素信号を第１のＡＦＥ１０２及び第２のＡＦＥ１０４にそれぞれ出力する。第１のＡＦＥ１０２及び第２のＡＦＥ１０４は、画素信号をデジタルデータである画素データに変換して、画像処理部１２のメモリアクセス部１２ｄに出力する。
一方、メモリアクセス部１２ｄは、第１のＡＦＥ１０２及び第２のＡＦＥ１０４を介して出力される通常走査画像データ及び間引き走査画像データを、タイミング制御部１２ｂからのアドレス情報に基づき、各画素データの位置情報を保持した状態でフレームメモリ１４の所定領域に書き込ませる。

このようにして、例えば、現走査の間引き走査画像データ及び前走査の間引き走査画像データがフレームメモリ１４に格納されると、高フレームレート画像生成部１２ｃは、メモリアクセス部１２ｄに対して、前記格納された現走査及び前走査の間引き走査画像データの読み出し要求を出力する。メモリアクセス部１２ｄは、高フレームレート画像生成部１２ｃからの読み出し要求に応じて、フレームメモリ１４から現走査及び前走査の間引き走査画像データの読み出し、当該読み出した間引き走査画像データを高フレームレート画像生成部１２ｃに出力する。

一方、高フレームレート画像生成部１２ｃは、メモリアクセス部１２ｄを介して取得した現走査及び前走査の間引き走査画像データの各画素データの示す画素値の差分値を算出する。具体的には、現走査の間引き走査画像データの各画素データの示す画素値から、当該各画素データと同位置の前走査の間引き走査画像データの各画素データの示す画素値を減算する。そして、この減算結果の各画素値に基づき高フレームレート画像データを生成する。例えば、図８（ａ）に示すように、第１０ラインに着目すると、２回目の間引き走査においては、時刻ｔ１２で読み出された間引き走査画像データが前走査（１回目の間引き走査）の間引き走査画像データとなり、時刻ｔ１７で読み出された間引き走査画像データが現走査（２回目の間引き走査）の間引き走査画像データとなる。従って、時刻ｔ１７の間引き走査画像データの各画素データから、当該各画素データに対応する時刻ｔ１２の間引き走査画像データの各画素データを減算して差分値を求めることになる。一方、図８（ａ）に示すように、第１０ラインに対する４回目の間引き走査（２回目の通常走査に対する１回目の間引き走査）においては、時刻ｔ２２で読み出された間引き走査画像データが前走査（３回目の間引き走査）の間引き走査画像データとなり、時刻ｔ２７で読み出された間引き走査画像データが現走査（４回目の間引き走査）の間引き走査画像データとなる。従って、時刻ｔ２７の間引き走査画像データの各画素データから、当該各画素データに対応する時刻ｔ２２の間引き走査画像データの各画素データを減算して差分値を求めることになる。しかし、この場合は、３回目の間引き走査が１回目の通常露光時間の露光期間に行われ、４回目の間引き走査が２回目の通常露光時間の露光期間に行われるため、電荷のリセットが発生し、第１０ラインの各画素に蓄積される電荷量が、図８（ｂ）に示すように、３回目の間引き走査における電荷の蓄積量より、４回目の間引き走査における電荷の蓄積量の方が少なくなる。そのため、差分値がマイナスの値となってしまう。このような場合、本実施の形態においては、差分値を無効とし、高フレームレート画像の画素値を「０」とする。

このようにして生成された高フレームレート画像データは、メモリアクセス部１２ｄを介してフレームメモリ１４の所定領域に格納される。
また、メモリアクセス部１２ｄは、外部機器からの通常走査画像データの出力要求を受信すると、フレームメモリ１４に格納された通常走査画像データを読み出し、当該読み出した通常走査画像データを外部機器からの同期信号（ピクセルクロック、水平同期信号及び垂直同期信号）に同期して出力する。同様に、外部機器からの高フレームレート画像データの出力要求を受信すると、フレームメモリ１４に格納された高フレームレート画像データを読み出し、当該読み出した高フレームレート画像データを外部機器からの同期信号（ピクセルクロック、水平同期信号及び垂直同期信号）に同期して出力する。

このように、本実施形態の撮像装置１では、通常露光時間で露光時の画素データから構成される通常走査画像データと、通常露光時間と同じ露光期間において、複数回の間引き走査によって高速なフレームレートで読み出された画素データから構成される複数の高速フレームレート画像データとを同時に得ることが可能である。つまり、適切な露光時間（通常露光時間）で露光され、撮像対象が鮮明に撮像された撮像画像と、動きのある被写体が鮮明且つ動きの内容が解る状態で撮像された複数の撮像画像とを同時に得ることができる。

また、現走査の間引き走査画像データと、前走査の間引き走査画像データとの差分をとることで、高速フレームレート画像データを生成するようにしたので、これにより、固定パターンノイズを除去することが可能である。
上記第１の実施の形態において、通常走査画像データは、形態３、１３及び１５のいずれか１の通常撮像画像データ生成手段で生成された画像データ又は形態１５の通常撮像画像データ生成ステップにおいて生成された画像データに対応し、高フレームレート画像データは、形態３、５、１３及び１５のいずれか１の高速撮像画像データ生成手段で生成された画像データ又は形態１５の高速撮像画像データ生成ステップにおいて生成された画像データに対応し、センサセルアレイ５６は、形態１、３、１３及び１５のいずれか１の光電変換部に対応し、撮像処理部１０の撮像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２によるセンサセルアレイ５６からの通常露光時間で露光時の電荷の破壊読み出し処理は、形態１、３及び１３のいずれか１の第１読出手段又は形態１５の第１読出ステップに対応し、第１出力チャンネル５８は、形態１、３、１３及び１５のいずれか１の第１出力チャンネルに対応し、撮像処理部１０の撮像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２によるセンサセルアレイ５６からの複数回の間引き走査による電荷の非破壊読み出し処理は、形態１、３、４及び１３のいずれか１の第２読出手段又は形態１５の第２読出ステップに対応し、第２出力チャンネル６０は、形態１、３、５、１３及び１５のいずれか１の第２出力チャンネルに対応する。

また、上記第１の実施の形態において、画像処理部１２における、タイミング制御部１２ｂ、高フレームレート画像生成部１２ｃ、メモリアクセス部１２ｄによる高フレームレート画像データの生成処理は、形態３、５及び１３のいずれか１の高速撮像画像データ生成手段又は形態１５の高速撮像画像データ生成ステップに対応し、画像処理部１２における、メモリアクセス部１２ｄによる通常走査画像データのフレームメモリ１４への書き込み処理は、形態３又は１３の通常撮像画像データ生成手段又は形態１５の通常撮像画像データ生成ステップに対応する。
〔第２の実施の形態〕
以下、本発明に係るモーションデータ生成システム、モーションデータ生成プログラム及びモーションデータ生成方法の実施の形態（第２の実施の形態）を、図面に基づいて説明する。図９〜図１４は、本発明に係るモーションデータ生成システム、モーションデータ生成プログラム及びモーションデータ生成方法の第２の実施の形態を示す図である。

ここで、図９は、本発明に係るモーションデータ生成システム３の概略構成を示すブロック図である。
モーションデータ生成システム３は、上記第１の実施の形態における撮像装置１と、モーションデータ生成装置２とを含んで構成されるもので、撮像装置１によってマーカの付された動作体（人間、動物など）の撮像を行い、モーションデータ生成装置２によって、撮像装置１から出力される画像データから、モーションデータの生成及びテクスチャデータの抽出を行う。なお、撮像装置１とモーションデータ生成装置２とは、有線又は無線によって互いにデータ通信可能に接続されている。また、接続形態としては、ケーブルによる直接接続の他、ＬＡＮ、ＷＡＮ、インターネットを介した接続等どのような形態でも良い。

撮像装置１は、前述したように、上記第１の実施形態と基本的な構成は同じであり、撮像対象である反射型マーカの付された動作体（人間、動物など）を、上記第１の実施の形態で説明した通常走査及び間引き走査によって撮像し、通常走査によって得られる通常走査画像データと、間引き走査によって得られる間引き走査画像データから生成される高フレームレート画像データとをモーションデータ生成装置２に出力する。なお、撮像装置１は、図１０において１台しか図示されていないが、動作体のモーションをキャプチャして３次元の動き情報を取得する場合（光学式のモーションキャプチャ）は、２台以上の構成とし（通常は６〜１０台程度）、それぞれ別々の角度から動作体を撮像して、常に全てのマーカが２台以上の撮像装置で撮像されるようにすることが望ましい。

また、本実施の形態において、撮像装置１は、反射型マーカが光を反射して発光するためのライトを有している。これにより、反射型マーカを高速なフレームレートで撮像しても、光量不足によるマーカ画像の黒潰れ等の撮像不良を防ぐことができる。
モーションデータ生成装置２は、撮像装置１において生成される高フレームレート画像データに基づき動作体の動作内容を示すモーションデータを生成し、一方、撮像装置１から出力される通常走査画像データから動作体のテクスチャデータを抽出する。

以下、図１０に基づき、モーションデータ生成装置２の詳細な構成を説明する。ここで、図１０は、モーションデータ生成装置２の詳細構成を示すブロック図である。
モーションデータ生成装置２は、図１０に示すように、撮像装置１からの各種画像データを取得する画像データ取得部２ａと、画像データ取得部２ａで取得した各種画像データを記憶する画像データ記憶部２ｂと、高フレームレート画像データからマーカの位置を検出する位置検出部２ｃと、マーカの検出結果に基づきモーションデータを生成するモーションデータ生成部２ｄと、通常走査画像データから動作体のテクスチャデータを抽出するテクスチャデータ抽出部２ｅと、モーションデータ及びテクスチャデータを記憶するモーションデータ記憶部２ｆとを含んだ構成となっている。

画像データ取得部２ａは、駆動信号（ピクセルクロック、水平同期信号、垂直同期信号０）を撮像装置１に供給し、これら駆動信号に同期して撮像装置１から送られてくる通常走査画像データ及び高フレームレート画像データを取得する。そして、当該取得した通常走査画像データ及び高フレームレート画像データを画像データ記憶部２ｂに記憶する。
画像データ記憶部２ｂは、画像データ取得部２ａで取得された通常走査画像データ及び高フレームレート画像データを記憶する。そして、位置検出部２ｃ又はテクスチャデータ抽出部２ｅからの要求に応じて、高フレームレート画像データ又は通常走査画像データを読み出し、位置検出部２ｃ又はテクスチャデータ抽出部２ｅにそれぞれ出力する。

位置検出部２ｃは、不図示のプロセッサからのモーションデータの生成指示に応じて、画像データ記憶部２ｂから高フレームレート画像データを取得し、当該取得した高フレームレート画像データに対して画像処理を行い、画像中のマーカの位置（座標）を検出する。そして、検出結果をモーションデータ生成部２ｄに出力する。
モーションデータ生成部２ｄは、位置検出部２ｃから入力される検出結果に基づき、各取り付け位置に対応するマーカ毎のモーションデータを生成する。そして、当該生成したモーションデータをモーションデータ記憶部２ｆに記憶する。

テクスチャデータ抽出部２ｅは、不図示のプロセッサからのテクスチャデータの抽出指示に応じて、画像データ記憶部２ｂから通常走査画像データを取得し、当該取得した通常走査画像データからテクスチャデータを抽出する。テクスチャデータの抽出は、不図示の操作部を介して人手により行っても良いし。画像処理によって、自動的に行っても良い。
また、テクスチャデータ抽出部２ｅは、抽出したテクスチャデータを動作体の種類毎にモーションデータ記憶部２ｆに記憶する。

モーションデータ記憶部２ｆは、モーションデータ生成部２ｄで生成されたモーションデータ、及びテクスチャデータ抽出部２ｅで抽出されたテクスチャデータを記憶する。各データは、例えば、動作体の種類毎、マーカの取り付け位置毎などに分類されて記憶される。
なお、本実施形態において、モーションデータ生成装置２は、図示しないプロセッサと、ＲＡＭ（Random Access Memory）と、専用のプログラムの記憶されたＲＯＭ（Read Only Memory）と、を備えており、プロセッサにより専用のプログラムを実行することにより上記各部の機能を果たす。ここで、上記各部は、専用のプログラムのみでその機能を果たすもの、専用のプログラムによりハードウェアを制御してその機能を果たすもの等が混在している。

更に、図１１に基づき、モーションデータ生成装置２におけるモーションデータの生成処理及びテクスチャデータの抽出処理の流れを説明する。ここで、図１１は、モーションデータの生成処理及びテクスチャデータの抽出処理を示すフローチャートである。なお、モーションデータの生成処理及びテクスチャデータの抽出処理は、撮像装置１においてマーカを付した動作体の撮像が行われ、モーションデータ生成装置２の画像データ記憶部２ｂに各処理の実行に十分な量の画像データが蓄積されることによって実行可能となる。

モーションデータの生成処理及びテクスチャデータの抽出処理は、図１１に示すように、まずステップＳ１００に移行し、位置検出部２ｃにおいて、プロセッサからのモーションデータの生成指示あるか否かを判定し、生成指示があると判定された場合(Yes)は、ステップＳ１０２に移行し、そうでない場合(No)は、ステップＳ１１４に移行する。
ステップＳ１０２に移行した場合は、位置検出部２ｃにおいて、画像データ記憶部２ｂから、指示に対応した高フレームレート画像データを取得してステップＳ１０４に移行する。

ステップＳ１０４では、位置検出部２ｃにおいて、ステップＳ１０２で取得した高フレームレート画像データに基づき、各高フレームレート画像におけるマーカ画像の位置検出を行いステップＳ１０６に移行する。
ステップＳ１０６では、位置検出部２ｃにおいて、ステップＳ１０４の検出結果をモーションデータ生成部２ｄに出力してステップＳ１０８に移行する。

ステップＳ１０８では、モーションデータ生成部２ｄにおいて、位置検出部２ｃから入力されたマーカ位置の検出結果に基づきモーションデータを生成してステップＳ１１０に移行する。
ステップＳ１１０では、モーションデータ生成部２ｄにおいて、ステップＳ１０８で生成したモーションデータを、モーションデータ記憶部２ｆに記憶してステップＳ１００に移行する。

一方、ステップＳ１００において、モーションデータの生成指示がなくてステップＳ１１２に移行した場合は、テクスチャデータ抽出部２ｅにおいて、テクスチャデータの抽出指示があったか否かを判定し、抽出指示があったと判定された場合(Yes)は、ステップＳ１１４に移行し、そうでない場合(No)は、ステップＳ１００に移行する。
ステップＳ１１４に移行した場合は、テクスチャデータ抽出部２ｅにおいて、画像データ記憶部２ｂから、指示に対応した通常走査画像データを取得してステップＳ１１６に移行する。

ステップＳ１１６では、テクスチャデータ抽出部２ｅにおいて、ステップＳ１１６で取得した通常走査画像データからテクスチャデータを抽出してステップＳ１１８に移行する。
ステップＳ１１８では、テクスチャデータ抽出部２ｅにおいて、ステップＳ１１６で抽出したテクスチャデータを、モーションデータ記憶部２ｆに記憶してステップＳ１００に移行する。

次に、図１２〜図１４に基づき、本実施の形態のモーションデータ生成システム３の実際の動作を説明する。ここで、図１２（ａ）及び（ｂ）は、通常走査画像及び高フレームレート画像の一例を示す図である。また、図１３は、フレームレートの違いによる撮像結果についての説明図である。また、図１４は、モーションデータの生成方法の一例を示す図である。

まず、撮像装置１において（ここでは、説明の便宜上１台とする）、撮像対象であるマーカの付された動作体（例えば、人間）を撮像する。撮像装置１は、上記第１の実施の形態と同様に、付属のライトで動作体を照射し、当該ライトの照射された動作対を通常走査及び複数回の間引き走査によって撮像する（画素信号の読み出しを行う）。そして、これにより得られる通常走査画像データ及び間引き走査画像データを、メモリアクセス部１２ｄを介してフレームメモリ１４に格納する。更に、撮像装置１は、高フレームレート画像生成部１２ｃにおいて、上記第１の実施の形態と同様に、現走査（現フレーム）の間引き走査画像データと、前走査（前フレーム）の間引き走査画像データとから高フレームレート画像データを生成し、当該生成した高フレームレート画像データを、メモリアクセス部１２ｄを介してフレームメモリ１４に格納する。

また、撮像装置１は、モーションデータ生成装置２からの駆動信号に同期して、フレームメモリ１４に格納された通常走査画像データ及び高フレームレート画像データを、モーションデータ生成装置２に出力する。
一方、モーションデータ生成装置２は、撮像装置１からの通常走査画像データ及び高フレームレート画像データを、画像データ取得部２ａを介して取得し、当該取得した通常走査画像データ及び高フレームレート画像データを画像データ記憶部２ｂに記憶する。

そして、モーションデータ生成装置２は、画像データ記憶部２ｂに所定量の画像データが蓄積後に、プロセッサからモーションデータの生成指示が送られてくると（ステップＳ１００の「Ｙｅｓ」の分岐）、位置検出部２ｃにおいて、画像データ記憶部２ｂから、指示に応じた高フレームレート画像データを取得する（ステップＳ１０２）。そして、取得した高フレームレート画像データに基づき、マーカの位置検出を行う。

以下、高フレームレート画像データからマーカの位置検出を行う理由を説明する。
動作体が素早い動きをした場合に、例えば、図１２（ａ）に示すように、通常走査画像データの画像においては、現フレームとその１フレーム後とにおいて、マーカの位置が図示のように動くことになる。これに対し、高フレームレート画像データは、通常走査の１フレームの期間において３回の間引き走査が行われるため、図１２（ｂ）に示すように、通常走査画像データの現フレームの画像内容（マーカ位置）に至るまでのマーカの動きを３段階に捉えた画像となる。

つまり、通常走査画像データより、高フレームレート画像データの方がフレームレートが３倍となるため、図１２（ａ）に示す通常走査画像データのフレーム間のマーカ位置の変化量よりも、間引き走査の各フレーム間のマーカ位置の変化量を小さくできる。これにより、マーカの動きを精度良く捉えることが可能である。
例えば、現フレームにおいて、図１３（ａ）に示す状態である矩形のマーカ画像が、通常露光時間の１フレーム後において時計回りに９０°回転する動作をしたとする。この場合、通常露光時間のフレームレートよりも高いフレームレートであれば、図１３（ｂ）に示すように、回転途中の画像を得ることができるので、マーカが回転をしたことを判別できる。一方、通常露光時間のフレームレートで撮像される画像は、図１３（ｃ）に示すように、９０°回転した後の画像となるので、マーカが回転をしたことを判別することができない。従って、本実施の形態において、マーカの動きを精度良く捉えるためには、できる限り間引き走査回数を増やすことが望ましい。

位置検出部２ｃは、画像データ記憶部２ｂから取得した高フレームレート画像データに対してマーカの位置検出が終了すると、当該検出結果をモーションデータ生成部２ｄに出力する（ステップＳ１０６）。マーカ位置の検出結果は、例えば、マーカの種別（付された位置）情報と、その座標情報とを含んで構成される。モーションデータ生成部２ｄは、位置検出部２ｃから入力された検出結果に基づき、マーカの種別毎に、その座標情報に基づきモーションデータを生成する（ステップＳ１０８）。ここで、図１４に示すように、１つ前のフレームにおけるマーカの座標と、現フレームにおけるマーカの座標とから位置の変化量が算出できるので、ここでは、マーカの種別毎に、各フレームの座標情報と、位置の変化量の情報とを含むモーションデータを生成する。このようにして、モーションデータが生成されると、モーションデータ生成部２ｄは、生成したモーションデータをモーションデータ記憶部２ｆに記憶する（ステップＳ１１０）。

また、モーションデータ生成装置２は、プロセッサからテクスチャデータの抽出指示が送られてくると（ステップＳ１１２の「Ｙｅｓ」の分岐）、テクスチャデータ抽出部２ｅにおいて、画像データ記憶部２ｂから、指示に応じた通常走査画像データを取得する（ステップＳ１１４）。そして、取得した通常走査画像データからテクスチャデータを抽出する（ステップＳ１１６）。

ここで、通常走査画像データの画像は、図１２（ａ）に示すように、動作体及びマーカの双方が鮮明な画像となっており、一方、高フレームレート画像データの画像は、図１２（ｂ）に示すように、フレームレートを高速にする分、露光時間が短くなるために、光量の大きいマーカ以外の画像が黒潰れする。つまり、高フレームレートで撮像された画像からは、３次元コンピュータグラフィックスにおいてテクスチャマッピングに用いるテクスチャデータを得ることができない。本発明に係る撮像装置１においては、高フレームレート画像データと共に、通常露光時間で露光時の画像データも得られるので、通常走査画像データからテクスチャマッピングに用いることが可能なテクスチャデータの抽出を行うことができる。

テクスチャデータの抽出は、プログラムにより自動的に行っても良いし、ユーザによる不図示の操作部の操作によって手動で行っても良い。
テクスチャデータの抽出が終了すると、テクスチャデータ抽出部２ｅは、当該抽出したテクスチャデータをモーションデータ記憶部２ｆに記憶する（ステップＳ１１８）。
このように、本実施形態のモーションデータ生成システム３では、撮像装置１において、マーカの付された動作体に対して、通常露光時間で露光時の画素データから構成される通常走査画像データと、通常露光時間と同じ露光期間において、複数回の間引き走査によって高速なフレームレートで読み出された画素データから構成される複数の高速フレームレート画像データとを同時に得ることが可能である。

また、本実施形態のモーションデータ生成システム３では、モーションデータ生成装置２において、高速フレームレート画像データからマーカ位置情報を検出し、この検出結果からマーカの動きに対する精度の高いモーションデータを生成することが可能であり、通常走査画像データからテクスチャデータを抽出することが可能である。つまり、動作体に対する一度の撮像データから、モーションデータ及びテクスチャデータの両方を生成することが可能である。

上記第２の実施の形態において、通常走査画像データは、形態３、１０、１３及び１５のいずれか１の通常撮像画像データ生成手段で生成された画像データ又は形態１５の通常撮像画像データ生成ステップにおいて生成された画像データに対応し、高フレームレート画像データは、形態３、５、８、９、１１、１２及び１３のいずれか１の高速撮像画像データ生成手段で生成された画像データ又は形態１５の高速撮像画像データ生成ステップにおいて生成された画像データに対応し、センサセルアレイ５６は、形態１、３、１３及び１５のいずれか１の光電変換部に対応し、撮像処理部１０の撮像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２によるセンサセルアレイ５６からの通常露光時間で露光時の電荷の破壊読み出し処理は、形態１、３、９及び１３のいずれか１の第１読出手段又は形態１５の第１読出ステップに対応し、第１出力チャンネル５８は、形態１、３、１３及び１５のいずれか１の第１出力チャンネルに対応し、撮像処理部１０の撮像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２によるセンサセルアレイ５６からの複数回の間引き走査による電荷の非破壊読み出し処理は、形態１、３、４、９及び１３のいずれか１の第２読出手段又は形態１５の第２読出ステップに対応し、第２出力チャンネル６０は、形態１、３、５、１３及び１５のいずれか１の第２出力チャンネルに対応する。

また、上記第２の実施の形態において、画像処理部１２における、タイミング制御部１２ｂ、高フレームレート画像生成部１２ｃ、メモリアクセス部１２ｄによる高フレームレート画像データの生成処理は、形態３、５、９、１０、１２及び１３のいずれか１の高速撮像画像データ生成手段又は形態１５の高速撮像画像データ生成ステップに対応し、画像処理部１２における、メモリアクセス部１２ｄによる通常走査画像データのフレームメモリ１４への書き込み処理は、形態３、１０及び１３のいずれか１の通常撮像画像データ生成手段又は形態１５の通常撮像画像データ生成ステップに対応する。

また、上記第２の実施の形態において、位置検出部２ｃは、形態９の位置検出手段に対応し、モーションデータ生成部２ｄは、形態９のモーションデータ生成手段に対応し、テクスチャデータ抽出部２ｅは、形態１０のテクスチャデータ抽出手段に対応する。
また、上記第２の実施の形態において、ステップＳ１００〜ステップＳ１０６は、形態１１又は１２の位置検出ステップに対応し、ステップＳ１０８〜ステップＳ１１０は、形態１１又は１２のモーションデータ生成ステップに対応する。

なお、上記第１及び第２の実施の形態において、撮像装置１を、通常露光時の画素信号を破壊読み出しするための第１出力チャンネル１つと、複数の間引き走査において画素信号を非破壊読み出しするための第２出力チャンネル１つとの計２つの出力チャンネルを有する構成としたが、これに限らず、間引き走査をする回数に応じて、間引き走査によって非破壊読み出しをするための出力チャンネルを複数備える構成としても良い。

以下、図１５〜図１７に基づき、非破壊読み出しをする出力チャンネル数を１つ増やした場合の撮像装置の構成を説明する。ここで、図１５は、２つの非破壊出力チャンネルを有する撮像装置４の概略構成を示す図である。また、図１６は、撮像装置４における各画素列毎の露光及び画素信号の読み出し動作の一例を示す図である。また、図１７は、２つの非破壊出力チャンネルを用いた間引き走査の一例を示す図である。

上記第１及び第２の実施の形態における撮像装置１に対して、非破壊読出しを行う第３出力チャンネルを加えた構成の撮像装置４は、図１５に示すように、追加した第３出力チャンネル６４から出力される画素信号をデジタルの画素データに変換する第３のＡＦＥ１０６が加わった構成となる。
具体的に、第３出力チャンネル６４は内部のラインメモリを介して走査ラインスキャナ５４で読み出した画素信号を第３のＡＦＥ１０６に出力する。第３のＡＦＥ１０６は、入力された画素信号をデジタルデータである画素データに変換して、画像処理部１２のメモリアクセス部１２ｄに出力する。

一方、第３出力チャンネル６４が加わることによって、撮像素子１００のセンサセルアレイ５６における各画素列毎の露光及び画素信号の読み出し動作が、図１６に示すようになる。
図１６に示すように、まず、通常走査によって、センサセルアレイ５６における各画素列の通常露光時間で露光時の画素信号の読み出し及び当該画素信号の読み出し後に蓄積電荷のリセットを行う第１読み出しラインを選択すると共に、複数回（例えば、通常露光時間（Ｔ１〜Ｔ１６）において８回）の間引き走査を２分して第１組（Ｔ１、Ｔ５、Ｔ９、Ｔ１３の４回）及び第２組（Ｔ３、Ｔ７、Ｔ１１、Ｔ１５の４回）に分け、第１組に対する、センサセルアレイ５６における走査対象の画素列に対して、各走査時の露光時間で露光時の画素信号の非破壊読み出しを行う第２読み出しラインを選択し、第２組に対する、センサセルアレイ５６における走査対象の画素列に対して、各走査時の露光時間で露光時の画素信号の非破壊読み出しを行う第３読み出しラインを選択する。

そして、１回の露光期間（通常露光時間）において、通常走査による各画素列に対する通常露光時間で露光時の画素信号の読み出し及び蓄積電荷のリセットと、第１組における複数回の間引き走査による各走査対象の画素列に対する各走査時の露光時間で露光時の画素信号の非破壊読み出しと、第２組における複数回の間引き走査による各走査対象の画素列に対する各走査時の露光時間で露光時の画素信号の非破壊読み出しとをそれぞれ独立に実行する。

つまり、第１読み出しライン、第２読み出しライン及び第３読み出しラインは、図１６に示すように、全画素列（例えば、第１〜第２０ライン）においては、これら画素列のいずれか１に通常露光時間分の電荷が蓄積されると、第１読み出しラインが当該画素列の画素信号を読み出すと共に、その蓄積電荷をリセットするように選択される。また、蓄積電荷のリセットされた画素列は、第１読み出しラインが他の画素列を走査後に再び走査されたときに、丁度通常露光時間分の露光が行われているように走査タイミングが制御される。なお、通常走査による各画素列の走査は、各フレーム毎に全画素列（例えば、第１〜第２０ライン）をループしながら順次走査を行う。図１６の例では、第１ライン（一番下のライン）から第２０ライン（一番上のライン）に向かって１ライン毎に順次走査を行い、走査が第２０ラインに到達すると１フレーム期間の走査が終了し、再び第１ラインから次フレームに対する同様の走査を行う。

一方、間引き走査においては、第１読み出しラインによる蓄積電荷のリセット後に、通常露光時間分の電荷が蓄積される間に、第１組に対する、各走査時の露光時間において走査対象の各画素列の画素信号を非破壊で順次読み出すように第２読み出しラインがそれぞれ選択される。更に、通常露光時間分の電荷が蓄積される間に、第２組に対する、各走査時の露光時間において走査対象の各画素列の画素信号を非破壊で順次読み出すように第３読み出しラインがそれぞれ選択される。

このとき、露光時間を揃えるために、第２読み出しラインと第３読み出しラインとの走査間隔（時間間隔）が同一となるように各読み出しラインが選択される。
これにより、第１読み出しラインによって走査対象の画素列の蓄積電荷がリセットされると、当該リセット後の画素列に対して、第１組に対する、第２読み出しラインにおいて各走査時の露光時間で露光された画素の画素信号の非破壊読み出しが各走査順に順次行われる。

更に、第２読み出しラインによる走査が開始されると、図１６に示すように、走査間隔が露光時間Ｔとなるように、第２組に対する、第３読み出しラインにおいて各走査時の露光時間で露光された画素の画素信号の非破壊読み出しが各走査順に順次行われる。
なお、間引き走査においては、システムコントローラから指定される間引き量に従って、所定量の画素列を間引きながら走査が行われ、走査対象の画素列のうち最大番号の画素列に到達すると、走査対象の画素列のうち最小番号の画素列に戻り、通常走査と同様に、ループしながら順次走査を行う。但し、間引き走査においては、通常露光時間の１フレームにおいて、実行可能な（あるいは予め設定された）走査回数だけループが繰り返されることになる。

そして、図１６に示すように、通常走査によって読み出された通常露光時間で露光時の画素信号（アナログデータ）は、第１出力チャンネル５８（ＣＨ１）の第１ラインメモリＳに読み出され、一方、リセット直後の画素信号は、ＣＨ１の第１ラインメモリＮに読み出される。一方、第１組に対する複数回の間引き走査によって読み出された各走査毎の画素信号は、第２出力チャンネル（ＣＨ２）の第２ラインメモリに各走査毎に読み出されて第２のＡＦＥ１０４に出力されそこでデジタルデータ（画素データ）に変換される。また、第２組に対する複数回の間引き走査によって読み出された各走査毎の画素信号は、第３出力チャンネル（ＣＨ３）の第３ラインメモリに各走査毎に読み出されて第３のＡＦＥ１０６に出力されそこでデジタルデータ（画素データ）に変換される。

上記構成の撮像装置４であれば、例えば、図１７に示すように、第２出力チャンネル（ＣＨ２）に対する４回の間引き走査とは別に、これと同じ露光期間において、第３出力チャンネル（ＣＨ３）に対する４回の間引き走査を行うことができるので、ＣＨ２だけでは通常走査時の４倍のフレームレートであったところを、その倍の８倍のフレームレートで画素信号を読み出すことができる。このように、物理的な出力チャンネルを追加することで、簡易にフレームレートを高速化することが可能である。

また、上記撮像装置４において、複数回の走査を複数の組に分けたときの、同一の走査間隔で行われる各組の走査において、間引き走査を行わない構成とすることも可能である。この場合は、間引きを行わないことになるので、単純に非破壊読出しを行うチャンネル数倍のフレームレートで画素信号を読み出すことができる。
また、上記撮像装置４においては、非破壊読出しを行うチャンネル数をＣＨ２及びＣＨ３の２つを有する構成としたが、これに限らず、３つ以上のチャンネル数を有する構成としてもよい。

また、上記第２の実施の形態においては、本発明に係る撮像装置１をモーションキャプチャ技術に適用したが、本発明に係る撮像装置１は、高フレームレート画像データを、例えば、マシンビジョンにおける画像解析などの解析処理に用い、通常走査画像データを、例えば、表示用途などの鮮明な画像が必要な用途に用いるような、撮像対象の高フレームレート画像及び通常走査画像の双方が必要となるシステムであれば、どのようなシステムにでも応用することが可能である。

例えば、テレビ電話のカメラに本発明に係る撮像装置１を適用し、通常走査画像データを相手側のテレビ電話の表示用に、高フレームレート画像データをこちら側の話者の動作の解析用にそれぞれ用い、話者の動き（例えば、話者の指先の動き）に対応してテレビ電話の操作を行えるようなインターフェースを実現するテレビ電話システムなどに応用可能である。

また、自動車などにおいて、他の自動車、走行路面、ガードレール等を撮像するためのカメラに本発明に係る撮像装置１を適用し、通常走査画像データを運転手に撮像画像を見せるための表示用に、高フレームレート画像データを危険等を検知するための画像処理用にそれぞれ用い、走行中の危険監視を行う監視システムなどに応用可能である。また、監視対象を撮影するカメラに本発明に係る撮像装置１を適用し、通常走査画像データを表示用に、高フレームレート画像データを侵入者などの危険物の検知用にそれぞれ用いることで、様々な監視システムに応用することが可能である。

本発明に係る撮像装置１の概略構成を示すブロック図である。 本発明に係る撮像素子１００の内部構成を示すブロック図である。 センサセルアレイ５６の詳細構成を示す図である。 走査ラインスキャナ５４の内部構成を示す図である。 （ａ）は、間引き走査の一例を示す図であり、（ｂ）は、（ａ）の間引き走査によってセンサセル５６ａから出力される画素信号のレベル（蓄積電荷量）の推移を示す図である。 撮像素子１００のセンサセルアレイ５６における各画素列毎の露光及び画素信号の読み出し動作の一例を示す図である。 画像処理部１２の内部構成を示す図である。 （ａ）は、通常走査及び間引き走査の一例を示す図であり、（ｂ）は、第１０ラインのある画素に対する蓄積電荷量の推移を示す図である。 本発明に係るモーションデータ生成システム３の概略構成を示すブロック図である。 モーションデータ生成装置２の詳細構成を示すブロック図である。 モーションデータの生成処理及びテクスチャデータの抽出処理を示すフローチャートである。 （ａ）及び（ｂ）は、通常走査画像及び高フレームレート画像の一例を示す図である。 フレームレートの違いによる撮像結果についての説明図である。 モーションデータの生成方法の一例を示す図である。 ２つの非破壊出力チャンネルを有する撮像装置４の概略構成を示す図である。 撮像装置４における各画素列毎の露光及び画素信号の読み出し動作の一例を示す図である。 ２つの非破壊出力チャンネルを用いた間引き走査の一例を示す図である。

符号の説明

１は撮像装置、２はモーションデータ生成装置、３はモーションデータ生成システム、１０は撮像処理部、１２は画像処理部、１４はフレームメモリ、１００は撮像素子、１０２は第１のＡＦＥ、１０４は第２のＡＦＥ、５０は基準タイミング発生器、５２は駆動パルス発生器、５４は走査ラインスキャナ、５６はセンサセルアレイ、５８は第１出力チャンネル、６０は第２出力チャンネル、５４ａは通常走査カウンタ、５４ｂは通常走査アドレスデコーダ、５４ｃは間引き走査カウンタ、５４ｄは間引き走査アドレスデコーダ、５４ｅはＯＲロジック、１２ａは通信器、１２ｂはタイミング制御部、１２ｃは高フレームレート画像生成部、１２ｄはメモリアクセス部、１２ｅは出力読出し部、２ａは画像データ取得部、２ｂは画像データ記憶部、２ｃは位置検出部、２ｄはモーションデータ生成部、２ｅはテクスチャデータ抽出部、２ｆはモーションデータ記憶部

Claims (16)

1. 露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
   前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出手段と、
   前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出手段と、
   前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第１出力チャンネルと、
   前記第２読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第２出力チャンネルと、を備え、
   前記第２読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像素子。
2. 露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
   前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出手段と、
   前記各画素に対して行う複数回の走査を所定の組み合わせでＮ個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出手段と、
   前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第１出力チャンネルと、
   前記第２読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したＮ個（Ｎは２以上の自然数）の第２〜第（Ｎ＋１）出力チャンネルと、を備え、
   前記第２読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像素子。
3. 露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
   前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出手段と、
   前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出手段と、
   前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する}第１出力チャンネルと、
   前記第２読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第２出力チャンネルと、
   前記第１出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
   前記第２出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
   前記第２読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像装置。
4. 前記第２出力チャンネルは、前記画素のライン毎に前記画素データを出力するようになっており、
   前記第２読出手段は、前記複数回の走査を、前記画素群から所定ラインの画素を間引いた残りのラインの画素に対して行うようになっていることを特徴とする請求項３記載の撮像装置。
5. 前記高速撮像画像データ生成手段は、前記複数回の走査における各回の走査毎に、前記第２出力チャンネルから出力される画素データの画素値と、前記第２出力チャンネルから前記各回の走査の１つ前の回の走査において出力される画素データの画素値との差分値を算出すると共に、当該差分値に基づき、前記各回の走査にそれぞれ対応する撮像画像データを生成することを特徴とする請求項３又は請求項４記載の撮像装置。
6. 露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
   前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出手段と、
   前記各画素に対して行う複数回の走査を所定の組み合わせでＮ個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出手段と、
   前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第１出力チャンネルと、
   前記第２読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したＮ個（Ｎは２以上の自然数）の第２〜第（Ｎ＋１）出力チャンネルと、
   前記第１出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
   前記第２〜第（Ｎ＋１）出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
   前記第２読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像装置。
7. 前記第２〜第（Ｎ＋１）出力チャンネルは、前記画素のライン毎に前記画素データを出力するようになっており、
   前記第２読出手段は、前記複数回の走査を、前記画素群から所定ラインの画素を間引いた残りのラインの画素に対して行うようになっていることを特徴とする請求項６記載の撮像装置。
8. 前記高速撮像画像データ生成手段は、前記複数回の走査における各回の走査毎に、前記第２〜第（Ｎ＋１）出力チャンネルから出力される画素データの画素値と、前記第２〜第（Ｎ＋１）出力チャンネルから前記各回の走査の１つ前の回の走査において出力される画素データの画素値との差分値を算出すると共に、当該差分値に基づき、前記各回の走査にそれぞれ対応する撮像画像データを生成することを特徴とする請求項６又は請求項７記載の撮像装置。
9. 所定動作を行う動作体の動作内容を示すモーションデータを生成するモーションデータ生成システムであって、
   請求項３乃至請求項８のいずれか１項に記載の撮像装置を備え、
   前記撮像装置は、位置検出用のマーカが付された前記動作体を含む撮像対象に対する、前記所定露光時間で露光時の画素データを前記第１読出手段によって読み出すと共に、前記Ｎ種類の露光時間で露光時の画素データを前記第２読出手段によって読み出し、
   前記撮像装置における前記高速撮像画像データ生成手段で生成された撮像画像データに基づき、前記マーカの位置を検出する位置検出手段と、
   前記位置検出手段の検出結果に基づき前記モーションデータを生成するモーションデータ生成手段と、を備えることを特徴とするモーションデータ生成システム。
10. 前記撮像装置における前記通常撮像画像データ生成手段で生成された撮像画像データから、前記動作体のテクスチャデータを抽出するテクスチャデータ抽出手段を備えることを特徴とする請求項９記載のモーションデータ生成システム。
11. 所定動作を行う動作体の動作内容を示すモーションデータを生成するためのモーションデータ生成プログラムであって、
    請求項３乃至請求項８のいずれか１項に記載の撮像装置における前記高速撮像画像データ生成手段で生成された、位置検出用のマーカが付された前記動作体を含む撮像対象に対する撮像画像データに基づき、前記マーカの位置を検出する位置検出ステップと、
    前記位置検出ステップの検出結果に基づき前記モーションデータを生成するモーションデータ生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とするモーションデータ生成プログラム。
12. 所定動作を行う動作体の動作内容を示すモーションデータを生成するためのモーションデータ生成方法であって、
    請求項３乃至請求項８のいずれか１項に記載の撮像装置における前記高速撮像画像データ生成手段で生成された、位置検出用のマーカが付された前記動作体を含む撮像対象に対する撮像画像データに基づき、前記マーカの位置を検出する位置検出ステップと、
    前記位置検出ステップの検出結果に基づき前記モーションデータを生成するモーションデータ生成ステップと、を含むことを特徴とするモーションデータ生成方法。
13. 露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
    前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出手段と、
    前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出手段と、
    前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第１出力チャンネルと、
    前記第２読出手段で読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第２出力チャンネルと、
    前記第１出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
    前記第２出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
    前記第２読出手段は、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像システム。
14. 露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部と、
    前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出手段と、
    前記各画素に対して行う複数回の走査を所定の組み合わせでＮ個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出手段と、
    前記第１読出手段で読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第１出力チャンネルと、
    前記第２読み出し手段で読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したＮ個（Ｎは２以上の自然数）の第２〜第（Ｎ＋１）出力チャンネルと、
    前記第１出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成手段と、
    前記第２〜第（Ｎ＋１）出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成手段と、を備え、
    前記第２読出手段は、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像システム。
15. 露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部を有する撮像装置に用いられる撮像方法であって、
    前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出ステップと、
    前記所定露光時間の間に、前記光電変換素子の構成する各画素に対して複数回の走査を行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出ステップと、
    前記第１読出ステップで読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第１出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成ステップと、
    前記第２読出ステップで読み出される画素データを、前記複数回の走査における各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第２出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成ステップと、を含み、
    前記第２読出ステップは、前記複数回の走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像方法。
16. 露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された光電変換部を有する撮像装置に用いられる撮像方法であって、
    前記光電変換素子の構成する各画素を走査し、当該走査した各画素からの所定露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴う破壊読み出し方式で行う第１読出ステップと、
    前記各画素に対して行う複数回の走査を所定の組み合わせでＮ個の組に分割し、前記所定露光時間の間に、前記分割した各組の走査を、各組間の走査間隔が同じ時間間隔となるように行うと共に、当該各走査における前記各画素からの、前記所定露光時間以下の複数種類の露光時間で露光した時の電荷の読み出しを、蓄積電荷のリセットを伴わない非破壊読み出し方式で行う第２読出ステップと、
    前記第１読出ステップで読み出される、前記所定露光時間で露光した時の電荷から構成される画素データを順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する第１出力チャンネルから出力される画素データに基づき、所定露光時間で露光した時の撮像画像データを生成する通常撮像画像データ生成ステップと、
    前記第２読み出しステップで読み出される画素データを各走査毎に順次メモリに記憶し、当該メモリに記憶した画素データを前記記憶した順に順次出力する、前記各組毎に独立したＮ個（Ｎは２以上の自然数）の第２〜第（Ｎ＋１）出力チャンネルから出力される画素データに基づき、前記複数回の走査における各走査毎の撮像画像データをそれぞれ生成する高速撮像画像データ生成ステップと、を含み、
    前記第２読出ステップは、前記各走査を、前記複数の光電変換素子の構成する画素群から所定の画素を間引いた残りの画素に対して行うことを特徴とする撮像方法。

Images