JP2018061183A - 撮像装置および撮像システム - Google Patents

Abstract

【課題】 複数行のうちの一の行の画素信号の処理タイミングと、複数行のうちの他の一の行の画素信号の処理タイミングとのそれぞれに対応した時刻情報を得る。【解決手段】 撮像装置は、複数行に配され、画素信号を出力する複数の画素と、複数の画素を行単位で走査する行走査部と、複数行のうちの一の行の画素信号の処理タイミングに対応する第１時刻情報と、複数行のうちの他の行の画素信号に対応する時刻情報であって、第１時刻情報とは値の異なる第２時刻情報とを出力する出力部とを備える【選択図】 図１

Description

本発明は撮像装置おおび撮像システムに関する。

電子カメラ分野で、画像データに撮影日時、撮影場所などの撮像情報を付加する技術が知られている（特許文献１）。特許文献１においては、ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｏｆ Ｃａｍｅｒａ Ｆｉｌｅ Ｓｙｓｔｅｍ）規格におけるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ）フォーマットに基づき、撮像情報が画像データに付加される。

特開２００９−２２５２２９号公報

従来技術では、動画像の１フレームに対して１つの時刻情報を付加するに留まっている。したがって、従来技術では、複数行のうちの一の行の画素信号の処理タイミングと、複数行のうちの他の一の行の画素信号の処理タイミングとのそれぞれに対応した時刻情報を得ることができなかった。

本発明の一実施形態による撮像装置は、複数行に配され、画素信号を出力する複数の画素と、前記複数の画素を行単位で走査する行走査部と、前記複数行のうちの一の行の前記画素信号の処理タイミングに対応する第１時刻情報と、前記複数行のうちの他の行の前記画素信号に対応する時刻情報であって、前記第１時刻情報とは値の異なる第２時刻情報とを出力する出力部と、を備える。

本発明の他の態様による撮像システムは、撮像装置と、時刻情報を生成する情報生成部とを備える撮像システムであって、前記撮像装置は、複数行に配された複数の画素と、前記複数の画素を行単位で走査する行走査部と、選択された行の前記複数の画素のそれぞれから画素信号を読み出す読出部と、前記読出部からの複数の前記画素信号をフレーム毎の画像データとして出力する出力部とを有し、前記情報生成部は前記時刻情報として、前記複数行のうちの一の行の前記画素信号の処理タイミングに対応する第１時刻情報と、前記複数行のうちの他の行の前記画素信号に対応する時刻情報であって、前記第１時刻情報とは値の異なる第２時刻情報とを生成する。

本発明は、複数行のうちの一の行の画素信号の処理タイミングと、複数行のうちの他の一の行の画素信号の処理タイミングとのそれぞれに対応した時刻情報を得る、撮像装置、撮像システムを提供することができる。

本発明の第１実施形態における撮像システムのブロック図である。 本発明の第１実施形態における撮像装置のブロック図である。 本発明の第１実施形態における画素の等価回路図である。 本発明の第１実施形態における制御信号のタイミングチャートである。 本発明の第１実施形態における撮像システムのタイミングチャートである。 本発明の第１実施形態における時刻情報の画像データへの付加方法を説明するための図である。 本発明の第１実施形態における撮影対象と時刻情報とを説明するための図である。 本発明の第２実施形態における撮像システムのタイミングチャートである。 本発明の第３実施形態における撮像システムのタイミングチャートである。 本発明の第４実施形態における撮像システムのタイミングチャートである。 本発明の第５実施形態における画素の等価回路図である。 本発明の第５実施形態における撮像システムのタイミングチャートである。 本発明の第５実施形態における撮影対象と時刻情報とを説明するための図である。 本発明の第６実施形態における撮像システムのブロック図である。

以下、本発明の実施形態について図面を用いて詳細に説明する。
（第１の実施形態）
図１は本発明の第１の実施形態における撮像システムのブロック図である。図１に示すように撮像システムは、撮像装置１０、光学系１１、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１２、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１３、画像メモリ１４、パルス発生部１５、時刻取得部１６、時刻情報生成部１７、情報付加部１８を備える。

撮像装置１０は、本実施形態ではＣＭＯＳエリアセンサであり、２次元配列された複数の画素を有し、レンズなどの光学系１１を介して入射された光信号を電気信号である画素信号に変換する。ＡＦＥ１２は差動増幅器、クランプ回路、アナログ・デジタル変換回路を含み、デジタルの画素データを出力する。ＤＳＰ１３は画素データを処理する回路であって、ガンマ処理などの階調補正、ホワイトバランス補正、デモザイク処理、ノイズ低減処理などのデジタル信号処理を行う。画像メモリ１４はデジタル信号処理された画像データを一時的に保持するフレームメモリである。パルス発生部１５は撮像装置１０の垂直同期信号ＶＤ、水平同期信号ＨＤおよび撮像装置１０の制御信号を生成する。

時刻取得部１６は、複数のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの電波を受信するアンテナ、ベースバンド信号を処理する受信回路、受信信号に含まれる情報を復調する復調回路を有している。複数のＧＰＳ衛星からの受信電波の時間差に基づき、撮像システムの緯度、経度、高度の正確な情報を取得することができる。また、ＧＰＳ衛星からの受信電波には、基準時刻としてのＧＰＳ時刻情報（ＧＰＳ週情報、ＧＰＳ秒情報）、閏秒情報が含まれる。ＧＰＳ週情報は１９８０年１月６日を起点として０〜１０２３で巡回する情報である。ＧＰＳ秒情報はＧＰＳ週内の秒経過情報であり、７日×２４時間×６０分×６０秒＝６０４８００秒内の値を取り得る。閏秒情報はＧＰＳ時刻と世界標準時刻ＵＴＣ（Ｕｎｉｖｅｒｓａｌ Ｔｉｍｅ Ｃｏｏｒｄｉｎａｔｅｄ）との差分を表し、ＧＰＳ時刻をＵＴＣに変換する際に使用される。また、時刻取得部１６は受信電波を復調する際にＰＰＳ（Ｐｕｌｓｅ Ｐｅｒ Ｓｅｃｏｎｄ）信号と呼ばれる高精度の１秒１パルスの信号を出力する。

時刻情報生成部１７はクロック回路を備え、ＰＰＳ信号および水平同期信号ＨＤを用いて、ＧＰＳ時刻情報よりも時間分解能の高い時刻情報を生成する。時刻情報生成部１７は例えば１０ＭＨｚ、すなわち１０^−７秒でカウントアップするカウンタを計数し、ＰＰＳ信号の立ち上がりでカウンタをリセットする。ＰＰＳ信号をカウンタのリセットに用いることで、誤差が累積しない高精度の時刻情報を生成することができる。

情報付加部１８は、時刻情報生成部１７によって生成された時刻情報を画像データに付加する。さらに、情報付加部１８は時刻情報に加えて位置情報、撮像情報を画像データに付加することができる。出力装置（出力部）１９はフレーム毎の画像データを出力可能であって、デジタルインターフェース、メモリカードなどの記録媒体のためのインターフェース、ディスプレイなどの表示装置への表示回路を含み得る。

図２は撮像装置１０のブロック図である。撮像装置１０は、画素部１００、行走査回路（行走査部）１２０、列読出回路（読出部）１３０Ａ、１３０Ｂ、列走査回路１５０Ａ、１５０Ｂ、タイミングジェネレータ１６０、出力回路１７１Ａ、１７２Ａ、１７１Ｂ、１７２Ｂを備える。画素部１００には、複数の画素１１０が行方向および列方向に沿って二次元マトリクス状に配置される。図２の画素部１００はｎ行ｍ列の画素１１０を含むが、説明の簡略化のために限られた数の画素１１０が示されている。なお、本明細書において、行方向とは図面における水平方向を示し、列方向とは図面において垂直方向を示すものとする。画素部１００には、焦点検出用の信号を出力する焦点検出画素が配された測距行と、画像を生成するための信号を出力する撮像画素が配された複数の撮像行とが設けられている。また、画素部１００の一部の画素１１０はＯＢ画素（オプティカル・ブラック画素）として遮光されている。

画素１１０はカラーフィルタ、マイクロレンズ、光電変換部、浮遊拡散部、リセットトランジスタ、転送トランジスタ、増幅トランジスタ、選択トランジスタなどを含む。カラーフィルタは例えば赤、青、緑の原色フィルタであって、ベイヤー配列に従って各画素１１０に設けられている。

行走査回路１２０はタイミングジェネレータ１６０からの制御信号を受けて、画素部１００を行単位で読取走査を行う。すなわち、複数の画素１１０が配された画素行には行走査回路１２０から制御信号Ｖ１〜Ｖｎが供給され、光電変換された信号が画素１１０から読み出される。制御信号Ｖ１〜Ｖｎのそれぞれは、画素１１０に含まれるリセットトランジスタ、転送トランジスタ、選択トランジスタをオンまたはオフさせる制御信号を含む。列方向の複数の画素１１０は４×ｍ本の列信号線Ｌ（１−１）〜Ｌ（１−４）、・・・、Ｌ（ｍ−１）〜Ｌ（ｍ−４）のそれぞれに接続されている。例えば、第１列の複数の画素１１０は列信号線Ｌ（１−１）、Ｌ（１−２）、Ｌ（１−３）、Ｌ（１−４）に接続され、第２列の複数の画素１１０は列信号線Ｌ（２−１）、Ｌ（２−２）、Ｌ（２−３）、Ｌ（２−４）に接続されている。列信号線Ｌ（１−１）、Ｌ（１−２）、・・・、Ｌ（ｍ−１）、Ｌ（ｍ−２）は列読出回路１３０Ａの列回路１３１Ａ、１３２Ａにそれぞれ接続されている。

列回路１３１Ａ、列回路１３２Ａは列走査回路１５０Ａによって走査され、出力回路１７１Ａ、１７２Ａに画素信号を順次出力する。同様に、列信号線Ｌ（１−３）、Ｌ（１−４）、・・・、Ｌ（ｍ−３）、Ｌ（ｍ−４）は列読出回路１３０Ｂの列回路１３１Ｂ、１３２Ｂにそれぞれ接続されている。列回路１３１Ｂ、列回路１３２Ｂは列走査回路１５０Ｂによって走査され、出力回路１７１Ｂ、１７２Ｂに画素信号を順次出力する。出力回路１７１Ａ、１７２Ａ、１７１Ｂ、１７２Ｂからの画素信号は図１のＡＦＥ１２に出力される。

本実施形態においては、各列の画素１１０に４個の列回路１３１Ａ、１３２Ａ、１３１Ｂ、１３２Ｂが設けられているため、最大で４行の画素１１０からの画素信号を同時に読み出すことができる。なお、同時に読み出し可能な画素行は４行に限定されるものではなく、１行、２行でも良く、４行よりも多くても良い。さらに、複数行の画素信号を加算して読み出しても良い。

列回路１３１Ａ、１３２Ａ、１３１Ｂ、１３２Ｂは増幅トランジスタの負荷となる定電流源、画素信号を増幅する差動増幅回路、画素信号を一時的に保持する保持回路等を備える。タイミングジェネレータ１６０は制御部として機能し、垂直同期信号ＶＤ、水平同期信号ＨＤ、および図示されていない基準クロックに基づく制御信号を行走査回路１２０、列走査回路１５０Ａ、１５０Ｂに出力する。

図３は、本実施形態に係る撮像装置１０における画素１１０の等価回路を示している。画素１１０は、光電変換部ＰＤ、保持部Ｃ１、浮遊拡散部ＦＤ、転送トランジスタＭ１、増幅トランジスタＭ３、選択トランジスタＭ４、リセットトランジスタＭ５を備える。

光電変換部ＰＤは、カラーフィルタ、マイクロレンズを通過した入射光を光電変換し、光電変換により生じた電荷を蓄積する。転送トランジスタＭ１は、オンとなることにより光電変換部ＰＤの電荷を増幅トランジスタＭ３の浮遊拡散部ＦＤに転送する。増幅トランジスタＭ３のドレインは電源電圧線に接続され、ソースは浮遊拡散部ＦＤの電圧に基づく信号を選択トランジスタＭ４を介して列信号線Ｌに出力する。列信号線Ｌには定電流源１１５が接続されている。リセットトランジスタＭ５は、オンとなることにより浮遊拡散部ＦＤの電圧をリセットする。

同一行の画素１１０に対しては共通の制御信号が行走査回路１２０から供給される。すなわち、同一行において、転送トランジスタＭ１、選択トランジスタＭ４、リセットトランジスタＭ５には、制御信号ＴＸ、ＳＥＬ、ＲＥＳがそれぞれ供給される。これらのトランジスタは、制御信号がハイレベルのときにオンとなり、ローレベルのときにオフとなる。なお、複数の画素１１０が１つの増幅トランジスタＭ３を共有しても良い。

図４は、本実施形態に係る制御信号のタイミングチャートであって、画素信号の読み出しの動作を表している。図４には、選択トランジスタＭ４に供給される制御信号ＳＥＬ、リセットトランジスタＭ５に供給される制御信号ＲＥＳ、転送トランジスタＭ１に供給される制御信号ＴＸが示されている。トランジスタＭ１、Ｍ４、Ｍ５はそれぞれ対応する制御信号がハイレベルの時にオンになり、ローレベルの時にオフになる。

以下、図２および図３を参照しながら、画素信号の読み出しの動作を説明する。まず、行走査回路１２０は制御信号ＳＥＬをハイレベルとすることで、選択トランジスタＭ４をオンとし、信号を読み出す画素１１０を選択する。次に、行走査回路１２０は制御信号ＲＥＳをハイレベルとし、リセットトランジスタＭ５をオンにする。リセットトランジスタＭ５がオンとなることで、浮遊拡散部ＦＤの電圧が電源電圧にリセットされる。リセットトランジスタＭ５がオフとなった後、列読出回路１３０Ａ、１３０Ｂは列信号線Ｌから、リセット時の画素信号の読み出し（Ｎ読み）を行う。行走査回路１２０は制御信号ＴＸをハイレベルとすることで、転送トランジスタＭ１をオンとし、光電変換部ＰＤの電荷を浮遊拡散部ＦＤへ転送する。列読出回路１３０Ａ、１３０Ｂは列信号線Ｌから光電変換時の画素信号の読み出し（Ｓ読み）を行う。このようにして読み出された画素信号は列読出回路１３０Ａ、１３０Ｂにおいて相関二重サンプリング処理され、出力回路１７１Ａ、１７２Ａ、１７１Ｂ、１７２Ｂから出力される。なお、画素信号をＡＤ変換した後に相関二重サンプリング処理を行っても良い。

図５は本実施形態における撮像システムのタイミングチャートであって、垂直同期信号ＶＤ、水平同期信号ＨＤ、カウンタ、ＰＰＳ信号を表している。カウンタは時刻情報生成部１７において１０^−７秒毎にカウントアップされ、ＧＰＳのＰＰＳ信号の立ち上がりでリセットされるデジタル値である。

撮像システムに電源が投入されることにより、パルス発生部１５は垂直同期信号ＶＤ、水平同期信号ＨＤ、制御信号を出力し、撮像装置１０は撮像動作を開始する。時刻取得部１６はＧＰＳ衛星から電波を受信し、ＧＰＳ位置情報、ＧＰＳ時刻情報を取得し始める。

時刻ｔ１において、時刻取得部１６は受信電波からＰＰＳ信号を取得すると、ＰＰＳ信号を時刻情報生成部１７に出力する。時刻情報生成部１７はＰＰＳ信号の立ち上がりを検出すると、カウンタをリセットする。ＰＰＳ信号に同期してリセットされるカウンタを用いることで、ＧＰＳ時刻情報の更新周期である１秒よりも時間分解能の高いμ秒単位の時刻情報を生成することができる。時刻ｔ１と同時に、時刻取得部１６は受信電波からＧＰＳ週情報、ＧＰＳ秒情報を含むＧＰＳ時刻情報を取得し、ＧＰＳ時刻情報を年／月／日／時／分／秒の形式の時刻情報に変換する。ＧＰＳ時刻情報は、撮像装置１０の駆動タイミングとは非同期に、ＰＰＳ信号の１秒毎に取得される。

時刻ｔ２において、垂直同期信号ＶＤがハイレベルになった後、ローレベルになると、撮像装置１０において１フレームの垂直走査期間が始まる。垂直同期信号ＶＤはＰＰＳ信号とは非同期の信号である。

時刻ｔ３において、水平同期信号ＨＤがハイレベルになった後、ローレベルになると、撮像装置１０において第１の水平走査期間が始まる。なお、以下の説明において、水平同期信号ＨＤの立ち上がりおよび立ち下がり時刻を併せて水平走査期間の開始時刻と称することがある。撮像装置１０において、行走査回路１２０は第１〜第４の画素行を選択し、列読出回路１３０Ａ、１３０Ｂは４行分の画素信号を読み出す。ＡＦＥ１２は画素信号をデジタルの画像データに変換し、ＤＳＰ１３は信号処理後の画像データを画像メモリ１４、情報付加部１８に出力する。時刻情報生成部１７は時刻ｔ３におけるカウンタの値を時刻情報として情報付加部１８に出力する。情報付加部１８は第１〜第４の画素行の画像データに時刻情報および位置情報等を付加する。これにより、第１の水平走査期間の開始時刻ｔ３を１０^−７秒の時間分解能で記録することができる。

時刻ｔ３−２において、水平同期信号ＨＤがハイレベルになった後、ローレベルになると、第２の水平走査期間が始まる。情報付加部１８は時刻ｔ３−２におけるカウンタの値を時刻情報として第５〜第８の画素行に付加する。同様にして、水平同期信号ＨＤがハイレベルになる時刻ｔ３−３、・・・、ｔ３−３００において、各水平走査期間の開始時刻ｔ３−３、・・・、ｔ３−３００の時刻情報が画像データに付加される。本実施形態においては、１水平走査期間において４画素行が同時に読み出されるため、４画素行毎に高精度の時刻情報を付加することができる。このように、水平走査期間の開始時刻を画像データの行の一部に付加することで、画像データの行と時刻情報とを関連付けて記録することができる。

これにより、保存後の画像データのすべての行について高い時間分解能の時刻情報を把握することができる。特に、画像データからＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ：関心領域）の切り出しが行なわれた場合、撮像装置１０の間引き駆動などが行われた場合、各行の取り込み時刻を正確に把握することができる。このような場合に、本実施形態の効果はより顕著になる。

図６は、本実施形態における時刻情報の画像データへの付加方法を説明するための図であって、情報付加部１８から出力された画像データを表している。図６（Ａ）は１フレームの画像データを示している。１フレームの画像データは、時刻情報、位置情報などが記録されるデータ部Ａ１、水平ＯＢ画素のデータ部Ａ２、垂直ＯＢ画素のデータ部Ａ３、有効画素のデータ部Ａ４を含む。図６（Ｂ）は、図６（Ａ）の破線で囲まれたデータ領域を表し、１画素のデータが１ブロックで示されている。１画素のデータが１６ｂｉｔのデータ、すなわち２バイトで表される場合、１画素にアスキーコード、その他２バイト文字などの情報を書き込むことができる。

時刻情報などのデータ部Ａ１は、たとえば、水平ＯＢデータの左側（すなわち先の時刻）に付加されても良く、あるいは、有効画素データの右側（すなわち後の時刻）に付加されても良い。さらに、水平ＯＢのデータ部Ａ２は、時刻情報などのデータ部Ａ１に置き換えられても良い。本実施形態においては、時刻情報を確定するタイミングは、水平同期信号ＨＤすなわち一走査行の画像データの出力開始時である。このため、水平同期信号ＨＤにもっとも近い水平ＯＢの先頭部分のデータを時刻情報のデータ部Ａ１に置き換えている。

本実施形態の撮像装置１０はプログレッシブスキャンにより４行×４列の１６ｃｈ（チャンネル）の画素信号を同時に出力可能である。例えば、１フレームにおける走査行（走査回数）が３００である場合、画素行の総数は４画素行×３００＝１２００画素行となる。１水平走査あたりの列走査回数が５４０である場合、画素列の総数は４画素列×５４０＝２１６０画素列となる。また、撮像装置１０はローリングシャッタ動作可能であり、デジタル変換後の画像データは１６ビットで出力されるものとする。なお、画素数、画像データのビット数は上述の例に限定されるものではない。

水平ＯＢデータの１走査行に対応する４画素行のうちの先頭の４画素列、すなわち１６画素に時刻情報等がバイナリデータの形式で格納される。ここで、ＯＢデータの先頭の１６画素を、それぞれｐｘ００、ｐｘ０１、ｐｘ０２、ｐｘ０３、ｐｘ１０、ｐｘ１１、ｐｘ１２、ｐｘ１３、ｐｘ２０、ｐｘ２１、ｐｘ２２、ｐｘ２３、ｐｘ３０、ｐｘ３１、ｐｘ３２、ｐｘ３３と表記する。このように、４×４の１６画素をデータ単位Ａ１１として取り扱うことができる。画素ｐｘ００〜ｐｘ３３のそれぞれは１６ビット（ｂ０〜ｂ１５）を有し、時刻情報等が以下に示すように画素ｐｘ００〜ｐｘ３３の各ビットに割り当てられる。本実施形態においては、時刻情報に加えて、位置情報、撮像情報が以下のように記録される。

位置情報は緯度情報、経度情報を含む。位置情報の有効・無効を表すデータは画素ｐｘ１１のビットｂ１５に格納される。すなわち、ビットｂ１５は位置情報の取得が有効であれば「０」、無効であれば「１」となる。緯度情報は、方位（南（Ｓ）または北（Ｎ））、度（ｄｄ）、分（ｍｍ．ｍｍｍｍ）の座標で表される。方位の情報は画素ｐｘ１３のビットｂ１５に格納され、方位がＳであればデータビットは「０」、方位がＮであればデータビットは「１」となる。度（ｄｄ）は０〜９０であり、７ビットのデータとして画素ｐｘ１１のビットｂ８〜ｂ１４に格納される。分（ｍｍ．ｍｍｍｍ）は０〜５９．９９９９であり、整数部は６ビットのデータとして画素ｐｘ１１のビットｂ０〜ｂ５に格納される。小数部は１４ビットのデータとして画素ｐｘ１３のビットｂ０〜ｂ１３に格納される。経度情報は、方位（Ｅ（東）またはＷ（西））、度（ｄｄｄ）、分（ｍｍ．ｍｍｍｍ）の座標で表される。方位の情報は画素ｐｘ３３のビットｂ１５に格納され、方位がＥであればデータビットは「０」、Ｗであればデータビットは「１」となる。度（ｄｄｄ）は０〜１８０であり、８ビットのデータとして画素ｐｘ３１のビットｂ８〜ｂ１５に格納される。分（ｍｍ．ｍｍｍｍ）は０〜５９．９９９９であり、２桁の整数部は６ビットのデータとして画素ｐｘ３１のビットｂ０〜ｂ５に格納され、４桁の小数部は１４ビットのデータとして画素ｐｘ３３のビットｂ０〜ｂ１３に格納される。

ＧＰＳ時刻情報は上述のように閏秒情報、ＧＰＳ週情報、ＧＰＳ秒情報を含む。ＧＰＳ閏秒情報の有効・無効を表すデータは画素ｐｘ０１のビットｂ１５に格納される。閏秒情報の取得が有効であればデータビットは「０」、無効であればデータビットは「１」となる。閏秒情報は−１２８〜１２７の数値で表され、８ビットのデータとして画素ｐｘ０１のビットｂ０〜ｂ７に格納される。

ＧＰＳ週情報の有効・無効を表す情報は画素ｐｘ１０のビットｂ１５に格納される。ＧＰＳ週情報の取得が有効であればデータビットは「０」、無効であればデータビットは「１」となる。上述したように、ＧＰＳから得られる週情報は１９８０年１月６日を起点として０〜１０２３で巡回する週番号であり、現在のＧＰＳ週情報は（１０２４＋週番号）で表される。２０１６年３月２７日〜２０３５年１１月１１日まで記録する場合、ＧＰＳ週情報は１８９０〜２９１４の１２ビットのデータとなる。このようにして変換されたＧＰＳ週情報は画素ｐｘ１０のビットｂ０〜ｂ１１に格納される。

ＧＰＳ秒情報の有効・無効を表すデータは画素ｐｘ１２のビットｂ１５に格納される。ＧＰＳ秒情報の取得が有効であればデータビットは「０」、無効であればデータビットは「１」となる。上述したように、ＧＰＳ秒情報はＧＰＳ週内の経過情報であり、７日×２４時間×６０分×６０秒＝６０４８００秒内の値を取り得る。ＧＰＳ秒情報は０〜６０４７９９の２０ビットのデータとして、画素ｐｘ０３のビットｂ０〜ｂ１５、画素ｐｘ１２のビットｂ０〜ｂ３に格納される。

ＰＰＳ信号の受信の有無を表すデータは画素ｐｘ３０のビットｂ１５に格納される。ＰＰＳ信号が受信されている場合にはデータビットは「０」、受信されていなければデータビットは「１」となる。また、カウンタのリセットの有無を表すデータは画素ｐｘ２０のビットｂ１５に格納される。撮像システムを起動後、カウンタが少なくとも一度、ＰＰＳ信号によりリセットされた場合にはデータビットは「０」となり、リセットされていない場合にはデータビットは「１」となる。ＰＰＳ信号によりリセットされる１０^−７秒単位の時刻情報は０〜９９９９９９の２０ビットのデータであり、画素ｐｘ２１のビットｂ０〜ｂ１５、画素ｐｘ３０のビットｂ０〜ｂ３に格納される。

また、本実施形態においては、時刻情報、位置情報を補助するため、露光時間、フレーム番号、走査行番号などの撮像条件を表す撮像情報が画像データに付加され得る。露光時間は撮像装置１０において設定され、０〜６００００００００μ秒の３０ビットのデータで表される。露光時間のデータは画素ｐｘ２３のビットｂ０〜ｂ１５、画素ｐｘ３２のビットｂ０〜ｂ１３に格納される。フレーム番号は、フレーム毎にカウントアップする連続した値であり、０〜０ｘＦＦＦＦの１６ｂｉｔのデータとして画素ｐｘ００のビットｂ０〜ｂ１５に格納される。撮影後にフレーム番号を確認することにより、連続撮影されたフレームの欠落を容易に把握することが可能となる。走査行番号は０〜２９９の９ビットのデータで表され、画素ｐｘ２０のビットｂ０〜８に格納される。走査行番号は、時刻情報および位置情報と、撮像された行との対応の確認を容易にする目的で付加される。このようして、水平走査期間の開始時刻における高精度の時刻情報とともに、位置情報および撮像情報が各走査行のＯＢデータ部に付加される。

図７は、本実施形態における撮影対象と時刻情報とを説明するための図である。図７（Ａ）は撮像エリア内における被写体の動きを表し、図７（Ｂ）は各フレームの撮像画像を表している。ここで、１秒あたりのフレーム数を６０ｆｐｓ（１６．７ｍｓｅｃ／フレーム）、４画素行の同時読み出しによる走査行数を３００（１２００画素行）とする。第１フレームにおいて、被写体は第１の走査行（第１〜第４の画素行）に撮像されている。第１の走査行のＯＢデータ部の先頭には、年月日時分秒の時刻情報「２０１６／５／２７ ０２：０３：０４」、１０^−７秒単位の時刻情報「０００００００００」が記録される。第２フレームにおいて、被写体は第２の走査行（第５〜第８の画素行）に位置し、１０^−７秒単位の時刻情報は「０１６７２２２２」となる。被写体がさらに移動し、第１００フレームの第３００の取り込み行において撮像される。このとき、走査行のＯＢデータ部には年月日時分秒の時刻情報「２０１６／５／２７ ０２：０３：０５」、１０^−７秒単位の時刻情報「６８３３３３３３」が記録される。

このように、本実施形態によれば、被写体が撮像エリア内を移動する際に、被写体が撮像されたフレーム内の撮像位置と、撮像された絶対時刻情報とを高精度に関連付けて記録することができる。従来の撮像システムでは、撮像の開始時刻あるいは終了時刻、または保存時刻がフレーム毎に付加されるだけであった。また、付加される時刻情報もＧＰＳ時刻情報に依存した１秒単位であり、フレーム内における被写体の撮像位置と絶対時刻情報とを高精度に関連付けることはできなかった。本実施形態の撮像システムは、複数行のうちの一の行の画素信号の処理タイミングに対応する第１時刻情報と、複数行のうちの他の行の画素信号に対応する時刻情報であって、第１時刻情報とは値の異なる第２時刻情報とを生成している。すなわち、１フレーム周期よりも高い分解能を備える時刻情報を生成することにより、フレーム内における被写体の撮像位置の情報（走査行番号）と時刻情報とを関連付けて記録している。これにより、被写体の撮像時刻、すなわち被写体がある地点に存在した瞬間を、より正確な絶対時刻情報として記録することが可能となる。

天体観測において、流星やスペースデブリ等の移動体を動画撮影する場合、移動体の正確な軌道を算出するためには、移動体の位置情報およびその正確な絶対時刻情報が重要となる。ここで、絶対時刻とはたとえばＵＴＣ（世界協定時）で規定される国際原子時などを示す。また、遠方の対象を観察する所謂リモートセンシングの分野では、移動体の撮影、もしくは航空機、人工衛星など移動体からの撮影が行われる。その際においても、地球に対する対象物の位置、正確な時刻情報があれば、対象物についてさらにより多くの情報を得ることができる。本実施形態によれば、例えば、天体観測において、流星、スペースデブリ等の移動体を動画撮影する場合に、フレーム内の移動体の位置とその正確な絶対時刻情報とを関連付けて記録することが可能となる。

本実施形態では、１０^−７秒単位のカウンタの基準となる時刻情報（図５の時刻ｔ１）を、ＧＰＳ衛星から得られるＰＰＳ信号としたが、本発明はこれに限られるものではない。例えば、標準電波を受信しても良く、時刻サーバの情報をネットワークから取得しても良い。また、同期信号ＶＤ、ＨＤはパルス発生部１５によって生成されているが、撮像装置１０によって生成された同期信号を検出して、カウンタの取り込み時刻（図５の時刻ｔ３）を取得しても良い。さらに、カウンタは、１０ＭＨｚ、すなわち１０^−７秒の周期であるが、カウンタの基準となるＰＰＳ信号、フレーム周期よりも高い時間分解能を有する限り、上述の例に限定されない。また、本実施形態では、時刻情報生成部１７が、撮像装置１０の外部に設けられた例を説明したが、撮像装置１０が時刻情報生成部１７を有していてもよい。

また、本実施形態において、時刻情報の取り込みのタイミングは水平同期信号ＨＤの立ち上がり時刻（図５の時刻ｔ３）であるが、撮像装置１０の走査行と関連付けられている限り、様々な時刻を基準とすることができる。例えば、後述するように、水平同期信号ＨＤの立ち下がり時刻、各取り込み行の露光開始時刻または終了時刻、列読出回路１３０Ａ、１３０Ｂの読み出しの開始時刻または終了時刻、光電変換部から浮遊拡散部への電荷の転送の終了時刻など、画素信号の処理タイミングに対応した時刻を用いることができる。

情報付加部１８は、１フレームのすべての走査行（１〜３００）に時刻情報を格納しているが、本発明はこれに限定されない。例えば、時刻情報を格納する行は、偶数行、奇数行のように２行のうちの１行、あるいは任意の複数行のうちの１行であっても良く、ランダムに選択された行であっても良い。さらに、被写体であると認識された行にのみ時刻情報を格納しても良い。また、時刻情報と撮像された行との関連付けが明確である限り、時刻情報の格納場所は上述の例に限定されず、画像データとは別に出力しても良い。このように、時刻情報を格納する行は、画像データの出力フォーマット、メモリ容量、撮像装置の駆動の仕様、取得した情報などの条件に応じて適宜変更可能である。

（第２の実施形態）
図８は本実施形態における撮像システムのタイミングチャートである。本実施形態では、時刻情報生成部１７は、水平同期信号ＨＤの立ち下がり時刻において、カウンタの値を時刻情報として出力している。他の構成および制御方法は第１実施形態と同様であるため、第１実施形態と異なる点を中心に説明する。

時刻ｔ１において、時刻情報生成部１７は、ＰＰＳ信号の立ち上がりを検出すると、カウンタをリセットし、１０^−７秒毎にカウンタをカウントアップする。時刻ｔ２において垂直同期信号ＶＤがハイレベルになった後に、ローレベルになると、撮像装置１０において１フレームの垂直走査期間が始まる。水平同期信号ＨＤがハイレベルになった後に、時刻ｔ４においてローレベルになることで、撮像装置１０における水平走査期間が開始する。同時に、時刻情報生成部１７はカウンタの値をＯＢデータ部に記録することで、水平走査期間の開始時刻ｔ４を高い時間分解能で記録することができる。同様にして、水平同期信号ＨＤがローレベルになる時刻ｔ４−２、ｔ４−３、・・・ｔ４−３００において、時刻情報生成部１７はカウンタの値を走査行と関連付けて記録する。本実施形態においても、第１実施形態と同様に、高精度の時刻情報を記録することができる。

（第３の実施形態）
図９は本実施形態における撮像システムのタイミングチャートである。本実施形態においては、時刻情報生成部１７は、列読出回路１３０Ａ、１３０Ｂが画素信号の読み出しを終了した時刻ｔ５において、カウンタの値を時刻情報として出力している。以下の説明において、列読出回路１３０Ａ、１３０Ｂが読み出しを終了した時刻を水平走査期間の終了時刻と称することもある。他の構成および制御方法は第１実施形態と同様であるので、第１実施形態と異なる点を中心に説明する。

時刻ｔ１において、時刻情報生成部１７が、ＰＰＳ信号の立ち上がりを検出すると、カウンタをリセットし、カウンタをカウントアップする。時刻ｔ２において垂直同期信号ＶＤがハイレベルになった後に、ローレベルになると、撮像装置１０において１フレームの垂直走査期間が始まる。水平同期信号ＨＤがハイレベルになった後にローレベルになることで、撮像装置１０において水平走査期間が始まる。列読出回路１３０Ａ、１３０Ｂは１走査行（４画素行）の画素信号を読み出し、列走査回路１５０Ａ、１５０Ｂは列読出回路１３０Ａ、１３０Ｂを走査する。これにより、撮像装置１０から４画素列毎（１６画素毎）に画素信号が順次出力される。１走査行あたり５４０回の画素信号の出力がなされ、最後の５４０回の出力が終了すると、タイミングジェネレータ１６０は画素信号の出力の終了を示すパルス信号ＨＳＲ＿ＥＮＤを発生させる。時刻ｔ５において、パルス信号ＨＳＲ＿ＥＮＤがハイレベルになると同時に、時刻情報生成部１７はカウンタの値を時刻情報として記録する。これにより、水平走査の終了時刻ｔ５を高い時間分解能で記録することができる。同様にして、水平走査終了のパルス信号ＨＳＲ＿ＥＮＤがハイレベルになることで、時刻ｔ５−２、ｔ５−３、・・・、ｔ５−３００におけるカウンタの値が走査行の一部に付加される。これにより、画像データのすべての走査行と絶対時刻情報とを高い時間分解能で関連付けることができる。

なお、本実施形態において、列読出回路１３０Ａ、１３０Ｂが画素信号の読み出しを開始した時刻において、カウンタの値を時刻情報として記録しても良い。すなわち、それぞれの走査行において、撮像装置１０から画素信号が出力され始めた時刻を時刻情報として記録しても良い。

（第４の実施形態）
図１０は本実施形態における撮像システムのタイミングチャートである。本実施形態においては、転送トランジスタＭ１がオンからオフとなり、光電変換部ＰＤからの電荷の転送が終了した時刻において、カウンタの値が時刻情報として記録される。制御信号ＴＸがハイレベルとなることで転送トランジスタＭ１がオンとなり、光電変換部ＰＤにおいて生じた電荷が浮遊拡散部ＦＤへ転送される。画素１１０がローリングシャッタ動作を行う場合、制御信号ＴＸは光電変換部ＰＤにおける電荷蓄積の終了時刻を決定する。以下、第１実施形態と異なる点を中心に本実施形態における撮像システムを説明する。

時刻ｔ４において、水平同期信号ＨＤがハイレベルになった後にローレベルになることで、行走査回路１２０によって第１の走査行（第１〜第４画素行）の画素１１０が選択され、列読出回路１３０Ａ、１３０Ｂによって画素信号が読出される。すなわち、図４に示されたように、光電変換部ＰＤのリセットがなされた後、制御信号ＴＸがハイレベルとなり、転送トランジスタＭ１がオンとなる。これにより、光電変換部ＰＤから浮遊拡散部ＦＤへ電荷が転送され、電荷に応じた電圧が増幅トランジスタＭ３から列信号線Ｌを介して列読出回路１３０Ａ、１３０Ｂによって読み出される。

時刻ｔ６において、制御信号ＴＸがローレベルとなり、転送トランジスタＭ１はオフとなる。これにより、光電変換部ＰＤの電荷の蓄積および読出しが終了する。同時に、時刻情報生成部１７は時刻ｔ６におけるカウンタの値を時刻情報として出力する。

制御信号ＴＸがローレベルになる時刻ｔ６は、画素１１０における電荷蓄積の終了時刻と一致する。従って、時刻ｔ６におけるカウンタの値は撮像装置１０の撮像時刻をより正確に表したものとなる。

列走査期間において、列読出回路１３０Ａ、１３０Ｂは列走査回路１５０Ａ、１５０Ｂによって走査され、撮像装置１０から画素信号が順次出力される。情報付加部１８は時刻ｔ６における時刻情報を画像データの該当する走査行に付加する。同様にして、時刻ｔ６−２、ｔ６−３、・・・、ｔ６−３００において、カウンタの値が高精度の時刻情報として付加される。

このように電荷転送の終了時刻を時刻情報として走査行に付加することで、走査行と撮像時刻とを高い時間分解能で関連付けて記録することができる。また、カウンタはＧＰＳ衛星からの絶対時刻に同期していることから、電荷の蓄積終了時刻を極めて正確な絶対時刻として記録することが可能となる。

（第５の実施形態）
第１〜第５の実施形態では、撮像装置１０は通常の撮像動作またはローリングシャッタを実行可能であるが、本実施形態では、撮像装置１０は一括電子シャッタを実行可能である。一括電子シャッタにおいては全画素の露光が同時に行われる。本実施形態では、全画素の露光終了時刻を基準として時刻情報を決定している。

図１１は、本実施形態に係る画素１１０の等価回路を示している。画素１１０は、光電変換部ＰＤ、保持部Ｃ１、浮遊拡散部ＦＤ、第１の転送トランジスタＭ１、第２の転送トランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４、リセットトランジスタＭ５、オーバーフロートランジスタＭ６を備える。第１の転送トランジスタＭ１は、オンとなることにより光電変換部ＰＤの電荷を保持部Ｃ１に転送し、保持部Ｃ１は、光電変換部ＰＤから転送された電荷を保持する。全画素１１０において、第１の転送トランジスタＭ１を同時に駆動することにより、光電変換部ＰＤの露光終了のタイミングを一括して制御することが可能となる。すなわち、各行の制御信号ＴＸ１を同時にオンまたはオフに制御することにより、全画素１１０における露光タイミングを同時に制御することができる。オーバーフロートランジスタＭ６はオンとなることにより、光電変換部ＰＤの電荷を電源ノードなどのオーバーフロードレインに排出することができる。本実施形態によれば、保持部Ｃ１が電荷を保持している間、光電変換部ＰＤは新たに生じた電荷を蓄積することができ、全画素１１０における光電変換のタイミングを一致させる一括電子シャッタ機能を実現することができる。

図１２は本実施形態における撮像システムのタイミングチャートである。先ず、全画素１１０において制御信号ＯＦＧをハイレベルとすることでオーバーフロートランジスタＭ６がオンとなり、光電変換部ＰＤの電荷が排出される。オーバーフロートランジスタＭ６がオフとなると、全画素１１０において光電変換部ＰＤにおける露光期間が開始する。その後、全画素１１０において制御信号ＴＸ１がハイレベルとなり、第１の転送トランジスタＭ１がオンとなる。これにより、光電変換部ＰＤの電荷が保持部Ｃ１に転送される。

時刻ｔ７において、全画素１１０において制御信号ＴＸ１がローレベルになり、露光期間が終了する。同時に、時刻情報生成部１７は時刻ｔ７におけるカウンタの値を時刻情報として出力する。その後、それぞれの行の画素信号が列読出回路１３０Ａ、１３０Ｂによって順序読み出され、撮像装置１０から出力される。情報付加部１８は撮像装置１０から順次出力された走査行のそれぞれに同一のカウンタの値を付加する。これにより、全画素１１０の露光終了の時刻ｔ７を高い時間分解能で記録することができる。

同様にして、動画像の各フレームにおいて、露光期間が一致した撮像が行なわれ、露光期間の終了時刻が画像データに付加される。すなわち、時刻情報生成部１７は時刻ｔ７−２、ｔ７−３、・・・におけるカウンタの値を各フレームの画像データに付加する。よって、各フレームの撮像時刻（露光終了時刻）を高い時間分解能で画像データに関連付けて記録することができる。

図１３は、本実施形態における撮影対象と時刻情報とを説明するための図である。図１３（Ａ）は撮像エリア内における被写体の動きを表し、図１３（Ｂ）は各フレームの撮像画像を表している。従来の撮像システムでは、撮影フレーム１枚につき、時間分解能はＧＰＳ時刻情報に依存した１秒単位であった。このため、１フレームにおいて１秒未満の露光時間で撮影を行なった場合、複数のフレームにおいて同一の時刻情報（例えば、０２：０３：０４）が記録されてしまう。一方、本実施形態によれば、各フレームの露光終了の時刻を高分解能の時刻情報として記録することができる。これにより、各フレームの撮像時刻を高精度に記録することができる。

（第６の実施形態）
図１４は本実施形態における撮像システムのブロック図である。第１〜第５の実施形態においては、撮像装置１０はパルス発生部１５により生成された同期信号に基づき駆動されている。本実施形態においては、パルス発生部１５に代えて同期信号検出部１５ａが設けられており、同期信号検出部１５ａは撮像装置１０によって生成された同期信号を検出可能である。

撮像装置１０は様々な構成を備えるものがあり、垂直同期信号ＶＤ、水平同期信号ＨＤを撮像装置１０の内部で発生するもの、あるいは、外部から供給された垂直同期信号ＶＤに基づき、内部で水平同期信号ＨＤを発生させるものが存在する。このような撮像装置１０を用いる場合、撮像装置１０の同期信号を検出することが好ましい。

本実施形態によれば、同期信号検出部１５ａは撮像装置１０における垂直同期信号ＶＤ、水平同期信号ＨＤを検出し、時刻情報生成部１７に出力することができる。他の構成は第１〜第５の実施形態と同様であるため、その説明を省略する。本実施形態においても、時刻情報を画像データの行に付加することにより、各行の取り込み時刻を正確に把握することが可能となる。

（他の実施形態）
上述の実施形態は本発明の例示に過ぎず、本発明の趣旨を逸脱しない範囲で変更実施が可能である。例えば、撮像装置はＣＭＯＳイメージセンサに限定されず、ＣＣＤイメージセンサであって良い。また、ＧＰＳ衛星の電波によって定期的に校正される内部クロックを撮像システムの内部に設け、ＧＰＳ衛星からの電波を受信するのが困難な場合に、内部クロックに基づき絶対時刻情報を生成しても良い。

１０ 撮像装置
１５ パルス発生部
１６ 時刻取得部
１７ 時刻情報生成部
１８ 情報付加部
ＶＤ 垂直同期信号
ＨＤ 水平同期信号

Claims (20)

1. 複数行に配され、画素信号を出力する複数の画素と、
   前記複数の画素を行単位で走査する行走査部と、
   前記複数行のうちの一の行の前記画素信号の処理タイミングに対応する第１時刻情報と、前記複数行のうちの他の行の前記画素信号に対応する時刻情報であって、前記第１時刻情報とは値の異なる第２時刻情報とを出力する出力部と、
   を備える撮像装置。
2. 前記撮像装置の外部から供給された基準時刻を用いて、前記基準時刻よりも分解能の高い時刻情報として、前記第１時刻情報と前記第２時刻情報を生成する時刻情報生成部をさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 撮像装置と、時刻情報を生成する情報生成部とを備える撮像システムであって、
   前記撮像装置は、
   複数行に配された複数の画素と、
   前記複数の画素を行単位で走査する行走査部と、
   選択された行の前記複数の画素のそれぞれから画素信号を読み出す読出部と、
   前記読出部からの複数の前記画素信号をフレーム毎の画像データとして出力する出力部とを有し、
   前記情報生成部は前記時刻情報として、前記複数行のうちの一の行の前記画素信号の処理タイミングに対応する第１時刻情報と、前記複数行のうちの他の行の前記画素信号に対応する時刻情報であって、前記第１時刻情報とは値の異なる第２時刻情報とを生成することを特徴とする撮像システム。
4. 前記時刻情報は、水平走査期間の開始時刻を表すことを特徴とする請求項３に記載の撮像システム。
5. 前記時刻情報は、水平走査期間の終了時刻を表すことを特徴とする請求項３または４に記載の撮像システム。
6. 前記時刻情報は、前記読出部が前記画素信号の読み出しを開始する時刻を表すことを特徴とする請求項３または４に記載の撮像システム。
7. 前記時刻情報は、前記読出部が前記画素信号の読み出しを終了する時刻を表すことを特徴とする請求項３または４に記載の撮像システム。
8. 前記画素は、光電変換部と、前記光電変換部によって生じた電荷を転送する転送トランジスタと、前記転送トランジスタによって転送された電荷に基づく前記画素信号を出力する増幅トランジスタとを備え、
   前記時刻情報は、前記転送トランジスタがオンからオフになる時刻を表すことを特徴とする請求項３または４に記載の撮像システム。
9. 前記複数の画素は、前記光電変換部における露光タイミングが行毎に異なるローリングシャッタの動作を実行可能であることを特徴とする請求項８に記載の撮像システム。
10. 前記画素は、光電変換部と、保持部と、前記光電変換部によって生じた電荷を前記保持部に転送する第１の転送トランジスタと、前記保持部における電荷を転送する第２の転送トランジスタと、前記第２の転送トランジスタによって転送された電荷に基づく前記画素信号を出力する増幅トランジスタとを備え、
    前記時刻情報は、前記複数の画素において同時に前記第１の転送トランジスタがオンからオフになる時刻を表すことを特徴とする請求項３または４に記載の撮像システム。
11. 前記複数の画素は、前記光電変換部における露光タイミングがフレーム内において同一となる一括電子シャッタの動作を実行可能であることを特徴とする請求項１０に記載の撮像システム。
12. 前記情報生成部は、位置情報をさらに出力することを特徴とする請求項３乃至１１のいずれか１項に記載の撮像システム。
13. 前記情報生成部は、撮像条件を表す撮像情報をさらに出力することを特徴とする請求項３乃至１２のいずれか１項に記載の撮像システム。
14. 前記撮像情報は、前記複数の画素における露光時間の情報を含むことを特徴とする請求項１３に記載の撮像システム。
15. 前記撮像情報は、前記画像データのフレーム番号を含むことを特徴とする請求項１３に記載の撮像システム。
16. 前記撮像情報は、前記時刻情報に関連付けられた走査行の番号を含むことを特徴とする請求項１３に記載の撮像システム。
17. 前記行走査部により同時に選択される１つまたは複数の行毎に、前記時刻情報を前記画像データに付加する情報付加部をさらに備えることを特徴とする請求項３乃至１６のいずれか１項に記載の撮像システム。
18. 前記情報付加部は前記画像データにバイナリデータで表された前記時刻情報を付加することを特徴とする請求項１７に記載の撮像システム。
19. 前記情報付加部は、前記画像データのうちの遮光されたオプティカル・ブラック画素に対応する部分に、前記時刻情報を付加することを特徴とする請求項１７または１８に記載の撮像システム。
20. ＧＰＳ衛星の受信電波から基準時刻を取得する取得部をさらに備え、前記情報生成部は、前記基準時刻を用いて、前記基準時刻よりも分解能の高い前記時刻情報を生成することを特徴とする請求項３乃至１９のいずれか１項に記載の撮像システム。

Images