JP2019180055A - 撮像装置及び画像歪検出方法 - Google Patents
撮像装置及び画像歪検出方法 Download PDFInfo
- Publication number
- JP2019180055A JP2019180055A JP2018069296A JP2018069296A JP2019180055A JP 2019180055 A JP2019180055 A JP 2019180055A JP 2018069296 A JP2018069296 A JP 2018069296A JP 2018069296 A JP2018069296 A JP 2018069296A JP 2019180055 A JP2019180055 A JP 2019180055A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- signal
- period
- image
- accumulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】 単一の撮像素子を用いて2つの映像を同時に撮影する際に、画像歪を検出することができる撮像装置を提供すること。【解決手段】 制御部は、撮像素子を制御して、1つの垂直同期期間の中の第1の期間に光電変換部で発生した信号電荷をN回(Nは1以上の整数)第1の信号保持部に転送して生成される第1の映像信号と、垂直同期期間の中の第2の期間に光電変換部で発生した信号電荷をM回(MはN以上の整数)第2の信号保持部に転送して生成される第2の映像信号とを取得する取得手段と、第1映像信号と第2映像信号とを比較することにより画像歪を検出する画像歪検出手段と、を含むことを特徴とする。【選択図】 図7
Description
本発明は、同時期に露出の異なる複数の画像を取得可能な撮像装置に関し、特に画像歪の検出方法に関するものである。
動画と静止画を一台のカメラで同時期に撮影することにより、撮影シーンを動画として視聴すると同時に、動画中の決定的なシーンを静止画として楽しむことができる。また、通常フレームレート動画と高フレームレート動画とを一台のカメラで同時に撮影することにより、通常フレームレート動画の特定のシーンを高フレームレート動画のスローモーション映像に切り替えて、高品位な作品として楽しむことができる。このように、受光効率の異なる2つの光電変換部を有する撮像装置を用いることにより、視聴者に対して動感を豊かに伝えることができる映像が得られるので、撮影した映像の価値を大きく高めることができる。
2つの映像を同時に撮影する撮像素子の露光期間を制御するためには、フォーカルプレーンシャッターなどのメカニカルなシャッター方式は適さないため、電気的に読み出しタイミングを制御できる電子シャッター方式が必要となる。しかしながら、電子シャッターとして代表的なローリングシャッターでは、撮影中に被写体が動いたり、パンニングしたりすると、被写体画像が斜めに歪むいわゆるローリングシャッター歪が発生して画質が低下してしまうという課題がある。
本発明の目的は、単一の撮像素子を用いて2つの映像を同時に撮影する際に、画像歪を検出することができる撮像装置を提供することにある。
前記目的と達成するために、本発明に係る撮像装置は、1つの光電変換部に並列に接続された第1の信号保持部と第2の信号保持部を有する画素要素が行方向および列方向の2次元に配列した撮像素子と、前記撮像素子の駆動を制御するための制御部とを有した撮像装置で、前記制御部は、前記撮像素子を制御して、1つの垂直同期期間の中の第1の期間に光電変換部で発生した信号電荷をN回(Nは1以上の整数)第1の信号保持部に転送して生成される第1の映像信号と、前記垂直同期期間の中の第2の期間に光電変換部で発生した信号電荷をM回(MはN以上の整数)第2の信号保持部に転送して生成される第2の映像信号とを取得する取得手段と、前記第1映像信号と前記第2映像信号とを比較することにより画像歪を検出する画像歪検出手段とを、含むことを特徴とする。
本発明によれば、単一の撮像素子を用いて2つの映像を同時に撮影する際に、画像歪を検出することができる撮像装置を得ることができる。
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。
(第1実施形態)
一般に、動画撮影時のシャッタースピードが速いと、再生時にコマ送りのようないわゆるジャーキネスが表れて映像の滑らかさが失われてしまう。こういったジャーキネスを抑えた滑らかな映像を得るためには、一連の撮影において、1フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが30fpsであれば、1/30秒や1/60秒といった比較的長い蓄積時間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。
一般に、動画撮影時のシャッタースピードが速いと、再生時にコマ送りのようないわゆるジャーキネスが表れて映像の滑らかさが失われてしまう。こういったジャーキネスを抑えた滑らかな映像を得るためには、一連の撮影において、1フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが30fpsであれば、1/30秒や1/60秒といった比較的長い蓄積時間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においては、この設定が重要である。
一方、静止画においては、ブレを抑えて一瞬を写し止めた、いわゆるストップモーション効果のある映像を撮影することが求められる。このため、例えば1/1000秒程度の短い蓄積時間を設定する必要がある。また、高フレームレートの動画では、1フレーム期間が短いので、例えばフレームレートが120fpsであれば、1/125秒や1/250秒といった必然的に短い蓄積時間を設定することとなる。
単一の撮影レンズを通して動画と静止画或いは通常フレームレートの動画と高フレームレートの動画の2つの映像を同時期に撮影するということは、それらの撮影で使用される絞りが共通であるということである。このときにも、2つの映像が異なる蓄積時間の設定で撮影されながらも、撮像素子においては同程度の信号電荷を得て、どちらもS/N比の良好なノイズ感のない映像となることが望ましい。
また、映画や家庭用のテレビの映像をより臨場感のあるものにするための技術として、動画のHDR(ハイ・ダイナミックレンジ)技術がある。これは、表示画面の輝度再現範囲を拡大し、主に、瞬間的或いは部分的な輝度の突き上げによって、従来以上の臨場感を提供するものである。映像の入力から出力までの全体としてこの技術を高いレベルで完成させるためには、映像を取得する機器側でのダイナミックレンジの拡大がどうしても必要である。
そこで、本実施形態では、まず、単一の撮像素子を用いて撮影条件(露出)が異なる2つの映像を同時に撮影する際に、2つの映像の露光をより適正化する方法について説明する。なお、本実施形態では、撮像素子から出力される映像信号を処理するための映像処理装置に、撮像のための撮影光学系等を追加した撮像装置を、本発明の好適な実施形態の一例として説明する。ただし、映像処理装置は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子や撮影光学系とは別のハードウェアにより構成されていてもよい。また、映像処理装置の機能の全部又は一部を、撮像素子に搭載するようにしてもよい。
図1は、本実施形態による撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図1(a)がその正面図を示し、図1(b)がその背面図を示している。
本実施形態による撮像装置100は、筐体151と、筐体151の正面部に設けられた撮影光学系152と、筐体151の上面部に設けられたスイッチST154及びプロペラ162とを有している。また、撮像装置100は、筐体151の背面部に、表示部153と、スイッチMV155と、撮影モード選択レバー156と、メニューボタン157と、アップダウンスイッチ158,159と、ダイアル160と、再生ボタン161とを有している。
筐体151は、撮像素子等の撮像装置100を構成する種々の機能部品を収納する容器である。撮影光学系152は、被写体の光学像を結像するための光学系である。表示部153は、撮影情報や映像を表示するための表示装置により構成される。表示部153には、必要に応じて画面の向きを変えるための可動機構を設けてもよい。表示部153は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチST154は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチMV155は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー156は、撮影モードを選択するための切り替えスイッチである。メニューボタン157は、撮像装置100の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ158,159は、各種の設定値を変更する際に用いるボタンである。ダイアル160は、各種の設定値を変更するためのダイアルである。再生ボタン161は、撮像装置100に収納されている記録媒体に記録されている映像を表示部153上で再生する再生モードへ移行するためのボタンである。プロペラ162は、空中からの撮影を行うために撮像装置100を空中に浮上させるためのものである。
図2は、本実施形態による撮像装置100の概略構成を示すブロック図である。撮像装置100は、図2に示すように、絞り181、絞り制御部182、光学フィルター183、撮像素子184、アナログフロントエンド185,186、デジタル信号処理部187,188、タイミング発生部189を有している。また、撮像装置100は、システム制御CPU178、スイッチ入力手段179、映像メモリ190、飛行制御装置200を有している。また、撮像装置100は、表示インターフェース部191、記録インターフェース部192、記録媒体193、プリントインターフェース部194、外部インターフェース部196、無線インターフェース部198を有している。
撮像素子184は、撮影光学系152を介して結像された被写体の光学像を電気的な映像信号に変換するためのものである。撮像素子184は、特に限定されるものではないが、例えば、UHDTV(Ultra High Definition Television)の規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り181は、撮影光学系152を通る光の量を調節するためのものである。絞り制御部182は、絞り181を制御するためのものである。光学フィルター183は、撮像素子184に入射する光の波長、撮像素子184に伝達する空間周波数を制限するためのものである。撮影光学系152、絞り181、光学フィルター183、撮像素子184は、撮影光学系152の光軸180上に配置されている。
アナログフロントエンド185,186は、撮像素子184から出力される映像信号のアナログ信号処理及びアナログデジタル変換を行うためのものである。アナログフロントエンド185,186は、例えば、ノイズを除去する相関二重サンプリング(CDS)回路、信号ゲインを調整するアンプ、アナログ信号をデジタル信号に変換するA/D変換器等により構成される。デジタル信号処理部187,188は、アナログフロントエンド185,186から出力されるデジタル映像データに対して各種の補正を行った後、映像データを圧縮するためのものである。タイミング発生部189は、撮像素子184、アナログフロントエンド185,186、デジタル信号処理部187,188に各種タイミング信号を出力するためのものである。システム制御CPU178は、各種演算の実行や撮像装置100の全体の制御を司る制御部である。映像メモリ190は、映像データを一時的に記憶するためのものである。
表示インターフェース部191は、撮影された映像を表示部153に表示するためのシステム制御CPU178と表示部153との間のインターフェースである。記録媒体193は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置100に備え付けられていてもよいし着脱可能でもよい。記録インターフェース部192は、記録媒体193に記録又は記録媒体193から読み出しを行うためのシステム制御CPU178と記録媒体193との間のインターフェースである。外部インターフェース部196は、外部コンピュータ197等の外部機器と通信するためのシステム制御CPU178と外部機器との間のインターフェースである。プリントインターフェース部194は、撮影された映像を小型インクジェットプリンタ等のプリンタ195に出力し印刷するためのシステム制御CPU178とプリンタ195との間のインターフェースである。無線インターフェース部198は、インターネット等のネットワーク199と通信するためのシステム制御CPU178とネットワーク199との間のインターフェースである。スイッチ入力手段179は、スイッチST154、スイッチMV155、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置200は、空中からの撮影を行うためにプロペラ162を制御して撮像装置100を飛行させるための制御装置である。
図3は、撮像素子184の構成例を示すブロック図である。撮像素子184は、図3に示すように、画素アレイ302、画素303、垂直走査回路307、読み出し回路308A,308B及びタイミング制御回路309A,309Bを含む。
画素アレイ302には、画素要素として複数の画素303が行列状に2次元的に配置されている。なお、画素アレイ302に属する画素303の実際の配列数は一般的には多数となるが、ここでは図面の簡略化のため、4行×4列の行列状に配置された16個の画素303のみを示している。
画素アレイ302の各列には、列方向に延在する信号出力線304A,304Bが、それぞれ設けられている。各列の信号出力線304Aは、当該列に属する画素303に接続されている。信号出力線304Aには、画素303からの信号が出力される。各列の信号出力線304Bも、当該列に属する画素303に接続されている。信号出力線304Bにも、画素303からの信号が出力される。画素アレイ302の各列には、列方向に延在する電源線305及び接地線306が、それぞれ設けられている。各列の電源線305及び接地線306は、当該列に属する画素303に接続されている。なお、電源線305及び接地線306は、行方向に延在する信号線としてもよい。
垂直走査回路307は、画素アレイ302に対して行方向に隣接して配置される。垂直走査回路307は、画素アレイ302の複数の画素303に対して行単位で、行方向に延在して配された図示しない制御線を介して、画素303内の読み出し回路を制御するための所定の制御信号が出力される。図には、制御信号の例として、リセットパルスφRESn、転送パルスφTXnA,TXnBを示している(nは、行番号に対応した整数)。
読み出し回路308A,308Bは、画素アレイ302を挟むように、画素アレイ302に対して列方向に隣接して配置されている。読み出し回路308Aは、各列の信号出力線304Aに接続されている。読み出し回路308Aは、各列の信号出力線304Aを順次選択的に活性化することで、各列の信号出力線304Aからの信号を順次読み出し、所定の信号処理を実施する。同様に、読み出し回路308Bは、各列の信号出力線304Bに接続されている。読み出し回路308Bは、各列の信号出力線304Bを順次選択的に活性化することで、各列の信号出力線304Bからの信号を順次読み出し、所定の信号処理を実施する。読み出し回路308A,308Bは、それぞれ、ノイズ除去回路、増幅回路、アナログデジタル変換回路、水平走査回路などを含むことができ、所定の信号処理を実施した信号を順次出力する。
タイミング制御回路309Aは、垂直走査回路307及び読み出し回路308Aに接続されている。タイミング制御回路309Aは、垂直走査回路307及び読み出し回路308Aの駆動タイミングを制御する制御信号が出力される。タイミング制御回路309Bは、垂直走査回路307及び読み出し回路308Bに接続されている。タイミング制御回路309Bは、垂直走査回路307及び読み出し回路308Bの駆動タイミングを制御する制御信号が出力される。
図4は、撮像素子から出力される映像信号を説明するための概略図である。ここで、画素アレイ302に、図4(a)に示すカラーフィルタ配列281で、所定の光透過率特性を有するカラーフィルタが配置されている場合を想定する。図4(a)は、6行×8列の行列状に画素303が配列された画素アレイ302と、各画素に配置されるカラーフィルタの色を模式的に示したものである。図中、Rは赤色カラーフィルタを、G1及びG2は緑色カラーフィルタを、Bは青色カラーフィルタを、それぞれ表している。図示するカラーフィルタ配列281は、いわゆるベイヤー配列と呼ばれるカラーフィルタ配列であり、行毎に、G1BG1B…,RG2RG2…,G1BG1B…,…、といった繰り返しで、各色のカラーフィルタが配置されている。
このようなカラーフィルタ配列281を有する画素アレイ302からは、図4(b)及び図4(c)に示される出力データ282,283が得られる。図4(b)中、g1A及びg2Aは、緑色カラーフィルタが配置された画素303の信号出力線304Aからの出力を表している。bAは、青色カラーフィルタが配置された画素303の信号出力線304Aからの出力を表している。rAは、赤色カラーフィルタが配置された画素303の信号出力線304Aからの出力を表している。図4(c)中、g1B及びg2Bは、緑色カラーフィルタが配置された画素303の信号出力線304Bからの出力を表している。bBは、青色カラーフィルタが配置された画素303の信号出力線304Bからの出力を表している。rBは、赤色カラーフィルタが配置された画素303の信号出力線304Bからの出力を表している。
図3を用いて説明したように、撮像素子184からは、読み出し回路308A,308Bからの2系統の出力が得られ、そのうちの一方が図4(b)に示す出力データ282であり、他方が図4(c)に示す出力データ283である。出力データ282は、所定の信号処理ののちに映像信号pictureAとなる。また、出力データ283は、所定の信号処理ののちに映像信号pictureBとなる。以後の説明では、出力データ282に基づく映像信号を「pictureA」、出力データ283に基づく映像信号を「pictureB」と表記するものとする。なお、pictureA,pictureBは、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についてもpictureA,pictureBと表記することがある。
図5は、画素303の構成例を示す回路図である。図5の回路図において、1つの画素303は、フォトダイオード500と、第1の転送トランジスタ501Aと、第1の信号保持部507A、第2の転送トランジスタ502Aを備える。さらに、第3の転送トランジスタ501Bと、第2の信号保持部507Bと、第4の転送トランジスタ502Bとを有する。さらに1つの画素は、第5の転送トランジスタ503と、リセットトランジスタ504と、増幅トランジスタ505と、第1の選択トランジスタ506Aと、第2の選択トランジスタ506Bを有している。また、画素303は上記のように一つの画素303に対して二つの信号出力線304Aおよび信号出力線304Bに接続されている。
フォトダイオード500のアノードはGNDに接続され、フォトダイオード500のカソードは第1の転送トランジスタ501Aと、第3の転送トランジスタ501Bのソースに接続されている。第1の転送トランジスタ501Aのドレインは、信号保持部507Aおよび第2の転送トランジスタ502Aのソースに接続されている。第3の転送トランジスタ501Bのドレインは、信号保持部507Bおよび第4の転送トランジスタ502Bのソースに接続されている。第2の転送トランジスタ502Aのドレインおよび第4の転送トランジスタ502Bのドレインは、リセットトランジスタ504のソース及び増幅トランジスタ505のゲートに接続されている。増幅トランジスタ505のゲートの接続ノードは、フローティングディフュージョン領域を構成する。リセットトランジスタ504のドレイン及び増幅トランジスタ505のドレインは、電源線に接続されている。画素信号出力部を構成する増幅トランジスタ505のソースは、第1の選択トランジスタ506Aと、第2の選択トランジスタ506Bのドレインに接続されている。第1の選択トランジスタ506Aと、第2の選択トランジスタ506Bのソースはそれぞれ、信号出力線304Aおよび信号出力線304Bに接続されている。
また、第1の転送トランジスタ501Aは転送パルスφTX1Aにて制御され、第2の転送トランジスタ502Aは転送パルスφTX2Aにて制御される。また、第3の転送トランジスタ501Bは転送パルスφTX1Bにて制御され、第4の転送トランジスタ502Bは転送パルスφTX2Bにて制御される。また、リセットトランジスタ504はリセットパルスφRESで制御され、選択トランジスタ506Aは選択パルスφSEL1で制御され、選択トランジスタ506Bは選択パルスφSEL2で制御される。さらに第5の転送トランジスタ503は転送パルスφOFDにて制御される。ここで各制御パルスは、撮像装置のシステム制御CPU178からの制御信号に基づいて不図示の垂直走査回路から送出される。
本発明の撮像装置を構成する撮像素子184は、1つのフォトダイオード500に対して2つの信号保持部507A、507Bを有しているため、第1の映像信号である静止画と第2の映像信号である動画とを同時に撮影することが可能となっている。そのため、S/Nの低下を伴わずに蓄積期間の異なる二つの映像信号を読み出すことが可能となっている。なお、本実施形態の画素303は二つの信号保持部を有する構成としたが、2つ以上の保持部を備える構成としてよい。
フォトダイオード500は光電変換により電荷を生成及び蓄積する光電変換部である。フローティングディフュージョン領域は、電荷を保持して電圧に変換する電荷電圧変換領域である。
垂直走査回路307からハイレベルの転送パルスφTX1Aが出力されると、第1の転送トランジスタ501Aがオン状態となり、フォトダイオード500と第1の信号保持部507Aとが接続される。同様に、垂直走査回路307からハイレベルの転送パルスφTX1Bが出力されると、第3の転送トランジスタ501Bがオン状態となり、フォトダイオード500と第2の信号保持部507Bとが接続される。垂直走査回路307からハイレベルのリセットパルスφRESが出力されると、リセットトランジスタ504がオン状態となり、フォトダイオード500、フローティングディフュージョン領域等がリセットされる。
図6は、撮像素子184の読み出し回路の構成例を示す回路図である。なお、図6には、読み出し回路308Aを想定して、一部の構成要素の符号の末尾に「A」を付記している。読み出し回路308Bにおいては、対応する構成要素の符号の末尾に「B」が付記されるものと理解されたい。
読み出し回路308Aは、図6に示すように、クランプ容量C0、フィードバック容量Cf、オペアンプ406、基準電圧源407、スイッチ423を含む。オペアンプ406の一方の入力端子は、クランプ容量C0を介して信号出力線304Aに接続されている。オペアンプ406の当該一方の入力端子と出力端子との間には、フィードバック容量Cfとスイッチ423とが並列に接続されている。オペアンプの他方の入力端子は、基準電圧源407に接続されている。基準電圧源407は、オペアンプ406に基準電圧Vrefを供給するためのものである。スイッチ423は、信号PC0Rで制御されるスイッチであり、信号PC0Rがハイレベルのときにオン状態となり、フィードバック容量Cfの両端を短絡させる。
読み出し回路308Aは、また、スイッチ414,415,418,419、容量CTSA、容量CTNA、水平出力線424,425、出力アンプ421を含む。スイッチ414,415は、容量CTSA,CTNAへの画素信号の書き込みを制御するスイッチである。スイッチ414は、信号PTSAで制御されるスイッチであり、信号PTSAがハイレベルのときにオン状態となり、オペアンプ406の出力端子と容量CTSAとを接続する。スイッチ415は、信号PTNAで制御されるスイッチであり、信号PTNAがハイレベルのときにオン状態となり、オペアンプ406の出力端子と容量CTNAとを接続する。
スイッチ418,419は、容量CTSA,CTNAに保持されている画素信号の出力アンプ421への出力を制御するためのスイッチである。スイッチ418,419は、水平シフトレジスタからの制御信号に応じてオン状態となる。これにより、容量CTSAに書き込まれた信号は、スイッチ418及び水平出力線424を介して出力アンプ421に出力される。また、容量CTNAに書き込まれた信号は、スイッチ419及び水平出力線425を介して出力アンプ421に出力される。信号PC0R、信号PTNA及び信号PTSAは、システム制御CPU178による制御の下でタイミング発生部189から供給される信号である。
読み出し回路308Bも、読み出し回路308Aと同様の構成を有している。また、以下の説明における信号PTNB及び信号PTSBは、システム制御CPU178による制御の下でタイミング発生部189から供給される信号であって、読み出し回路308Aでの信号PTNA及び信号PTSAと同等の役割を担っている。
図7は本発明の撮像装置において、静止画像に相当するpictureAと動画像に相当するpictureBとを同時に撮影するための、撮像素子184における蓄積、読み出しタイミングの一例を説明するための図である。ここでいう蓄積とは、フォトダイオード500で発生した電荷を信号保持部507Aまたは信号保持部507Bに転送することにより実行される。また読み出しとは、信号保持部507Aおよび信号保持部507Bに保持された電荷を、フローティングディフュージョン領域を介して撮像素子184の外部に出力することを指している。同図において550は垂直同期信号で、本発明の撮像装置は垂直同期信号550の1周期中にpictureAとpictureBを各1枚ずつ読み出せるようになっている。
また、図7は便宜的に6行のタイミングを図示しているが、実際の撮像素子184は数千行を有し、本実施形態では最終行をm行としている。
図7で示す読み出しタイミングとして、pictureAは垂直同期信号550の1周期(時間Tf)中に全行同時に1回の蓄積(561)で生成される。そして、pictureBは全行Np(Np>1)回に分割された蓄積(563)を信号保持部507Bにて加算して生成されることを特徴とする。本実施形態ではpictureBの1周期中に行われる蓄積の回数は8回で、1周期中に均等の時間間隔で蓄積加算が行われる。垂直同期信号550の間隔Tf(垂直同期期間)は動画のフレームレートに相当し、本実施形態では1/60秒である。
その結果、pictureAとpictureBを同時に撮影することが可能で、かつpictureAは撮影者の意図する蓄積時間の短いブレの少ない画像を取得可能で、一方pictureBはジャーキネスのない滑らかな画像を取得可能となっている。
図7(a)を用いて本実施形態における撮像素子184における蓄積、読み出しタイミングの一例を説明する。図7(a)においては、pictureAおよびpictureBの両方を、ローリングシャッター方式を用いて読み出す例を示す。蓄積、読み出しタイミングの説明図の撮影周期Tfにおいて、pictureAの蓄積時間(561)は撮影者によって設定されたシャッタースピードT1に設定されている。本実施形態では、T1=1/2000である。pictureAの蓄積終了時間は全行異なり、各行目の読み出し(565)開始直前に蓄積が終了するように設定されている。pictureAの蓄積終了時間は全行異なるが、リセットタイミングも同様に異なるため、シャッタースピードT1に応じて、蓄積開始時間が設定されるようになっている。なお、pictureAの読み出し(565)は、pictureBの蓄積(563)期間中に実行される。
一方、pictureBの蓄積は1周期中に均等の時間間隔で行われ、各行のpictureBの読み出し(566)開始直前までに本実施形態では8回に分割された蓄積が終了するように時間間隔が設定される。このときpictureBの蓄積の時間間隔は、水平同期信号551の間隔Thの整数倍に設定される。その結果、各行のpictureBの蓄積タイミングが同じになるようになっている。図7では、動画の蓄積の時間間隔は、便宜的に水平同期信号間隔Thの2倍になるように図示されている。通常は、pictureBの蓄積の時間間隔は、撮像素子184の行数をm、1周期中の動画の蓄積回数をNpとすると、m/Npを超えない整数に水平同期信号551の間隔Thを掛けた値に設定される。
また、pictureBの1回の蓄積時間はT1/8(=1/16000)に設定される。ここで、pictureBの各行における蓄積開始時間は垂直同期信号550に対して異なる。つまり、撮影者によって設定されたpictureAのシャッタースピードT1に応じて、pictureBの1回の蓄積終了時間が垂直同期信号550に対して設定されるようになっている。
pictureAの1回の蓄積時間はpictureBの8回分の蓄積時間とほぼ等しい。そのため、pictureAとpictureBの露出自体も等しくなる。しかし、pictureBは異なる時間に複数回の蓄積と転送を行った信号を加算することとなる。これは、実質的にはpictureAと比較してジャーキネスの観点においては長い蓄積時間で画像を取得したことに相当し、良好な動画像を取得することが可能となる。つまり、pictureBの蓄積期間をNp回の蓄積と定義して考えれば、pictureAの蓄積期間よりも実質的に長い蓄積を実現することができる。
以下、pictureAおよびpictureBの撮影における蓄積、転送、読み出しのタイミングについて説明する。まずpictureBの映像信号の取得タイミングについて述べる。
時刻t180において、第1行の転送パルスφTX2B(1)、及び全行の転送パルスφTX2Aがハイレベルとなる。これにより、第1行の第4の転送トランジスタ502B、全行の第2の転送トランジスタ502Aがオンとなる。このとき既に全行のリセットパルスφRESがハイレベルになり、リセットトランジスタ504がオン状態になる。そして、全行のフローティングディフュージョン領域、信号保持部507A、信号保持部507Bがリセットされる。なお、第1行の選択パルスφSEL(1)はローレベルになっている。
t181において、全行の転送パルスφOFDがローレベルとなると、全行の第5の転送トランジスタ503がオフとなり、全行のフォトダイオード500のリセットが解除されて全行のフォトダイオード500での信号電荷の蓄積が開始される(563)。
t182において、第1行の転送パルスφTX1B(1)がハイレベルとなり、第1行の第3の転送トランジスタ501Bがオンとなる。第1行のフォトダイオード500に蓄積された信号電荷は第1行の信号保持部507Bに転送され、転送パルスφTX1B(m)がローレベルになるまで転送が行われる。
t183においてt181と同様の動作が行われ、フォトダイオード500において2回目の信号電荷の蓄積が行われ、t184においてはt182と同様にフォトダイオード500に蓄積された信号電荷は信号保持部507Bに転送される。t184で転送された信号電荷は、t182で転送された信号電荷に加算して保持される。この間欠的なフォトダイオード500での電荷信号の蓄積と、転送および加算が繰り返される。また、第1行について述べたが、すべての行において電荷の蓄積と転送が同様に行われる。なお、pictureBの電荷の蓄積期間はすべて同じに設定される。さらに蓄積開始時間から次の蓄積開始時間まで(たとえばt181からt183)は後述するpictureAの蓄積期間を挟む期間を除いて、同様である。
t192において、第1行目の8回目の信号保持部507Bへの転送が終了すると、第1行のリセットパルスφRES(1)がローレベルとなり第1行のリセットトランジスタ504がオフとなる。そして、フローティングディフュージョン領域508のリセット状態が解除される。同時に、第1行の選択パルスφSEL2(1)がハイレベルとなると第1行の第2の選択トランジスタ506Bがオンとなって、第1行の映像信号の読み出しが可能となる。そして、第1行の転送パルスφTX2B(1)がハイレベルとなると第1行の第4の転送トランジスタ502Bがオンとなり、信号保持部507Bの加算蓄積された信号電荷がフローティングディフュージョン領域に転送される。
さらにt193において、フローティングディフュージョン領域の電位の変化に応じた出力が増幅トランジスタ505及び選択トランジスタ506Bを介して信号出力線304Bに読み出される。そして、不図示の読み出し回路に供給されて第1行の信号として外部に出力される(566)。t191以降も、第1行目ではt180から行われた動作を繰り返し行い第1行目の信号を取得する。
さらに、t190からt181〜t183の時間間隔が過ぎたt195において、第2行目においてt190で説明したのと同様に信号電荷のフローティングディフュージョン領域への転送および、読み出し回路への読み出しが行われる。以下、順次つぎの行において同様の動作が行われ、t196で最下段のm行目まで行われると、pictureBの1フレームの映像信号を得ることができる。
次に、第1の映像信号であるpictureAの映像信号の取得タイミングについて述べる。t185において、1行目の転送パルスφOFDがローレベルとなると、1行目の第5の転送トランジスタ503がオフとなり、フォトダイオード500のリセットが解除されてフォトダイオード500での静止画の信号電荷の蓄積が開始される(561)。
t188において、第1行のリセットパルスφRES(1)がローレベルとなると第1行のリセットトランジスタ504がオフとなって、フローティングディフュージョン領域のリセット状態が解除される。同時に、第1行の選択パルスφSEL1(1)がハイレベルとなると第1行の選択トランジスタ506Aがオンとなって、第1行の信号の読み出しが可能となる。さらに、全行の転送パルスφTX1Aがハイレベルとなると、全行の第1の転送トランジスタ501Aがオンとなり、全行のフォトダイオード500に蓄積された信号電荷は全行の静止画の電荷を保持する信号保持部507Aに転送される(562)。
次にt189において、1行目の転送パルスφTX1Aがローレベルとなると、1行目の第1の転送トランジスタ501Aがオフとなり、フォトダイオード500に蓄積された信号電荷の信号保持部507Aへの転送が終了する。さらに、第1行の転送パルスφTX2A(1)がハイレベルとなると第1行の第2の転送トランジスタ502Aがオンとなり、第1行の信号保持部507Aに蓄積された静止画の信号電荷がフローティングディフュージョン領域に転送される。さらに、フローティングディフュージョン領域の電位の変化に応じた出力が第1行の増幅トランジスタ505及び選択トランジスタ506Aを介して信号出力線304Aに読み出される。そして、読み出し回路に供給されて第1行の静止画信号として外部に出力される(565)。
そしてt187以降においては、第1行と同様に動作によって、蓄積およびフローティングディフュージョン領域の電位の変化に応じた出力が読み出し回路に供給されて第2行の信号として外部に出力される。以下、順次各行の映像信号が取得される。
なお、pictureAのための蓄積が行われる期間は、pictureBのための蓄積および信号保持部507Bへの加算の繰り返し動作は一時中断され、静止画の蓄積期間が終了後に再開される。動画の8回の蓄積による1フレームの撮影1回に対し、静止画も1回の撮影が行われる。
また、図7(b)において本実施形態における撮像素子184における蓄積、読み出しタイミングの他の例を説明する。図7(b)においては、pictureAを、グローバルシャッター方式を用いて読み出す例を示す。
pictureAの蓄積終了時間は全行固定(t286)で、第1行目の静止画の読み出し(565)開始直前に蓄積が終了するように設定されている。pictureAの蓄積終了時間は全行固定のため、シャッタースピードT1に応じて、蓄積開始時間が設定されるようになっている。pictureAの読み出し(565)は、pictureBの蓄積(563)期間中に実行される。t285において、全行の転送パルスφOFDがローレベルとなると、全行の第5の転送トランジスタ503がオフとなる。全行のフォトダイオード500のリセットが解除されて全行のフォトダイオード500での静止画の信号電荷の蓄積が開始される(561)。
t286において、第1行のリセットパルスφRES(1)がローレベルとなると第1行のリセットトランジスタ504がオフとなって、フローティングディフュージョン領域のリセット状態が解除される。同時に、第1行の選択パルスφSEL1(1)がハイレベルとなると第1行の選択トランジスタ506Aがオンとなって、第1行の信号の読み出しが可能となる。さらに、全行の転送パルスφTX1Aがハイレベルとなると、全行の第1の転送トランジスタ501Aがオンとなる。そして、全行のフォトダイオード500に蓄積された信号電荷は全行の静止画の電荷を保持する信号保持部507Aに転送される(562)。
次にt287において、全行の転送パルスφTX1Aがローレベルとなると、全行の第1の転送トランジスタ501Aがオフとなり、全行のフォトダイオード500に蓄積された信号電荷の信号保持部507Aへの転送が終了する。さらに、第1行の転送パルスφTX2A(1)がハイレベルとなると第1行の第2の転送トランジスタ502Aがオンとなり、第1行の信号保持部507Aに蓄積された静止画の信号電荷がフローティングディフュージョン領域に転送される。さらに、フローティングディフュージョン領域の電位の変化に応じた出力が第1行の増幅トランジスタ505及び選択トランジスタ506Aを介して信号出力線304Aに読み出される。そして、読み出し回路に供給されて第1行の静止画信号として外部に出力される(565)。
そしてt288においては、第2行の転送パルスφTX2A(1)がハイレベルとなると第2行の第2の転送トランジスタ502Aがオンとなり、第1行の信号保持部507Aに蓄積された信号電荷がフローティングディフュージョン領域に転送される。そして第1行目と同様に、フローティングディフュージョン領域の電位の変化に応じた出力が読み出し回路に供給されて第2行の信号として外部に出力される。以下、順次各行の映像信号が取得される。
なお、pictureAのための蓄積が行われる期間は、pictureBのための蓄積および信号保持部507Bへの加算の繰り返し動作は一時中断され、静止画の蓄積期間が終了後に再開される。動画の8回の蓄積による1フレームの撮影1回に対し、静止画も1回の撮影が行われる。なお、pictureAのための蓄積は垂直同期期間内に必ずしも1回である必要はなくN回(1以上の整数)行われてもよい。この場合にpictureBのための蓄積は垂直同期期間内にM回(N以上の整数)行われるとすると、pictureAのN回分の蓄積期間の合計長さと、pictureBのM回分の蓄積期間の長さが略同一の関係を満たせばよい。
以上説明したように、上述のように撮像装置を構成・制御することで動画と静止画を同時に撮影することが可能である。
なお本実施形態では、pictureAの映像信号の蓄積開始と終了をローリングシャッター方式とグローバルシャッター方式にて行う場合について説明をしたが、これに限られるものではない。例えば、ローリングシャッター方式においてpictureBと異なる走査スピードで読み出しを行う動作としてもよい。また、pictureAの読み出しタイミングをpictureBの読み出しの中心付近としたが、これに限られるものではなく適宜変更することができる。例えばpictureAの露光タイミングをpictureBの露光動作の前に行うことでより簡略化した制御で実現することが可能となる。
図8は、本実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。図面の最上部の「タイムコード」は、電源を投入してからの時間を示し、「00:00:00:00」は「時:分:秒:フレーム」を表している。
時刻t31は、撮像装置100の電源投入時刻である。
時刻t32において、動画撮影ボタンであるであるスイッチMV155が使用者によって操作されてONとなり、これに応じて、pictureBの撮像及びpictureAの撮像が開始される。動画撮影のためのボタンであるスイッチMV155が操作されることに応じて、pictureBについては、所定の信号処理を経て記録媒体193にその映像データが書き込まれる。
時刻t33から時刻t34の期間及び時刻t35から時刻t36の期間では、静止画の撮影を行うために使用するスイッチST154が操作されている。これを受けてこれら期間においては、pictureAについても、所定の信号処理を経て記録媒体193にその映像データが書き込まれる。なお、pictureAの映像データは、時刻t33から時刻t34の期間及び時刻t35から時刻t36の期間のみならず、pictureBの映像データと同じ期間の間、記録媒体193に書き込むようにしてもよい。
pictureA及びpictureBの何れについても、記録媒体193に記録された各映像データは同一フレームレートで、例えば、60fpsの動画であり、NTSC方式のタイムコードが付加されているものとする。動画データの各フレームに付加されるタイムコードの値は、例えば図9に示すようになる。
図10は、pictureA及びpictureBの映像データのファイル構造の一例を示す図である。ここでは映像データのフォーマットとしてMP4ファイルの例を示すが、映像データのフォーマットはこれに限定されるものではない。MP4ファイルフォーマットは、ISO/IEC 14496−1/AMD6で規格化されている。全ての情報はBoxと呼ばれる構造体に格納されており、多重化されたビデオ及びオーディオビットストリーム(メディアデータ)と、これらメディアデータに対する管理情報(メタデータ)から構成されている。各Boxは4文字の識別子でそれぞれのBoxタイプが表される。ファイルタイプBox501(ftyp)は、ファイル先頭にあり、ファイルを識別するためのBoxである。メディアデータBox502(mdat)は、ビデオとオーディオのビットストリームが多重化されて格納されている。ムービーBox503(moov)は、メディアデータBox502に格納されたビットストリームを再生するための管理情報が格納されている。スキップBox504(skip)は、再生時にはスキップBox504内に格納されているデータを読み飛ばし、スキップするためのBoxである。
スキップBox504内には、この映像ファイルデータを含むクリップのクリップ名508、本素材に付与されているクリップのUMID(Unique Material Identifier)509(CLIP−UMID)が格納される。スキップBox504内には、クリップ先頭フレームのタイムコード値(タイムコード先頭値)510、本素材ファイルが記録された記録メディアのシリアル番号511が格納される。なお、本図においては、スキップBox504に、フリースペース505、ユーザデータ506、メタデータ507も含まれている。本素材ファイルのUMIDや記録メディアのシリアル番号のような特殊なデータは、スキップBox504に格納されているので、汎用のビューアで再生する際に影響を与えない。
pictureA及びpictureBのそれぞれのMP4ファイルには、同じCLIP−UMIDが設定される。これにより、CLIP―UMIDを使って1つの素材ファイルから同じCLIP−UMIDのファイルを検索し、人手による確認作業をすることなく機械的に関連付けを行えるようになる。
図11は、ローリングシャッター方式で撮影を行う際の、蓄積及び読み出しタイミングを示すシーケンス図である。図11には、第nフレームにおける垂直同期信号481を示すとともに、pictureAの上端ラインの蓄積期間482と、pictureAの下端ラインの蓄積期間483を太い実線で示している。また、pictureBの上端ラインの蓄積期間486と、pictureBの下端ラインの蓄積期間487を、同様に太い実線で示している。横軸は時間を表している。なお、図11には、画素アレイ302の任意の1列についてのタイミングシーケンスを示しているが、同一行(同一ライン)の画素は互いに同期して制御されるので、他の列も同様のタイミングシーケンスとなる。
図5で示した第1の転送トランジスタ501Aがオンとなると、フォトダイオード500が光電変換及び蓄積した電荷は、信号保持部507Aに転送されて保持される。同様に、第3の転送トランジスタ501Bがオンとなると、フォトダイオード500が光電変換及び蓄積した電荷は、信号保持部507Bに転送されて保持される。各ラインの蓄積期間は、上端ラインから下端ラインへと所定の時間間隔で順次開始され、当該時間間隔で順次終了する。露出としてはほぼ同じとなるが、画像を取得するために複数回の転送を行うpictureBはpictureAと比べて蓄積期間が実質的に長く設定されたとみなすことができる。
また、図11には、信号保持部507Aに保持された映像信号の読み出し期間であって、pictureAの上端ラインの読み出し期間484と、pictureAの下端ラインの読み出し期間485を点線で示している。また、信号保持部507Bに保持された映像信号の読み出し期間であって、pictureBの上端ラインの読み出し期間488と、pictureBの下端ラインの読み出し期間489を、同様に点線で示している。この読み出し期間には、増幅トランジスタ505を介しての読み出し回路308A、308Bへの転送、読み出し回路308A、308Bでの読み出し、及びデジタル信号処理部187,188への転送が含まれる。各ラインの読み出し期間は、各ラインの蓄積時間終了後に上端ラインから下端ラインへと所定の時間間隔で順次開始され、当該時間間隔で順次終了する。
時刻t53〜時刻t54がpictureAの上端ラインの蓄積期間482であり、時刻t56〜時刻t57がpictureAの下端ラインの蓄積期間483である。同様に、時刻t51〜時刻t54がpictureBの上端ラインの蓄積期間486であり、時刻t52〜時刻t57がpictureBの下端ラインの蓄積期間487である。また、時刻t54〜時刻t55がpictureA及びpictureBの上端ラインの読み出し期間484、488であり、時刻t57〜時刻t58がpictureA及びpictureBの下端ラインの読み出し期間485、489である。
なお、図11において、pictureAを取得するための露光期間とpictureBを取得するための露光期間は一部重複する。例えば、時刻t53〜時刻t54で各露光期間は重複する。各露光期間の定義の詳細は前述したが、本実施形態の撮像素子においては、第1の転送トランジスタ501Aおよび第3の転送トランジスタ501Bを時分割でオンさせることによって露光期間を重複させることが可能となる。
図12は、撮像装置に電源を投入した後のライブビュー表示中の表示部153の様子を表す図である。表示部153には、撮影光学系152を通して捉えられた人物163のスポーツシーンが表示されている。図12では、撮影モード選択レバー156が、図1(b)の状態から90度時計方向に回動した位置に設定されたデュアル映像モードとなっている。このため、表示部153には、pictureAの蓄積期間164、pictureBの蓄積期間165、及びFナンバー166が表示されている。
図13は、タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、ストレージに格納されたpictureA及びpictureBの活用例を説明するための図である。pictureA及びpictureBのファイルデータは、ネットワーク199上のストレージ等に格納されているものとする。図13において、フレーム群581は、MP4ファイルに格納されたpictureAのフレーム群であり、フレーム群571は、別のMP4ファイルに格納されたpictureBのフレーム群である。これらのMP4ファイルは、撮影時に同じCLIP−UMIDが設定されて互いに関連付けがなされている。
まず、動画の再生をスタートすると、pictureBのフレーム群571の先頭フレーム572から決められたフレームレートで順次フレームが再生される。pictureBは、シャッタースピードが過度に速くならないような設定(この例では1/60秒)で撮影されているため、再生された映像はコマ送りのようなジャーキネスのない高品位なものである。図13ではフレーム573の被写体周囲をぼかしてジャーキネスが出ない程度の被写体の動きを表現している。
フレーム573まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的にpictureAのファイルデータから、pictureBと同一タイムコードのフレーム582が検索されて表示される。pictureAは、ストップモーション効果が得られやすい高速シャッタースピード(この例では1/1000秒)で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。pictureA,pictureBの2つの映像は、異なる蓄積時間の設定で撮影されるが、pictureAについてゲインアップするのではなく、撮像素子184において同程度の信号電荷を得ている。このため、pictureA及びpictureBのどちらもS/N比の良好なノイズ感のない映像となる。
ここで、印刷の指示を行うと、pictureAのフレーム582のデータがプリントインターフェース部194を介してプリンタ195に対して出力される。したがって、印刷物も、pictureAを反映したストップモーション効果がある迫力のあるものとなる。使用者が一時停止を解除すると、自動的にpictureBのフレーム群571に戻って、フレーム574から再生が再開する。このとき、再生される映像はコマ送りのようなジャーキネスのない高品位なものである。
このように、pictureBを、動画用の映像信号として用いることにより、ジャーキネスのない動画向きの映像を得ることができる。また、pictureAを、静止画用の映像信号として用いることにより、ストップモーション効果が得られた静止画及び印刷向きの映像を得ることができる。本実施形態の撮像装置では、これら2つの効果を1つの撮像素子を用いて実現できる。
また、本実施形態においては、再生時の操作性向上のために、静止画用のファイルと動画用のファイルとを分けて、記録媒体193の別々のフォルダにファイルしている。例えば、前述したように、pictureA、pictureBとも、同一フレームレート且つ同一のMP4ファイルフォーマットで、動画用のフォルダと静止画用のフォルダに分けて記録する。そして、再生ボタン161が操作されると、動画用のファイルデータとして記録されたpictureBが、動画として連続再生される。また、静止画用のファイルデータとして記録されたpictureAが、画像送り操作とともに一枚ずつ静止画として再生される。
動画再生中の静止画の表示については、スイッチST154が操作されたタイミングで、再生中の動画のpictureBと同一タイムコードの静止画pictureAを表示するようにしてもよい。また、アップダウンスイッチ158、159を操作してその前後の静止画を表示してもよい。動画撮影及び静止画撮影に用いるpictureA、pictureBの組み合わせは撮影時に決定される。そして、撮影されたpictureA、pictureBの各々が動画用、静止画用のフォルダにファイルされる。
次に、単一の撮像素子を用いて2つの映像を同時に撮影する際に、ローリングシャッター歪を検出する方法について説明する。
まず、ローリングシャッター歪について説明する。ローリングシャッター方式では、画素に保持された映像信号が、画素アレイ302の上端ラインから下端ラインへ順に読み出される。すなわち、前のラインの映像信号の読み出しが終了するまでは、次のラインの映像信号の読み出しは待機される。これにより、各ラインの読み出し終了後に開始する蓄積期間も遅延するので、各ラインで蓄積期間の開始タイミングが異なってしまう。この結果、ローリングシャッター歪と呼ばれる画質の劣化が発生する。
図14は、ローリングシャッター歪について説明するための図である。図14(a)には、撮影対象となる被写体701、702を示している。一方、図14(b)には、ローリングシャッター方式により撮影された被写体701、702を示している。被写体701は、実線の枠で示す撮影画角に対して静止しているが、被写体702は、撮影画角に対して矢印の方向に移動している。ローリングシャッター方式では、図14(b)に示すように、動きのない被写体701は歪みなく撮影されるが、動きのある被写体702は歪んで撮影される。これがローリングシャッター歪である。
なお、図14では被写体が撮影画角に対して動いている場合について説明したが、撮影者がカメラを水平方向にパンニング動作を行ったときのように、撮影画角が被写体に対して動いているような場合にもローリングシャッター歪は発生する。また、ローリングシャッター歪は、例えばフォーカルプレーンシャッターのようなメカシャッター方式においても発生する。しかし、メカシャッター方式では、1フレームの上端から下端までのシャッター幕の移動時間がローリングシャッター方式に比べて短いため、ローリングシャッター歪は抑制されて識別されにくい。
本実施形態では、ローリングシャッター歪を検出する画像歪検出モードを有している。画像歪検出モードにおいては、pictureAとpictureBとを比較することによりローリングシャッター歪を検出する。この画像歪検出モードは、撮影者が、図1で示したメニューボタン157、アップダウンスイッチ158、159を撮影前に操作することにより設定する。
次に、画像歪検出モードにおける蓄積及び読み出しタイミングについて説明する。図15は、本発明の第1実施形態による撮像装置におけるローリングシャッター歪の検出方法を説明するためのタイミング図である。図15は、図11と同様に、pictureA及びpictureBの蓄積及び読み出しタイミングシーケンスを示す図であり、特に、画像歪検出モードにおけるタイミングシーケンスを示している。
図15に示すpictureBの蓄積及び読み出しタイミングは、図11と同様であるので、図11と同じ符号を付して説明は省略する。以下では、pictureAのシーケンスについて説明する。画像歪検出モードにおいては、pictureAとpictureBとで、フォトダイオードが光電変換した電荷の蓄積及び読み出しタイミングが異なる。図15には、第nフレームにおける垂直同期信号481を示すとともに、pictureAの上端ラインの蓄積期間491と、その次のラインの蓄積期間492を太い実線で示している。蓄積期間491、492においてフォトダイオード500が光電変換及び蓄積した電荷は、図5に示す画素303に設けられた第1電荷保持部(フローティングディフュージョン領域508)に転送されて保持される。
また、図15には、信号保持部507Aに保持された電荷信号の読み出し期間であって、pictureAの上端ラインの読み出し期間493と、その次のラインの読み出し期間494を点線で示している。この読み出し期間には、図3に示す信号保持部507Aから読み出し回路308Aへの転送、第1読み出し部による読み出し、及びデジタル信号処理部への転送が含まれる。
時刻t59〜時刻t61が上端ラインの蓄積期間491であり、時刻t60〜時刻t62がその次のラインの蓄積期間492である。また、時刻t61〜時刻t63が上端ラインの読み出し期間493であり、時刻t63〜時刻t64がその次のラインの読み出し期間494である。
図15に示す画像歪検出モードでは、図11で示した通常撮影モードと比較して、pictureAの上端ラインの蓄積期間491の開始時刻t59から、その次のラインの蓄積期間492の開始時刻t60までの時間が短くなっている。一方、pictureAの上端ラインの読み出し期間493の開始時刻t61から、その次のラインの読み出し期間494の開始時刻t63までの時間は変わらない。これは、同一列の異なるラインで読み出し回路308が共用されている場合には、読み出し処理を1ラインずつ順番に行う必要があり、1フレームの全体の読み出し期間は短くできないためである。よって、画像歪検出モードにおいても、読み出し処理は、各ラインの蓄積期間の終了後すぐに行われるのではなく、前のラインの読み出し処理が終了するまで待機される。このように、画像歪検出モードにおいては、画素アレイの各行で同期して蓄積される電荷の蓄積期間の開始時刻と、他の行の蓄積期間の開始時刻との時間差(以下単に「蓄積期間の開始時刻の時間差」という)が、pictureAとpictureBとで異なる。また、この結果として、蓄積期間が終了してから読み出しを開始するまでの待機期間も異なる。
図15に示すように、pictureBは、各ラインにおいて、信号保持部507Bへの電荷の転送後、待機期間なしに読み出し回路308Bにより順次読み出される。一方、pictureAは、信号保持部507Aへの電荷の転送後、各ラインにおいて、待機時間を前のラインよりも長くしながら読み出し回路308Aにより順次読み出される。
なお、図15に示す画像歪検出モードにおいて、図11に示した通常撮影モードと比較して蓄積期間の開始時刻の時間差を小さくする動作を示したが、時間差が小さくなればよく図15以外に示した動作であってもよい。例えば、垂直同期信号481に対する時刻t60のタイミングは図11と同様としているが、蓄積期間の開始時刻の時間差を小さくするともに時刻t60および時刻t61に相当するタイミングを早めるようにしてもよい。具体的には、蓄積の開始タイミングをそろえることが好ましい。また、全行のタイミングを図15に示すタイミングにする必要はなく、一部の行の蓄積期間の開始時刻の時間差を小さくするように制御してもよい。さらに、図15は蓄積期間の開始時刻の時間差を小さくするように制御したが、時間差を大きくするように制御してもよい。この場合、読み出しタイミングも合わせて変更する必要がある。
また、図15に示す画像歪検出モードにおいて、通常撮影モードと比較してpictureBを取得するための分割数Npを変更させ、または取得タイミングを変化させるように制御してもよい。pictureAとpictureBは時分割に一つの光電変換部を共有していることから、pictureAの取得タイミングの変化に応じてpictureBの取得タイミングも合わせて変化させることが好ましい。
図16は、本発明の第1実施形態による撮像装置におけるローリングシャッター歪の検出方法で撮影した画像の例を示す図である。図16(a)に示すpictureAによる画像、及び図16(b)に示すpictureBによる画像は、図15に示すシーケンスに従って、図14(a)に示す被写体701、702を撮影することにより得られる。図16(b)に示すpictureBによる画像には、図14(b)と同様に、動きのある被写体702にローリングシャッター歪が発生している。一方、図16(a)に示すpictureAによる画像は、各ラインにおける蓄積期間の開始時刻の他のラインとの差を短くしたため、図16(b)と比べて被写体702のローリングシャッター歪が低減されている。このように、画像歪検出モードにおいては、pictureAによる画像とpictureBによる画像とで、ローリングシャッター歪の大きさが異なる。
そこで、本実施形態では、pictureAによる画像とpictureBによる画像とを比較することにより、ローリングシャッター歪を検出する画像歪検出手段を備える。画像歪検出手段はシステム制御CPU178により実行され、例えばpictureAによる画像とpictureBによる画像とを画像マッチングにより比較する。そして、動きのある被写体702を撮影したときに発生するローリングシャッター歪特有のベクトルを検出する。図16(c)は、図16(a)の画像と図16(b)の画像とを重ね合わせた画像を示している。図16(c)には、pictureAによる画像における被写体702の輪郭702aを点線で示し、pictureBによる画像における被写体702の輪郭702bを実線で示している。そして、図16(d)には、輪郭702aと輪郭702bを抽出して示すとともに、輪郭702aと輪郭702bの対応するいくつかの点の動きベクトルを矢印で示している。図16(d)に示すように、動きベクトルが上端方向から下端方向に大きくなっているのがローリングシャッター歪の特徴である。画像歪検出手段は、このような動きベクトルが検出され、且つその大きさが予め設定した閾値を超えている場合にローリングシャッター歪が発生していると判断する。
なお、図7で示したようにpictureAの信号とpictureBの信号は単一の垂直同期信号550の間隔Tf内で時分割に取得される。さらにpictureBの信号を取得するための蓄積期間は、ジャーキネスを低減させるためにpictureAの信号を取得するための蓄積期間よりも長い。そのため、検出された動きベクトルに対して露光期間の差を考慮することが好ましい。例えば、露光期間の比の分だけ動きベクトルの絶対値を低減させるような係数を乗算させてもよい。
以上のように、本実施形態の撮像装置は、第1映像信号(pictureA)と第2映像信号(pictureB)とを比較することにより画像歪(ローリングシャッター歪)を検出する画像歪検出手段(システム制御CPU)を備えている。ここで、画像歪検出手段は、画像歪を検出する際には、画素アレイの各行における電荷の蓄積期間の開始時刻と他の行の蓄積期間の開始時刻との時間差が、異なるように設定する。これにより、単一の撮像素子を用いて2つの映像を同時に撮影する際に、画像歪を検出することができる。
(第2実施形態)
本発明の第2実施形態による撮像装置について、図17乃至図19を用いて説明する。本実施形態では、ローリングシャッター歪を検出した場合に、ローリングシャッター歪を補正する方法について説明する。本実施形態では、第1実施形態で説明した画像歪検出手段に加え、ローリングシャッター歪を補正する画像歪補正手段を備える。画像歪補正手段は、画像歪検出手段と同様にシステム制御CPU178によって実行される。
本発明の第2実施形態による撮像装置について、図17乃至図19を用いて説明する。本実施形態では、ローリングシャッター歪を検出した場合に、ローリングシャッター歪を補正する方法について説明する。本実施形態では、第1実施形態で説明した画像歪検出手段に加え、ローリングシャッター歪を補正する画像歪補正手段を備える。画像歪補正手段は、画像歪検出手段と同様にシステム制御CPU178によって実行される。
図17は、本発明の第2実施形態による撮像装置におけるpictureAのローリングシャッター歪を補正する方法を説明するためのタイミング図である。図17は、画像歪補正手段によってローリングシャッター歪が発生していると判断された場合に、ローリングシャッター歪を補正するための蓄積及び読み出しのタイミングシーケンスを示している。図17に示すpictureBの蓄積及び読み出しタイミングは、図11と同様であるので、図11と同じ符号を付して説明は省略する。
図17には、第nフレームにおける垂直同期信号481を示すとともに、pictureAの上端ラインの蓄積期間495と、その次のラインの蓄積期間496を太い実線で示している。また、図17には、pictureAの上端ラインの読み出し期間497と、その次のラインの読み出し期間498を点線で示している。時刻t65は上端ラインの蓄積期間495の開始時刻であり、時刻t66はその次のラインの蓄積期間496の開始時刻である。また、時刻t67は上端ラインの読み出し期間497の開始時刻であり、時刻t68は読み出し期間498の開始時刻である。
図17に示すpictureAのタイミングシーケンスは、図15に示すpictureAのタイミングシーケンスと比較して、各ラインの電荷蓄積期間の開始時刻を繋ぐ線の傾きが大きくなっている。すなわち、画素アレイの各ラインにおける蓄積期間の開始時刻の時間差が短くなっている。具体的には、図17に示す蓄積期間495の開始時刻t65から次の蓄積期間496の開始時刻t66までの時間が、図15に示す蓄積期間491の開始時刻t59から次の蓄積期間492の開始時刻t60までの時間よりも短く設定されている。ただし、各ラインの読み出し期間の開始時刻は、タイミングシーケンス変更前と同様であり、前のラインの読み出しが終了してから、次のラインの読み出しが行われる。このようなタイミングシーケンスに従って、図14(a)に示す被写体701、702を撮影することにより、図18に示すpictureAによる画像が得られる。図18に示すpictureAによる画像では、各ラインにおける蓄積期間の開始時刻の時間差が短くなったことで、図16(a)と比べて被写体702のローリングシャッター歪が低減されている。このように、pictureAに対しては、蓄積期間の開始時刻の時間差を短くするとともに、蓄積期間が終了してから読み出しが開始されるまでの待機時間を長くすることにより、ローリングシャッター歪を低減することができる。
ローリングシャッター歪の大きさは、被写体の撮影画角に対する移動速度に依存する。よって、画像歪検出手段により検出したローリングシャッター歪のベクトル変化に応じて、ライン毎に蓄積期間の開始時刻の時間差を短くすることで、ローリングシャッター歪を低減することができる。
また、画像歪検出手段によりローリングシャッター歪が発生している範囲が分かるので、画像歪補正手段は、pictureBのローリングシャッター歪を補正することもできる。例えば、pictureBによる画像のローリングシャッター歪が発生している範囲を、同一の範囲のpictureAによる画像で置き換えることにより、pictureBの画像歪を補正する。このようにして、pictureA及びpictureBの両方のローリングシャッター歪を低減することができる。なお、pictureBの画像歪の補正手段は、ローリングシャッター歪の発生している範囲の画像を置き換える方法には限定されず、例えば、幾何学的変換を行うことにより画像歪を補正することも可能である。
ところで、ローリングシャッター歪を除去するためには、全ラインにおいて蓄積期間を同一の時刻に開始すればよいようにも思われる。しかし、フローティングディフュージョン領域に電荷が保持されている待機期間が長いと、暗電流等のノイズが生じてしまう。したがって、蓄積期間が終了してから読み出しを開始するまでの待機期間は、発生するノイズとのバランスを考慮した上で設定する必要がある。また、撮影中において被写体の撮像素子面上での速度が変化することも考えられる。そこで、ローリングシャッター歪が小さいときは、ライン毎に蓄積期間の開始時刻の時間差を長くしてノイズ影響を低減するなど、ローリングシャッター歪の量に合わせてタイミングシーケンスを制御することが望ましい。また、ISO感度等の露出設定が高く設定されている場合にはノイズ影響が大きいと判断し、待機時間を短くするように制御することが望ましい。
次に、pictureBについても、pictureAと同様に蓄積時間の開始時刻の時間差を短くすることによってローリングシャッター歪を補正する方法について説明する。図19は、本発明の第2実施形態による撮像装置におけるpictureBのローリングシャッター歪を補正する方法を説明するためのタイミング図である。上段の図19(a)には、従来と同様のpictureBの蓄積期間463及び読み出しのタイミングシーケンスを示している。また、中段の図19(b)には、各ラインの蓄積期間464の開始時刻の時間差を短くしたpictureBのタイミングシーケンスを示している。
図19(b)に示す補正後のpictureBのフレーム期間t70〜t72は、図19(a)に示す補正前のpictureBのフレーム期間t70〜t71と比較して長くなってしまっている。これは、蓄積期間464の長さを維持したまま、読み出しを開始するまでの待機期間を長くしたためである。この結果、図19(b)では、pictureBのフレームレートが低下してしまう。これに対し、pictureAでは、蓄積期間495、496が短く、蓄積も読み出しも行わない余裕時間がフレーム期間中に存在するために、画像歪補正手段による補正後でもフレーム期間は長くならない。
そこで、本実施形態では、pictureBの蓄積期間の開始時刻の時間差を短くするのに合わせて、図19(c)に示すように蓄積期間466を短く設定する。これにより、補正後のフレーム期間を、図19(c)に示すように、図19(a)と同じ時刻t70〜時刻t71に収めることができるので、フレームレートを維持したままローリングシャッター歪を低減することができる。また、pictureAとpictureBとで、読み出しタイミングを合わせることができるので撮像素子の制御を簡素化できる。
ところで、画像歪検出モードでない通常のモードにおいては、前のラインの信号保持部507Aおよび信号保持部507Bからの読み出し処理が終了した後に、次のラインにおける読み出し処理が行われる。例えば、図11を用いて説明した読み出し回路308内のノイズを除去する二重相関サンプリング回路の読み出し処理は、図11のタイミングシーケンスの点線で示した読み出し期間488内に行われる。このように、通常のモードにおいては、撮像素子の同一列の異なるラインの画素について、読出しが同時に行われることはないので、読み出し回路308は、同一列の異なるラインの画素で共用される。ここでいう、同一列の異なるラインの画素とは、例えば図3でいう同一の垂直走査用の信号出力線304Aでつながれた縦方向に並ぶフォトダイオード群に対応する画素のことである。
一方、画像歪検出モードにおいては、前のラインの読み出し処理が終了する前に、次のラインの読み出し処理を行うことができれば、pictureBについても、蓄積期間を短くすることなく、蓄積時間の開始時刻の時間差を短くすることができる。そこで、本実施形態では、読み出し回路308Bを、同一列の異なる行を独立して読み出し可能な複数の読み出し部を用いて構成することを考える。
例えば、あるラインの読み出し処理が終了した後に、その5行下のラインの読み出し処理が開始されるものとする。nを1からNまでの自然数とし、撮像素子の総ライン数を(5N+1)とするとき、(5n+1)となる複数のラインについてのみ、同一の読み出し回路308を共用する。同様に(5n+2)行、(5n+3)行、及び(5n+4)となる複数のラインの画素について、それぞれ独立した読み出し回路を共用する。これにより、(5n+1)行を読み出している間でも、(5n+2)行、(5n+3)行、及び(5n+4)行の読み出し処理を並行して行うことができる。また、各画素に読み出し回路を設ける場合に比べて、読み出し回路308の数を抑えて回路規模の増加を抑えることができる。
以上のように、本実施形態では、画像歪検出手段による画像歪の検出結果に基づいて、画像歪を補正する画像歪補正手段を備えている。これにより、単一の撮像素子を用いて2つの映像を同時に撮影する際に、画像歪を補正することができる。
なお、システム制御CPU178によって実行される画像歪補正手段は、ローリングシャッター歪を補正した画像を記録媒体に記録してもよく、その他の方法を用いてもよい。例えば、pictureA及びpictureBに対して画像歪補正を行わずにそのまま記録媒体に記録しておき、画像歪検出手段及び画像歪補正手段を有するパーソナルコンピュータ等の外部の映像処理装置で画像を取り込んでから、補正処理をしてもよい。
なお、本発明は、上記実施形態に限らず種々の変形が可能である。例えば、上記実施形態に記載の撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図1及び図2に示した構成に限定されるものではない。また、撮像素子の各部の回路構成も、図3、図5、図6等に示した構成に限定されるものではない。また、光電変換部は必ずしも図4に示すようなフォトダイオードに限定されるものではなく、光電変換機能を有するものであればよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
100 撮像装置
152 撮影光学系
178 システム制御CPU(画像歪検出手段、画像歪補正手段)
184 撮像素子
187,188 デジタル信号処理部
152 撮影光学系
178 システム制御CPU(画像歪検出手段、画像歪補正手段)
184 撮像素子
187,188 デジタル信号処理部
Claims (6)
- 1つの光電変換部に並列に接続された第1の信号保持部と第2の信号保持部を有する画素要素が行方向および列方向の2次元に配列した撮像素子と、前記撮像素子の駆動を制御するための制御部とを有した撮像装置であって、
前記制御部は、
前記撮像素子を制御して、1つの垂直同期期間の中の第1の期間に光電変換部で発生した信号電荷をN回(Nは1以上の整数)第1の信号保持部に転送して生成される第1の映像信号と、前記垂直同期期間の中の第2の期間に光電変換部で発生した信号電荷をM回(MはN以上の整数)第2の信号保持部に転送して生成される第2の映像信号とを取得する取得手段と、
前記第1映像信号と前記第2映像信号とを比較することにより画像歪を検出する画像歪検出手段と、を含む
ことを特徴とする撮像装置。 - 前記第1の信号保持部における蓄積期間に相当するN回分の前記第1の期間の長さは、前記第2の信号保持部における蓄積期間に相当するM回分の前記第2の期間の長さと略同一であることを特徴とする請求項1に記載の撮像装置。
- 前記制御部は、前記撮像素子の各号の前記第1の期間および前記第2の期間をローリングシャッター方式を用いて制御することを特徴とする請求項1または2に記載の撮像装置。
- 前記制御部は、前記垂直同期期間の中に前記第2の期間を等間隔に制御することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
- 前記制御手段は、前記第1映像信号と前記第2映像信号とを比較することにより画像歪を検出する画像歪検出モードにおいて、前記垂直同期期間の中における隣接する行間において前記第1の信号保持部への転送開始時刻の時間差を前記第2光電変換部の前記蓄積期間の開始時刻の時間差よりも短く制御するとともに、前記第1の信号保持部から前記第1映像信号の読み出しを開始するまでの待機期間を長くすることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
- 前記画像歪検出手段は、前記第1映像信号と前記第2映像信号とを画像マッチングすることにより得られる動きベクトルの大きさが予め設定した閾値を超えている場合に、画像歪が発生していると判断することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018069296A JP2019180055A (ja) | 2018-03-30 | 2018-03-30 | 撮像装置及び画像歪検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018069296A JP2019180055A (ja) | 2018-03-30 | 2018-03-30 | 撮像装置及び画像歪検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019180055A true JP2019180055A (ja) | 2019-10-17 |
Family
ID=68279064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018069296A Pending JP2019180055A (ja) | 2018-03-30 | 2018-03-30 | 撮像装置及び画像歪検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019180055A (ja) |
-
2018
- 2018-03-30 JP JP2018069296A patent/JP2019180055A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20100194958A1 (en) | Imaging pickup apparatus and image pickup method | |
JP6758946B2 (ja) | 撮像装置及び再生装置 | |
JP2006033123A (ja) | 撮像装置 | |
JP2017112596A (ja) | 撮像装置及びその制御方法 | |
JP6190243B2 (ja) | 撮像装置及びその制御方法 | |
JP7271155B2 (ja) | 撮像装置およびその制御方法 | |
JP6855251B2 (ja) | 撮像装置及び再生装置 | |
JP2006148550A (ja) | 画像処理装置及び撮像装置 | |
CN111917947A (zh) | 摄像设备及其控制方法和机器可读介质 | |
JP2019041170A (ja) | 撮像装置およびその制御方法 | |
JP6674225B2 (ja) | 撮像装置及び画像歪検出方法 | |
JP2019180055A (ja) | 撮像装置及び画像歪検出方法 | |
JP7234015B2 (ja) | 撮像装置およびその制御方法 | |
JP2007135073A (ja) | 固体撮像装置 | |
JP2018125697A (ja) | 撮像装置及びその制御方法 | |
JP6302217B2 (ja) | 撮像装置及びその制御方法 | |
JP2010171856A (ja) | 撮像装置 | |
JP6732587B2 (ja) | 撮像装置 | |
JP6755780B2 (ja) | 撮像装置及び撮像方法 | |
JP6808473B2 (ja) | 撮像装置及びその駆動方法 | |
JP6581409B2 (ja) | 撮像装置及び映像処理装置 | |
JP2017126898A (ja) | 撮像装置及び映像処理装置 | |
JP7490928B2 (ja) | 撮像素子、および撮像装置 | |
US20230232126A1 (en) | Image capturing circuit that can be applied to image capturing apparatus | |
JP2010239267A (ja) | 撮像装置、周辺減光補正制御方法およびプログラム |