JP2016134695A - 撮像処理装置及び撮像処理方法 - Google Patents

Abstract

【課題】点灯しているＬＥＤを高速シャッターで撮像した際に、消灯した状態のＬＥＤとして撮像される問題を軽減すると共に、動体の連続性を維持した映像を出力可能とする。
【解決手段】駆動周期制御部は、ＮＴＳＣ方式の１垂直同期期間未満の高速シャッター時に、１フレーム置きに標準周期のフレームを生成し、標準周期のフレームの前後のフレームの周期は、いずれか一方のフレームの周期を標準周期よりも短い周期とし、他方のフレームの周期を標準周期よりも長い周期とするように、撮像部の駆動周期を変則的に制御する。位相補正部は、撮像部で撮像された各撮像画像の動きベクトルに対応する方向に、標準周期に対する撮像画像のずれ量の分、各画素をずらしたフレーム補間画像を生成して記憶部に記憶する。読み出し制御部は、記憶部に記憶された標準周期の撮像画像及びフレーム補間画像を、標準周期に対応する再生速度となるように読み出して出力する。
【選択図】図７

Description

本発明は、撮像処理装置及び撮像処理方法に関する。

撮像装置は、例えばＮＴＳＣ方式又はＰＡＬ方式等のビデオ規格に準拠した一定周期の撮像を行っている。ＮＴＳＣは、「National Television System Committee」の略記である。ＰＡＬは、「Phase Alternating Line」の略記である。具体的には、ＮＴＳＣ方式に準拠した撮像装置の場合、１／６０秒周期（正しくは、１／５９．９４秒周期であるが、ここでは、１／６０秒周期と表記する）で撮像を行う。また、ＰＡＬ方式に準拠した撮像装置の場合、１／５０秒周期で撮像を行う。

近年、発光ダイオード（ＬＥＤ）の普及に伴い、電球信号機からＬＥＤ信号機への代替が進んでいる。ＬＥＤ信号機は、人間の目には点灯しているように見える。しかし、ＬＥＤ信号機は、交流電源（ＡＣ電源）で駆動されている。このため、人間の目では感知困難であるが、実際には、ＬＥＤ信号機は、高速かつ一定周期の明滅を繰り返している。

特開２００９−１７２９３号公報 特許２０１０−９３６０１号公報

しかし、このように一定周期で明滅を繰り返すＬＥＤ信号機を、ＮＴＳＣ方式又はＰＡＬ方式等のビデオ規格に準拠した撮像装置で撮像すると、シャッタースピードによっては、ＬＥＤ信号機の明滅周期の滅期間の露光になる場合がある。この場合、実際には、ＬＥＤ信号機は点灯していたにもかかわらず、撮像された映像上のＬＥＤ信号機は、消灯状態となる。

このような問題を解決するために、ＮＴＳＣ方式又はＰＡＬ方式等のビデオ規格外の周期の露光で、ＬＥＤ信号機を撮像する手法が提案されている。しかし、この手法は、ビデオ規格外の周期の露光を行っているため、ＮＴＳＣ方式又はＰＡＬ方式等のビデオ規格に準拠した映像信号を出力することが困難となっている。このため、撮像装置として上述の問題を解決可能とは言い難い手法である。

また、異なる周期の露光を組み合わせて撮像を行うことで、ＬＥＤ信号機の明期間の露光となる確率を向上させる手法も提案されている。しかし、この手法は、露光のタイミングを変則的なタイミングとすることで、映像の連続性の維持が困難となり、動体の動きがスムーズな映像を得られない問題があった。換言すると、動体の動きが不連続となり、動体の動きがカクつく問題があった。

本発明は、上述の課題に鑑みてなされたものであり、点灯しているＬＥＤを撮像した際に、露光のタイミングにより消灯した状態のＬＥＤとして撮像される問題を軽減すると共に、動体の動きの連続性を維持した映像を出力可能な撮像処理装置及び撮像処理方法の提供を目的とする。

上述した課題を解決するための手段として、本発明に係る撮像処理装置は、所定のビデオ規格に準拠した駆動周期である標準周期未満の露光時間で、被写体を撮像するように撮像部を駆動する際に、所定フレーム置きに、標準周期のフレームを生成し、標準周期のフレームの前後のフレームのうち、いずれか一方のフレームの周期が、標準周期よりも短い周期となり、他方のフレームの周期が標準周期よりも長い周期となるように、撮像部の駆動周期を制御する駆動周期制御部と、被写体からの光の光量に応じて撮像部に蓄積される電荷のリセットタイミングを、撮像部の駆動周期に応じて制御するシャッター制御部と、リセットタイミングが制御された撮像部で撮像された各撮像画像を記憶する記憶部と、記憶部に記憶された各撮像画像を、標準周期に対応する再生速度となるように読み出して出力する読み出し制御部とを有する。

また、上述した課題を解決するための手段として、本発明に係る撮像処理方法は、駆動周期制御部が、所定のビデオ規格に準拠した駆動周期である標準周期未満の露光時間で、被写体を撮像するように撮像部を駆動する際に、所定フレーム置きに、標準周期のフレームを生成し、標準周期のフレームの前後のフレームのうち、いずれか一方のフレームの周期が、標準周期よりも短い周期となり、他方のフレームの周期が標準周期よりも長い周期となるように、撮像部の駆動周期を制御する駆動周期制御ステップと、シャッター制御部が、被写体からの光の光量に応じて撮像部に蓄積される電荷のリセットタイミングを、撮像部の駆動周期に応じて制御するシャッター制御ステップと、読み出し制御部が、記憶部に記憶された各撮像画像を、標準周期に対応する再生速度となるように読み出して出力する読み出し制御ステップとを有する。

本発明は、点灯しているＬＥＤを撮像した際に、露光のタイミングにより消灯した状態のＬＥＤとして撮像される問題を軽減できる。また、本発明は、動体の連続性を維持した映像を出力できる。

図１は、撮像装置の撮像開始タイミングと、ＬＥＤ信号機の点灯開始タイミングとが合致している場合における、撮像光量の変化を説明するための図である。 図２は、ＬＥＤ信号機の点灯開始から所定時間が経過してから、撮像装置による撮像が開始された場合における、撮像光量の変化を説明するための図である。 図３は、撮像装置の撮像終了タイミングと、ＬＥＤ信号機の点灯終了タイミングとが合致している場合における高速シャッター時の撮像光量を示す図である。 図４は、撮像装置の撮像終了タイミングと、ＬＥＤ信号機の点灯終了タイミングとがずれている場合における、高速シャッター時の撮像光量を示す図である。 図５は、実施の形態となる撮像装置のブロック図である。 図６は、実施の形態となる撮像装置における、イメージセンサの変則的な駆動周期を説明するための図である。 図７は、実施の形態となる撮像装置の高速シャッター時における、ＬＥＤ信号機の明滅周期とシャッタータイミング（蓄積リセットタイミング）との関係を示す図である。 図８は、実施の形態となる撮像装置における、フレーム補間処理を説明するための模式図である。

以下、添付図面を参照して、本発明を適用した実施の形態となる撮像装置を詳細に説明する。

まず、点灯した状態のＬＥＤ信号機を撮像した場合でも、露光のタイミングにより，消灯した状態のＬＥＤとして撮像される現象を説明する。ＬＥＤ信号機は、交流電源（ＡＣ電源）の１／２倍の周期で明滅を繰り返している。例えば、東日本側では、１／１００秒の周期でＬＥＤ信号機は明滅を繰り返している。また、西日本側では、１／１２０秒の周期でＬＥＤ信号機は明滅を繰り返している。

図１及び図２は、１／１２０秒の周期で明滅を繰り返す西日本側のＬＥＤ信号機を、ＮＴＳＣ方式に準拠した１／６０秒のシャッター速度で撮像を行う撮像装置で撮像した場合において、撮像装置に蓄積されるＬＥＤ信号機の光量を示している。ＮＴＳＣ方式における１／６０秒は、１垂直同期期間（１ＶＤ）に相当する。図１及び図２のうち、図１は、撮像装置の１／６０秒の露光時間の間に、１／１２０秒の周期で明滅するＬＥＤ信号機の２回の光量変化に対応する撮像が行われた例を示している。すなわち、図１は、撮像装置の撮像開始タイミングと、ＬＥＤ信号機の点灯開始タイミングとが合致している場合における、撮像光量の変化を示している。これに対して、図２は、ＬＥＤ信号機の点灯開始から１／２４０秒ほど時間が経過してから、撮像装置による撮像が開始された例を示している。

図１及び図２を見比べてわかるように、１／１２０秒の周期で明滅するＬＥＤ信号機を、１／６０秒のシャッター速度で撮像する場合、撮像開始タイミングに関わらず、１／６０秒の露光時間の間に得られるＬＥＤ信号機の撮像光量は、各撮像期間とも同じとなる。

一方、図３及び図４は、１／１２０秒の周期で明滅を繰り返すＬＥＤ信号機を、１／１０００秒のシャッター速度（高速シャッター）で撮像した場合に、撮像装置に蓄積されるＬＥＤ信号機の光量を示している。このうち、図３は、撮像装置の撮像終了タイミングと、ＬＥＤ信号機の点灯終了タイミングとが合致している場合における撮像光量を示している。図３に斜線で示す期間である、撮像終了及び点灯終了より前の１／１０００秒の期間が、撮像期間である。

これに対して、図４は、撮像装置の撮像終了タイミングと、ＬＥＤ信号機の点灯終了タイミングとがずれている場合における撮像光量を示している。具体的には、図４の例は、ＬＥＤ信号機の点灯開始から約１／２４０秒ほど経過した時点が、撮像装置の撮像終了タイミングとなっている例である。この図４の例の場合、ＬＥＤ信号機の点灯開始から約１／２４０秒ほど経過した時点より前の１／１０００秒の期間が、撮像期間である。

図３及び図４の各撮像期間を見比べてわかるように、撮像装置の撮像終了タイミングと、ＬＥＤ信号機の点灯終了タイミングとが合致している場合（図３）よりも、ＬＥＤ信号機の点灯開始から約１／２４０秒ほど経過した時点が、撮像装置の撮像終了タイミングとなっている場合（図４）の方が、撮像光量が多いことが分かる。

すなわち、図１及び図２を用いて説明したように、１／１２０秒の周期で明滅するＬＥＤ信号機を、ＮＴＳＣ方式の１垂直同期期間に対応する１／６０秒のシャッター速度で撮像する場合において、「撮像装置の撮像開始タイミングとＬＥＤ信号機の点灯開始タイミングとが合致している場合」と、「撮像装置の撮像開始タイミングとＬＥＤ信号機の点灯開始タイミングとの間に、ずれが生じている場合」とで、一つの撮像期間に対応する撮像光量は同じとなる。

しかし、例えば１／１０００秒等の１垂直同期期間未満の露光時間となるシャッター速度でＬＥＤ信号機を撮像する場合、「撮像装置の撮像終了タイミングとＬＥＤ信号機の点灯開始タイミングとが合致している場合」と、「撮像装置の撮像終了タイミングとＬＥＤ信号機の点灯開始タイミングとの間に、ずれが生じている場合」とでは、一つの撮像期間に対応する撮像光量は異なる光量となる。

１垂直同期期間未満の露光時間となるシャッター速度でＬＥＤ信号機を撮像する場合、「撮像装置の撮像終了タイミングとＬＥＤ信号機の点灯開始タイミングとの間に、ずれが生じている場合」よりも、「撮像装置の撮像終了タイミングとＬＥＤ信号機の点灯開始タイミングとが合致している場合」の方が、一つの撮像期間に対応する撮像光量が少なくなる。

すなわち、撮像装置の駆動周期（露光周期：シャッター速度）の整数倍で明滅を繰り返すＬＥＤ信号機を、高速シャッター（１垂直同期期間未満の露光時間）で撮像する場合、撮像タイミングによっては、ＬＥＤ信号機の点灯時の光量の蓄積が困難となる。そして、光量の蓄積が困難となると、点灯した状態のＬＥＤ信号機を撮像したにもかかわらず、映像上では、消灯状態のＬＥＤ信号機として表示される不都合を生ずる。このため、運転時の周囲の状況を記録し、信号機の点灯色も正確に記録することが求められるドライブレコーダ装置には、このような撮像装置を設けることは困難となっていた。

実施の形態の撮像装置は、撮像装置の標準周期未満の露光時間で撮像を行う高速シャッター時において、点灯しているＬＥＤ信号機が映像上で消灯状態のＬＥＤ信号機として表示される問題を、以下のように軽減している。まず、図５に、実施の形態の撮像装置のブロック図を示す。この図５に示すように、実施の形態の撮像装置は、撮像部１、アナログ処理部２、Ａ／Ｄ変換部３、入力コントローラ４、位相補正部５、デジタル信号処理部６、圧縮／伸張処理部７、音声処理部８及びＯＳＤ重畳部９を有している。ＯＳＤは、「0n Screen Display」の略記である。

また、実施の形態の撮像装置は、ＲＯＭ１０、ＤＲＡＭ１１、メディア制御部１２、カードＩ／Ｆ１３、入出力Ｉ／Ｆ１４及びＣＰＵ１５を有している。入力コントローラ４〜ＣＰＵ１５は、バスライン１６を介して相互に接続されている。ＤＲＡＭ１１は、記憶部の一例である。

カードＩ／Ｆ１３には、例えばＳＤカード（登録商標）等のカード型記憶媒体１７が装着される。入出力Ｉ／Ｆ１４には、液晶モニタ１８、スピーカ部１９、操作部２０及び入出力端子２１が接続されている。

撮像部１は、例えば凹レンズ及び凸レンズ等の光学レンズ２２と、入射光量を調節するためのアイリス部２３及び受光した被写体の光量に対応するレベルの撮像信号を生成するイメージセンサ２４を有している。イメージセンサ２４としては、例えばＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等を用いることができる。ＣＣＤは、「Charge Coupled Device」の略記である。また、ＣＭＯＳは、「Complementary Metal Oxide Semiconductor」の略記である。

アナログ処理部２は、例えば相関二重サンプリング処理等により、撮像信号からノイズを除去する。Ａ／Ｄ変換部３は、ノイズ除去された撮像信号をデジタル化する。入力コントローラ４は、デジタル化された撮像信号を、バスライン１６を介して、デジタル信号処理部６に転送する。デジタル信号処理部６は、デジタル化された撮像信号に、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、復元処理及びＹＣ処理等の信号処理を施し、ＤＲＡＭ１１に書き込む。なお、「Ｙ」は輝度信号、「Ｃ」は色差信号である。

ＤＲＡＭ１１に書き込まれた撮像信号は、後述する変則的な周期の露光制御により、ビデオ規格の映像周期に準ずる標準周期の露光タイミングに対して、時間軸方向に位相ずれを生ずる。位相補正部５は、このような時間軸方向に生じた位相ずれを補正する。画像の位相が補正された撮像信号は、液晶モニタ１８に表示される。また、画像の位相が補正された撮像信号は、圧縮／伸張処理部７により、所定画質の撮像信号に圧縮処理され、カードＩ／Ｆ１３に供給される。カードＩ／Ｆ１３に供給された撮像信号は、音声処理部８で生成された音声情報及びＯＳＤ重畳部９で生成された文字又は図形等のＯＳＤ画像等と共に、メディア制御部１２の制御により、カード型記録媒体１７に記録される。

カード型記録媒体１７に記録された撮像信号及び音声信号は、メディア制御部１２の制御により再生される。圧縮／伸張処理部７は、撮像信号及び音声信号に施されている圧縮処理に対応する伸張処理を行うことで、撮像信号及び音声信号を再生する。再生された音声信号は、入出力Ｉ／Ｆを介してスピーカ部１９に供給される。また、再生された撮像信号は、液晶モニタ１８に表示され、また、入出力端子２１を介して外部に出力される。

次に、ＲＯＭ１０には、ＯＳ（Operating System）等のシステムプログラムの他に、後述する変則的な周期の露光制御で撮像を行い、変則的な周期の露光制御で撮像を行うことで、画像に生じた位相ずれを補正して出力する撮像処理プログラムが記憶されている。ＣＰＵ１５は、撮像処理プログラム実行することで、駆動周期算出部２５、シャッター制御部２６及び駆動周期制御部２７として機能する。なお、この例では、駆動周期算出部２５〜駆動周期制御部２７は、ソフトウェアで実現することとして説明を進めるが、駆動周期算出部２５〜駆動周期制御部２７のうち、全部又は一部をハードウェアで実現してもよい。

また、撮像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、撮像処理プログラムは、ＣＤ−Ｒ、ＤＶＤ、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。ＤＶＤは、「Digital Versatile Disk」の略記である。また、撮像処理プログラムを、インターネット等のネットワーク経由で提供してもよい。また、撮像装置は、撮像処理プログラムを、ネットワークを介してダウンロードし、撮像装置内にインストールして実行してもよい。

このような撮像装置は、１垂直同期期間未満の露光を行う高速シャッターでの撮像を行う場合、ＣＰＵ１５がＲＯＭ１０に記憶されている撮像処理プログラムを読み出す。そして、ＣＰＵ１５が、駆動周期算出部２５、シャッター制御部２６及び駆動周期制御部２７として機能し、整数倍した撮像（露光）周期が、ＬＥＤ信号機の明滅周期と同期しないように、変則的な周期でイメージセンサ２４を駆動する。

図６は、イメージセンサ２４の変則的な駆動周期を説明するための図である。図６の（ａ）の符号を付した図は、変則的に制御される各周期でイメージセンサ２４により撮像された各撮像画像を示している。図６の（ｂ）の符号を付した図は、一旦、ＤＲＡＭ１１に記憶され、例えばＮＴＳＣ方式等のビデオ規格の標準の再生速度でＤＲＡＭ１１から読み出されて出力される各撮像画像を示している。なお、図６は、ＮＴＳＣ方式の１／６０フレーム／秒（ｆｐｓ）を標準の周期とした例である。

駆動周期制御部２７は、一例として、図６の（ａ）の符号を付した図に示すように、高速シャッター時（１垂直同期期間未満の露光）、第１フレーム目は、ＮＴＳＣ方式の標準となる６０ｆｐｓの周期よりも速い周期である、６２ｆｐｓの変則的な周期でイメージセンサ２４を駆動する。続く、第２フレーム目は、ＮＴＳＣ方式の標準となる６０ｆｐｓの周期でイメージセンサ２４を駆動する。続く、第３フレーム目は、ＮＴＳＣ方式の標準となる６０ｆｐｓの周期よりも遅い周期である、変則的な５８ｆｐｓの周期でイメージセンサ２４を駆動する。続く、第４フレーム目は、ＮＴＳＣ方式の標準となる６０ｆｐｓの周期でイメージセンサ２４を駆動する。

駆動周期制御部２７は、ＮＴＳＣ方式等のビデオ規格に準拠させるため、イメージセンサ２４の変則的な駆動周期を、４標準周期毎に（４垂直同期期間周期毎に）、ビデオ規格の標準周期と一致させている。すなわち、駆動周期制御部２７は、ＮＴＳＣ方式の標準となる６０ｆｐｓの周期等の標準周期でイメージセンサ２４を駆動したフレームの前後のフレームの周期を加算した周期が、標準周期の２倍の周期となるように、変則的なフレームとした前後のフレームの周期を調整する。

図６に示す例の場合、第２フレーム目及び第４フレーム目が標準周期のフレームとなっている。すなわち、駆動周期制御部２７は、１フレーム置きに標準周期のフレームとなるようにイメージセンサ２４を駆動している。駆動周期制御部２７は、標準周期の第２フレームの前フレームに相当する第１フレーム目を、６２ｆｐｓの変則的な周期となるようにイメージセンサ２４を駆動すると、第２フレームの後フレームに相当する第３フレーム目は、５８ｆｐｓの変則的な周期となるようにイメージセンサ２４を駆動する。これにより、「６２ｆｐｓ（第１フレーム）＋５８ｆｐｓ（第３フレーム）＝６０ｆｐｓ×２（第２フレーム＋第４フレーム）」となり、４標準周期のタイミングで、イメージセンサ２４の変則的な駆動周期とビデオ規格の映像周期とを一致させることができる。

このような変則的な周期又は標準周期で撮像された被写体の撮像信号は、アナログ処理部２、Ａ／Ｄ変換部３及び入力コントローラ４を介してＤＲＡＭ１１に記憶される。ＣＰＵ１５は、ＤＲＡＭ１１に記憶された変則的な周期又は標準周期に対応する各撮像信号を、図６の（ｂ）の符号を付した図に示すように、ＮＴＳＣ方式に準拠した６０ｆｐｓの読み出し速度で読み出す。６０ｆｐｓの読み出し速度で読み出された撮像信号は、入出力Ｉ／Ｆ１４を介して液晶モニタ装置１８に供給され、また、入出力端子２１を介して外部に出力される。

また、ＤＲＡＭ１１に記憶された変則的な周期又は標準周期に対応する各撮像信号は、圧縮／伸張処理部７により、図６の（ｃ）の符号を付した図に示すように、標準画質に対して１／２の画質となる３０ｆｐｓの画質の撮像信号に圧縮処理され、音声データ及びＯＳＤ画像等と共に、カード型記録媒体１７に記録される。

図７に、このような高速シャッター時におけるＬＥＤ信号機の明滅周期とシャッタータイミング（蓄積リセットタイミング）との関係を示す。蓄積リセットタイミングは、リセットタイミングの一例である。実施の形態の撮像装置の場合、高速シャッター時となると、図６の（ａ）の符号を付した図を用いて説明したように、イメージセンサ２４の駆動周期が変則的に伸び縮みする。イメージセンサ２４の電子シャッター速度は、イメージセンサ２４の蓄積リセットタイミングを制御することで実現される。このため、イメージセンサ２４の駆動周期に合わせて蓄積リセットタイミングを制御する。

具体的には、高速シャッター時となると、駆動周期算出部２５は、以下の数１式を用いて、各変則的な周期に対応する蓄積リセットタイミングである、補正蓄積リセットタイミングを算出する。

補正蓄積リセットタイミング［ｍｓ］＝通常の蓄積リセットタイミング［ｍｓ］＋（イメージセンサ２４の変則的な駆動周期［ｍｓ］−イメージセンサ２４の通常の駆動周期［ｍｓ］）・・・（数１式）

シャッター制御部２６は、駆動周期制御部２７で制御される変則的な周期において、駆動周期算出部２５で算出された補正蓄積リセットタイミングで、イメージセンサ２４に蓄積された電荷（撮像信号）をリセットする。これにより、図７に示すように標準周期よりも早い周期の６２ｆｐｓの周期においては、この６２ｆｐｓの周期に合わせて、標準周期よりも早く、イメージセンサ２４がリセット制御される。なお、図７は、１／１０００秒の高速シャッターの例である。また、標準周期よりも遅い周期の５８ｆｐｓの周期においては、この５８ｆｐｓの周期に合わせて、標準周期よりも遅く、イメージセンサ２４がリセット制御される。

これにより、図７に斜線で示すように、周期毎に異なるタイミングでイメージセンサ２４を露光させて、ＬＥＤ信号機からの光を取り込むことができる。これは、イメージセンサ２４に蓄積される電荷が、周期毎に増減することを意味する。このため、露光のタイミングによっては、点灯しているはずのＬＥＤ信号機が消灯状態で表示されることもあるが、大体の場合、点灯しているＬＥＤ信号機を表示でき、点灯しているはずのＬＥＤ信号機が、常に消灯状態で表示される不都合（連続的に消灯状態として表示される不都合）を防止できる。

ここで、図６及び図７に示す５８ｆｐｓの駆動周期のように、１垂直同期期間以上の駆動周期（スローシャッター）においては、駆動周期（間隔）が大きく伸縮し、１垂直同期期間未満の駆動周期（高速シャッター）以上に、映像の動体が不連続となる問題がある。このため、ＬＥＤ信号機の明滅周期より長い駆動周期の場合は、通常の周期でイメージセンサ２４を駆動することが好ましい。上述の例で説明すると、５８ｆｐｓの駆動周期時には、標準周期の６０ｆｐｓのタイミングでイメージセンサ２４をリセット制御する。これにより、１垂直同期期間以上の駆動周期の際に、映像の動体が不連続となる不都合を軽減できる。

次に、上述のように変則的な周期でイメージセンサ２４を駆動して露光すると、ビデオ規格の映像周期に準ずる標準周期の露光タイミングに対して、ずれを生ずる。このため、図５に示す位相補正部５は、ずれた露光タイミングの画像の時間軸方向の位相を補正する。なお、位相補正部５は、図５において、ハードウェアとして図示しているが、ＲＯＭ１０に記憶された撮像処理プログラムにより、ＣＰＵ１５の機能としてソフトウェア的に実現してもよい。

具体的には、例えば変則的な周期５８ｆｐｓの露光は、標準周期の６０ｆｐｓの露光タイミングに比べ、約０．５７４秒遅いことになる。位相補正部５は、ＤＲＡＭ１１に記憶されている連続する２つのフレームの撮像信号の動きベクトルを検出する。動きベクトルは、各フレームの撮像画像の所定ブロック内の各画素の差分の絶対値を検出し、各絶対値の総和を、各画素の一致の度合いの評価値とするＳＡＤ（Sum of Absolute Difference）等の一般的なブロックマッチングの手法を用いて検出できる。

位相補正部５は、「０．５７４秒÷１／６０秒＝０．５７４／１６．６６６＝０．０３４（３．４％）」の演算を行うことで、標準周期の撮像画像に対するずれ量を算出する。そして、位相補正部５は、検出した動きベクトルに対応する方向に、算出したずれ量分、各画素をずらした撮像画像を作成する（フレーム補間）。

図８は、このようなフレーム補間処理を説明するための模式図である。図８の（ａ）の符号を付した図は、フレーム補間前の撮像画像（ＤＲＡＭ１１に記憶されている撮像画像）を示している。図８の（ｂ）の符号を付した図は、フレーム補間後の撮像画像を示している。この図８からわかるように、位相補正部５は、ＤＲＡＭ１１に記憶されている第１フレーム及び第２フレームの撮像画像から、上述のように動きベクトルを検出する。また、位相補正部５は、「第１フレーム及び第２フレームの周期差／１６．６６６」の演算を行うことで、標準周期の撮像画像に対するずれ量を算出する。そして、位相補正部５は、検出した動きベクトルに対応する方向に、算出したずれ量分、各画素をずらした第２フレームの撮像画像をフレーム補間画像として作成する。

同様に、位相補正部５は、ＤＲＡＭ１１に記憶されている第２フレーム及び第３フレームの撮像画像から、上述のように動きベクトルを検出する。また、位相補正部５は、「第２フレーム及び第３フレームの周期差／１６．６６６」の演算を行うことで、標準周期の撮像画像に対するずれ量を算出する。そして、位相補正部５は、検出した動きベクトルに対応する方向に、算出したずれ量分、各画素をずらした第３フレームの撮像画像をフレーム補間画像として作成し、ＤＲＡＭ１１に記憶する。

これにより、検出した動きベクトルに対し、変則的な周期の露光でずらした分を打ち消すようにフレーム補間することができる。このため、変則的な周期で露光した撮像画像に対し、時間軸方向に位相の調整及び補正を行うことができ、映像の動体の連続性を保持し、スムーズに動く動体を表示することができる。

読み出し制御部の一例となるＣＰＵ１５は、ＤＲＡＭ１１に記憶された標準周期の撮像画像（第１フレームの撮像画像等）及びフレーム補間画像（第３フレームの撮像画像等）を、標準周期に対応する６０ｆｐｓの再生速度となるように読み出し、液晶モニタ１８に出力し、また、入出力端子２１を介して外部に出力する。

以上の説明から明らかなように、実施の形態の撮像装置は、以下のように動作する。
１．複数の変則的な周期でイメージセンサ２４を駆動する。
２．イメージセンサ２４の変則的な駆動周期の間には、ビデオ規格に準拠した標準周期を挟んでイメージセンサ２４を駆動する。
３．４垂直同期期間毎等の所定の周期で、ビデオ規格に準拠した標準周期と一致させる。
４．露光レベルを合わせるために、変則的な周期に応じてシャッター速度の調整（蓄積リセットタイミングの補正）を行う。
５．ＬＥＤ信号機の明滅周期より短いシャッタースピード（露光期間）の場合（高速シャッター（１垂直同期期間未満の露光））では、イメージセンサを変則的な周期で駆動する。また、ＬＥＤ信号機の明滅周期より長いシャッタースピード（露光期間）の場合（スローシャッター（１垂直同期期間以上の露光））では、通常の周期でイメージセンサを駆動する。
６．イメージセンサ２４の変則的な周期と通常の周期の切り替えは、ビデオ規格の標準周期と一致する周期で行う。

これにより、高速シャッター時（１垂直同期期間未満の露光時）には、ＬＥＤ信号機は、少なくとも明滅を繰り返すように撮像される。このため、実施の形態の撮像装置をドライブレコーダに設けた場合、点灯状態のＬＥＤ信号機を、点灯状態又は点滅状態のＬＥＤ信号機として撮像することができる。

また、実施の形態の撮像装置は、以下のように動作する。
１．変則的な周期の露光で撮像した撮像画像に対し、時間軸方向に画像位相を調整及び補正する。
２．前後の２つのフレームから動きベクトル検出する。動きベクトル検出は、例えば一般的なＳＡＤ等の一般的なブロックマッチング手法を用いる。
３．検出した動きベクトルに対し、変則的な周期の露光でずらした分を打ち消すようにフレーム補間する。

これにより、変則的な周期でイメージセンサ２４を駆動することで生じる映像の不連続性を軽減し、スムーズに動く動体を表示できる。

上述の実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。例えば、上述の実施の形態では、ＬＥＤ信号機を撮像することとしたが、本発明は、ＬＥＤが用いられている機器であれば、どのような機器を撮像しても上述の効果を得ることができる。実施の形態及び実施の形態の変形は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 撮像部
２ アナログ処理部
３ Ａ／Ｄ変換部
４ 入力コントローラ
５ 位相補正部
６ デジタル信号処理部
７ 圧縮／伸張処理部
８ 音声処理部
９ ＯＳＤ重畳部
１０ ＲＯＭ
１１ ＤＲＡＭ
１２ メディア制御部
１３ カードＩ／Ｆ
１４ 入出力Ｉ／Ｆ
１５ ＣＰＵ
１６ バスライン
１７ カード型記憶媒体
１８ 液晶モニタ１８
１９ スピーカ部
２０ 操作部
２１ 入出力端子
２２ 光学レンズ
２３ アイリス部
２４ イメージセンサ
２５ 駆動周期算出部
２６ シャッター制御部
２７ 駆動周期制御部

Claims (5)

1. 所定のビデオ規格に準拠した駆動周期である標準周期未満の露光時間で、被写体を撮像するように撮像部を駆動する際に、所定フレーム置きに、前記標準周期のフレームを生成し、前記標準周期のフレームの前後のフレームのうち、いずれか一方のフレームの周期が、前記標準周期よりも短い周期となり、他方のフレームの周期が前記標準周期よりも長い周期となるように、前記撮像部の駆動周期を制御する駆動周期制御部と、
   前記被写体からの光の光量に応じて前記撮像部に蓄積される電荷のリセットタイミングを、前記撮像部の駆動周期に応じて制御するシャッター制御部と、
   前記リセットタイミングが制御された前記撮像部で撮像された各撮像画像を記憶する記憶部と、
   前記記憶部に記憶された前記各撮像画像を、前記標準周期に対応する再生速度となるように読み出して出力する読み出し制御部と
   を有する撮像処理装置。
2. 前記記憶部に記憶された複数の撮像画像から動きベクトルを検出すると共に、前記標準周期に対する撮像画像のずれ量を算出し、検出した動きベクトルに対応する方向に、算出したずれ量分、各画素をずらしたフレーム補間画像を生成して前記記憶部に記憶する位相補正部を、さらに備え、
   前記読み出し制御部は、前記記憶部に記憶された前記標準周期の撮像画像及び前記フレーム補間画像を、前記標準周期に対応する再生速度となるように読み出して出力すること
   を特徴とする請求項１に記載の撮像処理装置。
3. 前記駆動周期制御部は、前記短い周期及び前記長い周期を合計した周期を、前記標準周期の少なくとも２倍の周期とすること
   を特徴とする請求項１又は請求項２に記載の撮像処理装置。
4. 前記シャッター制御部により制御された前記撮像部の駆動周期の時間から、前記撮像部の標準周期の時間を減算処理した時間に、前記標準周期の前記リセットタイミングの時間を加算処理することで、前記駆動周期に対応するリセットタイミングを算出する駆動周期算出部を、さらに備え、
   前記シャッター制御部は、前記駆動周期算出部で算出されたリセットタイミングで、前記撮像部のリセットタイミングを制御すること
   を特徴とする請求項１から請求項３のうち、いずれか一項に記載の撮像処理装置。
5. 駆動周期制御部が、所定のビデオ規格に準拠した駆動周期である標準周期未満の露光時間で、被写体を撮像するように撮像部を駆動する際に、所定フレーム置きに、前記標準周期のフレームを生成し、前記標準周期のフレームの前後のフレームのうち、いずれか一方のフレームの周期が、前記標準周期よりも短い周期となり、他方のフレームの周期が前記標準周期よりも長い周期となるように、前記撮像部の駆動周期を制御する駆動周期制御ステップと、
   シャッター制御部が、前記被写体からの光の光量に応じて前記撮像部に蓄積される電荷のリセットタイミングを、前記撮像部の駆動周期に応じて制御するシャッター制御ステップと、
   読み出し制御部が、前記記憶部に記憶された前記各撮像画像を、前記標準周期に対応する再生速度となるように読み出して出力する読み出し制御ステップと
   を有する撮像処理方法。

Images