JP2014216803A - 画像処理装置および方法 - Google Patents

Abstract

【課題】 画像処理装置で、複数のイメージセンサの出力タイミングを自動的に調整することを目的とする。【解決手段】 画像処理装置１の画像入力部１１が、各イメージセンサ２からフレームデータを取得すると、差分検出部１２は、イメージセンサ２の出力タイミングの差分時間を検出する。遅れ時間付加部１３は、差分時間を基に、調整するイメージセンサ２のフレームデータのフレーム長補正値を計算する。出力フレーム長調整部１４は、イメージセンサ２の設定情報をもとに、フレーム長補正値を対応するイメージセンサ２の出力フレームの設定値に変換してイメージセンサ２へ通知する。【選択図】 図１

Description

本発明は、画像処理技術に関し、より詳しくは、２種以上のイメージセンサの画像データの出力タイミングを調整する技術に関する。

例えば、３次元や高フレームレートのイメージデータを得るため、複数のイメージセンサを使用して同時に撮影することがある。また、主たるイメージセンサと従たるイメージセンサのように、センササイズや解像性能が異なるイメージセンサを複数使用して同時に撮影することがある。種類や型式が異なる複数のイメージセンサで撮影する場合に、イメージセンサへのクロック信号が同一であったとしても、各イメージセンサの周波数発生器の相違から、各イメージセンサの露光タイミングや出力タイミングが徐々にずれてくる可能性がある。

ところで、デジタル変換された映像信号の処理において、時間軸誤差除去後のノイズ除去処理を改善するため、映像信号の水平ブランキング期間に時間軸誤差情報を付加し、その映像信号をｎ（ｎは自然数）フィールド遅延させ、入力に帰還させて信号の平滑化を行う処理が知られている。

特開平５−２８４４６０号公報

種類や型式が異なる複数のイメージセンサで撮影する場合に、イメージセンサ毎に周波数発生器が相違し、出力クロックが相違すること、またはセンサの出力画素数が相違すること等によって、各イメージセンサの露光タイミングや出力タイミングが徐々にずれてくる可能性がある。

しかし、イメージセンサ自体が外部信号によるタイミング同期機能が備えていない場合には、イメージセンサ間に生じたずれを除去する方法がない。また、イメージセンサは、他方のイメージセンサとの間でどの程度のずれが生じているかを自身では検知することができない。そのため、従来、複数のイメージセンサ間で生じる出力タイミングのずれを調整することができなかった。

本発明の目的は、種類や型式が異なる複数のイメージセンサの出力タイミングを調整できる画像処理装置および画像処理方法を提供することである。

本発明の一態様として開示する画像処理装置は、複数のイメージセンサの画像データを処理する画像処理装置であって、（１）複数のイメージセンサ毎に設けられ、対応するイメージセンサから画像データおよび出力タイミングを含むフレームデータを取得する複数の画像入力部と、（２）前記複数のイメージセンサの１つを基準として該複数のイメージセンサ各々の出力タイミングとの差分時間を検出する差分検出部と、（３）検出された前記差分時間を基に、前記複数のイメージセンサの１または複数のイメージセンサのフレーム長に対してフレーム長補正値を計算する遅れ時間付加部と、（４）前記複数のイメージセンサ毎の出力フレームの設定情報を保持し、前記複数のイメージセンサ毎に、前記フレーム長補正値を出力フレームの設定値に変換し、通知する出力フレーム長調整部とを備える。

開示する画像処理装置によれば、種類や型式が異なる複数のイメージセンサのフレームデータの出力タイミングを調整することができる。

一実施例における画像処理装置のブロック構成例を示す図である。 イメージセンサが出力する１フレーム画像の構成例を示す図である。 出力タイミングが一致する場合のイメージセンサのフレームデータの出力タイミングと露光との関係例を示す図である。 出力タイミングが一致しない場合のイメージセンサのフレームデータの出力タイミングと露光との関係例およびその調整例を示す図である。 ２つのイメージセンサの出力タイミングを任意の一定間隔にずらす設定で、出力タイミングが一致しない場合のイメージセンサのフレームデータの出力タイミングと露光との関係例およびその調整例を示す図である。 画像処理装置の概要処理フロー例を示す図である。

以下、本発明の一態様として開示する画像処理装置について説明する。

図１は、一実施例における画像処理装置のブロック構成例を示す図である。

画像処理装置１は、種類または型式等が異なるイメージセンサ同士のように、外部信号による同期機能を有しない複数のイメージセンサ２（２Ａ、２Ｂ）のフレームデータを入力して画像処理を行う。

イメージセンサ２（２Ａ、２Ｂ）は、内部に備える逓倍／分周器２１Ａ、２１Ｂ（例えば、ＰＬＬ回路）が外部の周波数発振器３のクロック信号から生成したクロック信号に従って、例えば３０フレーム／秒のフレーム画像を撮影し、撮影したフレーム画像と出力タイミングとを含むフレームデータを画像処理装置１へ出力する。

イメージセンサ２（２Ａ、２Ｂ）は、例えば、ＣＣＤセンサ、ＣＭＯＳセンサ等であり、フレームデータの出力タイミングに合わせて露光処理が行われる。イメージセンサ２（２Ａ、２Ｂ）に、逓倍／分周器２１（２１Ａ、２１Ｂ）がそれぞれ設けられていることにより、フレームデータの出力タイミングが徐々にずれてくる可能性がある。

画像処理装置１は、イメージセンサ２（２Ａ、２Ｂ）に対する設定値を、１または数フレームデータの取得毎に変更することによって、フレームデータの出力タイミングを調整することができる。

そのため、画像処理装置１は、画像入力部１１（１１Ａ、１１Ｂ）、差分検出部１２、遅れ時間付加部１３、出力フレーム長調整部１４（１４Ａ、１４Ｂ）、画像処理部１８、および逓倍／分周器１９を備える。画像処理装置１の差分検出部１２、遅れ時間付加部１３および出力フレーム長調整部１４（１４Ａ、１４Ｂ）が、イメージセンサ２（２Ａ、２Ｂ）のフレームデータの出力タイミングを調整する機能を実現している。

画像入力部１１（１１Ａ、１１Ｂ）は、イメージセンサ２（２Ａ、２Ｂ）毎に設けられ、対応するイメージセンサ２（２Ａ、２Ｂ）が出力するフレームデータを入力する。イメージセンサ２（２Ａ、２Ｂ）からの入力インターフェイスは、パラレル、シリアル等いくつかの種類が存在するが、いずれのインターフェイスでも、画像入力部１１（１１Ａ、１１Ｂ）は、対応するイメージセンサ２（２Ａ、２Ｂ）が出力したフレーム画像と出力タイミングを示すクロックとを１フレームデータとして入力する。ここで、出力タイミングとは、フレーム開始タイミングである。

また、画像入力部１１（１１Ａ、１１Ｂ）は、対応するイメージセンサ２（２Ａ、２Ｂ）から出力タイミングを受信したタイミングで、差分検出部１２に対し、出力タイミングを通知する。画像入力部１１（１１Ａ、１１Ｂ）は、例えば、割り込み信号による通知のように遅延が発生しない通知手法を用いて、出力タイミングを差分検出部１２に通知する。さらに、画像入力部１１（１１Ａ、１１Ｂ）は、同時に、入力したフレームデータを、画像処理部１８へ転送する。

差分検出部１２は、画像処理装置１が備える逓倍／分周器１９（例えば、ＰＬＬ回路）のクロック、外部タイマ等を用いて、画像入力部１１（１１Ａ、１１Ｂ）それぞれから通知された出力タイミング（フレーム開始タイミング）の差分時間を検出し、遅れ時間付加部１３へ通知する。

また、差分検出部１２は、複数のフレームデータの出力タイミングに対して任意のフィルタ処理を行って、遅れ時間付加部１３に通知する差分時間を決定することができる。フィルタ処理として、差分検出部１２は、例えば、単純に複数の出力タイミングの差分時間の平均の算出、ＰＩ制御に基づく差分時間の算出等を行う。この処理により、出力タイミングが複数フレームの間隔で調整されるため、出力タイミングに急激な変化が生じないようにすることができる。

遅れ時間付加部１３は、差分検出部１２から通知された差分時間を基に、イメージセンサ２Ａ、２Ｂのいずれか一方または両方に対して、出力するフレームデータのフレーム長をどの程度調整するかを示すフレーム長補正値を計算し、出力フレーム長調整部１４Ａ、１４Ｂに通知する。遅れ時間付加部１３は、差分時間を基に、イメージセンサ２Ａ、２Ｂのいずれか一方のフレーム長の補正により出力タイミングを調整してもよく、両方のフレーム長の補正により出力タイミングを補正してもよい。

また、遅れ時間付加部１３は、イメージセンサ２Ａ、２Ｂ間のフレームデータを任意の時間でずらして出力させる場合に、イメージセンサ２（２Ａ、２Ｂ）間の出力タイミングの任意のずれ時間を示す遅れ設定時間を保持し、イメージセンサ２Ａ、２Ｂ毎に、差分時間と設定時間とを基にフレーム長補正値を計算することができる。

出力フレーム長調整部１４（１４Ａ、１４Ｂ）は、対応するイメージセンサ２（２Ａ、２Ｂ）の固有の出力フレームの設定値を示す設定情報を保持し、遅れ時間付加部１３から通知されたフレーム長補正値を、対応するイメージセンサ２（２Ａ、２Ｂ）に対する設定値に変換して通知する。

また、出力フレーム長調整部１４（１４Ａ、１４Ｂ）は、設定情報が含む１フレームでの調整可能な範囲をもとに、計算されたフレーム長補正値を、複数の出力フレームに対する設定値に変換することができる。

画像処理部１８は、転送されたフレームデータに対して画像処理を行う。画像処理部１８が実行する画像処理は既知の画像処理であるので説明を省略する。

逓倍／分周器１９は、周波数発振器３のクロック信号をもとに生成したクロック信号を、画像入力部１１Ａ、１１Ｂ、差分検出部１２、遅れ時間付加部１３，出力フレーム長調整部１４Ａ、１４Ｂ、画像処理部１８へ送出する。

図１に示すブロック構成例は、画像処理装置１が、２つのイメージセンサ２（２Ａ、２Ｂ）の画像データを処理する場合のものを示しているが、画像処理装置１は、３つ以上のイメージセンサ２からのフレームデータを取得して画像処理を行うことも可能である。その場合に、差分検出部１２は、３つ以上のイメージセンサ２の１つ（例えば、イメージセンサ２Ａ）の出力タイミングを基準として、他のイメージセンサ２（例えば、イメージセンサ２Ｂ、２Ｃ）それぞれとの差分時間を検出する。また、遅れ時間付加部１３は、差分検出部１２から通知された各差分時間を基に、各イメージセンサ２に対するフレーム長補正値を決定する。

図２は、イメージセンサ２が出力する１フレーム画像の構成例を示す図である。

イメージセンサ２が出力するフレームデータには水平および垂直の方向にブランキング期間がある。画像が露光されている有効画像データ領域とブランクデータ領域とを合わせて１フレーム画像として出力される。１フレーム画像が出力される周期は、逓倍／分周器２１、イメージセンサ２への入力周波数、出力画像サイズ、ブランキング期間のサイズによって決定される。図２に示すように、フレームデータの１ラインの転送時間は、有効画像データ領域（有効画素領域）を転送中の画像データ期間と、ブランクデータ領域を転送中の水平ブランキング期間とで構成され、１フレームの転送時間は、有効画像データを含むラインを転送中の画像データ期間と、ブランクデータ領域のみのラインを転送している垂直ブランキング期間とで構成されている。

画像処理装置１は、フレームデータの水平ブランキング期間または垂直ブランキング期間を増減することにより、フレームデータのフレーム長を決定し、イメージセンサ２Ａ、２Ｂ間の出力タイミングを調整する。

次に、画像処理装置１が実行する処理について説明する。

図３〜図５は、イメージセンサ２（２Ａ、２Ｂ）のフレームデータの出力タイミングと露光との関係例を示す図である。

各イメージセンサ２Ａ、２Ｂでは、フレームデータの出力タイミング（前フレームデータの転送開始のタイミング）を基準として次のフレームでの露光が開始される。図３に示すように、イメージセンサ２Ａ、２Ｂが同じ出力タイミング（フレーム開始タイミング）でフレームデータを出力し続ける場合は、イメージセンサ２Ａ、２Ｂの露光開始のタイミングも同じであり、フレームデータの出力タイミングにずれが生じない。

しかし、図４に示すように、イメージセンサ２Ｂのフレーム（１）の出力タイミングが、イメージセンサ２Ａのフレーム（１）に比べて早い場合には、時間経過につれて出力タイミングのずれが徐々に大きくなる可能性がある。

この場合に、まず、画像入力部１１Ｂが、イメージセンサ２Ｂのフレーム（１）の出力タイミングを得て差分検出部１２に通知し、次に、画像入力部１１Ａが、イメージセンサ２Ａのフレーム（１）の出力タイミングを得て差分検出部１２に通知する。

差分検出部１２は、２つの出力タイミングの差分時間すなわちイメージセンサ２Ｂのフレーム開始タイミングからイメージセンサ２Ａのフレーム開始タイミングまでの差分時間を検出して遅れ時間付加部１３へ通知する。

遅れ時間付加部１３は、通知された差分時間をもとに、出力タイミングが先であったイメージセンサ２Ｂの１フレームデータの出力時間を伸長するため、イメージセンサ２Ｂの１フレームデータの差分時間に対応する水平ブランキング期間または垂直ブランキング期間またはこれらの両方に対するフレーム長補正値を計算し、出力フレーム長調整部１４Ｂに計算したフレーム長補正値を通知する。そして、出力フレーム長調整部１４Ｂは、イメージセンサ２Ｂの設定情報をもとに、通知されたフレーム長補正値に対応する水平ブランキング期間または垂直ブランキング期間またはこれらの両方を増加させ、さらに、フレーム長の伸長に合わせて露光開始タイミングを遅らせた設定値を計算し、イメージセンサ２Ｂに計算した設定値を送出する。

もしくは、遅れ時間付加部１３は、出力タイミングが後であったイメージセンサ２Ａの１フレームデータの出力時間を短縮する調整を行ってもよい。遅れ時間付加部１３は、通知された差分時間をもとに、イメージセンサ２Ａの１フレームデータの差分時間に対応する水平ブランキング期間または垂直ブランキング期間またはこれらの両方に対するフレーム長補正値を計算し、出力フレーム長調整部１４Ａに計算したフレーム長補正値を通知する。

出力フレーム長調整部１４Ｂは、フレーム長補正値が通知されると、イメージセンサ２Ｂの設定情報をもとに、通知されたフレーム長補正値に対応する水平ブランキング期間または垂直ブランキング期間またはこれらの両方を伸長させ、さらに、フレーム長の短縮に合わせて露光開始タイミングを遅らせた設定値を計算し、イメージセンサ２Ｂに計算した設定値を送出する。

もしくは、出力フレーム長調整部１４Ａは、フレーム長補正値が通知されると、出力フレーム長調整部１４Ｂと同様に、イメージセンサ２Ａの設定情報をもとに、通知されたフレーム長補正値に対応する水平ブランキング期間または垂直ブランキング期間またはこれらの両方を短縮させ、さらに、フレーム長の短縮に合わせて露光開始タイミングを早めた設定値を計算し、イメージセンサ２Ａに計算した設定値を送出する。

出力フレーム長調整部１４Ａ、１４Ｂは、上記の設定値の計算において、フレーム長補正値をもとに、１ラインのクロック数（１画素出力クロック数）の水平ブランキング期間のクロック数、または、１フレームの転送時間（ライン数）の垂直ブランキング期間のライン数、または、これらの両方の値を増減し、フレーム長補正値に対応したフレーム長を示す設定値を計算する。

イメージセンサ２Ｂでは、フレーム（２）の出力タイミング時に受け取った設定値により、出力するフレーム（３）のフレーム長が伸び、フレーム（４）の露光タイミングが遅れる。もしくは、イメージセンサ２Ａでは、フレーム（２）の出力タイミング時に受け取った設定値により、出力するフレーム（３）のフレーム長が短くなり、フレーム（４）の露光タイミングが早まる。そのため、フレーム（３）の出力タイミングがイメージセンサ２Ａ、２Ｂで一致することになり、出力タイミングのずれが除去されることになる。

さらに、画像処理装置１は、イメージセンサ２Ａ、２Ｂの出力タイミングを一致させるのではなく、任意の一定間隔でずらすように調整することができる。例えば、イメージセンサ２Ａの出力タイミングをイメージセンサ２Ｂの出力タイミングより一定間隔（時間α）遅延するように調整すると仮定する。

この場合に、図５に示すように、イメージセンサ２Ｂのフレーム（１）の出力タイミングが、イメージセンサ２Ａのフレーム（１）に比べて早い状態となったときは、イメージセンサ２Ａ、２Ｂ間の実際のずれ（差分時間）から設定された一定間隔（時間α）を差し引いた値（時間）を、調整したい「ずれ」としてフレーム長の調整処理が行われる。

遅れ時間付加部１３は、通知された差分時間から、イメージセンサ２Ａ、２Ｂ間に設定された間隔（時間ｔα）を差し引いた時間ｔβをもとに、出力タイミングが先であったイメージセンサ２Ｂの１フレームデータの出力時間を伸長するフレーム長補正値、または、出力タイミングが後であったイメージセンサ２Ａの１フレームデータの出力時間を短縮するフレーム長補正値を計算する。なお、出力フレーム長調整部１４Ａ、１４Ｂの処理は、図４を用いて説明した処理と同じであるので説明を省略する。

このフレーム長調整処理により、イメージセンサ２Ａ、２Ｂが任意の一定間隔（時間ｔα）でずらしたタイミングでフレームデータを出力する状態を維持することができる。

さらに、画像処理装置１は、フレーム長の調整処理を画像フレームに悪影響を及ぼさない範囲で調整することができる。出力フレーム長調整部１４Ａ、１４Ｂは、イメージセンサ２に固有の設定情報をもとに、設定による変更可能な範囲を示す制限値を求め、通知されたフレーム長補正値による設定が、イメージセンサ２Ａ、２Ｂに対する制限値の範囲外となるような設定値となる場合に、制限値の範囲内で水平ブランキングまたは垂直ブランキング期間の短縮または伸長を行う。

もしくは、出力フレーム長調整部１４Ａ、１４Ｂは、通知されたフレーム長補正値を、複数フレームに対するフレーム長補正値で対応する補正値を計算し、計算した補正値で水平ブランキング期間／垂直ブランキング期間の短縮または伸長を行い、該当する回数のタイミングでイメージセンサ２Ａ、２Ｂに設定値を通知する。

図６は、画像処理装置１の概要処理フロー例を示す図である。

画像処理装置１において、画像入力部１１Ａ、１１Ｂは、それぞれ、対応するイメージセンサ２Ａ、２Ｂからフレームデータを取得し、出力タイミングとするフレーム開始タイミングを検出し、検出したフレーム開始タイミングを割り込み通知を用いて差分検出部１２に通知する（ステップＳ１０、Ｓ１１）。

差分検出部１２は、画像入力部１１Ａ、１１Ｂからフレーム開始タイミングの通知を検出すると、２つのフレーム開始タイミングの差分時間を計算し（ステップＳ１２）、所定のフィルタ処理を行い、フィルタ処理した差分時間を遅れ時間付加部１３へ通知する（ステップＳ１３）。遅れ時間付加部１３は、通知された差分時間をもとに、どのイメージセンサ２（２Ａ、２Ｂ）に対してどの程度のフレーム長調整を行うかを判定し（ステップＳ１４）、差分時間を基にフレーム長補正値を算出し、算出したフレーム長補正値を、調整するイメージセンサ２Ａ、２Ｂに対応する出力フレーム長調整部１４Ａ、１４Ｂへ通知する（ステップＳ１５）。

出力フレーム長調整部１４Ａ、１４Ｂは、それぞれ、対応するイメージセンサ２Ａ、２Ｂに固有の設定情報から設定可能範囲の限界値を求めて（ステップＳ１６、Ｓ１７）、フレーム長補正値に対応する１ラインの水平ブランキング期間のクロック数、１フレーム転送時間の垂直ブランキング期間のライン数を示す設定値を計算し、イメージセンサ２Ａ、２Ｂに通知する（ステップＳ１８、Ｓ１９）。

以上説明した処理例は、画像処理装置１が、イメージセンサ２（２Ａ、２Ｂ）から１フレームデータを入力する度に処理を行う場合のものである。しかし、画像処理装置１は、この処理に限定されず、一定間隔のフレーム周期で（複数フレームデータの出力毎に）上記説明した処理を行うようにしてもよい。

以上説明した画像処理装置１は、図１に示す処理部を構成要素として実装する専用ハードウェアとして実施することができる。画像処理装置１の構成要素は、任意の組合せで実現されてもよい。複数の構成要素が１つの部材として実現されてもよく、１つの構成要素が複数の部材から構成されてもよい。

また、画像処理装置１は、演算装置（ＣＰＵ）、主記憶装置、および補助記憶装置、バス等を備えてこれらの装置が内部接続するコンピュータにより実施することができる。その場合に、画像処理装置１の処理部の機能を実現するプログラムを実装し、コンピュータ上で実行することにより、画像処理装置１を実施する。

画像処理装置１の処理部の機能を実現するプログラムは、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等やフレキシブルディスク等の記録媒体だけでなく、通信回線の先に備えられた他の記憶装置やコンピュータのハードディスク等に記憶されるものであってもよい。

以上説明したように、開示した画像処理装置１によれば、種類や型式が異なるイメージセンサ、タイミングを同期する機能を持たないイメージセンサ間で生じる出力タイミングのずれを、イメージセンサ自体を改変することなく自動的に調整することができる。

１ 画像処理装置
１１（１１Ａ、１１Ｂ） 画像入力部
１２ 差分検出部
１３ 遅れ時間付加部
１４（１４Ａ、１４Ｂ） 出力フレーム長調整部
１８ 画像処理部
１９ 逓倍／分周器
２（２Ａ、２Ｂ） イメージセンサ
２１（２１Ａ、２１Ｂ） 逓倍／分周器
３ 周波数発振器

Claims (5)

1. 複数のイメージセンサの画像データを処理する画像処理装置であって、
   複数のイメージセンサ毎に設けられ、対応するイメージセンサから画像データおよび出力タイミングを含むフレームデータを取得する複数の画像入力部と、
   前記複数のイメージセンサの１つを基準として該複数のイメージセンサ各々の出力タイミングとの差分時間を検出する差分検出部と、
   検出された前記差分時間を基に、前記複数のイメージセンサの１または複数のイメージセンサのフレーム長に対してフレーム長補正値を計算する遅れ時間付加部と、
   前記複数のイメージセンサ毎の出力フレームの設定情報を保持し、前記複数のイメージセンサ毎に、前記フレーム長補正値を出力フレームの設定値に変換し、通知する出力フレーム長調整部とを備える
   ことを特徴とする画像処理装置。
2. 前記遅れ時間付加部は、前記複数のイメージセンサ間の任意の出力タイミングのずれ時間を示す遅れ設定時間を保持し、前記差分時間および当該設定時間を基に、前記複数のイメージセンサの１または複数のイメージセンサのフレーム長に対してフレーム長補正値を計算する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記出力フレーム長調整部は、前記フレーム長補正値から、連続する複数の出力フレームに対する設定値を計算する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記出力フレーム長調整部は、前記複数のイメージセンサ毎の設定情報を基に、該イメージセンサの出力フレームの設定可能範囲を求め、前記フレーム長補正値が該設定可能範囲を超える場合に、設定可能範囲を示す限界値を用いて前記設定値を計算する
   ことを特徴とする請求項１ないし請求項３のいずれか一項に記載の画像処理装置。
5. 複数のイメージセンサの画像データを処理するために、コンピュータが、
   複数のイメージセンサ毎に設けられ、対応するイメージセンサから画像データおよび出力タイミングを含むフレームデータを取得し、
   前記複数のイメージセンサの１つを基準として該複数のイメージセンサ各々の出力タイミングとの差分時間を検出し、
   検出された前記差分時間を基に、前記複数のイメージセンサの１または複数のイメージセンサのフレーム長に対してフレーム長補正値を計算し、
   前記複数のイメージセンサ毎の出力フレームの設定情報を保持して、前記複数のイメージセンサ毎に、前記フレーム長補正値を出力フレームの設定値に変換して通知する、処理を実行する
   ことを特徴とする画像処理方法。

Images