JP2014135569A

JP2014135569A - 画像処理装置

Info

Publication number: JP2014135569A
Application number: JP2013001380A
Authority: JP
Inventors: Ryosuke Kasahara; 亮介笠原
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2013-01-08
Filing date: 2013-01-08
Publication date: 2014-07-24
Anticipated expiration: 2033-01-08
Also published as: JP6094224B2

Abstract

【課題】高精度な画像処理を安価に実現できる画像処理装置を提供する。
【解決手段】画像処理装置は、入力された画像データを一時保持する記憶部と、前記記憶部に前記画像データを書き込む間、前記画像データの出力を遅延させる出力同期信号を、入力同期信号に基づき生成する生成部と、を備え、前記生成部は、前記画像データを前記記憶部から出力する速度が、前記画像データを前記記憶部に入力する速度より速くなる前記出力同期信号を生成する。
【選択図】図６

Description

本発明は、画像処理装置に関するものである。

高精度な画像処理システムには、例えば、ステレオカメラなどがある。このような画像処理システムでは、例えば、レンズの設計値としてのディストーションや製造誤差、個体差などにより、光学的な歪みが発生することがある。そのため、画像処理システムでは、発生した光学的な歪みに対する補正処理（位置ずれ補正処理）などのような各種画像処理を高精度に行うことが求められる。そこで、画像処理システムでは、光学的な歪みに対する補正処理を行うための大きなラインバッファを含む高価なハードウェア（処理系）を備えている場合がある。これに対して、特許文献１には、レンズの光学的中心点に対応する位置を基点とした水平軸と垂直軸により、光学領域を４つに分割した各象限に基づき、ラインバッファの制御を切り替えることで、処理に必要なライン数を減らす撮像装置が開示されている。

しかしながら、従来の技術では、画像処理精度に悪影響を及ぼすことが考えられる。

例えば、上述した特許文献１に開示される技術では、レンズの光学的中心点に対応する位置を基点とした主走査方向（水平軸）と副走査方向（垂直軸）により、光学領域を第１象限から第４象限に分割し、各象限に基づき、ラインバッファの制御を切り替えている。この場合には、同一象限内であっても、副走査方向についての歪み方向が、正／負のどちらか一方に定まらないようなラインに対して、高精度な歪み補正を行うことができない。

このように、従来の技術は、高精度な画像処理を安価に実現するものではない。

本発明は上記に鑑みてなされたものであって、高精度な画像処理を安価に実現できる画像処理装置を提供することにある。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、入力された画像データを一時保持する記憶部と、前記記憶部に前記画像データを書き込む間、前記画像データの出力を遅延させる出力同期信号を、入力同期信号に基づき生成する生成部と、を備え、前記生成部は、前記画像データを前記記憶部から出力する速度が、前記画像データを前記記憶部に入力する速度より速くなる前記出力同期信号を生成する。

本発明によれば、高精度な画像処理を安価に実現できるという効果を奏する。

図１は、第１の実施形態に係る画像処理システムの構成例を示す図である。図２は、第１の実施形態に係る画像処理装置の構成例を示す図である。図３は、４分割された各象限に基づく歪み補正方法の例を示す図である。図４は、ラインバッファの使用方法例を示す図である。図５は、第１の実施形態に係る読み出しタイミング生成部の構成例を示す図である。図６は、第１の実施形態に係るラインバッファの入出力動作例（その１）を示す図である。図７は、第１の実施形態に係る出力同期信号生成部の動作例を示す図である。図８は、第１の実施形態に係るラインバッファの入出力動作例（その２）を示す図である。図９は、変形例１に係る画像処理装置の構成例を示す図である。図１０は、変形例１に係る読み出しタイミング生成部の構成例を示す図である。

以下に、添付図面を参照して、画像処理装置の実施形態を詳細に説明する。

［第１の実施形態］
＜システム構成＞
図１は、本実施形態に係る画像処理システム１０００の構成例を示す図である。図１には、ステレオカメラに限らず、一般的なカメラシステムの構成例が示されている。

図１に示すように、本実施形態に係る画像処理システム１０００は、コントローラ１１０、操作パネル１２０、及び画像処理装置１００などを備え、それぞれが相互にバスＢで接続される。

操作パネル１２０は、表示装置と入力装置などを備えており、機器情報などを利用者に提供したり、動作設定や動作指示などの利用者操作を受け付けたりする。画像処理装置１００は、ＡＳＩＣ（Application Specific Integrated Circuit）などの画像処理回路を備えており、撮像装置１３０などで撮像され入力された画像に対して、所定の画像処理を行い、処理後の画像を出力する。画像処理には、例えば、歪み補正処理などがある。なお、本実施形態に係る画像処理システム１０００がステレオカメラの場合には、撮像装置１３０を２つ（複数）備える。

コントローラ１１０は、ＣＰＵ（Central Processing Unit）１１１、記憶装置１１２、通信Ｉ／Ｆ（Interface）１１３、及び外部Ｉ／Ｆ１１４などを備えており、それぞれが相互にバスＢで接続される。

ＣＰＵ１１１は、プログラムやデータをメモリ（ＲＡＭ：Random Access Memory）上に読み出し、処理を実行することで、装置全体の制御や搭載機能を実現する演算装置である。記憶装置１１２は、プログラムやデータを所定の記憶領域に保持する装置である。記憶装置１１２には、例えば、揮発性の半導体メモリであるＲＡＭ、不揮発性の半導体メモリであるＲＯＭ（Read Only Memory）、及び大容量の記憶装置であるＨＤＤ（Hard Disk Drive）などがある。

外部Ｉ／Ｆ１１４は、外部装置とのインタフェースである。外部装置には、例えば、記録媒体１１４ａなどがある。これにより、画像処理システム１０００は、記録媒体１１４ａの読み取り及び／又は書き込みを行うことができる。記録媒体１１４ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、及びメモリカード（Memory Card）などがある。通信Ｉ／Ｆ１１３は、画像処理システム１０００を、所定のデータ伝送路に接続するインタフェースである。これにより、画像処理システム１０００は、他の機器とデータ通信を行うことができる。データ伝送路には、例えば、ネットワークなどがあり、有線又は無線などの接続方法や通信プロトコルなどの通信方式は問わない。

以上のように、本実施形態に係る画像処理システム１０００は、上記構成により、画像の撮影、画像の補正処理、画像の保存、画像の表示、画像の外部転送などの各種処理を実行することができる。

＜画像処理装置の構成＞
図２は、本実施形態に係る画像処理装置１００の構成例を示す図である。図２には、ステレオカメラに対応する画像処理回路の構成例が示されている。図２に示すように、本実施形態に係る画像処理装置１００は、ステレオカメラの各撮像装置１３０に対応するように、第１ラインバッファ１０_１及び第２ラインバッファ１０_２を備えている。また、本実施形態に係る画像処理装置１００は、第１書き込みアドレス計算部１１_１及び第２書き込みアドレス計算部１１_２を備えている。本実施形態に係る画像処理装置１００は、第１インターポレータ１７_１及び第２インターポレータ１７_２を備えている。

また、本実施形態に係る画像処理装置１００は、ＸＹ座標カウンタ１２、読み出しタイミング生成部１３、Ｘ’Ｙ’座標カウンタ１４、座標計算部１５、及び読み込みアドレス計算部１６などを備えている。本実施形態に係る画像処理装置１００は、上記部品が回路上で相互に接続されている。

第１ラインバッファ１０_１及び第２ラインバッファ１０_２は、各撮像装置１３０からの入力画像データ（入力画像信号）１，２を、所定のデータ量、一時保持する（バッファリングする）メモリ（記憶部）である。なお、第１ラインバッファ１０_１及び第２ラインバッファ１０_２を総称する場合には、ラインバッファ１０という。

第１書き込みアドレス計算部１１_１及び第２書き込みアドレス計算部１１_２は、入力同期信号１，２に基づき、書き込みアドレスをインクリメントする。第１書き込みアドレス計算部１１_１及び第２書き込みアドレス計算部１１_２は、各入力画像データ１，２をラインバッファ１０に書き込むための書き込みアドレス［Ａｄｄｒ＿ｗ_１］，［Ａｄｄｒ＿ｗ_２］を指定する。なお、第１書き込みアドレス計算部１１_１及び第２書き込みアドレス計算部１１_２を総称する場合には、書き込みアドレス計算部１１という。また、書き込みアドレス［Ａｄｄｒ＿ｗ_１］，［Ａｄｄｒ＿ｗ_２］を総称する場合には、書き込みアドレス［Ａｄｄｒ＿ｗ］という。計算された書き込みアドレス［Ａｄｄｒ＿ｗ］は、書き込みアドレス計算部１１からラインバッファ１０と読み込みアドレス計算部１６へと渡される。

なお、ラインバッファ１０は、上記書き込みアドレス計算部１１による書き込みアドレス指定に基づき、所定のデータ量より前に保持したデータが上書きされ、リングバッファのように使用される。

ＸＹ座標カウンタ１２は、入力同期信号１，２に基づき、現在入力されている入力画像データ１，２の画素が、各入力側の画像空間上のどの画素に対応するのかを計算する。つまり、ＸＹ座標カウンタ１２は、各入力側書き込み時の画素の座標値［Ｘ_１，Ｙ_１］，［Ｘ_２，Ｙ_２］を計算する。なお、各入力側書き込み時の画素の座標値［Ｘ_１，Ｙ_１］，［Ｘ_２，Ｙ_２］を総称する場合には、入力側書き込み時の画素の座標値［Ｘ，Ｙ］という。計算された入力側書き込み時の画素の座標値［Ｘ，Ｙ］は、ＸＹ座標カウンタ１２から読み込みアドレス計算部１６へと渡される。

読み出しタイミング生成部１３は、第１ラインバッファ１０_１に入力画像データ１を、第２ラインバッファ１０_２に入力画像データ２を、所定のデータ量、書き込む間、画像データの読み出しを遅延させる出力同期信号を生成する。読み出しタイミング生成部１３は、入力同期信号１，２に基づき、出力同期信号を生成する。

Ｘ’Ｙ’座標カウンタ１４は、読み出しタイミング生成部１３を介して入力された入力同期信号１，２に基づき、現在入力されている入力画像データ１，２の画素が、各出力側の画像空間上のどの画素に対応するのかを計算する。つまり、Ｘ’Ｙ’座標カウンタ１４は、各出力側読み込み時の画素の座標値［Ｘ’_１，Ｙ’_１］，［Ｘ’_２，Ｙ’_２］を計算する。なお、各出力側読み込み時の画素の座標値［Ｘ’_１，Ｙ’_１］，［Ｘ’_２，Ｙ’_２］を総称する場合には、出力側読み込み時の画素の座標値［Ｘ’，Ｙ’］という。計算された出力側読み込み時の画素の座標値［Ｘ’，Ｙ’］は、Ｘ’Ｙ’座標カウンタ１４から座標計算部１５と読み出しアドレス計算部１６へと渡される。

座標計算部１５は、高次多項式により、画素単位の座標変換処理を行う。このとき座標計算部１５は、各出力側の座標値（座標変換先の座標値）に対する各入力側の座標値（座標変換元の座標値）の座標移動量［Δｘ_１，Δｙ_１］，［Δｘ_２，Δｙ_２］を計算する。つまり、座標計算部１５は、上述した歪みを補正するための座標変換時の座標変換量を計算する。なお、座標移動量［Δｘ_１，Δｙ_１］，［Δｘ_２，Δｙ_２］を総称する場合には、座標移動量［Δｘ，Δｙ］という。計算された座標移動量［Δｘ，Δｙ］は、座標計算部１５から読み込みアドレス計算部１６へと渡される。

読み込みアドレス計算部１６は、第１ラインバッファ１０_１及び第２ラインバッファ１０_２の読み込みアドレス［Ａｄｄｒ＿ｒ_１］，［Ａｄｄｒ＿ｒ_２］を計算する。なお、読み込みアドレス［Ａｄｄｒ＿ｒ_１］，［Ａｄｄｒ＿ｒ_２］を総称する場合には、読み込みアドレス［Ａｄｄｒ＿ｒ］という。このとき読み込みアドレス計算部１６は、入力側書き込み時の画素の座標値［Ｘ，Ｙ］、出力側読み込み時の画素の座標値［Ｘ’，Ｙ’］、及び座標変換元の座標移動量［Δｘ，Δｙ］に基づき、ラインバッファ１０の読み込みアドレス［Ａｄｄｒ＿ｒ］を計算する。なお、本実施形態に係る読み込みアドレス計算部１６は、読み込みアドレス［Ａｄｄｒ＿ｒ］の計算に以下の計算式（式１）を用いる。
Ａｄｄｒ＿ｒ＝Ａｄｄｒ＿ｗ−(Y−Y’+Δy)×Ｌｉｎｅｐｉｘ−(X−X’+Δx) ・・・（式１）
Ａｄｄｒ＿ｒ：読み込みアドレス，Ａｄｄｒ＿ｗ：書き込みアドレス
X,Y：入力側書き込み時の画素の座標値，X’,Y’：出力側読み込み時の画素の座標値
Δx,Δy：座標変換元の座標移動量
Ｌｉｎｅｐｉｘ：１ラインのピクセル数（画素数）

計算された読み込みアドレス［Ａｄｄｒ＿ｒ］は、ラインバッファ１０と第１インターポレータ１７_１及び第２インターポレータ１７_２へと渡される。

第１インターポレータ１７_１及び第２インターポレータ１７_２は、各ラインバッファ１０に保持されている入力画像データ１，２を画素単位で読み出し、読み出した画素に対してインターポレーション（Interpolation）などの画像フィルタ処理を行う。本実施形態に係る第１インターポレータ１７_１及び第２インターポレータ１７_２は、インターポレーションに、バイリニア補間（Bilinear：双一次補間）を用いる。この場合、第１インターポレータ１７_１及び第２インターポレータ１７_２は、バイリニア補間で必要な４画素の左上に位置する画素のアドレスを、読み出し画素座標として指定する。なお、第１インターポレータ１７_１及び第２インターポレータ１７_２を総称する場合には、インターポレータ１７という。

これにより、本実施形態に係るインターポレータ１７からは、画像フィルタ処理後の出力画像データ１，２が出力される。

以上のように、本実施形態に係る画像処理装置１００は、上記構成により、撮像装置１３０からの入力画像に対して、高精度な画像処理を施し、高画質画像を出力する画像処理機能を実現することができる。

＜画像処理機能＞
本実施形態に係る画像処理機能について説明する。本実施形態に係る画像処理装置１００は、入力画像データ１を第１ラインバッファ１０_１に、また、入力画像データ２を第２ラインバッファ１０_２に書き込む（以下便宜上「入力」という）。その後、画像処理装置１００は、各ラインバッファ１０の画像データに対して、歪み補正などの画像処理（座標変換）を行い、画像処理後の画像データを読み出す（以下便宜上「出力」という）。その結果、画像処理装置１００からは、出力画像データ１，２が得られる。このとき画像処理装置１００は、一時保持（以下「バッファリング」という）された画像データをラインバッファ１０から出力する速度が、画像データをラインバッファ１０に入力する速度より速くなる出力同期信号を生成する。本実施形態に係る画像処理装置１００は、このような画像処理機能を有している。

例えば、ステレオカメラでは、２つのカメラの位置関係や各カメラの光学的な歪みを補正するために、大きなラインバッファ１０が必要となる。具体的には、ステレオカメラの副走査方向の歪みを補正するためには、ラインバッファ１０のライン数として、少なくとも、副走査方向における正の方向の歪み量と負の方向の歪み量の合計の最大値＋１のライン数が必要となる。例えば、副走査方向における正の方向の歪み量の最大値が２０画素、負の方向の歪み量の最大値が２０画素である場合には、歪み量がゼロ（０）であるときも含め、合計４１ライン分のラインバッファ１０が必要となる。

画像処理装置１００では、このようなラインバッファ１０の大きさ（メモリリソースの大きさ）が製品コストに影響を及ぼすため、できるだけ少なくすることが望ましい。そのため、従来では、レンズの光学的中心点に対応する位置を基点とした主走査方向と副走査方向により、光学領域を４つの象限に分割し、各象限に基づき、ラインバッファの制御を切り替える技術が提案されている。

図３は、４分割された各象限に基づく歪み補正方法の例を示す図である。図３には、レンズの光学的中心に対応する位置を基点に、画像を主走査方向（ｘ）の直線と副走査方向（ｙ）の直線で４つの象限に分割した場合の例が示されている。同一象限内では、主走査方向と副走査方向のそれぞれにおいて、歪みの正／負の方向が一定である。また、１つの象限内では、主走査方向と副走査方向のそれぞれにおいて、正／負のどちらか一方向のみの歪みしか発生しない（あるいは歪みがない）。例えば、同図における第１象限内の全ての点では、ｘ方向、ｙ方向のいずれについても、負の方向にのみ歪みが発生している。そのため、副走査方向については、各象限ごとに正／負のどちらか一方向について歪み補正を行うためのラインバッファ１０があればよい。

しかし、上述した従来の技術は、各象限内において、主走査方向と副走査方向のそれぞれの歪みの方向が、正／負のどちらか一方向のみであるという前提が成立するときに適応可能な技術である。よって、従来の技術では、これらの前提が成立しない場合、高精度な歪み補正を行うことができない。例えば、ステレオカメラでは、レンズの設計値としてのディストーションや製造誤差、個体差などのほか、レンズと撮像素子の位置関係による歪みや、２つのカメラ間の相対位置によるずれなどによって、歪みを補正する方向や補正量が変わってくる。このような場合には、４つの象限の境界において、歪みの正／負の方向が逆転する、また、同一ライン上の同一象限内であっても、歪みの正／負の方向がどちらか一方に定まらないなどの状況が生じる。そのため、従来の技術のような、４分割された各象限に基づき決定したラインバッファ１０のライン数では、正確な歪み補正を行うことができない。

そこで、本実施形態に係る画像処理機能では、バッファリングされた画像データをラインバッファ１０から出力する速度を、画像データをラインバッファ１０に入力する速度より速くする仕組みとした。

これにより、本実施形態に係る画像処理機能は、出力した画像データのバッファリング領域を、入力速度より速く解放し、解放したバッファリング領域を次の入力に利用することで、ラインバッファ１０のライン数を削減可能な環境を提供する。その結果、本実施形態に係る画像処理装置１００は、高精度な画像処理を安価に実現できる。

まず、本実施形態に係るラインバッファ１０の使用方法について説明する。図４は、ラインバッファ１０の使用方法例を示す図である。図４（ａ）には、画面上における歪み補正前の入力画像と歪み補正後の出力画像との関係が示されている。また、図４（ｂ）には、本実施形態に係るラインバッファ１０の使用方法が示されている。

図４（ａ）に示すように、画面上部に位置する歪みは、画面の座標空間において上方向へ引き伸ばすように座標変換を行うこと（座標変換元から座標変換先へ座標を移動すること）で補正される。また、画面下部の歪みは、画面の座標空間において下方向へ引き伸ばすように座標変換を行うことで補正される。

このことから、本実施形態では、図４（ｂ）に示すように、画面上部の場合、上方向への座標変換のみに、画面下部の場合、下方向への座標変換のみにラインバッファ１０を使用する方式を採用する。これに対して、従来では、上下方向の両方に対応するラインバッファ１０を備えていた。よって、本実施形態の使用方法では、従来の使用方法に比べて、ラインバッファ１０のライン数を半減することができる。

また、本実施形態では、図４（ｂ）に示すように、レンズ特性によって歪みを補正する方向が変化することを考慮したラインバッファ１０を備える。具体的には、ラインバッファ１０は、画面上部の上方向への座標変換のみに使用する場合であっても、下方向へも座標変換ができるように数ライン分の余裕を持っている。同様に、ラインバッファ１０は、画面下部の下方向への座標変換のみに使用する場合であっても、上方向へも座標変換ができるように数ライン分の余裕を持っている。

以下に、本実施形態に係る画像処理機能の構成とその動作について説明する。なお、本実施形態に係る画像処理機能は、画像データの読み出しを遅延させる出力同期信号の生成処理を行う読み出しタイミング生成部１３により実現される機能である。

図５は、本実施形態に係る読み出しタイミング生成部１３の構成例を示す図である。図５には、ステレオカメラに対応する読み出しタイミング生成部１３の構成例が示されている。図５に示すように、本実施形態に係る読み出しタイミング生成部１３は、出力同期信号生成部１３１などを有している。

出力同期信号生成部１３１は、画像データの読み出しを遅延させる出力同期信号を生成する機能部である。つまり、出力同期信号生成部１３１は、バッファリングされた画像データのラインバッファ１０からの出力を遅延させる出力同期信号を生成する。このとき出力同期信号生成部１３１は、バッファリングされた画像データをラインバッファ１０から出力する速度が、画像データをラインバッファ１０に入力する速度より速くなる出力同期信号を生成する。

図６は、本実施形態に係るラインバッファ１０の入出力動作例（その１）を示す図である。図６には、縦軸を［ライン番号］、横軸を［時間］とするグラフにより、ラインバッファ１０の入出力動作が示されている。また、図６（ａ）には、従来のラインバッファ１０の入出力動作、一方、図６（ｂ）には、本実施形態に係るラインバッファ１０の入出力動作が示されている。

図６（ａ）に示すように、従来の出力同期信号生成部１３１は、ラインバッファ１０への入力が開始されてから、所定時間の［Ｔ１］を経過した後に（所定時間遅延させて）、ラインバッファ１０からの出力が開始されるように、出力同期信号を生成している。なお、所定時間の［Ｔ１］は、予め決められた時間である。その後、従来の出力同期信号生成部１３１は、最終ラインまで、ラインバッファ１０への入力速度とラインバッファ１０からの出力速度が同一となる出力同期信号を生成している。よって、従来では、ラインバッファ１０から画像データの出力が開始されても、常に一定量の画像データがバッファリングされている。

これに対して、本実施形態に係る出力同期信号生成部１３１は、図６（ｂ）に示すように、ラインバッファ１０への入力が開始されてから、所定時間の［Ｔ２］を経過した後に、ラインバッファ１０からの出力が開始されるように、出力同期信号を生成する。その後、本実施形態に係る出力同期信号生成部１３１は、最終ラインまでの間に、ラインバッファ１０からの出力速度が、ラインバッファ１０への入力速度より速くなる出力同期信号を生成する。

このとき出力同期信号生成部１３１は、図７に示すような動作により、ラインバッファ１０からの出力速度が、ラインバッファ１０への入力速度より速くなる出力同期信号を生成する。

図７は、本実施形態に係る出力同期信号生成部１３１の動作例を示す図である。図７には、ラインバッファ１０へのライン単位（１ラインごと）の入力動作と出力動作の例が示されている。図７に示すように、本実施形態に係る出力同期信号生成部１３１は、入力側の水平ブランキング期間（水平帰線期間：Ｈブランク）よりも短い水平ブランキング期間の同期信号を、出力側の水平ブランキング期間の同期信号（出力同期信号）として生成する。つまり、本実施形態に係る出力同期信号生成部１３１は、出力側の水平ブランキング期間が、入力側の水平ブランキング期間よりも短い水平ブランキング期間となる出力同期信号を生成する。

また、本実施形態に係る出力同期信号生成部１３１は、入力同期信号を所定時間の［Ｔ２］だけ遅延させた信号に基づき、出力同期信号を生成する。その結果、本実施形態では、ラインバッファ１０への入力タイミングとラインバッファ１０からの出力タイミングに、逐次ずれが発生する。また、ラインバッファ１０への入力タイミングとラインバッファ１０からの出力タイミングのずれ量は、時間経過とともに（画面上部から画面下部に向かっていくたびに）、少なくなっていく（ずれ量Ａ＞ずれ量Ｂ）。

なお、本実施形態では、ラインバッファ１０からの出力開始を遅延させる所定時間（以下「初期遅延量」という）と出力側の水平ブランキング期間は、撮像装置１３０が備えるレンズの歪み量に基づき算出する。

このように、本実施形態に係る画像処理機能は、レンズの歪み量に基づく初期遅延量を設定し、出力側の水平ブランキング期間を変える簡易なハードウェアロジック（ハードウェアの実装）により、目的とする機能を実現する。

本実施形態に係る画像処理機能では、初期遅延量の時間分、ラインバッファ１０へ入力された画像データの出力が開始され、最終ライン入力時には、直前にラインバッファ１０へ入力された画像データが出力される。これにより、本実施形態に係る画像処理機能では、出力した画像データのバッファリング領域が、入力速度より速く解放され、解放されたバッファリング領域を次の入力に利用することができる。その結果、本実施形態に係る画像処理機能では、従来のように、画面上部の上方向への座標変換と画面下部の下方向への座標変換の両方を考慮したライン数を有するラインバッファ１０を備える必要がない。本実施形態に係る画像処理機能では、上述したバッファリング領域の解放により、画面上部の上方向への座標変換のみに、また、画面下部の下方向への座標変換のみにラインバッファ１０を使用することができ、ラインバッファ１０のライン数を削減できる。

例えば、入力側の水平ブランキング期間が８０２クロックの場合には、出力側の水平ブランキング期間を６６９クロック、初期遅延量を２５．６５ライン分の時間に設定すれば、ラインバッファ１０のライン数を１１０ラインから６２ラインにまで削減できる。

なお、ラインバッファ１０からの出力速度を、ラインバッファ１０への入力速度より速くする方法は、入力側の水平ブランキング期間より出力側の水平ブランキング期間を短くする方法だけではない。例えば、入力側のクロック（入力画像のピクセルクロック）よりも出力側のクロック（出力画像のピクセルクロック）を高くする方法であってもよい。この場合、出力同期信号生成部１３１は、入力側のクロックより高くした出力側のクロックに基づき、出力同期信号を生成する。

ここで、限られたラインバッファ１０を有効に使用するための方法について提案する。図４（ｂ）に示したように、本実施形態に係るラインバッファ１０は、次のような特徴を有している。ラインバッファ１０は、画面上部の上方向への座標変換のみに使用する場合であっても、下方向へも座標変換ができるように数ライン分の余裕を持っている。同様に、ラインバッファ１０は、画面下部の下方向への座標変換のみに使用する場合であっても、上方向へも座標変換ができるように数ライン分の余裕を持っている。

図８は、本実施形態に係るラインバッファ１０の入出力動作例（その２）を示す図である。図８には、上記特徴を有するラインバッファ１０を有効に使用するための入出力動作が示されている。図８に示すように、上記特徴を有するラインバッファ１０を有効に使用するためには、初期遅延量を理想値［Ｔ２］よりも少し短い値［Ｔ３］するとよい。また、出力側の水平ブランキング期間も理想値よりも少し長くし、最終ラインにおいて、ラインバッファ１０への入力が終了してから、所定時間の［Ｔ４］だけ遅延させて、ラインバッファ１０からの出力が終了するようにするとよい。この方法は、実際の画像処理において行われるレンズの歪み補正以外の補正を考慮し、初期遅延量と出力側の水平ブランキング期間に、ある程度の余裕を持たせることが望ましいからである。

以上のように、本実施形態に係る画像処理機能は、上記構成により、出力した画像データのバッファリング領域を、入力速度より速く解放し、解放したバッファリング領域を次の入力に利用でき、ラインバッファ１０のライン数を削減することができる。

図５の説明に戻る。なお、本実施形態では、ステレオカメラを例に説明を行っている。よって、出力同期信号生成部１３１は、撮像装置１３０に対応する２つの入力系統（複数の入力画像）からの入力同期信号に対して、１つの出力同期信号を生成する。

＜まとめ＞
以上のように、本実施形態に係る画像処理装置１００によれば、読み出しタイミング生成部１３が、バッファリングされた画像データをラインバッファ１０から出力する速度が、画像データをラインバッファ１０に入力する速度より速くなる出力同期信号を生成する。より具体的には、読み出しタイミング生成部１３が、入力側の水平ブランキング期間よりも短い水平ブランキング期間の同期信号を、出力側の水平ブランキング期間の同期信号（出力同期信号）として生成する。また、読み出しタイミング生成部１３が、入力同期信号を所定時間の［Ｔ２］だけ遅延させた信号に基づき、出力同期信号を生成する。

これによって、本実施形態に係る画像処理装置１００は、出力した画像データのバッファリング領域を、入力速度より速く解放し、解放したバッファリング領域を次の入力に利用することで、ラインバッファ１０のライン数を削減可能な環境を提供する。その結果、本実施形態に係る画像処理装置１００は、レンズの歪み量に基づく初期遅延量を設定し、出力側の水平ブランキング期間を変える簡易なハードウェアロジックにより、高精度な画像処理を安価に実現できる。

なお、上記実施形態では、画像処理装置１００がインターポレータ１７を備える構成例について説明を行ったが、この限りでない。インターポレータ１７は、画像の高画質化に必要な機能である。よって、画像の高画質化が必要でない場合には、画像処理装置１００がインターポレータ１７を備える必要がない。この場合、画像処理装置１００は、例えば、小数点以下を四捨五入した座標の画素をラインバッファ１０から読み込み、出力画像データとして出力すればよい。

以下に、本実施形態に係る画像処理装置１００の変形例について説明する。なお、以下の変形例の説明では、本実施形態と同じ点について、同一の参照符号を付し、その説明を省略する。

［変形例１］
上記実施形態では、ステレオカメラを例に説明を行ったが、この限りでない。例えば、撮像装置１３０を単体で備える画像処理システム１０００であってもよい。

図９は、本変形例１に係る画像処理装置１００の構成例を示す図である。図９には、撮像装置１３０を単体で備える画像処理システム１０００が備える画像処理装置１００の構成例が示されている。本変形例１に係る画像処理装置１００は、ラインバッファ１０、書き込みアドレス計算部１１、及びインターポレータ１７を単体で備える。

図１０は、本変形例１に係る読み出しタイミング生成部１３の構成例を示す図である。図１０には、１つの入力系統に対応する画像処理装置１００が有する読み出しタイミング生成部１３の構成例が示されている。図１０に示すように、変形例１に係る読み出しタイミング生成部１３は、撮像装置１３０に対応する１つの入力系統からの入力同期信号に対して、１つの出力同期信号を生成する出力同期信号生成部１３１を有する。

このように、撮像装置１３０を単体で備える画像処理システム１０００の場合には、１つの入力系統に対応する構成であればよい。

最後に、上記実施形態に挙げた形状や構成に、その他の要素との組み合わせなど、ここで示した要件に、本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１３読み出しタイミング生成部
１３１出力同期信号生成部
１００画像処理装置
１０００画像処理システム

特許第４７９１３９９号公報

Claims

入力された画像データを一時保持する記憶部と、
前記記憶部に前記画像データを書き込む間、前記画像データの出力を遅延させる出力同期信号を、入力同期信号に基づき生成する生成部と、を備え、
前記生成部は、
前記画像データを前記記憶部から出力する速度が、前記画像データを前記記憶部に入力する速度より速くなる前記出力同期信号を生成することを特徴とする画像処理装置。
前記生成部は、
出力側の水平ブランキング期間が、入力側の水平ブランキング期間よりも短い水平ブランキング期間となる前記出力同期信号を生成することを特徴とする請求項１に記載の画像処理装置。
前記出力側の水平ブランキング期間は、
入力画像を撮像したレンズの歪み量に基づき算出することを特徴とする請求項２に記載の画像処理装置。
前記生成部は、
前記入力同期信号を所定時間遅延させた信号に基づき、前記出力同期信号を生成することを特徴とする請求項１に記載の画像処理装置。
前記入力同期信号を所定時間遅延させる遅延量は、
入力画像を撮像したレンズの歪み量に基づき算出することを特徴とする請求項４に記載の画像処理装置。
前記生成部は、
入力画像のピクセルクロックより高いピクセルクロックに基づき、前記出力同期信号を生成することを特徴とする請求項１に記載の画像処理装置。
前記生成部は、
ハードウェアの実装により実現することを特徴とする請求項１に記載の画像処理装置。