JP2015167374A - 画像変換システム - Google Patents
画像変換システム Download PDFInfo
- Publication number
- JP2015167374A JP2015167374A JP2015084521A JP2015084521A JP2015167374A JP 2015167374 A JP2015167374 A JP 2015167374A JP 2015084521 A JP2015084521 A JP 2015084521A JP 2015084521 A JP2015084521 A JP 2015084521A JP 2015167374 A JP2015167374 A JP 2015167374A
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion
- image conversion
- input
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 278
- 230000015654 memory Effects 0.000 claims abstract description 54
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 32
- 238000012545 processing Methods 0.000 description 46
- 238000000034 method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
【課題】撮像手段から入力された映像データを記憶媒体に一旦全て保存することなく複数の変換結果を出力することが可能な画像変換を可能とする手段を提供することにある。【解決手段】複数のラインを持つ単一のラインメモリ1003を映像変換手段による読み出し用途と、撮像手段からの画像データの入力用途に役割を入れ替えながら使用する。画像変換手段は、ラインメモリ1003上の入力画像を取得し命令デコーダ1006によって解釈された変換指定手段1009に基づき入力画像の変換を行う。【選択図】図1
Description
本発明は、画像変換装置及び画像処理方法、特に撮像手段から取得された画像データに対して様々な変換画像を高速に取得する事に関する。
近年、複数の画像入力装置を搭載した車載システムが広まりつつある。例えば、自動車の前後左右に一つずつカメラを設置し、周辺の環境全てを映像でドライバーたる使用者に提示する事で運転時の安全性を高めるものがある。
このようなシステムにおいては、使用者に対してより分かりやすい画像を表示するため、疑似的な視点から見た画像(例えば車両の上部から俯瞰したような映像)を生成することがある。この際、それぞれの入力画像に対して疑似的な視点から見た画像になるように変換処理をかける必要がある。
また、俯瞰変換の様な画像だけでなく、画像処理を容易にする為にレンズの歪みを補正した画像も求められる。この場合も前処理として画像に変換を施す必要がある。この様に用途に応じた変換画像を取得する事がニーズとして求められている。用途は一つであるとは限らず、例えば一つの入力映像からユーザに見せるための俯瞰画像と、画像処理をする為の歪み補正画像を取る事が求められる。
変換画像を取得する構成として例えば特開2003−333588号公報(特許文献1)に見られるように、撮像装置と補正手段と記憶媒体がバスを介して繋がっている構成が考えられる。
また、特開2001−145012号公報(特許文献2)や特開2007−114923号公報(特許文献3)では、撮像装置と補正手段の中間に少量のバッファを設けて、映像入力から画像変換までの処理時間を短縮する工夫がなされている。
しかし、自動車の運転中には検知遅れが発生することで、事故につながる可能性がある場合も多い。従って、自動車に搭載するような画像処理装置では、障害物検知の様にリアルタイム性が求められるものがある。
特許文献1記載の技術では、一旦撮像装置から入力された画像データはバスを介して記憶媒体に保存され、その画像データを画像変換装置にて変換する構成を取っている。この構成では画像データの転送が撮像装置から記憶媒体、記憶媒体から画像変換装置、画像変換装置から記憶媒体の合計3回発生し、バスの負荷が大きくなる問題がある。また、一旦1フレーム分の画像データを記憶媒体に保存した後に画像変換装置によって起動する為、撮像装置で画像を取得し、画像変換装置によって画像変換するまでの処理時間がかかる。
特許文献2及び特許文献3記載の技術では、撮像装置と画像変換装置の間に少量のバッファが設けられ、撮像装置から入って来たデータが順次画像変換装置に入力される。これによって、特許文献1の撮像装置から記憶媒体、記憶媒体から画像変換装置間のデータ転送が無くなり、バスの負荷を低減でき、かつ画像入力から画像変換までの処理時間も短縮される。しかし、一つの入力画像から一度に複数の画像を出力したり、画像変換の途中で変換装置の設定を変えたりする柔軟な変換を行う事ができない。
本発明の目的は、撮像手段から入力された映像データを記憶媒体に一旦全て保存することなく複数の変換結果を出力することが可能な画像変換を可能とする手段を提供することにある。
本発明の前記並びにその他の目的と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。
本発明の代表的な実施の形態に関わる画像変換装置は、入力画像を取得する画像入力手段と、動作を規定する2以上の命令によって画像変換に関わる動作を実行することが可能な画像変換手段と、画像入力手段と画像変換手段との間でのデータの送受に用いられるラインメモリと、画像入力手段によってラインメモリ上に取得された入力画像データと変換後の画像データとの対応関係が記述された変換指定手段と、を含み、変換指定手段は、命令を組み合わせることによって記述され、それらの命令を解釈することで、画像変換手段の動作や出力先を指定又は動作途中で変更可能なことを特徴とする。
これらの画像変換装置において、画像変換手段はラインメモリ上の入力画像データに対して複数の画像を生成することが可能なことを特徴としても良い。
これらの画像変換装置において、更に同期手段を有し、ラインメモリに入力される画像データの入力待ちを指定することが可能な待機命令が動作を規定する2以上の命令の一命令として存在し、待機命令に従って同期手段はラインメモリへの画像入力と、画像変換手段との同期を取ることを特徴としても良い。
これらの画像変換装置において、画像変換手段はラインメモリ上の任意の位置から入力画像データを読み出すことが可能であることを特徴としても良い。
これらの画像変換装置において、変換指定手段は汎用の記憶媒体上に2種以上が配置され、汎用の記憶媒体上の2種以上の変換指定手段のうち1を用いるよう選択可能なことを特徴としても良い。
これらの画像変換装置において、変換指定手段は汎用演算器によって書き換え可能なことを特徴としても良い。
これらの画像変換装置において、更に映像表示手段を含み、一つの映像入力に対しての複数の変換後データを映像表示手段より出力可能なことを特徴としても良い。
これらの画像変換装置において、変換指定手段は入力画像データの1の領域及び変換結果の1の領域との対応を三角形パッチによって記述し、入力側の2以上の三角形パッチの底辺をそろえて短冊状にし、変換結果の2以上の三角形パッチを可変形状とすることを特徴としても良い。
本発明の代表的な実施の形態に関わる画像変換システムは、画像入力手段と、画像変換手段と、ラインメモリと、を含む画像変換装置を2以上含み、2以上の画像変換装置は同期を取りながら同じ記憶媒体上に変換結果を出力することを特徴とする。
本発明の代表的な実施の形態に関わる画像変換システムは、画像入力手段と、画像変換手段と、ラインメモリと、を含む画像変換装置を2以上含み、該画像変換システムは更に映像表示手段を含み、2以上の画像変換装置は同期を取りながら映像表示手段上に変換結果を出力することを特徴としても良い。
本発明に関わる画像変換装置を用いる事で、小さい量のラインメモリで柔軟な変換を行うことが可能となる。
また、本発明に関わる画像変換装置を用いる事で、様々な変換画像を高速に取得することが可能となる。
また、本発明に関わる画像変換装置を複数組み合わせることで、画像出力に対して多様な応用を行うことが可能となる。
以下の実施の形態においては、便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明する。しかし、特に明示した場合を除き、それは互いに無関係なものではなく、一方は他方の一部又は全部の変形例、詳細、補足説明などの関係にある。また、以下の実施の形態において、要素の数など(個数、数値、量、範囲などを含む)に言及する場合、特に明示した場合及び原理的に明らかに特定の数に限定される場合などを除き、その特定の数に限定されるものでなく、特定の数以上でも以下でも良い。
以下、図を用いて本発明の実施の形態を説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態に関わる画像変換装置1001の使用環境を表すブロック図である。
図1は、本発明の第1の実施の形態に関わる画像変換装置1001の使用環境を表すブロック図である。
画像変換装置1001にはビデオI/Fを介して、カメラ等の撮像手段1002が接続されている。
撮像手段1002は撮影により得られたデジタル画像データをライン毎に画像変換装置1001に出力する画像入力手段である。静止画や動画、赤外線画像、温度分布画像など、取得する画像の性質は問わない。出力する画像を取得するのに最も適した入力画像を取得できれば良い。
画像変換装置1001の内部構成は、ラインメモリ1003、画像変換処理部1004、バッファ1005、命令デコーダ1006を含んで構成される。
ラインメモリ1003は数本〜数十本のラインデータを保存する容量を持つRAMなどの記憶媒体である。
画像変換処理部1004は、ラインメモリ1003に格納された任意位置のデータを読み出し、命令デコーダ1006経由で汎用演算手段1010により指定された手段で画像データの変換を行う。画像変換処理部1004は、変換後の画像データを後段のバッファ1005に対して出力する。
バッファ1005は、バス1008を経由して外部に変換後の画像データを出力する際に、データの一次記憶用に用いられるRAMなどの記憶媒体である。変換後の画像データはバッファ1005の適切な位置に格納され、後述する記憶媒体1007や映像表示手段1011に出力される。
命令デコーダ1006は、バス1008経由で通知される変換命令をデコードし、その変換内容を画像変換処理部1004に伝達するデコーダ回路である。
バス1008は、画像変換装置1001と画像変換装置1001外部とを接続するための汎用バスである。
画像変換装置1001は、バス1008を介して、記憶媒体1007、汎用演算手段1010、映像表示手段1011と接続されている。
記憶媒体1007は、汎用演算手段1010が動作するためのプログラムのほか、本発明に関わる変換指定手段1009が記憶されている不揮発性もしくは/及び揮発性の記憶媒体である。なお、変換指定手段1009は、汎用の記憶媒体1007に保存されているため、汎用演算手段1010、映像表示手段1011などからもデータを読み書きすることが可能である。
変換指定手段1009は、入力画像と出力画像の対応関係を記述したもの(命令セット)である。本実施の形態では、三角形パッチに基づいた変換指定を用いることを想定する。これは、画像を細かい三角形の小領域に区分して、変換元画像と変換前画像のそれぞれの頂点の対応関係を記述したものである。変換指定手段1009はラインメモリ上の一つの変換元頂点(三角形パッチ)に対して複数の変換先頂点(三角形パッチ)を指定する事が可能である。
汎用演算手段1010は、CPUなどの中央処理装置を想定する。
映像表示手段1011は、フラットパネルディスプレイ、ヘッドアップディスプレイ等の映像表示手段である。ここでは、画像変換装置1001による変換後の映像を出力することも想定されている。
次に、この図1に基づき、どのような処理がなされているかを説明する。
画像変換処理部1004が変換に必要な変換前の画像データがラインメモリ1003に蓄積されたことを検知すると、画像変換処理部1004はこの変換前の画像データを読み込み、画像変換を開始する。ここで言う「画像変換」とは、図2のような変換処理を指す。
図2は、本発明に関わる入力画像、歪み補正画像及び補正画像を示す概念図である。本図(A)は撮像手段1002によって得られたそのままの画像データである。本図(B)は、撮像手段1002のレンズ歪み補正後の変換画像、本図(C)は上空に視点を持つ第三者視点による俯瞰に基づく変換画像である。
これらの(A)から(B)、への変換は変換指定手段1009に規定された命令を命令デコーダ1006に送ることで指定される。
命令デコーダ1006は、この記憶媒体1007に記録された変換指定手段1009を受領する。この際、汎用演算手段1010が変換指定手段1009の適切な命令を読み出し、命令デコーダ1006に出力する。命令デコーダ1006は受け取った命令をデコードし、画像変換処理部1004に出力する。画像変換処理部1004は、デコードされた命令に基づき変換処理を実行することとなる。
次に、本実施の形態の一例として三角形パッチによる画像変換について説明する。図3は三角形パッチによる変換の基本例を表す概念図である。同図(A)は画像変換処理部1004への入力画像を示す。また同図(B)は画像変換処理部1004からの出力画像を示す。
入力画像(A)には二つの三角形パッチ3002、3003が存在する。三角形パッチ3002の頂点は頂点3004、3006、3007から構成される。また、三角形パッチ3003の頂点は頂点3004、3005、3006から構成される。
これらの二つの三角形パッチ3002、3003は、画像変換処理部1004にて出力画像(B)の三角形パッチ3009、3010に変換される。
頂点の対応は、入力画像の頂点3004−3007が出力画像の頂点3011−3014に対応する。
このような三角形パッチを用いて様々な変換を行う。図4は、三角形パッチを用いた変換の例を表す概念図である。この図においては1つの入力画像4001を2つの変換方式で異なる出力画像を得ることを考える。なお、本図から図7に示す入出力画像は破線による短冊状に区切っている。この一つの短冊が画像上の一つのラインデータを示す。
出力画像4003は樽型の歪みを持つレンズを用いて入力画像4001の画像の歪みを補正する変換を想定している。一方、出力画像4005は、入力画像4001の縦方向の長さ(=高さ)を2分の1にして出力する処理である。
「樽型の歪み」とは、例えば図2の画像(A)に示すような、画像中心から外側に行くほど樽状に膨らんだ歪みのこと言う。
まず、入力画像4001を仮定し、図のように三角形のパッチで入力画像を区切る。それぞれの三角形パッチの頂点を変換し、樽型の歪みを補正するように新たな三角形パッチを仮想上の出力画像4003に形成する。入力画像上の三角形パッチ(ここでは入力画像4001の三角形パッチ4002)と出力画像上の三角形パッチ(ここでは出力画像4003の三角形パッチ4004)は一対一に対応する。
この例は、1つの入力画像に対して、1つの出力画像を形成するような変換である。しかし、1つの入力画像から2以上の出力画像を変換することも考えられる。図4では、出力画像4003とあわせて、出力画像4005も記載している。これは上述の1の入力画像から2以上の出力画像を得ることを想定したものである。この際入力画像4001の三角形パッチ4002と、出力画像4003の三角形パッチ4004、出力画像4005の三角形パッチ4006が対応する。
このように1つの入力画像から2以上の出力画像を変換する場合には、変換指定手段内には1対多の三角形パッチの変換の対応も記述する必要がある。
図5は、変換指定手段1009の三角形パッチの記述についての一例である。
三角形パッチ間の対応は、TRIANGLEコマンド5001で指定する。図5の5001行から5007行までは、この対応関係の指定する記述である。5002行、5004行、5006行は入力画像(SRC)の座標を指定している。一方、5003行、5005行、5007行は、出力画像(DST)の座標を表す。図中のx#、y#(#は1以上の整数)がそれぞれ一つの頂点座標を表す。#が等しい行がペアを示す。
このTRIANGLEコマンド及び頂点の指定を繰り返すことで変換を記述する。ただし、三角形パッチの記述方法はこの限りではない。
例えば連続する三角形パッチは図3のように2つの頂点座標を共有する場合もある。従って、このような場合、この重複部分の冗長性を省くような命令形態にすることが望ましい。
図6は、図4の変換の一部を省略する形で記載した三角形パッチの記述についての一例である。また、図7は図6の三角形パッチの記述が図4のどこについてのものかを表す図である。
図6の三角形パッチの記述は、図7の変換対象7001(入力画像4001の範囲)から被変換対象7002(出力画像4003の範囲)、被変換対象7003(出力画像4005の範囲)への変換が該当する。
この三角形パッチの記述では、3頂点の対応(図5の5002−5007行)は三点リーダで省略して記載している。
図7の変換では、三角形パッチが変換対象7001中には8つの三角形パッチが含まれる。従って、図6の三角形パッチの記述では、これらの8つの三角形パッチに対応する記述が必要である。このため、TRIANGLEコマンドは8つ必要となる。図6でも8つのTRIANGLEコマンドが存在する(図6中の6002)。
図6末尾にはSYNCコマンドが記載されている。このコマンドは、映像入力が別途指定のライン数が入力されるまで画像変換処理部1004を待機させるコマンドである。SYNCコマンドが待つライン数は予め定義しておくか、SYNCコマンド毎に個別に設定する方法が考えられる。ただし、この図6ではSYNCコマンドが待つライン数は定数とする。
このSYNCコマンドが待つライン数を以下READ_LINESと記載する。SYNCコマンドは、直前のSYNCコマンドが発行された時点でのラインにREAD_LINESを加えたラインの映像入力が終わるまで画像変換処理部1004の処理を待機させる。
言い換えれば、READ_LINESの値だけライン入力が終わるまで、SYNCコマンドの次のコマンドは実行されない。
TRIANGLEコマンドとSYNCコマンドの他に、変換指定手段1009中には1フレームの入力が終わったことを検知するSYNCFコマンド、読み込みライン数指定手段等の様な画像変換手段の設定値を変更するWRITEコマンド、汎用演算手段に割り込みを通知するINTコマンド、変換指定の終了を示すENDコマンドを有する。
これらの変換指定手段1009の命令群によって本実施例の画像変換装置は柔軟な使用方法を可能としている。
これらの変換指定手段1009の命令群は、命令デコーダ1006によって解釈される。また、画像変換処理部1004に解釈された内容が反映される。
図8は画像変換処理部1004の詳細を表す図である。これを用いてSYNCコマンド、TRIANGLEコマンドの座標の管理を実現する構成を説明する。
この画像変換処理部1004は、同期制御手段8000、ラインメモリアドレス生成手段8005、出力画像オフセット指定手段8006、変換リスト指定手段8007、変換モード指定手段8008、パッチ変換部8009を含んで構成される。また、同期制御手段8000は、読込ライン数指定手段8001、初期読込ライン数指定手段8002、ライン入力数カウンタ8003、次同期待機ライン指定手段8004を含む。
読込ライン数指定手段8001は、READ_LINESを指定するモジュールである。
初期読込ライン数指定手段8002は、映像入力開始から何ラインの入力を待つかを指定するモジュールである。
同期制御手段8000は、これらの情報を利用してラインメモリと画像変換手段との同期を取る。この際に、ライン入力数カウンタ8003と次同期待機ライン指定手段8004を持つ。
このライン入力数カウンタ8003は、撮像手段1002から垂直同期信号等を受け取る等して入力済みのライン数を保持する機能を持つ。
次同期待機ライン指定手段8004は、次のSYNC命令が発行される際に待機すべきラインを保持するバッファモジュールである。この次同期待機ライン指定手段8004の初期値は、初期読込ライン数指定手段8002で指定された値を用いる。SYNC命令が発行されると、ライン入力数カウンタ8003と次同期待機ライン指定手段8004とを比較して、ライン入力数カウンタ8003が次同期待機ライン指定手段8004で指定されるラインに到達するまで画像変換処理部1004の処理を待機する。
両者の値が等しくなると画像変換処理部1004の処理を再開する。変換指定手段で言い換えるとSYNC命令の次の命令を実行する。ここで、画像変換手段内に同期手段を設けたが、これらの分配は本実施例に制限されるものではない。例えば、画像変換手段の外に同期指定手段を保持する構成も考えられる。
TRIANGLEコマンドに記述してあるSRC頂点座標は先述したとおり、仮想の入力画像の頂点座標である。このため、画像変換装置はその座標を一旦ラインメモリ上での座標に変換する必要がある。
この変換には、例えば、ライン入力数カウンタ8003を見て、座標とラインメモリ1003上のアドレスの整合性を取ればよい。ラインメモリアドレス生成手段8005は、これらの処理の管理を行う。
このような座標変換の手段を内部に持つことで、外装値のユーザはラインメモリ1003でのアドレスを気にすることなく変換指定手段の記述をすることが可能となる。
その様に変換された入力側の頂点座標を用いてラインメモリ1003上から、画像変換手段内のパッチ変換部8009に三角形パッチ内の画像を読み出し、変換を行う。出力側に関してもTRIANGLE命令に記述されたDST座標は出力先のメモリ空間上のアドレスを指すわけではないため、その座標にアドレスオフセットを加算する必要がある。出力画像オフセット指定手段8006は、そのオフセットを管理する手段である。
このようにして、画像変換手段は出力先の画像アドレスを管理する。
変換リスト指定手段8007は、変換リストの記憶媒体上のアドレスを保持し、命令デコーダが読み込む変換リストを指定する。変換リスト指定手段8007の初期値は汎用演算装置などを用いて設定する。
上述した変換指定手段1009のコマンド群を用いて図4及び図7に示した様に一つの画像を複数の画像に変換する変換リストについて図9を用いて説明する。
図9は一つの入力画像を複数の出力画像に変換する変換リスト11001についての概念図である。この変換リスト11001を用いて、以下実際の変換の流れを説明する。なお、ラインメモリ1003の本数はここでは10本を想定する。ただし、この本数に限られるものではない。
変換リスト指定手段8007に変換リスト11001の記憶媒体上のアドレスを設定し、画像変換処理部1004が変換命令をそのアドレスから読み出せるようにする。読込ライン数指定手段8001、初期読込ライン数指定手段8002、に設定する値を3、5とする。
図9a行、b行はこれらの初期設定を行うコマンドである。a行は読込ライン数指定手段8001に対する初期値の設定のWRITEコマンドである。また、b行は初期読込ライン数指定手段8002、に対する初期値の設定のためのWRITEコマンドである。なお、図上では便宜上8001、8002のように本明細書添付の図上の番号を用いているが、これを記載し易いように名称を付しても問題は無い。
この状態で画像変換手段の起動をかけると、画像変換手段は変換リスト指定手段8007で指定されたアドレスから自律的に変換リスト11001を読み出し、命令デコーダ1006で命令を解釈、実行する。
図9a行、b行の2つのWRITEコマンドで読込ライン数指定手段8001、初期読込ライン数指定手段8002に設定値が反映され、次のSYNC命令で画像変換処理部1004は待機状態となる。
ここでラインメモリ1003について概略を説明する。図10はラインメモリ1003の概略説明図である。
既述の通り、ラインメモリ1003は10本のラインを有している。この図10では、各ラインに9001ないし9010の番号を振っている。
撮像手段1002からラインメモリ1003上に、図9b行で指定したライン数分だけ入力を行う(ステップS9011)。ステップS9011の処理が終わると、同期制御手段8000は、それを上述の構成によって検知し、画像変換処理部1004の処理を再開する。この図の例でも、ライン9001からライン9005までの5行に画像のラインデータが入力済みとなっている。
同期が通達されると、変換リスト11001の次のコマンド群11002の処理を実行する。このコマンド群11002は図7の変換対象7001から被変換対象7002への変換を記述したものである。このコマンド群11002では、8つ必要なTRIANGLEコマンドを三点リーダで便宜上省略している。
このコマンド群11002の最初のWRITEコマンドで、出力画像オフセット指定手段8006に記憶媒体上の出力画像Aの記憶媒体上のアドレスのオフセットDST_Aを書き込み、出力先を指定する。
次に、TRIANGLEコマンドを実行し、三角形パッチの変換を行う。アクセスされるラインメモリは既に画像入力の終わったライン9001乃至9005が対象となる。
対象となるラインメモリはラインメモリアドレス生成手段8005によってTRIANGLEコマンドで指定された座標から変換されているものとする。
このラインメモリ上から読み出された三角形パッチの出力画像データは、パッチ変換部8009で出力画像側の三角形パッチに変換される。出力データは出力画像オフセット指定手段8006で指定されるアドレスオフセットに従ってバッファ(キャッシュ)上に出力される。
このように図6中の6002のTRIANGLE命令の読み込み、デコード、実行を繰り返し、出力を得る。
歪み変換用の8つのTRIANGLEコマンドが終了すると、次はスルー画像用の8つのTRIANGLEコマンドを実行する。これが図9のコマンド群11003に当たり、図7では変換対象7001から被変換対象7003への変換を記述したものである。
まず、WRITEコマンドで出力画像オフセット指定手段8006に記憶媒体上の出力画像Bの記憶媒体上のアドレスのオフセットDST_Bを書き込み、出力先を再指定する。
その後、画像変換手段はSYNCMコマンドにいたるまで、処理を続け再び待ち状態に入る。
この様にして、一つの入力三角形パッチデータから複数の出力三角形パッチデータを同時に取得することが出来る。
使用するライン数が入力側の三角形パッチの縦のサイズ3本より多い5本であるのは、出力側の三角形パッチ作成の際に補間処理として周辺画素を必要とするからである。本実施例では補間処理として線形補間を想定している。図11は線形補間の説明を補助する図である。
線形補間とは、図11のように座標10001が整数で指定されない場合に、その指定座標における画素値を周辺の整数座標10002〜10005における画素値を用いて求める方法である。
以下は補間処理の定義式である。
I (x,y)が求めたい画素値を示し、f(x,y)が参照画像を示す。記号[ ]はガウス記号で[ ]内の値を超えない最大の整数値を返すものである。但し、補間方法は線形補間に限定されず、最近傍法やバイキュービック補間を用いる方法も考えられる。
これらの変換処理が行われている間も、撮像手段からはラインメモリ1003上に画像データが入力され続ける。
入力されるラインは、ライン9006以降である。ライン9008への映像入力が完了すると再び同期制御手段8000がそれを検知し変換指定手段上の次のコマンドを実行する(図10ステップS9012)。なお、この検知ラインが3となるのは読込ライン数指定手段8001に定義された値に基づく。変換リスト6001ではSYNCコマンド以下を省略している。しかし、図7の被変換対象7002(出力画像4003の範囲)、被変換対象7003(出力画像4005の範囲)に続くパッチ群の変換処理を行う。これらの変換指定は図6中の6002同様、16個のTRIANGLEコマンドと一つのSYNCコマンドで指定される。画像変換手段はそれらの歪み変換用のTRIコマンドとスルー画像用のTRIコマンドを実行し、変化結果をバッファに出力した後に、SYNCコマンドで次の3本のラインメモリへの入力が終わるのを待つ。この変換で使用されるラインメモリは9004から9008までの5本である。一方、撮像手段から出力された画像のラインデータは次のライン9009、ライン9010に入力した後に、ライン9001に戻って入力される(図10ステップS9013)。
つまり、ラインメモリ1003はリングバッファとして利用される。
このようにラインメモリは映像変換手段による読み出し用途と、撮像手段からの画像データの入力用途に役割を入れ替えながら使用される。
これらの処理を繰り返し、最終的に一つの画像から同時に2つの画像を求めることが可能となる。
バッファ(キャッシュ)1005のサイズは出力画像を全て保持できるほどには大きくない。そのため、画像変換処理部1004から出力された変換後のデータは、一通り揃った時点で記憶媒体1007中の画像領域1012やディスプレイなどの映像表示手段1011に出力される。バッファ1005は、例えば一般的なキャッシュの様に、TLB(トランスレーション・ルックアサイド・バッファ)を持つことで、小さなサイズのバッファを用いてより大きなサイズの例えば画像領域1012等に出力することを保証する。
本実施の形態では、図7に見られるように入力側の三角形パッチの縦サイズを固定し、横のラインを揃えることで、短冊状に並ぶように制限した。一方、出力側の三角形パッチの形状を可変にした。これは少数のラインメモリを効率的に使用し、必要なラインメモリ数を抑えるためである。
逆に、入力側を可変形状にして出力側を固定形状にすることも考えられる。この形式で入力画像から出力画像への変換を行うと、参照するラインが限定されないため、ラインメモリの幅がより必要になる。一方で、ラインメモリの幅を限定しようとすると、変換の柔軟性が失われる。従って、本実施の形態では、入力側のサイズを固定し、出力側のパッチの形状を任意の形にすることで、最小限のラインメモリ数で柔軟な変換を可能としている。
ただし、変換指定方法はこれに限定されず、用途によって両方を可変形状にする、片側だけを可変形状にする、などその方式は問わない。
また、今回同一の入力三角形パッチから複数の出力三角形パッチを生成する変換を書いたがそれに限定されない。一つの画像変換と、別の画像変換で違う入力三角形パッチを用いても良い。
上述したように、WRITEコマンドで画像変換処理部1004の設定を書き換えることができる。例えば、変換モード指定手段8008で、入力画像をカラー映像として扱うか濃淡画像として扱うか指定できるようにしても良い。このときWRITEコマンドの機能を用いて、モードを切り替えながら、例えば片方の画像はカラー画像を出力し、他方の画像は濃淡画像を高速に出力することが可能である。
また、画像変換処理部1004内にコントラスト調整やノイズ低減の処理モードを指定できる手段があるとする。この場合にWRITEコマンドを用いてコントラスト調整をした画像とノイズ低減をした画像の両方の画像を一つの画像入力から高速に生成することができる。
つまり、本実施の形態では、歪み補正などの画像の形状の変換を例に出したが、画像変換手段の担う役割は、それには限定されないことが分かる。
変換指定手段は、記憶媒体に保存され汎用演算手段によって書き換えが可能である。また、画像変換指定手段は任意の変換指定手段を指定する事が出来る。この二つの特徴により、画像変換装置は状況に合わせた画像変換を省メモリで行う事が出来る。
状況に合わせた画像変換とは例えば、図12に示す様にカメラの視点の位置が順次切り替わる場合が想定できる。図12は、視点変換を順次行う構成を示す概念図である。
この時、二つの変換指定手段(変換リスト)を用意する。そして、片方を画像変換手段が処理している間に、もう片方の記述を汎用演算手段で書き換え実現する方法が考えられる。
従来の方式では、カメラの視点の位置が10個必要だとすると、10回分書き変えながら使う事になる。もし、変換指定手段が固定で変更できないような構成の場合は、変換リストを10個用意する必要がある。さらに視点変換画像とは別の画像を生成する事を考えそれが状況によって10個必要であるとすると、全ての組み合わせで合計100個の変換リストを用意する必要があり、メモリ領域を大きく消費する危険性がある。
本構成はその危険性を避ける構成になっている。
また、本実施の形態では、画像変換装置の各構成要素が一つの構成を示した。しかしこれだけには限られず、画像変換装置1001に接続される撮像手段1002を複数有する、ラインメモリ1003のライン数を増やす、ラインメモリ1003自体を複数持つ、などの対応も可能である。また、画像変換装置1001自体を複数持つ構成も考えられる。
図13は、複数の当該画像変換装置を搭載した画像変換システムの構成例を示すブロック図である。
撮像手段14001には画像変換装置14005が1対1で接続されている。同様に撮像手段14002には画像変換装置14006が、撮像手段14003には画像変換装置14007が、撮像手段14004には画像変換装置14008が接続されている。これらの撮像手段が撮影した入力画像は対応する画像変換手段に入力される。各画像変換装置は変換指定手段14009乃至14012の指定に従って、変換内容が指定される。各画像変換手段は変換指定手段によって指定された変換方式に従って入力画像を変換する。変換後の出力画像は同じメモリ領域の記憶媒体14009や表示装置14011に出力される。
この機構を利用して、全周囲撮影のようなことも可能になる。
図14は、図13の複数の当該画像変換装置を搭載した画像変換システムの構成を用いた周辺表示システムの構成を表す概念図である。
この周辺表示システムは、撮像手段14001乃至14004が四周を見渡すように配置されている。そしてこれらの撮像手段14001乃至14004から得られる画像を俯瞰変換し、それぞれから得られる画像15001乃至15004を結合して一枚の画像として表示するものである。
このシステムを実現するためには、車両後方の撮像手段14004の変換指定手段14012に、同じ入力から同時に2つの画像を生成する命令を持たせる。そして、それ以外の変換指定手段14009乃至14012で撮像手段14001乃至14004の画像を生成する命令を持たせる。そして、出力画像の同期は、変換指定手段に割り込み命令を持たせる事で実現する。この出力画像の出力先を映像表示手段や画像領域に指定する事で本システムを実現する。
このように画像変換手段を複数用いる事で、より多彩な変換を高速に実現することが可能となり、各種応用の可能性が広がる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更が可能であることは言うまでもない。
上記の三角形パッチに基づいた変換指定は例示であり、これには限定されない。適用可能な他の例としては、入力画像の画像座標と出力画像の画像座標の対応を全て記述したマップが他の実現手段として考えられる。
本発明は、入力画像に対して補正を行い出力画像を取得する画像変換手段、及びその応用分野での利用を想定する。しかしそれだけには限られず、明細書本文中で述べたようにコントラスト調整やノイズ低減処理及びそれらの処理をおこなう回路を有する表示装置での実施も可能である。
1001…画像変換装置、1002…撮像手段、1003…ラインメモリ、
1004…画像変換処理部、1005…バッファ、1006…命令デコーダ、
1007…記憶媒体、1008…バス、1010…汎用演算手段、
1011…映像表示手段、
4001…入力画像、4003、4005…出力画像、
8000…同期制御手段、8001…読込ライン数指定手段、
8002…初期読込ライン数指定手段、8003…ライン入力数カウンタ、
8004…次同期待機ライン指定手段、8005…ラインメモリアドレス生成手段、
8006…出力画像オフセット指定手段、8007…変換リスト指定手段、
8008…変換モード指定手段、8009…パッチ変換部、
14001、14002、14003、14004…撮像手段
14005、14006、14007、14008…画像変換装置。
1004…画像変換処理部、1005…バッファ、1006…命令デコーダ、
1007…記憶媒体、1008…バス、1010…汎用演算手段、
1011…映像表示手段、
4001…入力画像、4003、4005…出力画像、
8000…同期制御手段、8001…読込ライン数指定手段、
8002…初期読込ライン数指定手段、8003…ライン入力数カウンタ、
8004…次同期待機ライン指定手段、8005…ラインメモリアドレス生成手段、
8006…出力画像オフセット指定手段、8007…変換リスト指定手段、
8008…変換モード指定手段、8009…パッチ変換部、
14001、14002、14003、14004…撮像手段
14005、14006、14007、14008…画像変換装置。
Claims (5)
- 入力画像データを取得する画像入力手段と、
動作を規定する2以上の命令によって画像変換に関わる動作を実行することが可能な画像変換手段と、
前記画像入力手段と前記画像変換手段との間でのデータの送受に用いられるラインメモリと、
前記画像入力手段によって前記ラインメモリ上に取得された前記入力画像データと変換後の変換後画像データとの対応関係が記述された変換指定手段と、を含む画像変換装置を2以上含む画像変換システムであって、
前記変換指定手段は前記入力画像データの1の領域及び前記変換後画像データの1の領域との対応を三角形パッチによって記述し、入力側の2以上の前記三角形パッチの縦サイズを固定するとともに、底辺を前記ラインメモリの横のラインにそろえて短冊状にし、前記変換後画像データの2以上の前記三角形パッチを可変形状とすることを特徴とする画像変換システム。 - 請求項1に記載の画像変換システムにおいて、
前記2以上の前記画像変換装置は同期を取りながら同じ記憶媒体上に変換結果を出力することを特徴とする画像変換システム。 - 請求項1に記載の画像変換システムにおいて、
前記画像変換システムは、更に映像表示手段を含み、
前記2以上の前記画像変換装置は同期を取りながら前記映像表示手段上に変換結果を出力することを特徴とする画像変換システム。 - 請求項2に記載の画像変換システムにおいて、
前記画像変換システムは、更に映像表示手段を含み、
前記2以上の前記画像変換装置から出力された変換結果を結合して前記映像表示手段より出力可能なことを特徴とする画像変換システム。 - 請求項2乃至4のいずれか1項に記載の画像変換システムにおいて、
前記2以上の前記画像変換装置は、前記変換指定手段に記述された割り込み命令により同期を取ることを特徴とする画像変換システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015084521A JP5959684B2 (ja) | 2015-04-16 | 2015-04-16 | 画像変換システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015084521A JP5959684B2 (ja) | 2015-04-16 | 2015-04-16 | 画像変換システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010161796A Division JP5735227B2 (ja) | 2010-07-16 | 2010-07-16 | 画像変換装置及び画像変換システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015167374A true JP2015167374A (ja) | 2015-09-24 |
JP5959684B2 JP5959684B2 (ja) | 2016-08-02 |
Family
ID=54258042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015084521A Active JP5959684B2 (ja) | 2015-04-16 | 2015-04-16 | 画像変換システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5959684B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108174139A (zh) * | 2017-12-20 | 2018-06-15 | 中国航空工业集团公司西安航空计算技术研究所 | 一种不同的视频格式转换方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0818949A (ja) * | 1994-06-27 | 1996-01-19 | Olympus Optical Co Ltd | 車載用画像処理装置 |
WO2000064175A1 (fr) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Dispositif de traitement d'images et systeme de surveillance |
JP2001145012A (ja) * | 1999-11-12 | 2001-05-25 | Toyota Autom Loom Works Ltd | 画像歪補正装置 |
JP2003333588A (ja) * | 2002-05-16 | 2003-11-21 | Fuji Photo Film Co Ltd | 光学歪みの補正方法及び補正装置 |
JP2004032464A (ja) * | 2002-06-27 | 2004-01-29 | Clarion Co Ltd | 車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 |
JP2007114923A (ja) * | 2005-10-19 | 2007-05-10 | Konica Minolta Holdings Inc | 画像処理装置及び画像処理方法 |
JP2007264831A (ja) * | 2006-03-27 | 2007-10-11 | Sanyo Electric Co Ltd | 運転支援装置 |
JP2008017311A (ja) * | 2006-07-07 | 2008-01-24 | Nissan Motor Co Ltd | 車両用映像表示装置及び車両周囲映像の表示方法 |
JP2009171537A (ja) * | 2007-12-17 | 2009-07-30 | Fujitsu Ltd | 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法 |
JP2010152819A (ja) * | 2008-12-26 | 2010-07-08 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
-
2015
- 2015-04-16 JP JP2015084521A patent/JP5959684B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0818949A (ja) * | 1994-06-27 | 1996-01-19 | Olympus Optical Co Ltd | 車載用画像処理装置 |
WO2000064175A1 (fr) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Dispositif de traitement d'images et systeme de surveillance |
JP2001145012A (ja) * | 1999-11-12 | 2001-05-25 | Toyota Autom Loom Works Ltd | 画像歪補正装置 |
JP2003333588A (ja) * | 2002-05-16 | 2003-11-21 | Fuji Photo Film Co Ltd | 光学歪みの補正方法及び補正装置 |
JP2004032464A (ja) * | 2002-06-27 | 2004-01-29 | Clarion Co Ltd | 車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 |
JP2007114923A (ja) * | 2005-10-19 | 2007-05-10 | Konica Minolta Holdings Inc | 画像処理装置及び画像処理方法 |
JP2007264831A (ja) * | 2006-03-27 | 2007-10-11 | Sanyo Electric Co Ltd | 運転支援装置 |
JP2008017311A (ja) * | 2006-07-07 | 2008-01-24 | Nissan Motor Co Ltd | 車両用映像表示装置及び車両周囲映像の表示方法 |
JP2009171537A (ja) * | 2007-12-17 | 2009-07-30 | Fujitsu Ltd | 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法 |
JP2010152819A (ja) * | 2008-12-26 | 2010-07-08 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108174139A (zh) * | 2017-12-20 | 2018-06-15 | 中国航空工业集团公司西安航空计算技术研究所 | 一种不同的视频格式转换方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5959684B2 (ja) | 2016-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5735227B2 (ja) | 画像変換装置及び画像変換システム | |
CN107945112B (zh) | 一种全景图像拼接方法及装置 | |
CA2942559C (en) | Systems and methods for processing and editing all celestial sphere images | |
US20160048942A1 (en) | Information processing method, information processing device, and program | |
TW201535318A (zh) | 圖像轉換和多視圖輸出系統及方法 | |
US20150254820A1 (en) | Semiconductor integrated circuit and multi-angle video system | |
JP6058963B2 (ja) | 全周カメラ | |
JP5893445B2 (ja) | 画像処理装置、および画像処理装置の動作方法 | |
US20150334319A1 (en) | Image processing apparatus, imaging apparatus, and method for processing image | |
JP2010176547A (ja) | 画像処理装置に含まれる制御装置、制御方法、及び制御処理プログラム | |
US20190005622A1 (en) | Image processing apparatus, control method thereof, and storage medium | |
JP5959684B2 (ja) | 画像変換システム | |
US10701286B2 (en) | Image processing device, image processing system, and non-transitory storage medium | |
JP2009164674A (ja) | ディストーション補正装置 | |
JP5779512B2 (ja) | 画像の光学歪み補正装置,画像の光学歪み補正方法,および,画像の光学歪み補正装置を有する画像生成装置 | |
JP2014225868A (ja) | 撮像装置 | |
JP6762775B2 (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
JP6440465B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6273881B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5890044B2 (ja) | 車両 | |
JP2017017672A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
WO2018168506A1 (ja) | 画像変換支援装置、画像変換装置、画像変換支援方法、及びコンピュータ読み取り可能な記録媒体 | |
WO2011055411A1 (ja) | 地図描画装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5959684 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |