JP2009176273A - 画像変換装置および画像変換方法 - Google Patents
画像変換装置および画像変換方法 Download PDFInfo
- Publication number
- JP2009176273A JP2009176273A JP2008258125A JP2008258125A JP2009176273A JP 2009176273 A JP2009176273 A JP 2009176273A JP 2008258125 A JP2008258125 A JP 2008258125A JP 2008258125 A JP2008258125 A JP 2008258125A JP 2009176273 A JP2009176273 A JP 2009176273A
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion
- distorted circular
- coordinates
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000006243 chemical reaction Methods 0.000 claims abstract description 322
- 230000009466 transformation Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 231
- 238000004364 calculation method Methods 0.000 claims description 156
- 239000013598 vector Substances 0.000 claims description 77
- 230000014509 gene expression Effects 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 23
- 238000012544 monitoring process Methods 0.000 claims description 11
- 230000036961 partial effect Effects 0.000 claims description 9
- 239000004065 semiconductor Substances 0.000 claims description 3
- 239000000470 constituent Substances 0.000 claims description 2
- 238000012905 input function Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 240000006829 Ficus sundaica Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
【解決手段】 XY平面上の歪曲円形画像S上にドーム状の仮想球面Hを定義し、歪曲円形画像S上において、ユーザに、切出中心点P(x0,y0)と補助点Q(x1,y1)を指定させる。点Pの真上の交点G(x0,y0,z0)を求め、仮想球面Hに対する接平面S2上にUV平面を定義する。U軸とX軸とのなす角φは、2点P,Qを通る参照直線JとX軸とのなす角θに基づいて決定する。座標値x0,y0,z0と角度φをパラメータとして含む正射影方式の変換演算式を利用して、座標(u,v)と座標(x,y)とを対応づけ、2点P,Q間の距離を変換倍率mとして、歪曲円形画像Sの点Pの近傍部分をUV平面上の平面正則画像に変換する。
【選択図】図17
Description
二次元XY直交座標系上の座標(x,y)で示される位置に配置された多数の画素の集合体によって構成され、XY座標系の原点Oを中心とし半径Rをもった歪曲円形画像を格納する歪曲円形画像格納部と、
二次元UV直交座標系上の座標(u,v)で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
歪曲円形画像格納部に格納されている歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
ディスプレイに表示されている歪曲円形画像上における、切出中心点Pの位置および切り出し向きをユーザの指示に基づいて入力する指示入力部と、
二次元XY直交座標系を含む三次元XYZ直交座標系において、原点Oを中心とし半径Rをもった仮想球面を定義したときに、切出中心点Pを通りZ軸に平行な直線と仮想球面との交点Gの位置座標(x0,y0,z0)を求める交点演算部と、
交点Gにおいて仮想球面に接する接平面上に定義すべき二次元UV直交座標系のU軸方向を向いたベクトルUと、二次元XY直交座標系のX軸方向を向いたベクトルXと、のなす角として与えられる平面傾斜角φを、切り出し向きに基づいて決定する角度決定部と、
位置座標(x0,y0,z0)および平面傾斜角φをパラメータとして含む正射影方式の変換演算式を利用して、座標(u,v)と座標(x,y)とを対応づけ、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標(x,y)で示される位置に配置された歪曲円形画像上の参照画素の画素値に基づいて決定することにより、歪曲円形画像から切出中心点Pを中心として平面傾斜角φによって示される向きに切り出された部分画像についての平面正則画像を生成する演算を行い、生成された平面正則画像を平面正則画像格納部に格納する変換演算部と、
を設けるようにしたものである。
変換演算部が、正射影方式の変換演算式として、
x=R[(u−x0)A+(v−y0)B+(w−z0)E]/
√((u−x0)2+(v−y0)2+(w−z0)2)
y=R[(u−x0)C+(v−y0)D+(w−z0)F]/
√((u−x0)2+(v−y0)2+(w−z0)2)
ここで、
A=1−(1−cosφ)(y0 2+z0 2)
B=−z0sinφ+x0y0(1−cosφ)
C=z0sinφ+x0y0(1−cosφ)
D=1−(1−cosφ)(z0 2+x0 2)
E=y0sinφ+z0x0(1−cosφ)
F=−x0sinφ+y0x0(1−cosφ)
w=mR(但し、mは所定の変換倍率)
なる式を用いるようにしたものである。
指示入力部が、歪曲円形画像上に引かれた参照直線Jを定義するための指示を入力する機能を有し、
角度決定部が、参照直線JとX軸とのなす角θ(但し、両者平行の場合はθ=0°とする)に基づいて平面傾斜角φを決定するようにしたものである。
指示入力部が、歪曲円形画像上において、切出中心点Pと補助点Qとの2点の位置を指定するための指示を入力する機能を有し、切出中心点Pと補助点Qとを結ぶ直線を参照直線Jとするようにしたものである。
指示入力部が、参照直線JとX軸とのなす角θを示す数値を所定の入力画面上で入力する機能と、切出中心点Pの位置を歪曲円形画像上で指定するための指示を入力する機能と、を有するようにしたものである。
角度決定部が、参照直線JとX軸とのなす角θを近似的に平面傾斜角φとするようにしたものである。
指示入力部が、ユーザの指示に基づいて変換倍率mを入力する機能を有し、
変換演算部が、指示入力部によって入力された変換倍率mを用いた演算を行うようにしたものである。
指示入力部が、歪曲円形画像上において、切出中心点Pと補助点Qとの2点の位置を指定するための指示を入力する機能を有し、切出中心点Pと補助点Qとの距離dに基づいて、m=k/d(kは所定の比例定数)として与えられる数値を変換倍率mとするようにしたものである。
変換演算部が、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を決定する際に、対応する座標(x,y)で示される位置の近傍に配置された歪曲円形画像上の複数の参照画素の画素値に対する補間演算を行うようにしたものである。
歪曲円形画像格納部に格納されている画像が、正射影方式の魚眼レンズによって撮影された正射影画像ではなく、非正射影方式の魚眼レンズによって撮影された非正射影画像である場合に、非正射影画像上の座標を正射影画像上の座標に変換する第1の座標変換式と、正射影画像上の座標を非正射影画像上の座標に変換する第2の座標変換式と、を利用して、
交点演算部が、切出中心点Pの座標を第1の座標変換式を用いて変換し、変換後の座標を用いて交点の位置座標(x0,y0,z0)を求める処理を行い、
変換演算部が、正射影方式の変換演算式を用いて座標(u,v)に対応する座標(x,y)を求めた後、座標(x,y)を第2の座標変換式を用いて変換し、変換後の座標を用いて歪曲円形画像上の参照画素の位置を特定するようにしたものである。
歪曲円形画像格納部に格納されている画像が、等距離射影方式の魚眼レンズによって撮影された等距離射影画像である場合に、
交点演算部が、等距離射影画像上の座標(x′,y′)を正射影画像上の座標(x,y)に変換する第1の座標変換式として、
x=sinc(π/2・√(x′2+y′2))×π/2・x′
y=sinc(π/2・√(x′2+y′2))×π/2・y′
なる式を用い、
変換演算部が、正射影画像上の座標(x,y)を等距離射影画像上の座標(x′,y′)に変換する第2の座標変換式として、
x′=2/π・x/sinc(π/2・√(x2+y2))
y′=2/π・y/sinc(π/2・√(x2+y2))
なる式を用いるようにしたものである。
変換演算部が、
「関数f(c)=1/c」の値を様々な変数cの値について対応づけた第1の関数テーブルと、「関数f(ξ)=1/√ξ」の値を様々な変数ξの値について対応づけた第2の関数テーブルと、を有し、
a=u−x0,b=v−y0,c=w−z0、
ξ=(a/c)2+(b/c)2+1
なる演算を行うことにより、cおよびξの値を求め、
第1の関数テーブルおよび第2の関数テーブルを参照することにより、求めたc,ξの値に対応する関数f(c),f(ξ)の値を求め、
正射影方式の変換演算式における
√((u−x0)2+(v−y0)2+(w−z0)2)
なる値を、f(c)×f(ξ)なる演算により求めるようにしたものである。
変換演算部が、
所定の有効桁数に応じた間隔Wの離散値をとる変数tのうち、偶数変数tについて、所定の関数f(t)の値を対応づけた偶数関数テーブルと、
有効桁数に応じた間隔Wの離散値をとる変数tのうち、奇数変数tについて、所定の関数f(t)の値を対応づけた奇数関数テーブルと、
有効桁数からなる上位ビットと、有効桁数より下位の桁を示す下位ビットと、によって構成される変数tを格納するTレジスタと、
上位ビットが偶数である場合には、上位ビットで示される偶数変数tについて対応づけられている関数f(t)の値を偶数関数テーブルから読み出し、上位ビットが奇数である場合には、上位ビットで示される奇数変数tよりも大きい最小の偶数変数tについて対応づけられている関数f(t)の値を偶数関数テーブルから読み出す偶数読出部と、
上位ビットが奇数である場合には、上位ビットで示される奇数変数tについて対応づけられている関数f(t)の値を奇数関数テーブルから読み出し、上位ビットが偶数である場合には、上位ビットで示される偶数変数tよりも大きい最小の奇数変数tについて対応づけられている関数f(t)の値を奇数関数テーブルから読み出す奇数読出部と、
偶数関数テーブルもしくは奇数関数テーブルから読み出された関数f(t)の値を格納するAレジスタと、
偶数関数テーブルもしくは奇数関数テーブルから読み出された関数f(t)の値を格納するBレジスタと、
上位ビットが偶数である場合には、偶数読出部が読み出した関数f(t)の値をAレジスタに格納するとともに、奇数読出部が読み出した関数f(t)の値をBレジスタに格納し、上位ビットが奇数である場合には、奇数読出部が読み出した関数f(t)の値をAレジスタに格納するとともに、偶数読出部が読み出した関数f(t)の値をBレジスタに格納する偶奇セレクタと、
Aレジスタに格納されている値をf(A)とし、Bレジスタに格納されている値をf(B)とし、下位ビットで示される値をδとして、補間後の関数f(t)の値を、f(t)=((W−δ)/W)×f(A)+(δ/W)×f(B)なる演算によって求める補間演算部と、
を有し、補間演算部によって求められた補間後の関数f(t)の値を利用して演算を行うようにしたものである。
交点演算部が、第1の座標変換式における関数sinc(t)を、
sinc(t)=1−t2/3!+t4/5!−t6/7!+t8/9!− ....
なるテイラー展開した形式の式に基づいて演算し、
変換演算部が、第2の座標変換式における関数1/sinc(t)を、所定の係数値a2,a4,a6,a8, ....を用いた
1/sinc(t)=1+a2t2+a4t4+a6t6+a8t8+ ....
なる形式の式に基づいて演算するようにしたものである。
変換演算部が、cosφの値を、ベクトルUとベクトルXとの内積を、ベクトルUの大きさとベクトルXの大きさとの積で除することにより求めるようにしたものである。
指示入力部が、歪曲円形画像上に引かれた参照直線Jを定義するための指示を入力する機能を有し、
変換演算部が、参照直線Jの方向を向いたベクトルJを定義し、cosφの値を、ベクトルJとベクトルXとの内積を、ベクトルJの大きさとベクトルXの大きさとの積で除することにより求めるようにしたものである。
変換演算部が、sinφの値を、sinφ=√(1−cos2φ)なる演算により求めるようにしたものである。
二次元XY直交座標系上の座標(x,y)で示される位置に配置された多数の画素の集合体によって構成された歪曲円形画像を格納する歪曲円形画像格納部と、
二次元UV直交座標系上の座標(u,v)で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
歪曲円形画像格納部に格納されている歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
ディスプレイに表示されている歪曲円形画像上において、切出中心点Pと補助点Qとの2点の位置をユーザの指示に基づいて入力し、切出中心点Pと補助点Qとを結ぶ直線を参照直線Jと認識し、切出中心点Pと補助点Qとの距離dに基づいて、m=k/d(kは所定の比例定数)として与えられる数値を変換倍率mと認識する指示入力部と、
座標(u,v)と座標(x,y)とを対応づける変換演算式を利用して、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標(x,y)で示される位置に配置された歪曲円形画像上の参照画素の画素値に基づいて決定することにより、歪曲円形画像から切出中心点Pを中心として参照直線Jに応じた向きに切り出された部分画像について、変換倍率mに基づいてスケーリングされた平面正則画像を生成する演算を行い、生成された平面正則画像を平面正則画像格納部に格納する変換演算部と、
を設けるようにしたものである。
二次元XY直交座標系上の座標(x,y)で示される位置に配置された多数の画素の集合体によって構成された歪曲円形画像を格納する歪曲円形画像格納部と、
二次元UV直交座標系上の座標(u,v)で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
歪曲円形画像格納部に格納されている歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
所定の入力画面上において、参照直線JとX軸とのなす角として定義される角度θと、変換倍率mと、をユーザの指示に基づいて入力するとともに、前記ディスプレイに表示されている歪曲円形画像上において、切出中心点Pの位置をユーザの指示に基づいて入力する指示入力部と、
座標(u,v)と座標(x,y)とを対応づける変換演算式を利用して、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標(x,y)で示される位置に配置された歪曲円形画像上の参照画素の画素値に基づいて決定することにより、歪曲円形画像から切出中心点Pを中心として参照直線Jに応じた向きに切り出された部分画像について、変換倍率mに基づいてスケーリングされた平面正則画像を生成する演算を行い、生成された平面正則画像を平面正則画像格納部に格納する変換演算部と、
を設けるようにしたものである。
二次元XY直交座標系上の座標(x,y)で示される位置に配置された多数の画素の集合体によって構成され、XY座標系の原点Oを中心とし半径Rをもった歪曲円形画像を、歪曲円形画像格納部に格納する段階と、
歪曲円形画像格納部に格納されている歪曲円形画像をディスプレイに表示する段階と、
ディスプレイに表示されている歪曲円形画像上における、切出中心点Pの位置および切り出し向きをユーザの指示に基づいて入力する段階と、
二次元XY直交座標系を含む三次元XYZ直交座標系において、原点Oを中心とし半径Rをもった仮想球面を定義したときに、切出中心点Pを通りZ軸に平行な直線と仮想球面との交点Gの位置座標(x0,y0,z0)を求める段階と、
交点Gにおいて仮想球面に接する接平面上に定義すべき二次元UV直交座標系のU軸方向を向いたベクトルUと、二次元XY直交座標系のX軸方向を向いたベクトルXと、のなす角として与えられる平面傾斜角φを、切り出し向きに基づいて決定する段階と、
位置座標(x0,y0,z0)および平面傾斜角φをパラメータとして含む正射影方式の変換演算式を利用して、座標(u,v)と座標(x,y)とを対応づけ、座標(u,v)で示される位置に配置された多数の画素の集合体によって構成される平面正則画像上の各画素の画素値を、対応する座標(x,y)で示される位置に配置された歪曲円形画像上の参照画素の画素値に基づいて決定することにより、歪曲円形画像から切出中心点Pを中心として平面傾斜角φによって示される向きに切り出された部分画像についての平面正則画像を生成する演算を行う段階と、
をコンピュータもしくは電子回路に実行させるようにしたものである。
正射影方式の変換演算式として、
x=R[(u−x0)A+(v−y0)B+(w−z0)E]/
√((u−x0)2+(v−y0)2+(w−z0)2)
y=R[(u−x0)C+(v−y0)D+(w−z0)F]/
√((u−x0)2+(v−y0)2+(w−z0)2)
ここで、
A=1−(1−cosφ)(y0 2+z0 2)
B=−z0sinφ+x0y0(1−cosφ)
C=z0sinφ+x0y0(1−cosφ)
D=1−(1−cosφ)(z0 2+x0 2)
E=y0sinφ+z0x0(1−cosφ)
F=−x0sinφ+y0x0(1−cosφ)
w=mR(但し、mは所定の変換倍率)
なる式を用いるようにしたものである。
ディスプレイに表示されている歪曲円形画像上において、切出中心点Pと補助点Qとの2点の位置を指定するための指示を入力し、切出中心点Pと補助点Qとを結ぶ直線を参照直線Jとし、この参照直線JとX軸とのなす角θ(但し、両者平行の場合はθ=0°とする)に基づいて平面傾斜角φを決定するようにしたものである。
ディスプレイに表示されている歪曲円形画像上において、切出中心点Pの位置を指定するための指示を入力するとともに、所定の入力画面上において、歪曲円形画像上の参照直線JとX軸とのなす角θを入力し、この角θに基づいて平面傾斜角φを決定するようにしたものである。
はじめに、魚眼レンズを用いた撮影により得られた歪曲円形画像の一般的な特徴と、その一部分を切り出して、平面正則画像に変換する処理の基本原理を説明する。図1は、正射影方式の魚眼レンズを用いた撮影により歪曲円形画像Sを形成する基本モデルを示す斜視図である。一般に、魚眼レンズは、その投影方式によって複数の種類に分けられるが、この図1に示すモデルは、正射影方式の魚眼レンズについてのものである(正射影方式以外の魚眼レンズに本発明を適用する手法は、§5で述べる)。
上述したとおり、UV座標系上の1点T(u,v)とXY座標系上の1点S(x,y)とを対応づける変換演算式は、三次元XYZ座標系の空間内に配置されたUV座標系の位置および向きが決定しなければ一義的には定義できないが、UV座標系の位置および向きをパラメータ値として含む形の変換演算式であれば、定義することは可能である。
x=R(uA+vB+wE)/
√(u2+v2+w2) 式(1)
は、UV座標系上の1点T(u,v)の座標値u,vを用いて、XY座標系上の対応点S(x,y)のx座標値を求めるための式であるが、A,B,Eは、それぞれ、
A=cosψcosα−sinψsinαcosβ 式(3)
B=−sinψcosα−cosψsinαcosβ 式(4)
E=sinβsinα 式(7)
なる数式で求まる値であり、オイラー角α,β,ψの三角関数を用いた演算によって決定されることになる。
y=R(uC+vD+wF)/
√(u2+v2+w2) 式(2)
は、UV座標系上の1点T(u,v)の座標値u,vを用いて、XY座標系上の対応点S(x,y)のy座標値を求めるための式であるが、C,D,Fは、それぞれ、
C=cosψsinα+sinψcosαcosβ 式(5)
D=−sinψsinα+cosψcosαcosβ 式(6)
F=−sinβcosα 式(8)
なる数式で求まる値であり、オイラー角α,β,ψの三角関数を用いた演算によって決定されることになる。
w=mR 式(9)
で与えられる値である。ここで、Rは、歪曲円形画像Sの半径であり、mは変換倍率である。変換倍率mは、座標値u,vのスケーリングと、座標値x,yのスケーリングとの関係を示すものであり、変換倍率mを大きく設定すればするほど、平面正則画像Tには拡大された画像が求められる。実際には、平面正則画像Tの大きさ(たとえば、縦横の画素数)には制限があるため、変換倍率mを大きく設定すればするほど、歪曲円形画像Sの切出領域Eは小さくなる。
x=R[(u−x0)A+(v−y0)B+(w−z0)E]/
√((u−x0)2+(v−y0)2+(w−z0)2) 式(11)
は、UV座標系上の1点T(u,v)の座標値u,vを用いて、XY座標系上の対応点S(x,y)のx座標値を求めるための式である。ここで、A,B,Eは、それぞれ、
A=1−(1−cosφ)(y0 2+z0 2) 式(13)
B=−z0sinφ+x0y0(1−cosφ) 式(14)
E=y0sinφ+z0x0(1−cosφ) 式(17)
なる数式で求まる値である。この数式に含まれている三角関数は、平面傾斜角φについてのsinφおよびcosφのみである。
y=R[(u−x0)C+(v−y0)D+(w−z0)F]/
√((u−x0)2+(v−y0)2+(w−z0)2) 式(12)
は、UV座標系上の1点T(u,v)の座標値u,vを用いて、XY座標系上の対応点S(x,y)のy座標値を求めるための式である。ここで、C,D,Fは、それぞれ、
C=z0sinφ+x0y0(1−cosφ) 式(15)
D=1−(1−cosφ)(z0 2+x0 2) 式(16)
F=−x0sinφ+y0x0(1−cosφ) 式(18)
なる数式で求まる値である。この数式に含まれている三角関数は、やはり平面傾斜角φについてのsinφおよびcosφのみである。
w=mR 式(19)
で与えられる値であり、Rが歪曲円形画像Sの半径、mが変換倍率である点は、従来の変換演算式と同様である。
本発明の変換演算式に基づく演算を行うためには、図12の各式に示されているとおり、平面傾斜角φ、交点Gの座標値(x0,y0,z0)、歪曲円形画像Sの半径R、変換倍率mをパラメータとして設定する必要がある。別言すれば、これらのパラメータの値が既知であれば、式(11)および式(12)に所定の変数値u,vを与えることにより、関数値x,yを算出することができるので、UV座標系上の任意の1点T(u,v)に対応するXY座標系上の対応点S(x,y)を特定することができ、歪曲円形画像Sを平面正則画像Tに変換する処理が可能になる。
φ=f(θ) 式(21)
を用いた演算を行う必要がある(関数fは、図6や図17に示す幾何学的配置に基いて一義的に決定されることになるが、三角関数を用いた複雑な式で示される。)。
ここでは、図19のブロック図を参照しながら、本発明の基本的な実施形態に係る画像変換装置の基本構成を説明する。図19において、一点鎖線で囲った部分が、本発明に係る画像変換装置100である。この装置は、魚眼レンズを用いた撮影により得られた歪曲円形画像Sの一部分を切り出して、平面正則画像Tに変換する処理を行う機能を有しており、図19には、魚眼レンズを用いたカメラ10によって撮影された歪曲円形画像Sが、デジタルデータとして、この画像変換装置100内に取り込まれている。
さて、本発明の最も重要な特徴は、§2で述べたとおり、座標変換の演算に、図12に示す変換演算式を用いる点であるが、この変換演算式は、正射影方式の変換演算式であり、撮影に用いた魚眼レンズの射影方式が正射影方式であることを前提とした式である。ところが、実際に市販されている魚眼レンズは、必ずしも正射影方式のレンズとは限らない。実際、魚眼レンズの投影方式としては、等距離射影方式、立体射影方式、等立体角射影方式など、様々な方式が知られており、用途に応じて、これら様々な射影方式をとる魚眼レンズが利用されている。ここでは、このような非正射影方式の魚眼レンズによって撮影された非正射影画像に対して本発明を適用する方法を説明する。
x=sinc(π/2・√(x′2+y′2))×π/2・x′ 式(31)
y=sinc(π/2・√(x′2+y′2))×π/2・y′ 式(32)
なる式が成り立つ。逆に、正射影画像上の任意の1点の座標を(x,y)とし、これに対応する等距離射影画像上の特定の1点の座標を(x′,y′)とすれば、両者間には、図22の下段に示すように、
x′=2/π・x/sinc(π/2・√(x2+y2)) 式(33)
y′=2/π・y/sinc(π/2・√(x2+y2)) 式(34)
が成り立つ。
§2で述べたとおり、図11に示す従来の変換演算式に代えて、図12に示す本発明の変換演算式を用いると、三角関数の演算負担を大幅に軽減させることができるが、ここでは、この演算負担を更に軽減する工夫をいくつか述べておく。ここに述べる演算手法の工夫は、特に、様々な演算器やレジスタなどを組み合わせた専用のハードウエア論理回路により変換演算部130を構成する場合に、回路構成を単純にする上で効果的である。
図12の式(11),(12)には、三角関数演算は含まれていないが、分母には、3組の2乗演算項と開平演算項とが含まれている。これらの演算負担をできるだけ軽減させるためには、分母の式の形を若干変更すればよい。
1/√((u−x0)2+(v−y0)2+(w−z0)2)
なる形の式になるが、ここで、
a=u−x0,b=v−y0,c=w−z0
とおくと、上記式は、次のような形になる。
1/√(a2+b2+c2)
この式に対して、図23の上段に示すような変形を行うと、
1/c・1/√((a/c)2+(b/c)2+1) 式(41)
が得られる。変形前の式には、a2,b2,c2という3組の2乗演算項が含まれていたが、変形後の式(41)では、2乗演算項は(a/c)2,(b/c)2の2組に減っている。ここで、
(a/c)2+(b/c)2+1=ξ
とおくと、図23の下段に示すような式(42)が得られる。
1/√(a2+b2+c2)=1/c・1/√ξ 式(42)
一般に、逆数演算「1/c」や逆開平数演算「1/√ξ」は、比較的負担が大きな演算処理である。このような演算負担を軽減する上で非常に効果的な方法は、関数テーブルを用いる方法である。すなわち、予め「関数f(c)=1/c」の値を様々な変数cの値について対応づけた第1の関数テーブルT1と、「関数f(ξ)=1/√ξ」の値を様々な変数ξの値について対応づけた第2の関数テーブルT2と、を用意しておき、これら関数テーブルを参照することにより、実際には演算を行うことなしに関数値を求めるようにすればよい。
1/√((u−x0)2+(v−y0)2+(w−z0)2)
の演算を行うには、
a=u−x0,b=v−y0,c=w−z0
なる演算によって、a,b,cを求めた後、
ξ=(a/c)2+(b/c)2+1
なる演算を行うことによりξの値を求め、図24に示す第1の関数テーブルT1および第2の関数テーブルT2を参照することにより、求めたc,ξの値に対応する関数f(c)=1/c,f(ξ)=1/√ξの値を求め、
√((u−x0)2+(v−y0)2+(w−z0)2)
=f(c)×f(ξ)
なる演算を行えばよい。
上述したように、関数テーブルを利用して実際の演算処理を省略する手法は、演算負担を軽減するための非常に効果的な方法である。しかしながら、関数テーブルを参照することにより得られる関数値の精度を高めるためには、テーブルに掲載する変数値および関数値に十分な有効桁数を確保する必要が生じ、テーブルのデータ容量がそれだけ増大するという弊害がある。このような弊害を避けるために、通常、補間演算の手法が利用される。
f(t)=((W−δ)/W)×f(A)+(δ/W)×f(B)
式(43)
なる式に基づいて算出することができる。ここで、δ=(t−A)であり、離散的な変数Aに対する端数部分に相当する値である。
f(t)=((W−δ)/W)×f(A)+(δ/W)×f(B)
式(43)
に基づく演算を行えば、補間値f(t)を得ることができる。ここで、Wは、Tレジスタ21に格納されている変数tの上位ビットを構成する所定の有効桁数に基づいて定まる離散値の間隔であり、δは、Tレジスタ21に格納されている変数tの下位ビットで示される端数部分である。
続いて、図12の式(13)〜(18)に含まれる三角関数演算の負担を軽減する工夫を述べる。これらの式には、cosφとsinφという三角関数が含まれている。このような三角関数の値を求める演算器のハードウエアはかなり複雑になるので、実用上は、できるだけ三角関数演算を避けるのが好ましい。
(J→)・(X→)=cosθ・(絶対値J→)・(絶対値X→)
式(51)
で示される。なお、本明細書中では、電子出願の制約上、ベクトルJを(J→)という記号で標記し、その絶対値を(絶対値J→)と標記することにする(図27には、通常の方法で標記した式を掲載する)。この式をcosθについてとけば、
cosθ=(J→)・(X→)/((絶対値J→)・(絶対値X→))
式(52)
を得る。
(絶対値X→)=1、 x2=x0+1 式(53)
である。また、
(絶対値J→)=√((x1−x0)2+(y1−y0)2)
式(54)
であるから、式(52)の分母の値は、式(53),(54)に基づいて算出できる。一方、式(52)の分子の値は、ベクトルJとベクトルXの内積として
(J→)・(X→)=x1・x2+y1・y0
式(55)
なる式で算出できる。
sinφ=√(1−cos2φ) 式(56)
なる演算によって求めることができるので、結局、図12の式(13)〜(18)に含まれる三角関数cosφおよびsinφの値は、三角関数演算を全く行うことなしに算出することができる。これは演算器のハードウエア構成を単純化する上で極めて効果的である。
<6−4:式(31)〜(34)の関数演算に関する工夫>
§5では、本発明を非正射影方式の魚眼レンズを用いて撮影された非正射影画像に適用する方法を説明した。この方法では、図22に示すように、
x=sinc(π/2・√(x′2+y′2))×π/2・x′ 式(31)
y=sinc(π/2・√(x′2+y′2))×π/2・y′ 式(32)
なる第1の座標変換式と、
x′=2/π・x/sinc(π/2・√(x2+y2)) 式(33)
y′=2/π・y/sinc(π/2・√(x2+y2)) 式(34)
なる第2の座標変換式とを用いた演算が必要になる。
g(t)=sinc(t)=sin(t)/t
但し、g(0)=sinc(0)=1 式(61)
h(t)=1/sinc(t)=t/sin(t)
但し、h(0)=1 式(62)
ここで、sin(t)をテイラー展開すると、図28の中段に示すように、
sin(t)=t−t3/3!+t5/5!−t7/7!+t9/9!− ....
式(63)
なる形式になるので、結局、
g(t)=1−t2/3!+t4/5!−t6/7!+t8/9!− ....
式(64)
なる形式の式が得られる。
h(t)=1+a2t2+a4t4+a6t6+a8t8+ ....
式(65)
なる形式の式で表現することを考えると、h(t)=1/g(t)であるから、上掲の式(64)から、
h(t)=1/(1−t2/3!+t4/5!−t6/7!+t8/9!− ....)
式(66)
が得られる。式(65)と式(66)から、
1=(1+a2t2+a4t4+a6t6+a8t8+ ....)×
(1−t2/3!+t4/5!−t6/7!+t8/9!− ....)
式(67)
になるので、これを解くと、
h(t)=1+(1/6)t2+(7/360)t4+(31/15120)t6+(127/604800)t8+ ....
式(68)
なる式が得られる。
したがって、交点演算部160が、第1の座標変換式(31),(32)を演算する場合に、関数sinc(t)を、
sinc(t)=1−t2/3!+t4/5!−t6/7!+t8/9!− ....
なるテイラー展開した形式の式に基づいて演算するようにすれば、三角関数演算を避けることができる。しかも、t=0の場合、上記式の右辺の値は1になるため、sinc(0)=1という数学的な定義とも合致した関数値を得ることができる。なお、上記式の右辺には、理論的には無限個の項が含まれることになるが、もちろん、実用上は、必要な有効桁数が得られる項までの計算を行えば十分である。
1/sinc(t)=1+a2t2+a4t4+a6t6+a8t8+ ....
なる形式の式に基づいて演算するようにすれば、三角関数演算を避けることができる。ここで、係数a2,a4,a6,a8, ....の値は、式(68)のように具体的な数値として求めることができるので、演算器には、これらの具体的な数値を格納しておくようにすればよい。この式においても、t=0の場合、右辺の値は1になるため、1/sinc(0)=1という数学的な定義とも合致した関数値を得ることができる。やはり上記式の右辺には、理論的には無限個の項が含まれることになるが、実用上は、必要な有効桁数が得られる項までの計算を行えば十分である。
以上、§1〜§6において、本発明に係る画像変換装置を実施する上での最良の形態を述べた。ここでは、図12に示す本発明の変換演算式を導出する数学的なプロセスを図29および図30に示す数式を参照しながら簡単に説明しておく。この図12に示す変換演算式は、幾何学的には、図11に示す変換演算式と等価であり、両者の相違は、平面傾斜角ψとφの定義の相違も含めたパラメータの設定のしかたのみである。いずれの変換演算式も、図1に示すような光学的特性をもった正射影方式の魚眼レンズを用いて形成される正射影画像S上の任意の点S(x,y)と、平面正則画像T上の特定の点T(u,v)との対応関係を示す式であり、幾何学的な解析を行うことにより導出することができる。ただ、三角関数を含む繁雑な式を取り扱う必要があるため、通常、行列式を用いた解析がなされる。以下、若干、数学的な知識を必要とする説明になるが、この行列式を用いた変換演算式の導出プロセスを述べる。
最後に、本発明におけるパラメータ設定法の変形例を述べておく。既に§3において、パラメータφ,x0,y0,mを、ユーザに効率的に設定させる基本的な実施例を述べた。この§3で述べた方法の骨子は、図13に示すように、XY座標系上に定義されている歪曲円形画像Sをユーザに提示し、この画像上で2点P,Qを指定させ、点P(x0,y0)の座標値(x0,y0)を、そのままパラメータx0,y0の値として用い、2点P,Q間の距離dを用いて、m=k/dなる式により変換倍率mを決定し、更に、2点P,Qを結ぶ直線を参照直線Jとし、この参照直線JとX軸とのなす角θ(切り出し向き)を求め、この角度θに基づいて、平面傾斜角φを決定する(実用上は、近似的に、φ=θとする)というものである。
21:Tレジスタ
22:偶数関数テーブル
23:奇数関数テーブル
24:偶数読出部
25:奇数読出部
26:偶奇セレクタ
27:偶奇セレクタ
28:Aレジスタ
29:Bレジスタ
30:補間演算部
31:補間値レジスタ
100:画像変換装置
110:歪曲円形画像格納部
120:平面正則画像格納部
130:変換演算部
140:歪曲円形画像表示部
150:指示入力部
151:向き・倍率の設定画面
152:角度θ設定入力欄
153:倍率m設定入力欄
160:交点演算部
170:角度決定部
210:路面
220:建物
230:監視カメラ
a:ディスプレイの横方向寸法(水平方向の画素数)
b:ディスプレイの縦方向寸法(垂直方向の画素数)
B:境界点
d:2点PQ間の距離
E:切出領域
f:魚眼レンズに固有の定数
f(t):変数tに対する関数値
G(x0,y0,z0):点Pを通りZ軸に平行な直線と仮想球面Hとの交点
H:仮想球面
H(x,y,z):仮想球面H上の入射点
J,J′,J1,J2:参照直線
L1,L2:入射光線
m:変換倍率
n:法線ベクトル
N:回転ベクトル
O:三次元XYZ直交座標系の原点
P(x0,y0),P1,P2:切出中心点
P′(x2,y0):補助点
Q(x1,y1),Q′(x2,y2):補助点
R:歪曲円形画像Sの半径(仮想球面Hの半径)
r:歪曲円形画像Sの中心点からの距離
S:歪曲円形画像
S1:傾斜面
S2:接平面
S(x,y):歪曲円形画像S上の点
t:変数
T:平面正則画像
T(u,v):平面正則画像T上の点
T1,T2:関数テーブル
U:二次元UV直交座標系の座標軸
U′:U軸に平行な軸
V:二次元UV直交座標系の座標軸
W:変数tの離散値間隔
X:三次元XYZ直交座標系の座標軸
X′:X軸に平行な軸
Y:三次元XYZ直交座標系の座標軸
Z:三次元XYZ直交座標系の座標軸
α:方位角
β:天頂角
δ:下位ビットで示される端数
θ,θ′:切り出し向きを示す角度
φ,ψ:平面傾斜角
ξ:変数
Claims (26)
- 魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置であって、
二次元XY直交座標系上の座標(x,y)で示される位置に配置された多数の画素の集合体によって構成され、前記XY座標系の原点Oを中心とし半径Rをもった歪曲円形画像を格納する歪曲円形画像格納部と、
二次元UV直交座標系上の座標(u,v)で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
前記歪曲円形画像格納部に格納されている歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
前記ディスプレイに表示されている歪曲円形画像上における、切出中心点Pの位置および切り出し向きをユーザの指示に基づいて入力する指示入力部と、
前記二次元XY直交座標系を含む三次元XYZ直交座標系において、原点Oを中心とし半径Rをもった仮想球面を定義したときに、前記切出中心点Pを通りZ軸に平行な直線と前記仮想球面との交点Gの位置座標(x0,y0,z0)を求める交点演算部と、
前記交点Gにおいて前記仮想球面に接する接平面上に定義すべき前記二次元UV直交座標系のU軸方向を向いたベクトルUと、前記二次元XY直交座標系のX軸方向を向いたベクトルXと、のなす角として与えられる平面傾斜角φを、前記切り出し向きに基づいて決定する角度決定部と、
前記位置座標(x0,y0,z0)および前記平面傾斜角φをパラメータとして含む正射影方式の変換演算式を利用して、座標(u,v)と座標(x,y)とを対応づけ、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標(x,y)で示される位置に配置された歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記歪曲円形画像から前記切出中心点Pを中心として前記平面傾斜角φによって示される向きに切り出された部分画像についての平面正則画像を生成する演算を行い、生成された平面正則画像を前記平面正則画像格納部に格納する変換演算部と、
を備えることを特徴とする画像変換装置。 - 請求項1に記載の画像変換装置において、
変換演算部が、正射影方式の変換演算式として、
x=R[(u−x0)A+(v−y0)B+(w−z0)E]/
√((u−x0)2+(v−y0)2+(w−z0)2)
y=R[(u−x0)C+(v−y0)D+(w−z0)F]/
√((u−x0)2+(v−y0)2+(w−z0)2)
ここで、
A=1−(1−cosφ)(y0 2+z0 2)
B=−z0sinφ+x0y0(1−cosφ)
C=z0sinφ+x0y0(1−cosφ)
D=1−(1−cosφ)(z0 2+x0 2)
E=y0sinφ+z0x0(1−cosφ)
F=−x0sinφ+y0x0(1−cosφ)
w=mR(但し、mは所定の変換倍率)
なる式を用いることを特徴とする画像変換装置。 - 請求項1または2に記載の画像変換装置において、
指示入力部が、歪曲円形画像上に引かれた参照直線Jを定義するための指示を入力する機能を有し、
角度決定部が、前記参照直線JとX軸とのなす角θ(但し、両者平行の場合はθ=0°とする)に基づいて平面傾斜角φを決定することを特徴とする画像変換装置。 - 請求項3に記載の画像変換装置において、
指示入力部が、歪曲円形画像上において、切出中心点Pと補助点Qとの2点の位置を指定するための指示を入力する機能を有し、前記切出中心点Pと前記補助点Qとを結ぶ直線を参照直線Jとすることを特徴とする画像変換装置。 - 請求項3に記載の画像変換装置において、
指示入力部が、参照直線JとX軸とのなす角θを示す数値を所定の入力画面上で入力する機能と、切出中心点Pの位置を歪曲円形画像上で指定するための指示を入力する機能と、を有することを特徴とする画像変換装置。 - 請求項3〜5のいずれかに記載の画像変換装置において、
角度決定部が、参照直線JとX軸とのなす角θを近似的に平面傾斜角φとすることを特徴とする画像変換装置。 - 請求項2に記載の画像変換装置において、
指示入力部が、ユーザの指示に基づいて変換倍率mを入力する機能を有し、
変換演算部が、前記指示入力部によって入力された変換倍率mを用いた演算を行うことを特徴とする画像変換装置。 - 請求項7に記載の画像変換装置において、
指示入力部が、歪曲円形画像上において、切出中心点Pと補助点Qとの2点の位置を指定するための指示を入力する機能を有し、前記切出中心点Pと前記補助点Qとの距離dに基づいて、m=k/d(kは所定の比例定数)として与えられる数値を変換倍率mとすることを特徴とする画像変換装置。 - 請求項1〜8のいずれかに記載の画像変換装置において、
変換演算部が、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を決定する際に、対応する座標(x,y)で示される位置の近傍に配置された歪曲円形画像上の複数の参照画素の画素値に対する補間演算を行うことを特徴とする画像変換装置。 - 請求項1〜9のいずれかに記載の画像変換装置において、
歪曲円形画像格納部に格納されている画像が、正射影方式の魚眼レンズによって撮影された正射影画像ではなく、非正射影方式の魚眼レンズによって撮影された非正射影画像である場合に、前記非正射影画像上の座標を前記正射影画像上の座標に変換する第1の座標変換式と、前記正射影画像上の座標を前記非正射影画像上の座標に変換する第2の座標変換式と、を利用して、
交点演算部が、切出中心点Pの座標を前記第1の座標変換式を用いて変換し、変換後の座標を用いて交点の位置座標(x0,y0,z0)を求める処理を行い、
変換演算部が、正射影方式の変換演算式を用いて座標(u,v)に対応する座標(x,y)を求めた後、前記座標(x,y)を前記第2の座標変換式を用いて変換し、変換後の座標を用いて歪曲円形画像上の参照画素の位置を特定することを特徴とする画像変換装置。 - 請求項10に記載の画像変換装置において、
歪曲円形画像格納部に格納されている画像が、等距離射影方式の魚眼レンズによって撮影された等距離射影画像である場合に、
交点演算部が、等距離射影画像上の座標(x′,y′)を正射影画像上の座標(x,y)に変換する第1の座標変換式として、
x=sinc(π/2・√(x′2+y′2))×π/2・x′
y=sinc(π/2・√(x′2+y′2))×π/2・y′
なる式を用い、
変換演算部が、正射影画像上の座標(x,y)を等距離射影画像上の座標(x′,y′)に変換する第2の座標変換式として、
x′=2/π・x/sinc(π/2・√(x2+y2))
y′=2/π・y/sinc(π/2・√(x2+y2))
なる式を用いることを特徴とする画像変換装置。 - 請求項1〜11のいずれかに記載の画像変換装置としてコンピュータを機能させるためのプログラム。
- 請求項1〜11のいずれかに記載の画像変換装置の構成要素となる変換演算部として機能する電子回路が組み込まれた半導体集積回路。
- 請求項1〜11のいずれかに記載の画像変換装置と、魚眼レンズを用いたカメラと、平面正則画像を画面上に表示するモニタ装置と、を備え、
前記カメラを用いた撮影により得られた歪曲円形画像が歪曲円形画像格納部へと格納され、平面正則画像格納部に得られた平面正則画像が前記モニタ装置によって表示されるように構成されていることを特徴とする魚眼監視システム。 - 請求項2に記載の画像変換装置において、
変換演算部が、
「関数f(c)=1/c」の値を様々な変数cの値について対応づけた第1の関数テーブルと、「関数f(ξ)=1/√ξ」の値を様々な変数ξの値について対応づけた第2の関数テーブルと、を有し、
a=u−x0,b=v−y0,c=w−z0、
ξ=(a/c)2+(b/c)2+1
なる演算を行うことにより、cおよびξの値を求め、
前記第1の関数テーブルおよび前記第2の関数テーブルを参照することにより、求めたc,ξの値に対応する関数f(c),f(ξ)の値を求め、
正射影方式の変換演算式における
√((u−x0)2+(v−y0)2+(w−z0)2)
なる値を、f(c)×f(ξ)なる演算により求めることを特徴とする画像変換装置。 - 請求項1〜11のいずれかに記載の画像変換装置において、
変換演算部が、
所定の有効桁数に応じた間隔Wの離散値をとる変数tのうち、偶数変数tについて、所定の関数f(t)の値を対応づけた偶数関数テーブルと、
前記有効桁数に応じた前記間隔Wの離散値をとる変数tのうち、奇数変数tについて、所定の関数f(t)の値を対応づけた奇数関数テーブルと、
前記有効桁数からなる上位ビットと、前記有効桁数より下位の桁を示す下位ビットと、によって構成される変数tを格納するTレジスタと、
前記上位ビットが偶数である場合には、前記上位ビットで示される偶数変数tについて対応づけられている関数f(t)の値を前記偶数関数テーブルから読み出し、前記上位ビットが奇数である場合には、前記上位ビットで示される奇数変数tよりも大きい最小の偶数変数tについて対応づけられている関数f(t)の値を前記偶数関数テーブルから読み出す偶数読出部と、
前記上位ビットが奇数である場合には、前記上位ビットで示される奇数変数tについて対応づけられている関数f(t)の値を前記奇数関数テーブルから読み出し、前記上位ビットが偶数である場合には、前記上位ビットで示される偶数変数tよりも大きい最小の奇数変数tについて対応づけられている関数f(t)の値を前記奇数関数テーブルから読み出す奇数読出部と、
前記偶数関数テーブルもしくは前記奇数関数テーブルから読み出された関数f(t)の値を格納するAレジスタと、
前記偶数関数テーブルもしくは前記奇数関数テーブルから読み出された関数f(t)の値を格納するBレジスタと、
前記上位ビットが偶数である場合には、前記偶数読出部が読み出した関数f(t)の値を前記Aレジスタに格納するとともに、前記奇数読出部が読み出した関数f(t)の値を前記Bレジスタに格納し、前記上位ビットが奇数である場合には、前記奇数読出部が読み出した関数f(t)の値を前記Aレジスタに格納するとともに、前記偶数読出部が読み出した関数f(t)の値を前記Bレジスタに格納する偶奇セレクタと、
前記Aレジスタに格納されている値をf(A)とし、前記Bレジスタに格納されている値をf(B)とし、前記下位ビットで示される値をδとして、補間後の関数f(t)の値を、f(t)=((W−δ)/W)×f(A)+(δ/W)×f(B)なる演算によって求める補間演算部と、
を有し、前記補間演算部によって求められた補間後の関数f(t)の値を利用して演算を行うことを特徴とする画像変換装置。 - 請求項11に記載の画像変換装置において、
交点演算部が、第1の座標変換式における関数sinc(t)を、
sinc(t)=1−t2/3!+t4/5!−t6/7!+t8/9!− ....
なるテイラー展開した形式の式に基づいて演算し、
変換演算部が、第2の座標変換式における関数1/sinc(t)を、所定の係数値a2,a4,a6,a8, ....を用いた
1/sinc(t)=1+a2t2+a4t4+a6t6+a8t8+ ....
なる形式の式に基づいて演算することを特徴とする画像変換装置。 - 請求項2に記載の画像変換装置において、
変換演算部が、cosφの値を、ベクトルUとベクトルXとの内積を、ベクトルUの大きさとベクトルXの大きさとの積で除することにより求めることを特徴とする画像変換装置。 - 請求項2に記載の画像変換装置において、
指示入力部が、歪曲円形画像上に引かれた参照直線Jを定義するための指示を入力する機能を有し、
変換演算部が、参照直線Jの方向を向いたベクトルJを定義し、cosφの値を、ベクトルJとベクトルXとの内積を、ベクトルJの大きさとベクトルXの大きさとの積で除することにより求めることを特徴とする画像変換装置。 - 請求項2に記載の画像変換装置において、
変換演算部が、sinφの値を、sinφ=√(1−cos2φ)なる演算により求めることを特徴とする画像変換装置。 - 魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置であって、
二次元XY直交座標系上の座標(x,y)で示される位置に配置された多数の画素の集合体によって構成された歪曲円形画像を格納する歪曲円形画像格納部と、
二次元UV直交座標系上の座標(u,v)で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
前記歪曲円形画像格納部に格納されている歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
前記ディスプレイに表示されている歪曲円形画像上において、切出中心点Pと補助点Qとの2点の位置をユーザの指示に基づいて入力し、前記切出中心点Pと前記補助点Qとを結ぶ直線を参照直線Jと認識し、前記切出中心点Pと前記補助点Qとの距離dに基づいて、m=k/d(kは所定の比例定数)として与えられる数値を変換倍率mと認識する指示入力部と、
座標(u,v)と座標(x,y)とを対応づける変換演算式を利用して、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標(x,y)で示される位置に配置された歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記歪曲円形画像から前記切出中心点Pを中心として前記参照直線Jに応じた向きに切り出された部分画像について、前記変換倍率mに基づいてスケーリングされた平面正則画像を生成する演算を行い、生成された平面正則画像を前記平面正則画像格納部に格納する変換演算部と、
を備えることを特徴とする画像変換装置。 - 魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置であって、
二次元XY直交座標系上の座標(x,y)で示される位置に配置された多数の画素の集合体によって構成された歪曲円形画像を格納する歪曲円形画像格納部と、
二次元UV直交座標系上の座標(u,v)で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
前記歪曲円形画像格納部に格納されている歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
所定の入力画面上において、参照直線JとX軸とのなす角として定義される角度θと、変換倍率mと、をユーザの指示に基づいて入力するとともに、前記ディスプレイに表示されている歪曲円形画像上において、切出中心点Pの位置をユーザの指示に基づいて入力する指示入力部と、
座標(u,v)と座標(x,y)とを対応づける変換演算式を利用して、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標(x,y)で示される位置に配置された歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記歪曲円形画像から前記切出中心点Pを中心として前記参照直線Jに応じた向きに切り出された部分画像について、前記変換倍率mに基づいてスケーリングされた平面正則画像を生成する演算を行い、生成された平面正則画像を前記平面正則画像格納部に格納する変換演算部と、
を備えることを特徴とする画像変換装置。 - 魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換方法であって、
二次元XY直交座標系上の座標(x,y)で示される位置に配置された多数の画素の集合体によって構成され、前記XY座標系の原点Oを中心とし半径Rをもった歪曲円形画像を、歪曲円形画像格納部に格納する段階と、
前記歪曲円形画像格納部に格納されている歪曲円形画像をディスプレイに表示する段階と、
前記ディスプレイに表示されている歪曲円形画像上における、切出中心点Pの位置および切り出し向きをユーザの指示に基づいて入力する段階と、
前記二次元XY直交座標系を含む三次元XYZ直交座標系において、原点Oを中心とし半径Rをもった仮想球面を定義したときに、前記切出中心点Pを通りZ軸に平行な直線と前記仮想球面との交点Gの位置座標(x0,y0,z0)を求める段階と、
前記交点Gにおいて前記仮想球面に接する接平面上に定義すべき二次元UV直交座標系のU軸方向を向いたベクトルUと、前記二次元XY直交座標系のX軸方向を向いたベクトルXと、のなす角として与えられる平面傾斜角φを、前記切り出し向きに基づいて決定する段階と、
前記位置座標(x0,y0,z0)および前記平面傾斜角φをパラメータとして含む正射影方式の変換演算式を利用して、座標(u,v)と座標(x,y)とを対応づけ、座標(u,v)で示される位置に配置された多数の画素の集合体によって構成される平面正則画像上の各画素の画素値を、対応する座標(x,y)で示される位置に配置された歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記歪曲円形画像から前記切出中心点Pを中心として前記平面傾斜角φによって示される向きに切り出された部分画像についての平面正則画像を生成する演算を行う段階と、
をコンピュータもしくは電子回路によって実行させることを特徴とする画像変換方法。 - 請求項23に記載の画像変換方法において、
正射影方式の変換演算式として、
x=R[(u−x0)A+(v−y0)B+(w−z0)E]/
√((u−x0)2+(v−y0)2+(w−z0)2)
y=R[(u−x0)C+(v−y0)D+(w−z0)F]/
√((u−x0)2+(v−y0)2+(w−z0)2)
ここで、
A=1−(1−cosφ)(y0 2+z0 2)
B=−z0sinφ+x0y0(1−cosφ)
C=z0sinφ+x0y0(1−cosφ)
D=1−(1−cosφ)(z0 2+x0 2)
E=y0sinφ+z0x0(1−cosφ)
F=−x0sinφ+y0x0(1−cosφ)
w=mR(但し、mは所定の変換倍率)
なる式を用いることを特徴とする画像変換方法。 - 請求項23または24に記載の画像変換方法において、
ディスプレイに表示されている歪曲円形画像上において、切出中心点Pと補助点Qとの2点の位置を指定するための指示を入力し、前記切出中心点Pと前記補助点Qとを結ぶ直線を参照直線Jとし、この参照直線JとX軸とのなす角θ(但し、両者平行の場合はθ=0°とする)に基づいて平面傾斜角φを決定することを特徴とする画像変換方法。 - 請求項23または24に記載の画像変換方法において、
ディスプレイに表示されている歪曲円形画像上において、切出中心点Pの位置を指定するための指示を入力するとともに、所定の入力画面上において、前記歪曲円形画像上の参照直線JとX軸とのなす角θを入力し、前記角θに基づいて平面傾斜角φを決定することを特徴とする画像変換方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008258125A JP5067336B2 (ja) | 2007-12-26 | 2008-10-03 | 画像変換装置および画像変換方法 |
KR1020080115736A KR101404527B1 (ko) | 2007-12-26 | 2008-11-20 | 화상 변환 장치 및 화상 변환 방법 |
US12/331,514 US8363981B2 (en) | 2007-12-26 | 2008-12-10 | Image converter and image converting method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007333628 | 2007-12-26 | ||
JP2007333628 | 2007-12-26 | ||
JP2008258125A JP5067336B2 (ja) | 2007-12-26 | 2008-10-03 | 画像変換装置および画像変換方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009176273A true JP2009176273A (ja) | 2009-08-06 |
JP5067336B2 JP5067336B2 (ja) | 2012-11-07 |
Family
ID=41031242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008258125A Expired - Fee Related JP5067336B2 (ja) | 2007-12-26 | 2008-10-03 | 画像変換装置および画像変換方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5067336B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101140953B1 (ko) | 2010-08-31 | 2012-05-03 | 이성원 | 영상 왜곡 보정 장치 및 방법 |
JP2016535911A (ja) * | 2014-09-24 | 2016-11-17 | チュンアン ユニバーシティー インダストリー アカデミック コアポレイション ファウンデイション | 魚眼レンズ画像補正方法及びその装置 |
US9607358B2 (en) | 2012-03-09 | 2017-03-28 | Ricoh Company, Limited | Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium |
WO2018179039A1 (ja) * | 2017-03-27 | 2018-10-04 | 日本電気株式会社 | カメラパラメータ推定装置、方法およびプログラム |
WO2018179040A1 (ja) * | 2017-03-27 | 2018-10-04 | 日本電気株式会社 | カメラパラメータ推定装置、方法およびプログラム |
CN110533618A (zh) * | 2019-09-03 | 2019-12-03 | 西安奇维科技有限公司 | 一种镜头畸变矫正的方法和照相装置 |
CN110838163A (zh) * | 2018-08-15 | 2020-02-25 | 浙江宇视科技有限公司 | 贴图处理方法及装置 |
CN112634142A (zh) * | 2019-09-24 | 2021-04-09 | 小元感知(北京)科技有限公司 | 一种超宽视角图像的畸变修正方法 |
CN113791581A (zh) * | 2021-08-03 | 2021-12-14 | 天津中德应用技术大学 | 一种基于等弦分割采样的球形灌木球面插补算法 |
CN114969903A (zh) * | 2022-05-12 | 2022-08-30 | 郑州大学 | 一种基于Grasshopper的混合型单层球面网壳通用参数化建模方法 |
CN116152121A (zh) * | 2023-04-20 | 2023-05-23 | 合肥高维数据技术有限公司 | 基于畸变参数的曲面屏生成方法、矫正方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000235645A (ja) * | 1999-02-12 | 2000-08-29 | Advanet Corp | 画像変換用演算装置 |
JP2002057888A (ja) * | 2000-08-09 | 2002-02-22 | Canon Inc | 画像処理装置及び方法 |
JP2006005585A (ja) * | 2004-06-16 | 2006-01-05 | Sharp Corp | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム、及び記録媒体 |
JP2006324909A (ja) * | 2005-05-18 | 2006-11-30 | Konica Minolta Business Technologies Inc | 情報埋込装置、方法、プログラムおよび記録媒体、ならびに情報検出装置、方法、プログラムおよびコンピュータ読取可能な記録媒体 |
WO2007055336A1 (ja) * | 2005-11-11 | 2007-05-18 | Sony Corporation | 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置 |
-
2008
- 2008-10-03 JP JP2008258125A patent/JP5067336B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000235645A (ja) * | 1999-02-12 | 2000-08-29 | Advanet Corp | 画像変換用演算装置 |
JP2002057888A (ja) * | 2000-08-09 | 2002-02-22 | Canon Inc | 画像処理装置及び方法 |
JP2006005585A (ja) * | 2004-06-16 | 2006-01-05 | Sharp Corp | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム、及び記録媒体 |
JP2006324909A (ja) * | 2005-05-18 | 2006-11-30 | Konica Minolta Business Technologies Inc | 情報埋込装置、方法、プログラムおよび記録媒体、ならびに情報検出装置、方法、プログラムおよびコンピュータ読取可能な記録媒体 |
WO2007055336A1 (ja) * | 2005-11-11 | 2007-05-18 | Sony Corporation | 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101140953B1 (ko) | 2010-08-31 | 2012-05-03 | 이성원 | 영상 왜곡 보정 장치 및 방법 |
US11049215B2 (en) | 2012-03-09 | 2021-06-29 | Ricoh Company, Ltd. | Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium |
US9607358B2 (en) | 2012-03-09 | 2017-03-28 | Ricoh Company, Limited | Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium |
JP2016535911A (ja) * | 2014-09-24 | 2016-11-17 | チュンアン ユニバーシティー インダストリー アカデミック コアポレイション ファウンデイション | 魚眼レンズ画像補正方法及びその装置 |
WO2018179039A1 (ja) * | 2017-03-27 | 2018-10-04 | 日本電気株式会社 | カメラパラメータ推定装置、方法およびプログラム |
WO2018179040A1 (ja) * | 2017-03-27 | 2018-10-04 | 日本電気株式会社 | カメラパラメータ推定装置、方法およびプログラム |
US11373335B2 (en) | 2017-03-27 | 2022-06-28 | Nec Corporation | Camera parameter estimation device, method and program |
JPWO2018179039A1 (ja) * | 2017-03-27 | 2020-01-16 | 日本電気株式会社 | カメラパラメータ推定装置、方法およびプログラム |
JPWO2018179040A1 (ja) * | 2017-03-27 | 2020-01-23 | 日本電気株式会社 | カメラパラメータ推定装置、方法およびプログラム |
US11122195B2 (en) | 2017-03-27 | 2021-09-14 | Nec Corporation | Camera parameter estimation device, method, and program |
CN110838163A (zh) * | 2018-08-15 | 2020-02-25 | 浙江宇视科技有限公司 | 贴图处理方法及装置 |
CN110838163B (zh) * | 2018-08-15 | 2024-02-02 | 浙江宇视科技有限公司 | 贴图处理方法及装置 |
CN110533618A (zh) * | 2019-09-03 | 2019-12-03 | 西安奇维科技有限公司 | 一种镜头畸变矫正的方法和照相装置 |
CN112634142A (zh) * | 2019-09-24 | 2021-04-09 | 小元感知(北京)科技有限公司 | 一种超宽视角图像的畸变修正方法 |
CN113791581A (zh) * | 2021-08-03 | 2021-12-14 | 天津中德应用技术大学 | 一种基于等弦分割采样的球形灌木球面插补算法 |
CN113791581B (zh) * | 2021-08-03 | 2023-08-08 | 天津中德应用技术大学 | 一种基于等弦分割采样的球形灌木球面插补算法 |
CN114969903A (zh) * | 2022-05-12 | 2022-08-30 | 郑州大学 | 一种基于Grasshopper的混合型单层球面网壳通用参数化建模方法 |
CN114969903B (zh) * | 2022-05-12 | 2024-02-23 | 郑州大学 | 一种基于Grasshopper的混合型单层球面网壳通用参数化建模方法 |
CN116152121A (zh) * | 2023-04-20 | 2023-05-23 | 合肥高维数据技术有限公司 | 基于畸变参数的曲面屏生成方法、矫正方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5067336B2 (ja) | 2012-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5067336B2 (ja) | 画像変換装置および画像変換方法 | |
KR101404527B1 (ko) | 화상 변환 장치 및 화상 변환 방법 | |
JP4629131B2 (ja) | 画像変換装置 | |
JP6771106B2 (ja) | 球面パノラマ画像へのマッピングを実行するための方法及び装置 | |
US8670001B2 (en) | System and method for converting a fish-eye image into a rectilinear image | |
CN106803884B (zh) | 图像处理装置 | |
JP3051173B2 (ja) | 全視野静止カメラオリエンテーションシステム | |
JP5569329B2 (ja) | 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等 | |
JP5558973B2 (ja) | 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム | |
TW202008305A (zh) | 擴增實境設備的座標系校準方法及裝置 | |
JP4119529B2 (ja) | 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体 | |
JP2011223409A (ja) | 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム | |
JP5245963B2 (ja) | 画像変換装置 | |
JP5169787B2 (ja) | 画像変換装置および画像変換方法 | |
US10134119B2 (en) | Image generation device and operation support system | |
JP2019146155A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN116932119A (zh) | 虚拟屏幕显示方法、装置、设备及计算机可读存储介质 | |
CN107135376A (zh) | 多通道超高分辨率全景视频实时拼接处理方法 | |
WO2019163449A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6071364B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2004227470A (ja) | 画像変換方法及び画像変換用コンピュータプログラム | |
Zhang et al. | Image space coordinates extraction algorithm based on the perspective projection transformation matrix | |
JP2019146004A (ja) | 画像処理装置、画像処理方法およびプログラム | |
Wang et al. | Laser spot tracking with sub-pixel precision based on subdivision mesh | |
WO2004102479A1 (ja) | 画像変換プログラム、画像変換方法、及びプログラムを担持した媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110823 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120717 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120730 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150824 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |