JP2008197829A - 画像処理装置と方法およびプログラムと記録媒体 - Google Patents

Abstract

【課題】歪み補正がなされた高フレームレートの画像信号を得られるようにする。
【解決手段】歪みを生じた広視野画像から歪み補正された出力画像ＧＺを生成するとき、出力画像ＧＺに選択領域ＧＺseを設ける。選択領域ＧＺseを除く非選択領域ＧＺnsの出力画像を生成するとき、１画素間隔で出力画像の画素に対応する広視野画像上の画素位置を算出して、算出した画素位置の画素信号Ｇ(j,k)を出力画像の対応する画素ＰＸ(1,1)の信号とするマッピング処理を行って、歪みを生じた広視野画像から歪み補正された非選択領域ＧＺnsの画像を生成する。選択領域ＧＺseでは各画素に対してマッピング処理を行って、歪みを生じた広視野画像から歪み補正された選択領域ＧＺseの画像を生成する。
【選択図】 図５

Description

この発明は画像処理装置と方法およびプログラムと記録媒体に関する。詳しくは、歪みを生じた広視野画像から歪み補正された出力画像を生成する際に、選択領域を除く領域の画像を生成するときは、選択領域の画像を生成するときよりも画質の低下した歪み補正を行うものである。

従来、例えば魚眼レンズを用いて撮像を行うことにより得られた広視野画像に対してユーザにより必要な領域が指定され、指定された領域について歪み補正がなされて、補正された画像をモニタに表示する提案がなされている（特許文献１参照）。

特開２０００−３２４３８６号公報

ところで、指定した領域の歪みを補正する処理をフレーム毎に行って補正後の画像信号を生成する場合、歪み補正の処理に時間を要することから、画像信号の取り込みを高速化しても高フレームレートの補正後の画像信号を得ることは困難である。

そこで、この発明では、歪み補正がなされた高フレームレートの画像信号を得ることができる画像処理装置とその方法およびプログラムの記録媒体を提供するものである。

この発明の概念は、歪みを生じた広視野画像から歪み補正された出力画像を生成する際に、出力画像に設定した選択領域を除く領域の出力画像を生成するときには、選択領域の出力画像を生成するときよりも画質の低下した歪み補正を行うものである。

この発明の画像処理装置は、歪みを生じた広視野画像から歪み補正された出力画像を生成する歪み補正処理部と、出力画像に選択領域を設ける選択領域設定部を有し、歪み補正処理部は、選択領域を除く領域の出力画像を生成するとき、選択領域の出力画像を生成するときよりも画質の低下した歪み補正を行うものである。

また、この発明に係る画像処理方法やプログラムおよび記録媒体は、出力画像に選択領域を設けるステップと、選択領域を除く領域の出力画像を生成するとき、選択領域の出力画像を生成するときよりも画質の低下した歪み補正を行うステップを有するものである。

この発明においては、例えば選択領域を除く領域を出力画像の全体として歪み補正を粗く行い、その後に選択領域の出力画像を生成する。画質の低下した歪み補正では、１あるいは複数画素間隔で出力画像の画素に対応する広視野画像上の画素位置を算出して、該算出した画素位置の画素信号を前記出力画像の対応する画素の信号とするマッピング処理を行って、歪みを生じた広視野画像から歪み補正された出力画像を生成する。選択領域では各画素についてマッピング処理を行い、歪みを生じた広視野画像から歪み補正された出力画像を生成する。また、マッピング処理の行われていない画素の画素信号として、マッピング処理の行われた画素の画素信号を用いるものとしたり、マッピング処理によって画素信号が読み出された広視野画像の画素位置と隣接する画素位置の画素信号を用いるものとする。

この発明によれば、歪みを生じた広視野画像から歪み補正された出力画像を生成する際に、選択領域を除く領域の画像を生成するときは、選択領域の画像を生成するときよりも歪み補正を粗く行われる。このため、出力画像生成時の演算量が少なくなり、高フレームレートで出力画像を生成することができる。

以下、図を参照しながら、この発明の実施の一形態について説明する。図１は画像処理装置を用いたカメラシステムの構成を示している。

撮像部１１は、撮像光学部１１１や撮像素子１１２等を用いて構成されている。撮像光学部１１１は、被写体像を撮像素子１１２の撮像面に結像させるためのものである。ここで、撮像光学部１１１は、広視野の被写体像を撮像素子１１２の撮像面に結像させるために魚眼レンズを用いて構成する。また、魚眼レンズに代えて、例えば広角レンズあるいはＰＡＬ（Panoramic Annular Lens：環状のレンズ）等を用いるものとしてもよい。さらに、筒状，お椀状あるいは円錐状等のミラーを用いて、広視野の被写体像がミラーの反射を利用して撮像素子１１２の撮像面に結像されるようにしてもよい。また、レンズやミラー等を複数組み合わせて、視野をさらに広げるようにしてもよい。

撮像素子１１２は、光を電気信号に変換する例えばＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等が用いられる。この撮像素子１１２で生成された撮像信号は、Ａ／Ｄ変換部１１３によってデジタルの画像信号に変換されて歪み補正処理部１２の入力画像バッファ１２１に供給される。

歪み補正処理部１２は、撮像部１１で得られた広視野画像から歪み補正された出力画像を生成する処理を行う。具体的には、出力画像の各画素に対応する広視野画像上の画素位置を算出して、この算出した画素位置の画素信号を出力画像の対応する画素の信号とするマッピング処理を行う。

歪み補正処理部１２の入力画像バッファ１２１は、広視野画像の画像信号を保持しておくものである。出力画像バッファ１２３は、歪み補正された出力画像を保持するものであり、歪み補正演算部１２２でマッピング処理を行うことで、入力画像バッファ１２１から読み出された画像信号が順次書き込まれる。歪み補正演算部１２２は、出力画像の各画素に対応する広視野画像上の画素位置を算出する処理を行うものである。

歪み補正演算部１２２には、入力部１３や記憶部１４，選択領域自動設定部１５が接続されている。入力部１３は、広視野画像から出力画像の範囲を切り替えるパン・チルト・ズーム動作を行うための操作入力を受け付けるためのものである。また、出力画像に対して選択領域を設定するためのものである。

選択領域とは、出力画像の一部の領域であり、選択領域を除く領域（以下「非選択領域」という）よりも良好な画質の画像となるように歪み補正を行う領域である。また、非選択領域は、歪み補正のための演算時間を短縮化するための領域であり、選択領域に比べて画質が劣化しても、この画質の劣化を許容する領域である。

選択領域の形状は、特に限定されるものではないが、歪み補正演算部で選択領域に含まれる画像であるか否かを容易に判別できる形状とすれば、歪み補正演算部での処理が容易となる。例えば矩形状とした場合、左隅角の画素位置と矩形の幅（水平方向の画素数）と高さ（垂直方向の画素数）を指定すれば、選択領域が一意に定まり、歪み補正演算部では、選択領域に含まれる画像であるか否かを容易に判別できる。また、円形状とした場合、中心の画素位置と、半径あるいは直径のサイズを指定すれば、選択領域が一意に定まり、歪み補正演算部では、選択領域に含まれる画像であるか否かを容易に判別できる。

このように選択領域を設定するためのパラメータは、ユーザが入力部１３から入力する。また、画面上に選択領域を設定するための操作画面を表示して、この操作画面上でユーザが選択領域を指定することで、パラメータが決定されるようにしてもよい。これらのパラメータは、設定情報ＪＡとして歪み補正演算部１２２に供給する。

記憶部１４は、パン・チルト・ズーム動作によって設定された出力画像の領域を設定するパラメータや、出力画像に対して選択領域を設定するパラメータ等を記憶するものである。この記憶部１４に、１つあるいは複数の選択領域のパラメータを記憶させておき、この記憶部１４からパラメータを読み出して設定情報ＪＢとして歪み補正演算部１２２に供給して、選択領域が設定されるようにしてもよい。

選択領域自動設定部１５は、選択領域を自動的に設定するものである。この選択領域自動設定部１５は、例えば画像信号ＤＶaを用いて複数フレーム画像の比較を行い動きの生じた領域を検出する。さらに、動きの生じた領域を含むように選択領域を自動的に設定して、この選択領域を示すパラメータを設定情報ＪＣとして歪み補正演算部１２２に供給する。また、選択領域自動設定部１５は、色の変化や輝度の変化が生じた領域を検出して、この検出された領域を含むように選択領域を自動的に設定するものとしてもよい。

なお、カメラシステムでは、入力部１３と記憶部１４と選択領域自動設定部１５の何れかまたは全てを設けて選択領域を設定できるようにする。

歪み補正演算部１２２は、歪みを生じた広視野画像から歪み補正された非選択領域の画像を生成するとき、選択領域の画像を生成するときよりも画質の低下した歪み補正を行う。すなわち、非選択領域の画像を生成するときは、出力画像の画素に対応する広視野画像上の画素位置を算出して、この算出した画素位置の画素信号を出力画像の対応する画素の画素信号とするマッピング処理を、１あるいは複数画素間隔で行うことで、画質の低下した歪み補正を行う。このマッピング処理によって入力画像バッファ１２１から読み出した画素信号を出力画像バッファ１２３に順次書き込むことで、出力画像バッファ１２３に歪み補正された出力画像を蓄積させる。

画像出力部１６は、歪み補正処理部１２の出力画像バッファ１２３から読み出された画像信号を、画像表示を行う表示装置（図示せず）に対応した出力フォーマットの画像信号ＤＶoutに変換して出力する。

なお、歪み補正演算部１２２や選択領域自動設定部１５等は、ハードウェアあるいはソフトウェアの何れで構成するものとしてもよい。

次に、歪み補正処理の原理について説明する。撮像光学部１１１で生じた歪みを補正する歪み補正処理の手法としては、幾何学的補正が用いられ、例えば歪のある系の二次元座標から歪のない二次元直交座標系に変換するような一般的なアルゴリズムが用いられる。この場合、その変換式や変換テーブルが図示しないＲＯＭやその他のメモリ等に保存されていればよい。また、そのような歪み補正に限られず、他の公知の歪み補正が用いられてもよい。

撮像光学部１１１に魚眼レンズ等が用いられて、図２に示すように視野が半球状の球面５１として示すことができるとき、撮像素子１１２で得られる撮像信号は、円形状の広視野画像Ｇcを示すものとなる。ここで、出力画像の視野範囲である出力領域ＯＢsを設定すると、この出力領域ＯＢsは広視野画像Ｇcにおける領域ＡＲsに相当するものとなる。したがって、領域ＡＲsの画素信号を出力画面上の画素位置に歪みを補正した状態となるようにマッピングすることで歪み補正を行う。

図３は、レンズの像高特性を説明するための図である。図３の（Ａ)では、点Ｏを中心とする上半球視野をｙ軸方向から見て二次元表示としたものである。図中、矢印ＯＰkは例えば被写体の方向を示している。この矢印ＯＰkで示す方向に位置する被写体の結像点を点Ｑとしたとき、点Ｏから結像点Ｑまでの距離が像高Ｌhとなる。図３の（Ｂ)は、当該像高特性を例示したグラフである。横軸が角度（入射角)θ、縦軸が像高Ｌhを示している。当該データは、変換テーブルとして予めメモリに記憶されていればよい。

図４は、歪み補正処理の原理を説明するための図である。図４の（Ａ)は、出力画像の表示画面６１であり、この表示画面６１に視野範囲である出力領域ＯＢsの画像が表示されるものとする。図４の（Ｂ)は、球面５１に対して出力領域ＯＢsを設定した状態を示している。なお、出力領域ＯＢsは表示画面６１と対応するものであり、例えば出力領域ＯＢsの点Ｐは表示画面６１の画素位置ＰＸに対応する。また、出力領域ＯＢsと表示画面６１の中心をＨＯとする。図４の（Ｃ)は、図４の（Ｂ)に示す球面５１をｘ−ｙ平面上に投影した状態を示すものであり、この球面５１が投影された領域が広視野画像Ｇcの領域に相当する。

球面５１に対して設定した出力領域ＯＢs上の例えば点Ｐについて説明する。この点Ｐの位置をＰ（ｕ，ｖ，ｗ）とすると、ＯＰ＝（ｕ²＋ｖ²＋ｗ²）^1/2であることから、角度θはθ＝ａｒｃｃｏｓ[ｗ／（（ｕ²＋ｖ²＋ｗ²）^1/2）]の演算を行うことにより求めることができる。また、上述した像高特性を撮像光学部１１１について予め求めておき、角度θと像高Ｌhの変換テーブルを記憶させておけば、角度θを算出することで点Ｐに対する像高Ｌhを得ることができる。

また、点Ｐからｘ−ｙ平面に垂線をおろしたときのｘ−ｙ平面上の交点を点Ｐ’（ｕ，ｖ，０）とすると、ＯＰ’＝ＯＰ×ｓｉｎ（θ）となる。したがって、結像点Ｑ（ｘp，ｙp）は、ｘp＝ｕ×Ｌh／（（ｕ²＋ｖ²＋ｗ²）^1/2×ｓｉｎ（θ））、ｙp＝ｖ×Ｌh／（（ｕ²＋ｖ²＋ｗ²）^1/2×ｓｉｎ（θ））の位置となり、このようにして結像点Ｑ（ｘp，ｙp）を求めることができる。

また、点Ｐに対応したｘ−ｙ平面上の点Ｐ’の方向とｘ軸との角度φを求めて、角度φと像高Ｌhから結像点Ｑの位置を求めるものとしてもよい。ここで、角度φは、φ＝ａｒｃｃｏｓ[ｕ／（（ｕ²＋ｖ²）^1/2）]の演算を行うことにより求めることができる。したがって、点Ｏからｘ軸に対して角度φを成す方向に像高Ｌhだけ離れた位置が結像点Ｑとなる。

このようにして求めた結像点Ｑの画素信号を画像信号ＤＶaから得るものとして、この画素信号に基づき図４の（Ｄ)に示すように出力領域ＯＢsの点Ｐに対応する表示画面６１上の画素位置ＰＸの描画を行う。また、表示画面６１内の全ての画素位置についても同様な処理を行うことで、表示画面６１の各画素に対して、撮像光学部１１１によって生じた歪を補正した状態で画素信号をマッピングできる。なお、結像点Ｑに対応する画素信号がない場合には、結像点Ｑの周囲に位置する画素の画素信号を用いて結像点Ｑに対応する画素信号を生成すればよい。例えば結像点Ｑの周囲に位置する画素の画素信号を用いて補間等を行うことで、結像点Ｑに対応する画素信号を生成できる。このようにして、表示画面６１上の各点に対応する結像点Ｑの画素信号を入力画像バッファ１２１から読み出して、表示画面６１の各画素の信号を保持するものとした出力画像バッファ１２３に書き込むことで、歪み補正された画像の画像信号を出力画像バッファ１２３に保持させることができる。

このように歪み補正を行う場合、出力画像の各画素について対応する広視野画像上の画素位置を算出すると、すなわち、表示画面６１の各画素に対応する結像点Ｑを算出すると演算に時間を要してしまう。そこで、非選択領域の画像を生成する場合、選択領域の画像を生成する場合よりも画質が低下した歪み補正を行い、演算時間の短縮化をはかる。例えば、上述したように非選択領域では１あるいは複数画素間隔でマッピング処理を行うものとすれば、画素位置の算出回数が少なくなり、演算時間の短縮化が可能となる。

図５は、選択領域と非選択領域の歪み補正演算を説明するための図である。図５の（Ａ）は、出力画像ＧＺを示している。出力画像ＧＺには、選択領域ＧＺseが設けられており、残りの領域は非選択領域ＧＺnsとされる。非選択領域ＧＺnsでは、図５の（Ｂ）に示すように、広視野画像上の画素位置の算出を行う画素を１画素あるいは複数画素おきに設定する。なお、図５の（Ｂ）では、水平方向および垂直方向に１画素おきに広視野画像上の画素位置の算出を行う画素を設定した場合を示しており、ハッチングで示されている画素が広視野画像上の画素位置の算出を行う画素であることを示している。

このように、広視野画像上の画素位置の算出を行う画素を１画素あるいは複数画素おきに設定すれば、画素位置の算出回数が少なくなり、演算時間を短縮できる。なお、画素位置の算出が行われていない画素については、画素信号をマッピングすることができない。このため、画素位置の算出が行われてマッピングが行われている画素の画素信号を、画素位置の算出が行われていない画素の画素信号として用いる。例えば、画素位置ＰＸ(1,1)の画素信号ＤＰ(1,1)として、広視野画像上の画素信号Ｇ(x,y)をマッピングしたとき、図５の（Ｃ）に示すように画素位置ＰＸ(1,2)，ＰＸ(2,1)，ＰＸ(2,2)の画素信号ＤＰ(1,2)，ＤＰ(2,1)，ＤＰ(2,2)として、画素信号Ｇ(x,y)をコピーする。また、選択領域ＧＺseについては、図５の（Ｄ）に示すように、全ての画素に対して広視野画像上の画素位置の算出を行い画素信号のマッピングを行う。

このようにすれば、演算時間を短縮できるので、高フレームレートの補正後の画像信号を得ることが可能となる。また、注目する被写体が含まれるように選択領域ＧＺseを選択すれば、注目する被写体の画質低下を防止できる。

歪み補正では、出力画像の画素が選択領域ＧＺseの画素か非選択領域ＧＺnsの画素であるかを順次画素毎に判別しながら、歪み補正を行うものとしてもよく、出力画像全体を非選択領域ＧＺnsとして歪み補正を行ったのち、選択領域ＧＺseに含まれる画素に対して歪み補正を行うものとしてもよい。

出力画像全体を非選択領域ＧＺnsとして歪み補正を行ったのち、選択領域ＧＺseに含まれる画素に対して歪み補正を行うものとしたときには、画素毎に選択領域の画素か非選択領域の画素であるか判断する必要がないので、効率よく歪み補正を行うことができる。また、選択領域ＧＺseにおいて、出力画像全体を非選択領域ＧＺnsとして歪み補正を行ったときに広視野画像上の画素位置の算出が行われていない画素についてのみ歪み補正演算を行うものとすれば、同じ画素について歪み補正演算が繰り返されることがなく、効率よく歪み補正を行うことができる。

次に、歪み補正動作についてフローチャートを用いて説明する。図６は、出力画像全体を非選択領域として歪み補正を行ったのち、選択領域に含まれる画素に対して歪み補正を行う歪み補正全体の動作を示すフローチャートである。

ステップＳＴ１で歪み補正演算部は、非選択領域の歪み補正処理を行う。この非選択領域の歪み補正処理では、例えば出力画像ＧＺの全体を非選択領域ＧＺnsとして歪み補正を行いステップＳＴ２に進む。ステップＳＴ２で歪み補正演算部は、選択領域ＧＺseの歪み補正を行い歪み補正処理を終了する。

図７は、出力画像に設けた選択領域を示している。出力画像の画素位置はＰＸ(x,y)として示すものとし、左上角の画素をＰＸ(0,0)とする。出力画像のサイズは水平方向を幅Ｗ、垂直方向を高さＨとする。選択領域ＧＺseは例えば矩形状として、左上角の画素をＰ(u0,v0)とする。選択領域のサイズは水平方向を幅Ｗs、垂直方向を高さＨsとする。

図８は、非選択領域の歪み補正動作を示すフローチャートである。ステップＳＴ１１で補正演算部は、出力画像とする視野範囲の設定を行う。補正演算部は、上述の出力領域ＯＢsを設定してステップＳＴ１２に進む。

ステップＳＴ１２で補正演算部は、垂直方向の座標値を示す変数ｙの初期化を行い、「ｙ＝０」に設定してステップＳＴ１３に進む。

ステップＳＴ１３で補正演算部は、歪み補正演算が垂直方向の最終画素まで完了したか否かを判別する。ここで、変数ｙの値が垂直方向の高さＨ以上となっていないときにはステップＳＴ１４に進む。

ステップＳＴ１４で補正演算部は、水平方向の座標値を示す変数ｘの初期化を行い、「ｘ＝０」に設定してステップＳＴ１５に進む。

ステップＳＴ１５で補正演算部は、歪み補正演算が水平方向の最終画素まで完了したか否かを判別する。ここで、変数ｘの値が水平方向の幅Ｗ以上となっていないときにはステップＳＴ１６に進む。

ステップＳＴ１６で補正演算部は、歪み補正演算を行い、出力画像の画素位置ＰＸ(x,y)に対応する広視野画像上の画素位置を算出してステップＳＴ１７に進む。

ステップＳＴ１７で補正演算部は、画素信号のマッピング処理を行い、ステップＳＴ１６で算出した画素位置の画素信号Ｇ(jx,ky)を読み出して、画像位置ＰＸ(x,y)の画素信号ＤＰ(x,y)とする。また、読み出した画素信号Ｇ(jx,ky)を画素位置の演算を行っていない画素の画素信号としてコピーする。すなわち画像位置Ｐ(x+1,y)の画素信号ＤＰ(x+1,y)を画素信号Ｇ(jx,ky)、画像位置Ｐ(x,y+1)の画素信号ＤＰ(x,y+1)を画素信号Ｇ(jx,ky)、画像位置Ｐ(x+1,y+1)の画素信号ＤＰ(x+1,y+1)を画素信号Ｇ(jx,ky)としてステップＳＴ１８に進む。

ステップＳＴ１８で補正演算部は、１画素おきに画素位置の演算を行うことから変数ｘに「２」を加算して新たな変数ｘの値としてステップＳＴ１５に戻る。

このようにステップＳＴ１５からステップＳＴ１８の処理を繰り返すと、歪み補正処理が出力画像の水平方向に順次行われるものとなり、１ライン分の歪み補正処理が完了すると、変数ｘの値は出力画像の幅Ｗ以上の値となる。したがってステップＳＴ１５からステップＳＴ１９に進む。

ステップＳＴ１９で補正演算部は、１画素おきに画素位置の演算を行うことから変数ｙに「２」を加算して新たな変数ｙの値としてステップＳＴ１３に戻る。したがって、ステップＳＴ１３からステップＳＴ１９の処理を繰り返すと、１ライン分の歪み補正処理が１ラインおきに、垂直方向に順次行われることとなる。その後、全ての歪み補正処理が完了すると、変数ｙの値は出力画像の高さＨ以上の値となり、ステップＳＴ１３で変数ｙの値が出力画像の高さＨ以上と判別されて非選択領域の歪み補正動作が終了する。

図９は、選択領域の歪み補正動作を示すフローチャートである。ステップＳＴ２１で補正演算部は、選択領域の設定を行いステップＳＴ２２に進む。

ステップＳＴ２２で補正演算部は、垂直方向の座標値を示す変数ｙを選択領域の最初の画素位置「ｙ＝ｖ０」に設定してステップＳＴ２３に進む。

ステップＳＴ２３で補正演算部は、歪み補正演算が選択領域における垂直方向の最終画素まで完了したか否かを判別する。ここで、変数ｙの値が選択領域の垂直方向の画素位置ｖ０に選択領域の高さＨsを加算した値以上となっていないときにはステップＳＴ２４に進む。

ステップＳＴ２４で補正演算部は、水平方向の座標値を示す変数ｘを選択領域の最初の画素位置「ｘ＝ｕ０」に設定してステップＳＴ２５に進む。

ステップＳＴ２５で補正演算部は、歪み補正演算が選択領域における水平方向の最終画素まで完了したか否かを判別する。ここで、変数ｘの値が選択領域の水平方向の画素位置ｕ０に選択領域の幅Ｗsを加算した値以上となっていないときにはステップＳＴ２６に進む。

ステップＳＴ２６で補正演算部は、歪み補正演算を行い、出力画像の画素位置ＰＸ(x,y)に対応する広視野画像上の画素位置を算出してステップＳＴ２７に進む。

ステップＳＴ２７で補正演算部は、画素信号のマッピング処理を行い、ステップＳＴ２６で算出した画素位置の画素信号Ｇ(jx,ky)を読み出して、画素位置ＰＸ(x,y)の画素信号ＤＰ(x,y)としてステップＳＴ２８に進む。

ステップＳＴ２８で補正演算部は、選択領域おいて全ての画素位置の演算を行うことから変数ｘに「１」を加算して新たな変数ｘの値としてステップＳＴ２５に戻る。

このようにステップＳＴ２５からステップＳＴ２８の処理を繰り返すと、歪み補正処理が選択領域の水平方向に順次行われるものとなり、選択領域の１ライン分の歪み補正処理が完了すると、変数ｘの値は値「Ｗs＋ｕ０」以上の値となる。したがってステップＳＴ２５からステップＳＴ２９に進む。

ステップＳＴ２９で補正演算部は、選択領域おいて全ての画素位置の演算を行うことから変数ｙに「１」を加算して新たな変数ｙの値としてステップＳＴ２３に戻る。したがって、ステップＳＴ２３からステップＳＴ２９の処理を繰り返すと、１ライン分の歪み補正垂直方向にライン毎に順次行われることとなる。その後、選択領域の全てについて歪み補正処理が完了すると、変数ｙの値は値「Ｈs＋ｖ０」以上の値となり、ステップＳＴ２３で変数ｙの値が値「Ｈs＋ｖ０」以上と判別されて選択領域の歪み補正動作が終了する。

ところで、上述の非選択領域の歪み補正動作では、図５の（Ｃ）で示すように、画素位置の算出が行われてマッピングが行われている画素の画素信号を、画素位置の算出が行われていない画素の画素信号として用いている。しかし、図５の（Ｃ）のように１つの画素信号を３つの画素に複写すると、非選択領域の画像は４画素単位の画像となってしまい、被写体によっては、画質の劣化が顕著となってしまうおそれがある。そこで、図１０に示すように、画素位置の算出が行われていない画素では、歪み補正演算結果に基づいて広視野画像から画素信号が読み出された画素と隣接する画素の画素信号を読み出して用いるものとする。例えば画素位置ＰＸ(1,1)が歪み補正演算の行われた画素であって、算出された広視野画素の画素位置から画素信号Ｇ(j,k)が読み出されているとき、画素位置ＰＸ(1,1)の右方向に隣接する画素位置ＰＸ(1,2)は、画素位置ＰＸ(1,1)に対応する広視野画素の画素位置から周方向に隣接する画素位置の画素信号Ｇ(j,k+1)を用いるものとする。また、画素位置ＰＸ(1,1)の下方向に隣接する画素位置ＰＸ(2,1)は、画素位置ＰＸ(1,1)に対応する広視野画素の画素位置から径方向に隣接する画素の画素信号Ｇ(j+1,k)を用いるものとする。同様に、画素位置ＰＸ(1,1)の右下方向に隣接する画素位置ＰＸ(2,2)は、画素位置ＰＸ(1,1)に対応する広視野画素の画素位置から対応する方向に隣接する画素の画素信号Ｇ(j+1,k+1)を用いるものとする。

図１１は、隣接する画素の画素信号を読み出して用いるものとした非選択領域の歪み補正動作を示すフローチャートである。なお、図１１において、図８に示すフローチャートと対応する処理は同一のステップ番号を付し、詳細な説明は省略する。

図１１において、ステップＳＴ３７で補正演算部は、画素信号のマッピング処理を行い、ステップＳＴ１６で算出した画素位置の画素信号Ｇ(jx,ky)を読み出して、画素位置ＰＸ(x,y)の画素信号ＤＰ(x,y)とする。また、読み出した画素信号Ｇ(jx,ky)の画素位置と隣接する画素を読み出して演算を行っていない画素の画素信号とする。すなわち隣接した画素から読み出した画素信号Ｇ(jx+1,ky)を画素位置ＰＸ(x+1,y)の画素信号ＤＰ(x+1,y)、画素信号Ｇ(jx,ky+1)を画素位置ＰＸ(x,y+1)の画素信号ＤＰ(x,y+1)、画素信号Ｇ(jx+1,ky+1)を画素位置ＰＸ(x+1,y+1)の画素信号ＤＰ(x+1,y+1)としてステップＳＴ１８に進む。

このようにすれば、図５に示すように画素信号を複写して用いる場合に比べて歪み補正演算量を増加させることなく、非選択領域の画像における情報量を増やすことができるので、画素信号をコピーして用いる場合に比べて非選択領域の画像の画質を向上させることができる。

また、非選択領域において、画素位置の算出を行う画素の間隔を、選択領域から離れるに伴い広くすると、画素位置の算出回数がさらに少なくなることから、演算時間を更に削減できる。このようにして演算回数を削減したときには、選択領域に近い部分では画質の劣化が少ないものとなるので、選択領域と非選択領域の境界部分が目立って出力画像の品位が低下してしまうことを防止することもできる。

さらに、上述の実施の形態では、選択領域の全ての画素に対して広視野画像上における画素位置の算出を行い、非選択領域については１あるいは複数画素間隔で広視野画像上における画素位置の算出を行うものとしたが、選択領域についても１あるいは複数画素間隔で広視野画像上における画素位置の算出を行うものとしてもよい。この場合、非選択領域では選択領域よりも広い画素間隔で広視野画像上における画素位置の算出を行うものとする。

ところで、歪み補正処理部１２は、撮像部１１で生成された画像信号ＤＶaを処理する場合に限られるものではなく、記憶装置に記憶されている画像信号の歪み補正を行う場合にも適用できる。

図１２は、本発明のさらに別の実施の形態を示すブロック図である。この画像処理システムでは、上述の撮像部１１がなく、記憶装置２１を備えている。記憶装置２１には、例えば上述のように広視野画像が予め記憶されている。歪み補正処理部１２は、記憶装置２１から広視野画像の画像信号ＤＶmを読み出して上述のような処理を行うことで、出力画像生成時の演算量を軽減し、歪みの補正された出力画像を高フレームレートで生成することができる。

このように、歪み補正処理部１２では、歪みを生じた広視野画像から歪み補正された出力画像を生成する際に、非選択領域の画像を生成するときは、選択領域の画像を生成するときよりも画質の低下した歪み補正を行うことで、出力画像生成時の演算量が少なくなり、高フレームレートで出力画像を生成することができる。また、出力画像生成時の演算量が少なくなることから、消費電力を少なくすることも可能となる。

また、歪み補正処理部１２では、非選択領域の出力画像を生成する場合、選択領域の出力画像を生成するときよりも画質の低下した歪み補正を行う第１の動作モードと画質を低下させることなく歪み補正を行う第２の動作モードを切り替え可能とする。この場合、歪み補正処理部１２の動作モードを第１の動作モードに設定すれば、歪み補正がなされた高フレームレートの出力画像を得ることができる。また、歪み補正処理部１２の動作モードを第２の動作モードに設定すれば、全体が良好な画質である出力画像を得ることができる。このため、画像処理装置では、自由度の高い歪み補正動作が可能となる。

さらに、出力画像では、歪み補正画像を表示するだけでなく、広視野画像を合わせて表示するものとして、この広視野画像で出力画像の領域を識別可能とすれば、広視野画像の何れの領域が歪み補正されて出力されているか容易に判別できる。また、広視野画像で選択領域も識別可能とすれば、出力画像において選択領域がどのように設けられているか確認することが可能となる。

図１３は、画像処理部の他の構成として、広視野画像を合わせて出力する場合を示している。なお、図１３において、図１と対応する部分については同一符号を付し、詳細な説明は省略する。

画像抽出処理部１２４は、画像信号ＤＶaから広視野画像Ｇcの画像信号ＤＶcを抽出して表示識別処理部１２５に供給する。ここで、広視野画像Ｇcは、図２に示すように、撮像素子１１２における撮像面上の一部の領域を示すものであり、撮像光学部１１１によって決定される。このため、撮像面上の広視野画像Ｇcの領域が固定している場合は、画像信号ＤＶaから所定の画素位置の画素信号を抽出することで、広視野画像Ｇcの領域の画素信号を得ることができる。また、撮像光学部１１１が交換可能で撮像面上の広視野画像Ｇcの領域が変化する場合、あるいは撮像光学部１１１の光学特性が変更できるようになされているため撮像面上の広視野画像Ｇcの領域が変化する場合、撮像面上の広視野画像Ｇcの領域を予め判別しておき、判別されている広視野画像Ｇcの領域の画素信号を抽出する。広視野画像Ｇcの領域の判別は、例えば撮像光学部１１１の視野内が全て白色の被写体となるようにして撮像を行い、画像信号ＤＶaが白色のレベルとなる画素位置を検出する。このようにすれば、容易に広視野画像Ｇcの領域を判別することができる。

表示識別処理部１２５は、広視野画像Ｇcにおいて、入力部１３から供給された設定情報ＪＡや記憶部１４から読み出した設定情報ＪＢに基づき、この設定情報ＪＡ，ＪＢよって示された出力画像の視野領域と対応する領域ＡＲsを、ユーザが容易に識別できるように処理する。例えば表示識別処理部１２５は、領域ＡＲsと領域ＡＲsでない領域との境界を示す境界表示を設けるものとしたり、領域ＡＲsを除いた領域の輝度や色を変更して、領域ＡＲsが識別可能となるように表示制御を行う。また、設定情報ＪＡ，ＪＢや選択領域自動設定部１５から供給された設定情報ＪＣによって示された選択領域ＧＺseと対応する出力画像ＧＺ上の領域ＡＲseを、領域ＡＲsと同様にユーザが容易に識別できるように処理する。このような画像処理を行い、広視野画像Ｇcにおいて、領域ＡＲsや領域ＡＲseが識別可能とされている画像（以下「全体画像Ｇcp」という）の画像信号ＤＶcpを生成して出力画像処理部１２６に供給する。なお、表示識別処理部１２５は、領域ＡＲsの識別処理や領域ＡＲseの識別処理を、設定情報ＪＡ，ＪＢ，ＪＣによって選択的に実行するようにすれば、所望に応じて領域ＡＲs，ＡＲseを識別可能に表示させることができる。

出力画像処理部１２６は、出力画像バッファ１２３から読み出された画像信号ＤＶbと表示識別処理部１２５から供給された画像信号ＤＶcpに基づき、歪み補正された出力画像上に全体画像Ｇcpを設けた画像の画像信号ＤＶdを生成して画像出力部１６に供給する。

図１４は出力画像に全体画像Ｇcpを含めて表示した場合の表示例を示している。なお、図１４の（Ａ）は、出力画像ＧＺを示しており、図１４の（Ｂ）は、全体画像Ｇcpを拡大して示したものである。

全体画像Ｇcpでは、出力画像ＧＺの領域や出力画像ＧＺに設けた選択領域ＧＺseが識別可能となるように表示を行う。例えば、枠表示を行うものとしたり、輝度や色等の変更を行う。このような表示を行うものとすれば、全体画像Ｇcpの何れの領域が出力画像ＧＺの領域とされているか容易に判別できる。また、出力画像ＧＺの何れの領域が選択領域ＧＺseとされているか容易に判別できる。したがって、全体画像Ｇcpにおける所望の被写体が出力画像ＧＺや選択領域ＧＺseに含まれるように領域の設定を行うものとすれば、所望の被写体の画質劣化を防止して、歪み補正がなされた高フレームレートの画像信号を得ることができる。

また、選択領域ＧＺseの設定が自動的に行われる場合、選択領域ＧＺseを識別可能に表示することで、所望の被写体の画質が劣化しないように、選択領域が設定されて歪み補正が行われているか容易に確認することが可能となる。

カメラシステムの構成を示す図である。 撮像素子に形成される被写体像を示す図である。 レンズの像高特性を説明するための図である。 歪み補正処理の原理を説明するための図である。 選択領域と非選択領域における歪み補正演算を説明するための図である。 歪み補正の全体動作を示すフローチャートである。 出力画像に設けた選択領域を示す図である。 非選択領域の歪み補正動作を示すフローチャートである。 選択領域の歪み補正動作を示すフローチャートである。 非選択領域の他の歪み補正動作を説明するための図である。 非選択領域の他の歪み補正動作を示すフローチャートである。 画像処理システムの構成を示す図である。 画像処理部の他の構成を示す図である。 出力画像に全体画像を含めて表示した場合を示す図である。

符号の説明

１１・・・撮像部、１２・・・歪み補正処理部、１３・・・入力部、１４・・・記憶部、１５・・・選択領域自動設定部、１６・・・画像出力部、２１・・・記憶装置、５１・・・球面、６１・・・表示画面、１１１・・・撮像光学部、１１２・・・撮像素子、１１３・・・Ａ／Ｄ変換部、１２１・・・入力画像バッファ、１２２・・・歪み補正演算部、１２３・・・出力画像バッファ、１２４・・・画像抽出処理部、１２５・・・表示識別処理部、１２６・・・出力画像処理部

Claims (10)

1. 歪みを生じた広視野画像から歪み補正された出力画像を生成する歪み補正処理部と、
   前記出力画像に選択領域を設ける選択領域設定部を有し、
   前記歪み補正処理部は、前記選択領域を除く領域の出力画像を生成するとき、前記選択領域の出力画像を生成するときよりも画質の低下した歪み補正を行う
   ことを特徴とする画像処理装置。
2. 前記選択領域設定部は、複数フレームの前記広視野画像を比較して、該比較結果に基づき前記選択領域を自動的に設定する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記歪み補正処理部は、前記選択領域を除く領域を出力画像の全体として歪み補正を粗く行い、その後に前記選択領域の出力画像を生成する
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記歪み補正処理部は、前記画質の低下した歪み補正を行うとき、１あるいは複数画素間隔で前記出力画像の画素に対応する広視野画像上の画素位置を算出して、該算出した画素位置の画素信号を前記出力画像の対応する画素の信号とするマッピング処理を行って、歪みを生じた広視野画像から歪み補正された出力画像を生成する
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記歪み補正処理部は、前記マッピング処理の行われていない画素の画素信号として、前記マッピング処理の行われた画素の画素信号を用いる
   ことを特徴とする請求項４記載の画像処理装置。
6. 前記歪み補正処理部は、前記マッピング処理の行われていない画素の画素信号として、前記マッピング処理によって画素信号が読み出された広視野画像の画素位置と隣接する画素位置の画素信号を用いる
   ことを特徴とする請求項４記載の画像処理装置。
7. 前記歪み補正処理部は、前記選択領域の出力画像を生成するときよりも画質の低下した歪み補正を行う第１の動作モードと、画質を低下させることなく歪み補正を行う第２の動作モードを切り替え可能に有する
   ことを特徴とする請求項１記載の画像処理装置。
8. 歪みを生じた広視野画像から歪み補正された出力画像を生成する歪み補正処理ステップと、
   前記出力画像に選択領域を設ける選択領域設定ステップを有し、
   前記歪み補正処理ステップでは、前記選択領域を除く領域の出力画像を生成するとき、前記選択領域の出力画像を生成するときよりも画質の低下した歪み補正を行う
   ことを特徴とする画像処理方法。
9. 歪みを生じた広視野画像から歪み補正された出力画像をコンピュータで生成させるプログラムであって、
   前記出力画像に選択領域を設ける選択領域設定ステップと、
   前記選択領域を除く領域の出力画像を生成するとき、前記選択領域の出力画像を生成するときよりも画質の低下した歪み補正を行う歪み補正処理ステップを備えるプログラム。
10. 歪みを生じた広視野画像から歪み補正された出力画像をコンピュータで生成させるプログラムを記録した記録媒体であって、
    前記出力画像に選択領域を設ける選択領域設定ステップと、
    前記選択領域を除く領域の出力画像を生成するとき、前記選択領域の出力画像を生成するときよりも画質の低下した歪み補正を行う歪み補正処理ステップを備えるプログラムを記録した記録媒体。

Images