JP2016005025A - 映像歪み補正装置 - Google Patents
映像歪み補正装置 Download PDFInfo
- Publication number
- JP2016005025A JP2016005025A JP2014122514A JP2014122514A JP2016005025A JP 2016005025 A JP2016005025 A JP 2016005025A JP 2014122514 A JP2014122514 A JP 2014122514A JP 2014122514 A JP2014122514 A JP 2014122514A JP 2016005025 A JP2016005025 A JP 2016005025A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- information
- vertical
- horizontal
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】垂直方向の映像歪みを補正し、回転台によりカメラを垂直方向に回転させた場合でも、映像歪みが抑えられた違和感のない映像信号を得ることができる映像歪み補正装置を提供する。
【解決手段】監視カメラ装置に関する回転台制御情報と、撮像素子のライン毎の露光タイミング情報とに基づき、垂直方向の補正情報を出力する補正情報生成部と、垂直方向の補正情報に基づき、映像信号の垂直方向の映像歪みを補正する垂直補正処理部とを備えた。
【選択図】図1
【解決手段】監視カメラ装置に関する回転台制御情報と、撮像素子のライン毎の露光タイミング情報とに基づき、垂直方向の補正情報を出力する補正情報生成部と、垂直方向の補正情報に基づき、映像信号の垂直方向の映像歪みを補正する垂直補正処理部とを備えた。
【選択図】図1
Description
この発明は、回転台を有する監視カメラ装置から出力される映像信号を補正する映像歪み補正装置に関するものである。
従来の映像歪みを補正する機能を備えた監視カメラ装置は、水平方向に回転する回転台の速度に対応する補正係数から映像の水平ラインの画素切り出し位置を決定し、この切り出し開始位置から映像記憶部に保持された映像を切り出して、出力段階で水平方向の位置揃えを行うことによって映像歪みを補正している(例えば、特許文献1参照)。
しかしながら、従来の映像歪み補正は、水平方向についてのみ補正する構成であるため、監視カメラ装置が垂直方向に回転台を回転させる場合は映像歪みが発生する。すなわち、映像信号が、垂直方向に拡大、または、縮小されて出力されるという課題があった。
この発明は上記のような課題を解決するためになされたもので、ライン露光方式の撮像素子(例えばCMOSセンサのローリングシャッタ)及び垂直方向に回転する回転台を備えた監視カメラ装置において撮影された映像信号について、垂直方向の映像歪みを補正し、回転台によりカメラを垂直方向に回転させた場合でも、映像歪みが抑えられた違和感のない映像信号を得ることができる映像歪み補正装置を提供することを目的としている。
この発明に係る映像歪み補正装置は、監視カメラ装置に関する回転台制御情報と、撮像素子のライン毎の露光タイミング情報とに基づき、垂直方向の補正情報を出力する補正情報生成部と、垂直方向の補正情報に基づき、映像信号の垂直方向の映像歪みを補正する垂直補正処理部とを備えたものである。
この発明によれば、ライン露光方式の撮像素子(例えばCMOSセンサのローリングシャッタ)及び垂直方向に回転する回転台を備えた監視カメラ装置において撮影された映像信号について、垂直方向の映像歪みを補正し、回転台によりカメラを垂直方向に回転させた場合でも、映像歪みが抑えられた違和感のない映像信号を得ることができる。
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る監視カメラ装置10の構成図である。
なお、この実施の形態1に係る監視カメラ装置10では、光学系を固定倍率で構成するものとする。
監視カメラ装置10は、監視被写体を撮像し、映像信号を出力する。監視カメラ装置10から出力された映像信号は、映像符号化装置やLAN等のネットワーク(図示しない)を介して操作部20へ配信される。操作部20では、必要に応じて監視カメラ装置10の回転台制御を行い、広範囲を監視する。
実施の形態1.
図1は、この発明の実施の形態1に係る監視カメラ装置10の構成図である。
なお、この実施の形態1に係る監視カメラ装置10では、光学系を固定倍率で構成するものとする。
監視カメラ装置10は、監視被写体を撮像し、映像信号を出力する。監視カメラ装置10から出力された映像信号は、映像符号化装置やLAN等のネットワーク(図示しない)を介して操作部20へ配信される。操作部20では、必要に応じて監視カメラ装置10の回転台制御を行い、広範囲を監視する。
図1に示すように、監視カメラ装置10は、CPU11と、回転台制御部12と、撮像素子13と、映像歪み補正部100と、メモリ17とを備える。映像歪み補正部100は、補正情報生成部14と、水平補正処理部15と、垂直補正処理部16とを備える。
CPU11は、監視カメラ装置10全体を制御する。
回転台制御部12は、CPU11によって制御され(回転台制御)、水平、垂直方向に回転台(図示しない)を回転させる。
撮像素子13は、CPU11によって制御され(撮像制御)、映像信号を出力する。
CPU11は、監視カメラ装置10全体を制御する。
回転台制御部12は、CPU11によって制御され(回転台制御)、水平、垂直方向に回転台(図示しない)を回転させる。
撮像素子13は、CPU11によって制御され(撮像制御)、映像信号を出力する。
補正情報生成部14は、CPU11から通知される回転台制御の内容と、撮像制御の内容(撮像素子13のライン毎の露光タイミング情報)とに基づき、水平、垂直方向の映像歪み量を算出し、水平補正処理部15へ水平補正係数Kh(水平方向の補正情報)、垂直補正処理部16へ垂直補正係数Kv(垂直方向の補正情報)を出力する。
水平補正処理部15は、補正情報生成部14から出力された水平補正係数Kh(水平方向の補正情報)に基づき、映像信号の水平方向の映像歪みを補正する。
垂直補正処理部16は、補正情報生成部14から出力された垂直補正係数Kv(垂直方向の補正情報)に基づき、水平補正処理部15が水平方向の映像歪みを補正した映像信号の垂直方向の映像歪みを補正する。なお、水平方向の映像歪みがない場合は、垂直方向の映像歪みのみ補正すればよい。また、垂直方向の映像歪みがない場合は、水平方向の映像歪みのみを補正すればよい。
また、水平補正処理部15と垂直補正処理部16の処理順序は任意である。また同時であってもよい。
メモリ17は、映像信号を一時的に格納する。なお、ここでは、メモリ17は、監視カメラ装置10が備えるものとしているが、これに限らず、監視カメラ装置10の外部に備えるものとしてもよい。
水平補正処理部15は、補正情報生成部14から出力された水平補正係数Kh(水平方向の補正情報)に基づき、映像信号の水平方向の映像歪みを補正する。
垂直補正処理部16は、補正情報生成部14から出力された垂直補正係数Kv(垂直方向の補正情報)に基づき、水平補正処理部15が水平方向の映像歪みを補正した映像信号の垂直方向の映像歪みを補正する。なお、水平方向の映像歪みがない場合は、垂直方向の映像歪みのみ補正すればよい。また、垂直方向の映像歪みがない場合は、水平方向の映像歪みのみを補正すればよい。
また、水平補正処理部15と垂直補正処理部16の処理順序は任意である。また同時であってもよい。
メモリ17は、映像信号を一時的に格納する。なお、ここでは、メモリ17は、監視カメラ装置10が備えるものとしているが、これに限らず、監視カメラ装置10の外部に備えるものとしてもよい。
次に動作について説明する。
操作部20は配信された監視カメラ装置10の映像を監視し、監視被写体の動きや明るさ等の環境条件に応じて監視カメラ装置10を制御し、各種映像処理や回転台操作を行う。例えば侵入監視の場合、監視被写体の動きに追従するように回転台を操作する。
操作部20は配信された監視カメラ装置10の映像を監視し、監視被写体の動きや明るさ等の環境条件に応じて監視カメラ装置10を制御し、各種映像処理や回転台操作を行う。例えば侵入監視の場合、監視被写体の動きに追従するように回転台を操作する。
図2は、この発明の実施の形態1に係る監視カメラ装置10の動作を説明するフローチャートである。
CPU11は、操作部20から制御内容を受信する(ステップST201)。
CPU11は、受信した制御内容に基づき、回転台制御部12に対し、水平、垂直の回転方向や回転速度等の回転台制御と、撮像素子13に対し、映像処理パラメータの変更制御と、適切な輝度レベルとなるように被写体の明るさに応じてシャッタ速度の変更等を行う撮像制御とを行う(ステップST202)。なお、これらCPU11から回転台制御部12、撮像素子13への制御内容(回転台制御情報、撮像制御情報)は、補正情報生成部14へも出力される。
CPU11は、操作部20から制御内容を受信する(ステップST201)。
CPU11は、受信した制御内容に基づき、回転台制御部12に対し、水平、垂直の回転方向や回転速度等の回転台制御と、撮像素子13に対し、映像処理パラメータの変更制御と、適切な輝度レベルとなるように被写体の明るさに応じてシャッタ速度の変更等を行う撮像制御とを行う(ステップST202)。なお、これらCPU11から回転台制御部12、撮像素子13への制御内容(回転台制御情報、撮像制御情報)は、補正情報生成部14へも出力される。
回転台制御部12は、CPU11からの制御内容(回転台制御情報)に基づき、設定された回転方向、回転速度で水平、垂直方向に回転台を駆動し、カメラを回転させる(ステップST203)。
撮像素子13は、CPU11からの制御内容(撮像制御情報)に基づき、レンズなどの光学系から入ってきた光を光電変換して映像信号を出力する(ステップST204)。なお、撮像素子13から出力された映像信号は、水平補正処理部15を介して一時的にメモリ17に格納される。
ここで、撮像素子13がライン露光方式の撮像素子の場合、先頭ラインと最終ラインの露光タイミングに約1フレーム間の差異が生じるため、被写体の移動または回転台による回転動作によって映像が歪む現象が知られている。
例えば、左から右へのライン露光方式で、上のラインから下のラインへの順で露光する場合、図3の被写体を撮像した状態で、回転台を右から左方向に移動させた場合、すなわち、回転台を水平方向に移動させた場合は、被写体が相対的に右に移動したことになり、図4のように、画面の下部方向になるにつれて右方向に流れた映像歪みとなる。また、同様に、回転台を上から下方向に移動させた場合、すなわち、回転台を垂直方向に移動させた場合は、被写体が相対的に上に移動したことになり、図5のように、被写体が縮小した映像となる。また、水平、垂直方向へ同時に回転台を移動させた場合は、図6のような映像となる。これらの映像歪みは回転台の移動速度に比例して大きくなる。
ここで、撮像素子13がライン露光方式の撮像素子の場合、先頭ラインと最終ラインの露光タイミングに約1フレーム間の差異が生じるため、被写体の移動または回転台による回転動作によって映像が歪む現象が知られている。
例えば、左から右へのライン露光方式で、上のラインから下のラインへの順で露光する場合、図3の被写体を撮像した状態で、回転台を右から左方向に移動させた場合、すなわち、回転台を水平方向に移動させた場合は、被写体が相対的に右に移動したことになり、図4のように、画面の下部方向になるにつれて右方向に流れた映像歪みとなる。また、同様に、回転台を上から下方向に移動させた場合、すなわち、回転台を垂直方向に移動させた場合は、被写体が相対的に上に移動したことになり、図5のように、被写体が縮小した映像となる。また、水平、垂直方向へ同時に回転台を移動させた場合は、図6のような映像となる。これらの映像歪みは回転台の移動速度に比例して大きくなる。
補正情報生成部14は、CPU11から回転台制御部12と撮像素子13へそれぞれ設定された回転台制御情報(回転台の水平、垂直方向の回転方向や回転速度)、および、撮像素子13のライン毎の露光タイミング情報(なお、この露光タイミング情報は、撮像制御情報に含まれる)に基づき、水平、垂直方向の映像歪み量を算出し、水平補正処理部15へ水平補正係数Kh、垂直補正処理部16へ垂直補正係数Kvを出力する(ステップST205)。なお、水平補正係数Kh、垂直補正係数Kvは、ライン毎の露光タイミングと回転加速度が一定であれば回転速度に比例した単調増加の直線となる。また、ここでは、水平補正係数Khを水平方向の補正情報、垂直補正係数Kvを垂直方向の補正情報とする。
図7は、図2のステップST205の動作を詳細に説明するフローチャートである。
まず、補正情報生成部14は、カメラの移動があったかどうかを判断する(ステップST701)。具体的には、CPU11から受信した回転台制御情報から、回転台制御部12に対して、カメラを回転させる制御が行われたかどうかを判断する。
ステップST701において、カメラの移動がない場合(ステップST701の“NO”の場合)、処理終了する。
ステップST701において、カメラの移動があった場合(ステップST701の“YES”の場合)、補正情報生成部14は、カメラの移動を水平方向と垂直方向へ分解する(ステップST702)。
まず、補正情報生成部14は、カメラの移動があったかどうかを判断する(ステップST701)。具体的には、CPU11から受信した回転台制御情報から、回転台制御部12に対して、カメラを回転させる制御が行われたかどうかを判断する。
ステップST701において、カメラの移動がない場合(ステップST701の“NO”の場合)、処理終了する。
ステップST701において、カメラの移動があった場合(ステップST701の“YES”の場合)、補正情報生成部14は、カメラの移動を水平方向と垂直方向へ分解する(ステップST702)。
補正情報生成部14は、カメラの水平方向の移動があったかどうかを判断する(ステップST703)。
ステップST703において、カメラの水平方向の移動がない場合(ステップST703の“NO”の場合)、ステップST704の処理はスキップし、ステップST705へ進む。
ステップST703において、カメラの水平方向の移動があった場合(ステップST703の“YES”の場合)、補正情報生成部14は、水平補正係数Khを算出する(ステップST704)。
なお、補正情報生成部14は、例えば、露光タイミング情報と、回転台の回転速度とに応じた水平方向の映像の歪みを補正する水平補正係数Khを予め記憶しており、この水平補正係数Khは、回転速度が速くなると水平補正係数Khの値も大きくなる比例関係をデータテーブルとして記憶しているものとし、このデータテーブルに基づき、水平補正係数Khを算出するようにすればよい。なお、これは一例にすぎず、補正情報生成部14は、その他の方法によって水平補正係数Khを算出するようにしてもよい。
ステップST703において、カメラの水平方向の移動がない場合(ステップST703の“NO”の場合)、ステップST704の処理はスキップし、ステップST705へ進む。
ステップST703において、カメラの水平方向の移動があった場合(ステップST703の“YES”の場合)、補正情報生成部14は、水平補正係数Khを算出する(ステップST704)。
なお、補正情報生成部14は、例えば、露光タイミング情報と、回転台の回転速度とに応じた水平方向の映像の歪みを補正する水平補正係数Khを予め記憶しており、この水平補正係数Khは、回転速度が速くなると水平補正係数Khの値も大きくなる比例関係をデータテーブルとして記憶しているものとし、このデータテーブルに基づき、水平補正係数Khを算出するようにすればよい。なお、これは一例にすぎず、補正情報生成部14は、その他の方法によって水平補正係数Khを算出するようにしてもよい。
補正情報生成部14は、カメラの垂直方向の移動速度が閾値以上であるかどうかを判断する(ステップST705)。「閾値以上であるかどうか」は、例えば、CPU11から回転台制御部12へ設定された回転台の回転速度に基づき、垂直方向の移動が存在するかどうか、すなわち、「移動速度が0より大きいかどうか」とすればよい。また、例えば、CPU11から撮像素子13へ設定された露光タイミング情報に基づき、「1画面の露光に要する時間に、既定ライン以上移動する場合であるかどうか」としてもよい。なお、既定ラインとは、例えば、1ラインである。
「1画面の露光に要する時間に、既定ライン以上移動する場合であるかどうか」での判定は、「移動速度が0より大きいかどうか」での判定と比較して、実際に画面歪みに影響が出る場合に、歪み補正(画像処理)を実施するため、処理負荷軽減の効果を得ることができる。
「1画面の露光に要する時間に、既定ライン以上移動する場合であるかどうか」での判定は、「移動速度が0より大きいかどうか」での判定と比較して、実際に画面歪みに影響が出る場合に、歪み補正(画像処理)を実施するため、処理負荷軽減の効果を得ることができる。
なお、ここでは、「閾値以上であるかどうか」は、例えば、「移動速度が0より大きいかどうか」、または、「1画面の露光に要する時間に、既定ライン以上移動する場合であるかどうか」とすることができるとしたが、これは一例であり、「閾値以上であるかどうか」の基準については適宜設定可能である。
ステップST705において、カメラの垂直方向の移動が閾値以上でなかった場合(ステップST705の“NO”の場合)、すなわち、カメラの垂直方向の移動が閾値未満であった場合、ステップST706の処理はスキップし、ステップST707へ進む。
補正情報生成部14は、垂直補正係数Kvを算出する(ステップST706)。
補正情報生成部14は、ステップST704において算出した水平補正係数Khと、ステップST706において算出した垂直補正係数Kvとを、それぞれ、水平補正処理部15、垂直補正処理部16に出力する(ステップST707)。
補正情報生成部14は、垂直補正係数Kvを算出する(ステップST706)。
補正情報生成部14は、ステップST704において算出した水平補正係数Khと、ステップST706において算出した垂直補正係数Kvとを、それぞれ、水平補正処理部15、垂直補正処理部16に出力する(ステップST707)。
ここで、垂直補正係数Kvの算出式の具体例を説明する。
1画面の露光に要する時間に、カメラの垂直方向の移動をライン数に置き換えた値を移動ライン数とすると、垂直補正係数Kvは、1画面の総ライン数と、移動ライン数とを変数とする関数となる。
例えば、
総ライン数 / (総ライン数 - 移動ライン数)
となる。
具体的には、例えば、総ライン数1125本(HD)の画像サイズで考えると、1画面の露光に要する時間にカメラが、563ライン移動した場合、
垂直補正係数Kv=1125/(1125−563)≒2.0
となる。すなわち、実際の歪み補正では、約2倍に拡大する。
また、1画面の露光に要する時間にカメラが、1ライン移動した場合、
垂直補正係数Kv=1125/(1125−1)≒1.0009
となる。すなわち、実際の歪み補正では、約1.0009倍に拡大する。
1画面の露光に要する時間に、カメラの垂直方向の移動をライン数に置き換えた値を移動ライン数とすると、垂直補正係数Kvは、1画面の総ライン数と、移動ライン数とを変数とする関数となる。
例えば、
総ライン数 / (総ライン数 - 移動ライン数)
となる。
具体的には、例えば、総ライン数1125本(HD)の画像サイズで考えると、1画面の露光に要する時間にカメラが、563ライン移動した場合、
垂直補正係数Kv=1125/(1125−563)≒2.0
となる。すなわち、実際の歪み補正では、約2倍に拡大する。
また、1画面の露光に要する時間にカメラが、1ライン移動した場合、
垂直補正係数Kv=1125/(1125−1)≒1.0009
となる。すなわち、実際の歪み補正では、約1.0009倍に拡大する。
図2のフローチャートに戻る。
水平補正処理部15は、水平方向の映像歪みを補正する(ステップST206)。具体的には、水平補正処理部15は、ステップST205において補正情報生成部14から出力された水平補正係数Khに基づき、ライン毎の映像歪み画素数を算出し、映像信号を格納したメモリ17から映像信号を読み出す際にライン毎に読み出し開始位置を制御し、水平方向の映像歪みを補正する。なお、補正された映像信号は、垂直補正処理部16に出力される。
水平補正処理部15は、水平方向の映像歪みを補正する(ステップST206)。具体的には、水平補正処理部15は、ステップST205において補正情報生成部14から出力された水平補正係数Khに基づき、ライン毎の映像歪み画素数を算出し、映像信号を格納したメモリ17から映像信号を読み出す際にライン毎に読み出し開始位置を制御し、水平方向の映像歪みを補正する。なお、補正された映像信号は、垂直補正処理部16に出力される。
図8は、水平方向の映像歪みの補正後のイメージを説明する図である。
図8において、例えば、読み出し開始位置を40画素分左に移動したとすると、水平補正処理部15は、図8の白丸から黒丸へ、読み出し開始位置を制御する。
しかしながら、この場合、図8の801の画素の読み出し位置を白丸801から黒丸801へ変更する場合は問題ないが、802の画素の読み出し位置を白丸802から黒丸802へ変更する場合は、当該1画像の中では画素が不足(欠落)する。実施の形態1では、この不足分の画素を、1フレーム前の画面(黒丸の位置)の画素データを用いることで解決する。なお、不足した画素と同じ位置の画素を用いることとする。
図8において、例えば、読み出し開始位置を40画素分左に移動したとすると、水平補正処理部15は、図8の白丸から黒丸へ、読み出し開始位置を制御する。
しかしながら、この場合、図8の801の画素の読み出し位置を白丸801から黒丸801へ変更する場合は問題ないが、802の画素の読み出し位置を白丸802から黒丸802へ変更する場合は、当該1画像の中では画素が不足(欠落)する。実施の形態1では、この不足分の画素を、1フレーム前の画面(黒丸の位置)の画素データを用いることで解決する。なお、不足した画素と同じ位置の画素を用いることとする。
垂直補正処理部16は、垂直方向の映像歪みを補正する(ステップST207)。具体的には、垂直補正処理部16は、ステップST205において補正情報生成部14から出力された垂直補正係数Kvに基づき拡大、縮小倍率を算出し、ステップST206において水平補正処理部15から出力された映像信号を画素補間や画素間引き等で拡大、縮小する。
図9は、垂直方向の映像歪みの補正後のイメージを説明する図である。
例えば、ここでは、水平、垂直方向へ同時、すなわち、カメラが斜めに移動するように回転台を移動させたとすると、図6で示したような映像となる。この場合、ステップST206で図8を用いて説明したように、図6から水平方向の映像歪みの補正を行うと、図9(a)に示すような映像信号となり、ステップST207においては、垂直補正係数Kvに基づいて算出された拡大倍率に応じて、図9(b)に示すように、水平方向の映像歪み補正後の映像を拡大することで垂直方向の映像歪みが補正される。
なお、ここでは、映像を拡大することで、垂直方向に映像歪みが補正される例について説明したが、これに限らず、映像歪みに応じて、映像を縮小して垂直方向の映像歪みを補正するようにすることもできる。
例えば、ここでは、水平、垂直方向へ同時、すなわち、カメラが斜めに移動するように回転台を移動させたとすると、図6で示したような映像となる。この場合、ステップST206で図8を用いて説明したように、図6から水平方向の映像歪みの補正を行うと、図9(a)に示すような映像信号となり、ステップST207においては、垂直補正係数Kvに基づいて算出された拡大倍率に応じて、図9(b)に示すように、水平方向の映像歪み補正後の映像を拡大することで垂直方向の映像歪みが補正される。
なお、ここでは、映像を拡大することで、垂直方向に映像歪みが補正される例について説明したが、これに限らず、映像歪みに応じて、映像を縮小して垂直方向の映像歪みを補正するようにすることもできる。
このように、水平、垂直方向へ同時、すなわち、カメラが斜めに移動するように回転台を移動させた場合における歪み補正では、補正情報生成部14が、カメラの移動を水平方向と垂直方向へ分解してそれぞれ算出した歪み補正係数(ステップST205,図7)に基づき、水平、垂直各々に対して歪み補正を実行する。
なお、ここでは、水平方向、垂直方向へ同時、すなわち、カメラが斜めに移動するように回転台を移動させた場合を例に説明したが、これに限らず、垂直方向のみへ移動する場合であれば、垂直補正処理部16が、メモリ17から読み出した映像信号に対し、垂直方向のみに対する歪み補正を実行するようにすればよい。
なお、ここでは、水平方向、垂直方向へ同時、すなわち、カメラが斜めに移動するように回転台を移動させた場合を例に説明したが、これに限らず、垂直方向のみへ移動する場合であれば、垂直補正処理部16が、メモリ17から読み出した映像信号に対し、垂直方向のみに対する歪み補正を実行するようにすればよい。
以上のように、この実施の形態1によれば、回転台の移動により生じた映像歪みについて水平、垂直方向を同時に補正することができ、回転台によりカメラを回転させた場合でも、映像歪みが抑えられた違和感のない映像信号を得ることができる。
なお、上記説明では、カメラの移動の水平方向がラインの向き、カメラの移動の垂直方向がラインと垂直の向きとして説明したが、この組み合わせについては、カメラの移動がより頻繁な方向と、ラインの向きを対応させるようにするのがよい。これは、歪み補正精度(画質)は、ラインの向きの移動に対する歪み補正で用いる「読み出し開始位置の制御」の方が高いからである。「読み出し開始位置の制御」は、基本的には、出画位置の調整のみのため、解像度の劣化が少ない。これに対し、ラインに垂直の向きの移動に対する歪み補正で用いる「画素補間」は、ないデータを補間することになるため、解像度の劣化が大きいからである。
実施の形態2.
実施の形態1では光学系を固定倍率で構成したものを示したが、この実施の形態2では、撮像素子の前に可変ズームレンズを備える構成とする実施の形態について説明する。
図10は、この発明の実施の形態2に係る監視カメラ装置30の構成図である。
図10において、実施の形態1で図1を用いて説明したものと同様の構成については、同じ符号を付して重複した説明を省略する。
図10の監視カメラ装置30は、図1で説明した監視カメラ装置10とは、可変ズームレンズ18をさらに備えた点が異なるのみである。
可変ズームレンズ18は、CPU11からの制御によりズーム倍率の変更を行う。
この実施の形態2においては、回転台の水平、垂直方向の回転方向や回転速度と、撮像素子13のライン毎の露光タイミング情報とに加えて、可変ズームレンズ18のズーム倍率に応じて映像歪みを補正する。
実施の形態1では光学系を固定倍率で構成したものを示したが、この実施の形態2では、撮像素子の前に可変ズームレンズを備える構成とする実施の形態について説明する。
図10は、この発明の実施の形態2に係る監視カメラ装置30の構成図である。
図10において、実施の形態1で図1を用いて説明したものと同様の構成については、同じ符号を付して重複した説明を省略する。
図10の監視カメラ装置30は、図1で説明した監視カメラ装置10とは、可変ズームレンズ18をさらに備えた点が異なるのみである。
可変ズームレンズ18は、CPU11からの制御によりズーム倍率の変更を行う。
この実施の形態2においては、回転台の水平、垂直方向の回転方向や回転速度と、撮像素子13のライン毎の露光タイミング情報とに加えて、可変ズームレンズ18のズーム倍率に応じて映像歪みを補正する。
次に動作について説明する。
監視カメラ装置30は、監視被写体を撮像し、映像信号を出力する。監視カメラ装置30から出力された映像信号は、映像符号化装置やLAN等のネットワークを介して操作部20へ配信される。操作部20では、監視被写体の動きや明るさ等の環境条件に応じて監視カメラ装置30を制御し、各種映像処理や回転台操作に加えて、ズーム倍率の変更を行う。
監視カメラ装置30は、監視被写体を撮像し、映像信号を出力する。監視カメラ装置30から出力された映像信号は、映像符号化装置やLAN等のネットワークを介して操作部20へ配信される。操作部20では、監視被写体の動きや明るさ等の環境条件に応じて監視カメラ装置30を制御し、各種映像処理や回転台操作に加えて、ズーム倍率の変更を行う。
図11は、この発明の実施の形態2に係る監視カメラ装置30の動作を説明するフローチャートである。
CPU11は、操作部20から制御内容を受信する(ステップST1101)。
CPU11は、受信した制御内容に基づき、回転台制御部12に対し、水平、垂直の回転方向や回転速度等の回転台制御と、撮像素子13に対し、映像処理パラメータの変更制御と、適切な輝度レベルとなるように被写体の明るさに応じてシャッタ速度の変更等を行う撮像制御と、可変ズームレンズ18に対しズーム倍率の変更の指示(レンズ制御)とを行う(ステップST1102)。なお、これらCPU11から回転台制御部12、撮像素子13、可変ズームレンズ18への制御内容(回転台制御情報、撮像制御情報、レンズ制御情報)は、補正情報生成部14へも出力される。
CPU11は、操作部20から制御内容を受信する(ステップST1101)。
CPU11は、受信した制御内容に基づき、回転台制御部12に対し、水平、垂直の回転方向や回転速度等の回転台制御と、撮像素子13に対し、映像処理パラメータの変更制御と、適切な輝度レベルとなるように被写体の明るさに応じてシャッタ速度の変更等を行う撮像制御と、可変ズームレンズ18に対しズーム倍率の変更の指示(レンズ制御)とを行う(ステップST1102)。なお、これらCPU11から回転台制御部12、撮像素子13、可変ズームレンズ18への制御内容(回転台制御情報、撮像制御情報、レンズ制御情報)は、補正情報生成部14へも出力される。
回転台制御部12は、CPU11からの制御内容(回転台制御情報)に基づき、設定された回転方向、回転速度で水平、垂直方向に回転台を駆動し、カメラを回転させる(ステップST1103)。具体的な動作は、実施の形態1で説明した図2のステップST203と同様である。
撮像素子13は、CPU11からの制御内容(撮像制御情報)に基づき、レンズなどの光学系から入ってきた光を光電変換して映像信号を出力する(ステップST1104)。具体的な動作は、実施の形態1で説明した図2のステップST204と同様である。
なお、ここで、この実施の形態2においては、光学系に可変ズームレンズ18を搭載しているため、可変ズームレンズ18への制御内容(レンズ制御情報)に基づくズーム倍率により回転台を移動させた場合の映像歪みの大きさが変動する。例えば、ズーム倍率を2倍にすると回転台を回転させた場合の映像歪みの大きさもズーム倍率1倍のときの2倍となる。
補正情報生成部14は、CPU11から回転台制御部12へ設定された回転台の水平、垂直方向の回転方向や回転速度(回転台制御情報)、撮像素子13のライン毎の露光タイミング情報、および、可変ズームレンズ18のズーム倍率に基づき、水平、垂直方向の映像歪み量を算出して、水平補正処理部15へ水平補正係数Khを出力し、垂直補正処理部16へ垂直補正係数Kvを出力する(ステップST1105)。具体的な動作は、実施の形態1で説明した図2のステップST205および図7の動作と同様の動作に加え、この実施の形態2では、CPU11から可変ズームレンズ18へ設定されたズーム倍率の情報も考慮し、水平補正係数Kh、垂直補正係数Kvを算出する点が実施の形態1とは異なる。
例えば、水平補正係数Kh算出の際には、ズーム倍率が大きくなると水平補正係数Khも大きくなるような比例関係をデータテーブルとして記憶しておき、このデータテーブルに基づいて水平補正係数Khを算出するようにすればよい。また、例えば、垂直補正係数Kv算出の際には、ズーム倍率が大きくなるのに比例して大きくなる係数を乗算して垂直補正係数Kvを算出するようにすればよい。なお、これは一例にすぎず、その他の方法で、ズーム倍率の情報を考慮した水平補正係数Kh、垂直補正係数Kvを算出するようにすることもできる。
水平補正係数Kh、垂直補正係数Kvはライン毎の露光タイミングと回転加速度が一定であれば回転速度とズーム倍率の乗算結果に比例した単調増加の直線となる。
水平補正係数Kh、垂直補正係数Kvはライン毎の露光タイミングと回転加速度が一定であれば回転速度とズーム倍率の乗算結果に比例した単調増加の直線となる。
水平補正処理部15は、水平方向の映像歪みを補正する(ステップST1106)。具体的な動作は、実施の形態1で説明した図2のステップST206の動作と同様である。
なお、補正された映像信号は、垂直補正処理部16に出力される。
垂直補正処理部16は、垂直方向の映像歪みを補正する(ステップST1107)。具体的な動作は、実施の形態1で説明した図2のステップST207の動作と同様である。
なお、補正された映像信号は、垂直補正処理部16に出力される。
垂直補正処理部16は、垂直方向の映像歪みを補正する(ステップST1107)。具体的な動作は、実施の形態1で説明した図2のステップST207の動作と同様である。
以上のように、この実施の形態2によれば、可変ズームレンズ18のズーム倍率が変動し、回転台によりカメラを回転させた場合でも、映像歪みが抑えられた違和感のない映像信号を得ることができる。
なお、この実施の形態2において、補正情報生成部14は可変ズームレンズ18のズーム倍率に応じて水平補正係数Kh、垂直補正係数Kvを算出したが、電子ズームを備えた監視カメラ装置30においては電子ズーム倍率を含んだズーム倍率で補正係数を算出することで同様の映像歪み補正を行うことができる。
なお、この実施の形態1,2において、映像歪み補正部100は、監視カメラ装置10,30が備える構成としたが、これに限らず、映像歪み補正部100を監視カメラ装置10,30の外部に備えるものとしてもよい。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
また、実施の形態1,2における監視カメラ装置10,30の制御に用いられる各部は、ソフトウェアに基づくCPUを用いたプログラム処理によって実行される。
また、実施の形態1,2における監視カメラ装置10,30の制御に用いられる各部は、ソフトウェアに基づくCPUを用いたプログラム処理によって実行される。
10,30 監視カメラ装置、11 CPU、12 回転台制御部、13 撮像素子、14 補正情報生成部、15 水平補正処理部、16 垂直補正処理部、17 メモリ、18 可変ズームレンズ、100 映像歪み補正部。
Claims (7)
- 監視カメラ装置に関する回転台制御情報と、撮像素子のライン毎の露光タイミング情報とに基づき、垂直方向の補正情報を出力する補正情報生成部と、
前記垂直方向の補正情報に基づき、映像信号の垂直方向の映像歪みを補正する垂直補正処理部とを備えた映像歪み補正装置。 - 水平方向の補正情報に基づき、前記映像信号の水平方向の映像歪みを補正する水平補正処理部をさらに備え、
前記補正情報生成部は、前記回転台制御情報と、前記撮像素子のライン毎の露光タイミング情報とに基づき、前記水平方向の補正情報と、前記垂直方向の補正情報とを出力し、
前記垂直補正処理部は、前記垂直方向の補正情報に基づき、前記映像信号の垂直方向の映像歪みを補正する
ことを特徴とする請求項1記載の映像歪み補正装置。 - 前記垂直補正処理部は、前記映像信号に対し、画素補間による拡大、または、画素間引きによる縮小を行うことで、前記垂直方向の映像歪みを補正する
ことを特徴とする請求項1または請求項2記載の映像歪み補正装置。 - 前記補正情報生成部は、前記回転台制御情報と、前記撮像素子のライン毎の露光タイミング情報と、ズームレンズの倍率情報とに基づき、前記垂直方向の補正情報を出力する
ことを特徴とする請求項1記載の映像歪み補正装置。 - 前記補正情報生成部は、前記回転台制御情報と、前記撮像素子のライン毎の露光タイミング情報と、ズームレンズの倍率情報とに基づき、前記水平方向の補正情報と、前記垂直方向の補正情報とを出力する
ことを特徴とする請求項2記載の映像歪み補正装置。 - 前記補正情報生成部は、前記回転台制御情報と、前記撮像素子のライン毎の露光タイミング情報と、電子ズームの倍率情報とに基づき、前記垂直方向の補正情報を出力する
ことを特徴とする請求項1記載の映像歪み補正装置。 - 前記補正情報生成部は、前記回転台制御情報と、前記撮像素子のライン毎の露光タイミング情報と、電子ズームの倍率情報とに基づき、前記水平方向の補正情報と、前記垂直方向の補正情報とを出力する
ことを特徴とする請求項2記載の映像歪み補正装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014122514A JP2016005025A (ja) | 2014-06-13 | 2014-06-13 | 映像歪み補正装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014122514A JP2016005025A (ja) | 2014-06-13 | 2014-06-13 | 映像歪み補正装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016005025A true JP2016005025A (ja) | 2016-01-12 |
Family
ID=55224050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014122514A Pending JP2016005025A (ja) | 2014-06-13 | 2014-06-13 | 映像歪み補正装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016005025A (ja) |
-
2014
- 2014-06-13 JP JP2014122514A patent/JP2016005025A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2501125A1 (en) | Imaging device, imaging means and program | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2014168251A (ja) | 撮影装置、携帯型情報処理端末、撮影装置のモニタ表示方法およびプログラム | |
JP6648914B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2012093453A1 (ja) | カメラ、歪み補正装置、及び歪み補正方法 | |
CN113994658A (zh) | 组合的电子图像稳定和光学图像稳定 | |
JP6588700B2 (ja) | 補正データ生成方法、画像補正装置および画像補正方法、ならびに、画像補正システム | |
JP2016058876A (ja) | 撮像装置及びその制御方法、及び撮像システム | |
US20220180484A1 (en) | Image processing method, electronic device, and computer-readable storage medium | |
JP6529533B2 (ja) | 撮像装置、撮像装置の制御方法、及び、プログラム | |
WO2019124289A1 (ja) | 装置、制御方法および記憶媒体 | |
JP2018207413A (ja) | 撮像装置 | |
JP2007334558A (ja) | 画像処理装置および方法、並びにプログラム | |
WO2017104102A1 (ja) | 撮像装置 | |
JP2017038165A (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
US9083883B2 (en) | Camera module, electronic apparatus, and photographing method for image stabilization and increasing resolution | |
TW202044819A (zh) | 嚴格同步光學影像穩定化中之滾動補償及模糊減少 | |
KR101825343B1 (ko) | 차량의 후방 뷰 영상 처리 장치 및 시스템 | |
JP2016005025A (ja) | 映像歪み補正装置 | |
JP2016163072A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
JP2014160998A (ja) | 画像処理システム、画像処理方法、画像処理プログラム、及び記録媒体 | |
JP6157274B2 (ja) | 撮像装置、情報処理方法及びプログラム | |
JP2017183983A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2009159404A (ja) | 画像処理方法、画像処理装置及び画像形成装置 | |
JP2020053960A (ja) | 撮像装置、該撮像装置の制御方法、及びプログラム |