JP2021078053A - 撮像制御装置、撮像制御方法、撮像装置及びプログラム - Google Patents

Abstract

【課題】ブレ補正とローリングシャッタ歪み補正の割合を適切に変更して、映像の品質を向上させる。【解決手段】撮像制御装置は、被写体を撮像して映像信号を出力する撮像部のブレ量を検出する検出手段と、前記検出手段によって検出されたブレ量に基づいて前記撮像部からの映像信号に対してブレ補正を行う第１の補正手段と、前記撮像部からの映像信号に対してローリングシャッタ歪み補正を行う第２の補正手段と、前記撮像部の向きの変更に応じて、前記第１の補正手段によるブレ補正と前記第２の補正手段によるローリングシャッタ歪み補正の割合を変更する演算手段と、を備える。【選択図】 図１

Description

本発明は、撮像制御装置、撮像制御方法、撮像装置及びプログラムに関する。

監視カメラのような設置型の撮像装置によって撮像された映像を使用して異常検知や人物検知を行う場合、検知精度を向上させるために、撮像装置からの映像の質が高いことが求められる。撮像装置に生じる振れ等により引き起こされる映像のブレは、映像の質を落とす一因となっている。そこで、映像のブレを検出して補正する様々な技術が提案されており、そのひとつに、ジャイロセンサを用いた電子式ブレ補正がある。この電子式ブレ補正では、撮像装置の振れ等を示す信号を、ジャイロセンサ等を用いて取得し、取得した信号からブレ量を算出し、算出された量に応じて幾何変換を行う。

また、監視カメラ等で使用されているＣＭＯＳセンサによって引き起こされるローリングシャッタ歪みも映像の質を落とす一因となっている。ＣＭＯＳはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略である。ローリングシャッタ歪みとは、ＣＭＯＳセンサからの信号の読み出しのタイムラグにより、センサ上部の画素と下部の画素とで時間差が生まれ、被写体が斜めに歪む歪みのことである。このローリングシャッタ歪みは、映像を構成する画素の位置に対して幾何変換を行うことで補正することができる。ローリングシャッタ歪みは、パンチルト機構を駆動させると生じやすく、質の高い映像を得るためには、電子式ブレ補正とローリングシャッタ歪み補正の両方を行うことが有効である。

電子式ブレ補正もローリングシャッタ歪み補正も幾何変換を用いるが、幾何変換を行う場合には、余剰画素が必要となるため、電子ズームにより余剰画素を生成することが一般的に行われている。さらに、電子ズーム等によってできた余剰画素を、電子式ブレ補正とローリングシャッタ歪み補正で使用する割合を決めて、余剰画素を分割して使用する。しかし、余剰画素を分割する割合を一定にした場合、ローリングシャッタ歪み補正または電子式ブレ補正各々での余剰画素が不足してしまい、十分に補正ができずローリングシャッタ歪みやブレ残りが発生する場合がある。

特許文献１に開示された技術では、装置が固定支持された状態にあると判定した場合に、ローリングシャッタ歪み補正の可動範囲を拡大している。これによって、装置の支持状態に応じて、ローリングシャッタ歪みの補正の限界量を拡大することにより、ローリングシャッタ歪み補正の効果をより高めている。

特許文献２に開示された技術では、補正手段によるローリングシャッタ歪み補正処理のために出力画像データのサイズに対して付加されるマージン領域の大きさに基づいて、ローリングシャッタ歪み補正量を算出する基準となる行を決定している。

特開２０１５−１１８１４７号公報 特開２０１４−１５０４４３号公報

しかしながら、特許文献１に開示された技術では、パンチルト速度等のパンチルト駆動情報を用いたローリングシャッタ歪み補正の補正割合の変更は行っていない。監視カメラ等の用途ではパンチルトを駆動することが多く、パンチルト駆動によってローリングシャッタ歪みの度合が変化するが、特許文献１に開示された技術では考慮していない。

また、特許文献２に開示された技術では、出力画像データのサイズに対して付加されるマージン領域の大きさにのみ言及しており、パンチルト駆動情報を用いてローリングシャッタ歪み補正で使用する余剰画素は算出していない。さらに、特許文献２に開示された技術では、ブレ補正で使用する余剰画素も考慮していない。

本発明は上述の課題に鑑みて成されたものであり、ブレ補正とローリングシャッタ歪み補正の割合を適切に変更して、映像の品質を向上させることを目的とする。

上記の課題を解決するため、本発明に係る撮像制御装置のある態様によれば、被写体を撮像して映像信号を出力する撮像部のブレ量を検出する検出手段と、前記検出手段によって検出されたブレ量に基づいて前記撮像部からの映像信号に対してブレ補正を行う第１の補正手段と、前記撮像部からの映像信号に対してローリングシャッタ歪み補正を行う第２の補正手段と、前記撮像部の向きの変更に応じて、前記第１の補正手段によるブレ補正と前記第２の補正手段によるローリングシャッタ歪み補正の割合を変更する演算手段と、を備える撮像制御装置が提供される。

本発明によれば、ブレ補正とローリングシャッタ歪み補正の割合を適切に変更して、映像の品質を向上させることができる。

実施形態１の撮像装置の構成例を示すブロック図。 撮像装置における補正の割合の変更処理の例を示すフローチャート。 パンチルト速度の違いによるローリングシャッタ歪みの違いの例を示す図。 補正に用いる余剰画素の割合の例を示す図。 パンチルト駆動時の加減速の例を示す図。 加減速時の補正の割合の変更処理の例を示すフローチャート。 実施形態２の撮像装置における補正の割合の変更処理の例を示すフローチャート。 被写体が画面内に入っているか否かを考慮した補正の割合の変更処理の例を示すフローチャート。 被写体の種類に応じた補正の割合の変更処理の例を示すフローチャート。 被写体の大きさに応じた補正の割合の変更処理の例を示すフローチャート。

以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する各実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は、以下の各実施形態に必ずしも限定されるものではない。また、各実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

（実施形態１）
図１は、実施形態１の撮像装置の構成例を示すブロック図である。
この撮像装置は、例えば監視カメラのような設置型の撮像装置とすることができる。この撮像装置は、被写体を撮像する撮像光学系Ａと、撮像光学系Ａの向きを変更するパンチルトモータ１３と、パンチルトモータ１３を駆動するパンチルトモータ駆動部１４と、パンチルトモータ駆動部１４に駆動パルスを供給するパルス変調部１５とを備えている。

撮像光学系Ａは、撮像素子３と、撮像素子３に入射する光の波長を制限する光学フィルタ２と、被写体の像を撮像素子３の受光面に結像させるレンズ群１とを備えている。レンズ群１は、被写体から入射した光を撮像素子３の受光面上に集光させる光学系である。レンズ群１には、被写体に対するピント合わせを行うフォーカスレンズや、画角を調整するズームレンズ等が含まれる。光学フィルタ２には、例えば赤外線カットフィルタ（ＩＲＣＦ：Ｉｎｆｒａｒｅｄ ｃｕｔ−ｏｆｆ ｆｉｌｔｅｒｓ）等を使用することができる。撮像素子３としては、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の固体撮像素子を用いたローリングシャッタ方式のセンサを用いることができる。撮像素子３の受光面には、画素毎に所定の順序で配列されたカラーフィルタが設けられている。撮像素子３は、受光面に結像された被写体の像に応じた映像信号をアナログ信号として出力する。

また、この撮像装置は、撮像素子３からの映像信号のゲインを調整するＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）４と、ゲイン調整されたアナログの映像信号をデジタルの撮像画像に変換するアナログデジタル（Ａ／Ｄ）変換部５とを備えている。また、この撮像装置は、Ａ／Ｄ変換部５からの撮像画像に所定の処理を施し、画素毎の輝度信号と色信号を出力する映像信号処理部６を備えている。映像信号処理部６は、出力用の映像を作るとともに、カメラ制御（撮像光学系Ａの制御）を行うための各パラメータを作成している。カメラ制御を行うための各パラメータには、例えば絞りの制御や、ピント合わせの制御、色味を調整するホワイトバランス制御などで使われるものがある。

また、この撮像装置は、映像信号処理部６からの輝度情報から撮影画面内の輝度情報を算出し、絞りおよびＡＧＣ４を制御して撮像画像を所望の明るさに調整する露出制御部７と、撮像光学系Ａのピント合わせ等の処理を実行する光学制御部８とを備えている。光学制御部８によるピント合わせ動作は、映像信号処理部６で作成された映像信号から高周波成分を抽出し、高周波成分の値をフォーカスピント情報（フォーカス評価値）として、フォーカス評価値が最大となるようにレンズ群１を制御することによって行う。また、光学制御部８は、光学フィルタ２の挿抜動作等の処理も行う。

また、この撮像装置は、撮像装置に発生した振れを角速度信号として出力する角速度センサ９と、角速度センサ９から角速度信号を取得し、Ａ／Ｄ変換によってデジタル信号として出力するブレ補正量演算部１０とを備えている。角速度センサ９としては、例えばジャイロセンサを用いることができる。ブレ補正量演算部１０は、出力されたデジタル信号をＨＰＦやＬＰＦを用いて所定の周波数帯域でフィルタリングする。その後、ブレ補正量演算部１０は、積分処理を行うことでブレ量を算出し、焦点距離に応じたブレ補正量に調整する。ＨＰＦはＨｉｇｈ−Ｐａｓｓ Ｆｉｌｔｅｒの略であり、ＬＰＦはＬｏｗ−Ｐａｓｓ Ｆｉｌｔｅｒの略である。

また、この撮像装置は、角速度センサ９から得られた信号をもとにローリングシャッタ歪み補正量を算出するローリングシャッタ（ＲＳ：Ｒｏｌｌｉｎｇ ｓｈｕｔｔｅｒ）歪み補正量演算部１１を備えている。ＲＳ歪み補正量演算部１１は、パンチルト速度等のパンチルト駆動（撮像光学系Ａの向きの変更）の状態に応じて、ブレ補正とローリングシャッタ歪み補正の割合の変更処理を実行する。さらに、この撮像装置は、ブレ補正量演算部１０とＲＳ歪み補正量演算部１１が算出した各補正量に基づいて、撮像画像にアフィン変換等の幾何変換を行った画像を生成し、映像信号として出力する映像信号出力部１２とを備えている。なお、映像信号出力部１２の代わりに、ブレ補正量演算部１０とＲＳ歪み補正量演算部１１が各々算出した各補正量に基づいて、各々幾何変換を行って補正処理を行うように構成してもよい。あるいは、ブレ補正量演算部１０とＲＳ歪み補正量演算部１１が各々算出した各補正量に基づいて幾何変換を行う補正部を別個に設けてもよい。この場合、補正部はネットワークで接続された外部の装置としてもよい。また、映像信号出力部１２が出力する映像信号は、アナログ信号でもデジタル信号でもよく、例えば映像信号に対して異常検知や人物検知等の処理を実行する後段の装置の要求に応じて適宜変更するようにしてもよい。

（動作概要）
ユーザからの指示あるいは所定の手順に従って撮像光学系Ａの移動先（パンチルト方向）が決定されると、パルス変調部１５は、移動先に応じたＰＷＭ信号（駆動パルス）を生成してパンチルトモータ駆動部１４に供給する。なお、ＰＷＭは、パルス幅変調（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）の略である。パンチルトモータ駆動部１４は、パルス変調部１５からの駆動パルスに応じてパンチルトモータ１３を駆動する。パンチルトモータ１３が駆動されることによって、レンズ群１と撮像素子３を含む撮像光学系Ａがパンチルト方向に向けられる。この状態で、レンズ群１を通して撮像光学系Ａ内に入射した被写体からの光は光学フィルタ２を通過し、撮像素子３の受光面に結像される。撮像素子３は結像された被写体の像に応じた映像信号を出力する。

撮像素子３からの映像信号は、ＡＧＣ４で輝度の調整（ゲイン調整）が行われ、Ａ／Ｄ変換部５でデジタルの撮像画像に変換され、映像信号処理部６で、所定の処理を施し、画素毎の輝度信号と色信号としてブレ補正量演算部１０に供給される。ブレ補正量演算部１０は、上述のようにブレ量を算出し、焦点距離に応じたブレ補正量に調整する。また、ＲＳ歪み補正量演算部１１は、角速度センサ９から得られた信号をもとにローリングシャッタ歪み補正量を算出する。さらに、ＲＳ歪み補正量演算部１１は、ブレ補正とローリングシャッタ歪み補正の割合の変更処理を実行する。
映像信号出力部１２は、ブレ補正量演算部１０とＲＳ歪み補正量演算部１１が算出した各補正量に基づいて、撮像画像に幾何変換を行った画像を生成し、映像信号として出力する。以上の処理により、ブレ補正とローリングシャッタ歪み補正を行った映像信号が出力される。

（補正の割合の変更処理）
この撮像装置では、パンチルト速度に応じたブレ補正とローリングシャッタ歪み補正の割合の変更処理を行っている。
図２は、この補正の割合の変更処理の例を示すフローチャートである。
以下、パンチルト速度に応じたブレ補正とローリングシャッタ歪み補正の割合の変更処理について説明する。
まず、Ｓ１において、ＲＳ歪み補正量演算部１１は、角速度センサ９からの信号に応じてパンチルト速度を取得する。なお、パンチルト速度は、例えばパンチルトモータ駆動部１４等から取得したパンチルト駆動情報に応じて取得してもよい。図３に示すように、取得したパンチルト速度に応じてローリングシャッタ歪みが変化する。ここで、パンチルト速度が所定値以上であればローリングシャッタ歪みによる歪みが大きくなるため、図３（Ａ）に示すように斜線の傾きが大きくなる。逆に、取得したパンチルト速度が所定値未満であればローリングシャッタ歪みによる歪みが小さくなるため、図３（Ｂ）に示すように斜線の傾きが小さくなる。なお、図３に示す斜線は、ローリングシャッタ歪みを示しており、傾きが大きいほど、ローリングシャッタ歪みが大きいことを示している。

図４は、ローリングシャッタ歪み補正とブレ補正を行うための余剰画素の割合の例を示している。なお、出力画像の周囲は余剰画素とする。なお、余剰画素は、電子ズームによって画像を拡大したり、出力画像の画素より多い画素を有する撮像素子３を用いたりすることで確保することができる。また、ローリングシャッタ歪み補正は、外側のローリングシャッタ歪み用の余剰画素を使用し、ブレ補正は内側のブレ補正用のブレ補正余剰画素を用いることで行う。すなわち、ブレ補正とローリングシャッタ歪み補正の割合の変更は、余剰画素の割り当ての変更によって行うことができる。

Ｓ２において、パンチルトの駆動速度が所定値以上であれば（ＹＥＳ）、より大きな傾きを補正するための余剰画素が必要になる。このため、ＲＳ歪み補正量演算部１１は、Ｓ３に進んで、図４（Ｂ）に示すように、ローリングシャッタ歪みで使用する余剰画素の割合を所定の値より大きくする。これにより、ブレ補正で使用する余剰画素の割合が所定の値より小さくなる。一方、Ｓ２において、パンチルトの駆動速度が所定値以上でなければ（ＮＯ）、小さい傾きを補正するので、図４（Ａ）に示すようにローリングシャッタ歪みで使用する余剰画素の割合を所定の値より大きくせず、現状のままにしておく。なお、上述のように検出したパンチルト速度に応じて、余剰画素の割合を変更するようにしてもよい。すなわち、パンチルト速度に応じて、ブレ補正とローリングシャッタ歪み補正の割合を変更してもよい。さらに、この場合、パンチルト速度のパン方向の成分に基づいてパン側のローリングシャッタ歪み補正の割合の変更を行い、パンチルト速度のチルト方向の成分に基づいてチルト側のローリングシャッタ歪み補正の割合の変更を行うようにしてもよい。
以上の処理により、ブレ補正とローリングシャッタ歪み補正に用いる余剰画素の割合を変更して、パンチルトの駆動速度に応じたブレ補正とローリングシャッタ歪み補正の割合の変更を行うことができる。

なお、パンチルトの駆動方法によっては、パンチルト駆動時に駆動の速度ムラが生じてしまう場合がある。このため、予め速度ムラ情報を記憶しておき、記憶しておいた速度ムラ情報に基づいてローリングシャッタ歪み補正の割合を所定の値より大きくするようにしてもよい。これにより、速度ムラに応じてブレ補正とローリングシャッタ歪み補正の割合を変更することができる。

また、パンチルト駆動の加減速は、例えば図５に示すように、駆動開始直後や駆動停止（減速）直後は加速や減速状態であり、速度が一定になっておらず、速度が一定になるまでには時間を要する。パンチルト駆動の加速や減速時は短時間にパンチルト速度が大きく変化するため、ローリングシャッタ歪み補正用の余剰画素の割合を必要以上に大きくしてしまう可能性がある。これにより、ブレ補正用の余剰画素が不足する可能性があるため、パンチルト駆動開始からの経過時間を用いて余剰画素の割合を求めるようにしてもよい。すなわち、パンチルト駆動開始からの経過時間を用いて、ブレ補正とローリングシャッタ歪み補正の割合の変更を行う。

具体的には、例えば図６に示すように、Ｓ１１において、ＲＳ歪み補正量演算部１１は、例えばパンチルトモータ駆動部１４等からパンチルト駆動情報を取得し、続くＳ１２において、パンチルト駆動開始から所定時間経過しているかの判定を行う。パンチルト駆動開始から所定時間以上経過している場合（ＹＥＳ）、ＲＳ歪み補正量演算部１１は、Ｓ１３において、上述のローリングシャッタ歪み補正の割合の変更処理を開始する。一方、所定時間が経過していない場合は（ＮＯ）、ＲＳ歪み補正量演算部１１は、ローリングシャッタ歪み補正の割合変更を開始しない。なお、パンチルト駆動の速度が一定になるまでの時間（所定時間）は予め記憶しておいてもよいし、ジャイロセンサ（角速度センサ９）の信号値やパンチルト駆動の速度（パンチルト速度）から算出してもよい。
以上の処理により、パンチルト駆動開始からの経過時間を用いて、ブレ補正とローリングシャッタ歪み補正の割合を適切に変更することができる。

また、パンの左回りの駆動と右回りの駆動によって角速度センサ９での取得値が同じであってもローリングシャッタ歪みの歪み量が異なっている場合がある。このため、予め補正係数を記憶しておき、実際に算出されたローリングシャッタ歪み補正の割合に、記憶しておいた補正係数を乗じることで、パンチルトの駆動方向に対応して補正の割合を変更するようにしてもよい。これにより、パンチルトの駆動方向に応じて、ブレ補正とローリングシャッタ歪み補正の割合を適切に変更することができる。

以上説明したように、本実施形態では、パンチルト速度に応じて、ブレ補正とローリングシャッタ歪み補正において使用する余剰画素の割合を変更することにより、ブレ補正とローリングシャッタ歪み補正の割合を適切に変更することができる。これにより、ブレ補正とローリングシャッタ歪み補正の両方の効果を十分に得ることができ、映像の品質を向上させることができる。

（実施形態２）
実施形態２の撮像装置は、上述の図１に示す実施形態１の撮像装置と同様に構成されている。
上述の実施形態１では、パンチルト速度に応じて、ブレ補正とローリングシャッタ歪み補正の割合を変更していた。また、実施形態１では、パンチルト速度のパン方向の成分に基づいてパン側のローリングシャッタ歪み補正の割合の変更を行い、パンチルト速度のチルト方向の成分に基づいてチルト側のローリングシャッタ歪み補正の割合の変更を行っていた。

しかし、余剰画素を含めた映像サイズの縦横比やパン側とチルト側の余剰画素の比を一定にしておきたい場合は、パン側の駆動とチルト側のブレの振幅、またはチルト側の駆動とパン側のブレの振幅を考慮する必要がある。例えば監視カメラの場合、天井やポール等に設置されると仮定すると、チルト側にブレが発生し、パン側は物体追尾等でパン駆動をさせることが想定される。このため、実施形態２では、パン側の駆動とチルト側のブレの振幅（ブレ量）を考慮して、ローリングシャッタ歪み補正の割合を変更するようにしている。

図７は、本実施形態における補正の割合の変更処理の例を示すフローチャートである。
以下、補正の割合の変更処理について説明する。
まず、Ｓ２１において、ＲＳ歪み補正量演算部１１は、角速度センサ９からパンチルト速度を取得する。続くＳ２２において、ＲＳ歪み補正量演算部１１は、パンチルト速度のパン側の成分（パン速度）が所定値以上かを判定する。パン速度が所定値以上でない場合(ＮＯ)、ＲＳ歪み補正量演算部１１は、Ｓ２４において、チルト方向のブレの振幅が所定値以下であるかの判定を行う。チルト方向の振幅が所定値以下の場合(ＹＥＳ)、パン速度が速いことによるローリングシャッタ歪みもなく、ブレ量も小さく、更なる余剰画素を必要としないため、ローリングシャッタ歪み補正の補正割合を変更せずにそのまま終了する。

一方、Ｓ２４における判定結果が、チルト方向の振幅が所定値以下ではない場合(ＮＯ)、パン速度が所定の速度より遅いため、ローリングシャッタ歪みは発生しないが、チルト方向のブレ量が大きく、更なる余剰画素を必要とする。このため、ＲＳ歪み補正量演算部１１は、Ｓ２７において、ローリングシャッタ歪み補正の割合を所定値より小さくする。

Ｓ２２における判定結果が、パン速度が所定値以上である場合(ＹＥＳ)、ＲＳ歪み補正量演算部１１は、Ｓ２３において、チルト方向の振幅が所定値以下であるかの判定を行う。チルト方向の振幅が所定値以下ではない場合(ＮＯ)、ＲＳ歪み補正量演算部１１は、Ｓ２６において、ローリングシャッタ歪み補正の割合を所定値より大きくする。この場合、ローリングシャッタ歪みも発生するが、更にチルト方向のブレ量（振幅）も大きいので、ローリングシャッタ歪み補正の補正割合を大きくし過ぎるとブレ補正の補正効果が低下してしまう。このため、ＲＳ歪み補正量演算部１１は、ローリングシャッタ歪みが気にならない、または目立ちにくい範囲の所定の値以下になるように補正の割合を変更する。これにより、ローリングシャッタ歪み補正による傾きが、所定の傾き以下になるように補正の割合が変更される。

一方、Ｓ２３における判定結果が、チルト方向の振幅が所定値以下である場合(ＹＥＳ)、パン速度が所定の速度より速いため、ローリングシャッタ歪みが発生するが、チルト方向のブレ量が小さい。このため、ローリングシャッタ歪み補正の方のみ更なる余剰画素を必要とする。従って、ＲＳ歪み補正量演算部１１は、Ｓ２５において、ローリングシャッタ歪み補正の割合を所定値より大きくする。
以上の処理により、パン側の駆動とチルト側のブレの振幅を考慮して、ブレ補正とローリングシャッタ歪み補正の割合を変更することができる。

上述の図７に示す補正の割合の変更処理ではブレの振幅のみを考慮しているが、さらに、被写体が画面内に入っているか否かを考慮して補正の割合を変更するようにしてもよい。
以下、図８を用いてこのような補正の割合の変更処理について説明する。
まず、Ｓ３１において、ＲＳ歪み補正量演算部１１は、ブレの振幅を取得する。ブレの振幅の取得する方法としては、ジャイロセンサ（角速度センサ９）の信号値を使用する方法や、撮像画像の時間差分から検出した動きベクトルを使用する方法等を用いることができる。

次に、Ｓ３２において、ＲＳ歪み補正量演算部１１は、取得したブレの振幅が所定値以上であるかを判定する。判定した振幅が所定値以上ではない場合(ＮＯ)、ＲＳ歪み補正量演算部１１は、ローリングシャッタ歪みの補正割合を変更せずに終了する。
一方、Ｓ３２で判定した結果がブレの振幅が所定値以上である場合(ＹＥＳ)、ＲＳ歪み補正量演算部１１は、Ｓ３３において、ローリングシャッタ歪み補正の補正割合を所定の値より小さくする。ローリングシャッタ歪み補正の割合を所定の値より小さくすることで、ブレ補正用の余剰画素が増えるので、より大きな振幅のブレを補正することができるようになる。

Ｓ３３で大きな振幅のブレを補正できるようにしたが、被写体が画面内に入っているようにしたい。このため、ＲＳ歪み補正量演算部１１は、Ｓ３４において、被写体が画面内に存在しているかを判定する。被写体が画面内に入っている場合(ＮＯ)、ＲＳ歪み補正量演算部１１は、このままローリングシャッタ歪みの補正割合を変更せずに終了する。一方、Ｓ３４で判定した結果、被写体が画面内に入っていない場合(ＹＥＳ)、ＲＳ歪み補正量演算部１１は、Ｓ３５において、ローリングシャッタ歪み補正の割合を所定の値より更に小さい値とする。
以上の処理により、被写体が画面内に入っているか否かを考慮して、ブレ補正とローリングシャッタ歪み補正の割合を変更することができる。

上述の図７及び図８に示す処理では、被写体の種類などを考慮していなかったが、被写体の種類などを考慮して補正の割合を変更するようにしてもよい。この場合、例えば被写体の種類、大きさ、速度に応じて補正の割合を変更するようにしてもよい。
以下、図９を用いてこのような補正の割合の変更処理について説明する。
まず、Ｓ４１において、ＲＳ歪み補正量演算部１１は、被写体の種類を取得して種類判定を行う。具体的には、例えば人物等の複雑な構造の被写体については、エッジまたは横線の数により、被写体の種類を検出することができる。さらに、ＲＳ歪み補正量演算部１１は、Ｓ４２において、被写体の種類を判定した結果、エッジまたは横線が所定の数以上存在するかを判定する。エッジまたは横線が所定の数以上存在しない場合(ＮＯ)、ＲＳ歪み補正量演算部１１は、ローリングシャッタ歪みの補正割合を変更せずにそのまま終了する。

一方、Ｓ４２における判定の結果、エッジまたは横線の数が所定の数以上である場合(ＹＥＳ)、ローリングシャッタ歪みが目立ちやすくなるので、ＲＳ歪み補正量演算部１１は、Ｓ４３において、ローリングシャッタ歪みの補正割合を所定の値より大きくする。
以上の処理により、被写体の種類を考慮して、ブレ補正とローリングシャッタ歪み補正の割合を変更することができる。

上述の図９に示す処理では、例えば監視カメラ等の場合に、パン側を物体追尾で動かすことを想定してＳ４２において横線の数で判定を行っているが、被写体の縦幅で判定を行うようにしてもよい。すなわち、被写体の縦方向の大きさに応じて、補正の割合を変更する。
以下、図１０を用いてこのような処理について説明する。
まず、Ｓ５１において、ＲＳ歪み補正量演算部１１は、被写体の縦幅を取得する。続くＳ５２において、ＲＳ歪み補正量演算部１１は、取得した縦幅が所定値以上であるかを判定する。縦幅が所定値以上でない場合(ＮＯ)、ＲＳ歪み補正量演算部１１は、ローリングシャッタ歪み補正の割合を変更せずにそのまま終了する。一方、Ｓ５２における判定結果が被写体の縦幅が所定値以上である場合(ＹＥＳ)、ローリングシャッタ歪みによる歪みが目立ちやすくなるので、ＲＳ歪み補正量演算部１１は、Ｓ５３において、ローリングシャッタ歪みの補正割合を所定の値より大きくする。
以上の処理により、被写体の縦幅に応じてブレ補正とローリングシャッタ歪み補正の割合を変更することができる。
また、パターンマッチング等の方法により、撮像された被写体の移動を検出し、被写体の移動の速度に応じて、ブレ補正とローリングシャッタ歪み補正の割合を変更してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば図１では、撮像装置を単独の装置として構成した例について示したが、撮像部（撮像光学系Ａ）と、パンチルト機構（パンチルトモータ１３等）と、制御部（ブレ補正量演算部１０、ＲＳ歪み補正量演算部１１等）とを別個の装置として構成してもよい。

（その他の実施形態）
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。

Ａ…撮像光学系、１…レンズ群、２…光学フィルタ、３…撮像素子、４…ＡＧＣ、５…Ａ／Ｄ変換部、６…映像信号処理部、７…露出制御部、８…光学制御部、９…角速度センサ、１０…ブレ補正量演算部、１１…ＲＳ歪み補正量演算部、１２…映像信号出力部、１３…パンチルトモータ、１４…パンチルトモータ駆動部、１５…パルス変調部

Claims (15)

1. 被写体を撮像して映像信号を出力する撮像部のブレ量を検出する検出手段と、
   前記検出手段によって検出されたブレ量に基づいて前記撮像部からの映像信号に対してブレ補正を行う第１の補正手段と、
   前記撮像部からの映像信号に対してローリングシャッタ歪み補正を行う第２の補正手段と、
   前記撮像部の向きの変更に応じて、前記第１の補正手段によるブレ補正と前記第２の補正手段によるローリングシャッタ歪み補正の割合を変更する演算手段と、
   を備えることを特徴とする撮像制御装置。
2. 前記演算手段は、
   前記撮像部からの映像信号から余剰画素を生成する生成部が生成した余剰画素を、前記第１の補正手段と前記第２の補正手段が夫々の補正に用いる割合を変更することにより、前記第１の補正手段によるブレ補正と前記第２の補正手段によるローリングシャッタ歪み補正の割合を変更する、
   ことを特徴とする請求項１記載の撮像制御装置。
3. 前記演算手段は、
   前記撮像部の向きの変更の速度に応じて、前記第１の補正手段によるブレ補正と前記第２の補正手段によるローリングシャッタ歪み補正の割合を変更する、
   ことを特徴とする請求項１または請求項２に記載の撮像制御装置。
4. 前記演算手段は、
   前記撮像部の向きの変更の速度が、所定値以上である場合に、前記第２の補正手段によるローリングシャッタ歪み補正の割合を所定の値より大きくする、
   ことを特徴とする請求項３記載の撮像制御装置。
5. 前記演算手段は、
   前記撮像部の向きの変更の速度のムラに応じて、前記第１の補正手段によるブレ補正と前記第２の補正手段によるローリングシャッタ歪み補正の割合を変更する、
   ことを特徴とする請求項３または請求項４に記載の撮像制御装置。
6. 前記演算手段は、
   前記撮像部の向きの変更の開始からの時間が所定値以上になった場合に、前記第１の補正手段によるブレ補正と前記第２の補正手段によるローリングシャッタ歪み補正の割合の変更を開始する、
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の撮像制御装置。
7. 前記演算手段は、
   前記検出部によって検出されたブレ量が所定値より大きい場合に、前記第２の補正手段によるローリングシャッタ歪み補正の割合を所定の値より小さくする、
   ことを特徴とする請求項１から請求項６のいずれか１項に記載の撮像制御装置。
8. 前記演算手段は、
   前記第１の補正手段と前記第２の補正手段による夫々の補正を行った結果、被写体が前記撮像部の撮像範囲に入っていない場合に、
   前記第２の補正手段によるローリングシャッタ歪み補正の割合を前記所定の値より小さい値とする、
   ことを特徴とする請求項７記載の撮像制御装置。
9. 前記演算手段は、
   前記撮像部が撮像した被写体の種類、大きさ、速度のいずれかに応じて前記第１の補正手段によるブレ補正と前記第２の補正手段によるローリングシャッタ歪み補正の割合を変更する、
   ことを特徴とする請求項１から請求項８のいずれか１項に記載の撮像制御装置。
10. 前記演算手段は、
    前記撮像部が撮像した被写体のエッジまたは横線の数が所定の数以上である場合に、前記第２の補正手段によるローリングシャッタ歪み補正の割合を所定の値より大きくする、
    ことを特徴とする請求項１から請求項９のいずれか１項に記載の撮像制御装置。
11. 前記演算手段は、
    前記撮像部が撮像した被写体の縦幅が所定値以上の場合に、前記第２の補正手段によるローリングシャッタ歪み補正の割合を所定の値より大きくする、
    ことを特徴とする請求項１から請求項１０のいずれか１項に記載の撮像制御装置。
12. 前記演算手段は、
    前記撮像部の向きの変更の方向に応じて、前記第１の補正手段によるブレ補正と前記第２の補正手段によるローリングシャッタ歪み補正の割合を変更する
    ことを特徴とする請求項１から請求項１２のいずれか１項に記載の撮像制御装置。
13. 被写体を撮像して映像信号を出力する撮像部のブレ量を検出するステップと、
    前記検出されたブレ量に基づいて前記撮像部からの映像信号に対してブレ補正を行うステップと、
    前記撮像部からの映像信号に対してローリングシャッタ歪み補正を行うステップと、
    前記撮像部の向きの変更に応じて、前記ブレ補正と前記ローリングシャッタ歪み補正の割合を変更するステップと、
    を有することを特徴とする撮像制御方法。
14. 請求項１から請求項１２のいずれか１項に記載の撮像制御装置と、
    被写体を撮像して映像信号を出力する撮像部と、
    を備えることを特徴とする撮像装置。
15. コンピュータを、請求項１から請求項１２のいずれか１項に記載の撮像制御装置の各手段として機能させるためのプログラム。

Images