JP2019033408A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】車両外の被写体および車両内の被写体それぞれに対して最適な振れ補正を行う撮像装置を提供すること。【解決手段】カメラ装置１１４は、カメラ装置１１４の振れを検出して、カメラ装置１１４の振れ信号を出力する振動検出センサ１０６および振動検出部１０７と、撮像した画像から被写体の振れを検出して、被写体の振れ信号を出力する動きベクトル検出部１０８と、カメラ装置１１４の振れ信号と被写体の振れ信号を比較し、画像の像振れ補正に用いる振れ信号を決定する振動解析部１０９と、振動解析部１０９が決定した振れ信号に基づいて、像振れ補正を行う切り出し位置指定部１１０及び切り出し処理部１１１と、を備える。【選択図】図１

Description

本発明は、撮像装置およびその制御方法に関するものである。

従来、様々な目的で監視を行うための監視カメラは、天井や壁やポールといった設置環境に取り付けられて運用されている。その設置環境は、風や周囲の環境等により接地面が振動することで監視カメラ本体も振動し、これにより監視カメラの撮影画像に振れが生じ、監視の妨げになってしまう。近年、監視カメラの用途は広がってきており、車、鉄道、バスといった車両の天井、壁に取り付ける車載型の監視カメラが運用されている。車両の運行時に車載型の監視カメラに生じる振動は、建物等の天井などに設置された監視カメラに生じる振動とは異なるので、車両の運行時の振動に適した画像の振れ補正処理を行う必要がある。特許文献１には、車両の振動に合わせて、車両に取り付けられる車載カメラの撮影画像の振れを最適に補正する方法が開示されている。

特開平１１−３３１６８１号公報

しかしながら、特許文献１に開示された技術では、車両の振動に合わせて最適な補正を行うため、車外の被写体に対してのみ最適な補正が行われる。車両の振動と同じ振動を有する車内の被写体に対しては、車載カメラで車両の振動に合わせて補正を行うと誤補正となってしまう。

本発明は、車両外の被写体および車両内の被写体それぞれに対して最適な振れ補正を行う撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、撮像装置の振れを検出して、前記撮像装置の振れ信号を出力する第１の検出手段と、撮像した画像から被写体の振れを検出して、前記被写体の振れ信号を出力する第２の検出手段と、前記撮像装置の振れ信号と前記被写体の振れ信号を比較し、画像の像振れ補正に用いる振れ信号を決定する決定手段と、前記決定手段が決定した振れ信号に基づいて、前記像振れ補正を行う補正手段と、を備える。

本発明によれば、車両外の被写体および車両内の被写体それぞれに対して最適な振れ補正を行う撮像装置を提供することができる。

撮像装置の構成を示す図である。 車内および車外の被写体に対する振れ補正を説明する図である。 車内および車外の被写体に対する振れ補正のフローチャートである。 車内および車外の被写体に対する振れ補正のフローチャートである。

（第１実施形態）
図１は、撮像装置の構成を示す図である。カメラ装置１１４は、レンズ群１０１、撮像素子１０２、増幅器１０３、映像処理回路１０４、振動検出センサ１０６、ネットワーク処理回路１１２およびＣＰＵ１１３を有する撮像装置である。
レンズ群１０１は、被写体像を受光可能なレンズで構成される。レンズ群１０１のズームレンズ、フォーカスレンズを光軸方向に対して前後動作させることで、変倍動作、ピント調整が可能となる。撮像素子１０２は、レンズ群１０１を介して撮像素子面に受光された光学像を電気的に変換する。撮像素子１０２は不図示のタイミングジェネレータからの信号で駆動し、その信号のタイミングに合わせてサンプリングし、アナログ−デジタル信号処理を行い、デジタル信号を出力する。増幅器１０３は、撮像素子１０２からの出力信号を、所定の信号レベルに増幅する。

映像処理回路１０４は、各種映像処理を行う。映像処理回路は、現像処理部１０５、動きベクトル検出部１０８、振動検出部１０７、振動解析部１０９、切り出し位置指定部１１０、切り出し処理部１１１を有する画像処理装置である。現像処理部１０５は、増幅器１０３からの映像デジタル信号に対して、現像処理、カラーバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行い、ＲＧＢ撮影画像に変換する。

振動検出センサ１０６は、カメラ装置１１４に加えられる振動を角速度または加速度として検出する。振動検出センサ１０６は、角速度センサまたは加速度センサを備えている。振動検出部１０７は、振動検出センサ１０６が検出したカメラ装置１１４の振動を、撮影画像に対する振れ量に変換する。さらに、振動検出部１０７は、必要な振れ成分のみを抽出するために各種フィルタ処理を行い、振れ信号を出力する。したがって、振動検出センサ１０６および振動検出部１０７は、カメラ装置１１４の振れを検出し、カメラ装置１１４装置の振れ信号を出力するカメラ装置１１４の振れ検出手段の機能を有している。

動きベクトル検出部１０８は、撮影画像から動きベクトルを検出する。具体的には、動きベクトル検出部１０８は、撮影画像上から主被写体を判別し、フレーム間での差分を取ることで主被写体部の動きベクトル（動きの方向、動きの移動量）を算出する。さらに、動きベクトル検出部１０８は、算出した動きベクトルから振れ信号を算出し、出力する。したがって、動きベクトル検出部１０８は、撮像した画像のフレーム間の差分から被写体の動きベクトル信号を検出し出力する、被写体の振れ検出手段の機能を有している。

振動解析部１０９は、動きベクトル検出部１０８からの振れ信号および振動検出部１０７からの振れ信号を解析する。具体的には、二つの振れ信号を比較して、比較結果が同一もしくは同じ振動成分があると判断したら、補正に用いる振れ信号として振動検出センサ１０６からの振れ信号を選択する。一方、二つの振れ信号を比較して比較結果が異なっていると判断したら、補正に用いる振れ信号として動きベクトル検出部１０８からの振れ信号を選択する。

切り出し位置指定部１１０は、振動解析部１０９が選択した振れ信号に基づいて、画像の切り出し位置（補正位置）を指定する。振れ信号に基づいて像振れを打ち消す方向に切り出し範囲を指定することを、フレーム毎に繰り返すことで、振れ補正が可能となる。切り出し処理部１１１は、切り出し位置指定部１１０が指定した切り出し位置（補正位置）に合わせて撮影画像からの切り出し処理を行う。フレーム毎に補正位置に合わせて撮影画像からの切り出し処理を行うことで、振れ成分を補正した画像を出力する。

ネットワーク処理回路１１２は、映像処理回路１０４からの出力画像を通信プロトコルに準拠して変換した上で、ネットワーク上へと配信する。また、ネットワーク処理回路１１２は、撮像装置を制御するための制御信号を通信プロトコルに準拠して送受信する。ＣＰＵ１１３は、映像処理回路１０４およびネットワーク処理回路１１２の制御を行う。また、カメラ装置１１４は、不図示のデータ記憶部（メモリ）を含み、データ記憶部に記憶されたプログラムによりＣＰＵ１１３は実行される。

ＬＡＮ１１５は、ネットワーク上のローカルエリアネットワークである。カメラ装置１１４とはＬＡＮケーブル等によって接続され、Ｅｔｈｅｒｎｅｔ等の通信規格を満足するルータ、スイッチ、ケーブル等を含む。ＬＡＮ１１５上に、複数のカメラ装置やクライアント端末装置１１６が接続される。クライアント端末装置１１６は、ＬＡＮ１１５を介してカメラ装置１１４と相互に通信可能な状態に接続されている。クライアント端末装置１１６は、カメラ装置１１４からの映像を受信して、表示および録画を行う。また、クライアント端末装置１１６は、カメラ装置１１４をコントロールするための制御情報を送受信することで、カメラ装置１１４の制御を行う。

次に、図２を用いて、カメラ装置が車両に取り付けられた場合における、カメラ装置１１４および被写体それぞれの振動と振動の補正方法に関して説明する。図２は、車内および車外の被写体に対する振れ補正を説明する図である。
車両２０１は、電車、バス、車などの移動を行う車両である。カメラ装置１１４は、例えば、車両２０１の天井に取り付けられている。また、エアコン２０３もカメラ装置と同様に天井に取り付けられている。カメラ装置１１４には、車両２０１の走行時の振動が天井を介して伝わる。同様に、エアコン２０３の動作時の振動も天井を介してカメラ装置１１４に伝わる。よって、カメラ装置１１４には、車両の振れとエアコンの振れが合成された振れ信号２０４の振れが生じる。

被写体２０５は、車両内にいる被写体である。車両内の被写体２０５には、車両２０１の走行時の振動が床を介して伝わる。一方、エアコン２０３の振動が、車両内の被写体２０５に伝わることはない。よって、車両内の被写体２０５には、車両２０１の振れのみである振れ信号２０６の振れが与えられる。車両内の被写体２０５を車両２０１に搭載されたカメラ装置１１４で撮影すると、撮影画像では、カメラ装置１１４に生じる車両の振れ成分と被写体２０５に生じる車両の振れ成分とが打ち消し合う形となる。よって、撮像画像における車両内の被写体２０５の動きベクトル信号は、エアコン２０３の振れ成分のみが残った動きベクトル信号２０７の信号となる。

被写体２０８は、車両外にいる被写体である。車両外の被写体２０８には、車両２０１の走行時の振動も、エアコン２０３の振動も伝わらない。よって、車両外の被写体２０８の振れは、車両２０１およびエアコン２０３の振動が生じない振れ信号２０９の振れとなる。車両外の被写体２０８を車両２０１に搭載されたカメラ装置１１４で撮影すると、撮影画像には、車両２０１の振れ成分とエアコン２０３の振れ成分の両方が生じる。よって、車両外の被写体２０８の動きベクトル信号は、車両２０１およびエアコン２０３両方の振れ成分を含む動きベクトル信号２１０の信号となる。

振動解析部１０９は、振動検出センサ１０６および振動検出部１０７によって検出されたカメラ装置１１４の振れ信号２０４と、動きベクトル検出部１０８によって画像から検出された被写体の動きベクトルとを比較する。具体的には、カメラ装置１１４の振れ信号２０４と、車両内の被写体２０５の動きベクトル信号２０７もしくは車両外の被写体２０８の動きベクトル信号２１０とを比較する。

撮像した被写体の動きベクトル信号がカメラ装置１１４の振れ信号２０４と異なる振れであると判定した場合は、被写体がカメラ装置１１４と同じ振れ成分を有する場所にあると判定する。すなわち、カメラ装置１１４の振れ信号２０４と異なる振れである動きベクトル信号２０７を有する被写体２０５は、カメラ装置１１４を搭載した車両内にあると判定する。そして、振動解析部１０９は、車両内の被写体２０５に対しては、画像の振れ補正に、動きベクトル検出部１０８によって検出された動きベクトル信号２０７を用いることを選択する。

撮像した被写体の動きベクトル信号がカメラ装置１１４の振れ信号２０４と同じ振れであると判定した場合は、被写体がカメラ装置１１４と同じ振れ成分が生じない場所にあると判定する。すなわち、カメラ装置１１４の振れ信号２０４と同じ振れである動きベクトル信号２１０を有する被写体２０８は、カメラ装置１１４を搭載した車両外にあると判定する。そして、振動解析部１０９は、車両外の被写体２０８に対しては、画像の振れ補正に、振動検出センサ１０６および振動検出部１０７によって検出されたカメラ装置１１４の振れ信号２０４を用いることを選択する。

次に、振れ補正処理方法を図３のフローチャートを用いて説明する。図３は、車内および車外の被写体に対する振れ補正のフローチャートである。
ステップＳ３０１で処理をスタートする。ステップＳ３０２で、振動検出センサ１０６は、カメラ装置１１４の振動を検出する。そして、振動検出部１０７は、振動検出センサ１０６が検出した振動に基づいて、カメラ装置１１４の振れ信号を算出する。ステップＳ３０３で、動きベクトル検出部１０８は、カメラ装置１１４にて撮影された被写体の動きベクトル信号を検出する。

ステップＳ３０４で、振動解析部１０９は、ステップＳ３０２で算出したカメラ装置１１４の振れ信号と、ステップＳ３０３で検出したカメラ装置１１４で撮影された被写体の動きベクトル信号を比較する。ステップＳ３０５で、振動解析部１０９は、ステップＳ３０４における比較の結果が、同一の振動であったか否か判定する。カメラ装置１１４の振れ信号と被写体の動きベクトル信号が、同一の振動であったと判定した場合は、ステップＳ３０７に進む。一方、異なる振動であったと判定した場合は、ステップＳ３０６に進む。

ステップＳ３０６で、振動解析部１０９は、振れ補正を行う際に用いる信号として、カメラ装置１１４で撮影された被写体の動きベクトル信号を選択する。そして、切り出し位置指定部１１０は、動きベクトル信号に基づいて切り出し位置を指定し、切り出し処理部１１１が切り出し位置に応じて画像を切り出して電子的に振れを補正する。ステップＳ３０７で、振動解析部１０９は、振れ補正を行う際に用いる信号として、カメラ装置１１４の振れ信号を選択する。そして、切り出し位置指定部１１０は、カメラ装置１１４の振れ信号に基づいて切り出し位置を指定し、切り出し処理部１１１が切り出し位置に応じて画像を切り出して電子的に振れを補正する。ステップＳ３０６は車両内の被写体に対する振れの補正であり、ステップＳ３０７は車両外の被写体に対する振れの補正である。そして、ステップＳ３０８で処理を終了する。

以上説明したように、本実施形態によると、カメラ装置１１４と同一の振れ成分がある場所にいる被写体かどうかを、振れ信号と動きベクトル信号を用いて判断する。そして、その結果に応じて適切な振れ補正を選択することで、車両内外の被写体それぞれに対して最適な振れ補正を行うことが可能となる。

（第２実施形態）
本実施形態と第１実施形態とでは、振れ補正処理が異なる。図４は、車内および車外の被写体に対する振れ補正のフローチャートである。ステップＳ４０１〜ステップＳ４０６、ステップＳ４０８は、第１実施形態のステップＳ３０１〜ステップＳ３０６、ステップＳ３０８と同様である。ここでは、第１実施形態との差異であるステップＳ４０７についてのみ説明する。

ステップＳ４０７は、カメラ装置１１４の振れとカメラ装置１１４で撮影された被写体の振れが同一であった場合、すなわち、車両外など、被写体がカメラ装置１１４と同じ振れ成分がない場所にある場合に行う補正処理である。ステップＳ４０７で、振動解析部１０９は、振れ補正を行う際に用いる信号として、カメラ装置１１４の振れ信号およびカメラ装置１１４で撮影された被写体の動きベクトル信号を選択する。第１実施形態では、振れ補正にカメラ装置１１４の振れ信号のみを用いていたが、本実施形態では、カメラ装置１１４の振れ信号に加え被写体の動きベクトル信号も振れ補正に用いる。振動解析部１０９が選択した信号に基づいて、切り出し位置指定部１１０が切り出し位置を指定し、切り出し処理部１１１が切り出し位置に応じて画像を切り出して電子的に振れを補正する。

以上説明したように、本実施形態によると、カメラ装置１１４と同一の振れ成分がある場所にいる被写体かどうかを、振れ信号と動きベクトル信号を用いて判断する。そして、その結果に応じて適切な振れ補正を選択することで、車両内外の被写体それぞれに対して最適な振れ補正を行うことが可能となる。

なお、第１実施形態および第２実施形態では、カメラ装置１１４に車両の振れが生じている状態、すなわち、車両が走行している場合やエンジンが振動している場合など、車両が完全に停止していない状態を想定している。車両２０１が完全に停止し、かつ、エアコン２０３も停止している場合には、カメラ装置１１４に振れが生じない。この場合、車両外の被写体２０８を撮像しても、カメラ装置１１４の振れが画像に現れないので、動きベクトル信号に基づいて振れを補正すればよい。したがって、車両の運行状態に応じて、カメラ装置１１４に振れが生じるか判定し、像振れ補正に用いる信号を決定するようにしてもよい。車両が運行している場合は、第１実施形態および第２実施形態で説明した補正処理を行う。車両が運行していない場合には、動きベクトル信号に基づいて振れを補正するようにすればよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０６ 振動検出センサ
１０７ 振動検出部
１０８ 動きベクトル検出部
１０９ 振動解析部
１１０ 切り出し位置指定部
１１１ 切り出し処理部

Claims (9)

1. 撮像装置の振れを検出して、前記撮像装置の振れ信号を出力する第１の検出手段と、
   撮像した画像から被写体の振れを検出して、前記被写体の振れ信号を出力する第２の検出手段と、
   前記撮像装置の振れ信号と前記被写体の振れ信号を比較し、画像の像振れ補正に用いる振れ信号を決定する決定手段と、
   前記決定手段が決定した振れ信号に基づいて、前記像振れ補正を行う補正手段と、を備えることを特徴とする撮像装置。
2. 前記決定手段は、前記撮像装置の振れ信号と前記被写体の振れ信号が異なる場合は、前記被写体の振れ信号を前記像振れ補正に用いる振れ信号に決定することを特徴とする請求項１に記載の撮像装置。
3. 前記決定手段は、前記撮像装置の振れ信号と前記被写体の振れ信号が同じである場合は、前記撮像装置の振れ信号を前記像振れ補正に用いる振れ信号に決定することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記決定手段は、前記撮像装置の振れ信号と前記被写体の振れ信号が同じ場合は、前記撮像装置の振れ信号および前記被写体の振れ信号を前記像振れ補正に用いる振れ信号に決定することを特徴とする請求項１または請求項２に記載の撮像装置。
5. 前記第１の検出手段は、角速度センサまたは加速度センサを備えることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第２の検出手段は、撮像した画像のフレーム間の差分から、被写体の動きベクトルを検出して、前記被写体の振れ信号として動きベクトル信号を出力することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記補正手段は、前記決定手段が決定した振れ信号に基づいて画像を切り出して、電子的に前記像振れ補正を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記撮像装置は車両に搭載され、
   前記決定手段は、前記撮像装置の振れ信号と前記被写体の振れ信号が異なる場合は、前記被写体が前記車両の中にあると判定し、前記撮像装置の振れ信号と前記被写体の振れ信号が同じ場合は、前記被写体が前記車両の外にあると判定することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 撮像装置の制御方法であって、
   撮像装置の振れを検出して、前記撮像装置の振れ信号を出力する第１の検出工程と、
   撮像した画像から被写体の振れを検出して、前記被写体の振れ信号を出力する第２の検出工程と、
   前記撮像装置の振れ信号と前記被写体の振れ信号を比較し、画像の像振れ補正に用いる振れ信号を決定する決定工程と、
   前記決定工程において決定された振れ信号に基づいて、前記像振れ補正を行う補正工程と、を有することを特徴とする制御方法。
   

Images