JP6410062B2 - 撮像装置および撮像画像の表示方法 - Google Patents

Description

本発明は、撮像装置および撮像画像の表示方法に関し、より詳細には、撮像素子により複数のフレーム画像からなる撮像画像を時系列的に撮像する撮像装置および該撮像装置により撮像された撮像画像の表示方法に関する。

従来、監視カメラが揺れたときに生じる撮像画像の画像揺れを補正することを目的として、振動検出手段（振動センサ）により監視カメラの揺れを検出し、検出された揺れ成分の解析結果に応じて、撮像画像の揺れ補正を行う揺れ補正手段に対して揺れ補正モードを指示するように構成した技術が知られている（特許文献１）。

特許第４１６２３３３号公報

監視システムやテレビ放送システム等においては、例えば地震等の災害時には、被写体の揺れの程度を把握するために、画像揺れの補正を行わずに撮像画像をそのまま表示することが一般的に行われている。しかしながら、災害の詳細な状況を把握するためには、撮像画像の画像揺れを補正した揺れ補正画像を表示することが望ましい。これは、地震等の災害時に限らず、風や交通振動等に起因して撮像画像に画像揺れが生じた場合も同様である。

本開示は、このような従来技術の課題を鑑みて案出されたものであり、撮像画像とその画像揺れを補正した揺れ補正画像との両方を同一画面上に表示することができる撮像装置および撮像画像の表示方法を提供することを主目的とする。

本開示の撮像装置は、撮像素子により複数のフレーム画像からなる撮像画像を時系列的に撮像する撮像装置であって、該撮像装置の物理的揺れ量を検出する角速度センサと、前記物理的揺れ量に基づき現フレーム画像の画像揺れを補正するための補正量を算出する補正量算出部と、前記補正量に基づき前記現フレーム画像に対して幾何学的変換を施すことにより、前記画像揺れが補正された揺れ補正画像を生成する揺れ補正画像生成部と、前記現フレーム画像と前記揺れ補正画像とを同一画面上に配置した合成画像を生成する合成画像生成部と、前記補正画像生成部および前記合成画像生成部の各処理を制御する制御部と、を備え、前記制御部は、前記物理的揺れ量が一定値以上検出された場合に、前記合成画像の生成を行うことを特徴とする。

本開示によれば、物理的揺れ量が一定値以上検出された場合に、撮像画像とその画像揺れを補正した揺れ補正画像との両方を同一画面上に表示することが可能となる。

本開示の第１実施形態に係る撮像装置の概略構成図 回転角速度と補正量との関係を説明するための図 画像合成部での処理を示す図 揺れ補正画像生成部での幾何学的変換処理を説明するための図 ＰｉｎＰ方式で合成した合成画像の例を示す図 画面二分割方式で合成した合成画像の例を示す図 本開示の第２実施形態に係る撮像装置の概略構成図 画像合成部での処理を示す図 揺れ画像生成部での幾何学的変換を説明するための図

上記課題を解決するためになされた第１の発明は、撮像素子により複数のフレーム画像からなる撮像画像を時系列的に撮像する撮像装置であって、該撮像装置の物理的揺れ量を検出する角速度センサと、前記物理的揺れ量に基づき現フレーム画像の画像揺れを補正するための補正量を算出する補正量算出部と、前記補正量に基づき前記現フレーム画像に対して幾何学的変換を施すことにより、前記画像揺れが補正された揺れ補正画像を生成する揺れ補正画像生成部と、前記現フレーム画像と前記揺れ補正画像とを同一画面上に配置した合成画像を生成する合成画像生成部と、前記補正画像生成部および前記合成画像生成部の各処理を制御する制御部と、を備え、前記制御部は、前記物理的揺れ量が一定値以上検出された場合に、前記合成画像の生成を行うことを特徴とする。

この第１の発明に係る撮像装置によれば、物理的揺れ量が一定値以上検出された場合に、現フレーム画像と揺れ補正画像とを同一画面上に配置した合成画像を生成することができるので、撮像画像とその画像揺れを補正した揺れ補正画像との両方を同一画面上に表示することが可能となる。

また、第２の発明は、上記第１の発明において、前記合成画像は、親画面と該親画面上に配置された子画面とから構成されており、前記合成画像生成部は、前記現フレーム画像および前記揺れ補正画像の一方を前記親画面に配置し、他方を前記子画面に配置することを特徴とする。

この第２の発明に係る撮像装置によれば、現フレーム画像および揺れ補正画像を親画面および子画面に配置することができるので、両画像を見やすく表示することが可能となる。

また、第３の発明は、上記第１の発明において、前記合成画像生成部は、ユーザから入力される命令に従って、前記親画面および前記子画面の少なくとも一方の画面サイズ、ならびに前記親画面上における前記子画面の配置位置を変更可能であることを特徴とする。

この第３の発明に係る撮像装置によれば、親画面および子画面の画面サイズや子画面の配置位置をユーザの所望に応じて自由に変更することができる。

また、第４の発明は、上記第１の発明において、前記合成画像は、左右方向または上下方向に互いに並んで配置された第１画面および第２画面とから構成されており、前記合成画像生成部は、前記現フレーム画像および前記揺れ補正画像の一方を前記第１画面に配置し、他方を前記第２画面に配置することを特徴とする。

この第４の発明に係る撮像装置によれば、現フレーム画像および揺れ補正画像を左右方向または上下方向に互いに並んで配置された第１画面および第２画面に配置することができるので、両画像を見やすく表示することが可能となる。

また、第５の発明は、上記第４の発明において、前記合成画像生成部は、ユーザから入力される命令に従って、前記第１画面および前記第２画面の画面サイズを変更可能であることを特徴とする。

この第５の発明に係る撮像装置によれば、第１画面および第２画面の画面サイズをユーザの所望に応じて自由に変更することができる。

また、第６の発明は、撮像素子により複数のフレーム画像からなる撮像画像を時系列的に撮像する撮像装置であって、該撮像装置の物理的揺れ量を検出する角速度センサと、前記物理的揺れ量に基づき現フレーム画像の画像揺れを補正するための補正量を算出する補正量算出部と、前記補正量に基づきイメージセンサの光学系を制御して、前記画像揺れが補正された揺れ補正画像を生成する揺れ補正画像生成部と、前記補正量に基づき前記揺れ補正画像に対して幾何学的変換を施すことにより、前記画像揺れを含む揺れ画像を生成する揺れ画像生成部と、前記揺れ画像と前記揺れ補正画像とを同一画面上に配置した合成画像を生成する合成画像生成部と、を備えたことを特徴とする。

この第６の発明に係る撮像装置によれば、補正量算出部で算出された補正量に基づきイメージセンサの光学系を制御して揺れ補正画像を生成すると共に、揺れ補正画像から撮像画像相当の揺れ画像を生成するので、撮像画像とその画像揺れを補正した揺れ補正画像との両方を同一画面上に表示することが可能となる。

また、第７の発明は、撮像素子により時系列的に撮像した複数のフレーム画像からなる撮像画像の表示方法であって、該撮像装置の物理的揺れ量を検出するステップと、前記物理的揺れ量に基づき現フレーム画像の画像揺れを補正するための補正量を算出するステップと、前記補正量に基づき前記現フレーム画像に対して幾何学的変換を施すことにより、前記画像揺れが補正された揺れ補正画像を生成するステップと、前記現フレーム画像と前記揺れ補正画像とを同一画面上に配置した合成画像を生成するステップと、前記揺れ補正画像の生成および前記合成画像の生成の各処理を制御するステップと、を有し、前記制御するステップは、前記物理的揺れ量が一定値以上検出された場合に、前記合成画像の生成を行うことを特徴とする。

この第７の発明に係る撮像画像の表示方法によれば、物理的揺れ量が一定値以上検出された場合に、現フレーム画像と揺れ補正画像とを同一画面上に配置した合成画像を生成することができるので、撮像画像とその画像揺れを補正した揺れ補正画像との両方を同一画面上に表示することが可能となる。

以下、本開示の実施形態について、図面を参照しながら説明する。

本実施形態では、本開示に係る撮像装置１を監視カメラとして使用する場合について説明する。撮像装置１は、例えば電柱やポール等に取り付けられる。したがって、地震、風、交通振動等により電柱やポールが揺れた場合は、撮像装置１も揺れるため、撮像装置１により撮像された撮像画像に画像揺れが生じることとなる。

（第１実施形態）
図１は、本開示の第１実施形態に係る撮像装置１の概略構成図である。撮像装置１は、ネットワーク３を介して、監視本部等に設置されたモニタ装置２（監視端末）に接続されている。撮像装置１は、ズームレンズを含むレンズ系１１と、イメージセンサ１２と、カメラ信号処理部１３と、角速度センサ１４と、補正量算出部１５と、ネットワークインターフェース（Ｉ／Ｆ）１６と、制御部１７と、画像合成部１８とを備えている。

ズームレンズを含むレンズ系１１は、被写体からの撮像光を集光し、イメージセンサ１２の撮像面に結像させて被写体像を形成する。イメージセンサ１２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）であり、所定のフレーム周期（撮像周期）で、その撮像面に結像した被写体像を電気信号に変換する。カメラ信号処理部１３は、イメージセンサ１２で生成された画像信号に対して各種の信号処理を施し、フレーム画像（画像データ）を生成する。

撮像装置１が揺れて、撮像画像に画像揺れが生じた場合は、イメージセンサ１２で生成されたフレーム画像は、画像揺れを含む揺れ画像となる。この第１実施形態では、イメージセンサ１２で生成されたフレーム画像は、揺れ画像であるものとする。したがって、この第１実施形態では、イメージセンサ１２は、揺れ画像を生成する揺れ画像生成部２１と見なすことができる。

角速度センサ１４は、撮像装置１の角度が単位時間当たりどれだけ変化しているか、すなわち、物理的揺れ量を検出する。具体的には、撮像装置１の左右方向（パン方向）の回転角速度と、撮像装置１の上下方向（チルト方向）の回転角速度とをそれぞれ検出する。補正量算出部１５は、角速度センサ１４で検出された回転角速度に基づいて、現時点のフレーム（以降、「現フレーム」と称する）の画像揺れを補正するための補正量を算出する。

図２は、回転角速度と補正量との関係を説明するための図である。補正量算出部１５は、現フレーム（フレームＮ）と前フレーム（フレームＮ−１）との間での、フレーム画像中の被写体の左右方向（ｘ方向）および上下方向（ｙ方向）の平均移動量（Δｘ、Δｙ）を求める。平均移動量（Δｘ、Δｙ）は、角速度センサ１４の回転角速度を、従来公知の手法を用いて被写体のｘ方向およびｙ方向の変位量に換算することにより求めることができる。求められた平均移動量（Δｘ、Δｙ）が、現フレーム（フレームＮ）の補正量「Δｘ（Ｎ）、Δｙ（Ｎ）」となる。補正量算出部１５で算出された補正量は画像合成部１８に入力される。

ネットワークＩ／Ｆ１６は、撮像装置１をネットワーク３に接続するためのものである。ネットワークＩ／Ｆ１６は、ネットワーク３を介してモニタ装置２から、撮像画像の揺れ補正を指示する命令や、画像合成方式を指示する命令を受信する。ネットワークＩ／Ｆ１６がモニタ装置２から受信した命令は制御部１７に入力される。また、ネットワークＩ／Ｆ１６は、画像合成部１８で生成された後述する合成画像３３（図３参照）を、ネットワーク３を介してモニタ装置２に送信する。

制御部１７は、プロセッサで構成することができ、撮像画像の揺れ補正および合成画像の生成を含む撮像装置１の各処理を統括して制御するためのものであり、不図示のＲＯＭ（Read only memory）に予め記憶された制御プログラムおよびネットワークＩ／Ｆ１６から入力された各命令に基づき撮像装置１の各処理を制御する。

画像合成部１８は、補正量算出部１５で算出された補正量に基づき現フレームのフレーム画像に対して幾何学的変換を施すことにより、画像揺れが補正された揺れ補正画像を生成する揺れ補正画像生成部２２と、揺れ画像と揺れ補正画像とを同一画面上に配置した合成画像３３を生成する合成画像生成部２３とを有している。

図３は、画像合成部１８での処理を示す図であり、図４は、揺れ補正画像生成部２２での幾何学的変換処理を説明するための図である。

まず、揺れ補正画像生成部２２は、カメラ信号処理部１３から現フレーム（フレームＮ）のフレーム画像（画像データ）を取得する。上述したように、カメラ信号処理部１３で生成されたフレーム画像は、画像揺れを含む揺れ画像３１である。また、揺れ補正画像生成部２２は、補正量算出部１５から、現フレーム（フレームＮ）の補正量「Δｘ（Ｎ）、Δｙ（Ｎ）」を取得する。

続いて、揺れ補正画像生成部２２は、図４に示すように、補正量「Δｘ（Ｎ）、Δｙ（Ｎ）」に基づき、現フレーム（フレームＮ）のフレーム画像である揺れ画像３１に対して幾何学的変換を施すことにより、画像揺れが補正されたフレーム画像である揺れ補正画像３２を生成する。

次に、合成画像生成部２３は、揺れ画像３１と揺れ補正画像３２とを、両画像が同一画面上に配置されるように合成した合成画像３３を生成する。揺れ画像３１および揺れ補正画像３２を合成する方式は、不図示のＲＯＭに予め記憶された制御プログラム、またはモニタ装置２から受信した画像合成方式を指示する命令に従う。揺れ画像３１および揺れ補正画像３２は、例えば、ピクチャー・イン・ピクチャー（ＰｉｎＰ）方式や画面二分割方式等で合成することができる。なお、揺れ画像３１および揺れ補正画像３２を合成する方式は、ＰｉｎＰ方式や画面二分割方式に限定されるものではなく、他の様々な方式であってよい。

図５は、揺れ画像３１および揺れ補正画像３２をＰｉｎＰ方式で合成した例を示す図である。図５の例では、合成画像３３は、親画面４１と、親画面４１上に配置された子画面４２とから構成されている。そして、合成画像生成部２３は、親画面４１に揺れ補正画像３２が配置され、子画面４２に揺れ画像３１が配置されるように、揺れ画像３１と揺れ補正画像３２とを合成する。揺れ画像３１の画面サイズは、子画面４２の画面サイズに適合するように縮小させる。

また、子画面４２の画面サイズは、モニタ装置２から入力されるユーザからの命令に基づき変更可能である。すなわち、子画面４２の画面サイズは、図５に示した画面サイズよりも大きい画面サイズまたは小さい画面サイズに変更してもよい。また、親画面４１上における子画面４２の配置位置も、ユーザからの命令に基づき変更可能である。例えば、図５の例では、子画面４２は親画面４１上の右上の位置に配置されているが、子画面４２の配置位置を親画面４１上の右下、左上、または左下の位置に変更してもよい。

また、子画面４２（揺れ画像３１）は、常時表示するようにしてもよいし、角速度センサ１４で撮像装置１の揺れが一定値以上検出されたときや、モニタ装置２のユーザ（監視員）が所望したときにのみ表示するようにしてもよい。子画面４２（揺れ画像３１）を撮像装置１の揺れ時またはユーザの所望時にのみに表示するようにすると、モニタ装置２のユーザが撮像装置１で撮像された撮像画像を監視する際の負担を軽減することができる。

また、図５の例では、親画面４１に揺れ補正画像３２が配置され、子画面４２に揺れ画像３１が配置されるように合成したが、これとは逆に、親画面４１に揺れ画像３１が配置され、子画面４２に揺れ補正画像３２が配置されるように合成してもよい。この場合、揺れ補正画像３２の画面サイズは、子画面４２の画面サイズに適合するように縮小させる。

図６は、揺れ画像３１および揺れ補正画像３２を画面二分割方式で合成した例を示す図である。図６の例では、合成画像３３は、左右方向に互いに並んで配置された第１画面５１および第２画面５２とから構成されている。そして、左側の第１画面５１に揺れ画像３１が配置され、右側の第２画面５２に揺れ補正画像３２が配置されるように、揺れ画像３１と揺れ補正画像３２とを合成している。揺れ画像３１および揺れ補正画像３２の各画面サイズは、第１画面５１および第２画面５２の各画面サイズに適合するように縮小させる。

また、第１画面５１および第２画面５２の各画面サイズは、モニタ装置２から入力されるユーザからの命令に基づき変更可能である。図６の例では、第１画面５１および第２画面５２は互いに同一の画面サイズを有しているが、第１画面５１および第２画面５２の一方が他方よりも大きいまたは小さい画面サイズを有するように画面サイズを変更してもよい。

また、図６の例では、左側の第１画面５１に揺れ画像３１が配置され、右側の第２画面５２に揺れ補正画像３２が配置されるように合成したが、これとは逆に、左側の第１画面５１に揺れ補正画像３２が配置され、右側の第２画面５２に揺れ画像３１が配置されるように合成してもよい。

また、図６の例では、合成画像３３を構成する第１画面５１および第２画面５２は、左右方向に配置されているが、第１画面５１および第２画面５２は、左右方向ではなく上下方向に配置してもよい。

（第２実施形態）
図７は、本開示の第２実施形態に係る撮像装置１の概略構成図である。なお、この第２実施形態では、以下で特に言及しない事項については、上述の第１実施形態の場合と同様とする。

この第２実施形態では、撮像装置１が光学系制御部１９をさらに備えており、この光学系制御部１９が補正量算出部１５で算出された補正量に基づいてイメージセンサ１２を水平方向（ｘ方向）および垂直方向（ｙ方向）に変位させることにより画像揺れを補正している。そのため、カメラ信号処理部１３で生成されたフレーム画像は、画像揺れが補正された揺れ補正画像となる。したがって、この第２実施形態では、イメージセンサ１２は、揺れ補正画像を生成する揺れ補正画像生成部２２と見なすことができる。

この第２実施形態では、画像合成部１８は、補正量算出部１５で算出された補正量に基づきカメラ信号処理部１３から取得した揺れ補正画像に対して幾何学的変換を施すことにより、画像揺れを含む揺れ画像を生成する揺れ画像生成部２１と、揺れ画像と揺れ補正画像とを同一画面上に配置した合成画像を生成する合成画像生成部２３とを含む。

図８および図９は、画像合成部１８の揺れ画像生成部２１および合成画像生成部２３での各処理を説明するための図である。

まず、揺れ画像生成部２１は、カメラ信号処理部１３から現フレーム（フレームＮ）のフレーム画像（画像データ）を取得する。上述したように、カメラ信号処理部１３で生成されたフレーム画像は、画像揺れが補正された揺れ補正画像３２である。また、揺れ画像生成部２１は、補正量算出部１５から、現フレーム（フレームＮ）の補正量「Δｘ（Ｎ）、Δｙ（Ｎ）」（図２参照）を取得する。

続いて、揺れ画像生成部２１は、図９に示すように、補正量算出部１５から取得した補正量「Δｘ（Ｎ）、Δｙ（Ｎ）」に基づき、現フレーム（フレームＮ）のフレーム画像である揺れ補正画像３２に対して幾何学的変換を施すことにより、画像揺れを含む揺れ画像３１を生成する。この揺れ画像３１は、画像揺れを補正する前の現フレーム画像に相当する画像と見なされ、合成画像生成部２３において、現フレーム画像の代わりに用いられる。

次に、合成画像生成部２３は、現フレーム画像の代わりである揺れ画像３１と揺れ補正画像３２とを、両画像が同一画面上に配置されるように合成した合成画像３３を生成する。揺れ画像３１および揺れ補正画像３２を合成する方式は、上述の第１実施形態と同様であるので説明は省略する。

以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本開示に係る撮像装置および撮像画像の表示方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、上記の実施形態では、現フレーム画像の画像揺れを補正するための補正量は、角速度センサにより検出した撮像装置１の揺れ量に基づき算出したが、角速度センサの検出結果ではなく、現フレーム画像とその１つ前のフレーム画像との間での被写体の変位量に基づいて算出するようにしてもよい。

本開示に係る撮像装置および撮像画像の表示方法は、撮像画像とその揺れ補正画像とを同一画面上に表示することができる撮像装置および撮像画像の表示方法として有用である。

１ 撮像装置
２ モニタ装置
３ ネットワーク
１１ レンズ系
１２ イメージセンサ
１３ カメラ信号処理部
１４ 角速度センサ
１５ 補正量算出部
１６ ネットワークインターフェース（Ｉ／Ｆ）
１７ 制御部
１８ 画像合成部
１９ 光学系制御部
２１ 揺れ画像生成部
２２ 揺れ補正画像生成部
２３ 合成画像生成部
３１ 揺れ画像
３２ 揺れ補正画像
３３ 合成画像
４２ 親画面
４２ 子画面
５１ 第１画面
５２ 第２画面

Claims (7)

1. 撮像素子により複数のフレーム画像からなる撮像画像を時系列的に撮像する撮像装置であって、
   該撮像装置の物理的揺れ量を検出する角速度センサと、
   前記物理的揺れ量に基づき現フレーム画像の画像揺れを補正するための補正量を算出する補正量算出部と、
   前記補正量に基づき前記現フレーム画像に対して幾何学的変換を施すことにより、前記画像揺れが補正された揺れ補正画像を生成する揺れ補正画像生成部と、
   前記現フレーム画像と前記揺れ補正画像とを同一画面上に配置した合成画像を生成する合成画像生成部と、
   前記補正画像生成部および前記合成画像生成部の各処理を制御する制御部と、を備え、
   前記制御部は、前記物理的揺れ量が一定値以上検出された場合に、前記合成画像の生成を行うことを特徴とする撮像装置。
2. 前記合成画像は、親画面と該親画面上に配置された子画面とから構成されており、
   前記合成画像生成部は、前記現フレーム画像および前記揺れ補正画像の一方を前記親画面に配置し、他方を前記子画面に配置することを特徴とする請求項１に記載の撮像装置。
3. 前記合成画像生成部は、ユーザから入力される命令に従って、前記親画面および前記子画面の少なくとも一方の画面サイズ、ならびに前記親画面上における前記子画面の配置位置を変更可能であることを特徴とする請求項２に記載の撮像装置。
4. 前記合成画像は、左右方向または上下方向に互いに並んで配置された第１画面および第２画面とから構成されており、
   前記合成画像生成部は、前記現フレーム画像および前記揺れ補正画像の一方を前記第１画面に配置し、他方を前記第２画面に配置することを特徴とする請求項１に記載の撮像装置。
5. 前記合成画像生成部は、ユーザから入力される命令に従って、前記第１画面および前記第２画面の画面サイズを変更可能であることを特徴とする請求項４に記載の撮像装置。
6. 撮像素子により複数のフレーム画像からなる撮像画像を時系列的に撮像する撮像装置であって、
   該撮像装置の物理的揺れ量を検出する角速度センサと、
   前記物理的揺れ量に基づき現フレーム画像の画像揺れを補正するための補正量を算出する補正量算出部と、
   前記補正量に基づきイメージセンサの光学系を制御して、前記画像揺れが補正された揺れ補正画像を生成する揺れ補正画像生成部と、
   前記補正量に基づき前記揺れ補正画像に対して幾何学的変換を施すことにより、前記画像揺れを含む揺れ画像を生成する揺れ画像生成部と、
   前記揺れ画像と前記揺れ補正画像とを同一画面上に配置した合成画像を生成する合成画像生成部と、
   を備えたことを特徴とする撮像装置。
7. 撮像素子により時系列的に撮像した複数のフレーム画像からなる撮像画像の表示方法であって、
   該撮像装置の物理的揺れ量を検出するステップと、
   前記物理的揺れ量に基づき現フレーム画像の画像揺れを補正するための補正量を算出するステップと、
   前記補正量に基づき前記現フレーム画像に対して幾何学的変換を施すことにより、前記画像揺れが補正された揺れ補正画像を生成するステップと、
   前記現フレーム画像と前記揺れ補正画像とを同一画面上に配置した合成画像を生成するステップと、
   前記揺れ補正画像の生成および前記合成画像の生成の各処理を制御するステップと、を有し、
   前記制御するステップは、前記物理的揺れ量が一定値以上検出された場合に、前記合成画像の生成を行うことを特徴とする撮像画像の表示方法。

Images