JP2016208429A - 撮像装置 - Google Patents

Abstract

【課題】振動の残り量がある場合にも必要以上にマスクを大きく設定することなく、遮蔽したい領域を確実にマスクすることを可能にした撮像装置を提供すること。
【解決手段】撮像光学系と、振動検知手段と、プライバシー領域をマスクするマスク設定手段と、振動検知手段に応じて、振動補正を行う振動補正手段を有するカメラにおいて、振動補正手段での振動残り量を算出する振動残り量算出手段を有し、マスク領域を補正するマスク領域補正手段を有することを特徴とする。
【選択図】図１

Description

本発明は、撮像装置で撮像した画像にマスクを重畳させる画像処理に関し、特に振動を考慮したものである。

近年、監視カメラにおいて、ズームが高倍率なものが製品化されている。また、高倍率になると設置環境によっては振れが無視できなり、振れを補正する抑振機能を備えた機種が増加している。また、プライバシー保護の観点から映像および画像の一部を遮蔽するマスキング技術が浸透している。マスキング技術では、抑振機能を備えていないと、振れが生じた場合に、マスク対象の被写体とマスク位置がずれてしまい、プライバシー保護が十分できない場合がある。このような問題に対して、特許文献１には、撮像方向の振れを検出し、振れ検出値を基にマスク画像の合成位置を補正し、画像の振れにマスク位置を追従させるものが開示されている。

また、特許文献２では、撮像手段によって生成された被写界像から特定物画像を検出する。特殊効果処理のために参照される第１エリアを検出手段によって検出された特定物画像を覆うように定義する第１定義手段、第１定義手段によって定義された第１エリアの位置を光軸に直交する方向における撮像面の動きを参照して変更する。第１定義手段によって定義された第１エリアのサイズを変更手段の変更処理に関連して拡大する。および光軸に直交する方向における撮像面の動きを参照して検出手段および変更手段を選択的に起動する起動制御手段を備えるものが開示されている。

特開２００７-０６０４４８号公報 特開２０１０-０７４７６７号公報

しかしながら、上述の特許文献に開示された従来技術では、抑振機能による振動残り量を考慮していない。そのため、振動残り量によっては遮蔽したい領域（以下、プライバシー領域）とマスク位置がずれてしまい、プライバシー保護が十分できない場合がある。

そこで、本発明の目的は、振動の残り量がある場合にも必要以上にマスクを大きく設定することなく、遮蔽したい領域を確実にマスクすることを可能にした撮像装置を提供することにある。

上記の目的を達成するために、本発明の撮像装置は、撮像光学系と振動検知手段とプライバシー領域をマスクするマスク設定手段と振動検知手段に応じて、振動補正を行う振動補正手段を有するカメラにおいて、振動補正手段での振動残り量を算出する振動残り量算出手段を有し、マスク領域を補正するマスク領域補正手段をことを特徴とする。

本発明によれば、振動残り量がある場合にも遮蔽したい領域を必要以上にマスクを大きく設定することなく、確実にマスクすることを可能にした撮像装置を提供することができる。

実施例１における構成図 振動補正方法説明図 振動補正方法説明図 マスク設定方法説明図 マスク設定方法説明図 マスク設定方法説明図 周波数に応じた振動とサンプリングタイミング 周波数とＳＳによる抑振率テーブル マスクの補正例 実施例２における構成図 撮像レンズによる歪み説明図 大きさを補正することによる歪み補正方法 画面位置によるマスクの拡大率テーブル 傾きを補正することによる歪み補正方法 画面位置によるマスクの傾きテーブル ＣＭＯＳセンサによる順次走査 画面位置によるローリングシャッタによる抑振率低下テーブル マスクずれ警告例

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例１］
図１を参照して、本発明の第1の実施例による、撮像装置について説明する。この撮像装置において、１１は入射光を結像するための撮像レンズ（撮像光学系）である。１２は撮像レンズ１１からの撮像光に応じて被写体の画像信号を生成する撮像素子である。１３は画像処理部であり、撮像素子１２からの出力を得てＡＥ、ＡＷＢなどの各種画像処理を行う。また、撮像レンズ１１の位置関係から焦点距離を算出する。１４は振動センサであり、レンズに付与された加速度センサや角速度センサ等のセンサであり、角速度を検出する。

１５は振動検出部であり、振動センサからの出力を所定周波数でＡＤ変換、サンプリングを行い、フィルタ処理を行う。振動センサ１４がない撮像装置の場合には画像処理部１３からの画像を基に画像内の動きベクトルから振動成分を検出する。１６は振幅算出部であり、振動検出部１５からの出力より振幅を算出する。１７は周波数算出部であり、振動検出部１５からの出力より周波数を算出する。１８は振動補正データ算出部であり、振幅算出部１６からの振幅と周波数算出部１７からの周波数と画像処理部１３からのシャッタースピードのいずれかをもとに振動補正データを算出する。

１９は振動補正部であり、振動補正データ算出部１８からの振動補正データをもとに画像の切出しを行い、振動を補正する。図２、図３を用いて振動の補正方法を説明する。図２は振動がない場合である。撮像範囲は撮像素子１２に受光された画像である。切り出し範囲は撮像範囲から切り出しを行われ、実際に出力される画像となる。図３は図２から振動があった場合である。撮像範囲は振動があるため、図２からずれてしまう。振動補正データ算出部１８から算出された振動補正データより切り出し範囲が補正され、最終的な出力画像は同じ範囲を撮影したものとなる。

２０は抑振率算出部であり、振動補正データ算出部１８と同様に周波数とシャッタースピードのいずれかをもとに抑振率を算出する。マスク合成部２１は振動補正部１９から振動を補正された画像に対して、遮蔽したい領域に対してマスクを行う。

次に、図４および図５を用いてマスクの設定方法例を説明する。まず、ユーザーがＧＵＩ４１上の画像表示部４２で遮蔽したい領域が撮影画像中にあるかどうかを判断する。プライバシー領域がある場合は、撮影画像上の矩形がプライバシー領域を遮蔽できるように、始点（矩形左下の頂点を始点とする）と高さと幅を指定する。始点と高さと幅の指定方法は複数あってよいが、 ここでは２つのマスク領域設定方式があることとする。１つ目の指定方法は図５のようにユーザーがマウスのようなポインティングデバイスを用いて、直接カーソルで矩形の始点と高さと幅をドラッグアンドドロップで指定する方法がある。

同図内左上は、マスク設定モードに以移行した際の画像表示部４２上でのマスク領域の初期位置を表している。同図内右上は、初期位置のマスク領域の幅を画像表示部４２上で変更する例である。同図内左下は、初期位置のマスク領域の高さを画像表示部４２上で変更する例である。同図右下は初期位置のマスク領域を画像表示部４２上で移動させた例である。２つ目の指定方法はユーザーが直接ＧＵＩ４１上の入力フォームに始点と高さと幅を入力する方法がある。

また、マスク領域の場所と高さと幅を含むマスクデータは最大マスク設定数以内で複数保持することができる。始点と高さと幅以外に、各マスク領域を塗りつぶすための色情報を保持しても良い。更に、各マスク領域が有効か無効かを判別するためのフラグを保持してもよい。

マスク領域は、遮蔽したい領域となるため、カメラなどの振動が生じた場合にもマスク対象の被写体に対してずれてはならない。そのため、マスク領域の補正方法に関して、図
６のフローチャートを用いて説明する。Ｓ６０１で振動センサの出力のサンプリングを行う。サンプリングされた振動センサの出力からフィルタ処理を行い、振動の振幅と周波数を算出する（Ｓ６０２、Ｓ６０３）。画像処理部１３から露出制御用に使用しているシャッタースピード（ＳＳ）を算出する（Ｓ６０４）。振動補正部１９にて、振動の振幅、周波数、ＳＳから、振動の補正を行う（Ｓ６０５）。

図７は周波数に応じた振動とサンプリングタイミングをグラフにしたものである。横軸は振動センサ１４のサンプリングタイミングである。本実施例では参考として、９００Ｈｚでサンプリングしている。通常時はＶＳｙｎｃのタイミングで撮像が行われ、周波数とＳＳによって、最適なサンプリングタイミングを選択する。選択されたサンプリングデータを元に画像の切り出し位置を変更し、振動の補正を行う。Ｓ６０６で抑振率の算出を行う。

ここでいう抑振率とは、
抑振率＝１００−ＩＳＯＮ時振動／ＩＳＯＦ時振動×１００ ・・・（式１）
で算出される。振動に対してＩＳで補正しきれない振動の割合を表している。抑振率は、ＳＳと周波数から算出されるものである。図８のように予めテーブル化しておき、抑振率を算出する。本実施例においてはテーブルを使用し抑振率を算出しているが、ＳＳと周波数で係数をもっておき、係数の乗算で抑振率を算出しても構わない。

振動の残り量は、
振動の残り量＝抑振率×振幅 ・・・（式２）
で算出される。振動の振動の残り量はＩＳで抑振できないものであるから、その分、マスク領域はずれることとなる（Ｓ６０７）。

マスク合成部２１では、振動補正データ分マスク領域の位置を補正する（Ｓ６０８）とともに、振動の残り量に応じてマスク領域の大きさの補正を行う（Ｓ６０９）。振動センサはＹＡＷ方向とＰＩＴＣＨ方向に設置されており、ＹＡＷ方向、ＰＩＴＣＨ方向でそれぞれ補正することにより、振れ方向に応じて、必要以上にマスクを大きくすることなく、プライバシー領域をマスクすることが可能となる。図９はマスクの補正例について説明したものである。補正前マスク領域は本来遮蔽したい領域である。振れ方向は図８における振れの方向で本図においてはＰＩＴＣＨ方向の振れを表している。振れによる抑振が１００％でなく、振れ方向はＰＩＴＣＨ方向であるため、振動の残り量分、ＰＩＴＣＨ方向にマスク領域を広げる。それが補正後マスク領域である。

また、焦点距離が短い場合、撮像装置の画角が広く、振動がマスクに与える影響が少なくなる。その場合には振動があった場合にもマスクを広げる必要がなくなる。振動残り量と焦点距離に応じて、マスク領域を広げなくても構わない。

さらにマスク合成部において、振動残り量が大きく、プライバシー領域とマスク位置がずれてしまいそうな場合には図１６のように警告を画像に重畳しても構わない。警告することによりユーザにプライバシー領域とマスク位置がずれてしまいそうな場合に知らせることができる。

［実施例２］
図９を参照して、本発明の第２の実施例による、撮像装置について説明する。この撮像装置において、実施例１と同様の部分に関しては説明を省略する。９１歪み算出部は画像処理部１３からのＳＳと焦点距離、振幅算出１６からの振幅、周波数算出部１７からの周波数とマスクの画面位置からマスク領域における歪みを算出する。マスク合成部２１においては、実施例１に記載の抑振率に加えて、歪み算出部９１からの歪みに応じてマスク領域の補正を行う。

以下歪み算出方法と補正方法について説明する。歪みの要因としては撮像レンズ１１による歪みと撮像装置１２としてＣＭＯＳセンサを使用した場合のローリングシャッタによる歪みがある。

まず図１１を用いて、撮像レンズ１１による歪みについて説明する。いわゆる歪曲である。図１１は人物を撮影した場合、人物が画面中心にいる場合には歪みは小さい。周辺になるにつれて人物は傾き、人物の大きさも変化してしまう。焦点距離の短い撮像レンズになればなるほど、また、撮像素子のサイズが大きくなればなるほど歪曲は大きくなる。その場合には、図１２のようにマスク領域を広げるか、図１４のように撮像レンズ１１の歪曲に併せてマスク領域を回転させる方法がある。

図１１のようにマスク領域を大きくする場合、図１３のような画面位置によるマスクの拡大率のテーブルを参照してマスク領域を大きくことが考えられる。図１３におけるマスクの拡大率はパーセントで表記されている。マスク領域の大きさの補正は、振動の残り量とマスクの拡大率の積で行われる。本実施例においてはテーブルを使用し拡大率を算出しているが、焦点距離と画面位置で係数をもっておき、係数の乗算で拡大率を算出しても構わない。

図１４のようにマスク領域を傾ける場合、図１５のような画面位置による傾きのテーブルを参照してマスク領域を傾けることが考えられる。本実施例においてはテーブルを使用し拡大率を算出しているが、焦点距離と画面位置で係数をもっておき、係数の乗算で傾きを算出しても構わない。

次に撮像装置１２としてＣＭＯＳセンサを使用した場合のローリングシャッタによる歪みについて説明する。ＣＭＯＳセンサを使用した場合、図７におけるＶＳｙｎｃの間で図１６のように順次走査される。そのため、画素ごとに振動に対するタイミングが変わり、振動に対する補正量が異なってくる。撮像画面内の中央部に補正の中心を合わせると撮像画面上側と下側に行くにつれて振動の残り量が異なってくる。画面中央部に対する抑振率の低下の例を表したものが図１７である。

画面位置における抑振率は、
抑振率＝（１００−ＩＳＯＮ時振動／ＩＳＯＦ時振動×１００）×抑振率劣化率
・・・（式３）
となる。本実施例においてはテーブルを使用し画面位置による抑振率を算出しているが、係数をもっておき、係数の乗算で画面位置における抑振率を算出しても構わない。

マスク合成部２１は歪み算出部９１から算出された拡大率、傾き、抑振劣化率を基に、振動補正データ分マスク位置をずらすとともに、振動の残り量に応じて、マスクサイズの補正を行う。振動センサはＹＡＷ方向とＰＩＴＣＨ方向に設置されており、ＹＡＷ方向、ＰＩＴＣＨ方向でそれぞれ補正することにより、振れ方向に応じて、必要以上にマスクを大きくすることなく、プライバシー領域をマスクすることが可能となる。さらに歪曲補正などの歪み補正を行うと画質の劣化を伴うのに対し、本実施例２の方法によれば画質劣化をすることなく、プライバシー領域を確実にマスクすることが可能となる。

図９はマスクの補正例について説明したものである。補正前マスク領域は本来遮蔽したい領域である。振れ方向は図８における振れの方向で本図においてはＰＩＴＣＨ方向の振れを表している。振れによる抑振が１００％でなく、振れ方向はＰＩＴＣＨ方向であるため、振動の残り量分、ＰＩＴＣＨ方向にマスク領域を広げる。それが補正後マスク領域である。

また、焦点距離が短い場合、撮像装置の画角が広く、振動がマスクに与える影響が少なくなる。その場合には振動があった場合にもマスクを広げる必要がなくなる。振動残り量と焦点距離に応じて、マスク領域を広げなくても構わない。

さらにマスク合成部において、振動残り量が大きく、プライバシー領域とマスクがずれてしまいそうな場合には図１８のように警告を画像に重畳しても構わない。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１１ 撮像レンズ、１２ 撮像素子、１３ 画像処理部、１４ 振動センサ、
１５ 振動検出部、１６ 振幅算出部、１７ 周波数算出部、
１８ 振動補正データ算出部、１９ 振動補正部、２０ 抑振率算出部、
２１ マスク合成部

Claims (7)

1. 撮像光学系と、
   振動検知手段と、
   プライバシー領域をマスクするマスク設定手段と、
   振動検知手段に応じて、振動補正を行う振動補正手段を有するカメラにおいて、
   振動補正手段での振動残り量を算出する振動残り量算出手段を有し、
   マスク領域を補正するマスク領域補正手段を有することを特徴とする撮像装置。
2. 前記マスク領域補正手段はマスク領域の大きさ、傾き、位置の少なくとも一つを補正することを特徴とする請求項１に記載の撮像装置。
3. 前記振動残り量は振動の周波数、振幅、シャッタースピードの少なくとも一つを用いて算出されることを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記振動残り量は撮像光学系の歪曲を用いて算出されることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
5. 前記振動残り量は撮像素子のローリングシャッタを考慮して算出されることを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置。
6. 前記マスク領域補正手段はＹＡＷ方向の振動に対してはＹＡＷ方向を、ＰＩＴＣＨ方向に対してはＰＩＴＣＨ方向の補正を行うことを特徴とする請求項１乃至請求項５の何れか一項に記載の撮像装置。
7. 振動残り量が所定以上ある場合には、警告を表示する警告表示手段を有することを特徴とする請求項１乃至請求項６の何れか一項に記載の撮像装置。