JP2017034587A - 信号処理装置および信号処理方法 - Google Patents

Abstract

【課題】振れによる画像の視認性の悪化を抑制しながら、ユーザが当該画像から状況を適切に把握することが可能な信号処理装置および信号処理方法を提供する。
【解決手段】撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出する画像抽出部と、第１の領域が前記画像抽出部により抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成する画像生成部と、を備える、信号処理装置。
【選択図】図４

Description

本開示は、信号処理装置および信号処理方法に関する。

近年、撮像時における撮像装置の振れの影響を抑制する技術について研究開発が行われている。このような技術は概して、振れ補正技術と呼ばれ、光学方式および電子方式に大別される。

光学方式は、撮像装置の振れに応じてレンズ等の光学系または撮像面（イメージセンサ）等の撮像系を動かすことにより、撮像における振れの影響を抑制する方式である。

また、電子方式は、表示対象範囲よりも広角に撮像し、当該撮像により得られた画像（以下、映像とも称する。）から表示対象範囲を切り取るように画像処理を行うことにより、撮像における振れの影響を抑制する方式である。

ここで、概して上記の振れ補正技術によって補正することが可能な振れの大きさには上限がある。例えば、光学方式においては、撮像装置の振れの大きさが光学系または撮像系の可動範囲に対応する振れの大きさを超えた場合、振れの影響を受けた画像が生成されてしまう。また、電子方式においては、振れによって広角の撮像範囲に表示対象範囲が収まらない場合には、当該撮像範囲に収まらない範囲については画像が生成されないため、一部が欠けた画像が表示されてしまう。

これに対し、特許文献１では、振れ補正技術による補正が困難な振れが発生した際に、動画から静止画に表示される画像（以下、表示画像または表示映像とも称する。）を切り替える監視カメラシステムに係る発明が開示されている。これにより、振れの影響を受けた画像が表示されることがなく、視聴者に疲労感を与えることが防止され得る。

また、特許文献２では、電子方式の振れ補正技術を用いた画像処理装置において、振れ補正処理によって欠ける部分を過去の撮像により得られた画像で補う画像処理装置に係る発明が開示されている。これにより、一部が欠けた画像が表示されることが防止され得る。

特開２００６−０３７６６２号公報 特開２００５−０２７０４６号公報

しかし、特許文献１および２で開示される発明では、ユーザが画像から状況を適切に把握することが困難であり得る。

例えば、特許文献１で開示される発明では、振れの大きな状況においては、画像が更新されないため、ユーザは当該状況における撮像により得られる画像を観察することが困難である。

また、特許文献２で開示される発明では、振れ補正処理において、過去の画像でなく撮像により得られた加工されていない画像（以下、未加工画像または未加工映像とも称する。）にも補間処理が行われることになっている。そのため、ユーザは、未加工画像を観察することが困難である。

そこで、本開示では、振れによる画像の視認性の悪化を抑制しながら、ユーザが当該画像から状況を適切に把握することが可能な、新規かつ改良された信号処理装置および信号処理方法を提案する。

本開示によれば、撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出する画像抽出部と、第１の領域が前記画像抽出部により抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成する画像生成部と、を備える、信号処理装置が提供される。

また、本開示によれば、撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出することと、第１の領域が抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成することと、を含む、信号処理方法が提供される。

以上説明したように本開示によれば、振れによる画像の視認性の悪化を抑制しながら、ユーザが当該画像から状況を適切に把握することが可能な信号処理装置および信号処理方法が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

従来の振れ補正技術の課題を説明するための図である。 本開示の第１の実施形態に係る信号処理システムの概略的な物理構成の例を示すシステム構成図である。 同実施形態に係る信号処理システムの概略的な機能構成の例を示すブロック図である。 同実施形態に係る安定化映像の生成処理を説明するための図である。 振れ補正技術を用いた物体追尾処理の課題を説明するための図である。 同実施形態における追尾対象物体の推定位置表示処理を説明するための図である。 同実施形態に係る撮像装置の処理の全体を概念的に示すフローチャートである。 同実施形態に係る撮像装置の表示対象領域の算出処理を概念的に示すフローチャートである。 同実施形態に係る撮像装置の物体追尾に係る映像処理を概念的に示すフローチャートである。 同実施形態の第１の変形例における振れに係る情報に基づく映像切り替え処理を概念的に示すフローチャートである。 同実施形態の第１の変形例に係る撮像装置の動作状態に基づく映像切り替え処理を概念的に示すフローチャートである。 同実施形態の第１の変形例に係る撮像装置の動作によるベクトル積算値の変化の例を示す図である。 同実施形態の第１の変形例に係る撮像装置の振れによるベクトル積算値の変化の例を示す図である。 同実施形態の第２の変形例に係る信号処理システムの概略的な物理構成の例を示す図である。 同実施形態の第２の変形例に係る信号処理システムの概略的な機能構成の例を示す図である。 同実施形態の第２の変形例に係る信号処理システムの概略的な物理構成の他の例を示す図である。 同実施形態の第２の変形例に係る信号処理システムの概略的な機能構成の他の例を示す図である。 本開示の第２の実施形態に係る信号処理システムの概略的な物理構成の例を示すシステム構成図である。 同実施形態に係る信号処理システムの概略的な機能構成の例を示すブロック図である。 同実施形態に係る記録装置におけるユーザ操作に基づく映像の切り替え処理を概念的に示すフローチャートである。 同実施形態に係る記録装置における撮像における振れに基づく映像の切り替え処理を概念的に示すフローチャートである。 同実施形態に係る記録装置における映像の更新状況に基づく映像の切り替え処理を概念的に示すフローチャートである。 同実施形態に係る記録装置における映像内の異常の発生に基づく映像の切り替え処理を概念的に示すフローチャートである。 同実施形態の変形例に係る信号処理システムの概略的な機能構成の例を示す図である。 本開示の一実施形態に係る信号処理装置のハードウェア構成を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる番号を付して区別する場合もある。例えば、実質的に同一の機能を有する複数の構成を、必要に応じて撮像範囲１０Ａおよび撮像範囲１０Ｂなどのように区別する。ただし、実質的に同一の機能構成を区別する必要が無い場合、同一符号のみを付する。例えば、撮像範囲１０Ａおよび撮像範囲１０Ｂを特に区別する必要がない場合には、単に撮像範囲１０と称する。

なお、説明は以下の順序で行うものとする。
１．従来技術の課題
２．本開示の第１の実施形態（安定化映像の生成）
２−１．装置の構成
２−２．技術的特徴
２−３．装置の処理
２−４．第１の実施形態のまとめ
２−５．変形例
３．本開示の第２の実施形態（未加工映像と安定化映像との表示の切り替え）
３−１．装置の構成
３−２．技術的特徴
３−３．装置の処理
３−４．第１の実施形態のまとめ
３−５．変形例
４．本開示の一実施形態に係る信号処理装置のハードウェア構成
５．むすび

＜１．従来技術の課題＞
まず、図１を参照して、従来技術の課題について説明する。図１は、従来の振れ補正技術の課題を説明するための図である。

上述したように、振れ補正技術は概して、光学方式および電子方式の２種類に大別される。光学方式では、撮像装置の振れの大きさが光学系または撮像系の可動範囲に対応する振れの大きさを超えた場合、振れの影響の抑制が困難となる。電子方式では、撮像範囲が振れに応じて変化し、表示対象範囲が固定であり、撮像範囲に表示対象範囲が収まらない場合には、一部が欠けた映像が生成されるかまたは映像が生成されない可能性がある。また、表示対象範囲が固定でない場合には、振れに応じて表示対象範囲が移動する。電子方式における後者の課題について、図１を参照して詳細に説明する。

まず、振れが発生する前の状態について説明する。例えば、振れが発生していない状態では、図１の左図に示したように、撮像範囲１０Ａが水平方向の中央に位置し、表示対象範囲（以下、表示対象領域とも称する。）２０Ａが撮像範囲１０Ａの中央に位置している。この場合、撮像範囲１０Ａのうちの表示対象領域２０Ａの範囲を抽出して得られる画像３０Ａが表示映像になる。

ここで、振れにより撮像範囲１０Ａが表示対象領域２０Ａの収まる範囲で変化する場合には、上述したような電子方式の振れ補正技術が適用されることにより、表示映像についての振れの影響が抑制される。

次に、振れ補正の上限を超えた振れが発生した場合の状態について説明する。例えば、振れが発生すると、図１の中図に示したように、撮像範囲は撮像範囲１０Ｂに移動し、表示対象領域は撮像範囲１０Ｂの範囲内であって元の表示対象領域２０Ａに他の領域よりも近い表示対象領域２０Ｂに移動する。この場合、撮像範囲１０Ｂのうちの表示対象領域２０Ｂの範囲を抽出して得られる３０Ｂが表示映像となる。

次に、振れがさらに大きくなった場合の状態について説明する。例えば、振れが継続すると、図１の右図に示したように、撮像範囲は撮像範囲１０Ｃにさらに移動し、表示対象領域は撮像範囲１０Ｃの範囲内であって元の表示対象領域２０Ａまたは２０Ｂに他の領域よりも近い表示対象領域２０Ｃに移動する。この場合、撮像範囲１０Ｃのうちの表示対象領域２０Ｃの範囲を抽出して得られる３０Ｃが表示映像となる。

このように、撮像範囲に表示対象領域が収まらない大きさの振れが発生すると、従来の振れ補正技術では、表示映像についての振れの影響を抑制しきれず、表示映像が乱れ、視認性が悪化する。さらに、振れの大きさが大きくなるほど、表示映像の乱れは大きくなるため、表示映像を観察するユーザの負担が大きくなる。

他方で、上述したように、当該表示映像の乱れを防止し、または抑制するための技術が開示されている。しかし、既に説明したように、これらの技術における表示映像では、ユーザは状況を適切に把握することが困難である。

そこで、本開示では、振れによる映像の視認性の悪化を抑制しながら、ユーザが当該映像から状況を適切に把握することが可能な信号処理装置または映像の視認性を維持しながら、状況の把握に適した画像を提供することが可能な信号処理装置を提供する。以下に、本開示の各実施形態に係る信号処理装置について詳細に説明する。

＜２．本開示の第１の実施形態（安定化映像の生成）＞
以上、従来技術の課題について説明した。次に、本開示の第１の実施形態に係る信号処理システムについて説明する。本実施形態では、信号処理装置が撮像装置である例について説明する。なお、説明の便宜上、第１および第２の実施形態による記録装置２００を、記録装置２００−１および記録装置２００−２のように、末尾に実施形態に対応する番号を付することにより区別する。

＜２−１．装置の構成＞
図２を参照して、本開示の第１の実施形態に係る信号処理システムの構成について説明する。図２は、本開示の第１の実施形態に係る信号処理システムの概略的な物理構成の例を示すシステム構成図である。

本実施形態に係る信号処理システムは、図２に示したように、撮像装置１００Ａ、記録装置２００−１Ａおよび表示装置３００を備える。例えば、信号処理システムは監視システムであり、撮像装置１００Ａは監視カメラであり得る。

本実施形態に係る信号処理システムでは、撮像装置１００Ａの撮像により得られる映像が通信を介して記録装置２００−１Ａに伝送される。伝送される映像は２種類あり、１つは撮像により得られた映像であって加工されていない未加工映像であり、もう１つは後述する安定化映像生成部１０７によって生成される、加工画像（以下、安定化画像または安定化映像とも称する。）である。例えば、図２に示したような実線は未加工映像の伝送を示し、破線は安定化映像の伝送を示す。

次に、伝送される映像は、記録装置２００−１Ａに記録される。例えば、図２に示したように、記録装置２００−１Ａに未加工映像Ｄａｔａ１および安定化映像Ｄａｔａ２の両方が記録される。

そして、記録装置２００−１Ａに記録される映像を表示装置３００が表示する。例えば、図２に示したように、安定化映像が表示装置３００に提供され、表示される。なお、記録装置２００−１Ａに伝送された映像が記録されずに、当該記録装置２００−１Ａを通じてそのまま表示装置に表示されてもよい。

続いて、図３を参照して、本実施形態に係る信号処理システムの機能構成について説明する。図３は、本実施形態に係る信号処理システムの概略的な機能構成の例を示すブロック図である。

（撮像装置）
撮像装置１００Ａは、図３に示したように、制御部１０１、レンズ駆動部１０２、光学系１０３、イメージャ１０４、映像信号処理部１０５、未加工映像メモリ１０６、安定化映像生成部１０７、保持映像メモリ１０８、保持映像生成部１０９、ジャイロスコープ１１０および通信部１１１を備える。

制御部１０１は、撮像装置１００Ａの動作を全体的に制御する。具体的には、制御部１０１は、レンズ駆動部１０２、イメージャ１０４、映像信号処理部１０５、安定化映像生成部１０７、保持映像生成部１０９および通信部１１１の動作を制御する。特に、制御部１０１は、ジャイロスコープ１１０から得られる情報に基づいて安定化映像生成部１０７の動作を制御する。

レンズ駆動部１０２は、光学系１０３に含まれるレンズを駆動させる。例えば、レンズ駆動部１０２は、モータ等を用いてレンズの位置を移動させ得る。

光学系１０３は、レンズを含み、レンズを用いてイメージャ１０４上に外界像を結像させる。例えば、光学系１０３は、外光を集光する撮影レンズおよびズームレンズ等のレンズを含み得る。

イメージャ１０４は、外光に基づいて映像信号を生成する。例えば、イメージャ１０４は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の信号変換素子であり得る。

映像信号処理部１０５は、イメージャ１０４によって生成される映像信号についての補正処理を行う。例えば、映像信号処理部１０５は、ＩＳＰ（Image Signal Processor）であり得る。

未加工映像メモリ１０６は、未加工映像を記憶する。具体的には、未加工映像メモリ１０６は、映像信号処理部１０５から得られる映像信号についての情報（以下、映像情報またはデータとも称する。）を画素単位で記憶する。例えば、未加工映像メモリ１０６では、画素に対応するアドレスが設けられ、当該アドレスに画素単位の映像情報が記憶される。

安定化映像生成部１０７は、未加工映像および過去の撮像により得られた映像（以下、保持画像または保持映像とも称する。）に基づいて、安定化映像を生成する。具体的には、安定化映像生成部１０７は、未加工映像を用いて保持映像を更新し、更新により得られる映像（以下、混合画像または混合映像とも称する。）から表示される領域を切り出すことにより安定化映像を生成する。そして、安定化映像生成部１０７は、生成される安定化映像に係る映像情報を通信部１１１に提供する。

保持映像メモリ１０８は、保持映像を記憶する。具体的には、保持映像メモリ１０８は、安定化映像生成部１０７に保持映像を提供し、保持映像生成部１０９により生成され、または更新される保持映像を記憶する。

保持映像生成部１０９は、保持映像の生成および更新を行う。具体的には、保持映像生成部１０９は、安定化映像生成部１０７によって未加工映像を用いて更新された混合映像について保持映像化処理を行い、当該保持映像化処理により得られる映像を保持映像メモリ１０８に記憶させる。

ジャイロスコープ１１０は、慣性センサとして、撮像装置１００Ａの姿勢または角速度を検出する。なお、ジャイロスコープ１１０の代わりに、加速度センサが撮像装置１００Ａに備えられてもよい。

通信部１１１は、記録装置２００−１Ａとの通信を行う。具体的には、通信部１１１は、画像提供部として、通信を介して安定化映像および未加工映像に係る映像情報の少なくとも一方を記録装置２００−１Ａに送信する。例えば、通信部１１１は、有線通信または無線通信を行う。

（記録装置）
記録装置２００−１Ａは、図３に示したように、制御部２０１、通信部２０２、記憶部２０３および映像切替部２０４を備える。

制御部２０１は、記録装置２００−１Ａの動作を全体的に制御する。具体的には、制御部２０１は、通信部２０２、記憶部２０３および映像切替部２０４の動作を制御する。

通信部２０２は、撮像装置１００Ａとの通信を行う。具体的には、通信部２０２は、撮像装置１００Ａから安定化映像および未加工映像を受信する。なお、撮像装置１００Ａと記録装置２００−１Ａとは双方向通信であってもよい。

記憶部２０３は、映像を記憶する。具体的には、記憶部２０３は、通信部２０２によって受信された安定化映像および未加工映像の両方を記憶する。

映像切替部２０４は、画像提供部として、表示装置３００に映像を提供する。具体的には、映像切替部２０４は、画像取得部として、通信部２０２によって受信された安定化映像または未加工映像を取得し、取得される映像を表示装置３００に提供する。また、映像切替部２０４は、制御部２０１の指示に基づいて表示装置３００に提供される映像を切り替える。

（表示装置）
表示装置３００は、記録装置２００−１Ａから提供される映像情報に基づいて映像を表示する。具体的には、表示装置３００は、記録装置２００−１Ａから提供される安定化映像または未加工映像を表示する表示部を備える。

＜２−２．技術的特徴＞
次に、本実施形態に係る撮像装置１００Ａの技術的特徴について説明する。

（安定化映像の生成）
撮像装置１００Ａは、未加工映像および保持映像に基づいて安定化映像を生成する。具体的には、安定化映像生成部１０７は、画像抽出部として、未加工映像から当該未加工映像の撮像時点より前の時点での撮像により得られた保持映像における表示対象領域の少なくとも一部に対応する部分を抽出する。そして、安定化映像生成部１０７は、第１の領域が抽出された未加工映像であり、当該第１の領域と異なる第２の領域が保持映像である、安定化映像を生成する。さらに、図４を参照して、本実施形態に係る安定化映像の生成処理について詳細に説明する。図４は、本実施形態に係る安定化映像の生成処理を説明するための図である。

まず、安定化映像生成部１０７は、撮像により映像が生成されると、未加工映像を取得し、取得される未加工映像を用いて保持映像を更新する。例えば、振れが発生していない場合においては、安定化映像生成部１０７は、図４の左図に示したような保持映像４０Ｄのうちの、撮像範囲１０Ｄでの撮像により得られる未加工映像の被写体と一致する部分を当該未加工映像に更新する。

また、振れが発生した場合においては、安定化映像生成部１０７は、図４の中図に示したような保持映像４０Ｅのうちの、撮像範囲１０Ｅでの撮像により得られる未加工映像の被写体と一致する部分を当該未加工映像に更新する。

また、振れがさらに大きくなった場合においては、安定化映像生成部１０７は、図４の中図に示したような保持映像４０Ｆのうちの、撮像範囲１０Ｆでの撮像により得られる未加工映像の被写体と一致する部分を当該未加工映像に更新する。

次に、安定化映像生成部１０７は、混合映像から表示対象領域に相当する部分を抽出する。例えば、安定化映像生成部１０７は、振れが発生していない場合においては、混合映像から、図４の左図に示したような表示対象領域２０Ｄに相当する部分を抽出する。この場合、撮像範囲１０Ｄに表示対象領域２０Ｄの全てが収まっているため、全てが未加工映像である映像５０Ｄが抽出される。

また、振れが発生した場合においては、安定化映像生成部１０７は、混合映像から、図４の中図に示したような表示対象領域２０Ｅに相当する部分を抽出する。この場合、撮像範囲１０Ｅから一部の表示対象領域２０Ｅが収まっていないため、未加工映像である領域５１Ｅと保持映像である領域５２Ｅとを含む映像５０Ｅが抽出される。

また、振れがさらに大きくなった場合においては、安定化映像生成部１０７は、混合映像から、図４の右図の中段に示したような表示対象領域２０Ｆに相当する部分を抽出する。この場合、撮像範囲１０Ｆから表示対象領域２０Ｆが外れてしまっているため、全てが保持映像である映像５０Ｆが抽出される。

次に、安定化映像生成部１０７は、抽出された映像を安定化映像として出力する。例えば、安定化映像生成部１０７は、図４の各図の下段に示したような抽出された映像５０Ｄ、５０Ｅおよび５０Ｆが安定化映像として出力され、表示映像として表示装置３００によって表示される。

ここで、安定化映像は、未加工映像の領域と保持映像の領域とが判別される態様である。具体的には、保持映像は、保持映像生成部１０９によって特定の視覚的態様となるように処理される。当該特定の視覚的態様としては、彩色がある。例えば、保持映像４０Ｅは、薄く白色化される。なお、特定の視覚的態様は、彩色の他に、明度もしくは輝度の変化、模様付けまたは保持映像の外縁の強調等であってもよい。また、保持映像内に保持映像である旨を示すオブジェクト、例えば文字、記号または図形等が重畳されてもよい。

なお、振れが発生した場合であっても、振れが振れ補正可能な程度の大きさである場合には、振れ補正処理が行われ、後続処理として上述の振れが発生していない場合の処理が行われてもよい。

（追尾対象物体の推定位置表示）
撮像装置１００Ａは、映像に写る特定の被写体についての追尾処理を行う。具体的には、安定化映像生成部１０７は、画像解析部として、未加工映像における特定の被写体を捕捉する。例えば、安定化映像生成部１０７は、特定対象の被写体の特徴点等に基づいて未加工映像における当該被写体の存在有無および位置を判定する。

ここで、振れ補正技術を用いた物体追尾処理においては、観察者が追尾対象物体を見失う場合がある。この振れ補正技術を用いた物体追尾処理における課題について、図５を参照して詳細に説明する。図５は、振れ補正技術を用いた物体追尾処理の課題を説明するための図である。

まず、振れが発生していない場合においては、撮像範囲に追尾対象物体が収まるため、追尾対象物体の位置が捕捉され、当該追尾対象物体の位置を示すオブジェクトが重畳される。例えば、図５の左図の上段に示したように、撮像範囲１０Ｇに追尾対象である人間が収まっているため、映像解析処理によって当該人間が捕捉され、当該人間について追尾対象物体の位置を示すオブジェクト６０Ｇが重畳される。そして、撮像範囲１０Ｇから表示対象領域２０Ｇに相当する範囲が抽出され、抽出された映像３０Ｇが表示映像として表示される。

これに対し、振れが発生した場合においては、撮像範囲から追尾対象物体が外れる場合がある。例えば、図５の右図の上段に示したように、撮像範囲１０Ｈに追尾対象である人間が収まっていないため、当該人間が捕捉されない。また、当然ながら、表示映像３０Ｈには追尾対象物体である人間が写らない。その結果、観察者は追尾対象物体である人間を見失うことになる。

そこで、本実施形態に係る撮像装置１００Ａでは、安定化映像生成部１０７は、安定化映像において、捕捉される特定の被写体が未加工映像の領域（第１の領域）に含まれない場合、推定される特定の被写体の位置を示すオブジェクトを安定化映像に重畳する。本構成について、図６を参照して詳細に説明する。図６は、本実施形態における追尾対象物体の推定位置表示処理を説明するための図である。

まず、撮像範囲に追尾対象物体が収まり、追尾対象物体の位置が捕捉される場合、当該追尾対象物体の位置を示すオブジェクトが重畳される。例えば、図６の左図の上段に示したように、撮像範囲１０Ｉに追尾対象である人間が収まっているため、映像解析処理によって当該人間が捕捉され、当該人間について追尾対象物体の位置を示すオブジェクト６０Ｉが重畳される。そして、撮像範囲１０Ｉから表示対象領域２０Ｉに相当する範囲が抽出され、抽出された映像５０Ｉが表示映像として表示される。

これに対し、撮像範囲から追尾対象物体が外れる場合には、当該追尾対象物体の推定される位置を示すオブジェクトが重畳される。

具体的には、まず、安定化映像生成部１０７は、安定化映像の未加工映像の領域に追尾対象物体が存在するかを判定する。例えば、安定化映像生成部１０７は、図６に示したような安定化映像である映像５０Ｊにおける未加工映像の領域５１Ｊに追尾対象物体である人間が存在するかを判定する。

未加工映像の領域に追尾対象物体が存在しないと判定される場合、安定化映像生成部１０７は、過去の追尾対象物体の位置に基づいて追尾対象物体の位置を推定する。例えば、安定化映像生成部１０７は、過去の追尾対象物体の位置の変化から追尾対象物体の位置を推定する。

次に、安定化映像生成部１０７は、推定される追尾対象物体の位置（以下、追尾推定位置とも称する。）が表示対象領域内であるかを判定する。例えば、安定化映像生成部１０７は、追尾推定位置が表示対象領域２０Ｊ内すなわち保持映像の領域５２Ｊ内であるかを判定する。

追尾推定位置が表示対象領域内であると判定される場合、安定化映像生成部１０７は、推定される位置に追尾対象物体の位置を示すオブジェクトを重畳させる。例えば、安定化映像生成部１０７は、保持映像の領域５２における、追尾推定位置に追尾対象物体の位置を示すオブジェクト６０Ｊを重畳させる。そして、安定化映像５０Ｊが表示映像として表示される。

なお、上記では、追尾推定位置が表示対象領域内すなわち保持映像の領域内である例を説明したが、追尾推定位置が表示対象領域外である場合に、追尾対象物体の位置を示すオブジェクトが安定化映像に重畳されてもよい。例えば、追尾推定位置が表示対象領域外である場合、安定化映像生成部１０７は、追尾推定位置を示す矢印等のオブジェクトを重畳し得る。

（表示対象領域の変更）
撮像装置１００Ａは、安定化映像における未加工映像の領域の大きさに基づいて表示対象領域を変更する。具体的には、安定化映像生成部１０７は、未加工映像の領域の大きさが閾値以下である場合、未加工映像の領域が大きくなるように表示対象領域を決定する。例えば、安定化映像生成部１０７は、未加工映像を用いた保持映像の更新により得られる映像における表示対象領域に相当する範囲において、未加工映像の領域の大きさの表示対象領域における割合が閾値以下である場合、表示対象領域をシフトさせることにより、未加工映像の領域を拡大させる。

なお、未加工映像の大きさの閾値との比較は、表示対象領域における割合で行われる例を説明したが、面積または辺の合計値等で行われてもよい。また、表示対象領域の大きさが変更されてもよい。

＜２−３．装置の処理＞
次に、本実施形態に係る撮像装置１００Ａの処理について説明する。

（処理全体のフロー）
まず、図７を参照して、撮像装置１００Ａの処理の全体について説明する。図７は、本実施形態に係る撮像装置１００Ａの処理の全体を概念的に示すフローチャートである。

撮像装置１００Ａは、振れを検出する（ステップＳ４０１）。具体的には、制御部１０１は、ジャイロスコープ１１０から得られる角速度等の情報に基づいて振れの有無および振れの大きさを検出する。

次に、撮像装置１００Ａは、未加工映像と対応する保持映像の領域を算出する（ステップＳ４０２）。具体的には、安定化映像生成部１０７は、撮像により得られる未加工映像の被写体と対応する被写体の写る保持映像の領域を算出する。

次に、撮像装置１００Ａは、未加工映像のアドレスを保持映像のアドレスに変換する（ステップＳ４０３）。具体的には、安定化映像生成部１０７は、未加工映像と対応する保持映像の領域のアドレスに当該未加工映像のアドレスを変換する。

次に、撮像装置１００Ａは、保持映像メモリ１０８上の変換に係るアドレスのデータを未加工映像のデータに更新する（ステップＳ４０４）。具体的には、安定化映像生成部１０７は、変換後の未加工映像のアドレスと対応する保持映像のアドレスに格納されるデータを未加工映像のデータに更新する。

次に、撮像装置１００Ａは、表示対象領域のアドレスを算出する（ステップＳ４０５）。詳細については後述する。

次に、撮像装置１００Ａは、保持映像メモリ１０８上の算出されたアドレスのデータを読み出す（ステップＳ４０６）。具体的には、安定化映像生成部１０７は、算出された表示対象領域のアドレスに対応する保持映像のアドレスに格納されるデータを読み出す。

次に、撮像装置１００Ａは、物体追尾処理の有無を判定する（ステップＳ４０７）。具体的には、安定化映像生成部１０７は、物体追尾処理が継続中であるか、または開始されるかを判定する。

物体追尾処理中であると判定されると、撮像装置１００Ａは、物体追尾に係る映像処理を行う（ステップＳ４０８）。詳細については後述する。なお、物体追尾処理を行わないと判定される場合、処理がステップＳ４０９に進められる。

次に、撮像装置１００Ａは、安定化映像を出力する（ステップＳ４０９）。具体的には、安定化映像生成部１０７は、保持映像メモリ１０８から読み出されたデータ、または当該読み出されたデータに係る映像に物体追尾に係る映像処理が施された映像に係るデータを通信部１１１に提供する。そして、通信部１１１は、提供されるデータを記録装置２００−１Ａに送信する。

次に、撮像装置１００Ａは、保持映像メモリ１０８上の未加工映像を保持映像に更新する（ステップＳ４１０）。具体的には、保持映像生成部１０９は、保持映像メモリ１０８上の未加工映像について彩色処理を行う。

（表示対象領域の算出処理のフロー）
続いて、図８を参照して、撮像装置１００Ａの表示対象領域の算出処理について説明する。図８は、本実施形態に係る撮像装置１００Ａの表示対象領域の算出処理を概念的に示すフローチャートである。

撮像装置１００Ａは、表示割合による表示対象領域の制御の有無を判定する（ステップＳ４２１）。具体的には、安定化映像生成部１０７は、表示対象領域すなわち安定化映像における未加工映像の割合に基づく表示対象領域の変更有無を判定する。なお、当然ながら、未加工映像の割合の代わりに、保持映像の割合が用いられてもよい。

表示割合による表示対象領域の制御を行うと判定されると、撮像装置１００Ａは、表示対象領域における未加工映像の割合を算出する（ステップＳ４２２）。具体的には、安定化映像生成部１０７は、混合映像における、既に設定されている表示対象領域を特定する。そして、安定化映像生成部１０７は、当該表示対象領域における未加工映像の領域の割合を算出する。

なお、表示割合による表示対象領域の制御を行わないと判定される場合には、ステップＳ４２５に処理が進められる。

次に、撮像装置１００Ａは、未加工映像の割合が閾値以上であるかを判定する（ステップＳ４２３）。具体的には、安定化映像生成部１０７は、算出された表示対象領域における未加工映像の割合が閾値以上であるかを判定する。なお、当該閾値は、予め設定されてもよく、事後的に変更されてもよい。

なお、未加工映像の割合が閾値以上であると判定される場合には、ステップＳ４２５に処理が進められる。

未加工映像の割合が閾値未満であると判定されると、撮像装置１００Ａは、表示対象領域の位置を再計算する（ステップＳ４２４）。具体的には、安定化映像生成部１０７は、未加工映像の割合が増加するように表示対象領域をシフトする。

次に、撮像装置１００Ａは、表示対象領域に相当する保持映像メモリ１０８上のアドレスを算出する（ステップＳ４２５）。具体的には、安定化映像生成部１０７は、表示対象領域で特定される混合映像の領域のアドレスを算出する。

（物体追尾処理のフロー）
続いて、図９を参照して、撮像装置１００Ａの物体追尾に係る映像処理について説明する。図９は、本実施形態に係る撮像装置１００Ａの物体追尾に係る映像処理を概念的に示すフローチャートである。

撮像装置１００Ａは、未加工映像の領域における追尾対象物体の存在有無を判定する（ステップＳ４３１）。具体的には、安定化映像生成部１０７は、読み出されたデータに係る映像における未加工映像の領域に追尾対象物体が存在するかを判定する。なお、当然ながら、安定化映像生成部１０７は、未加工映像のみを用いて未加工映像に追尾対象物体が存在するかを判定してもよい。

未加工映像の領域に追尾対象物体が存在しないと判定されると、撮像装置１００Ａは、追尾推定位置を算出する（ステップＳ４３２）。具体的には、安定化映像生成部１０７は、過去の追尾対象物体の位置の変化に基づいて追尾対象物体の位置を推定する。

次に、撮像装置１００Ａは、追尾対象物体が表示対象領域に存在するかを判定する（ステップＳ４３３）。具体的には、安定化映像生成部１０７は、追尾推定位置が表示対象領域内であるかを判定する。

追尾対象物体が表示対象領域に存在すると判定されると、撮像装置１００Ａは、追尾推定位置を示すオブジェクトを重畳させる（ステップＳ４３４）。具体的には、安定化映像生成部１０７は、読み出されたデータに係る映像に追尾推定位置を示すオブジェクトを重畳させる。

＜２−４．第１の実施形態のまとめ＞
このように、本開示の第１の実施形態によれば、撮像装置１００Ａは、信号処理装置として、撮像により得られる未加工画像から、未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出する。また、撮像装置１００Ａは、第１の領域が画像抽出部により抽出された未加工画像であり、第１の領域と異なる第２の領域が保持画像である、加工画像を生成する。このため、振れにより撮像範囲に表示対象領域が収まらない場合であっても、未加工映像の存在しない領域が保持映像で補完されることにより、振れによる映像の視認性の悪化を抑制することが可能となり、ユーザの負担が軽減され得る。また、撮像により得られる映像が加工されない未加工映像が表示映像に用いられることにより、ユーザが当該映像から状況を適切に把握することが可能となる。

また、加工画像は、第１の領域および第２の領域のうちの少なくとも一方が判別される画像を含む。このため、未加工映像と保持映像とが判別されるように安定化映像が生成されることにより、ユーザは撮像された時点の状況を未加工映像の領域を観察することで把握することができる。その結果、視認性が少なくとも維持されたまま、表示対象領域の撮像時点の状況を観察することが可能となる。

また、加工画像の第２の領域は、特定の視覚的態様である。このため、ユーザによって一目で各領域が区別されることにより、ユーザの利便性を向上させることが可能となる。

また、特定の視覚的態様は、特定の彩色を含む。このため、人間が違いを認識しやすい態様で保持映像の領域が表示されることにより、ユーザによる保持映像の領域の迅速な把握が可能となる。

また、撮像により得られる画像は、ネットワークを介して通信される。このため、遠隔での撮像により得られる映像であっても安定化映像を生成することが可能となる。

また、未加工画像は、撮像範囲に表示対象領域が収まらない状況における撮像により得られる画像を含む。このため、振れ補正が困難な状況での撮像により得られる映像が取得される場合であっても乱れが抑制された表示映像を提供することが可能となる。

また、撮像装置１００Ａは、未加工画像における特定の被写体を捕捉し、捕捉される特定の被写体が第１の領域に含まれない場合、推定される特定の被写体の位置を示すオブジェクトを加工画像に重畳する。このため、安定化映像の未加工映像の領域に追尾対象物体が写らない場合であっても追尾推定位置が示されることにより、ユーザが追尾対象物体を見失いにくくすることが可能となる。

また、撮像装置１００Ａは、第１の領域の大きさが閾値以下である場合、第１の領域が大きくなるように表示対象領域を決定する。このため、安定化映像における未加工映像の領域が大きくなることにより、撮像時点の状況を把握し易くすることが可能となる。

また、加工画像および未加工画像の両方が記録される。ここで、例えば監視システムにおいては映像の証拠能力が重要となる。安定化映像は保持映像を含むため、未加工映像の領域のみが証拠能力を有することになる。しかし、安定化映像は加工が施された映像であるため、証拠能力が疑われる可能性がある。そこで、本構成のように、安定化映像のみならず未加工映像も記録されることにより、監視については安定化映像を利用し、証拠としては未加工映像を利用することが可能となる。

＜２−５．変形例＞
以上、本開示の第１の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１および第２の変形例について説明する。

（第１の変形例）
本実施形態の第１の変形例として、撮像装置１００Ａは、提供する映像を切り替えてもよい。ここで、安定化映像が提供されることが望ましい状況がいくつか存在する。具体的には、撮像装置が撮影対象となる場所から遠くに設置される場合、または撮像装置が固定されない場合等がある。

例えば、撮像装置が撮影対象となる場所から遠くに設置される場合としては、人間が近づきにくい火山、海上もしくは河川等が撮影対象となる場合、または災害現場が撮影対象となる場合等がある。また、撮像装置が固定的されない場合としては、警察の張り込み捜査もしくは調査において仮に設置される場合、または設置場所が安定していない、例えば交通もしくは風の影響を受ける場合等がある。

そこで、本実施形態の第１の変形例では、制御部１０１は、撮像を行う装置の状態に係る情報に基づいて、通信部１１１により送信される映像を切り替える。例えば、制御部１０１は、安定化映像が送信されるモード（安定化モードＯＮ）と未加工映像が送信されるモード（安定化モードＯＦＦ）とを切り替える。映像を切り替える方法としては、撮像装置１００Ａの振れに係る情報に基づく映像切り替え、および撮像装置１００Ａの動作状態に基づく映像切り替えがある。

（振れに係る情報に基づく映像切り替え）
制御部１０１は、撮像における振れの程度に基づいて通信部１１１に送信させる映像を切り替える。具体的には、撮像における振れの程度は、撮像装置１００Ａの動きに基づいて推定される。詳細には、撮像装置１００Ａの動きは、慣性センサから得られる情報（以下、センサ情報とも称する。）に基づいて推定される。例えば、制御部１０１は、ジャイロスコープ１１０から得られる角速度等の情報に基づいて動きベクトルを算出する。そして、制御部１０１は、算出される動きベクトルの大きさに基づいて安定化モードのＯＮとＯＦＦとを切り替える。

なお、撮像装置１００Ａの動きは、撮像により得られる映像に基づいて推定されてもよい。例えば、制御部１０１は、未加工映像の時系列の変化に基づいて動きベクトルを算出する。当然ながら、当該撮像装置１００Ａの動きの推定に保持映像が利用されてもよい。

また、制御部１０１は、撮像における振れ発生の可能性に基づいて通信部１１１に送信させる映像を切り替えてもよい。具体的には、撮像における振れ発生の可能性は、撮像により得られる映像における被写体の拡大の有無に基づいて推定される。例えば、制御部１０１は、焦点距離の大きさに基づいて撮像におけるズームイン動作の有無を判定する。焦点距離が閾値よりも大きい場合、制御部１０１は、ズームイン動作中であるとして安定化モードをＯＮに設定する。なお、焦点距離の閾値は、予め決定されてもよく、事後的に変更されてもよい。

さらに、図１０を参照して、本変形例の振れに係る情報に基づく映像切り替え処理について説明する。図１０は、本実施形態の第１の変形例における振れに係る情報に基づく映像切り替え処理を概念的に示すフローチャートである。

撮像装置１００Ａは、焦点距離が取得可能であるかを判定する（ステップＳ４４１）。具体的には、制御部１０１は、光学系１０３の有するレンズの焦点距離が取得可能かを判定する。

焦点距離が取得可能であると判定されると、撮像装置１００Ａは、焦点距離が閾値Ｌを超過しているかを判定する（ステップＳ４４２）。具体的には、制御部１０１は、レンズの焦点距離を取得し、取得される焦点距離が閾値Ｌを超過しているかを判定する。

焦点距離が閾値Ｌを超過していると判定されると、撮像装置１００Ａは、安定化モードをＯＮに設定する（ステップＳ４４３）。

ステップＳ４４１にて焦点距離が取得可能でないと判定された場合、またはステップＳ４４２にて焦点距離が閾値Ｌを超過していないと判定された場合、撮像装置１００Ａは、動きベクトルを算出する（ステップＳ４４４）。具体的には、制御部１０１は、ジャイロスコープ１１０から得られる情報または映像解析に基づいて撮像装置１００Ａの動きベクトルを算出する。

次に、撮像装置１００Ａは、安定化モードがＯＦＦであるかを判定する（ステップＳ４４５）。

安定化モードがＯＦＦであると判定されると、撮像装置１００Ａは、動きの大きさが閾値ａ以上であるかを判定する（ステップＳ４４６）。具体的には、制御部１０１は、算出された動きベクトルの大きさが閾値ａ以上であるかを判定する。

動きの大きさが閾値ａ以上であると判定されると、ステップＳ４４３に処理が進められ、安定化モードがＯＮに設定される。そうでなければ、安定化モードは変更されず、ＯＦＦのまま維持される。

ステップＳ４４５にて安定化モードがＯＮであると判定されると、撮像装置１００Ａは、所定の期間Ｔ１の動きを観測する（ステップＳ４４７）。具体的には、制御部１０１は、所定の期間Ｔ１の間、定期的に動きベクトルを算出し続ける。

次に、撮像装置１００Ａは、所定の期間Ｔ１における動きの大きさが閾値ｂ以下であるかを判定する（ステップＳ４４８）。具体的には、制御部１０１は、所定の期間Ｔ１の間に算出された動きベクトルの全てについて閾値ｂ以下であるかを判定する。

所定の期間Ｔ１における動きの大きさが閾値ｂ以下であると判定されると、撮像装置１００Ａは、安定化モードをＯＦＦに設定する（ステップＳ４４９）。また、そうでなければ、制御部１０１は、安定化モードを変更せず、ＯＮのまま維持する。なお、制御部１０１は、閾値ｂ以下である期間の長さに基づいて安定化モードの切り替えを行ってもよい。

（撮像装置の動作状態に基づく映像切り替え）
制御部１０１は、撮像についての動作状態に応じて提供する映像を切り替える。具体的には、撮像についての動作状態は、撮像範囲の移動に係る動作の有無を含む。例えば、撮像範囲の移動に係る動作としては、撮像方向の水平方向の回転動作いわゆるパン動作および撮像方向の垂直方向の回転動作いわゆるチルト動作がある。

また、撮像についての動作状態は、被写体のサイズの変化に係る動作の有無を含む。例えば、被写体のサイズの変化に係る動作としては、ズームインおよびズームアウトがある。なお、ズームは、光学式またはデジタル式のいずれであってもよい。

撮像範囲の移動に係る動作および被写体のサイズの変化に係る動作は、撮像装置１００Ａの動作情報に基づいて判定される。なお、撮像装置１００Ａの動作情報の代わりに、映像解析結果に基づいて、撮像範囲の移動に係る動作および被写体のサイズの変化に係る動作が判定されてもよい。

さらに、図１１を参照して、本変形例の撮像装置の動作状態に基づく映像切り替え処理について説明する。図１１は、本実施形態の第１の変形例における撮像装置の動作状態に基づく映像切り替え処理を概念的に示すフローチャートである。なお、上述した処理と実質的に同一である処理については説明を省略する。

撮像装置１００Ａは、撮像装置１００Ａの動作情報が取得可能かを判定する（ステップＳ４５１）。具体的には、制御部１０１は、撮像装置１００Ａのズーム、パンおよびチルトに係る動作情報が取得可能かを判定する。

撮像装置１００Ａの動作情報が取得可能と判定されると、撮像装置１００Ａは、ズーム動作中であるかを判定する（ステップＳ４５２）。具体的には、制御部１０１は、ズームに係る動作情報がズームインまたはズームアウトの実行中を示すかを判定する。

ズーム動作中であると判定されると、撮像装置１００Ａは、安定化モードをＯＦＦに設定する（ステップＳ４５３）。

ステップＳ４５２にてズーム動作中でないと判定されると、撮像装置１００Ａは、パンまたはチルト動作中であるかを判定する（ステップＳ４５４）。具体的には、制御部１０１は、パンおよびチルトに係る動作情報がパンまたはチルト動作の実行中を示すかを判定する。

パンまたはチルト動作中であると判定されると、撮像装置１００Ａは、安定化モードをＯＦＦに設定し（ステップＳ４５３）、そうでなければ、安定化モードをＯＮに設定する（ステップＳ４５５）。

ステップＳ４５１にて撮像装置１００Ａの動作情報が取得可能でないと判定されると、撮像装置１００Ａは、動きベクトルを算出する（ステップＳ４５６）。

次に、撮像装置１００Ａは、被写体のサイズが変化しているかを判定する（ステップＳ４５７）。具体的には、制御部１０１は、時系列の映像の解析により被写体のサイズが拡大し、または縮小しているかを判定する。

被写体のサイズが変化していると判定されると、撮像装置１００Ａは、安定化モードをＯＦＦに設定する（ステップＳ４５８）。

ステップＳ４５７にて被写体のサイズが変化していないと判定されると、撮像装置１００Ａは、所定の期間Ｔ２の動きを観測する（ステップＳ４５９）。

次に、撮像装置１００Ａは、所定の期間Ｔ２における動きの大きさの積算値が閾値以下であるかを判定する（ステップＳ４６０）。具体的には、制御部１０１は、所定の期間Ｔ２の間に算出された動きベクトルを積算し、積算により得られる値が閾値以下であるかを判定する。さらに、図１２Ａおよび図１２Ｂを参照して動きベクトルの積算値について詳細に説明する。図１２Ａは、本変形例に係る撮像装置１００Ａの動作によるベクトル積算値の変化の例を示す図であり、図１２Ｂは、本変形例に係る撮像装置１００Ａの振れによるベクトル積算値の変化の例を示す図である。

撮像装置１００Ａの動作、例えばパンまたはチルトは一定の方向に行われるため、当該動作によるベクトルの積算値は概して、図１２Ａに示したように線形に増加する。これに対し、撮像装置１００Ａの振れの方向は、発生した方向および当該発生した方向と反対方向に交互に変化するため、振れによるベクトルの積算値は概して、図１２Ｂに示したように互いに打ち消し合うように変化し、やがて０に向かって収束する。なお、ステップＳ４６０の判定に用いられる閾値は、０または０としてみなされる値であり得る。

図１１を参照して、撮像装置の動作状態に基づく映像切り替え処理のフローチャートについての説明に戻ると、所定の期間Ｔ２における動きの大きさの積算値が閾値以下であると判定されると、撮像装置１００Ａは、安定化モードをＯＮに設定し（ステップＳ４６１）、そうでなければ安定化モードをＯＦＦに設定する（ステップＳ４５８）。

なお、上記では、ズーム動作中またはパンもしくはチルト動作中である場合に安定化モードがＯＦＦにされる例を説明したが、動作情報と安定化モードとの対応付けはその他の対応付けであってもよい。例えば、下記の表１のような対応付けが想定される。

このように、本実施形態の第１の変形例によれば、撮像装置１００Ａは、撮像を行う装置の状態に係る情報に基づいて、外部装置に提供する画像を切り替える。このため、撮像装置１００Ａの状態に適した映像が外部装置に提供されることにより、映像の視認性および映像に対するユーザのニーズの両立が可能となる。

また、撮像装置１００Ａは、撮像における振れの程度に基づいて提供する画像を切り替える。このため、所定の大きさの振れが発生した際に安定化モードがＯＮにされることにより、常に安定化映像の生成処理が行われる場合と比べて処理負荷を低減することが可能となる。

また、撮像における振れの程度は、撮像を行う装置の動きに基づいて推定される。このため、振れが発生している撮像装置１００Ａの動きに基づいて振れの程度が推定されることにより、推定の正確性および精度を向上させることが可能となる。

また、撮像を行う装置の動きは、慣性センサから得られる情報に基づいて推定される。このため、撮像装置１００Ａの動きの推定のための映像解析が行われる場合と比べて処理負荷の増加を抑制することが可能となる。

また、撮像を行う装置の動きは、撮像により得られる画像に基づいて推定される。このため、慣性センサから得られる情報に基づく推定処理が行われる場合と比べてコストを低減させることが可能となる。

また、撮像装置１００Ａは、撮像における振れ発生の可能性に基づいて提供される画像を切り替える。このため、振れ発生の可能性が高い場合に事前に安定化モードがＯＮにされることにより、振れの発生後に安定化モードの切り替えが行われる場合と比べて映像の乱れを抑制することが可能となる。

また、撮像における振れ発生の可能性は、撮像により得られる画像における被写体の拡大の有無に基づいて推定される。ここで、ズームイン動作中は、ズームイン動作が行われていない場合と比べて映像が振れの影響を受けやすい。そこで、ズームイン動作中においては、安定化モードがＯＮに切り替えられることにより、映像の視認性が低下することを抑制することが可能となる。

また、撮像装置１００Ａは、撮像についての動作状態に応じて提供される画像を切り替える。このため、撮像装置１００Ａの動作状態から推定される安定化映像の状態が視認に適していない場合に未加工映像に切り替えられることにより、撮像装置１００Ａの動作による視認性の低下を抑制することが可能となる。

また、撮像についての動作状態は、撮像範囲の移動に係る動作の有無を含む。ここで、パンまたはチルト動作中においては、撮像範囲が移動するため、まだ撮像されていない領域が存在し得る。この場合、未加工映像に対応する保持映像の領域が存在しないため、安定化映像の一部が欠けることになり得る。しかし、本構成によれば、パンまたはチルト動作中においては安定化モードがＯＦＦにされる、すなわち表示される映像が未加工映像に切り替えられることにより、欠けのない映像をユーザに提供することが可能となる。

また、撮像についての動作状態は、被写体のサイズの変化に係る動作の有無を含む。ここで、ズーム動作中においては、未加工映像に写る被写体が拡大され、または縮小されるため、それに応じて保持映像も拡大され、または縮小されることになる。それにより、保持映像が劣化し得る。しかし、本構成によれば、ズーム動作中においては安定化モードがＯＦＦにされる、すなわち表示される映像が未加工映像に切り替えられることにより、映像の劣化を防止することが可能となる。

（第２の変形例）
本実施形態の第２の変形例として、撮像装置と異なる他の装置が信号処理装置として動作してもよい。具体的には、記録装置２００−１Ｂが信号処理装置として動作する。図１３を参照して、本実施形態の第２の変形例に係る信号処理システムの構成について説明する。図１３は、本実施形態の第２の変形例に係る信号処理システムの概略的な物理構成の例を示す図である。

（撮像装置から得られる映像情報から安定化映像を生成する記録装置）
図１３に示したように、信号処理システムは、撮像装置１００Ｂ、記録装置２００−１Ｂおよび表示装置３００を備える。例えば、記録装置２００−１Ｂは、撮像装置１００Ｂから未加工映像を受信し、受信される未加工映像と保持映像とに基づいて安定化映像を生成する。次に、記録装置２００−１Ｂは、生成される安定化映像に係る映像情報を表示装置３００に提供する。なお、記録装置２００−１Ｂは、図１３に示したように、未加工画像Ｄａｔａ１および安定化映像Ｄａｔａ２を記録する。そして、表示装置３００は、提供される映像情報に係る安定化映像を表示する。さらに、図１４を参照して、本変形例に係る信号処理システムの機能構成について説明する。図１４は、本実施形態の第２の変形例に係る信号処理システムの概略的な機能構成の例を示す図である。なお、ここでは、記録装置２００−１Ｂについてのみ説明する。

図１４に示したように、記録装置２００−１Ｂは、制御部２０１、通信部２０２、記憶部２０３および映像切替部２０４に加えて、未加工映像メモリ２０５、安定化映像生成部２０６、保持映像メモリ２０７、保持映像生成部２０８および動き検出部２０９を備える。なお、通信部２０２および記憶部２０３の機能については、上述した機能と実質的に同一であるため説明を省略する。また、制御部２０１、未加工映像メモリ２０５、安定化映像生成部２０６、保持映像メモリ２０７および保持映像生成部２０８の機能は、上述した制御部１０１、未加工映像メモリ１０６、安定化映像生成部１０７、保持映像メモリ１０８および保持映像生成部１０９の機能とそれぞれ実質的に同一であるため説明を省略する。

動き検出部２０９は、未加工映像に基づいて撮像装置１００Ｂの動きを検出する。具体的には、動き検出部２０９は、第１の実施形態にて説明した制御部１０１の処理と同様に、撮像により得られる映像に基づいて撮像装置１００Ｂの動きを推定する。なお、通信部２０２を介して撮像装置１００Ｂから撮像時点の撮像装置１００Ｂのセンサ情報が得られる場合は、動き検出部２０９は、当該センサ情報に基づいて撮像装置１００Ｂの動きを検出してもよい。

また、動き検出部２０９は、撮像における振れの発生の可能性を推定してもよい。例えば、動き検出部２０９は、第１の実施形態にて説明した制御部１０１の処理と同様に、映像における被写体の拡大の有無に基づいて撮像における振れの発生の可能性を推定する。

（記録された映像情報から安定化映像を生成する記録装置）
信号処理装置として動作する別の記録装置２００−１Ｃは、記録される未加工映像と処理の過程で生成される保持映像とに基づいて安定化映像を生成する。まず、図１５を参照して、本変形例に係る信号処理システムの他の構成について説明する。図１５は、本実施形態の第２の変形例に係る信号処理システムの概略的な物理構成の他の例を示す図である。

図１５に示したように、信号処理システムは、記録装置２００−１Ｃおよび表示装置３００を備える。例えば、記録装置２００−１Ｃは、記録されている未加工映像Ｄａｔａ１と処理の過程で生成される保持映像とに基づいて安定化映像を生成する。次に、記録装置２００−１Ｃは、生成される安定化映像に係る映像情報を表示装置３００に提供する。そして、表示装置３００は、提供される映像情報に係る安定化映像を表示する。さらに、図１６を参照して、信号処理システムの機能構成について説明する。図１６は、本実施形態の第２の変形例に係る信号処理システムの概略的な機能構成の他の例を示す図である。なお、ここでは、記録装置２００−１Ｃについてのみ説明する。

図１６に示したように、記録装置２００−１Ｃは、制御部２０１、記憶部２０３、映像切替部２０４、未加工映像メモリ２０５、安定化映像生成部２０６、保持映像メモリ２０７、保持映像生成部２０８および動き検出部２０９に加えて、再生処理部２１０を備える。なお、制御部２０１、未加工映像メモリ２０５、安定化映像生成部２０６、保持映像メモリ２０７、保持映像生成部２０８および動き検出部２０９の機能は、上述した機能と実質的に同一であるため説明を省略する。

再生処理部２１０は、制御部２０１の指示に基づいて映像の再生を制御する。具体的には、再生処理部２１０は、制御部２０１により再生開始が指示されると、記憶部２０３から未加工映像の映像情報を取得し、未加工映像メモリに映像情報を提供する。また、再生処理部２１０は、制御部２０１により再生停止または終了が指示されると、記憶部２０３からの映像情報の取得を終了し、または停止する。

このように、本実施形態の第２の変形例によれば、記録装置２００が信号処理装置として動作する。このため、一般的な撮像装置を信号処理システムに採用することが可能となる。また、撮像装置と接続されていない場合であっても安定化映像を表示装置３００に表示させることが可能となる。

＜３．本開示の第２の実施形態（未加工映像と安定化映像との表示の切り替え）＞
以上、本開示の第１の実施形態に係る信号処理システムについて説明した。次に、本開示の第２の実施形態に係る信号処理システムについて説明する。本実施形態では、信号処理装置が記録装置である例について説明する。

＜３−１．装置の構成＞
図１７を参照して、本実施形態に係る信号処理システムの構成について説明する。図１７は、本開示の第２の実施形態に係る信号処理システムの概略的な物理構成の例を示すシステム構成図である。なお、上述した信号処理システムと実質的に同一である物理構成については説明を省略する。

本実施形態に係る信号処理システムは、図１７に示したように、記録装置２００−２Ａおよび表示装置３００を備える。

本実施形態に係る信号処理システムでは、記録装置２００−２Ａに映像情報が予め記録されている。例えば、図１７に示したように、記録装置２００−２Ａには未加工映像Ｄａｔａ１および安定化映像Ｄａｔａ２の両方が記録されている。

そして、記録装置２００−２Ａから提供される映像を表示装置３００が表示する。例えば、図１７に示したように、安定化映像または未加工映像が表示装置３００に提供され、表示装置３００は提供される映像を表示する。

続いて、図１８を参照して、本実施形態に係る信号処理システムの機能構成について説明する。図１８は、本実施形態に係る信号処理システムの概略的な機能構成の例を示すブロック図である。

記録装置２００−２Ａは、図１８に示したように、制御部２０１、記憶部２０３、映像切替部２０４、再生処理部２１０および映像バッファ２１１を備える。なお、上述した機能と実質的に同一の機能については説明を省略する。

映像バッファ２１１は、映像を一時的に保持する。具体的には、映像バッファ２１１は、表示されている映像の表示時点から当該表示時点よりも前の時点までの画像を再生可能な状態で保持する。より具体的には、映像バッファ２１１は、再生処理部２１０から提供される未加工映像を一時的にバッファし、再生処理部２１０から映像切替部２０４に提供される未加工映像よりも時系列的に遅れた未加工映像を映像切替部２０４に提供する。例えば、映像バッファ２１１は、再生処理部２１０から映像切替部２０４に提供される未加工映像のフレームよりも時系列的に所定数前のフレームの未加工映像を映像切替部２０４に提供する。なお、時系列的な遅れは、制御部２０１または映像切替部２０４から指定されてもよく、固定値であってもよい。

＜３−２．技術的特徴＞
次に、本実施形態に係る記録装置２００−２Ａの技術的特徴について説明する。

（Ａ．映像の切り替え）
記録装置２００−２Ａは、表示装置３００に表示させる映像を切り替える。具体的には、制御部２０１は、表示制御部として、未加工映像および安定化映像の少なくとも一方の映像を表示映像として決定する。ここで、映像の切り替えは、以下に説明するように、様々な情報に基づいて行われる。

（Ａ−１．ユーザ操作に基づく映像の切り替え）
制御部２０１は、ユーザの操作に基づいて表示映像を決定する。具体的には、制御部２０１は、記録装置２００−２Ａに対するユーザの映像切り替え操作に応じて表示映像を決定する。例えば、制御部２０１は、安定化映像が表示装置３００により表示されている状態において、映像に異常を感じたユーザが記録装置２００−２Ａに対して映像切り替え操作を行うと、映像切替部２０４に表示装置３００に提供される映像を安定化映像から未加工映像に切り替えさせる。

（Ａ−２．撮像における振れに基づく映像の切り替え）
制御部２０１は、撮像における振れに係る情報に基づいて表示映像を決定する。具体的には、撮像における振れに係る情報は、撮像における振れの程度に係る情報を含む。より具体的には、制御部２０１は、未加工映像および安定化映像の少なくとも一方の映像に基づいて、撮像における振れの程度を推定する。例えば、制御部２０１は、未加工映像の時系列の変化に基づいて動きベクトルを算出する。次に、制御部２０１は、算出される動きベクトルと閾値との比較に基づいて未加工映像または安定化映像を選択する。そして、制御部１０１は、映像切替部２０４に表示装置３００に提供される映像を選択される映像に切り替えさせる。

なお、未加工映像および安定化映像と共に撮像時点の撮像装置のセンサ情報が記録装置２００−２Ａに予め記録される場合は、制御部２０１は、当該センサ情報に基づいて撮像における振れの程度を推定してもよい。

また、制御部２０１は、撮像における振れの発生の可能性を推定してもよい。例えば、制御部２０１は、第１の実施形態にて説明した制御部１０１の処理と同様に、映像における被写体の拡大の有無に基づいて撮像における振れの発生の可能性を推定する。

（Ａ−３．映像の更新状況に基づく映像の切り替え）
制御部２０１は、表示映像の表示の更新間隔に基づいて表示映像を決定する。具体的には、制御部２０１は、当該更新間隔と閾値との比較に基づいて表示映像を決定する。例えば、制御部２０１は、表示されている安定化映像が所定の期間にわたって更新されていない場合、例えば安定化映像が保持映像の領域のみを含む場合、映像切替部２０４に表示装置３００に提供される映像を未加工映像に切り替えさせる。

なお、制御部２０１は、安定化映像が未加工映像の領域を含む場合であっても、映像切替部２０４に表示映像を未加工映像に切り替えさせてもよい。具体的には、制御部２０１は、未加工映像の領域の大きさに基づいて表示映像を決定する。より具体的には、制御部２０１は、安定化映像における未加工映像の領域の割合に基づいて表示映像を決定する。例えば、制御部２０１は、表示されている安定化映像における未加工映像の領域の割合が閾値以下である場合、映像切替部２０４に表示装置３００に提供される映像を未加工映像に切り替えさせる。

また、制御部２０１は、未加工映像の領域の表示時間に基づいて表示映像を決定してもよい。具体的には、制御部２０１は、安定化映像の表示時間における未加工映像の領域の表示時間の割合に基づいて表示映像を決定する。例えば、制御部２０１は、安定化映像の表示時間に対して、安定化映像に未加工映像の領域が含まれる時間が所定の割合を下回る場合、映像切替部２０４に表示装置３００に提供される映像を未加工映像に切り替えさせる。

（Ａ−４．映像内の異常の発生に基づく映像の切り替え）
制御部２０１は、未加工映像および安定化映像の少なくとも一方の映像の内容に係る情報に基づいて表示映像を決定する。具体的には、当該映像の内容に係る情報は、当該映像における特徴的なオブジェクトの包含有無に係る情報を含む。より具体的には、当該映像における特徴的なオブジェクトの包含有無は、当該映像の解析に基づいて判定される。例えば、制御部２０１は、安定化映像が表示されている間、映像解析により当該安定化映像に異常と判断される物体が含まれるかを判定する。そして、制御部２０１は、当該物体が安定化映像に含まれると判定される場合、映像切替部２０４に表示装置３００に提供される映像を安定化映像から未加工映像に切り替えさせる。なお、特徴的なオブジェクトの形態は、上述したような固体である物体のほか、水もしくは油等の液体または雲または煙等の気体であってもよい。

なお、上述した映像における特徴的なオブジェクトの包含有無は、当該映像のメタ情報に基づいて判定されてもよい。例えば、映像のメタ情報は、異常が認識される安定化映像の表示時点（またはフレーム）を示す情報を含み、安定化映像と紐付けられて記憶部２０３に記憶される。制御部２０１は、再生処理部２１０に安定化映像の再生を開始させると共に、メタ情報を記憶部２０３から取得する。そして、制御部２０１は、安定化映像の表示時点（またはフレーム）がメタ情報の示す時点（またはフレーム）に到達すると、映像切替部２０４に表示装置３００に提供される映像を安定化映像から未加工映像に切り替えさせる。なお、メタ情報は未加工映像にも紐付けられてよい。

（Ｂ．切り替えに備えた事前処理）
記録装置２００−２Ａは、映像の切り替え前に予め表示のための準備を行う。具体的には、制御部２０１は、未加工映像および安定化映像の両方を表示可能な状態にする。例えば、制御部２０１は、再生処理部２１０に安定化映像および未加工映像の両方の映像について再生を開始させ、当該両方の映像が映像切替部２０４に提供される。

（Ｃ．切り替え後の表示方法）
記録装置２００−２Ａは、切り替え後の映像の表示時点を制御する。具体的には、制御部２０１は、表示映像が切り替わる場合、切り替え前の表示時点よりも前の時点から切り替え後の映像を再生させる。例えば、制御部２０１は、安定化映像から未加工映像への表示映像の切り替えが発生した場合、映像切替部２０４に表示装置３００に提供される映像を安定化映像から、映像バッファ２１１から提供される未加工映像に、切り替えさせる。

なお、制御部２０１は、表示映像が切り替わる場合に、切り替え前の表示時点と同じ時点から切り替え後の映像を再生させてもよい。例えば、制御部２０１は、安定化映像から未加工映像への表示映像の切り替えが発生した場合に、映像切替部２０４に表示装置３００に提供される映像を安定化映像から、再生処理部２１０から提供される未加工映像に、切り替えさせる。

さらに、制御部２０１は、切り替え後の映像の表示時点を選択してもよい。具体的には、制御部２０１は、表示時点よりも時系列的に遅れた映像および表示時点と一致する映像から設定情報に基づいて表示映像を選択する。例えば、制御部２０１は、設定情報に基づいて、映像バッファ２１１から提供される映像および再生処理部２１０から提供される映像のうちから映像切替部２０４に表示装置３００に提供させる映像を選択する。なお、設定情報は、ユーザにより決定され、また変更されてもよい。

＜３−３．装置の処理＞
次に、本実施形態に係る記録装置２００−２Ａの処理について、上述した映像の切り替え方法毎に説明する。

（Ａ−１．ユーザ操作に基づく映像の切り替え処理のフロー）
まず、図１９を参照して、ユーザ操作に基づく映像の切り替え処理について説明する。図１９は、本実施形態に係る記録装置２００−２Ａにおけるユーザ操作に基づく映像の切り替え処理を概念的に示すフローチャートである。

記録装置２００−２Ａは、安定化映像を出力する（ステップＳ５０１）。具体的には、制御部２０１は、再生処理部２１０に少なくとも安定化映像を再生させ、映像切替部２０４に再生される安定化映像を表示装置３００に提供させる。なお、安定化映像と共に未加工映像が再生されてもよい。

次に、記録装置２００−２Ａは、映像切り替え操作の有無を判定する（ステップＳ５０２）。具体的には、制御部２０１は、記録装置２００−２Ａに対してユーザによる映像切り替え操作が行われたかを判定する。

映像切り替え操作が行われたと判定されると、記録装置２００−２Ａは、表示時点の遡りの有無を判定する（ステップＳ５０３）。具体的には、制御部２０１は、映像切り替え操作が行われた場合、表示時点が時系列的に遅れた映像および表示時点と一致する映像のうちのいずれの映像に表示映像を切り替えるかを設定情報に基づいて判定する。

表示時点の遡りを行う旨が判定されると、記録装置２００−２Ａは、バッファリングされる未加工映像を出力する（ステップＳ５０４）。具体的には、制御部２０１は、表示時点が時系列的に遅れた映像に表示映像を切り替えると判定されると、映像切替部２０４に映像バッファ２１１から提供される映像を表示装置３００に提供させる。

また、表示時点の遡りを行わない旨が判定されると、記録装置２００−２Ａは、未加工映像をそのまま出力する（ステップＳ５０５）。具体的には、制御部２０１は、表示時点が一致する映像に表示映像を切り替えると判定されると、映像切替部２０４に再生処理部２１０から提供される映像を表示装置３００に提供させる。

（Ａ−２．撮像における振れに基づく映像の切り替え処理のフロー）
続いて、図２０を参照して、撮像における振れに基づく映像の切り替え処理について説明する。図２０は、本実施形態に係る記録装置２００−２Ａにおける撮像における振れに基づく映像の切り替え処理を概念的に示すフローチャートである。なお、上述した処理と実質的に同一である処理については説明を省略する。

記録装置２００−２Ａは、未加工映像を出力する（ステップＳ５１１）。具体的には、制御部２０１は、再生処理部２１０に未加工映像を再生させ、映像切替部２０４に再生される未加工映像を表示装置３００に提供させる。なお、未加工映像と共に安定化映像が再生されてもよい。

次に、記録装置２００−２Ａは、撮像における振れの大きさが閾値以上であるかを判定する（ステップＳ５１２）。具体的には、制御部２０１は、未加工映像の解析により撮像装置の動きベクトルを算出し、算出される動きベクトルの大きさが閾値以上であるかを判定する。

撮像における振れの大きさが閾値以上であると判定されると、記録装置２００−２Ａは、安定化映像を出力する（ステップＳ５１３）。具体的には、制御部２０１は、動きベクトルの大きさが閾値状であると判定されると、再生処理部２１０に安定化映像を再生させ、映像切替部２０４に再生される安定化映像を表示装置３００に提供させる。なお、上述したように、制御部２０１は、安定化映像が映像バッファ２１１にバッファリングされている場合、映像バッファ２１１から提供される安定化映像に切り替えさせてもよい。

なお、撮像における振れの大きさが閾値未満であると判定されると、映像は切り替えられずに処理が終了する。

（Ａ−３．映像の更新状況に基づく映像の切り替え処理のフロー）
続いて、図２１を参照して、映像の更新状況に基づく映像の切り替え処理について説明する。図２１は、本実施形態に係る記録装置２００−２Ａにおける映像の更新状況に基づく映像の切り替え処理を概念的に示すフローチャートである。なお、上述した処理と実質的に同一である処理については説明を省略する。

記録装置２００−２Ａは、安定化映像を出力する（ステップＳ５２１）。

次に、記録装置２００−２Ａは、所定の期間にわたって表示映像が未更新であるかを判定する（ステップＳ５２２）。具体的には、制御部２０１は、安定化映像が保持映像の領域のみとなってから所定の期間が経過したかを判定する。

所定の期間にわたって表示映像が未更新であると判定されると、記録装置２００−２Ａは、表示時点の遡りの有無を判定する（ステップＳ５２３）。

表示時点の遡りを行う旨が判定されると、記録装置２００−２Ａは、バッファリングされる未加工映像を出力し（ステップＳ５２４）、表示時点の遡りを行わない旨が判定されると、未加工映像をそのまま出力する（ステップＳ５２５）。

（Ａ−４．映像内の異常の発生に基づく映像の切り替え処理のフロー）
続いて、図２２を参照して、映像内の異常の発生に基づく映像の切り替え処理について説明する。図２２は、本実施形態に係る記録装置２００−２Ａにおける映像内の異常の発生に基づく映像の切り替え処理を概念的に示すフローチャートである。なお、上述した処理と実質的に同一である処理については説明を省略する。

記録装置２００−２Ａは、安定化映像を出力する（ステップＳ５３１）。

次に、記録装置２００−２Ａは、映像中の異常検知の有無を判定する（ステップＳ５３２）。具体的には、制御部２０１は、安定化映像の表示時点が安定化映像または未加工映像に紐付けられたメタ情報の示す表示時点すなわち映像中に異常が発生した時点に到達したかを判定する。

映像中の異常が検知されたと判定されると、記録装置２００−２Ａは、表示時点の遡りの有無を判定する（ステップＳ５３３）。

表示時点の遡りを行う旨が判定されると、記録装置２００−２Ａは、バッファリングされる未加工映像を出力し（ステップＳ５３４）、表示時点の遡りを行わない旨が判定されると、未加工映像をそのまま出力する（ステップＳ５３５）。

＜３−４．第２の実施形態のまとめ＞
このように、本開示の第２の実施形態によれば、記録装置２００−２Ａは、未加工画像および加工画像の少なくとも一方の画像を表示画像として決定する。このため、未加工映像および安定化映像のうちの表示に適した映像が表示されることにより、映像の視認性を維持しながら、状況の把握に適した画像を提供することが可能となる。

また、記録装置２００−２Ａは、撮像における振れに係る情報に基づいて表示画像を決定する。このため、映像の乱れに応じて表示映像が決定されることにより、映像の視認性の低下を効果的に抑制することが可能となる。

また、撮像における振れに係る情報は、撮像における振れの程度に係る情報を含む。このため、映像の乱れの程度に応じて表示映像が決定されることにより、頻繁に映像が切り替えられることが抑制され、ユーザの視認性を維持することが可能となる。

また、撮像における振れの程度は、未加工画像および加工画像のうちの少なくとも一方の画像に基づいて推定される。このため、振れの推定処理において追加的な情報が用いられないことにより、当該追加的な情報の取得のための構成が省略され、記録装置２００−２Ａの構成を簡素化することが可能となる。

また、記録装置２００−２Ａは、表示画像の表示の更新間隔に基づいて表示画像を決定する。このため、ユーザにとって情報量が増えない状況が継続することを抑制することが可能となる。特に、本実施形態の構成が監視システムに適用される場合においては、映像が更新されない場合には、監視が十分でない可能性がある。これに対し、本構成によれば、監視システムの信頼性を向上させることが可能となる。

また、記録装置２００−２Ａは、更新間隔と閾値との比較に基づいて表示画像を決定する。このため、更新間隔の下限を予め決定しておくことにより、上記の情報量が増えない状況の継続時間が長期化することを抑制することが可能となる。

また、記録装置２００−２Ａは、第１の領域の大きさまたは表示時間に基づいて表示画像を決定する。ここで、映像が更新されていても更新される範囲または時間が小さい場合には、ユーザの所望する情報量が得られない可能性がある。これに対し、本構成によれば、ユーザの所望する情報量が不足する可能性を低下させることが可能となる。

また、記録装置２００−２Ａは、未加工画像および加工画像のうちの少なくとも一方の画像の内容に係る情報に基づいて表示画像を決定する。このため、映像の内容に応じて表示映像が切り替えられることにより、ユーザの意図に即した映像の提供が可能となる。

また、画像の内容に係る情報は、画像における特徴的なオブジェクトの包含有無に係る情報を含む。このため、ユーザが観察を所望する場合に観察可能な映像に表示映像が切り替えられることにより、ユーザの利便性を向上させることが可能となる。

また、画像における特徴的なオブジェクトの包含有無は、画像の解析に基づいて判定される。このため、当該特徴的なオブジェクトの包含の判定処理に追加的な情報が要件とされないことにより、記録装置２００−２Ａの構成を簡素化することが可能となる。

また、画像における特徴的なオブジェクトの包含有無は、画像のメタ情報に基づいて判定される。このため、画像解析処理が用いられる場合と比べて、処理負荷を抑制することが可能となる。

また、記録装置２００−２Ａは、ユーザの操作に基づいて表示画像を決定する。このため、ユーザの意図に即して表示映像が切り替えられることにより、ユーザの利便性を向上させることが可能となる。

また、記録装置２００−２Ａは、表示画像が切り替わる場合、切り替え前の画像の表示時点よりも前の時点から切り替え後の画像を表示させる。このため、ユーザは切り替え時点よりも前の時点から映像を観察することができ、切り替え時点の映像の状況を把握しやすくすることが可能となる。

また、記録装置２００−２Ａは、未加工画像および加工画像の両方の画像を表示可能な状態にする。このため、映像が途切れることなくシームレスに切り替えられることにより、ユーザの待ち時間の発生を抑制し、不満を抑制することが可能となる。

また、表示時点から当該表示時点よりも前の時点までの画像が再生可能な状態で保持される。このため、切り替え時点よりも前の時点から映像が表示される場合にも、映像の遡った再生のために映像が途切れることがなくシームレスに切り替えられる。これにより、ユーザの待ち時間の発生を抑制しながら、切り替え時点の状況の把握のしやすさを向上させることが可能となる。

＜３−５．変形例＞
以上、本開示の第２の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の変形例について説明する。

本実施形態の変形例として、安定化画像は、未加工画像に基づいて生成されてもよい。具体的には、記録装置２００−２Ｂには、未加工画像のみが記録され、記録装置２００−２Ｂは、記録される未加工画像から安定化画像を生成する。図２３を参照して、本変形例に係る信号処理システムの機能構成について説明する。図２３は、本実施形態の変形例に係る信号処理システムの概略的な機能構成の例を示す図である。

図２３に示したように、記録装置２００−２Ｂは、制御部２０１、記憶部２０３、映像切替部２０４、再生処理部２１０および映像バッファ２１１に加えて、未加工映像メモリ２０５、安定化映像生成部２０６、保持映像メモリ２０７、保持映像生成部２０８および動き検出部２０９を備える。

記録装置２００−２Ｂでは、記憶部２０３に未加工映像のみが記録されているため、制御部２０１が再生処理部２１０に未加工映像の再生を指示すると、安定化映像生成部２０６が再生される未加工映像に基づいて安定化画像を生成する。そして、映像切替部２０４は、再生される未加工映像、映像バッファ２１１から提供される未加工映像および安定化映像生成部２０６により生成される安定化映像のうちのいずれかを表示映像として表示装置３００に提供する。なお、安定化映像の生成機能については、第１の実施形態にて説明した機能と実質的に同一であるため説明を省略する。

このように、本実施形態の変形例によれば、安定化画像は、未加工画像に基づいて生成される。このため、安定化映像が予め記憶されていない場合であっても未加工映像および安定化映像のうちの適した映像が表示装置３００に提供されることにより、ユーザは安定化映像を生成するための装置を別途に用意せずに済み、利便性を向上させることが可能となる。

＜４．本開示の一実施形態に係る信号処理装置のハードウェア構成＞
以上、本開示の各実施形態に係る信号処理装置について説明した。上述した信号処理装置の処理は、ソフトウェアと、以下に説明する信号処理装置のハードウェアとの協働により実現される。

図２４は、本開示の一実施形態に係る信号処理装置１００、２００（以下、信号処理装置１００等とも称する。）のハードウェア構成を示した説明図である。図２４に示したように、信号処理装置１００等は、ＣＰＵ（Central Processing Unit）１３２と、ＲＯＭ（Read Only Memory）１３４と、ＲＡＭ（Random Access Memory）１３６と、ブリッジ１３８と、バス１４０と、インターフェース１４２と、入力装置１４４と、出力装置１４６と、ストレージ装置１４８と、ドライブ１５０と、接続ポート１５２と、通信装置１５４とを備える。

ＣＰＵ１３２は、演算処理装置として機能し、各種プログラムと協働して信号処理装置１００等内の制御部１０１、安定化映像生成部１０７および保持映像生成部１０９ならびに制御部２０１、映像切替部２０４、安定化映像生成部２０６、保持映像生成部２０８、動き検出部２０９および再生処理部２１０の動作を実現する。また、ＣＰＵ１３２は、マイクロプロセッサであってもよい。ＲＯＭ１３４は、ＣＰＵ１３２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１３６は、ＣＰＵ１３２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１３４およびＲＡＭ１３６により、信号処理装置１００等内の未加工映像メモリ１０６および保持映像メモリ１０８ならびに未加工映像メモリ２０５、保持映像メモリ２０７および映像バッファ２１１の一部を実現する。ＣＰＵ１３２、ＲＯＭ１３４およびＲＡＭ１３６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。

入力装置１４４は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１３２に出力する入力制御回路などから構成されている。信号処理装置１００等のユーザは、入力装置１４４を操作することにより、信号処理装置１００等に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置１４６は、例えば、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic Light Emitting Diode）装置、ランプなどの装置への出力を行う。さらに、出力装置１４６は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。

ストレージ装置１４８は、例えば信号処理装置１００等の記憶部２０３の一例として、データ格納用の装置である。ストレージ装置１４８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されるデータを削除する削除装置等を含んでもよい。ストレージ装置１４８は、ＣＰＵ１３２が実行するプログラムや各種データを格納する。

ドライブ１５０は、記憶媒体用リーダライタであり、信号処理装置１００等に内蔵、あるいは外付けされる。ドライブ１５０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１３６に出力する。また、ドライブ１５０は、リムーバブル記憶媒体に情報を書込むこともできる。

接続ポート１５２は、例えば、信号処理装置１００等の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート１５２は、ＵＳＢ（Universal Serial Bus）であってもよい。

通信装置１５４は、例えば、ネットワークに接続するための通信デバイスで構成される通信インターフェースである。通信装置１５４は、赤外線通信対応装置であっても、無線ＬＡＮ（Local Area Network）対応通信装置であっても、ＬＴＥ（Long Term Evolution）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜５．むすび＞
以上、本開示の第１の実施形態によれば、振れにより撮像範囲に表示対象領域が収まらない場合であっても、未加工映像の存在しない領域が保持映像で補完されることにより、振れによる映像の視認性の悪化を抑制することが可能となり、ユーザの負担が軽減され得る。また、撮像により得られる映像が加工されない未加工映像が表示映像に用いられることにより、ユーザが当該映像から状況を適切に把握することが可能となる。

また、本開示の第２の実施形態によれば、未加工映像および安定化映像のうちの表示に適した映像が表示されることにより、映像の視認性を維持しながら、状況の把握に適した画像を提供することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、未加工映像および安定化映像のうちの一方のみが表示装置３００に提供され、表示装置３００により表示されるとしたが、本技術はかかる例に限定されない。例えば、未加工映像および安定化映像の両方が表示装置３００に提供され、表示装置３００は提供される両方の映像を並行して表示してもよい。

また、上記実施形態では、映像の表示中において表示映像が切り替えられる例を説明したが、本開示の各実施形態は、映像の表示開始における表示映像の決定に適用されてもよい。

また、第２の実施形態では、映像バッファ２１１は、未加工映像をバッファする例を説明したが、映像バッファ２１１は、安定化映像をバッファしてもよい。この場合、制御部２０１は、未加工映像から安定化映像に表示映像が切り替わる場合に、映像切替部２０４に表示装置３００に提供される映像を未加工映像から、映像バッファ２１１から提供される安定化映像に、切り替えさせる。

また、第２の実施形態では、映像バッファ２１１にバッファされることにより、時系列的に遡って映像が再生される例を説明したが、映像の切り替えの際に、時系列的に遡った時点の映像が記憶部２０３等から取得されるとしてもよい。例えば、映像の切り替えの際に、制御部２０１は、再生処理部２１０に、映像の切り替え時点のフレームよりも所定数前のフレームの映像を記憶部２０３から再生させる。

また、上記実施形態では、映像（画像）が適用対象である例を説明したが、音声を伴う映像が適用対象であってもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出する画像抽出部と、
第１の領域が前記画像抽出部により抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成する画像生成部と、
を備える、信号処理装置。
（２）
前記加工画像は、前記第１の領域および前記第２の領域のうちの少なくとも一方が判別される画像を含む、前記（１）に記載の信号処理装置。
（３）
前記加工画像の前記第２の領域は、特定の視覚的態様である、前記（２）に記載の信号処理装置。
（４）
前記特定の視覚的態様は、特定の彩色を含む、前記（３）に記載の信号処理装置。
（５）
前記撮像により得られる画像は、ネットワークを介して通信される、前記（１）〜（４）のいずれか１項に記載の信号処理装置。
（６）
前記未加工画像は、撮像範囲に前記表示対象領域が収まらない状況における撮像により得られる画像を含む、前記（１）〜（５）のいずれか１項に記載の信号処理装置。
（７）
前記未加工画像における特定の被写体を捕捉する画像解析部をさらに備え、
前記画像生成部は、前記画像解析部により捕捉される前記特定の被写体が前記第１の領域に含まれない場合、推定される前記特定の被写体の位置を示すオブジェクトを前記加工画像に重畳する、前記（１）〜（６）のいずれか１項に記載の信号処理装置。
（８）
前記画像生成部は、前記第１の領域の大きさが閾値以下である場合、前記第１の領域が大きくなるように前記表示対象領域を決定する、前記（１）〜（７）のいずれか１項に記載の信号処理装置。
（９）
前記加工画像および前記未加工画像の両方が記録される、前記（１）〜（８）のいずれか１項に記載の信号処理装置。
（１０）
前記加工画像および前記未加工画像のうちの少なくとも一方を外部装置に提供する画像提供部と、
前記撮像を行う装置の状態に係る情報に基づいて、前記画像提供部により提供される画像を切り替える制御部と、
をさらに備える、前記（１）〜（９）のいずれか１項に記載の信号処理装置。
（１１）
前記制御部は、前記撮像における振れの程度に基づいて提供される画像を切り替える、前記（１０）に記載の信号処理装置。
（１２）
前記撮像における振れの程度は、前記撮像を行う装置の動きに基づいて推定される、前記（１１）に記載の信号処理装置。
（１３）
前記撮像を行う装置の動きは、慣性センサから得られる情報に基づいて推定される、前記（１２）に記載の信号処理装置。
（１４）
前記撮像を行う装置の動きは、前記撮像により得られる画像に基づいて推定される、前記（１２）に記載の信号処理装置。
（１５）
前記制御部は、前記撮像における振れ発生の可能性に基づいて提供される画像を切り替える、前記（１０）〜（１４）のいずれか１項に記載の信号処理装置。
（１６）
前記撮像における振れ発生の可能性は、前記撮像により得られる画像における被写体の拡大の有無に基づいて推定される、前記（１５）に記載の信号処理装置。
（１７）
前記制御部は、前記撮像についての動作状態に応じて提供される画像を切り替える、前記（１０）〜（１６）のいずれか１項に記載の信号処理装置。
（１８）
前記撮像についての動作状態は、撮像範囲の移動に係る動作の有無を含む、前記（１７）に記載の信号処理装置。
（１９）
前記撮像についての動作状態は、被写体のサイズの変化に係る動作の有無を含む、前記（１７）または（１８）に記載の信号処理装置。
（２０）
撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出することと、
第１の領域が抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成することと、
を含む、信号処理方法。
（２１）
撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出する画像抽出部と、
第１の領域が前記画像抽出部により抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成する画像生成部と、
前記未加工画像または生成される前記加工画像を提供する画像提供部と、を備える撮像装置と、
前記撮像装置から提供される画像を記憶する記憶部と、
前記記憶される画像を表示画像として提供する画像提供部と、を備える記録装置と、
提供される表示画像を表示する表示部を備える表示装置と、
を備える、信号処理システム。

また、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像により得られる未加工画像と、
第１の領域が前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像と、を得る画像取得部と、
前記未加工画像および前記加工画像の少なくとも一方の画像を表示画像として決定する表示制御部と、
を備える信号処理装置。
（２）
前記表示制御部は、前記撮像における振れに係る情報に基づいて前記表示画像を決定する、前記（１）に記載の信号処理装置。
（３）
前記撮像における振れに係る情報は、前記撮像における振れの程度に係る情報を含む、前記（２）に記載の信号処理装置。
（４）
前記撮像における振れの程度は、前記未加工画像および前記加工画像のうちの少なくとも一方の画像に基づいて推定される、前記（３）に記載の信号処理装置。
（５）
前記表示制御部は、表示画像の表示の更新間隔に基づいて前記表示画像を決定する、前記（１）〜（４）のいずれか１項に記載の信号処理装置。
（６）
前記表示制御部は、前記更新間隔と閾値との比較に基づいて前記表示画像を決定する、前記（５）に記載の信号処理装置。
（７）
前記表示制御部は、前記第１の領域の大きさまたは表示時間に基づいて前記表示画像を決定する、前記（５）または（６）に記載の信号処理装置。
（８）
前記表示制御部は、前記未加工画像および前記加工画像のうちの少なくとも一方の画像の内容に係る情報に基づいて前記表示画像を決定する、前記（１）〜（７）のいずれか１項に記載の信号処理装置。
（９）
前記画像の内容に係る情報は、前記画像における特徴的なオブジェクトの包含有無に係る情報を含む、前記（８）に記載の信号処理装置。
（１０）
前記画像における特徴的なオブジェクトの包含有無は、前記画像の解析に基づいて判定される、前記（９）に記載の信号処理装置。
（１１）
前記画像における特徴的なオブジェクトの包含有無は、前記画像のメタ情報に基づいて判定される、前記（９）または（１０）に記載の信号処理装置。
（１２）
前記表示制御部は、ユーザの操作に基づいて前記表示画像を決定する、前記（１）〜（１１）のいずれか１項に記載の信号処理装置。
（１３）
前記表示制御部は、前記表示画像が切り替わる場合、切り替え前の画像の表示時点よりも前の時点から切り替え後の画像を表示させる、前記（１）〜（１２）のいずれか１項に記載の信号処理装置。
（１４）
前記撮像により得られる画像は、ネットワークを介して通信される、前記（１）〜（１３）のいずれか１項に記載の信号処理装置。
（１５）
前記表示制御部は、前記未加工画像および前記加工画像の両方の画像を表示可能な状態にする、前記（１）〜（１４）のいずれか１項に記載の信号処理装置。
（１６）
表示時点から前記表示時点よりも前の時点までの画像が前記表示可能な状態で保持される、前記（１５）に記載の信号処理装置。
（１７）
前記加工画像は、前記未加工画像に基づいて生成される、前記（１）〜（１６）のいずれか１項に記載の信号処理装置。
（１８）
撮像により得られる未加工画像と、
第１の領域が前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像と、を得ることと、
前記未加工画像および前記加工画像の少なくとも一方の画像を表示画像として決定することと、
を含む、信号処理方法。
（１９）
撮像により得られる未加工画像と、
第１の領域が前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像と、を得る画像取得部と、
前記未加工画像および前記加工画像の少なくとも一方の画像を表示画像として決定する表示制御部と、
決定される表示画像を表示装置に提供する画像提供部と、を備える記録装置と、
提供される表示画像を表示する表示部を備える表示装置と、
を備える信号処理システム。

１００ 撮像装置
１０１ 制御部
１０２ レンズ駆動部
１０３ 光学系
１０４ イメージャ
１０５ 映像信号処理部
１０６ 未加工映像メモリ
１０７ 安定化映像生成部
１０８ 保持映像メモリ
１０９ 保持映像生成部
１１０ ジャイロスコープ
１１１ 通信部
２００ 記録装置
２０１ 制御部
２０２ 通信部
２０３ 記憶部
２０４ 映像切替部
２０５ 未加工映像メモリ
２０６ 安定化映像生成部
２０７ 保持映像メモリ
２０８ 保持映像生成部
２０９ 動き検出部
２１０ 再生処理部
２１１ 映像バッファ
３００ 表示装置

Claims (20)

1. 撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出する画像抽出部と、
   第１の領域が前記画像抽出部により抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成する画像生成部と、
   を備える、信号処理装置。
2. 前記加工画像は、前記第１の領域および前記第２の領域のうちの少なくとも一方が判別される画像を含む、請求項１に記載の信号処理装置。
3. 前記加工画像の前記第２の領域は、特定の視覚的態様である、請求項２に記載の信号処理装置。
4. 前記特定の視覚的態様は、特定の彩色を含む、請求項３に記載の信号処理装置。
5. 前記撮像により得られる画像は、ネットワークを介して通信される、請求項１に記載の信号処理装置。
6. 前記未加工画像は、撮像範囲に前記表示対象領域が収まらない状況における撮像により得られる画像を含む、請求項１に記載の信号処理装置。
7. 前記未加工画像における特定の被写体を捕捉する画像解析部をさらに備え、
   前記画像生成部は、前記画像解析部により捕捉される前記特定の被写体が前記第１の領域に含まれない場合、推定される前記特定の被写体の位置を示すオブジェクトを前記加工画像に重畳する、請求項１に記載の信号処理装置。
8. 前記画像生成部は、前記第１の領域の大きさが閾値以下である場合、前記第１の領域が大きくなるように前記表示対象領域を決定する、請求項１に記載の信号処理装置。
9. 前記加工画像および前記未加工画像の両方が記録される、請求項１に記載の信号処理装置。
10. 前記加工画像および前記未加工画像のうちの少なくとも一方を外部装置に提供する画像提供部と、
    前記撮像を行う装置の状態に係る情報に基づいて、前記画像提供部により提供される画像を切り替える制御部と、
    をさらに備える、請求項１に記載の信号処理装置。
11. 前記制御部は、前記撮像における振れの程度に基づいて提供される画像を切り替える、請求項１０に記載の信号処理装置。
12. 前記撮像における振れの程度は、前記撮像を行う装置の動きに基づいて推定される、請求項１１に記載の信号処理装置。
13. 前記撮像を行う装置の動きは、慣性センサから得られる情報に基づいて推定される、請求項１２に記載の信号処理装置。
14. 前記撮像を行う装置の動きは、前記撮像により得られる画像に基づいて推定される、請求項１２に記載の信号処理装置。
15. 前記制御部は、前記撮像における振れ発生の可能性に基づいて提供される画像を切り替える、請求項１０に記載の信号処理装置。
16. 前記撮像における振れ発生の可能性は、前記撮像により得られる画像における被写体の拡大の有無に基づいて推定される、請求項１５に記載の信号処理装置。
17. 前記制御部は、前記撮像についての動作状態に応じて提供される画像を切り替える、請求項１０に記載の信号処理装置。
18. 前記撮像についての動作状態は、撮像範囲の移動に係る動作の有無を含む、請求項１７に記載の信号処理装置。
19. 前記撮像についての動作状態は、被写体のサイズの変化に係る動作の有無を含む、請求項１７に記載の信号処理装置。
20. 撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出することと、
    第１の領域が抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成することと、
    を含む、信号処理方法。

Images