JP2016134858A - 符号化装置、復号化装置及び映像送受信システム - Google Patents

Abstract

【課題】通常時は処理するデータ量を抑えつつ、異常発生時はその映像をユーザが取りこぼさずに確認する装置及びシステムを提供する。
【解決手段】符号化装置側で異常が検知されて高フレームレート化が指示された場合には、符号化階層設定値及び伝送階層設定値を最大値にマスクする。そして、符号化ストリームバッファにTemporal ID＞０の符号化ストリームが存在する場合は、符号化ストリームバッファに格納された、Temporal ID＞０、かつ、最も早く符号化されたフレームの「nal＿unit＿type」をＴＳＡ（Temporal sub-layer access）に変更する。一方、Temporal ID＞０の符号化ストリームが存在しない場合は、入力フレームバッファに格納された、Temporal ID＞０、かつ、最も早く符号化されるフレームの「nal＿unit＿type」をＴＳＡに変更する。
【選択図】図１

Description

本発明は、特に、異常が検出された映像を表示するために用いて好適な符号化装置、復号化装置、映像送受信システム、符号化装置の制御方法、復号化装置の制御方法及びプログラムに関する。

現在、ＪＣＴ−ＶＣ（Joint Collaborative Team on Video Coding）において、Ｈ．２６４の後継となる次世代動画像符号化方式であるＨＥＶＣ（以降、ＨＥＶＣと記載する）の標準化が進められている。ＨＥＶＣで提案されている技術は、予測および変換ブロックサイズの大きさを適応的に選択する等、大画面で高精細かつ高フレームレートの動画像を、既存方式よりもさらに効率良く圧縮する高い符号化性能を有する。

また、ＨＥＶＣでは、圧縮効率の向上のみならず、選択的に送信及び再生をサポートする時間スケーラビリティに対応した階層符号化の機能が充実している。ここで、時間スケーラビリティとは、時間的な規模（スケール）の変化、すなわち画像符号化においては単位時間ごとのフレーム数（フレームレート）の変化に対応することである。複数のフレームレートを実現可能な動画像を作成することにより、ネットワークを介した送信や再生（復号）処理といった、環境により異なる制限事項に合わせてフレームレートを柔軟に切り替えることが可能になる。

ＨＥＶＣでは、低フレームレートから高フレームレートへの切り替えの起点となるフレームはＴＳＡ（Temporal sub-layer access）フレーム（ピクチャ）と呼ばれる。ＴＳＡフレームは「nal＿unit＿header」内の「nal＿unit＿type」によって設定される。これにより、ＨＥＶＣを用いたデコーダは、ＴＳＡフレームを起点として再生するフレームレートを変更することができる。

ＨＥＶＣ符号化方式の有力な適用先としては、近年多く普及されているネットワークカメラ（監視カメラ）が挙げられる。ネットワークカメラでは、撮影された動画像はカメラ内部で符号化され、ネットワークを介して伝送される。伝送された動画像はサーバに保存されるか、またはリアルタイムに復号されてディスプレイ等に表示される。

監視カメラのユーザにとって、監視対象領域に異常が発生した時は高いフレームレートで動画像を記録したいという要望がある。したがって、異常がない時は低いフレームレートで動画像を記録して伝送帯域と記録容量とを削減しつつ、異常が発生した際の重要なフレームについてはなるべく取りこぼしたくないというユーザの要望がある。

また、監視カメラにおける動画像の異常検知方法としては、カメラ内部に専用の認識処理部を設ける方法が挙げられる。しかしながら、認識処理は処理負荷が非常に大きく、認識処理によって発生する遅延が数フレームに及ぶことがある。したがって、異常が発生してからその異常が検知され、実際に高いフレームレートで処理が開始されるまでにはタイムラグが存在する。このため、異常発生時の重要なフレームの一部が低いフレームレートで記録されてしまう可能性がある。

特許文献１に記載の技術では、動画像の動きベクトルや発生符号量が所定値を超えたか否かによって異常検知を示すアラーム信号を生成している。そして、入力される動画像のフレームは全て符号化してカメラ内部で保持しておき、アラーム信号が生成されていない場合は、間引かれた符号化ストリームをハードディスク等の外部記録媒体に記録する。一方、アラーム信号が生成された場合は、カメラ内部に所定時間分保持されていた全フレームの符号化ストリームを外部記録媒体に記録する。これにより、異常発生前からのフレームを再生することを可能としている。

特開２０１１−２５０３７４号公報

しかしながら、特許文献１に記載の技術は、すべての動画像フレームを符号化してカメラ内部で予め保持しておくことが前提である。したがって、動画像が大画面化、高精細化、高フレームレート化するに従い、カメラ内部で保持する符号化ストリームの記録容量または伝送領域と符号化時の消費電力とが大きく増加するという課題がある。

そこで、フレームの間引きなどによって選択的に符号化、伝送、記録を行うことにより、消費電力、伝送帯域および記録容量を削減することが考えられる。しかしながら、フレームの間引きを行うことによって、フレームレートを変更する起点となるフレームの復号に必要な参照フレームが符号化、伝送、記録されていないことが起こりうる。例えば図１４において、グレーで示したフレームは符号化、伝送または記録されていないフレームを示す。８番目のフレームから高フレームレート化する場合は、８番目のフレームの参照フレームとなる７番目のフレームも符号化、伝送または記録されていなければならない。しかしながら、選択的に符号化、伝送、記録を行っている場合には、参照フレームも符号化、伝送または記録されているとは限らない。このため、所望のフレームから高フレームレートで再生することができない。

さらに、特許文献１に記載の技術では、動画像を再生するためには符号化ストリームの復号だけでなく、アラーム信号処理にも対応した専用の装置やシステムが必要となる。したがって、当該アラーム信号に未対応の再生装置・システムで符号化ストリームだけを復号した場合には、アラーム信号を処理することができない。その結果、どの映像から高フレームレートで再生され、どこで異常が発生したかをユーザが認識することが困難であるという課題がある。

本発明は前述の問題点に鑑み、通常時は処理するデータ量を抑えつつ、異常発生時はその映像をユーザが取りこぼさずに確認できるようにすることを目的としている。

本発明に係る符号化装置は、動画像を構成するフレームを符号化する符号化装置であって、入力された前記動画像のフレームを時間的階層に従って符号化する符号化手段と、
前記符号化手段によって符号化されたフレームを受信装置に送信する送信手段と、前記符号化手段によって符号化されるフレームの時間的階層の上限を制御する制御手段と、前記動画像において異常が検知されていない第１の状態または異常が検知された第２の状態を示す情報を入力する入力手段とを有し、前記制御手段は、前記入力手段によって前記第２の状態を示す情報が入力された場合に、前記符号化手段によって符号化される対象となるフレームの時間的階層の上限を前記第１の状態における時間的階層の上限以上に設定し、前記第２の状態を示す情報が入力されたときに前記符号化手段によって符号化されたフレームと関連するフレームのうち処理の順序が早いフレームであってかつ時間的階層が最下層ではないフレームに対して高フレームレート化の指示を表す情報を付加することを特徴とする。

本発明によれば、通常時は処理するデータ量を抑えつつ、異常発生時はその映像をユーザが取りこぼさずに確認することができる。

実施形態に係る動画像符号化部の詳細な構成例を示すブロック図である。 実施形態に係るネットワークカメラシステムの一例を示すブロック図である。 動画像符号化部における制御部が行う処理手順の一例を示すフローチャートである。 第１の実施形態における異常検知対応処理の詳細な手順の一例を示すフローチャートである。 第１の実施形態において、「nal＿unit＿type」をＴＳＡに変更するフレームを説明するための図である。 受信装置側が動画像を表示する処理手順の一例を示すフローチャートである。 第１の実施形態において、受信装置の表示部に表示される画面の一例を示す図である。 第２の実施形態における異常検知対応処理の詳細な手順の一例を示すフローチャートである。 第２の実施形態において、「nal＿unit＿type」をＴＳＡに変更するフレームを説明するための図である。 第３の実施形態における異常検知対応処理の詳細な手順の一例を示すフローチャートである。 第４の実施形態において、サムネイル画像を表示する処理手順の一例を示すフローチャートである。 第４の実施形態において、受信装置の表示部に表示される画面の一例を示す図である。 参照フレームの関係を説明するための図である。 参照フレームとして符号化、伝送または記録されていないフレームを説明するための図である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。

図２は、本実施形態に係る動画像符号化部２０３が適用されるネットワークカメラシステムの一例を示すブロック図である。
図２において、本実施形態に係るネットワークカメラシステム（映像送受信システム）は、送信装置２０１と受信装置２０６とから構成されている。

送信装置２０１は、撮像部２０２、動画像符号化部２０３、ネットワーク送信部２０４、認識処理部２０５及び全体制御部２１１を備えている。撮像素子を有する撮像部２０２で生成された動画像データは、フレーム毎に動画像符号化部２０３と認識処理部２０５とに出力される。認識処理部２０５は、撮像部２０２から入力されたフレームに対して人体検知や異常検知など種々の認識処理を行う。認識処理によって得られた認識情報は、直接、または全体制御部２１１を介して、動画像符号化部２０３に入力され、符号化パラメータの決定等に反映される。なお、本実施形態では、説明を容易にするため、認識処理部２０５が異常を検知し、フレームレートを高くする指示を行うための異常検知信号を動画像符号化部２０３に出力するものとするが、この構成に限定されるものではない。例えば、外部センサから異常検知信号が入力され、動画像符号化部２０３に出力する構成でもよい。

動画像符号化部２０３は、撮像部２０２から入力されたフレームを符号化する。ネットワーク送信部２０４は、動画像符号化部２０３で符号化された符号化ストリーム（符号化フレームのビットストリーム）を、ネットワークを介して外部の受信装置２０６へ送信する。

ＣＰＵなどからなる全体制御部２１１は、ユーザの操作など外部から予め設定された符号化階層設定値と伝送階層設定値とに基づき、動画像符号化部２０３及びネットワーク送信部２０４に対して、符号化または伝送する時間的階層の上限を個別に設定する。例えば、符号化階層設定値を２とし、伝送階層設定値を０とした場合には、図１３（ａ）に示すTemporal ID（時間的階層識別子）＝０、１，２の階層のフレームを符号化するが、Temporal ID（時間的階層識別子）＝０の階層のフレームのみを伝送する。なお、図１３に示すTemporal IDの詳細については後述する。

一方、受信装置２０６は、ネットワーク受信部２０７、記録部２０８、動画像復号部２０９、表示部２１０、及び全体制御部２１２を備えている。送信装置２０１から送信された符号化ストリームは、ネットワーク受信部２０７で受信され、記録部２０８に記録される。動画像復号部２０９は、記録部２０８に記録された符号化ストリームを読み出し、復号処理を行う。そして、復号によって再構成された動画像は表示部２１０へ出力されて表示される。また、ネットワーク受信部２０７で受信した符号化ストリームを動画像復号部２０９へ直接出力し、リアルタイムで復号することも可能である。

全体制御部２１２は、ユーザの操作など外部から設定された復号階層設定値に基づき、表示するフレームの階層を個別に設定する。これにより表示される動画像のフレームレートを調整することができる。また、全体制御部２１２は、復号化された動画像を表示部２１０に表示させる表示制御も行う。

図１は、本実施形態に係る動画像符号化部２０３の詳細な構成例を示すブロック図である。
図１に示すように、本実施形態に係る動画像符号化部２０３は、入力フレームバッファ１０１、符号化部１０２、符号化ストリームバッファ１０３、及び制御部１０４を備えている。符号化部１０２および制御部１０４は、ハードウエアとして回路により実現されてもよい。
入力フレームバッファ１０１は、入力される動画像のフレームを複数フレーム分保持するためのメモリであり、必要に応じて順序を並び替えて符号化部１０２へフレームが出力される。符号化部１０２は、入力される各フレームを複数の時間的階層に分類する。そして、下位の階層ほど小さいインデックス番号（ＨＥＶＣにおけるTemporal ID）をフレーム毎に付加した符号化ストリームを生成し、符号化ストリームバッファ１０３へ出力する。

図１３（ａ）は、フレーム毎のインデックス番号を説明するための図である。図１３（ａ）に示す例では、入力フレームを３つの時間的階層へ分類している。図１３の（ａ）〜（ｄ）に示す各フレームの番号は時間的に表示される順番を示し、横方向は時間経過を示している。入力フレーム群１３０１は、最下位階層に位置し、Temporal ID＝０がそれぞれ設定される。入力フレーム群１３０２は、中間階層に位置し、Temporal ID＝１がそれぞれ設定される。また、入力フレーム群１３０３は最上位階層に位置し、Temporal ID＝２がそれぞれ設定される。Temporal ID＝０の階層だけを符号化すれば低フレームレートの動画像を生成することができ、Temporal ID＝２までの全階層を符号化すれば高フレームレートの動画像を生成することができる。また、制御部１０４はこれら各部の制御を行う。

［送信装置側の処理］
図３は、動画像符号化部２０３における制御部１０４が行う処理手順の一例を示すフローチャートである。
まず、動画像符号化部２０３に動画像のフレームが入力されることによって処理を開始する（Ｓ３０１）。そして、入力フレームバッファ１０１に保持されたフレームに対してTemporal IDを設定し（Ｓ３０２）、異常検知対応処理を行う（Ｓ３０３）。なお、Ｓ３０３での異常検知対応処理の詳細については、図４を用いて後述する。

次に、入力されたフレームに設定されたTemporal ID（時間的階層識別子）が予め設定された符号化階層設定値以下であるか否かを判定する（Ｓ３０４）。ここで、符号化階層設定値は、前述したように外部から設定されるパラメータであり、どの時間的階層のフレームまでを符号化するかを指定するパラメータである。この判定の結果、Temporal IDが符号化階層設定値以下である場合（Ｓ３０４／ＹＥＳ）は、入力されたフレームの符号化指示を符号化部１０２に出力し（Ｓ３０５）、Ｓ３０６に進む。

一方、Temporal IDが符号化階層設定値より大きい場合（Ｓ３０４／ＮＯ）は、入力されたフレームの符号化指示を出力しないようにする。そして、最後のフレームか否かを判定する（Ｓ３０６）。この判定の結果、最後のフレームである場合（Ｓ３０６／ＹＥＳ）は、処理を終了する（Ｓ３０７）。一方、最後のフレームでない場合（Ｓ３０６／ＮＯ）は、Ｓ３０２に戻り、処理を継続する。

図４は、図３のＳ３０３における異常検知対応処理の詳細な手順の一例を示すフローチャートである。
まず、Ｓ４０１で処理を開始し、認識処理部２０５から異常検知によって高フレームレート化が指示されたか否を判定する（Ｓ４０２）。この判定の結果、高フレームレート化が指示されていない場合（Ｓ４０２／ＮＯ）は、そのまま処理終了する（Ｓ４０７）。一方、高フレームレート化が指示された場合（Ｓ４０２／ＹＥＳ）は、前述の符号化階層設定値及び伝送階層設定値を最大値に変更する（Ｓ４０３）。図９（ａ）に示す時間的階層の構造の場合は、符号化階層設定値及び伝送階層設定値は外部から設定された値に関わらず２に変更される。

次に、符号化ストリームバッファ１０３にTemporal ID＞０の符号化フレーム、すなわち最下層の時間的識別子を有する符号化フレームが存在するか否かを判定する（Ｓ４０４）。この判定の結果、Temporal ID＞０の符号化フレームが存在する場合（Ｓ４０４／ＹＥＳ）は、Ｓ４０５に進む。そして、符号化ストリームバッファ１０３に格納された、Temporal ID＞０かつ最も早く符号化されたフレームの「nal＿unit＿type」をＴＳＡ（Temporal sub-layer access）に変更する（Ｓ４０５）。なお、ＴＳＡフレームは「nal＿unit＿header」内の「nal＿unit＿type」によって設定され、低フレームレートから高フレームレートへの切り替えの起点となるフレームを表している。

一方、Temporal ID＞０の符号化フレームが存在しない場合（Ｓ４０４／ＮＯ）は、Ｓ４０６に進む。そして、入力フレームバッファ１０１に格納された、Temporal ID＞０かつ最も早く符号化されるフレームの「nal＿unit＿type」をＴＳＡに変更する（Ｓ４０６）。これにより、符号化フレームの復号時は、ＴＳＡフレームが高フレームレートでの復号開始位置となる。

次に、図４のＳ４０５の処理における「nal＿unit＿type」の変更を、図５（ａ）のタイミングチャートを用いて説明する。
図５（ａ）は、異常検知信号の入力、入力フレームバッファ１０１の入出力、符号化部１０２の出力、および符号化ストリームバッファ１０３の出力のタイミングを示している。図５（ａ）に示す例では、入力フレームバッファ１０１は、入力されたフレームを４フレーム分遅延させるとともにフレームを並び替えて順次出力する。また、符号化ストリームバッファ１０３は符号化フレームを４フレーム分保持可能な容量としている。なお、図５（ａ）に示す例に限定されるものではない。なお、図５（ａ）、（ｂ）において、１，２，３・・・は表示順序（入力フレームバッファ１０１に入力された順序）を示すフレーム番号を示し、Ｔ１，Ｔ２，Ｔ３・・・は処理の時間経過を示している。

図５（ａ）に示す例では、Temporal ID＝０、１、２の全階層のフレームを符号化し、符号化ストリームバッファ１０３に格納する。高フレームレート化の指示を受けるまでの間（Ｔ１〜Ｔ１３）は、ネットワーク送信部２０４は、Temporal ID＝０の階層のフレームのみを伝送する。そして、高フレームレート化の指示を受けた後（Ｔ１４〜）は、全階層の符号化ストリームを伝送するようにしている。

異常が検知に応じて高フレームレート化が指示されたＴ１４の段階では、１３番目のフレームが符号化処理されており、符号化ストリームバッファ１０３には６〜８番目のフレームが伝送されずに残っている。したがって、Ｓ４０５の処理によって、Temporal ID＞０でかつ最も早く符号化された７番目のフレームの「nal＿unit＿type」がＴＳＡに変更される。これにより、１３番目のフレームを符号化する段階で高フレームレート化が指示された場合であっても、１３番目のフレームに関連するフレームよりも前の６番目のフレームから高フレームレートで再生することが可能となる。

続いて、Ｓ４０６の処理における「nal＿unit＿type」の変更を、図５（ｂ）のタイミングチャートを用いて説明する。
図５（ｂ）に示す例では、高フレームレート化の指示を受けるまで（Ｔ１〜Ｔ１３）は、Temporal ID＝０の階層のフレームのみを符号化して伝送する。そして、指示を受けた後（Ｔ１４〜）は、全階層のフレームを符号化して伝送するようにしている。

高フレームレート化が指示されたＴ１４の段階では、１３番目のフレームが符号化処理されており、符号化ストリームバッファ１０３にはTemporal ID＞０の符号化フレームは存在しない。一方、入力フレームバッファ１０１には１０〜１２番目のフレームが保持されている。したがって、Ｓ４０６の処理によって、１３番目のフレームに関連する、Temporal ID＞０でかつ最も早く符号化される対象の１１番目のフレームの「nal＿unit＿type」がＴＳＡに設定される。さらにＳ４０３の処理により、Temporal ID＝１、２の階層のフレームも符号化されるように符号化階層設定値が強制的に最大値に変更される。これにより、１３番目のフレームを符号化する段階で高フレームレート化が指示された場合であっても、１３番目のフレームに関連する１０番目のフレームから高フレームレートで再生することが可能となる。

［受信装置側の処理］
図６は、受信装置２０６側が動画像を表示する処理手順の一例を示すフローチャートである。
まず、ネットワークを介してネットワーク受信部２０７に符号化ストリームが入力されると処理を開始する（Ｓ６０１）。そして、動画像復号部２０９は、１フレーム分の符号化ストリームを復号する（Ｓ６０２）。

次に、全体制御部２１２は、復号時に異常検知したか否かを判定する（Ｓ６０３）。Ｓ６０３の判定では、復号したフレームの「nal＿unit＿type」がＴＳＡであった場合に異常検知（異常発生）と判定する。または、前述した復号階層設定値よりも大きいTemporal IDであった場合に異常検知と判定してもよい。本実施形態では、例えば、通常時は送信装置２０１側からTemporal ID＝０のフレームのみが送信され、異常発生時にのみ０より大きいTemporal IDのフレームが送信される。この場合においては、０より大きいTemporal IDを検出した場合に異常検知と判定してもよい。

この判定の結果、異常が検知されない場合（Ｓ６０３／ＮＯ）は、全体制御部２１２は、復号したフレームが復号階層設定値以下のTemporal IDである場合にそのフレームを表示部２１０に表示する（Ｓ６０４）。一方、異常が検知された場合（Ｓ６０３／ＹＥＳ）は、全体制御部２１２は、予め設定されていた復号階層設定値を最大値にマスクする（Ｓ６０５）。その後、全体制御部２１２は、復号されたフレームを表示部２１０に表示するとともに、高フレームレートの再生に移行したことを示す通知も表示する（Ｓ６０６）。Ｓ６０５の処理によって復号階層設定値が最大値に変更されるので、以降のフレームでは、Ｓ６０３からＳ６０４へ移行し、全階層のフレームが表示されることとなる。

次に、復号したフレームが最後のフレームであるか否かを判定する（Ｓ６０７）。この判定の結果、最後のフレームでない場合（Ｓ６０７／ＮＯ）は、Ｓ６０２に戻り、次のフレームの復号を開始する。一方、最後のフレームであった場合（Ｓ６０７／ＹＥＳ）は、処理を終了する（Ｓ６０８）。

図７は、表示部２１０に表示される画面の一例を示す図である。図７（ａ）は、異常検知前の通常時の画面を示しており、表示領域７０１には復号したフレームが表示され、表示領域７０２には各種ステータスに関する情報が表示される。また、図７（ｂ）は、異常検知時の画面を示している。図７（ｂ）に示す例では、表示領域７０１中に不審物７０３が存在するようになったことによって、ＴＳＡフレームが設定されている。

また、図６のＳ６０３の処理によって異常が検知されると、Ｓ６０６の処理によって、高フレームレート再生に移行したことを示す通知７０４が、復号画像とともに表示領域７０１には表示される。その後のフレームに関しては、Ｓ６０４の処理によって、フレームとともに通知７０４も表示される。これにより、ユーザは符号化ストリームに含まれる情報だけで、異常検知によって高フレームレートで再生が開始されたことを認識することが可能となる。

以上説明したように本実施形態では、高フレームレート化の指示に応じて、符号化ストリームバッファ１０３もしくは入力フレームバッファ１０１に格納されたフレームの「nal＿unit＿type」をＴＳＡに設定している。これにより、高フレームレート化の指示を受けた時点よりも前のフレームから高フレームレートで再生することが可能となる。また、選択的にフレームを符号化、伝送している場合にも適用可能であるため、異常がない場合には、消費電力及び伝送帯域を削減しつつ、異常発生前後の重要なフレームの取りこぼしを防いでいる。また、受信装置側では、ユーザは符号化ストリームに含まれる情報だけで、異常検知によって高フレームレートで再生が開始されたことを認識することが可能となる。これにより、異常発生時の映像をユーザが取りこぼさずに確認することができる。

また、本実施形態の図４のＳ４０３の処理では、符号化階層設定値及び伝送階層設定値にマスクしているが、最大値ではなくユーザからの外部設定値としてマスク値を保持しておき、異常検知時はこの外部設定値にマスクする処理としてもよい。例えば、通常時の符号化階層設定値を０とし、異常検知時の符号化階層設定値を１とし、Ｓ４０３の処理において符号化階層設定値を１に変更するようにしてもよい。また、図６のＳ６０５の処理についても同様である。

また、異常検知に伴う高フレームレート化した動画像の表示は、ユーザからの指示により解除できるようにしてもよい。もしくは、所定時間が経過した場合など予め定められた条件が満たされた場合に解除されるようにしてもよい。また、本実施形態では、図７（ｂ）に示す通知７０４は復号画像に重畳されるメッセージ形式としたが、これに限定されるものではない。例えば表示領域７０２に専用の通知領域を設けてもよく、メッセージでなく専用のアイコンを表示するようにしてもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について、図面を参照しながら説明する。本実施形態では、異常検知対応処理が第１の実施形態と異なっている。第１の実施形態では、符号化ストリームバッファ１０３もしくは入力フレームバッファ１０１に格納されたフレームの「nal＿unit＿type」をＴＳＡに変更することにより、高フレームレート化を開始するフレームを指定した。

しかしながら、高フレームレート化の指示を受けてＴＳＡに変更されたフレームを既定の参照構造下で符号化する際に、参照するフレームが符号化されていない場合は、ＴＳＡとして符号化することができない。例えば図５（ｂ）において、８番目のフレームがＴＳＡに変更された場合には、参照する７番目のフレームが符号化されないため、８番目のフレームを符号化することができない。特に、入力フレームバッファの容量が少ない場合にこの問題が顕著となる。同様に、ＴＳＡに変更されたフレームの復号に必要な参照フレームが、送信装置２０１から伝送されていない場合も高フレームレートで再生することはできない。

そこで、本実施形態では、「nal＿unit＿type」の変更に加え、ＴＳＡフレームとして符号化するフレームの参照先を既定の参照構造に関わらず、強制的にTemporal ID＝０の階層に変更する。なお、本実施形態に係る送信装置及び受信装置の内部構成は基本的には図１及び図２と同様であるため、説明は省略する。また、送信装置２０１及び受信装置２０６の全体的な処理手順は、それぞれ図３及び図６と同様であるため、説明は省略する。

図８は、本実施形態における図３のＳ３０３の異常検知対応処理の詳細な手順の一例を示すフローチャートである。なお、図４と差異がない部分には同一の符号を付しており、その処理の説明は省略する。

Ｓ４０４の判定の結果、符号化ストリームバッファ１０３にTemporal ID＞０の符号化フレームが存在しない場合は、Ｓ８０１に移行する。そして、Ｓ８０１において、入力フレームバッファ１０１に格納された、Temporal ID＞０かつ最も早く符号化されるフレームのフレーム間予測における参照先を強制的にTemporal ID＝０の階層のフレームに変更する。その後、第１の実施形態と同様に同フレームの「nal＿unit＿type」をＴＳＡに設定する（Ｓ４０６）。

次に、図９を参照しながら図８のＳ８０１における処理の詳細について説明する。図９に示す例では、高フレームレート化の指示を受けるまで（Ｔ１〜Ｔ１３）は、Temporal ID＝０の階層のフレームのみ符号化し、指示を受けた後（Ｔ１４〜）は、全階層のフレームを符号化するようにしている。

高フレームレート化が指示されたＴ１４の段階では、１３番目のフレームが符号化処理されており、符号化ストリームバッファ１０３にはTemporal ID＞０の符号化フレームは存在しない。一方、入力フレームバッファ１０１には１２番目のフレームが保持されているが、既定の参照構造下における参照フレームである１１番目のフレームは符号化されていない。

Ｓ８０１の処理では、Temporal ID＞０でかつ最も早く符号化される１２番目のフレームの参照フレームを、既定の１１及び１３番目のフレームから９及び１３番目のフレームに変更する。さらに、Ｓ４０６の処理によって、１２番目のフレームの「nal＿unit＿type」をＴＳＡに設定される。また、Ｓ４０３の処理により、Temporal ID＝１、２の階層のフレームも符号化されるように符号化階層設定値が強制的に最大値に変更されている。これにより、１３番目のフレームを符号化する段階で高フレームレート化が指示された場合であっても、１２番目のフレームから高フレームレート化して再生することが可能となる。

また、本実施形態では、図８のＳ８０１において参照フレームをTemporal ID＝０の階層のフレームに変更する例を示したが、符号化が可能であれば、Temporal ID＝０の階層に限定されるものではない。以下、図１３（ｂ）及び図１３（ｃ）に示す参照構造において、通常時はTemporal ID＝０、１の階層のフレームのみを符号化及び伝送する場合を例に説明する。図１３（ｂ）に示す例おいて、８番目のフレームをＴＳＡに設定する場合には、８番目のフレームの参照先を６番目のフレームから７番目のフレーム（Temporal ID＝２の階層から１の階層）に変更するようにしてもよい。また、図１３（ｃ）に示す例おいて、８番目のフレームをＴＳＡに設定する場合には、８番目のフレームの参照先を７番目のフレームから５番目のフレーム（Temporal ID＝２の階層から１の階層）に変更するようにしてもよい。

（第３の実施形態）
次に、本発明の第３の実施形態について、図面を参照しながら説明する。第１及び第２の実施形態では、認識処理部２０５から出力される認識情報は、異常有りか異常無しかの二択による異常検知結果が含まれたものであるのに対し、本実施形態では、認識処理部２０５は複数の認識結果を含む認識情報を生成する。なお、説明を容易にするため、本実施形態においては、第一の認識結果として人物検出結果、第二の認識結果として人物に関する異常検知結果とする例について説明するが、これに限定されるものではない。さらに、本実施形態に係る送信装置及び受信装置の内部構成は基本的には図１及び図２と同様であるため、説明は省略する。また、送信装置２０１及び受信装置２０６の全体的な処理手順は、それぞれ図３及び図６と同様であるため、説明は省略する。

図１０は、本実施形態における図３のＳ３０３の異常検知対応処理の詳細な手順の一例を示すフローチャートである。なお、図４と差異がない部分には同一の符号を付しており、その説明は省略する。

図１０に示す処理が開始されると、Ｓ１００１において、認識処理部２０５から複数の認識結果を入力し、第一の認識結果において撮影領域内に人物が存在するか否かを判定する。この判定の結果、人物が存在しない場合（Ｓ１００１／ＮＯ）は、処理を終了する（Ｓ４０７）。一方、人物が存在する場合（Ｓ１００１／ＹＥＳ）は、Ｓ１００２に移行し、フレーム参照構造を既定のものから変更し、符号化階層設定値を最大値に設定する。より具体的には、図１３（ａ）に示す参照構造を既定の参照構造とした場合には、図１３（ｄ）に示すように、Temporal ID＞０の階層のフレームに対して、符号化時の参照フレームをTemporal ID＝０の階層のフレームに変更する。

次に、第二の認識結果において人物に異常が検知されたか否かを判定する（Ｓ１００３）。この判定の結果、人物に異常が検知されていない場合（Ｓ１００３／ＮＯ）は、Ｓ４０７に進み、そのまま処理を終了する。一方、人物に異常が検知された場合（Ｓ１００３／ＹＥＳ）は、Ｓ１００４に進み、伝送階層設定値を最大値にマスクする。その後、第１の実施形態のＳ４０４からＳ４０６の処理を経て、ＴＳＡフレームが設定される。

以上のように本実施形態においては、Ｓ１００２の処理により、参照構造を変更することによってＴＳＡ候補のフレームを符号化する際に参照されるフレームが常に符号化されている状態となる。即ち第２の実施形態で述べたように、ＴＳＡフレームを符号化するために必要な参照フレームが符号化されていないという問題が発生しないようにしている。

また、人物が検知された段階で符号化階層設定値を強制的に最大値に設定することにより、異常検知後の全フレームが符号化されることとなる。これにより、入力フレームバッファ１０１または符号化ストリームバッファ１０３内に存在するフレームがＴＳＡフレームに変更され、指示を受けた時点より前のフレームから高フレームレート化して再生することが可能となる。

（第４の実施形態）
次に、本発明の第４の実施形態について、図面を参照しながら説明する。本実施形態では、さらに代表画像としてサムネイル画像をリアルタイムに表示する例について説明する。なお、本実施形態に係る送信装置及び受信装置の内部構成は基本的には図１及び図２と同様であるため、説明は省略する。また、送信装置２０１及び受信装置２０６の全体的な処理手順は、図３、図４及び図６と同様であるため、説明は省略する。送信装置側の処理については第２または第３の実施形態と同様であってもよい。

本実施形態においては、全体制御部２１２は、ネットワーク受信部２０７から受信された符号化ストリームに対して、所定の区間ごとにその区間を代表するサムネイル画像を生成する。そして、第１の実施形態と同様の手順でリアルタイムに動画像を表示するとともに、本実施形態ではさらにサムネイル画像を表示する。以下、図６に示した処理と並行して行われる処理について説明する。

図１１は、本実施形態において、サムネイル画像を表示する処理手順の一例を示すフローチャートである。
まず、ネットワークを介してネットワーク受信部２０７に所定の区間の符号化ストリームが入力されると処理が開始する（Ｓ１１０１）。そして、全体制御部２１２はその区間に応じたサムネイル画像を取得する（Ｓ１１０２）。

次に、全体制御部２１２は、サムネイル画像に代表される区間のフレームで異常が検知されたか否かを判定する（Ｓ１１０３）。Ｓ１１０３の判定では、当該サムネイル画像で代表される区間のフレームのうち、「nal＿unit＿type」がＴＳＡであるフレームが存在する場合に異常検知と判定する。または、復号階層設定値よりも大きいTemporal IDを持つフレームが含まれる場合に異常検知と判定してもよい。本実施形態では、例えば、通常時は送信装置２０１側からTemporal ID＝０のフレームのみが送信され、異常発生時にのみ０より大きいTemporal IDのフレームが送信される。この場合においては、０より大きいTemporal IDのフレームが含まれる場合に異常検知と判定してもよい。

この判定の結果、異常が検知されない場合（Ｓ１１０３／ＮＯ）は、全体制御部２１２は、当該サムネイル画像を表示部２１０に通常表示する（Ｓ１１０４）。一方、異常が検知された場合（Ｓ１１０３／ＹＥＳ）は、全体制御部２１２は、当該サムネイル画像を他のサムネイル画像と区別できるように表示部２１０に強調表示する（Ｓ１１０５）。

次に、全体制御部２１２は、全てのサムネイル画像を表示したか否かを判定する（Ｓ１１０６）。この判定の結果、全てのサムネイル画像を表示していない場合（Ｓ１１０６／ＮＯ）、Ｓ１１０２に戻る。一方、全てのサムネイル画像を表示した場合（Ｓ１１０６／ＹＥＳ）は、処理を終了する（Ｓ１１０７）。

図１２は、Ｓ１１０５で強調表示されたサムネイル画像を含む表示画面の一例を示す図である。図１２に示す例においては、表示領域１２０１には復号されたフレームが表示され、表示領域１２０２には各種ステータスに関する情報が表示されている。さらに、表示領域１２０３には、所定時間間隔でのサムネイル画像が複数表示されている。このとき、Ｓ１１０５の処理によって、異常検知されたフレームを含む区間を代表するサムネイル画像１２０４は、他のサムネイル画像と区別して表示される。

以上のように、ユーザは符号化ストリームに含まれる情報だけで、異常検知によって高フレームレート化して再生が可能な区間を認識することが可能となる。また、本実施形態では、異常検知されたフレームを含むサムネイル画像を強調表示しているが、表示方法はこれだけに限定されるものではない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１ 送信装置
２０３ 動画像符号化部
２０４ ネットワーク送信部
２０６ 受信装置
２０７ ネットワーク受信部
２０８ 動画像復号部
２１０ 表示部
２１１、２１２ 全体制御部

Claims (21)

1. 動画像を構成するフレームを符号化する符号化装置であって、
   入力された前記動画像のフレームを時間的階層に従って符号化する符号化手段と、
   前記符号化手段によって符号化されたフレームを受信装置に送信する送信手段と、
   前記符号化手段によって符号化されるフレームの時間的階層の上限を制御する制御手段と、
   前記動画像において異常が検知されていない第１の状態または異常が検知された第２の状態を示す情報を入力する入力手段とを有し、
   前記制御手段は、前記入力手段によって前記第２の状態を示す情報が入力された場合に、前記符号化手段によって符号化される対象となるフレームの時間的階層の上限を前記第１の状態における時間的階層の上限以上に設定し、前記第２の状態を示す情報が入力されたときに前記符号化手段によって符号化されたフレームと関連するフレームのうち処理の順序が早いフレームであってかつ時間的階層が最下層ではないフレームに対して高フレームレート化の指示を表す情報を付加することを特徴とする符号化装置。
2. 前記制御手段は、前記高フレームレート化の指示を表す情報を付加するフレームが参照するフレームの時間的階層を下げて符号化するように前記符号化手段を制御することを特徴とする請求項１に記載の符号化装置。
3. 前記制御手段は、前記入力手段によって前記第２の状態を示す情報が入力された場合に、前記符号化手段によって符号化される対象となるフレームをすべてのフレームとするように時間的階層の上限を制御することを特徴とする請求項１又は２に記載の符号化装置。
4. 前記制御手段は、さらに前記送信手段によって送信されるフレームの時間的階層の上限を制御し、前記入力手段によって前記第２の状態を示す情報が入力された場合に、前記符号化手段によって符号化されたすべてのフレームを送信するように時間的階層の上限を設定することを特徴とする請求項３に記載の符号化装置。
5. 動画像を構成するフレームを符号化する符号化装置であって、
   入力された前記動画像のフレームを時間的階層に従って符号化する符号化手段と、
   前記符号化手段によって符号化されたフレームを受信装置に送信する送信手段と、
   前記符号化手段によって符号化されるフレームの時間的階層の上限を制御する制御手段と、
   前記動画像における第１の認識結果と、前記第１の認識結果に基づく第２の認識結果とを入力する入力手段とを有し、
   前記制御手段は、前記入力手段によって前記第１の認識結果が入力された場合に、前記符号化手段によって符号化される対象となるフレームの時間的階層の上限を前記第１の状態における時間的階層の上限以上に設定し、さらに前記入力手段によって前記第２の認識結果が入力された場合に、前記第２の認識結果が入力されたときに前記符号化手段によって符号化されたフレームと関連するフレームのうち処理の順序が早いフレームであってかつ時間的階層が最下層ではないフレームに対して高フレームレート化の指示を表す情報を付加することを特徴とする符号化装置。
6. 前記制御手段は、前記入力手段によって前記第１の認識結果が入力された場合に、前記符号化手段によって符号化される対象となるフレームをすべてのフレームとするように時間的階層の上限を制御することを特徴とする請求項１又は２に記載の符号化装置。
7. 前記制御手段は、さらに前記送信手段によって送信されるフレームの時間的階層を制御し、前記入力手段によって前記第２の認識結果が入力された場合に、前記符号化手段によって符号化されたすべてのフレームを送信するように時間的階層の上限を設定することを特徴とする請求項６に記載の符号化装置。
8. 前記時間的階層は、ＨＥＶＣのTemporal IDであることを特徴とする請求項１〜７の何れか１項に記載の符号化装置。
9. 前記高フレームレート化の指示を表す情報は、ＨＥＶＣにおけるＴＳＡ（Temporal sub-layer access）であることを特徴とする請求項１〜８の何れか１項に記載の符号化装置。
10. 動画像を構成する符号化されたフレームを復号する復号化装置であって、
    送信装置から前記符号化されたフレームを受信する受信手段と、
    前記受信手段によって受信されたフレームを復号する復号手段と、
    前記復号手段によって復号されたフレームを表示手段に表示する表示制御手段と、
    前記表示制御手段によって表示されるフレームの時間的階層の上限を制御する制御手段とを有し、
    前記受信手段によって高フレームレート化の指示を表す情報が付加されたフレームを受信した場合に、前記制御手段は、前記表示制御手段によって表示される対象となるフレームの時間的階層の上限を高く設定し、
    前記表示制御手段は、前記復号手段によって復号されたフレームを前記表示手段に表示するとともに、フレームレートが変更された旨の通知を行うことを特徴とする復号化装置。
11. 前記受信手段によって受信されたフレームに対して、所定の区間ごとに区間を代表する代表画像を生成する生成手段をさらに有し、
    前記表示制御手段は、前記生成手段によって生成された代表画像を表示し、前記高フレームレート化の指示を表す情報が付加されたフレームを含む区間を代表する代表画像を表示する際には、他の代表画像と区別して表示するように制御することを特徴とする請求項１０に記載の復号化装置。
12. 前記受信手段によって高フレームレート化の指示を表す情報が付加されたフレームを受信した場合に、前記制御手段は、前記表示制御手段によって表示される対象となるフレームをすべてのフレームとするように時間的階層の上限を設定することを特徴とする請求項１０又は１１に記載の復号化装置。
13. 前記時間的階層は、ＨＥＶＣのTemporal IDであることを特徴とする請求項１０〜１２の何れか１項に記載の復号化装置。
14. 前記高フレームレート化の指示を表す情報は、ＨＥＶＣにおけるＴＳＡ（Temporal sub-layer access）であることを特徴とする請求項１０〜１３の何れか１項に記載の復号化装置。
15. 請求項１〜９の何れか１項に記載の符号化装置と、請求項１０〜１４の何れか１項に記載の復号化装置とを有することを特徴とする映像送受信システム。
16. 動画像を構成するフレームを符号化する符号化装置の制御方法であって、
    入力された前記動画像のフレームを時間的階層に従って符号化する符号化工程と、
    前記符号化工程において符号化されたフレームを受信装置に送信する送信工程と、
    前記符号化工程において符号化されるフレームの時間的階層の上限を制御する制御工程と、
    前記動画像において異常が検知されていない第１の状態または異常が検知された第２の状態を示す情報を入力する入力工程とを有し、
    前記制御工程においては、前記入力工程において前記第２の状態を示す情報が入力された場合に、前記符号化工程において符号化される対象となるフレームの時間的階層の上限を前記第１の状態における時間的階層の上限以上に設定し、前記第２の状態を示す情報が入力されたときに前記符号化工程において符号化されたフレームと関連するフレームのうち処理の順序が早いフレームであってかつ時間的階層が最下層ではないフレームに対して高フレームレート化の指示を表す情報を付加することを特徴とする符号化装置の制御方法。
17. 動画像を構成するフレームを符号化する符号化装置の制御方法であって、
    入力された前記動画像のフレームを時間的階層に従って符号化する符号化工程と、
    前記符号化工程において符号化されたフレームを受信装置に送信する送信工程と、
    前記符号化工程において符号化されるフレームの時間的階層の上限を制御する制御工程と、
    前記動画像における第１の認識結果と、前記第１の認識結果に基づく第２の認識結果とを入力する入力工程とを有し、
    前記制御工程においては、前記入力工程において前記第１の認識結果が入力された場合に、前記符号化工程において符号化される対象となるフレームの時間的階層の上限を前記第１の状態における時間的階層の上限以上に設定し、さらに前記入力工程において前記第２の認識結果が入力された場合に、前記第２の認識結果が入力されたときに前記符号化工程において符号化されたフレームと関連するフレームのうち処理の順序が早いフレームであってかつ時間的階層が最下層ではないフレームに対して高フレームレート化の指示を表す情報を付加することを特徴とする符号化装置の制御方法。
18. 動画像を構成する符号化されたフレームを復号する復号化装置の制御方法であって、
    送信装置から前記符号化されたフレームを受信する受信工程と、
    前記受信工程において受信されたフレームを復号する復号工程と、
    前記復号工程において復号されたフレームを表示手段に表示する表示制御工程と、
    前記表示制御工程において表示されるフレームの時間的階層の上限を制御する制御工程とを有し、
    前記受信工程において高フレームレート化の指示を表す情報が付加されたフレームを受信した場合に、前記制御工程においては、前記表示制御工程において表示される対象となるフレームの時間的階層の上限を高く設定し、
    前記表示制御工程においては、前記復号工程において復号されたフレームを前記表示手段に表示するとともに、フレームレートが変更された旨の通知を行うことを特徴とする復号化装置の制御方法。
19. 動画像を構成するフレームを符号化する符号化装置を制御するためのプログラムであって、
    入力された前記動画像のフレームを時間的階層に従って符号化する符号化工程と、
    前記符号化工程において符号化されたフレームを受信装置に送信する送信工程と、
    前記符号化工程において符号化されるフレームの時間的階層の上限を制御する制御工程と、
    前記動画像において異常が検知されていない第１の状態または異常が検知された第２の状態を示す情報を入力する入力工程とをコンピュータに実行させ、
    前記制御工程においては、前記入力工程において前記第２の状態を示す情報が入力された場合に、前記符号化工程において符号化される対象となるフレームの時間的階層の上限を前記第１の状態における時間的階層の上限以上に設定し、前記第２の状態を示す情報が入力されたときに前記符号化工程において符号化されたフレームと関連するフレームのうち処理の順序が早いフレームであってかつ時間的階層が最下層ではないフレームに対して高フレームレート化の指示を表す情報を付加することを特徴とするプログラム。
20. 動画像を構成するフレームを符号化する符号化装置を制御するためのプログラムであって、
    入力された前記動画像のフレームを時間的階層に従って符号化する符号化工程と、
    前記符号化工程において符号化されたフレームを受信装置に送信する送信工程と、
    前記符号化工程において符号化されるフレームの時間的階層の上限を制御する制御工程と、
    前記動画像における第１の認識結果と、前記第１の認識結果に基づく第２の認識結果とを入力する入力工程とをコンピュータに実行させ、
    前記制御工程においては、前記入力工程において前記第１の認識結果が入力された場合に、前記符号化工程において符号化される対象となるフレームの時間的階層の上限を前記第１の状態における時間的階層の上限以上に設定し、さらに前記入力工程において前記第２の認識結果が入力された場合に、前記第２の認識結果が入力されたときに前記符号化工程において符号化されたフレームと関連するフレームのうち処理の順序が早いフレームであってかつ時間的階層が最下層ではないフレームに対して高フレームレート化の指示を表す情報を付加することを特徴とするプログラム。
21. 動画像を構成する符号化されたフレームを復号する復号化装置を制御するためのプログラムであって、
    送信装置から前記符号化されたフレームを受信する受信工程と、
    前記受信工程において受信されたフレームを復号する復号工程と、
    前記復号工程において復号されたフレームを表示手段に表示する表示制御工程と、
    前記表示制御工程において表示されるフレームの時間的階層の上限を制御する制御工程とをコンピュータに実行させ、
    前記受信工程において高フレームレート化の指示を表す情報が付加されたフレームを受信した場合に、前記制御工程においては、前記表示制御工程において表示される対象となるフレームの時間的階層の上限を高く設定し、
    前記表示制御工程においては、前記復号工程において復号されたフレームを前記表示手段に表示するとともに、フレームレートが変更された旨の通知を行うことを特徴とするプログラム。