JP2020080479A - 動画記録再生装置、動画伝送システムおよび方法 - Google Patents

Abstract

【課題】 ターゲットを含む領域の画質の維持と、符号化の処理負荷、及び、動画のデータ量の抑制とを両立する。【解決手段】 入力された動画のフレームの中から、予め定められたターゲット抽出アルゴリズムに基づく処理を実行してターゲットを抽出し、ターゲットを含む被写体領域を生成すると共に、フレーム内における被写体領域の位置を示す位置情報を取得する。被写体領域に対し、第１の符号化手順に基づく符号化処理を実行して、符号化被写体領域を生成する。符号化被写体領域に対し、第１の符号化手順に基づく復号化処理を実行して、復号化被写体領域を生成する。フレーム内の位置情報が示す位置に、復号化被写体領域を配置した動画を合成する。【選択図】 図２

Description

本発明は、動画の符号化及び復号化に関する。

デジタルカメラの普及や、撮像素子の画素数の増加に伴い、大量の動画データが日々生成されている。特に、監視カメラは長時間録画することが多く、生成するデータ量が膨大になりやすい。このため、監視カメラで撮影した動画を記録するためには、大容量のストレージが必要になる。

監視カメラ単体で動画を記録し、動画を再生出力する場合、監視カメラにストレージを設けることになる。この場合、装置の発熱、消費電力、スペースの観点からストレージの容量に制限があり、高品質の動画を長時間記録するのが難しい。

また、監視カメラの映像を、データ通信ネットワークを介して遠隔地にリアルタイムに伝送する場合、十分な伝送速度を確保する必要がある。

本発明に関連する文献に特許文献１がある。特許文献１では、ターゲットを含む領域の更新頻度を高くする一方、背景領域の更新頻度を低くすることにより、全体としてのデータ量の削減を図る。特許文献１によれば、画像を再生すると、ターゲットの動作はスムーズに表示される一方、背景の中で動く物（例えば風にそよぐ草木）の動きはぎこちないものとなる。

また、本発明に関連する他の文献に特許文献２がある。同文献にいう前景画像は、画像全体のうち、ターゲットの部分のみ画質を維持したまま、それ以外の背景を単色化した画像である。特許文献２では、例えば、フレーム画像の画素数が1920*1080の場合、前景画像の画素数も1920*1080である。従って、符号化処理の対象となるのも1920*1080の画像である。

特開２００３−１２５３６９号公報 特開２０１０−２６８３０７号公報

特許文献１によれば、複数のフレームの間で、画面の更新頻度を画面の部分によって変えることによって、動画全体としてのデータ量の削減を図っている。

特許文献２によれば、背景を単色化するものの、フレーム全体を対象として符号化処理を行う。

本発明はこのような状況に鑑みてなされたものであり、本発明が解決しようとする課題は、ターゲットを含む領域の画質の維持と、符号化の処理負荷、及び、動画のデータ量の抑制との両立が可能な動画記録再生装置、動画伝送システムを提供することである。

上述の課題を解決するため、本発明は、その一態様として、入力された動画のフレームの中から、予め定められたターゲット抽出アルゴリズムに基づく処理を実行してターゲットを抽出し、前記ターゲットを含む被写体領域を生成すると共に、前記フレーム内における前記被写体領域の位置を示す位置情報を取得する被写体領域生成手段と、前記被写体領域に対し、第１の符号化手順に基づく符号化処理を実行して、符号化被写体領域を生成する被写体符号化手段と、前記符号化被写体領域に対し、前記第１の符号化手順に基づく復号化処理を実行して、復号化被写体領域を生成する被写体復号化手段と、前記フレーム内の前記位置情報が示す位置に、前記復号化被写体領域を配置した動画を合成する合成手段とを備える動画符号化復号化システムを提供する。

また、本発明は、他の一態様として、入力された動画のフレームの中から、予め定められたターゲット抽出アルゴリズムに基づく処理を実行してターゲットを抽出し、前記ターゲットを含む被写体領域を生成すると共に、前記フレーム内における前記被写体領域の位置を示す位置情報を取得する被写体領域生成手段と、前記被写体領域に対し、第１の符号化手順に基づく符号化処理を実行して、符号化被写体領域を生成する被写体符号化手段とを備え、前記位置情報と前記符号化被写体領域とを出力する、動画符号化システムを提供する。

また、本発明は、他の一態様として、入力された動画のフレームの中から、予め定められたターゲット抽出アルゴリズムに基づく処理を実行してターゲットを抽出し、前記ターゲットを含む被写体領域を生成すると共に、前記フレーム内における前記被写体領域の位置を示す位置情報を取得する被写体領域生成段階と、前記被写体領域に対し、第１の符号化手順に基づく符号化処理を実行して、符号化被写体領域を生成する被写体符号化段階と、前記符号化被写体領域に対し、前記第１の符号化手順に基づく復号化処理を実行して、復号化被写体領域を生成する被写体復号化段階と、前記フレーム内の前記位置情報が示す位置に、前記復号化被写体領域を配置した動画を合成する合成段階とを含む動画符号化復号化方法を提供する。

本発明によれば、ターゲットを含む領域の画質の維持と、符号化の処理負荷、及び、動画のデータ量の抑制との両立が可能な動画記録再生装置、動画伝送システムを提供することができる。

本発明の第１の実施の形態である動画記録再生装置のブロック図である。 符号化部のブロック図である。 フレームの一例を説明するための図である。 フレームと、被写体領域と、位置情報との関係を説明するための図である。 ストレージが符号化被写体領域、符号化背景領域、位置情報を格納した状態を説明するための模式図である。 復号化部のブロック図である。 本発明の第２の実施の形態である動画伝送システムのブロック図である。

（第１の実施の形態）
図１を参照して、本発明の一実施の形態である動画記録再生装置１について説明する。動画記録再生装置１は、典型的には、監視カメラで撮影した動画を記録し、必要に応じて、記録した動画を画像表示装置に出力して表示するための装置である。

動画記録再生装置１は、符号化部２、ストレージ３、復号化部４を備える。動画記録再生装置１は、撮像素子が出力する画像データを、フレーム５として外部から受け取る。撮像素子は例えばCCD(Charge-Coupled Device)イメージセンサ、CMOS(Complementary MOS)イメージセンサである。フレーム５は動画であっても静止画であってもよい。

また、動画記録再生装置１は、動画データを、フレーム６として不図示の画像表示装置に出力する。画像表示装置は、例えば、CRT(Cathode Ray Tube)、液晶ディスプレイ装置、有機EL(electro-luminescence)ディスプレイ装置、プラズマディスプレイ、ビデオプロジェクタ等である。

図２に示すように、符号化部２は、被写体領域生成部２１、背景領域生成部２２、被写体符号化部２３、背景符号化部２４を備える。

被写体領域生成部２１は、フレーム５からターゲットを含む被写体領域を抽出して、被写体符号化部２３に出力する。言い換えると、被写体領域生成部２１は、ターゲットを含む領域を、フレーム５から被写体領域として切り出す処理を行う。また、被写体領域生成部２１は、切り出し元となったフレーム５における、被写体領域の位置を示す情報である位置情報Ｐを出力する。

被写体領域生成部２１がフレーム５からターゲットを抽出する際には、所定のアルゴリズムに従った処理を実行する。以下、このアルゴリズムをターゲット抽出アルゴリズムと記す。ターゲット抽出アルゴリズムには、様々なものを用いることが可能である。ターゲット抽出アルゴリズムとして用いるアルゴリズムの種類と、そのアルゴリズムに適用する各種パラメータの値は、動画記録再生装置１の録画目的に応じて、予め適切に設定される。

ターゲット抽出アルゴリズムの一例としては、例えば、フレーム５に含まれる人、動物、植物、機械、各種の自然物等のイメージが、フレーム５の中で占める大きさを求めて、大きさに基づいてターゲットか否かを判定して、ターゲットと判定した像を含む領域を被写体領域として出力するものが考えられる。

また、他のターゲット抽出アルゴリズムとしては、所定の位置に設置されて、金庫を中心とした監視エリアの画像を、同じ方向、同じ範囲金庫を監視する監視カメラのように、固定物を監視するための動画像データのフレームをフレーム５として用いる場合に、フレーム５内において、金庫を含む所定の範囲に相当する領域を被写体領域として出力するものが考えられる。

また、他のターゲット抽出アルゴリズムとしては、着目しているフレーム５と、そのフレーム５と時間的に連続した他のフレーム５（例えば着目しているフレーム５の直前のフレーム５）とに基づいて、動体検知を行い、検知された動体をターゲットとして抽出するものが考えられる。動体検知アルゴリズムの例としては画素値差分検出、画像相関判定がある。画素値差分検出では、時間的に連続した２つの画像の間で、互いに対応する画素の画素値の差分を求める。この差分に基づいて動体を検知する。画像相関判定では、時間的に連続した２つの画像の間の相関係数に基づいて動体を検知する。

ここでは、ターゲット抽出アルゴリズムとして動体検知を用いるものして説明する。図３のようなフレーム５が被写体領域生成部２１に入力されたものとする。このようなフレーム５に対し、被写体領域生成部２１はターゲット抽出アルゴリズムとして動体検知を実行する。その結果、画面中央を移動する二人の人間を動体として検知したものとする。ここで検知した二人の人間をターゲット５１と呼ぶものとする。そして、被写体領域生成部２１は、ターゲット５１を含むフレーム５の一部を、被写体領域５２として被写体符号化部２３に出力する。

図４を参照してターゲット５１と被写体領域５２の関係と位置情報Ｐについて説明する。被写体領域５２は、ターゲット５１のみ、即ち、二人の人間の姿のみに対応する画素からなる領域を被写体領域５２として出力してもよい。或いは、被写体領域５２は、ターゲット５１を囲む矩形領域として被写体領域５２を出力することとしてもよい。図４には矩形領域の被写体領域５２を例示している。被写体領域５２を伝送するために必要なビットレートや、記録するために必要な容量を抑えるため、矩形領域は、ターゲット５１を含んだ上でできるだけ小さいことが好ましい。例えばターゲット５１が内接する矩形領域が好ましい。

位置情報Ｐは、フレーム５の中における被写体領域５２の位置を示す情報である。図４の例では、被写体領域５２の左上隅の画素のＸ座標、Ｙ座標からなる座標（Ｘ、Ｙ）を位置情報Ｐとして用いている。被写体領域生成部２１は、フレーム５のうち、ターゲット５１を含む領域を被写体領域５２として切り出すと共に、その被写体領域５２の位置を示す位置情報Ｐを出力する。

背景領域生成部２２は、フレーム５を低画質化したものを背景領域として出力する。ここでは、低画質化の一手法として解像度を下げる（ダウンコンバート）。例えば、横１９２０ドット、縦１０８０ドットの所謂フルＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）のフレーム５を、横１３６６ドット、縦７６８ドットの所謂ＨＤにダウンコンバートし、背景領域として背景符号化部２４に出力する。低画質化の他の手法としては、例えばフレーム５に対して減色処理を実行したものを背景領域とすることが考えられる。

被写体符号化部２３は、被写体領域生成部２１が出力した被写体領域５２を符号化して、符号化被写体領域Ｔを出力する。背景符号化部２４は、背景領域生成部２２が出力した背景領域を符号化して、符号化背景領域Ｂを出力する。このように、被写体領域５２と背景領域の符号化部は、被写体符号化部２３、背景符号化部２４として、別々に設けられる。

ここで、本明細書では、符号化方式と、その符号化方式に適用した符号化パラメータの組み合わせを符号化手順と呼ぶものとする。被写体符号化部２３の符号化手順は、画質が高いことを優先して定められる。被写体符号化部２３では、ビットレートや符号化処理の処理負荷については重視しない。他方、背景符号化部２４の符号化手順は、ビットレートが低いこと、処理負荷が低いことの一方、或いは両方を優先して定められる。背景符号化部２４では、画質については重視しない。

被写体符号化部２３の符号化手順と、背景符号化部２４の符号化手順の両方において、同一の符号化方式を採用してもよい。この場合、符号化被写体領域Ｔを復号、再生して得られる動画が、符号化背景領域Ｂを復号、再生して得られる動画よりも高画質になるように、符号化パラメータが定められる。

また、被写体符号化部２３の符号化手順と、背景符号化部２４の符号化手順とを互いに異なる符号化方式を採用してもよい。例えば、被写体符号化部２３の符号化方式として、符号化処理の処理負荷は高いが、画質も高いH.265/MPEG-H HEVCを採用する一方、背景符号化部２４の符号化方式として、符号化処理の処理負荷は低いが、画質も低いH.264/MPEG-4 AVCを採用することが考えられる。

このようにして、符号化部２は、フレーム５を入力として、位置情報Ｐ、符号化被写体領域Ｔ、符号化背景領域Ｂを出力する。符号化部２が出力した位置情報Ｐ、符号化被写体領域Ｔ、符号化背景領域Ｂは、互いに関連付けられてストレージ３に格納される。

図５を参照してストレージ３について説明する。ストレージ３は、例えば、ハードディスクドライブ、SSD (Solid State Drive)等の記憶装置である。フレームＦ１、Ｆ２、Ｆ３、…を一連の動画を構成するフレームとする。上述のようにして、符号化部２は、フレームＦ１から、符号化背景領域Ｂ１、符号化被写体領域Ｔ１、位置情報Ｐ１を生成する。フレームＦ２、Ｆ３、…についても同様である。このとき、ストレージ３は、符号化背景領域Ｂ１、符号化被写体領域Ｔ１、位置情報Ｐ１を互いに関連付けて格納する。同様に、符号化背景領域Ｂ２、符号化被写体領域Ｔ２、位置情報Ｐ２を互いに関連付けて格納し、符号化背景領域Ｂ３、符号化被写体領域Ｔ３、位置情報Ｐ３を互いに関連付けて格納する。フレームＦ４以後についても同様である。

図６を参照して復号化部４について説明する。復号化部４は、互いに関連付けてストレージ３に格納されている位置情報Ｐ、符号化被写体領域Ｔ、符号化背景領域Ｂに基づいて動画を再生し、不図示の画像表示装置に出力する。復号化部４は、被写体復号化部４１、背景復号化部４２、合成部４３を備える。

被写体復号化部４１は、ストレージ３から読み出した符号化被写体領域Ｔに対し、被写体符号化部２３が行った符号化処理に対応する復号化処理を実行する。復号化処理によって、被写体復号化部４１は、復号化した符号化被写体領域Ｔ、即ち、復号化被写体領域を生成し、合成部４３に出力する。

同様に、背景復号化部４２は、ストレージ３から読み出した符号化背景領域Ｂに対し、背景符号化部２４が行った符号化処理に対応する復号化処理を実行する。復号化処理によって、背景復号化部４２は、復号化した符号化背景領域Ｂ、即ち、復号化背景領域を生成し、合成部４３に出力する。

合成部４３は、被写体復号化部４１が復号化した被写体領域を、背景復号化部４２が復号化した背景領域と合成して、フレームを生成する。その際、背景領域の中で、位置情報Ｐによって定められる位置に被写体領域を上書きするようにして合成する。

動画記録再生装置１によれば、利用者にとって重要度が高いターゲットを含む被写体領域については、高処理負荷、高ビットレートを割り当てて、高画質に記録する一方で、利用者にとって重要度が低い背景領域については、低処理負荷、低ビットレートを割り当てて、低画質に記録する。このため、動画全体としてのビットレートと、動画全体として符号化／復号化に要する処理負荷とを抑制しつつ、ターゲットを鮮明に記録することができる。動画全体としてのビットレートを抑えることができるため、ストレージ３に記録する際に必要となる容量についても抑制することができる。

（変形１）
上述の動画記録再生装置１では、動画を記録する際には、ダウンコンバートしたフレーム５を背景領域としてストレージ３に格納する一方、ターゲット５１を含む被写体領域５２については画質を維持したままストレージ３に格納した。また、記録した動画を再生する際には、背景領域内において位置情報Ｐが示す位置に被写体領域５２を合成して出力した。

本変形では、背景領域を記録せずに被写体領域のみを記録する。このため、本変形の動画記録再生装置１では、背景領域生成部２２、背景符号化部２４、背景復号化部４２を省略する。

符号化部２において、被写体領域生成部２１は、フレーム５のうち、ターゲット５１を含む領域を被写体領域５２として切り出すと共に、その被写体領域５２の位置を示す位置情報Ｐを出力する。本変形では、更に、被写体領域生成部２１は、フレーム５のサイズを示すサイズ情報を取得して、位置情報Ｐの一部として出力する。サイズ情報はフレーム毎に取得する必要はなく、動画ひとつにつき少なくとも１回取得すればよい。本変形では、符号化部２は、背景領域生成部２２、背景符号化部２４を備えていないため、符号化背景領域Ｂの出力は行わない。

また、符号化部２において、被写体符号化部２３は、上述の説明と同様に動作し、符号化被写体領域Ｔを出力する。

ストレージ３は、符号化被写体領域Ｔ、位置情報Ｐをフレーム毎に互いに関連付けて記録する。本変形では符号化部２は符号化背景領域Ｂを出力しないので、ストレージ３は符号化背景領域Ｂの記録は行わない。

復号化部４において、被写体復号化部４１の動作は上述の説明と同様である。合成部４３は、サイズ情報が指定する大きさの単色の画面を生成し、その単色画面において位置情報Ｐが示す位置に、被写体復号化部４１が復号した被写体領域を合成し出力する。

例えば、フレーム５の解像度が横１９２０ドット、縦１０８０ドットの所謂フルＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）であるとき、被写体領域生成部２１は、位置情報Ｐの一部として、１９２０×１０８０のサイズ情報を出力する。このとき、合成部４３は、横１９２０、縦１０８０の単色画像（例えば白色画像）を合成し、この単色画面内の位置情報Ｐが示す位置に、被写体復号化部４１が復号した被写体領域を合成して出力する。

本変形によれば、背景領域生成部２２、背景符号化部２４が不要なため、動画記録再生装置１の処理負荷を軽減することができる。また、ストレージ３は符号化背景領域Ｂを格納しないため、ストレージ３の容量を抑えることができる。また、背景復号化部４２が不要なため、動画記録再生装置１の処理負荷を軽減することができる。

（第２の実施の形態）
上述の第１の実施の形態に係る動画記録再生装置１では、動画を符号化部２にて符号化し、いったんストレージ３に格納した後、復号化部４にてストレージ３から符号化した動画を読み出して、画像表示装置に動画を出力した。これに対して、本実施の形態では、符号化部２の出力をデータ通信ネットワークを介して復号化部４に伝送する点で異なる。

図７を参照して説明すると、本実施の形態の動画伝送システム７０は、動画記録再生装置１のストレージ３の代わりに、２つのネットワークインタフェース７１、７２と、それらの間を接続するデータ通信ネットワーク７３を備える。符号化部２、復号化部４については、上述の第１の実施の形態または変形１と同様である。動画伝送システム７０は、典型的には、監視カメラで撮影した動画を伝送し、遠隔地にて再生するためのシステムである。

データ通信ネットワーク７３は例えばインターネットである。ネットワークインタフェース７１、７２はデータ通信ネットワーク７３を介してデータ通信を行うためのインタフェース装置である。ネットワークインタフェース７１は、一つのフレームについての符号化部２の出力を、互いに関連付けてデータ通信ネットワーク７３を介してネットワークインタフェース７２に送信する。

動画伝送システム７０によれば、ターゲット５１の画像を鮮明に保ちつつ、低いビットレートで動画を伝送することができる。

上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
入力された動画のフレームの中から、予め定められたターゲット抽出アルゴリズムに基づく処理を実行してターゲットを抽出し、前記ターゲットを含む被写体領域を生成すると共に、前記フレーム内における前記被写体領域の位置を示す位置情報を取得する被写体領域生成手段と、
前記被写体領域に対し、第１の符号化手順に基づく符号化処理を実行して、符号化被写体領域を生成する被写体符号化手段と、
前記符号化被写体領域に対し、前記第１の符号化手順に基づく復号化処理を実行して、復号化被写体領域を生成する被写体復号化手段と、
前記フレーム内の前記位置情報が示す位置に、前記復号化被写体領域を配置した動画を合成する合成手段と
を備える動画符号化復号化システム。

（付記２）
前記被写体領域生成手段は、更に、前記フレームのサイズを示すサイズ情報を取得し、
前記合成手段は、前記サイズ情報が示すサイズを有する単色画像内の前記位置情報が示す位置に、前記復号化被写体領域を配置した動画を合成する、
付記１に記載の動画符号化復号化システム。

（付記３）
前記入力された動画のフレームを低画質化した背景領域を生成する背景領域生成手段と、
前記背景領域に対し、第２の符号化手順に基づく符号化処理を実行して、符号化背景領域を生成する背景符号化手段と、
前記符号化背景領域に対し、前記第２の符号化手順に基づく復号化処理を実行して、復号化背景領域を生成する背景復号化手段と、
を更に備える付記１に記載の動画符号化復号化システム。

（付記４）
前記第１の符号化手順の符号化方式と、前記第２の符号化手順の符号化方式は互いに異なる、付記３に記載の動画符号化復号化システム。

（付記５）
前記第１の符号化手順と、前記第２の符号化手順は、同一の符号化方式に対し、互いに異なる符号化パラメータを組み合わせたものである、付記３に記載の動画符号化復号化システム。

（付記６）
前記ターゲット抽出アルゴリズムは動体検知である、付記１乃至付記５のいずれかに記載の動画符号化復号化システム。

（付記７）
付記１乃至付記６のいずれかに記載の動画符号化復号化システムと、
前記被写体領域生成手段から入力された、一つのフレームの前記符号化被写体領域と、当該フレームの前記位置情報とを互いに関連付けて格納し、格納した前記符号化被写体領域を前記被写体復号化手段に出力し、格納した前記位置情報を前記合成手段に出力するストレージを備える、動画記録再生装置。

（付記８）
付記１乃至付記６のいずれかに記載の動画符号化復号化システムと、
前記被写体領域生成手段から入力された、一つのフレームの前記符号化被写体領域と、当該フレームの前記位置情報とを互いに関連付けて、データ通信ネットワークに送信する第１のネットワークインタフェースと、
前記データ通信ネットワークを介して、前記第１のネットワークインタフェースから前記符号化被写体領域と前記位置情報とを受信する第２のネットワークインタフェースと
を備える、動画伝送システム。

（付記９）
入力された動画のフレームの中から、予め定められたターゲット抽出アルゴリズムに基づく処理を実行してターゲットを抽出し、前記ターゲットを含む被写体領域を生成すると共に、前記フレーム内における前記被写体領域の位置を示す位置情報を取得する被写体領域生成手段と、
前記被写体領域に対し、第１の符号化手順に基づく符号化処理を実行して、符号化被写体領域を生成する被写体符号化手段とを備え、
前記位置情報と前記符号化被写体領域とを出力する、動画符号化システム。

（付記１０）
前記被写体領域生成手段は、更に、前記フレームのサイズを示すサイズ情報を取得し、
前記サイズ情報を出力する、付記９に記載の動画符号化システム。

（付記１１）
前記入力された動画のフレームを低画質化した背景領域を生成する背景領域生成手段と、
前記背景領域に対し、第２の符号化手順に基づく符号化処理を実行して、符号化背景領域を生成する背景符号化手段と、
を更に備え、前記符号化背景領域を出力する、付記９に記載の動画符号化システム。

（付記１２）
前記第１の符号化手順の符号化方式と、前記第２の符号化手順の符号化方式は互いに異なる、付記１１に記載の動画符号化システム。

（付記１３）
前記第１の符号化手順と、前記第２の符号化手順は、同一の符号化方式に対し、互いに異なる符号化パラメータを組み合わせたものである、付記１１に記載の動画符号化システム。

（付記１４）
前記ターゲット抽出アルゴリズムは動体検知である、付記９乃至付記１３のいずれかに記載の動画符号化システム。

（付記１５）
動画のフレームの中から、予め定められたターゲット抽出アルゴリズムに基づいて抽出されたターゲットを含むようにして、外部で予め生成された被写体領域に対し、第１の符号化手順に基づく復号化処理を実行して、復号化被写体領域を生成する被写体復号化手段と、
前記フレーム内における前記被写体領域の位置を示すように外部で予め生成された位置情報が示す位置に、前記復号化被写体領域を配置した動画を合成する合成手段と
を備える動画復号化システム。

（付記１６）
前記合成手段は、前記フレームのサイズを示すように外部で予め生成されたサイズ情報が示すサイズを有する単色画像内の前記位置情報が示す位置に、前記復号化被写体領域を配置した動画を合成する、
付記１５に記載の動画復号化システム。

（付記１７）
前記フレームを低画質化した背景領域に対し、第２の符号化手順に基づく符号化処理を実行することにより、外部で予め生成された符号化背景領域に対し、前記第２の符号化手順に基づく復号化処理を実行して、復号化背景領域を生成する背景復号化手段を更に備える付記１５に記載の動画復号化システム。

（付記１８）
前記第１の符号化手順の符号化方式と、前記第２の符号化手順の符号化方式は互いに異なる、付記１７に記載の動画復号化システム。

（付記１９）
前記第１の符号化手順と、前記第２の符号化手順は、同一の符号化方式に対し、互いに異なる符号化パラメータを組み合わせたものである、付記１７に記載の動画復号化システム。

（付記２０）
前記ターゲット抽出アルゴリズムは動体検知である、付記１５乃至付記１９のいずれかに記載の動画復号化システム。

（付記２１）
入力された動画のフレームの中から、予め定められたターゲット抽出アルゴリズムに基づく処理を実行してターゲットを抽出し、前記ターゲットを含む被写体領域を生成すると共に、前記フレーム内における前記被写体領域の位置を示す位置情報を取得する被写体領域生成段階と、
前記被写体領域に対し、第１の符号化手順に基づく符号化処理を実行して、符号化被写体領域を生成する被写体符号化段階と、
前記符号化被写体領域に対し、前記第１の符号化手順に基づく復号化処理を実行して、復号化被写体領域を生成する被写体復号化段階と、
前記フレーム内の前記位置情報が示す位置に、前記復号化被写体領域を配置した動画を合成する合成段階と
を含む動画符号化復号化方法。

（付記２２）
前記被写体領域生成段階は、更に、前記フレームのサイズを示すサイズ情報を取得し、
前記合成段階は、前記サイズ情報が示すサイズを有する単色画像内の前記位置情報が示す位置に、前記復号化被写体領域を配置した動画を合成する、
付記２１に記載の動画符号化復号化方法。

（付記２３）
前記入力された動画のフレームを低画質化した背景領域を生成する背景領域生成段階と、
前記背景領域に対し、第２の符号化手順に基づく符号化処理を実行して、符号化背景領域を生成する背景符号化段階と、
前記符号化背景領域に対し、前記第２の符号化手順に基づく復号化処理を実行して、復号化背景領域を生成する背景復号化段階と、
を更に含む付記２１に記載の動画符号化復号化方法。

（付記２４）
前記第１の符号化手順の符号化方式と、前記第２の符号化手順の符号化方式は互いに異なる、付記２３に記載の動画符号化復号化方法。

（付記２５）
前記第１の符号化手順と、前記第２の符号化手順は、同一の符号化方式に対し、互いに異なる符号化パラメータを組み合わせたものである、付記２３に記載の動画符号化復号化方法。

（付記２６）
前記ターゲット抽出アルゴリズムは動体検知である、付記２１乃至付記２５のいずれかに記載の動画符号化復号化方法。

（付記２７）
付記２１乃至付記２６のいずれかに記載の動画符号化復号化方法を含み、
前記被写体領域生成段階は、入力された一つのフレームの前記符号化被写体領域と、当該フレームの前記位置情報とを互いに関連付けてストレージに格納し、
前記被写体復号化段階は、前記ストレージに格納された前記符号化被写体領域を復号し、
前記合成段階は、前記ストレージに格納された前記位置情報に基づいて動画を合成する、動画記録再生方法。

（付記２８）
付記２１乃至付記２６のいずれかに記載の動画符号化復号化方法と、
前記被写体領域生成段階にて入力された、一つのフレームの前記符号化被写体領域と、当該フレームの前記位置情報とを互いに関連付けて、データ通信ネットワークに送信する段階と、
前記データ通信ネットワークを介して、前記符号化被写体領域と前記位置情報とを受信する段階と
を含む、動画伝送方法。

（付記２９）
入力された動画のフレームの中から、予め定められたターゲット抽出アルゴリズムに基づく処理を実行してターゲットを抽出し、前記ターゲットを含む被写体領域を生成すると共に、前記フレーム内における前記被写体領域の位置を示す位置情報を取得する被写体領域生成手段と、
前記被写体領域に対し、第１の符号化手順に基づく符号化処理を実行して、符号化被写体領域を生成する被写体符号化手段と、
前記位置情報と前記符号化被写体領域とを出力する手段と
してコンピュータを機能させるプログラム。

（付記３０）
前記被写体領域生成手段は、更に、前記フレームのサイズを示すサイズ情報を取得し、
前記サイズ情報を出力する手段としてコンピュータを機能させる、付記２９に記載のプログラム。

（付記３１）
前記入力された動画のフレームを低画質化した背景領域を生成する背景領域生成手段と、
前記背景領域に対し、第２の符号化手順に基づく符号化処理を実行して、符号化背景領域を生成する背景符号化手段と、
前記符号化背景領域を出力する手段と
してコンピュータを機能させる、付記２９に記載のプログラム。

（付記３２）
前記第１の符号化手順の符号化方式と、前記第２の符号化手順の符号化方式は互いに異なる、付記３１に記載のプログラム。

（付記３３）
前記第１の符号化手順と、前記第２の符号化手順は、同一の符号化方式に対し、互いに異なる符号化パラメータを組み合わせたものである、付記３１に記載のプログラム。

（付記３４）
前記ターゲット抽出アルゴリズムは動体検知である、付記２９乃至付記３３のいずれかに記載のプログラム。

（付記３５）
動画のフレームの中から、予め定められたターゲット抽出アルゴリズムに基づいて抽出されたターゲットを含むようにして、外部で予め生成された被写体領域に対し、第１の符号化手順に基づく復号化処理を実行して、復号化被写体領域を生成する被写体復号化手段と、
前記フレーム内における前記被写体領域の位置を示すように外部で予め生成された位置情報が示す位置に、前記復号化被写体領域を配置した動画を合成する合成手段と
してコンピュータを機能させるプログラム。

（付記３６）
前記合成手段は、前記フレームのサイズを示すように外部で予め生成されたサイズ情報が示すサイズを有する単色画像内の前記位置情報が示す位置に、前記復号化被写体領域を配置した動画を合成する、付記３５に記載のプログラム。

（付記３７）
前記フレームを低画質化した背景領域に対し、第２の符号化手順に基づく符号化処理を実行することにより、外部で予め生成された符号化背景領域に対し、前記第２の符号化手順に基づく復号化処理を実行して、復号化背景領域を生成する背景復号化手段としてコンピュータを更に機能させる付記３５に記載のプログラム。

（付記３８）
前記第１の符号化手順の符号化方式と、前記第２の符号化手順の符号化方式は互いに異なる、付記３７に記載のプログラム。

（付記３９）
前記第１の符号化手順と、前記第２の符号化手順は、同一の符号化方式に対し、互いに異なる符号化パラメータを組み合わせたものである、付記３７に記載のプログラム。

（付記４０）
前記ターゲット抽出アルゴリズムは動体検知である、付記３５乃至付記３９のいずれかに記載のプログラム。

１ 動画記録再生装置
２ 符号化部
３ ストレージ
４ 復号化部
５、６ フレーム
２１ 被写体領域生成部
２２ 背景領域生成部
２３ 被写体符号化部
２４ 背景符号化部
４１ 被写体復号化部
４２ 背景復号化部
４３ 合成部
５１ ターゲット
５２ 被写体領域
７０ 動画伝送システム
７１、７２ ネットワークインタフェース
７３ データ通信ネットワーク
Ｂ 符号化背景領域
Ｔ 符号化被写体領域
Ｐ 位置情報

Claims (10)

1. 入力された動画のフレームの中から、予め定められたターゲット抽出アルゴリズムに基づく処理を実行してターゲットを抽出し、前記ターゲットを含む被写体領域を生成すると共に、前記フレーム内における前記被写体領域の位置を示す位置情報を取得する被写体領域生成手段と、
   前記被写体領域に対し、第１の符号化手順に基づく符号化処理を実行して、符号化被写体領域を生成する被写体符号化手段と、
   前記符号化被写体領域に対し、前記第１の符号化手順に基づく復号化処理を実行して、復号化被写体領域を生成する被写体復号化手段と、
   前記フレーム内の前記位置情報が示す位置に、前記復号化被写体領域を配置した動画を合成する合成手段と
   を備える動画符号化復号化システム。
2. 前記被写体領域生成手段は、更に、前記フレームのサイズを示すサイズ情報を取得し、
   前記合成手段は、前記サイズ情報が示すサイズを有する単色画像内の前記位置情報が示す位置に、前記復号化被写体領域を配置した動画を合成する、
   請求項１に記載の動画符号化復号化システム。
3. 前記入力された動画のフレームを低画質化した背景領域を生成する背景領域生成手段と、
   前記背景領域に対し、第２の符号化手順に基づく符号化処理を実行して、符号化背景領域を生成する背景符号化手段と、
   前記符号化背景領域に対し、前記第２の符号化手順に基づく復号化処理を実行して、復号化背景領域を生成する背景復号化手段と、
   を更に備える請求項１に記載の動画符号化復号化システム。
4. 前記第１の符号化手順の符号化方式と、前記第２の符号化手順の符号化方式は互いに異なる、請求項３に記載の動画符号化復号化システム。
5. 前記第１の符号化手順と、前記第２の符号化手順は、同一の符号化方式に対し、互いに異なる符号化パラメータを組み合わせたものである、請求項３に記載の動画符号化復号化システム。
6. 前記ターゲット抽出アルゴリズムは動体検知である、請求項１乃至請求項５のいずれかに記載の動画符号化復号化システム。
7. 請求項１乃至請求項６のいずれかに記載の動画符号化復号化システムと、
   前記被写体領域生成手段から入力された、一つのフレームの前記符号化被写体領域と、当該フレームの前記位置情報とを互いに関連付けて格納し、格納した前記符号化被写体領域を前記被写体復号化手段に出力し、格納した前記位置情報を前記合成手段に出力するストレージを備える、動画記録再生装置。
8. 請求項１乃至請求項６のいずれかに記載の動画符号化復号化システムと、
   前記被写体領域生成手段から入力された、一つのフレームの前記符号化被写体領域と、当該フレームの前記位置情報とを互いに関連付けて、データ通信ネットワークに送信する第１のネットワークインタフェースと、
   前記データ通信ネットワークを介して、前記第１のネットワークインタフェースから前記符号化被写体領域と前記位置情報とを受信する第２のネットワークインタフェースと
   を備える、動画伝送システム。
9. 入力された動画のフレームの中から、予め定められたターゲット抽出アルゴリズムに基づく処理を実行してターゲットを抽出し、前記ターゲットを含む被写体領域を生成すると共に、前記フレーム内における前記被写体領域の位置を示す位置情報を取得する被写体領域生成手段と、
   前記被写体領域に対し、第１の符号化手順に基づく符号化処理を実行して、符号化被写体領域を生成する被写体符号化手段とを備え、
   前記位置情報と前記符号化被写体領域とを出力する、動画符号化システム。
10. 入力された動画のフレームの中から、予め定められたターゲット抽出アルゴリズムに基づく処理を実行してターゲットを抽出し、前記ターゲットを含む被写体領域を生成すると共に、前記フレーム内における前記被写体領域の位置を示す位置情報を取得する被写体領域生成段階と、
    前記被写体領域に対し、第１の符号化手順に基づく符号化処理を実行して、符号化被写体領域を生成する被写体符号化段階と、
    前記符号化被写体領域に対し、前記第１の符号化手順に基づく復号化処理を実行して、復号化被写体領域を生成する被写体復号化段階と、
    前記フレーム内の前記位置情報が示す位置に、前記復号化被写体領域を配置した動画を合成する合成段階と
    を含む動画符号化復号化方法。

Images