JP2010087559A - 動画像送信装置、動画像受信装置、動画像通信システム及び動画像通信プログラム - Google Patents

Abstract

【課題】背景のように一見変化が無い映像の場合に、演算量と通信データ量を削減し、かつ、閲覧者に異常とは感じさせない動画像通信システムを実現する。
【解決手段】動画像送信装置１０は、動き判定部１２の判定結果により動画像に動きが無いと判定された場合には、符号化部１３による動画像の符号化と、送信部１４による動画像符号データの送信との双方を停止し、動画像受信装置２０は、複合化部２２による動画像符号データの複合を中止し、出力部２３は擬似動画像生成部２５の出力を選択する。
【選択図】図１

Description

本発明は、通信データ量と処理演算量の削減を図った動画像送信装置、動画像受信装置、動画像通信システム及び動画像通信プログラムに関する。

デジタル動画像の高能率符号化においては、時間的に隣接するフレーム相互間の相関を利用した動き補償方法が大きな情報圧縮を生むことが知られている。動き補償とは、参照画像と符号化画像との間の動きを検出してブロック毎の動きベクトルを求め、それに従って各ブロックのマッチングを取ることで残差信号の符号量を低減する処理である。自然画像などに対しては、このような、動きベクトルと残差信号を符号化する方法は非常に有効であるが、背景が一定の画像や、カメラの稼動範囲が限定されているような画像においては、動きベクトルを符号化することで逆に符号量が増大してしまう場合があった。

このような問題を解決するため、背景が一定で変化の少ない画像において、動きベクトルを用いず参照画像との残差信号から映像を再生可能にした映像符号化装置が開示されている（特許文献１参照）。

しかしながら、実際にネットワーク上の監視装置やＴＶ会議システムにおいては、話者が離席した背景のように、一見変化が無い映像の場合においても撮像した映像のわずかな輝度の変化や、カメラの揺らぎ等によって、残差信号の検出と得られた符号データの送信を行う必要があった。このような場合には、背景映像そのものの送受信を停止して、トラフィックの削減と省電力化を図ることが考えられるが、表示側で静止画となってしまうため、閲覧者がシステムが異常を起こしていると誤解してしまう虞がある。また、「変化なし」などの表示を行うことも考えられるが、映像を確認する際には不自然であり、閲覧者には違和感がある。
特開２００６−１６５９２７号公報

従来の動画像通信装置においては、背景が一定の画像や、カメラの稼動範囲が限定されているような画像においては、動きベクトルを符号化することで逆に符号量が増大してしまう場合があった。また、話者が離席した背景のように、一見変化が無い映像の場合においても背景映像そのものの送受信を停止すると閲覧者に違和感を感じさせる等の課題があった。

本発明は、このような課題を解決するためになされたものであり、背景のように一見変化が無い期間はデータの送受を行わず、かつ、閲覧者に異常とは感じさせない動画像送信装置、動画像受信装置、動画像通信システム及び動画像通信プログラムを提供することを目的とする。

前記目的を達成するために、本発明の動画像送信装置は、動画像データを入力する動画像入力部と、前記動画像データを符号化して動画像符号データに変換する符号化部と、前記符号化部で得られた前記動画像符号データを送信する送信部と、前記動画像データの動画像の動きの有無を判定する動き判定部とを有する動画像送信装置であって、前記動き判定部の判定結果により前記動画像に動きが無いと判定された場合には、前記動画像送信装置での前記符号化部による動画像データの符号化と、前記送信部による前記動画像符号データの送信との双方を停止することを特徴とする。

また、本発明の動画像受信装置は、動画像符号データを受信する受信部と、前記受信部が受信した前記動画像符号データを復号する復号化部と、前記復号化部によって復号された動画像データの一部を静止画像データとして記憶する静止画像記憶部と、前記静止画像記憶部に記憶された前記静止画像データから擬似動画像データを生成する擬似動画像生成部と、前記復号化部の出力または前記擬似動画像生成部の出力を選択して出力する出力部とを有し、前記動画像に動きが無いと判定された期間は、前記復号化部による前記動画像符号データの復号を中止し、前記出力部は、前記擬似動画像生成部の出力を選択することを特徴とする。

そして、本発明の動画像通信システムは、動画像を撮影して動画像データを出力するカメラと、前記動画像データを入力する動画像入力部と、前記動画像データを符号化して動画像符号データに変換する符号化部と、前記符号化部で得られた前記動画像符号データを送信する送信部と、前記動画像データの動画像の動きの有無を判定する動き判定部とを有する動画像送信装置と、前記送信部から送信される前記動画像符号データを受信する受信部と、前記受信部が受信した前記動画像符号データを復号する復号化部と、前記復号化部によって復号された動画像データの一部を静止画像データとして記憶する静止画像記憶部と、前記静止画像記憶部に記憶された前記静止画像データから擬似動画像データを生成する擬似動画像生成部と、前記復号化部の出力または前記擬似動画像生成部の出力を選択して出力する出力部とを有する動画像受信装置とを備えて構成され、前記動き判定部の判定結果により前記動画像に動きが無いと判定された場合には、前記動画像送信装置での前記符号化部による動画像データの符号化と、前記送信部による前記動画像符号データの送信との双方を停止し、前記動画像受信装置の前記出力部は前記擬似動画像生成部の出力を選択することを特徴とする。

さらに、本発明の動画像通信プログラムは、動画像データを送受信する動画像通信システムを構成する送信側装置及び受信側装置のそれぞれの制御部に実行させる動画像通信プログラムであって、動画像入力部で入力した動画像データを取り込む取り込みステップと、取り込まれた前記動画像データの動画像の動きの有無を判定する動き判定ステップと、取り込まれた前記動画像データを符号化する符号化ステップと、前記符号化により得られた動画像符号データの送信か、前記動き判定により動き無しと判定された場合には所定時間後に動画像符号データの送信を停止し、動き無しを示す動き無しフラグの送信を行う送信ステップとを有する送信側プログラムと、前記送信側装置からの送信データを受信する受信ステップと、受信されたデータが前記動画像符号データの場合は前記動き無しフラグを解除して動画像符号データを復号する復号ステップと、復号された動画像データの一部を静止画像データとして記録する静止画像記録ステップと、受信されたデータが前記動き無しフラグの場合はその動き無しフラグを記憶する動き無しフラグ記憶ステップと、前記動き無しフラグを記憶した場合またはすでに前記動き無しフラグを記憶されている場合で静止画像データ間の差分がすでに学習されていない場合は静止画像データ間の差分を学習する差分学習ステップと、特定の静止画像データと学習された差分を用いて擬似動画像データを合成する擬似動画像を合成ステップと、前記擬似動画像データの表示レートを調整する表示レート調整ステップと、前記復号された動画像データまたは前記擬似動画像データのいずれかを前記動き無しフラグを基に選択し出力する出力ステップとを有する受信側プログラムとを備えることを特徴とする。

本発明によれば、背景のように一見変化が無い映像の場合においては、データの送受信を行わず、受信側で合成した擬似的な動画像を表示するので、演算量と通信データ量を削減し、かつ、閲覧者に異常とは感じさせない動画像送信装置、動画像受信装置、動画像通信システム及び動画像通信プログラムを提供することができる。

（第１の実施形態）
図１は、本発明の第１の実施形態を説明するための動画像通信システム１００のブロック図である。

本実施形態の動画像送信装置１０は、装置外部に設置された動画像を撮影するカメラ９からの動画像を入力し動画像データを得る動画像入力部１１と、入力された動画像に大きな動きがあるか否かを判定する動き判定部１２と、撮影された動画像データの符号化を行う符号化部１３と、この符号化部で符号化により得られた動画像符号データ及び動き判定部１２の判定結果を送信する送信部１４と、動画像送信装置１０全体の制御を行う制御部１５とを備えて構成される。特に、判定部１２、符号化部１３及び制御部１５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びプログラムにより実現される。

また、動画像受信装置２０は、動画像送信装置１０からの動画像符号データ及び動き判定結果を受信する受信部２１と、受信部２１が受信した動画像符号データを復号する復号化部２２と、この復号化部２２で復号した動画像データの個々のフレームのうちの一部を静止画像データとして格納する静止画像記憶部２４と、この静止画像記憶部２４の静止画像データから動き判定結果に応じて擬似的に動画像データを生成する擬似動画像生成部２５と、復号化部２２と擬似動画像生成部２５からの出力を装置外部のモニタ２７等に出力する出力部２３と、動画像受信装置２０全体の制御を行う制御部２６とを備えて構成される。特に、復号化部２２、擬似動画像生成部２５及び制御部２６は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びプログラムにより実現される。

動画像送信装置１０と動画像受信装置２０とは、ネットワーク３０を介して接続されている。ＴＶ会議システム等のように、双方向に通信を行う場合には、双方向の端末に動画像送信装置１０と動画像受信装置２０とを設ける形態が好適である。また、ネットワーク３０は、有線接続、無線接続を問わず、符号化された動画像データを送受信できるものであれば特に制限はなく、ＬＡＮ（Local Area Network）やインターネット等を用いても良い。

次に、本実施形態の動作を、図２に示す動作フローチャートを参照して説明する。

まず、動画像送信装置１０において、動画像送信装置１０の装置外部に設置された動画像を撮影するカメラ９からの動画像が入力される動画像入力部１１で、動画像データの取り込みから処理を開始する（ステップＳ１０１）。次に、取り込んだ動画像データに対して動き判定部１２で動き判定を行う（ステップＳ１０２）。この動き判定は、例えば、図３を参照して説明すると、図３（ｃ）に示すように、画像フレーム上に画素変化を調べる複数の観測点Ａ１を設けて、この観測点での画素の変化が大きい場合には、動きが加わった、例えば、Ｖ２のような背景画像図３（ｂ）に被写体人物画像が加わったＶ１のような画像図３（ａ）になったと判定する。観測点Ａ１の位置と領域を適度に設定することによって、画像全体を探索する必要はなく、少数の観測点についてのわずかな処理で動き判定が可能となる。

動き判定の結果、背景が連続した画像により取り込まれているか否かで処理を分岐する（ステップＳ１０３）。背景画像の連続でなければ（No）、背景フラグ解除を行って（ステップＳ１０４）、符号化部１３で取り込まれた動画像データの画像符号化を行い（ステップＳ１０５）、送信部１４で符号化により得られた動画像符号データを受信装置２０へ送信する（ステップＳ１０６）。その後、ステップＳ１０１に戻って、次の撮影画像の取り込みを行う。符号化には、ＭＰＥＧ２やＨ.２６４等の一般的な手法をそのまま用いることができる。

一方、ステップＳ１０３で背景画像の連続と判断された場合には（Yes）、背景フラグが設定済みか否かを判定し（ステップＳ１０７）、背景フラグが設定済みの場合には（Yes）、ステップＳ１０１に戻って、次の撮影画像の取り込みを行う。背景フラグが設定済みでなかった場合は（No）、背景フラグを設定すると共に（ステップＳ１０８）、動画像受信装置２０へ背景フラグを送信する（ステップＳ１０６）。その後、ステップＳ１０１に戻って、次の撮影画像の取り込みを行う。

動画像受信装置２０は、動画像送信装置１０から送られたデータを受信する（ステップＳ２０１）。このとき、受信したデータの種別によって処理を分岐する（ステップＳ２０２）。すなわち、受信したデータが動画像符号データである場合は（Yes）、背景フラグを解除し（ステップＳ２０３）、動画像符号データを復号して取り込んだ動画像データを生成する（ステップＳ２０４）。この復号には、符号化方法と対になる方法をそのまま用いることができる。

復号した動画像データは、静止画像データとして静止画像バッファメモリに記憶されて記憶内容を更新する（ステップＳ２０５）。静止画像バッファメモリは数枚から数秒程度の静止画像を記憶するメモリでＦＩＦＯ（First In First Out：先入れ先出し）方式で更新することが好ましい。静止画像バッファメモリの更新時は、後述する差分学習結果があれば、必要に応じて削除する。

さらに、画像（画像データ）を出力し（ステップＳ２１１）、その後、ステップＳ２０２の分岐まで戻って符号化により得られた動画像符号データを受信する。符号化により得られた動画像符号データを受信している間は、先に取り込んだ画像データを出力し続ける。

ステップＳ２０２で、背景フラグを受信した場合あるいはすでに背景フラグを受信済みである場合には（No）、背景フラグを記憶し（ステップＳ２０６）、静止画像バッファメモリ内に記憶されている静止画像データの差分がすでに学習済みであるか否かによってさらに分岐する（ステップＳ２０７）。静止画像データの差分が学習済みか否かの判定は、例えば、学習済みを意味するフラグを立てて判断するとか、差分学習結果の格納場所、例えばメモリの特定番地などに初期化の値（例えば０）以外の値が書き込まれているか否かで判断する。

静止画像データの差分が学習済みで無い場合は（ステップＳ２０７で、No）、静止画像バッファメモリ内の静止画像データ間の相互の差分を抽出し、差分のある位置とその変化量とを学習する（ステップＳ２０８）。この静止画像バッファメモリの差分学習は、例えば画素値が変化した画素の座標と変化量の幅、時間軸に対する変化の周期性などを複数枚の静止画像データから求めると良い。一方、差分がすでに学習済みの場合や、差分を学習済みの場合は（ステップＳ２０７で、Yes）、静止画像データと学習結果に基づいて擬似動画像データの合成を行う（ステップＳ２０９）。

擬似動画像データの合成は、静止画像バッファメモリ内の静止画像の１枚に対して学習結果の対象になる画素に画素値の変化量の範囲内で適当な値の変化を与えて擬似動画像を合成する。ここでは、最初、静止画像バッファメモリ内の１枚の静止画像を、不特定にまたは特定のものを決めて、時系列的に最初の学習結果、例えば、変化する画素の座標とその変化量の幅などを反映させて次の画像データを作成し、さらに時系列的に次の学習結果を反映させてその次の画像を作成するなどの要領で、次々に異なる静止画像データを画像合成して作成することを想定する。したがって、画素値の変化に時間軸に対する周期性が認められればそれに従い、周期性が見出せない場合は、ランダムに変化を与えても差し支えない。

ところで、本実施形態のように差分学習して擬似動画像を合成した場合の方が、差分学習せず記録された静止画像を順に出力して示すパラパラ漫画風動画の場合に比べて使用する静止画像バッファメモリの容量が少なくて済むという効果がある。これは、１件の差分の学習結果のデータ量は、１枚の静止画像のデータ量よりも少なくてすみ、また、１枚の静止画像データがあれば差分学習により次の画像処理が行えるためである。

擬似動画像データの合成後、フレームレート調整を行う（ステップＳ２１０）。フレームレートの調整は、例えば毎秒３０フレームの動画像を出力していた場合に、背景の擬似動画像データの場合にのみ、毎秒１０フレームへとフレームレートを落とすような、適切なスリーブ処理を入れる。フレームレートの調整は、例えば、差分学習結果において、周期性が認められた場合には、その周期性を維持するためにレート変更を行わない等、差分学習結果から決めても良い。

このフレームレート調整の後、合成した擬似動画像データを出力し（ステップＳ２１１）、再びネットワーク受信（ステップＳ２０１）に戻る。この背景の擬似動画像データが連続する間は、静止画像バッファメモリの内容は更新されないため、静止画像データから合成された背景の擬似動画像データを出力し続けることになる。

ここで、取り込み画像とその差分の関係を図４を参照して説明する。通常の連続した画像データ、すなわち、被写体を含む動画像データをＭ１とする。また、背景動画像データをＭ２とする。Ｍ１からＭ２への矢印は時間の推移を示している。連続した画像データがＭ２の状態になって所定時間経過した場合に、動画像送信装置１０側で背景フラグを設定し（ステップＳ１０８）、動画像受信装置２０側では静止画として静止画像バッファメモリに蓄積した背景動画像データＭ２より、それぞれの差分Ｄ１、Ｄ２、…Ｄｎを抽出して学習する（ステップＳ２０８）。こうして得た差分Ｄ１〜Ｄｎから、擬似動画生成部２５では、背景の静止画像データＭ２の中の１枚に対して変化位置と変化量を適宜設定して画面を部分的に変化させた静止画像データを次々と作成して出力することで擬似動画像データを合成していく（ステップＳ２０９）。一旦合成した擬似動画像データは繰り返し利用しても良い。

本実施形態では、静止画像データの差分を用いて学習するように構成したが、静止画像記憶部２４に記憶されている静止画像データをパラパラ漫画風動画のようにして示しても良い。この場合、装置の設置状況などから繰り返し表示が機械的に見える場合は、ランダムに順序を変えて出力するように構成しても差し支えない。

以上のように構成することによって、本実施の形態によれば、背景が連続する場合等では、送信を行わず、受信側で背景画像データの差分の学習結果を元に、擬似的に動画像データを生成して再生することで、背景画像データの輝度変化や揺らぎを表示することができ、符号化、復号化にかかる処理や符号データの送受信をほとんど行うことなく、システムが正常に動作しているように表示することが可能であり、この間の装置の消費電力や発熱量を大幅に減らして省電力化を行うことができる。この構成では、符号化、復号化に関する方式に一切変更を行っていないので、既存の手法をそのまま利用することができる。

（第２の実施形態）
次に、本発明の第２の実施形態の動画像通信システムについて図５を参照して説明する。この実施形態は、動画像送信装置４０及び動画像受信装置５０をパソコン等の一般的なデータ処理装置で構成し、処理をソフトウェアによって実行する動画像通信システム２００である。

図５は、この動画像通信システム２００の機能ブロック図である。動画像送信装置４０は、ＣＰＵを含む演算処理機能を備える制御部４１、プログラムや演算処理に必要な数値、データなどを記憶する記憶部４２、マウスやキーボードを含む入力部４３、ディスプレイを行う表示部４４、及び、ネットワーク３０を介して通信を行う通信部４５とを備え、外部に撮影カメラ４６を接続している。

制御部４１は、入出力インタフェースを介して撮影カメラ４６から動画像を動画像データとして取り込む動画像取り込み機能４１１、動画像の動きを判定しフラグを設定する動き判定機能４１２、取り込まれた動画像データを符号化する画像符号化機能４１３、及び動画像符号データまたは動き判定結果を選択して送信する通信制御機能４１４の、プログラムによって実現される機能を備えている。

一方、受信装置５０は、ＣＰＵを含む演算処理機能を備える制御部５１、プログラムや演算処理に必要な数値、データ、送信装置４０から送られる動画像符号データを連続する静止画像データとして、さらに動きなしを示すフラグを記憶する記憶部５２、マウスやキーボードを含む入力部５３、ディスプレイを行う表示部５４、ネットワーク３０を介して通信を行う通信部５５とから構成されている。
制御部５１には、プログラムによって実行される機能として、送信装置４０から送られる信号を受信する通信制御機能５１１、送信装置４０から送られる動画像符号データを復号する復号化機能５１２、復号化により得られた動画像データを連続する静止画像データ５２１として記憶部５２に記憶する静止画像記録制御機能５１３、送信装置４０から送られる動きなしを示す背景フラグ５２２を記憶部５２に記憶するフラグ記録制御機能５１４、背景静止画像データ相互間の差分を学習する差分学習機能５１５、背景静止画像データと差分学習結果から背景を示す擬似動画像データを作成する擬似動画像合成機能５１６、擬似動画像データの表示レートを選択する表示レート調整機能５１７、復号化により得られた動画像データと擬似動画像データを選択して出力する出力制御機能５１８が含まれる。

この実施形態の動作は、図２のフローチャートに示す第１の実施形態の動作と基本的に同じである。ただし各処理は、プログラムによって実行される機能によって行われる。
送信装置４０では、動画像データ取り込み処理（ステップＳ１０１）を動画像取り込み機能４１１で、動き判定処理（ステップＳ１０２）や背景フラグ処理（ステップＳ１０３、Ｓ１０４、Ｓ１０７）を動き判定機能４１２で、画像符号化処理（ステップＳ１０５）を画像符号化機能４１３で、ネットワーク送信処理（ステップＳ１０６）を通信制御機能４１４で実行する。

また、受信装置５０では、ネットワーク受信処理（ステップＳ２０１）を通信制御機能５１１で、復号化処理（ステップＳ２０４）を復号化機能５１２で、静止画像記憶処理（ステップＳ２０５）を静止画像記録制御機能５１３で、背景フラグ処理機能（ステップＳ２０３）をフラグ記録制御機能５１４で、差分学習機能（ステップＳ２０６、Ｓ２０７、２０８）を差分学習機能５１５で、擬似動画像データ合成処理（ステップＳ２０９）を擬似動画像合成機能５１６で、フレームレート調整処理（ステップＳ２１０）を表示レート調整機能５１７で、画像出力処理（ステップＳ２１１）を出力制御機能５１８で実行する。

このようにすることによって、本実施の形態によれば、汎用のデータ処理装置を用いて本発明を実施することができるので、他の用途を持ったシステムにそのまま組み込んで用いることができるなど、汎用性のある利用が可能になる。

（変形例）
本発明は前記した実施形態に限定されるものではなく、例えば以下のような種々の変形が可能である。
本発明の前記各実施形態では、撮影された動画像データ上の複数の観察点の画素から動きを判定しているが、カメラと連動した赤外線センサや近接センサ、反射光センサなどによって被写体人物の動きを検知しても良い。

本発明の動画像通信装システムの第１の実施形態のブロック図である。 図１に示す動画像通信システムの動作フローチャートである。 被写体を含む動画像データ、背景画像データ、動き観測点を示す説明図である。 取り込み画像とその差分の関係を示す説明図である。 本発明の動画像通信システムの第２の実施形態のブロック図である。

符号の説明

９ カメラ
１０、４０ 動画像送信装置
１１ 動画像入力部
１２ 動き判定部
１３ 符号化部
１４ 送信部
１５、２６、４１、５１ 制御部
２０、５０ 動画像受信装置
２１ 受信部
２２ 復号化部
２３ 出力部
２４ 静止画像記憶部
２５ 擬似動画像生成部
２７ モニタ
３０ ネットワーク
４２、５２ 記憶部
４３、５３ 入力部
４４、５４ 表示部
４５、５５ 通信部
４６ 撮影カメラ
１００、２００ 動画像通信システム
４１１ 動画像取り込み機能
４１２ 動き判定機能
４１３ 画像符号化機能
４１４ 通信制御機能
５１１ 通信制御機能
５１２ 復号化機能
５１３ 静止画像記録制御機能
５１４ フラグ記録制御機能
５１５ 差分学習機能
５１６ 擬似動画像合成機能
５１７ 表示レート調整機能
５１８ 出力制御機能
５２１ 静止画像データ
５２２ 背景フラグ

Claims (12)

1. 動画像データを入力する動画像入力部と、
   前記動画像データを符号化し動画像符号データに変換する符号化部と、
   前記符号化部で得られた前記動画像符号データを送信する送信部と、
   前記動画像データの動画像の動きの有無を判定する動き判定部と
   を有する動画像送信装置であって、
   前記動き判定部の判定結果により前記動画像に動きが無いと判定された場合には、前記動画像送信装置での前記符号化部による動画像データの符号化と、前記送信部による前記動画像符号データの送信との双方を停止することを特徴とする動画像送信装置。
2. 前記動き判定部が前記動画像に動きが無いと判定した場合には、動き無しを示す背景フラグを前記送信部より送信することを特徴とする請求項１に記載の動画像送信装置。
3. 前記動き判定部は、前記動画像入力部で入力した動画像データの特定箇所の画素値の変化に基づいて動きの有無を判定することを特徴とする請求項１又は請求項２に記載の動画像送信装置。
4. 前記動き判定部は、別途設けられた被写体の動きを検知するセンサの出力から動きの有無を判定することを特徴とする請求項１又は請求項２に記載の動画像送信装置。
5. 動画像符号データを受信する受信部と、
   前記受信部が受信した前記動画像符号データを復号する復号化部と、
   前記復号化部によって復号された動画像データの一部を静止画像データとして記憶する静止画像記憶部と、
   前記静止画像記憶部に記憶された前記静止画像データから擬似動画像データを生成する擬似動画像生成部と、
   前記復号化部の出力または前記擬似動画像生成部の出力を選択して出力する出力部とを有し、
   前記動画像に動きが無いと判定された期間は、前記復号化部による前記動画像符号データの復号を中止し、
   前記出力部は、前記擬似動画像生成部の出力を選択することを特徴とする動画像受信装置。
6. 前記擬似動画像生成部は、前記静止画像記憶部に記憶された前記静止画像データ相互間の変化量を学習する変化量学習手段をさらに備え、この変化量学習手段の変化量学習結果と特定の静止画像データとを用いて前記静止画像データを修正して前記擬似動画像データを生成することを特徴とする請求項５に記載の動画像受信装置。
7. 動画像を撮影して動画像データを出力するカメラと、
   前記動画像データを入力する動画像入力部と、前記動画像データを符号化し動画像符号データに変換する符号化部と、前記符号化部で得られた前記動画像符号データを送信する送信部と、前記動画像データの動画像の動きの有無を判定する動き判定部とを有する動画像送信装置と、
   前記送信部から送信される前記動画像符号データを受信する受信部と、前記受信部が受信した前記動画像符号データを復号する復号化部と、前記復号化部によって復号された動画像データの一部を静止画像データとして記憶する静止画像記憶部と、前記静止画像記憶部に記憶された前記静止画像データから擬似動画像データを生成する擬似動画像生成部と、前記復号化部の出力または前記擬似動画像生成部の出力を選択して出力する出力部とを有する動画像受信装置とを備えて構成され、
   前記動き判定部の判定結果により前記動画像に動きが無いと判定された場合には、前記動画像送信装置での前記符号化部による動画像データの符号化と、前記送信部による前記動画像符号データの送信との双方を停止し、前記動画像受信装置の前記出力部は前記擬似動画像生成部の出力を選択することを特徴とする動画像通信システム。
8. 前記送信部は、前記動き判定部が前記動画像に動きが無いと判定した場合に、動き無しを示す背景フラグを送信することを特徴とする請求項７に記載の動画像通信システム。
9. 前記動き判定部は、前記動画像入力部で入力した動画像データの特定箇所の画素値の変化に基づいて動きの有無を判定することを特徴とする請求項７又は請求項８に記載の動画像通信システム。
10. 前記動き判定部は、別途設けられた被写体の動きを検知するセンサの出力から動きの有無を判定することを特徴とする請求項７又は請求項８に記載の動画像通信システム。
11. 前記擬似動画像生成部は、前記静止画像記憶部に記憶された前記静止画像データ相互間の変化量を学習する変化量学習手段をさらに備え、この変化量学習手段の変化量学習結果と特定の静止画像データとを用いて前記静止画像データを修正して前記擬似動画像データを生成することを特徴とする請求項７ないし請求項１０のいずれか１項に記載の動画像通信システム。
12. 動画像データを送受信する動画像通信システムを構成する送信側装置及び受信側装置のそれぞれの制御部に実行させる動画像通信プログラムであって、
    動画像入力部で入力した動画像データを取り込む取り込みステップと、
    取り込まれた前記動画像データの動画像の動きの有無を判定する動き判定ステップと、
    取り込まれた前記動画像データを符号化する符号化ステップと、
    前記符号化で得られた動画像符号データの送信か、前記動き判定により動き無しと判定された場合には所定時間後に動画像符号データの送信を停止し、動き無しを示す動き無しフラグの送信を行う送信ステップとを有する送信側プログラムと、
    前記送信側装置からの送信データを受信する受信ステップと、
    受信されたデータが前記動画像符号データの場合は前記動き無しフラグを解除して動画像符号データを復号する復号ステップと、
    復号された動画像データの一部を静止画像データとして記録する静止画像記録ステップと、
    受信されたデータが前記動き無しフラグの場合はその動き無しフラグを記憶する動き無しフラグ記憶ステップと、
    前記動き無しフラグを記憶した場合またはすでに前記動き無しフラグを記憶されている場合で静止画像データ間の差分がすでに学習されていない場合は静止画像データ間の差分を学習する差分学習ステップと、
    特定の静止画像データと学習された差分を用いて擬似動画像データを合成する擬似動画像を合成ステップと、
    前記擬似動画像データの表示レートを調整する表示レート調整ステップと、
    前記復号された動画像データまたは前記擬似動画像データのいずれかを前記動き無しフラグを基に選択し出力する出力ステップとを有する受信側プログラムとを備えることを特徴とする動画像通信プログラム。

Images