JP2007274593A - 映像受信装置及び映像配信システム並びに映像受信方法 - Google Patents

Abstract

【課題】独立した複数の映像を能力の異なる複数の受信装置に対してマルチキャストのようなプロトコルを用いて同時に配信する場合であっても、それぞれの受信装置が再生可能な映像の品質が低下するのを防止することが可能な映像配信システムを提供する。
【解決手段】映像を含む複数のデジタル信号を逐次配信する配信サーバおよびデジタル信号を逐次受信する複数のクライアント端末４０を有する映像配信システムであって、クライアント端末４０は、各デジタル信号について表示を含む信号処理を実施する映像複合化制御部１０２と、信号処理を実施した際の遅延の有無を識別する映像複合化管理部１０１と、映像複合化管理部１０１が遅延を検出した場合、少なくとも１つのデジタル信号について、情報の一部を信号処理の対象から除外する映像複合化部１０３とを有する。
【選択図】図１

Description

本発明は、映像を含むデジタル信号を所定のネットワークを介して複数の受信装置に同時に配信し各々の受信装置で映像の再生や記録等の処理を行おうとする場合に利用可能な映像受信装置及び映像配信システム並びに映像受信方法に関する。

映像や音声のように時間的な連続性を有する大量のデジタル信号をＩＰ（Internet Protocol）網のようなネットワークを介して複数の受信装置に配信しようとする場合には、ネットワークを効率的に利用するために従来よりマルチキャストのようなプロトコルを用いてデジタル信号を配信している。すなわち、送信元では予め複数の宛先を指定してデジタル信号を連続的なパケットとして送出し、複数の受信装置がほぼ同時に同じデジタル信号を受信できるように配信する。この場合、ネットワーク上の各ノードに存在するルータ等の中継装置は、下流側に宛先となる複数の受信装置が存在する場合はデジタル信号の複製を生成して複数の受信装置に同じデジタル信号をほぼ同時に送出する。従って、それぞれの受信装置は、配信されたデジタル信号を処理して映像等をリアルタイムで再生することができる。

また、例えば互いに独立した複数の映像（動画）を同じ受信装置に対して同時に配信し、１つの受信装置の画面上に複数の独立した映像をリアルタイム表示する場合もある。しかし、処理能力の限界などの理由により、それぞれの映像を正しく再生できない場合が多い。

そこで、受信装置側に映像配信管理部を設けて、送信装置が配信する映像毎に適切なフレームレートで映像を配信するように送出元に指示するように制御することが知られている（例えば、特許文献１）。
特開２００２−３５１４３８号公報

しかしながら、マルチキャストのようなプロトコルを用いて、複数の受信装置に対して同じデジタル信号を同時に配信している場合には、配信元の各サーバは、配信先の複数の受信装置の中で最も能力の低い特定の受信装置の要求に合わせて送出時のデータ転送レートの上限を決めざるを得ないので、能力の低い１つの受信装置からの指示で低いフレームレートが指定されると、能力の高い他の受信装置についても、デジタル信号を低いデータ転送レートでしか受け取ることができず、高品質の画像（例えばフレームレートの高い画像）を再生できなくなってしまうという事情があった。

本発明は、上記事情を鑑みてなされたものであって、独立した複数の映像を能力の異なる複数の受信装置に対して同時に配信する場合であっても、それぞれの受信装置が再生可能な映像の品質が低下するのを防止することが可能な映像受信装置及び映像配信システム並びに映像受信方法を提供することを目的とする。

上記目的を達成するために、本発明の映像受信装置は、映像を含む複数のデジタル信号を配信元から複数の受信装置に逐次配信された前記デジタル信号を逐次受信する受信部と、前記複数のデジタル信号について信号処理を実施する信号処理実施部と、前記信号処理を実施した際の遅延の有無を検出する遅延検出部と、前記遅延検出部が前記遅延を検出した場合、前記複数のデジタル信号の有する情報の一部を前記信号処理の対象から除外する間引きを実施する処理内容変更部とを有する構成としている。

この構成により、独立した複数の映像を能力の異なる複数の受信装置に対して同時に配信する場合であっても、それぞれの受信装置が再生可能な映像の品質が低下するのを防止することが可能である。デジタル信号を受信している１つの映像受信装置において、処理部（ＣＰＵなど）の能力に比べて信号処理の負荷が過大になると、映像のリアルタイム再生等に必要とされる所定時間内に処理を完了することができなくなり、時間的な遅延が発生することになるため、表示などに問題が発生する。しかし、この構成では、遅延が発生すると遅延の発生を検出し、少なくとも１つのデジタル信号について映像の品質が低下する方向に処理の内容を自動的に変更する。例えば、処理対象のデジタル信号について映像情報の間引きを行えば、単位時間あたりの処理すべき情報量が減るので、出力される映像の品質は低下するが処理部の能力に余裕が生まれる。この場合、各サーバから各受信局までの信号伝送経路におけるデジタル信号の配信速度等には影響が現れないので、映像の品質低下が発生するのは実際に処理の遅延が発生した受信局のみに限定され、他の受信局（他のＰＣなどのクライアント端末や録画機器など）には影響を及ぼさない。従って、処理能力の異なる様々な受信局が混在する場合であっても、処理能力の高い受信局においては常に高品質の映像を再生することができる。

また、本発明の映像受信装置は、前記複数のデジタル信号が、映像の生成時刻もしくは配信時刻の少なくとも一方に基づく時刻情報を有し、前記遅延検出部が、前記信号処理が実施されるデジタル信号の時刻情報の変化が現在時刻の変化と比較して遅れている場合、前記遅延の発生を検出する構成としている。

この構成により、処理対象のデジタル信号の時刻情報の変化と、現在時刻の変化とを対比することにより遅延の有無を識別するので、それぞれのデジタル信号について個別に遅延の発生の有無を識別できる。従って、前記処理内容変更手段が間引き等の処理を行う対象となる映像については、実際に遅延が発生したデジタル信号だけに限定することもできる。

また、本発明の映像配信装置は、前記遅延検出部が、前記信号処理を行う際のＣＰＵ稼働率を監視し、前記ＣＰＵ稼働率が予め定めた第１の閾値を上回った場合、前記遅延の発生を検出する構成としている。

この構成により、処理要素（ＣＰＵなど）の稼働率（あるいは使用率）を監視し、この稼働率を閾値と比較することにより遅延の有無を識別するので、処理対象のデジタル信号に時刻情報が含まれていなくても遅延を検出できる。ＣＰＵなどの稼働率については、例えば一定の時間内において意味のない命令を実行している時間（アイドリングの時間）と実際に処理を行っている時間とを調べることにより検出できる。稼働率が１００％になると負荷が過大であり、処理に遅延が発生することが予想されるので、例えば稼働率の瞬時値が１００％に近づいた場合や、平均化した稼働率が９０％程度になった場合には遅延が発生するとみなすことができる。

また、本発明の映像受信装置は、前記処理内容変更部が、前記遅延検出部が前記遅延を検出した後、前記ＣＰＵ稼働率が前記第１の閾値よりも小さい予め定めた第２の閾値以下まで低下した際には、前記デジタル信号について前記映像の品質を向上させる構成としている。

映像受信装置の処理部（ＣＰＵ等）は、受信したデジタル信号に関する処理の他にも様々な処理を行う可能性があるし、１つの映像受信装置が同時に受信して再生するデジタル信号の数や配信されるデータのビットレートなどは必要に応じて変更される可能性があるので、映像受信装置の処理部における処理能力と負荷の大きさとの比率は動的に変化する。従って、特別な制御を行わない場合であっても、遅延発生の有無に関する動作状態が時間の変化に伴う環境変化によって動的に変化することになる。この構成により、遅延の発生により映像の間引き等を行った後で、処理能力に十分な余裕ができた場合には、変更された処理の内容を自動的に復元するので、映像に対する間引きなどを中止して、出力する映像の品質を改善することができる。

また、本発明の映像受信装置は、前記処理内容変更部が、前記遅延検出部が前記遅延を検出した場合に、前記複数のデジタル信号のうち、前記配信の時間間隔および前記配信時のデジタル信号の有する平均情報量に基づく配信ビットレートが最も高いデジタル信号について優先的に前記間引きを行う構成としている。

この構成により、遅延が発生した場合に、間引き処理の対象とする一部の映像を複数のデジタル信号の中から自動的に選択することができるので、他の映像の品質が低下するのを防止できる。

また、本発明の映像受信装置は、前記処理内容変更部が、前記遅延検出部が前記遅延を検出した場合に、前記複数のデジタル信号のうち予め定めた優先度の低いデジタル信号の映像について優先的に前記間引きを行う構成としている。

この構成により、遅延が発生した場合に、間引き処理の対象とする一部の映像を複数のデジタル信号の中から自動的に選択することができるので、他の映像の品質が低下するのを防止できる。

また、本発明の映像受信装置は、前記処理内容変更部が、前記遅延検出部が前記遅延を検出した場合に、前記複数のデジタル信号のそれぞれについて前記間引きを均等に行う構成としている。

この構成により、遅延が発生した場合に、受信している複数のデジタル信号の全ての映像が間引きの対象になるので、遅延が発生した場合には全体的に映像の品質が低下することになるが、それぞれの映像の品質低下を最小限に抑制することができる。

また、本発明の映像受信装置は、前記各デジタル信号の有する映像を表示する複数の表示部を有し、前記処理内容変更部が、前記複数のデジタル信号のそれぞれについて、前記表示部が前記映像を表示する際のフレームのレートおよび前記フレームの平均情報量に基づく実効ビットレートが予め定めたビットレート上限値より小さくなるように前記間引きを行う構成としている。

この構成により、遅延が発生した場合には、映像の間引きにより処理すべき映像の実効ビットレートを下げ、この実効ビットレートが前記ビットレート上限値以内になるように間引きを制御するので、制御部に対する１つのデジタル信号の負荷の大きさを前記ビットレート上限値で制限することができる。

また、本発明の映像受信装置は、前記処理内容変更部が、前記複数のデジタル信号のうち、前記映像の表示解像度が最も低いデジタル信号について優先的に前記間引きを行う構成としている。

この構成により、遅延が発生した場合に、間引き処理の対象とする一部の映像を複数のデジタル信号の中から自動的に選択することができるので、他の映像の品質が低下するのを防止できる。

また、本発明の映像受信装置は、前記受信部によって受信したデジタル信号を蓄積する信号蓄積部を有し、前記信号処理実施部が、前記各デジタル信号および前記信号蓄積部に蓄積されたデジタル信号について前記信号処理を実施する構成としている。

この構成により、映像受信装置内に蓄積しておいた蓄積映像などの蓄積データと、配信元から配信される配信映像などのデータとを同時に信号処理を行うことができる。例えば、これにより蓄積映像と配信映像を他装置の映像品質の低下を招くことなく、それぞれの装置で同時に諸処理することができる。

また、本発明の映像受信装置は、前記処理内容変更部が、少なくとも１つの前記デジタル信号の映像について、少なくともフレーム単位、ライン単位、画素単位およびデータ構造の階層単位のいずれかによって前記間引きを行う構成としている。

この構成により、遅延を検出した場合に、デジタル信号の映像についてフレーム単位、ライン単位、画素単位もしくはデータ構造の階層単位で間引きを行うので、該当するデジタル信号について単位時間あたりに処理すべき情報量を減らすことができるので、遅延の発生を解消できる。

また、本発明の映像配信システムは、映像を含む複数のデジタル信号を逐次配信する１つ以上の配信サーバおよび前記デジタル信号を逐次受信する複数の映像受信装置を有する映像配信システムであって、前記映像受信装置は、前記各デジタル信号について表示を含む信号処理を実施する信号処理実施部と、前記信号処理を実施した際の遅延の有無を識別する遅延検出部と、前記遅延検出部が前記遅延を検出した場合、少なくとも１つのデジタル信号について、前記デジタル信号の有する情報の一部を前記信号処理の対象から除外する間引きを実施する処理内容変更部とを有する構成としている。

この構成により、独立した複数の映像を能力の異なる複数の受信装置に対して同時に配信する場合であっても、それぞれの受信装置が再生可能な映像の品質が低下するのを防止することが可能である。

また、本発明の映像配信システムは、前記配信サーバが、前記映像の生成時刻もしくは配信時刻の少なくとも一方に基づく時刻情報を有する前記デジタル信号を配信し、前記映像受信装置の前記遅延検出部が、前記信号処理が実施されるデジタル信号の時刻情報の変化が現在時刻の変化と比較して遅れている場合、前記遅延が発生していると認識する構成としている。

この構成により、サーバから送出されるデジタル信号に時刻情報が含まれているので、この時刻情報を利用して各受信局では遅延の発生の有無を識別できる。

また、本発明の映像受信方法は、映像を含む複数のデジタル信号を複数の受信局に逐次配信する１つ以上の配信元から配信された前記デジタル信号が逐次受信されるステップと、前記各デジタルについて表示を含む信号処理が実施されるステップと、前記信号処理が実施された際の遅延の有無が識別される遅延検出ステップと、前記遅延検出ステップにおいて前記遅延が検出された場合、少なくとも１つのデジタル信号について、前記デジタル信号の有する情報の一部を前記信号処理の対象から除外する間引きが実施されるステップとを有する方法としている。

この方法により、独立した複数の映像を能力の異なる複数の受信装置に対して同時に配信する場合であっても、それぞれの受信装置が再生可能な映像の品質が低下するのを防止することが可能である。

本発明は、独立した複数の映像を能力の異なる複数の受信装置に対して同時に配信する場合であっても、それぞれの受信装置が再生可能な映像の品質が低下するのを防止することが可能な映像受信装置及び映像配信システム並びに映像受信方法を提供することができる。

受信局上で遅延が発生すると遅延の発生を検出し、少なくとも１つのデジタル信号について映像の品質が低下する方向に処理の内容を自動的に変更する。例えば、処理対象のデジタル信号について映像情報の間引きを行えば、単位時間あたりの処理すべき情報量が減るので、出力される映像の品質は低下するが処理部の能力に余裕が生まれ、問題の発生を回避できる。

この場合、各サーバから各受信局までの信号伝送経路におけるデジタル信号の配信速度等には影響が現れないので、映像の品質低下が発生するのは実際に処理の遅延が発生した受信局のみに限定され、他の受信局には影響を及ぼさない。従って、処理能力の異なる様々な受信局が混在する場合であっても、処理能力の高い受信局においては常に高品質の映像を再生することができる。

（第１の実施形態）
本発明の第１の実施形態における映像配信システム１００について、図１及び図２を参照しながら以下に説明する。

図１は本発明を実施形態における映像配信システムのブロック図である。本ブロック図は、第１〜第４の実施形態において共通のものである。図２は本発明の第１の実施形態におけるクライアント端末４０における映像表示に関する主要な制御の内容を示す動作フロー図である。

映像配信システム１００において、ネットワーク３０には、複数台のクライアント端末４０（４０(1)、４０(2)、・・・）と、サーバに相当するレコーダ１０及びネットワークカメラ２０とが接続されている。

ネットワーク３０については、例えば家庭内のＬＡＮ（ローカルエリアネットワーク）やインターネットのようなＩＰ（Internet Protocol）網を想定することができる。各クライアント端末４０については、例えばパーソナルコンピュータ（ＰＣ）のようにネットワークに接続可能な装置を想定すればよい。クライアント端末４０は図１のように２台に限る必要はなく、これ以上であってもよい。

ネットワークカメラ２０は、映像を撮影し得られた映像のデータをネットワーク３０を介して任意の宛先にほぼリアルタイムで配信する装置である。ネットワークカメラ２０は、映像入力部２１と映像符号化部２２と映像配信部２３とを有する。

映像入力部２１は、内蔵されたカメラを用いて被写体を連続的にもしくは周期的に撮影し複数の画像フレームが時系列で並ぶ動画の映像データを生成する。映像符号化部２２は、映像入力部２１から出力される動画の映像データを圧縮するために符号化する。映像配信部２３は、映像符号化部２２によって符号化された映像データをネットワーク３０を介して所定の宛先にほぼリアルタイムで配信する。また、例えばマルチキャストプロトコルを用いることにより、映像配信部２３は同一の映像データを複数の宛先（例えば４０(1)，４０(2)）に対して同時に配信することもできる。

レコーダ１０は、ネットワークカメラ２０と同様に、映像をネットワーク３０を介して任意の宛先に配信する。但し、レコーダ１０にはカメラが内蔵されていないので、レコーダ１０の外部に接続されたカメラ１４(1)、１４(2)からの映像信号を受信してこの映像を配信する。レコーダ１０は、映像受信部１１と映像符号化部１２と映像配信部１３とが備わっている。

各カメラ１４（１４(1)、１４(2)、・・・）は、被写体を連続的にもしくは周期的に撮影し複数の画像フレームが時系列で並ぶ動画の映像データを生成して出力する。カメラ１４は図１のように２台に限る必要はなく、これ以上であってもよい。レコーダ１０の映像受信部１１は、接続された各カメラ１４から送出されるリアルタイムの映像データを受信して一時的に保持し、データ配信などの処理に備える。映像符号化部１２は、映像受信部１１が受信した映像データを映像毎に独立して符号化する。映像配信部１３は、映像符号化部１２が符号化した映像データを映像毎に独立に任意の宛先に対して配信する。また、例えばマルチキャストプロトコルを用いることにより、映像配信部１３は同一の映像データを複数の宛先（例えば４０(1)，４０(2)）に対して同時に配信することもできる。

なお、レコーダ１０及びネットワークカメラ２０が生成する具体的な映像データの形式については、例えば「ＪＰＥＧ」、「ＭＰＥＧ−２」、「ＭＰＥＧ−４」、「Ｈ．２６４」等の形式を想定することができる。「ＪＰＥＧ」形式の場合にはフレーム単位で符号化するため処理が比較的容易になる。また、「ＭＰＥＧ−２」、「ＭＰＥＧ−４」、「Ｈ．２６４」等の形式を用いる場合には、処理が多少複雑になるが、フレーム間の差分情報を使用するので高い圧縮率が得られる。

本実施形態では、各クライアント端末４０については、サーバであるレコーダ１０やネットワークカメラ２０からネットワーク３０を介して配信される映像データを受け取って映像データの保存及び表示に関する処理を行う場合を想定している。保存及び表示以外の処理については図示及び説明を省略する。

図１に示すように、クライアント端末４０(1)は、映像受信部４１、映像蓄積データベース４２、映像表示制御部４３を有する。

映像受信部４１は、ネットワーク３０との間で通信するためのインタフェース機能を有しており、サーバであるレコーダ１０やネットワークカメラ２０から配信される映像データを受け取るための処理も行う。

映像蓄積データベース４２は、大容量の記憶装置であり、レコーダ１０やネットワークカメラ２０から配信された映像データを必要に応じて後で再生できるように、受信した映像データを一時的に保存する処理を行う。

映像表示制御部４３は、レコーダ１０やネットワークカメラ２０から配信された映像データをリアルタイムで再生したり、映像蓄積データベース４２に保存されている過去の映像データを必要な時点で再生するための表示処理を実施する。

なお、映像表示制御部４３の機能については、専用の電子回路のハードウェアで構成することもできるし、クライアント端末４０上のマイクロプロセッサ（図示せず）が予め用意した所定のプログラム（アプリケーション）を実行することにより実現することもできる。

映像配信システム１００は、１つの映像表示制御部４３が複数のＮ個（Ｎは任意の正数）の互いに独立した映像データを別々に処理して画面上の互いに異なる領域のウインドウに複数の映像をそれぞれ表示できるように、表示映像の複合化処理を行う。勿論、互いに独立した複数の制御部あるいはアプリケーションプログラムを事前に用意しておき、各々の制御部がそれぞれ１つの映像データの表示処理だけを独立して行うように構成することもできる。

映像表示制御部４３は、映像複合化管理部１０１、映像複合化制御部１０２、Ｎ個（Ｎは任意の正数）の映像複合化部１０３、Ｎ個（Ｎは任意の正数）の複合映像メモリ１０４、映像合成表示部１０５を有する。

映像複合化管理部１０１は、画面上に同時に表示すべき複数の映像データの入力などを管理する。映像複合化管理部１０１の入力には、レコーダ１０から配信される１つ又は複数の映像や、ネットワークカメラ２０から配信される映像や、過去に配信され映像蓄積データベース４２に保存されている映像などが入力される。

映像複合化制御部１０２は、映像複合化管理部１０１を介して入力される複数の映像データのそれぞれについて、画面上の表示位置や表示サイズの管理や、実際の処理に利用する映像複合化部１０３及び複合映像メモリ１０４の割り当てを行う。

各映像複合化部１０３は、入力される１系統の映像データについて、表示用の画像情報を生成するための処理（復号化など）や、映像品質を低下させる間引きの実施などを行う。実施の間引きは、フレーム単位、ライン単位、画素単位もしくはデータ構造の階層単位で行う。
各複合映像メモリ１０４は、映像複合化部１０３が生成した１系統の表示用の画像情報を一時的に保持する。

映像合成表示部１０５は、複数の複合映像メモリ１０４に保持されている画像情報を組み合わせて１つの画面上の複数のウインドウに複数の独立した映像として表示するための合成処理を行う。

映像合成表示部１０５が合成した複数の映像は、ディスプレイ５０の画面上に同時に表示される。ディスプレイ５０はクライアント端末４０（１）に接続されている。

また、クライアント端末４０（１）、４０（２）は映像受信装置の一例である。また、
レコーダ１０、ネットワークカメラ２０は配信サーバの一例である。また、映像受信部４１は受信部の一例である。また、映像複合化制御部１０２は信号処理実施部の一例である。また、映像複合化管理部１０１の一部は、遅延検出部の一例である。また、映像複合化部１０３は、処理内容変更部の一例である。

ところで、特に映像表示制御部４３の処理をソフトウェアで実現するような場合には、表示対象の映像の数が多くなったり、各映像のビットレートが高くなると、マイクロプロセッサの処理能力に比べて処理すべき情報量（負荷）が過大になり、表示処理が時間的に間に合わなくなる場合がある。表示処理に遅延が発生すると、動画であっても一部の映像が途中で停止したり、画像フレームの切り替わりが滑らかでなくなる。

このような問題を解消する方法については、クライアントの処理能力に合わせてサーバが送出するデータの配信レートを下げるのが一般的である。しかし、図１に示すようにサーバから複数のクライアント端末４０(1)、４０(2)に対してマルチキャストで映像データを配信する場合には、１つのクライアント端末４０の処理能力に合わせてサーバからの映像データの配信レートを制限すると、他のクライアント端末４０にも影響が現れる。従って、処理能力の大きいクライアント端末４０を導入した場合であっても、システムの中に処理能力の低い別のクライアント端末４０が混在している場合には、最も処理能力の低い１つのクライアント端末４０の影響で配信される映像データの配信レートの上限が決定され、表示する映像の品質を改善することができない。また、映像の配信を行う場合には、マルチキャストのような配信プロトコルを採用しないと、ネットワーク３０におけるトラフィックが大幅に増大し問題が発生する。

そこで本実施形態では、ネットワーク３０で映像データを配信する際の配信レートは変更せず、各クライアント端末４０の内部における信号処理の内容を変更することで遅延の発生に対応するように制御している。具体的な信号処理については、映像に対する間引きの有無等によって処理すべき情報量が変化するようにしている。

各クライアント端末４０内部の映像表示制御部４３が実行する制御の内容の概要が図２に示されている。なお、本実施形態ではサーバであるレコーダ１０やネットワークカメラ２０が送出する映像データに時刻情報が含まれている場合を想定している。具体的な時刻情報については、例えば画像フレーム毎の映像を撮影した時刻であってもよいし、映像を符号化した時刻であってもよいし、映像が配信された時刻であってもよいし、その他撮影開始時刻からの相対的な経過時間の情報であってもよい。図２に示す処理について以下に説明する。

まず、映像複合化管理部１０１は、処理対象の映像データについて、それに含まれている時刻情報の変化を監視する（ステップＳ１１）。

そして、映像複合化管理部１０１は、クライアント端末４０の内部に備わっている時計回路から現在時刻の情報を取得して現在時刻の変化を監視する（ステップＳ１２）。

そして、映像複合化管理部１０１は、ステップＳ１１で検出した映像に関する時刻情報の変化と、ステップＳ１２で検出した現在時刻の変化との差分を検出する（ステップＳ１３）。

そして、映像複合化管理部１０１は、ステップＳ１３で求めた差分を予め定めた閾値と比較することにより遅延発生の有無を識別する（ステップＳ１４）。すなわち、遅延がない時には上記の差分は非常に小さい値であるが、クライアント端末４０内のマイクロプロセッサの処理能力に比べて処理量が過大になると、必要な時間内に各フレームの画像を処理できなくなり処理対象の各画像フレームが遅延するので、上記の差分が大きくなる。なお、複数の映像データを同時に処理する場合には、それぞれの映像データについてステップＳ１１〜Ｓ１４の処理を実行し、それぞれの映像データについて遅延発生の有無を識別する。

遅延が発生したと映像複合化管理部１０１が判断すると、映像複合化制御部１０２は複合化を行う際の間引きを実施する間引き量を上記の差分に基づいて決定し、映像複合化部１０３は、遅延の発生を検出した処理対象の映像データについて、情報量を減らすための間引きを実施する（ステップＳ１５）。映像複合化部１０３は、ステップＳ１５の処理後の映像データを映像複合化メモリ１０４に一時保存する。実際の間引き処理としては、例えば次のような処理が想定される。

（１）「ＪＰＥＧ」形式のデータのようにフレーム毎に独立した映像データを処理する場合には、フレーム単位で間引きを行うことができる。また、画素単位で間引きを行って、各フレームの画素数を減らすこともできる。

（２）「ＭＰＥＧ−４」形式のデータのように差分画像を利用して圧縮されている映像データを処理する場合には、Ｉフレーム(基本情報フレーム)のみを出力し、Ｐフレーム(差分情報フレーム)を間引くことができる。また、更にＩフレームをフレーム単位で間引くこともできる。

次に、映像合成表示部１０５は、ステップＳ１５で間引きが実施された映像について、映像複合化メモリ１０４から一時保存されていた映像データを取得して、表示に必要な処理を実施する（ステップＳ１６）。ステップＳ１５のような間引きを実施すると、マイクロプロセッサが処理すべき単位時間あたりの映像のデータ量が減るので、処理能力の余裕が大きくなり遅延が解消される。

そして、映像複合化管理部１０１は、ステップＳ１１〜Ｓ１４と同様の処理を実施することにより、遅延発生の有無を監視する（ステップＳ１７）。そして、映像複合化管理部１０１は、遅延が解消されたか否かを判断する（ステップＳ１８）。遅延が解消された場合にはそのまま表示処理を継続し、まだ遅延が解消されていない場合には、映像複合化制御部１０２は、ステップＳ１６で間引きを行う際の間引き量を増やすように処理のパラメータを変更し（ステップＳ１９）、その後ステップＳ１５〜Ｓ１８の処理が再び行われる。このようなステップＳ１５〜Ｓ１９の処理が繰り返されることにより、間引き量を段階的に増やすことができる。

図２に示す処理を実施する場合には、複数の映像データのそれぞれについて遅延発生の有無を識別できるので、実際に遅延が発生した映像だけについて間引きを実施することができる。また、間引きの有無を映像毎に独立して制御できるので、例えば映像表示制御部４３に相当する処理として複数の独立したアプリケーションプログラムを起動しておき、各々のアプリケーションプログラムがそれぞれ独立した１つの映像データを処理するように構成することもできる。

このような本発明の第１の実施形態における映像配信システム１００によれば、映像を含む複数のデジタル信号を逐次配信する１つ以上のレコーダ１０やネットワークカメラ２０などの配信サーバおよびデジタル信号を逐次受信する複数のクライアント端末４０を有する映像配信システムであって、クライアント端末４０は、各デジタル信号について表示を含む信号処理を実施する映像複合化制御部１０２と、信号処理を実施した際の遅延の有無を識別する映像複合化管理部１０１と、映像複合化管理部１０１が遅延を検出した場合、少なくとも１つのデジタル信号について、デジタル信号の有する情報の一部を信号処理の対象から除外する間引きを実施する映像複合化部１０３とを有する構成とすることで、独立した複数の映像を能力の異なる複数のクライアント端末４０に対して同時に配信する場合であっても、それぞれのクライアント端末４０が再生可能な映像の品質が低下するのを防止することが可能である。

（第２の実施形態）
本発明の第２の実施形態における映像配信システム２００について説明する。
映像配信システム２００の構成は、図１と同一であるので、同一部分には同一の符号を引用するとともに、構成の説明および図示を省略する。

図３は第２の実施形態における映像配信システム２００のクライアント端末４０における映像表示に関する主要な制御の内容を示す動作フロー図である。第１の実施形態とは異なる処理について以下に説明する。

各クライアント端末４０内部の映像表示制御部４３が実行する制御の内容の概要が図３に示されている。本実施形態では、サーバであるレコーダ１０やネットワークカメラ２０が送出する映像データに時刻情報が含まれていない場合を想定している。従って、遅延の検出に関する処理が第１の実施形態とは大きく異なっている。

まずクライアント端末４０（１）のＣＰＵ使用率を監視している部位（不図示）により、映像表示制御部４３の処理を実行するマイクロプロセッサ（ＣＰＵ）に関する使用率（あるいは稼働率）Ｐｘが定期的に算出される（ステップＳ２１）。マイクロプロセッサは様々な命令コードを連続的に実行しているが、処理すべき有効なプロセスが存在しないときにはアイドリング状態になり、無効な命令コードだけを実施している。そして、処理すべき有効なプロセスの要求が現れると、予め用意されたプログラムの命令コードを順次に実行する。従って、単位時間の中でアイドリング状態の期間の比率が高いと使用率Ｐｘは小さくなり、マイクロプロセッサの処理能力の余裕が大きいことを意味する。マイクロプロセッサ自身が処理能力の余裕度を定期的に監視することにより、使用率Ｐｘを検出できる。

そして、映像複合化管理部１０１は、ステップＳ２１で検出された最新の使用率Ｐｘの値を予め定めた閾値Ｐ１と比較して、遅延発生の有無を識別する（ステップＳ２２）。実際には、使用率Ｐｘが１００％に近づくと遅延が発生するので、閾値Ｐ１としては例えば９０％程度の値を用いることが想定される。

遅延の発生を映像複合化管理部１０１が検出すると、映像複合化制御部１０２は上記のＣＰＵ使用率Ｐｘに基づいて間引き量を設定し、映像複合化部１０３は、処理対象となる複数の映像データの中で、予め定めた条件に適合する特定の映像データについて優先的に間引きを実施する（ステップＳ２３）。映像複合化部１０３は、ステップＳ２３の処理後の映像データを映像複合化メモリ１０４に一時保存する。優先する映像データを特定（選択）する条件としては、例えば次の条件が想定される。

（１）配信時のビットレート又はフレームレートの最も高い映像データを優先的に選択する。なお、配信時のビットレートについては配信の時間間隔と１フレームあたりの平均情報量とに基づいて映像毎に算出できる。

（２）複数の映像を表示するために用意された画面上の複数の領域のそれぞれに優先度を割り当てておき、優先度の最も低い領域に割り当てられた映像データを優先的に選択する。

（３）複数の映像を表示するために用意された画面上の複数の領域の中で、表示解像度の最も低い領域に割り当てられた映像データを優先的に選択する。

次に、映像合成表示部１０５は、ステップＳ２３で間引きの実施された映像について、表示のための処理を実施する（ステップＳ２４）。間引きを実施しない映像については入力された映像データをそのまま処理する。

そして、ステップＳ２１と同様にＣＰＵ使用率を監視している部位によってＣＰＵ使用率Ｐｘが定期的に算出される（ステップＳ２５）。ステップＳ２３で間引きを実施することにより処理対象の映像の情報量が減るので、ステップＳ２５で検出される使用率ＰｘはステップＳ２１よりも低下すると予想される。

そして、映像複合化管理部１０１は、ステップＳ２５で検出された使用率Ｐｘを予め定めた閾値Ｐ２と比較することにより、遅延が解消したか否かを識別する（ステップＳ２６）。この場合、映像複合化管理部１０１は、使用率Ｐｘが閾値Ｐ２未満であれば遅延が解消したと判断し、使用率Ｐｘが閾値Ｐ２以上であれば、遅延はまだ解消していないと判断する。尚、閾値Ｐ２は閾値Ｐ１よりも小さい。遅延がまだ解消していない場合には、映像複合化制御部１０２は、ステップＳ２３で行う間引きの量を増やすようにパラメータを調整し（ステップＳ２７）、その後ステップＳ２３〜Ｓ２６の処理が再び行われる。ステップＳ２３〜Ｓ２７の処理が繰り返されるたびに間引き量が段階的に増大する。

遅延が解消したと映像複合化管理部１０１が判断すると、映像表示制御部４３は、ステップＳ２１と同様にＣＰＵ使用率Ｐｘが定期的に算出される。また、状態が安定したかどうかを調べるために使用率Ｐｘを複数寄せ集め、それらを平均化して平均値Ｐｙを求める（ステップＳ２８）。

そして、映像複合化管理部１０１は、マイクロプロセッサの処理能力に安定的に余裕ができたか否かを調べるために、ステップＳ２８で求めた使用率の平均値Ｐｙを予め定めた閾値Ｐ３と比較する（ステップＳ２９）。例えば、画面上に同時に表示すべき映像の数が減少したような場合には、マイクロプロセッサが処理すべき情報量が減るので、マイクロプロセッサの処理上の余裕が増大し、（Ｐｙ＜Ｐ３）になる。尚、閾値Ｐ３は閾値Ｐ２よりも小さい。余裕ができると次のステップＳ３０に進む。

次に、映像複合化制御部１０２は上記のＣＰＵ使用率の平均値Ｐｙに基づいて間引き量を設定し、映像複合化部１０３は、ステップＳ２３で間引きを行うように割り当てた映像に対する間引き量を一定量だけ減らす（ステップＳ３０）。減らした後の間引き量が０になると（ステップＳ３１）、ステップＳ２１に戻り、再びＣＰＵ使用率Ｐｘを定期的に算出する。間引き量が０でなければステップＳ２８〜Ｓ３１の処理が再び行われる。

このような本発明の第２の実施形態における映像配信システム２００によれば、映像複合化管理部１０１が、信号処理を行う際のＣＰＵ稼働率を監視し、ＣＰＵ稼働率が予め定めた第１の閾値を上回った場合、遅延が発生していると認識する構成とすることで、配信される映像に時刻情報が含まれていない場合であっても遅延の発生を検出できる。

（第３の実施形態）
本発明の第３の実施形態における映像配信システム３００について説明する。
映像配信システム３００の構成は、図１と同一であるので、同一部分には同一の符号を引用するとともに、構成の説明および図示を省略する。

図４は第３の実施形態における映像配信システム３００のクライアント端末４０における映像表示に関する主要な制御の内容を示す動作フロー図である。本実施形態においては、図３と異なる処理についてのみ説明する。図４において、図３と異なるのは各ステップＳ２３Ｂ、Ｓ２７Ｂ、Ｓ３０Ｂのみである。

まず、ステップＳ２１〜ステップＳ２２が処理を行われる。ステップＳ２２において映像複合化管理部１０１が遅延の発生を検出すると、映像複合化制御部１０２はＣＰＵ使用率Ｐｘに基づいて間引き量を設定し、映像複合化部１０３は、処理対象となる複数の映像データのそれぞれについて間引きを実施する。間引き量については全ての映像データについて均等に間引きするように決定する（ステップＳ２３Ｂ）。

次に、ステップＳ２３Ｂ〜ステップＳ２６の処理を行う。ステップＳ２６において映像複合化管理部１０１が遅延は解消したと判断すると、映像複合化制御部１０２は、間引き量のパラメータを処理対象の全ての映像データについて均等に増やし（ステップＳ２７Ｂ）、その後ステップＳ２３Ｂ〜ステップＳ２６の処理が再度行われる。

次に、ステップＳ２８〜ステップＳ２９の処理が行われる。ステップＳ２９において映像複合化管理部１０１がマイクロプロセッサ等の処理に余裕ができたと判断すると、映像複合化制御部１０２は間引き量のパラメータを処理対象の全ての映像データについて均等に減らす（ステップＳ３０Ｂ）。そして、ステップＳ３１の処理が行われる。

このような本発明の第３の実施形態における映像配信システム３００によれば、映像複合化部１０３が、映像複合化管理部１０１が遅延を検出した場合に、複数のデジタル信号のそれぞれについて間引きを均等に行う構成とすることで、間引き対象の映像データを選別する必要がなく、間引き量の算出についても全体の映像データについて均等に間引きを行うため比較的単純な計算により間引き量を算出できる。

（第４の実施形態）
本発明の第４の実施形態における映像配信システム４００について説明する。
映像配信システム４００の構成は、図１と同一であるので、同一部分には同一の符号を引用するとともに、構成の説明および図示を省略する。

図５は第４の実施形態における映像配信システム４００のクライアント端末４０における映像表示に関する主要な制御の内容を示す動作フロー図である。本実施形態においては、図３と異なる処理についてのみ説明する。図５において、図３と異なるのは各ステップＳ４１〜Ｓ４４のみである。

まず、ステップＳ２１〜Ｓ２２の処理が行われる。ステップＳ２２において映像複合化管理部１０１が遅延の発生を検出すると、映像複合化制御部１０２は、処理対象となる複数の映像データのそれぞれについて実効ビットレートＲｘを算出する（ステップＳ４１）。実効ビットレートＲｘについては、表示すべき映像データ（間引きする場合には間引き後のデータ）に関するフレームレートと各フレームの平均情報量とに基づいて求めることができる。

そして、映像複合化部１０３は、処理対象となる複数の映像データのそれぞれについて映像の間引きを実施する（ステップＳ４２）。また、表示する映像毎、もしくは映像を表示する画面上の領域毎にビットレート上限値Rmax が予め割り当ててあり、間引き量については映像毎に前述の実効ビットレートＲｘとビットレート上限値Rmax とに基づいて決定される。すなわち、実効ビットレートＲｘがビットレート上限値Rmax 以内に制御されるように映像複合化制御部１０２が間引き量を決定する。

そして、映像複合化制御部１０２は、映像毎に実効ビットレートＲｘを再計算する（ステップＳ４３）。

そして、映像複合化管理部１０１は、映像毎にステップＳ４３で求めた実効ビットレートＲｘとビットレート上限値Rmax とを比較する（ステップＳ４４）。実効ビットレートＲｘがビットレート上限値Rmax 以上であると映像複合化管理部１０１が判断した場合には、ステップＳ４２〜Ｓ４４の処理が再び行われる。実効ビットレートＲｘがビットレート上限値Rmax 未満であると映像複合化管理部１０１が判断した場合には、ステップＳ２４〜ステップＳ３１の処理が行われる。

このような本発明の第４の実施形態における映像配信システム４００によれば、各デジタル信号の有する映像を表示する複数の表示部を有し、映像複合化部１０３が、複数のデジタル信号のそれぞれについて、表示部が前記映像を表示する際のフレームのレートおよびフレームの平均情報量に基づく実効ビットレートが予め定めたビットレート上限値より小さくなるように間引きを行う構成とすることで、間引きの制御を映像毎にあるいは表示する領域毎に独立に実施することができるので、各映像データの配信間隔が変動する場合や、複数の映像データの間で配信間隔にばらつきがあるような場合であっても、安定した制御を実施することができる。例えば、複数の映像データの１つに配信間隔の変動が生じた場合であっても、他の映像の間引き量や表示状態には影響しないので安定した動作が実現する。

本発明は、独立した複数の映像を能力の異なる複数の受信装置に対してマルチキャストのようなプロトコルを用いて同時に配信する場合であっても、それぞれの受信装置が再生可能な映像の品質が低下するのを防止することが可能な映像受信装置及び映像配信システム等に有用である。

本発明の実施形態における映像配信システムのブロック図である。 本発明の第１の実施形態における映像配信システムのクライアント端末における映像表示に関する主要な制御の内容を示す動作フロー図である。 本発明の第２の実施形態における映像配信システムのクライアント端末における映像表示に関する主要な制御の内容を示す動作フロー図である。 本発明の第３の実施形態における映像配信システムのクライアント端末における映像表示に関する主要な制御の内容を示す動作フロー図である。 本発明の第４の実施形態における映像配信システムのクライアント端末における映像表示に関する主要な制御の内容を示す動作フロー図である。

符号の説明

１００、２００、３００、４００ 映像配信システム
１０ レコーダ
１１ 映像受信部
１２ 映像符号化部
１３ 映像配信部
１４ カメラ
２０ ネットワークカメラ
２１ 映像入力部
２２ 映像符号化部
２３ 映像配信部
３０ ネットワーク
４０ クライアント端末
４１ 映像受信部
４２ 映像蓄積データベース
４３ 映像表示制御部
５０ ディスプレイ
１０１ 映像複合化管理部
１０２ 映像複合化制御部
１０３ 映像複合化部
１０４ 複合映像メモリ
１０５ 映像合成表示部

Claims (14)

1. 映像を含む複数のデジタル信号を配信元から複数の受信装置に逐次配信された前記デジタル信号を逐次受信する受信部と、
   前記複数のデジタル信号について信号処理を実施する信号処理実施部と、
   前記信号処理を実施した際の遅延の有無を検出する遅延検出部と、
   前記遅延検出部が前記遅延を検出した場合、前記複数のデジタル信号の有する情報の一部を前記信号処理の対象から除外する間引きを実施する処理内容変更部と、
   を有する映像受信装置。
2. 請求項１に記載の映像受信装置であって、
   前記複数のデジタル信号は、
   映像の生成時刻もしくは配信時刻の少なくとも一方に基づく時刻情報を有し、
   前記遅延検出部は、
   前記信号処理が実施されるデジタル信号の時刻情報の変化が現在時刻の変化と比較して遅れている場合、前記遅延の発生を検出する映像受信装置。
3. 請求項１に記載の映像受信装置であって、
   前記遅延検出部は、
   前記信号処理を行う際のＣＰＵ稼働率を監視し、
   前記ＣＰＵ稼働率が予め定めた第１の閾値を上回った場合、前記遅延の発生を検出する映像受信装置。
4. 請求項３に記載の映像受信装置であって、
   前記処理内容変更部は、
   前記遅延検出部が前記遅延を検出した後、前記ＣＰＵ稼働率が前記第１の閾値よりも小さい予め定めた第２の閾値以下まで低下した際には、前記デジタル信号について前記映像の品質を向上させる映像受信装置。
5. 請求項１に記載の映像受信装置であって、
   前記処理内容変更部は、
   前記遅延検出部が前記遅延を検出した場合に、前記複数のデジタル信号のうち、前記配信の時間間隔および前記配信時のデジタル信号の有する平均情報量に基づく配信ビットレートが最も高いデジタル信号について優先的に前記間引きを行う映像受信装置。
6. 請求項１に記載の映像受信装置であって、
   前記処理内容変更部は、
   前記遅延検出部が前記遅延を検出した場合に、前記複数のデジタル信号のうち予め定めた優先度の低いデジタル信号の映像について優先的に前記間引きを行う映像受信装置。
7. 請求項１に記載の映像受信装置であって、
   前記処理内容変更部は、
   前記遅延検出部が前記遅延を検出した場合に、前記複数のデジタル信号のそれぞれについて前記間引きを均等に行う映像受信装置。
8. 請求項１に記載の映像受信装置であって、
   前記各デジタル信号の有する映像を表示する複数の表示部を有し、
   前記処理内容変更部は、
   前記複数のデジタル信号のそれぞれについて、前記表示部が前記映像を表示する際のフレームのレートおよび前記フレームの平均情報量に基づく実効ビットレートが予め定めたビットレート上限値より小さくなるように前記間引きを行う映像受信装置。
9. 請求項１に記載の映像受信装置であって、
   前記処理内容変更部は、
   前記複数のデジタル信号のうち、前記映像の表示解像度が最も低いデジタル信号について優先的に前記間引きを行う映像受信装置。
10. 請求項１に記載の映像受信装置であって、
    前記受信部によって受信したデジタル信号を蓄積する信号蓄積部を有し、
    前記信号処理実施部は、
    前記各デジタル信号および前記信号蓄積部に蓄積されたデジタル信号について前記信号処理を実施する映像受信装置。
11. 請求項５ないし９のいずれか１項に記載の映像受信装置において、
    前記処理内容変更部は、
    少なくとも１つの前記デジタル信号の映像について、少なくともフレーム単位、ライン単位、画素単位およびデータ構造の階層単位のいずれかによって前記間引きを行う映像受信装置。
12. 映像を含む複数のデジタル信号を逐次配信する１つ以上の配信サーバおよび前記デジタル信号を逐次受信する複数の映像受信装置を有する映像配信システムであって、
    前記映像受信装置は、
    前記各デジタル信号について表示を含む信号処理を実施する信号処理実施部と、
    前記信号処理を実施した際の遅延の有無を識別する遅延検出部と、
    前記遅延検出部が前記遅延を検出した場合、少なくとも１つのデジタル信号について、前記デジタル信号の有する情報の一部を前記信号処理の対象から除外する間引きを実施する処理内容変更部と、
    を有する映像配信システム。
13. 請求項１２に記載の映像配信システムにおいて、
    前記配信サーバは、
    前記映像の生成時刻もしくは配信時刻の少なくとも一方に基づく時刻情報を有する前記デジタル信号を配信し、
    前記映像受信装置の前記遅延検出部は、
    前記信号処理が実施されるデジタル信号の時刻情報の変化が現在時刻の変化と比較して遅れている場合、前記遅延が発生していると認識する映像配信システム。
14. 映像を含む複数のデジタル信号を複数の受信局に逐次配信する１つ以上の配信元から配信された前記デジタル信号が逐次受信されるステップと、
    前記各デジタルについて表示を含む信号処理が実施されるステップと、
    前記信号処理が実施された際の遅延の有無が識別される遅延検出ステップと、
    前記遅延検出ステップにおいて前記遅延が検出された場合、少なくとも１つのデジタル信号について、前記デジタル信号の有する情報の一部を前記信号処理の対象から除外する間引きが実施されるステップと、
    を有する映像受信方法。

Images