JP2011176490A - Image distribution system, relay unit, and image distribution program - Google Patents
Image distribution system, relay unit, and image distribution program Download PDFInfo
- Publication number
- JP2011176490A JP2011176490A JP2010037903A JP2010037903A JP2011176490A JP 2011176490 A JP2011176490 A JP 2011176490A JP 2010037903 A JP2010037903 A JP 2010037903A JP 2010037903 A JP2010037903 A JP 2010037903A JP 2011176490 A JP2011176490 A JP 2011176490A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- unit
- image
- reliability
- evaluation score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
本発明は、映像配信システム、中継装置及び映像配信プログラムに関する。 The present invention relates to a video distribution system, a relay device, and a video distribution program.
従来、ネットワーク(network)を介して映像データをリアルタイム(real time)で配信するリアルタイム配信が行われている。かかるリアルタイム配信を行う際に、サーバ(server)から受信した映像を一時的に蓄積する中継装置がある。この中継装置は、蓄積した映像を領域に分類し、蓄積した映像の品質を分類結果に応じて変更することにより再構成し、再構成した映像を端末へ送信する。このように、映像の領域ごとに品質の調整を行って再構成し、再構成した映像を端末に送信するので、端末では特定の領域が選択的に高品質に調整された映像を表示できる。 Conventionally, real-time distribution has been performed in which video data is distributed in real time via a network. There is a relay device that temporarily accumulates video received from a server when performing such real-time distribution. This relay apparatus classifies the accumulated video into regions, reconfigures the quality of the accumulated video according to the classification result, and transmits the reconstructed video to the terminal. As described above, the quality is adjusted for each video area, reconstructed, and the reconstructed video is transmitted to the terminal, so that the terminal can display a video in which a specific area is selectively adjusted to high quality.
ところが、ネットワークが輻輳状態になった場合や中継装置でエンコード(encode)が何度も行われた場合には、映像の品質が著しく劣化するケースがある。このため、上記の中継装置で特定の領域の品質を選択的に調整するにしても、その改善の程度にはおのずから限界がある。それゆえ、端末で映像を閲覧する閲覧者は、リアルタイムで再生される映像からその映像の意味を正しく理解することができない。このような事態に備え、端末では、リアルタイム配信される映像の中で品質が劣化した映像をサーバに再送させることにより、サーバから映像を事後的に収集する。 However, when the network is in a congested state or when encoding is performed many times by the relay device, the quality of the video may be significantly degraded. For this reason, even if the quality of a specific area is selectively adjusted by the relay device, there is a limit to the degree of improvement. Therefore, the viewer who browses the video on the terminal cannot correctly understand the meaning of the video from the video reproduced in real time. In preparation for such a situation, the terminal collects video from the server afterwards by causing the server to retransmit the video with degraded quality in the video delivered in real time.
しかしながら、上記の従来技術では、リアルタイム配信された映像データを再送する場合に、サーバ、端末、これらの装置を中継する中継装置の間で映像データを伝送する必要がある。このように映像の配信元であるサーバまで遡って再送を行ったのでは、ネットワークを圧迫するとともに再送時間が増大する結果、映像データの再送効率が悪化するという問題がある。 However, in the above-described prior art, when retransmitting real-time distributed video data, it is necessary to transmit the video data between the server, the terminal, and a relay device that relays these devices. If retransmission is performed retroactively to a server that is a video distribution source in this manner, there is a problem that the retransmission efficiency of video data is deteriorated as a result of squeezing the network and increasing the retransmission time.
開示の技術は、上記に鑑みてなされたものであって、映像データのリアルタイム配信を行う場合でも映像データの再送効率を向上させることができる映像配信システム、中継装置及び映像配信プログラムを提供することを目的とする。 The disclosed technology has been made in view of the above, and provides a video distribution system, a relay device, and a video distribution program capable of improving retransmission efficiency of video data even when real-time distribution of video data is performed. With the goal.
本願の開示する映像配信システムは、配信元の装置から配信先の装置へ配信される映像データを中継する中継装置を有する映像配信システムである。前記中継装置は、前記映像データを蓄積する映像データ蓄積部を有する。前記中継装置は、前記映像データを受信した場合に、前記配信元の装置または他の中継装置と自装置との間におけるネットワーク状況から前記映像データの品質が変化した度合いを示す映像データの信頼度を算出する信頼度算出部を有する。前記中継装置は、前記信頼度算出部によって算出された映像データの信頼度が所定の閾値以上である場合に、前記映像データを前記映像データ蓄積部へ格納する格納制御部を有する。前記中継装置は、前記映像データを他の中継装置または前記配信先の装置へ送信する送信制御部を有する。前記送信制御部は、前記信頼度算出部によって算出された映像データの信頼度が閾値以上である場合には、自装置のアドレス情報と共に前記映像データを送信し、前記映像データの信頼度が閾値を下回った場合には、前記映像データを送信する。 The video distribution system disclosed in the present application is a video distribution system including a relay device that relays video data distributed from a distribution source device to a distribution destination device. The relay device includes a video data storage unit that stores the video data. When the relay device receives the video data, the reliability of the video data indicating the degree to which the quality of the video data has changed from the network status between the distribution source device or another relay device and the own device A reliability calculation unit for calculating. The relay device includes a storage control unit that stores the video data in the video data storage unit when the reliability of the video data calculated by the reliability calculation unit is a predetermined threshold or more. The relay apparatus includes a transmission control unit that transmits the video data to another relay apparatus or the distribution destination apparatus. When the reliability of the video data calculated by the reliability calculation unit is equal to or greater than a threshold, the transmission control unit transmits the video data together with address information of the own device, and the reliability of the video data is a threshold The video data is transmitted if it falls below.
本願の開示する映像配信システムの一つの態様によれば、映像データのリアルタイム配信を行う場合でも映像データの再送効率を向上させることができるという効果を奏する。 According to one aspect of the video distribution system disclosed in the present application, it is possible to improve the retransmission efficiency of video data even when performing real-time distribution of video data.
以下に、本願の開示する映像配信システム、中継装置及び映像配信プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。 Embodiments of a video distribution system, a relay device, and a video distribution program disclosed in the present application will be described below in detail with reference to the drawings. Note that this embodiment does not limit the disclosed technology.
まず、実施例1に係る映像配信システムについて説明する。図1は、実施例1に係る映像配信システムに含まれる中継装置の構成を示すブロック図である。図1に示すように、中継装置1は、映像データ蓄積部2と、信頼度算出部3と、格納制御部4と、送信制御部5とを有する。なお、中継装置1は、配信元の装置から配信先の装置へ映像データを配信する映像配信システムに含まれる。
First, the video distribution system according to the first embodiment will be described. FIG. 1 is a block diagram illustrating a configuration of a relay device included in the video distribution system according to the first embodiment. As shown in FIG. 1, the relay device 1 includes a video data storage unit 2, a
このうち、映像データ蓄積部2は、映像データを蓄積する。信頼度算出部3は、映像データを受信した場合に、配信元の装置または他の中継装置と自装置との間におけるネットワーク状況から映像データの品質が変化した度合いを示す映像データの信頼度を算出する。また、格納制御部4は、信頼度算出部3によって算出された映像データの信頼度が所定の閾値以上である場合に、映像データを映像データ蓄積部2へ格納する。
Among these, the video data storage unit 2 stores video data. When the video data is received, the
送信制御部5は、映像データを他の中継装置または配信先の装置へ送信する。送信制御部5は、信頼度算出部3によって算出された映像データの信頼度が閾値以上である場合には、自装置のアドレス情報と共に映像データを送信し、映像データの信頼度が閾値を下回った場合には、映像データを送信する。
The
このように、本実施例に係る中継装置1は、映像データの信頼度の値とは無関係に映像データを他の中継装置または配信先の装置へ送信するので、配信先の装置では映像データをリアルタイムで受信できる。さらに、本実施例に係る中継装置1は、映像データの信頼度が所定の閾値以上である場合に、中継装置のアドレス情報と共に映像データを他の中継装置または配信先の装置へ送信する。このため、配信先の装置では、中継装置1から受信したアドレス情報の中で最寄りの中継装置に映像データを再送させることができ、配信元の装置まで遡って再送を行う必要がない。また、本実施例に係る中継装置1は、映像データの信頼度が所定の閾値以上である場合に、映像データを映像データ蓄積部2へ格納するので、映像の品質が劣化した映像データが配送先の装置へ再送されることもない。したがって、本実施例に係る中継装置1によれば、映像データのリアルタイム配信を担保しつつ、映像データの再送効率を向上させることが可能になる。 As described above, the relay device 1 according to the present embodiment transmits the video data to another relay device or a distribution destination device regardless of the reliability value of the video data. Therefore, the distribution destination device transmits the video data. Receive in real time. Furthermore, when the reliability of the video data is equal to or higher than a predetermined threshold, the relay device 1 according to the present embodiment transmits the video data together with the address information of the relay device to another relay device or a distribution destination device. For this reason, the distribution destination apparatus can retransmit the video data to the nearest relay apparatus in the address information received from the relay apparatus 1, and there is no need to retransmit back to the distribution source apparatus. Further, since the relay device 1 according to the present embodiment stores the video data in the video data storage unit 2 when the reliability of the video data is equal to or higher than a predetermined threshold value, the video data with degraded video quality is delivered. It is not retransmitted to the previous device. Therefore, according to the relay device 1 according to the present embodiment, it is possible to improve the retransmission efficiency of the video data while ensuring real-time delivery of the video data.
続いて、実施例2に係る映像配信システムについて説明する。なお、ここでは、映像配信システムのシステム構成を説明してから映像配信システムに含まれる各装置の構成を説明し、その後、映像配信システムの処理の流れを説明することとする。 Next, a video distribution system according to the second embodiment will be described. Here, the system configuration of the video distribution system will be described, the configuration of each device included in the video distribution system will be described, and then the processing flow of the video distribution system will be described.
[システム構成]
図2は、実施例2に係る映像配信システムのシステム構成図である。図2に示すように、映像配信システムには、受信装置20と、トランスコーダ(transcoder)10と、ルータ(router)30Aと、ルータ30Bと、再生装置40とが収容される。なお、図2に示す例では、受信装置20から再生装置40へ映像データをリアルタイム(real time)で配信する場合を想定する。また、図2の例では、トランスコーダを1つ収容し、ルータを2つ収容する場合を例示したが、少なくともトランスコードまたはルータのいずれかを1つを収容していればよく、任意の数のトランスコーダ及びルータを収容できる。
[System configuration]
FIG. 2 is a system configuration diagram of the video distribution system according to the second embodiment. As shown in FIG. 2, the video distribution system accommodates a
これら受信装置20及びトランスコーダ10間、トランスコーダ10及びルータ30A間、ルータ30B及び再生装置40間は、それぞれ有線または無線で通信可能に接続される。また、ルータ30A及びルータ30B間は、ネットワーク(network)50を介して互いに通信可能に接続される。このネットワーク50には、インターネット(Internet)、LAN(Local Area Network)やVPN(Virtual Private Network)などの任意の種類の通信網を採用できる。
The receiving
このうち、受信装置20は、カメラ200から映像データを受信する装置であり、映像データを配信するサーバ(server)とすることができる。この受信装置20は、カメラ200から入力された映像データをエンコード(encode)してその映像データを再生装置40へリアルタイム配信する。なお、カメラ200には、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像装置を適用できる。
Among these, the receiving
トランスコーダ10は、受信装置20から配信される映像データにトランスコード(transcode)を行う装置である。なお、トランスコーダ10は、受信装置20から再生装置40へ映像データを中継する中継装置として機能する。
The
このトランスコーダ10は、映像データの配信先である再生装置40により要求されるデータ形式にトランスコードできる。例えば、受信装置20がパソコン向けに映像データをMPEG(Moving Picture Experts Group phase)2へエンコードしているものとする。このとき、配信先の装置が携帯電話やPHS(Personal Handyphone System)などのようにインターネットに比べて伝送路の容量が小さい通信網に収容される端末である場合には、MPEG2からMPEG4へトランスコードする。これによって配信先の装置に合わせて画像をコンパクトにすることができる。
The
ルータ30A及びルータ30Bは、図示しないルーティングテーブル(routing table)を用いて、ネットワーク間を接続する通信機器である。なお、ルータ30A及びルータ30Bは、受信装置20から再生装置40へ映像データを中継する中継装置として機能する。
The
再生装置40は、受信装置20から配信される映像データを表示部400で再生させる装置である。一例としては、パーソナルコンピュータ(Personal Computer)やデジタルテレビ(Digital Television)などの固定端末の他、携帯電話やPHSなどの移動体端末を採用することもできる。なお、表示部400には、モニタ(monitor)、ディスプレイ(display)やタッチパネル(touch panel)などの表示装置全般を適用できる。
The
[受信装置20の構成]
図3は、実施例2に係る受信装置の構成を示すブロック図である。図3に示す受信装置20は、画像解析部21と、評価点算出部22aと、閾値設定部22bと、グループ(group)情報生成部23と、エンコード部24と、送信部25aと、受信部25bとを有する。さらに、受信装置20は、画像蓄積部26aと、格納制御部26と、再送制御部27と、画像消去部28とを有する。
[Configuration of Receiving Device 20]
FIG. 3 is a block diagram of the configuration of the receiving apparatus according to the second embodiment. 3 includes an
このうち、画像解析部21は、カメラ20から入力される画像をグループに分け、そのグループごとに画像の解析を行う処理部である。一例として、画像解析部21は、画像ストリームを分割することができる単位、1つのIピクチャ(Intra picture)により再現されるPピクチャ(Predictive picture)及びBピクチャ(Bi-directional predictive)の集まりを1つのグループとする。このようにして複数の画像がグルーピングされた場合には、グループを一意に特定するID(identifier)がグループに採番される。なお、以下では、グループに含まれる一連の画像をグループ画像と呼ぶこととする。
Among these, the
この画像解析部21は、1つのグループに含まれる画像の輝度、周波数及び動きベクトル(vector)などの成分から画像を解析する。一例としては、画像解析部21は、画像の輝度の変化が所定値よりも大きい部分をエッジ(edge)成分として検出することにより、画像に含まれる背景の部分と人の部分とを検出したりする。また、画像解析部21は、画像の周波数が高周波成分または低周波成分であるかにより、濃淡の変化が細かい部分と濃淡の変化が大まかな部分とを検出したりする。また、画像解析部21は、複数のフレーム間で動きベクトルが検出された部分と、差分がなく動きベクトルが検出されない部分とに区分けしたりする。なお、かかる画像の解析は、既知のエンコーダ(encoder)の機能を用いて実現できる。
The
評価点算出部22aは、後述のエンコード部24によって使用される外部パラメータを用いて、グループごとに評価点を算出する処理部である。ここで、「評価点」とは、画像の品質を評価する指標である。例えば、評価点には、エンコードまたはトランスコードが行われる前後で画質が変化する度合いも含まれる。また、評価点には、配信元側の装置と自装置との間で画像が伝送された場合に装置間のネットワーク状況により画質が変化した度合いが含まれる。この受信装置20の場合には、受信装置20が映像データの配信元の装置であり、カメラ200から配信の原本とするエンコード前の画像が供給される。このため、受信装置20の場合には、エンコードが行われる前後で画質が変化する度合いだけを評価すればよい。
The evaluation
例えば、評価点算出部22aは、外部パラメータとしてビットレート(bit rate)を用いて、評価点を算出することができる。一例としては、評価点算出部22aは、評価点の算出式(1)「評価点=元の評価点*β*(α*圧縮率)」に既知の値を代入することにより評価点を算出する。
For example, the evaluation
ここで、圧縮率は、圧縮後の画像のビットレートを元の画像のビットレートで除算したものである。また、「α」は、エンコーダのベンダー(vender)ごとに定義される特定種別の画像の劣化に対する耐性度を指す。この耐性度「α」は、「0≦α≦1」で規定され、数値が大きいほど劣化が発生しにくいことを示す。また、「β」は、画像の被写体の種類ごとに定義される劣化に対する許容度を指す。この許容度「β」は、「0≦α≦1」で規定され、その数値が大きいほど許容度が大きいことを示す。なお、元の評価点は、評価点算出部22aへ入力される段階で画像が持つ評価点であり、受信装置20に入力される画像は配信の原本とするエンコード前の画像であるので、元の評価点は満点となる。
Here, the compression rate is obtained by dividing the bit rate of the compressed image by the bit rate of the original image. “Α” indicates a degree of resistance against deterioration of a specific type of image defined for each encoder vendor. This tolerance “α” is defined by “0 ≦ α ≦ 1”, and indicates that the larger the numerical value, the less likely the deterioration occurs. Further, “β” indicates a tolerance for deterioration defined for each type of subject of the image. This tolerance “β” is defined by “0 ≦ α ≦ 1”, and the greater the value, the greater the tolerance. Note that the original evaluation score is an evaluation score of the image when it is input to the evaluation
このように、ビットレートを用いて評価点を算出する場合には、エンコード後のビットレートがエンコード前のビットレートから下がる度合いが大きいほど元の評価点よりも低い評価点が算出される。なぜなら、圧縮率が高くなれば、画像が粗くなり、画像の品質が劣化するからである。また、エンコード後のビットレートとエンコード前のビットレートとの間で変化が小さいほど元の評価点に近い評価点が算出される。例えば、圧縮率が0%であれば、算出される評価点は元の評価点と同一となる。 As described above, when the evaluation score is calculated using the bit rate, the evaluation score lower than the original evaluation score is calculated as the degree to which the bit rate after encoding decreases from the bit rate before encoding is larger. This is because as the compression ratio increases, the image becomes rough and the quality of the image deteriorates. Also, an evaluation point closer to the original evaluation point is calculated as the change between the bit rate after encoding and the bit rate before encoding is smaller. For example, if the compression rate is 0%, the calculated evaluation score is the same as the original evaluation score.
また、評価点の算出式(1)で耐性度「α」を用いるのは、エンコーダの性能がベンダーによって異なるからである。一例を挙げれば、ベンダーAが提供するエンコーダは、気象観測用の画像の耐性度は高いが、交通監視用の画像の耐性度は低い。また、ベンダーBが提供するエンコーダは、気象観測用及び交通監視用の画像の耐性度が低いが、天体観測用の画像には耐性度が高い。このようにベンダーが異なればそのエンコーダの性能も異なる。このため、耐性度「α」を用いて評価点を算出すれば、エンコーダの性能のばらつく場合でも画像を評価する上で正確な評価点を算出できる。 Also, the reason why the tolerance “α” is used in the evaluation point calculation formula (1) is because the performance of the encoder differs depending on the vendor. For example, the encoder provided by vendor A has a high degree of resistance for weather observation images, but has a low degree of resistance for traffic monitoring images. The encoder provided by the vendor B has a low tolerance for weather observation and traffic monitoring images, but has a high tolerance for astronomical observation images. In this way, different vendors have different encoder performance. For this reason, if the evaluation score is calculated using the tolerance “α”, an accurate evaluation score can be calculated in evaluating the image even when the performance of the encoder varies.
さらに、評価点の算出式(1)で許容度「β」を用いるのは、画像の被写体の種別によって閲覧者にとっての重要度が異なるからである。一例として、閲覧者がATM(automated teller machine)の周辺が撮像された画像で不法行為を監視する場合を想定する。この場合には、被写体が人である場合と、被写体が背景である場合とで閲覧者にとっての重要度が大きく異なる。つまり、人の風貌や人が行っている行動が重要であり、背景自体には意味がない。このように、背景の劣化に対する許容度は、人の劣化に対する許容度よりも大きい。このため、耐性度「β」を用いて評価点を算出すれば、画像の被写体の種別により閲覧者にとっての重要度がばらつく場合でも画像を評価する上で正確な評価点を算出できる。なお、ここで許容度「β」を使用する際には、画像解析部21による人と背景との区分け結果を使用することができる。
Further, the reason why the tolerance “β” is used in the evaluation point calculation formula (1) is that the importance for the viewer differs depending on the type of subject of the image. As an example, a case is assumed in which a viewer monitors illegal activities with an image obtained by capturing the periphery of an ATM (automated teller machine). In this case, the importance for the viewer is greatly different between the case where the subject is a person and the case where the subject is the background. In other words, the appearance of the person and the actions that the person is performing are important, and the background itself is meaningless. Thus, the tolerance for background degradation is greater than the tolerance for human degradation. Therefore, if the evaluation score is calculated using the tolerance “β”, an accurate evaluation score can be calculated in evaluating the image even when the importance for the viewer varies depending on the type of subject of the image. Note that, when the tolerance “β” is used here, the result of classifying the person and the background by the
また、評価点算出部22aは、外部パラメータとしてフレームレート(frame rate)を用いて、評価点を算出することができる。一例としては、評価点算出部22aは、評価点の算出式(2)「評価点=元の評価点*フレームレート変化率*γ」に既知の値を代入することにより評価点を算出する。なお、フレームレート変化率は、エンコード後のフレームレートをエンコード前のフレームレートで除したものである。また、「γ」は、画像の動きの激しさを指す。この「γ」は、「0≦γ≦1*(1/フレームレート変化率の逆数)」で規定され、その数値が大きいほど動きが少ないことを示す。
Further, the evaluation
このように、フレームレートを用いて評価点を算出する場合には、エンコード後のフレームレートがエンコード前のフレームレートから下がる度合いが大きいほど元の評価点よりも低い評価点が算出される。なぜなら、フレームレート変化率が高くなれば、単位時間当たりの画像が少なくなり、画像の品質が劣化するからである。また、エンコード後のフレームレートとエンコード前のフレームレートとの間で変化が小さいほど元の評価点に近い評価点が算出される。例えば、フレームレート変化率が0%であれば、算出される評価点は元の評価点と同一となる。なお、エンコード前よりもエンコード後のフレームレートを下げる場合には、エンコード前よりも再生時間を長くしてエンコード前とフレーム数は変えずに映像を再生する形態と、エンコード前と再生時間を変えずにフレーム数を間引く形態とがある。 As described above, when the evaluation score is calculated using the frame rate, the evaluation score lower than the original evaluation score is calculated as the degree to which the frame rate after encoding decreases from the frame rate before encoding is larger. This is because as the rate of change in frame rate increases, the number of images per unit time decreases and the image quality deteriorates. Also, the smaller the change between the frame rate after encoding and the frame rate before encoding, the closer to the original evaluation score is calculated. For example, if the frame rate change rate is 0%, the calculated evaluation score is the same as the original evaluation score. If the frame rate after encoding is lower than before encoding, the playback time is set longer than before encoding and the video is played without changing the number of frames before encoding, and the playback time before and after encoding are changed. Without reducing the number of frames.
また、評価点の算出式(2)で動きの激しさ「γ」を用いるのは、画像の動きがある部分が閲覧者にとって重要度であるからである。例えば、カラーバーのようにフレーム間でまったく変化がない画像の場合には、閲覧者に与える情報量はゼロに等しく、動きがある場合にだけ閲覧者の目に止まればよい。このことから、画像の動きが少なくなるほど元の評価点に近付くように動きの激しさ「γ」の値が定まるように定義される。すなわち、フレーム間で動きがない画像の場合には、「1/フレームレート変化率の逆数」となり、どれほどフレーム数が間引かれたり、再生時間が引き延ばされたりしても元の評価点が算出結果として得られる。これによって再送の判断基準となる評価点が低下することを抑え、フレーム間で動きがない画像が再送されないようにする。なお、ここで許容度「γ」を使用する際には、画像解析部21による動きベクトルの検出結果が使用される。
The reason why the intensity of motion “γ” is used in the evaluation point calculation formula (2) is that the portion where the image moves is important for the viewer. For example, in the case of an image such as a color bar that has no change between frames, the amount of information given to the viewer is equal to zero, and only needs to be noticed by the viewer when there is movement. From this, it is defined that the value of the intensity of motion “γ” is determined so as to approach the original evaluation point as the motion of the image decreases. In other words, in the case of an image that does not move between frames, it becomes “1 / reciprocal of frame rate change rate”, and the original evaluation score no matter how many frames are thinned out or the reproduction time is extended. Is obtained as a calculation result. As a result, the evaluation score, which is a criterion for retransmission, is prevented from being lowered, and an image having no motion between frames is not retransmitted. Here, when the tolerance “γ” is used, the detection result of the motion vector by the
このように、評価点算出部22aは、評価点の算出式(1)及び評価点の算出式(2)を用いて評価点を算出することにより、エンコードが行われる前後で画質が変化する度合いを評価する。なお、ここでは、2つの評価点の算出式にそれぞれパラメータを代入することにより評価点を算出することとするが、いずれか一方だけを用いて評価点を算出することとしてもよい。また、評価点の算出式へ代入する順序は、いずれの式が先または後でもよく、一方の算出式の算出結果が「元の評価点」として他方の算出式へ代入される。また、評価点算出部22aは、評価点の算出式(1)の算出結果及び評価点の算出式(2)の算出結果に相加平均や加重平均などの統計処理を行うこともできる。
As described above, the evaluation
閾値設定部22bは、図示しない閾値設定テーブルを用いて、評価点と比較するための閾値をグループごとに設定する処理部である。この閾値設定テーブルは、画像の複雑さの度合いと、閾値とを対応付けて記憶したテーブルであり、画像が複雑であるほど閾値も高く定義されている。
The
ここで、「画像の複雑さ」は、コンテンツの内容の豊富さを表す指標であり、例えば、画像内における人物の有無、画像における濃淡の変化の激しさ、さらには、フレーム間における動きの激しさなどによって規定される。例えば、閾値設定部22bは、画像解析部21によって画像内に人物が検出された場合や検出された人物の数が多いほど「画像の複雑さ」の度合いを高く規定する。また、閾値設定部22bは、画像解析部21によって濃淡の変化が細かい部分が多く検出されるほど「画像の複雑さ」の度合いを高く規定する。さらに、閾値設定部22bは、画像解析部21によって動きベクトルが検出された箇所が多いほど、また、その動きベクトルの大きさが大きいほど「画像の複雑さ」の度合いを高く規定する。
Here, the “complexity of the image” is an index representing the richness of the content. For example, the presence or absence of a person in the image, the intensity of change in shading in the image, and the intensity of movement between frames. It is defined by the strength. For example, the
閾値設定部22bは、画像解析部21による解析結果から規定した「画像の複雑さ」の度合いに対応する閾値を閾値設定テーブルから抽出する。そして、閾値設定部22bは、このようにして抽出した閾値をグループ画像の評価点の閾値と設定する。
The
グループ情報生成部23は、グループに付与する情報を生成する処理部である。これを説明すると、グループ情報生成部23は、評価点算出部22aによって算出されたグループ画像の評価点が閾値設定部22bによって設定された閾値以上であるか否かを判定する。このとき、グループ画像の評価点が閾値以上である場合には、グループ情報生成部23は、グループIDに閾値、評価点及び拠点情報の3項目の情報を対応付けたグループ情報を生成する。一方、グループ画像の評価点が閾値を下回る場合には、グループ情報生成部23は、グループIDに閾値、評価点、拠点情報及び評価点が閾値を下回った旨の4項目の情報を対応付けたグループ情報を生成する。そして、グループ情報生成部23は、このようにして生成したグループ情報をグループに含まれる各画像のユーザ領域へ書き込む。なお、グループ情報生成部23は、拠点情報として、受信装置20のIPアドレス(IP address)やホスト名(host name)などを書き込む。
The group
このようにグループに含まれる各画像のユーザ領域にグループ情報を書き込むこととしたのは、グループに含まれる画像のうち一部の画像で情報の欠落が発生したとしても他の画像のユーザ領域からグループ情報を参照できるようにするためである。なお、ここでは、グループに含まれる各画像のユーザ領域にグループ情報を書き込むこととしたが、必ずしも全ての画像を対象に書き込む必要はない。例えば、グループのうちいずれか1つまたは複数の画像のユーザ領域にグループ情報を書き込むこととしてもよい。 As described above, the group information is written in the user area of each image included in the group even if information loss occurs in some of the images included in the group. This is because the group information can be referred to. Here, the group information is written in the user area of each image included in the group, but it is not always necessary to write all the images to the target. For example, group information may be written in the user area of any one or a plurality of images in the group.
エンコード部24は、カメラ200から入力された画像をエンコードする処理部である。このエンコード部24は、画像解析部21による解析結果を用いてビットレートやフレームレートなどの外部パラメータを決定し、その外部パラメータにしたがってカメラ200から入力される映像データをエンコードする。例えば、エンコード部24は、カメラ200から入力された映像データをパソコン向けにMPEG2へ符号化したり、携帯電話向けにMPEG4へ符号化したりする。なお、ここでは、画像解析部21によって画像ストリームを分割することができる最小単位で画像のグループが形成されるので、グループ画像ごとにエンコードされることになる。
The
送信部25aは、受信装置20から外部装置へデータを送信する処理部である。受信部25bは、外部装置からデータを受信する処理部である。また、画像蓄積部26aは、画像を蓄積するバッファ(buffer)である。
The transmission unit 25a is a processing unit that transmits data from the
例えば、送信部25aは、エンコード部24によってエンコードされた映像データを後段のトランスコーダ10へ送信する。また、受信部25bは、後段のトランスコーダ10から画像の再送要求を受信したり、画像の消去指示を受信したりする。なお、ここでは、配信元の受信装置20及び配信先の再生装置40の間の配信経路にて配信先側寄りに所在することを後段と言い、配信元寄りに所在することを前段と言うこととする。
For example, the transmission unit 25a transmits the video data encoded by the
格納制御部26は、エンコード部24によってエンコードされた画像を画像蓄積部26aへ格納させる処理部である。この格納制御部26は、後述の画像消去部28によって画像の削除がなされるまではカメラ200から配信された画像を画像蓄積部26aで蓄積させるが、画像蓄積部26aにはグループ画像の評価点が閾値以上であるグループ画像だけを格納させる。このように評価点が閾値以上であるグループ画像だけを画像蓄積部26aへ蓄積させるのは、画質が劣化した映像データが再送されるのを防止するためである。
The
これを説明すると、格納制御部26は、グループ情報生成部23によって画像のユーザ領域に評価点が閾値を下回った旨が書き込まれていない場合には、エンコード部24によってエンコードされたグループ画像をそのまま画像蓄積部26aへ格納する。一方、グループ情報生成部23によって画像のユーザ領域に評価点が下回った旨が書き込まれていた場合には、格納制御部26は、エンコード部24によってエンコードされたグループ画像を破棄する。そして、格納制御部26は、グループ画像の評価点が閾値以上となるように外部パラメータを修正した上でグループ画像をエンコード24に再エンコードさせる。そして、評価点が閾値以上となった場合に、格納制御部26は、グループに含まれる各画像のグループ情報から評価点が閾値を下回った旨の情報を削除し、グループ画像を画像蓄積部26aへ格納する。
Explaining this, when the group
再送制御部27は、グループ画像の再送制御を行う処理部である。例えば、受信部25bによって再送要求が受信された場合に、再送制御部27は、再送要求とともに受信したグループIDに対応するグループ画像を画像蓄積部26aから抽出する。そして、再送制御部27は、画像蓄積部26aから抽出したグループ画像を後段のトランスコーダ10へ送信する。
The
画像消去部28は、画像蓄積部26aに蓄積された画像を消去する処理部である。例えば、受信部25bによって消去命令が受信された場合に、画像消去部28は、消去命令とともに受信したグループIDに対応するグループ画像を画像蓄積部26aから削除する。このグループ画像の削除は、画像蓄積部26aの記憶容量の圧迫を防止するために行われる処理であるが、受信装置20の管理者がその必要がないと判断した場合には削除機能を無効とし、一連の映像データを削除せずに蓄積させることもできる。
The
なお、画像解析部21、評価点算出部22a、閾値設定部22b、グループ情報生成部23、エンコード部24、格納制御部26、再送制御部27及び画像消去部28などの機能部には、各種の集積回路や電子回路を採用できる。例えば、集積回路としては、ASIC(Application Specific Integrated Circuit)が挙げられる。また、電子回路としては、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などが挙げられる。
The functional units such as the
また、画像蓄積部26aには、例えばRAM(Random Access Memory)、ROM(Read Only Memory)やフラッシュメモリ(flash memory)などの半導体メモリ素子が使用される。なお、画像蓄積部26aは、ハードディスク、光ディスクなどの記憶装置を採用することとしてもよい。
For the
[トランスコーダ10の構成]
続いて、本実施例に係るトランスコーダの構成について説明する。図4は、実施例2に係るトランスコーダの構成を示すブロック図である。図4に示すようにトランスコーダ10は、受信部11aと、送信部11bと、画像解析部12と、評価点算出部13と、画像蓄積部14aと、格納制御部14と、グループ情報更新部15とを有する。さらに、トランスコーダ10は、消去命令部16と、トランスコード部17と、再送制御部18と、画像消去部19とを有する。
[Configuration of Transcoder 10]
Next, the configuration of the transcoder according to the present embodiment will be described. FIG. 4 is a block diagram illustrating the configuration of the transcoder according to the second embodiment. As shown in FIG. 4, the
このうち、受信部11aは、外部装置からデータを受信する処理部である。送信部11bは、トランスコーダ10から外部装置へデータを送信する処理部である。また、画像蓄積部14aは、画像を蓄積するバッファ(buffer)である。
Among these, the receiving
例えば、受信部11aは、前段の受信装置20によって配信される配信画像を受信したり、後段のルータ30Aから画像の再送要求を受信したり、画像の消去指示を受信したりする。また、送信部11bは、後述のトランスコード部17によってエンコードされた映像データを後段のルータ30Aへ送信したり、前段の受信装置20へ画像の再送要求を送信したり、画像の消去指示を送信したりする。
For example, the
画像解析部12は、1つのグループに含まれる画像の輝度、周波数及び動きベクトル(vector)などの成分から画像を解析する処理部である。なお、この画像解析部12は、図3に示した受信装置20の画像解析部21と同様の機能を発揮するものであるため、その説明を省略する。
The image analysis unit 12 is a processing unit that analyzes an image from components such as luminance, frequency, and motion vector (vector) of images included in one group. The image analysis unit 12 exhibits the same function as the
評価点算出部13は、グループごとに評価点を算出する処理部である。このトランスコーダ10の評価点算出部13の場合には、前段に受信装置20が存在する。このため、評価点算出部13は、図3に示した評価点算出部22aと同様に、トランスコードが行われる前後で画質が変化する度合いを評価するとともに、受信装置20とトランスコーダ10との間におけるネットワーク状況により画質が変化した度合いも評価する。
The evaluation
このネットワーク状況による画質の変化の度合いを評価する一例としては、受信部11aによって計測されたパケットロス(packet loss)率を用いて評価点を算出することが挙げられる。例えば、評価点算出部13は、評価点の算出式(3)「評価点=元の評価点*パケットロス率」へ受信部11aによって計測されたパケットロス率を代入することにより評価点を算出する。なお、パケットロス率としては、受信装置20から配信される画像を実際に受信した時のものを用いることもできるし、評価点の算出時を起点として5分間に計測されたパケットロス率を用いることもできる。
An example of evaluating the degree of change in image quality due to the network situation is to calculate an evaluation score using a packet loss rate measured by the receiving
このように、パケットロス率を用いて評価点を算出する場合には、パケットロス率が大きいほど元の評価点よりも低い評価点が算出される。なぜなら、パケットロス率が大きいほど画像の一部が欠落したり、画像そのものが欠落し、画像の品質が劣化するからである。また、パケットロス率が小さいほど元の評価点に近い評価点が算出される。例えば、パケットロス率が0%であれば、算出される評価点は元の評価点と同一となる。 Thus, when calculating an evaluation score using the packet loss rate, an evaluation score lower than the original evaluation score is calculated as the packet loss rate increases. This is because part of the image is lost or the image itself is lost as the packet loss rate increases, and the quality of the image deteriorates. Also, the evaluation score closer to the original evaluation score is calculated as the packet loss rate is smaller. For example, if the packet loss rate is 0%, the calculated evaluation score is the same as the original evaluation score.
ここで、評価点算出部13は、ネットワーク状況だけを対象として画質の変化の度合いを評価した評価点Mと、ネットワーク状況及びトランスコードの両方を対象として画質の変化の度合いを評価した評価点Nとを算出する。このように評価点Nだけでなく評価点Mを算出することとしたのは、ネットワーク状況またはトランスコードの外部パラメータのいずれが原因となって画質が劣化したのかを判断できるようにするためである。
Here, the evaluation
一例としては、評価点算出部13は、上記の評価点の算出式(3)へ受信装置20及び自装置間におけるパケットロス率を代入することにより、グループ画像に対する評価点Mを算出する。その上で、評価点算出部13は、グループ画像の評価点Mを「元の評価点」として、上記の評価点の算出式(1)へトランスコードの外部パラメータである圧縮率を代入することにより、グループ画像の評価点N1を算出する。この評価点N1は、ネットワーク状況及びビットレートに基づく評価点として算出される。さらに、評価点算出部13は、評価点N1を「元の評価点」として、上記の評価点の算出式(2)へトランスコードの外部パラメータであるフレームレート変化率を代入することにより、グループ画像の評価点N2を算出する。この評価点N2は、ネットワーク状況、ビットレート及びフレームレートに基づく評価点として算出される。なお、以下では、評価点N2がネットワーク状況及びトランスコードの両方を対象として画質の変化の度合いを評価した評価点Nとして使用されるものとする。
As an example, the evaluation
なお、ここでは、評価点の算出式(3)の算出結果を「元の評価点」として評価点の算出式(1)へ代入し、さらにその算出結果を評価点の算出式(2)へ代入することにより、評価点Nを算出する場合を説明した。しかしながら、評価点算出部13による評価点Nの算出手法はこれに限定されるものではない。例えば、評価点算出部13は、評価点の算出式(1)〜評価点の算出式(3)に相加平均や加重平均などの統計処理を行うことにより、評価点Nを算出することもできる。
Here, the calculation result of the evaluation score calculation formula (3) is substituted into the evaluation score calculation formula (1) as “original evaluation score”, and the calculation result is further transferred to the evaluation score calculation formula (2). The case where the evaluation score N is calculated by substitution has been described. However, the method of calculating the evaluation score N by the evaluation
格納制御部14は、評価点算出部13によって算出されたグループ画像の評価点N2が閾値以上である場合に、受信部11aによって受信されたグループ画像を画像蓄積部14aへ格納する処理部である。
The storage control unit 14 is a processing unit that stores the group image received by the
ここで、格納制御部14は、グループ画像の評価点N2が閾値を下回るからといって直ちに画像蓄積部14aへの格納を放棄するわけではない。すなわち、グループ画像の評価点Mが閾値以上である場合には、受信部11aによって受信されたグループ画像を画像蓄積部14aへ格納する。このようにグループ画像の評価点Mが閾値以上である場合にグループ画像を格納するのは、画質の劣化の原因がネットワーク状況にはなく、トランスコードの外部パラメータの設定にあるからである。
Here, just because the evaluation score N2 of the group image falls below the threshold value, the storage control unit 14 does not immediately give up storing in the
つまり、評価点が閾値以上のレベルにあるグループ画像が受信部11aによって受信されており、ビットレートやフレームレートなどの外部パラメータを修正すれば、画質が劣化していないグループ画像を画像蓄積部14aへ格納できる余地があるからである。ただし、グループ画像の評価点Mが閾値を下回る場合には、トランスコーダ10単独では解消しようのないほど画質が劣化したグループ画像が受信部11aで受信されたことになるので、この場合にはグループ画像を画像蓄積部14aへ格納しない。
That is, a group image whose evaluation score is at a level equal to or higher than the threshold is received by the receiving
グループ情報更新部15は、グループ情報を更新する処理部である。これを説明すると、グループ画像の評価点N2が閾値以上である場合には、グループ情報更新部15は、グループIDに閾値、評価点及び拠点情報を対応付けたグループ情報を生成する。また、グループ画像の評価点Mが閾値以上である場合には、グループ情報更新部15は、グループIDに閾値、評価点、拠点情報、評価点が閾値を下回った旨及び下回った原因を対応付けたグループ情報を生成する。この場合には、項目「下回った原因」が「トランスコードの外部パラメータ」とされる。また、グループ画像の評価点Mが閾値を下回る場合には、グループ情報更新部15は、グループIDに閾値、評価点、拠点情報、評価点が閾値を下回った旨及び下回った原因を対応付けたグループ情報を生成する。この場合には、項目「下回った原因」が「ネットワーク状況」とされる。
The group
このようにしてグループ情報を生成した後に、グループ情報更新部15は、生成したグループ情報をグループに含まれる各画像のユーザ領域へ書き込む。このとき、グループ情報更新部15は、グループに含まれる各画像のユーザ領域へ先に書き込まれているグループ情報に追記するように書き込んでもよいし、また、上書きするように書き込むこととしてもよい。
After generating the group information in this way, the group
消去命令部16は、前段の装置に対してグループ画像の消去命令を行う処理部である。例えば、グループ画像の評価点N2が閾値以上である場合には、自装置の画像蓄積部14aに蓄積されたグループ画像を再送できる。このため、消去命令部16は、画像蓄積部14aへ格納したグループ画像のグループIDとともにそのグループ画像を消去する消去命令を前段の受信装置20へ送信する。また、グループ画像の評価点Mが閾値以上である場合には、自装置の画像蓄積部14aに蓄積されたグループ画像を再送できるが、後段の装置に伝送されるにしたがって画質が劣化することが想定される。このため、消去命令部16は、グループ画像の評価点Mがそのグループに含まれる画像のユーザ領域から読み出した前段の装置における評価点と同じ値である場合に限り、消去命令を前段の受信装置20へ行う。このような条件を設けることにより、画質が劣化する前のグループ画像、例えば評価点N2以上であるグループ画像を前段の装置に残しておく。
The erasing command unit 16 is a processing unit that issues a group image erasing command to the preceding apparatus. For example, when the evaluation score N2 of the group image is equal to or greater than the threshold value, the group image stored in the
トランスコード部17は、受信部11aによって受信された配信画像をトランスコードする処理部である。このトランスコード部17は、画像解析部12による解析結果を用いてビットレートやフレームレートなどの外部パラメータを決定し、その外部パラメータにしたがって配信画像をトランスコードする。例えば、トランスコード部17は、パソコン向けにMPEG2に符号化されていた配信画像を携帯端末向けにMPEG4へ符号化し直したりする。なお、ここでも、図3に示したエンコード部24と同様、グループ画像ごとにトランスコードされることになる。
The transcoding unit 17 is a processing unit that transcodes the distribution image received by the receiving
再送制御部18は、グループ画像の再送制御を行う処理部である。例えば、受信部11aによって再送要求が受信された場合に、再送制御部18は、再送要求とともに受信したグループIDに対応するグループ画像を画像蓄積部14aから抽出する。そして、再送制御部18は、画像蓄積部14aから抽出したグループ画像の評価点N2が閾値以上となるように外部パラメータを修正した上でグループ画像をトランスコード部17に再トランスコードさせる。そして、評価点N2が閾値以上となった場合に、再送制御部18は、グループに含まれる各画像のグループ情報から評価点が閾値を下回った旨の情報及び下回った原因を削除し、トランスコード後のグループ画像を後段のルータ30Aへ送信する。
The
画像消去部19は、図3に示した画像消去部28と同様、画像蓄積部14aに蓄積された画像を消去する処理部である。例えば、受信部11aによって消去命令が受信された場合に、画像消去部19は、消去命令とともに受信したグループIDに対応するグループ画像を画像蓄積部14aから削除する。このグループ画像の削除は、画像蓄積部14aの記憶容量を削減するために行われる処理であるが、トランスコーダ10の管理者がその必要がないと判断した場合には削除機能を無効とし、一連の映像データを削除せずに蓄積させることもできる。
Similar to the
なお、画像解析部12、評価点算出部13、格納制御部14、グループ情報更新部15、消去命令部16、トランスコード部、17再送制御部18及び画像消去部19などの機能部には、各種の集積回路や電子回路を採用できる。例えば、集積回路としては、ASIC(Application Specific Integrated Circuit)が挙げられる。また、電子回路としては、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などが挙げられる。
The functional units such as the image analysis unit 12, the evaluation
また、画像蓄積部14aには、例えばRAM(Random Access Memory)、ROM(Read Only Memory)やフラッシュメモリ(flash memory)などの半導体メモリ素子が使用される。なお、画像蓄積部14aは、ハードディスク、光ディスクなどの記憶装置を採用することとしてもよい。
For the
[ルータ30の構成]
次に、本実施例に係るルータの構成について説明する。なお、図2に示したルータ30A及びルータ30Bは、いずれも同様の構成を有する。このため、以下ではこれらルータ30A及びルータ30Bをルータ30と総称して説明を行う。
[Configuration of Router 30]
Next, the configuration of the router according to the present embodiment will be described. Note that both the
図5は、実施例2に係るルータの構成を示すブロック図である。図5に示すように、ルータ30は、受信部31aと、送信部31bと、評価点算出部33と、格納制御部34と、グループ情報更新部35と、消去命令部36と、再送制御部38と、画像消去部39とを有する。なお、ルータ30は、図5に示した構成に限定されるものではなく、図示せずともルーティングテーブルなどのルータ固有のハードウェアやソフトウェアは有しているものとする。また、ルータ30は、図4に示したトランスコーダ10と略同一の構成を有するので、同一の部分の説明を省略し、異なる部分のみを取り上げて説明する。
FIG. 5 is a block diagram illustrating the configuration of the router according to the second embodiment. As shown in FIG. 5, the
図5に示すルータ30は、異なるネットワークを接続する通信機器であり、トランスコーダ10のように画像処理を行うものではない。それゆえ、ルータ30には、図4に示したトランスコード10のトランスコード部17に対応する機能部が必要ない。
The
このようにトランスコードが行われないことから、評価点算出部33は、図4に示した評価点算出部13のように、トランスコードが行われる前後で画質が変化する度合いを評価する必要はない。それゆえ、評価点算出部33は、前段の装置と自装置との間におけるネットワーク状況だけを対象として画質の変化の度合いを評価した評価点Mを算出する。
Since the transcoding is not performed as described above, the evaluation score calculation unit 33 needs to evaluate the degree of change in image quality before and after the transcoding is performed, like the evaluation
これに伴い、格納制御部34は、グループ画像の評価点Mが閾値以上であるか否かにより画像蓄積部34aへグループ画像を格納するか否かの判断を下す。つまり、格納制御部34は、グループ画像の評価点Mが閾値以上である場合には、グループ画像を画像蓄積部34aへ格納するが、グループ画像の評価点Mが閾値を下回る場合には、グループ画像を画像蓄積部34aへ格納しないという二者択一の判断を行う。
Accordingly, the
これに派生して、グループ画像の評価点Mが閾値を下回った場合にグループ情報更新部35によってグループ画像のユーザ領域へ書き込まれる「下回った原因」もネットワーク状況だけが対象となる。
Derived from this, the “lower cause” written to the user area of the group image by the group
なお、この他の機能部、消去命令部36、再送制御部38及び画像消去部39についても図4に示したトランスコーダ10の消去命令部16、再送制御部18及び画像消去部19と略同一の機能を発揮する。
The other functional units, the
[再生装置40の構成]
次に、本実施例に係る再生装置の構成について説明する。図6は、実施例2に係る再生装置の構成を示すブロック図である。図6に示すように、再生装置40は、受信部41aと、画像解析部42と、評価点算出部43と、デコード部44と、表示制御部45と、閾値再設定部46と、画像蓄積部47aと、格納制御部47と、再送要求部48とを有する。
[Configuration of Playback Device 40]
Next, the configuration of the playback apparatus according to the present embodiment will be described. FIG. 6 is a block diagram of the configuration of the playback apparatus according to the second embodiment. As shown in FIG. 6, the
受信部41aは、外部装置からデータを受信する処理部である。例えば、受信部41aは、配信元の受信装置20によって配信される配信画像を前段のルータ30Bから受信したり、前段のトランスコーダ10やルータ30などの中継装置から再送される再送画像を受信したりする。また、送信部41bは、再生装置40から外部装置へデータを送信する処理部である。例えば、送信部41bは、前段のトランスコーダ10やルータ30などの中継装置へ配信画像の再送要求を送信する。また、画像蓄積部47aは、画像を蓄積するバッファ(buffer)である。
The receiving
画像解析部42は、1つのグループに含まれる画像の輝度、周波数及び動きベクトル(vector)などの成分から画像を解析する処理部である。なお、この画像解析部42は、図3に示した受信装置20の画像解析部21と同様の機能を発揮するものであるため、その説明を省略する。
The image analysis unit 42 is a processing unit that analyzes an image from components such as luminance, frequency, and motion vector (vector) of images included in one group. The image analysis unit 42 exhibits the same function as that of the
評価点算出部43は、グループごとに評価点を算出する処理部である。この再生装置40の評価点算出部43の場合には、前段にルータ30Bが存在する。このため、評価点算出部43は、ルータ30Bと自装置との間におけるネットワーク状況により画質が変化した度合いを評価する。また、再生装置40では、エンコードやトランスコードなどのように画質が劣化する処理は行わないので、これらの処理により画質が変化する度合いを評価する必要はない。
The evaluation score calculation unit 43 is a processing unit that calculates an evaluation score for each group. In the case of the evaluation score calculation unit 43 of the
これらのことから、評価点算出部43は、前段の装置と自装置との間におけるネットワーク状況だけを対象として画質の変化の度合いを評価した評価点を算出する。例えば、配信画像が受信部41aによって受信された場合には、評価点算出部43は、ルータ30Bと自装置との間におけるパケットロス率を上記の評価点算出式(3)へ代入することにより、評価点Mを算出する。
From these things, the evaluation score calculation part 43 calculates the evaluation score which evaluated the degree of the change of image quality only for the network condition between the preceding apparatus and its own apparatus. For example, when the distribution image is received by the receiving
デコード部44は、受信部41aによって受信された配信画像をデコードする処理部である。例えば、デコード部44は、受信装置20によってMPEG2に符号化された配信画像を復号したり、また、トランスコーダ10によってMPEG4に符号化された配信画像を復号したりする。
The
表示制御部45は、表示部400に対する表示制御を行う処理部である。例えば、デコード部44によってデコードされたグループ画像を表示部400で再生させる。このとき、表示制御部45は、デコード部44によってデコードされたグループ画像の映像を表示部400で再生させるとともに、グループ画像の評価点を表示部400に表示させる。この評価点は、表示部400の画面上で映像とは区別された領域に表示させることとしてもよいし、また、映像に重ねて表示させることとしてもよい。
The
閾値再設定部46は、評価点と比較するための閾値を再設定する処理部である。ここで、閾値再設定部46は、図3に示した受信装置20の閾値設定部22bに比較して、閾値の再設定対象とするグループ画像の解析結果と、そのグループ画像の前後に受信したグループ画像の解析結果とに基づいて閾値を再設定する点が異なる。このように前後に受信したグループ画像の解析結果を用いるのは、閾値の再設定対象とするグループ画像だけで画像の複雑さを規定するよりも画像の複雑さを大局的に規定することができるからである。そして、閾値の再設定対象とするグループ画像の後に受信したグループ画像までも使用できるのは、閾値の再設定処理が再送要求を行うか否かを判断するために行われる処理であり、ストリーミングに間に合わせる必要がないからである。
The
この閾値再設定部46は、閾値の再設定対象とするグループ画像の解析結果と、そのグループ画像の前後に受信したグループ画像の解析結果とが所定の条件を満たす場合に、それまでに設定されていた閾値よりも高い閾値を再設定する。例えば、画像解析部42によって解析された濃淡の変化が前後のグループ画像を通じて平坦であった場合を想定する。この場合には、単一の画像としては低負荷でエンコードできる。ところが、画像内で動き回っている極小の物体に輝度や動きベクトルの変化により追従する場合には、ストリームの前後を組み入れてエンコードされる場合には高負荷となる。このような場合には、閾値再設定部45は、それまでに設定されていた閾値よりも高い閾値に再設定する。
This
なお、ここでは、閾値の再設定対象とするグループ画像の前後に受信したグループ画像を用いる場合を説明したが、前に受信したグループ画像だけを用いてもよいし、また、後に受信したグループ画像だけを用いることとしてもよい。また、閾値の再設定対象とするグループ画像から前後にさかのぼって使用するグループ数は任意のグループ数であってよい。 Here, a case has been described where group images received before and after a group image to be reset are used. However, only group images received before may be used, or group images received later. It is good also as using only. In addition, the number of groups to be used retroactively from the group image that is the threshold resetting target may be any number of groups.
格納制御部47は、受信部41aによって受信された配信画像、すなわちデコード前の画像を画像蓄積部47aへ格納させる処理部である。これを説明すると、評価点算出部43によって算出された評価点が閾値再設定部46によって再設定された閾値以上であるか否かを判定する。このとき、評価点が閾値以上である場合には、格納制御部47は、デコード前の画像を画像蓄積部47aへ格納する。また、評価点が閾値を下回る場合には、格納制御部47は、デコード前の画像を画像蓄積部47aへ格納せずに破棄する。
The
再送要求部48は、格納制御部47によって破棄されたグループ画像のユーザ領域に書き込まれた拠点情報に基づいて、そのグループ画像を格納する前段の装置のうち最寄りの装置にグループ画像の再送を要求する処理部である。
Based on the base information written in the user area of the group image discarded by the
これを説明すると、再送要求部48は、格納制御部47によって破棄されたグループ画像のユーザ領域に書き込まれた項目「下回った原因」を参照する。この結果、項目「下回った原因」が「外部パラメータ」であった場合には、再送要求部48は、評価点が閾値を下回った拠点、すなわち項目「閾値を下回った」を始めに書き込んだ前段の装置へ再送要求を送信する。また、項目「下回った原因」が「ネットワーク状況」であった場合には、再送要求部48は、評価点が閾値を下回った拠点の1つ前の拠点、すなわち項目「閾値を下回った」を始めに書き込んだ前段の装置よりも1つ前の前段の装置へ再送要求を送信する。
Explaining this, the
[処理の流れ]
次に、本実施例に係る映像配信システムの処理の流れを説明する。なお、ここでは、(1)配信処理、(2)中継処理、(3)再生処理、(4)再送要求処理、(5)中継点再送処理、(6)配信元再送処理の順に説明する。
[Process flow]
Next, a processing flow of the video distribution system according to the present embodiment will be described. Here, (1) distribution processing, (2) relay processing, (3) reproduction processing, (4) retransmission request processing, (5) relay point retransmission processing, and (6) distribution source retransmission processing will be described in this order.
(1)配信処理
図7は、実施例2に係る配信処理の手順を示すフローチャートである。この配信処理は、受信装置20によって実行される処理であり、カメラ200から映像データを受信した場合に起動する。
(1) Distribution Processing FIG. 7 is a flowchart illustrating a distribution processing procedure according to the second embodiment. This distribution process is a process executed by the receiving
図7に示すように、カメラ200から映像データを受信すると(ステップS101肯定)、閾値設定部22bは、画像解析部21による解析結果と、閾値設定テーブルとを用いて、グループ画像の評価点と比較するための閾値を設定する(ステップS102)。続いて、評価点算出部22aは、エンコード部24によって使用される外部パラメータを用いて、グループ画像の評価点を算出する(ステップS103)。
As shown in FIG. 7, when video data is received from the camera 200 (Yes in step S101), the threshold
そして、グループ情報生成部23は、評価点算出部22aによって算出されたグループ画像の評価点が閾値設定部22bによって設定された閾値以上であるか否かを判定する(ステップS104)。
Then, the group
このとき、グループ画像の評価点が閾値以上である場合(ステップS104肯定)には、グループ情報生成部23は、グループIDに3項目の情報を対応付けたグループ情報をグループに含まれる各画像のユーザ領域へ書き込む(ステップS105)。なお、この場合には、グループIDに閾値、評価点及び拠点情報を対応付けたグループ情報がユーザ領域に書き込まれる。
At this time, if the evaluation score of the group image is equal to or greater than the threshold (Yes at Step S104), the group
一方、グループ画像の評価点が閾値を下回る場合(ステップS104否定)には、グループ情報生成部23は、グループIDに4項目の情報を対応付けたグループ情報をグループに含まれる各画像のユーザ領域へ書き込む(ステップS106)。なお、この場合には、グループIDに閾値、評価点、拠点情報及び評価点が閾値を下回った旨の4項目の情報を対応付けたグループ情報がユーザ領域に書き込まれる。
On the other hand, when the evaluation score of the group image falls below the threshold (No at Step S104), the group
その後、エンコード部24は、カメラ200から入力された映像データをエンコードする(ステップS107)。そして、送信部25aは、エンコード部24によってエンコードされた映像データを後段のトランスコーダ10へ送信する(ステップS108)。
Thereafter, the
ここで、先にグループ画像のユーザ領域に書き込んだ評価点が閾値以上である場合(ステップS109肯定)には、格納制御部26は、エンコード部24によってエンコードされたグループ画像を画像蓄積部26aへ格納する(ステップS110)。
If the evaluation score previously written in the user area of the group image is equal to or greater than the threshold value (Yes at Step S109), the
一方、先にグループ画像のユーザ領域に書き込んだ評価点が閾値を下回る場合(ステップS109否定)には、格納制御部26は、エンコード部24によってエンコードされたグループ画像を破棄する(ステップS111)。そして、格納制御部26は、グループ画像の評価点が閾値以上となるように外部パラメータを修正した上でグループ画像をエンコード24に再エンコードさせる(ステップS112)。その上で、格納制御部26は、エンコード部24によって再エンコードされたグループ画像を画像蓄積部26aへ格納する(ステップS110)。
On the other hand, when the evaluation score previously written in the user area of the group image falls below the threshold value (No at Step S109), the
このように、受信装置20は、カメラ200から映像データが供給される限り、グループ画像単位でステップS101〜ステップS112までの処理を繰り返し行う。
Thus, as long as video data is supplied from the
(2)中継処理
図8は、実施例2に係る中継処理の手順を示すフローチャートである。この中継処理は、トランスコーダ10によって実行される処理であり、前段の装置から映像データを受信した場合に処理が起動する。
(2) Relay Processing FIG. 8 is a flowchart illustrating a procedure of relay processing according to the second embodiment. This relay process is a process executed by the
図8に示すように、前段の装置から映像データを受信すると(ステップS201肯定)、評価点算出部13は、ネットワーク状況及び外部パラメータから評価点M及び評価点N2を算出する(ステップS202)。
As shown in FIG. 8, when video data is received from the preceding apparatus (Yes at Step S201), the evaluation
このとき、評価点N2が閾値以上である場合(ステップS203肯定)には、格納制御部14は、受信部11aによって受信されたグループ画像を画像蓄積部14aへ格納する(ステップS204)。そして、グループ情報更新部15は、グループIDに閾値、評価点及び拠点情報の3項目を対応付けたグループ情報をグループに含まれる各画像のユーザ領域へ書き込む(ステップS205)。その後、消去命令部16は、画像蓄積部14aへ格納したグループ画像のグループIDとともにそのグループ画像を消去する消去命令を前段の装置へ送信する(ステップS206)。
At this time, if the evaluation score N2 is greater than or equal to the threshold value (Yes at Step S203), the storage control unit 14 stores the group image received by the receiving
また、評価点N2が閾値以上である場合(ステップS203否定)には、格納制御部14は、評価点Mが閾値以上であるか否かをさらに判定する(ステップS207)。 If the evaluation score N2 is greater than or equal to the threshold (No at Step S203), the storage control unit 14 further determines whether or not the evaluation score M is greater than or equal to the threshold (Step S207).
この結果、評価点Mが閾値以上である場合(ステップS207肯定)には、格納制御部14は、受信部11aによって受信されたグループ画像を画像蓄積部14aへ格納する(ステップS208)。続いて、グループ情報更新部15は、グループIDに閾値、評価点、拠点情報、評価点が閾値を下回った旨及び下回った原因の5項目を対応付けたグループ情報をグループに含まれる各画像のユーザ領域へ書き込む(ステップS209)。なお、この場合には、項目「下回った原因」が「トランスコードの外部パラメータ」とされる。
As a result, when the evaluation score M is equal to or greater than the threshold value (Yes at Step S207), the storage control unit 14 stores the group image received by the
そして、グループ画像の評価点Mがそのグループに含まれる画像のユーザ領域から読み出した前段の装置における評価点と同じ値である場合(ステップS210否定)には、消去命令部16は、消去命令を前段の装置へ行う(ステップS206)。なお、グループ画像の評価点Mが前段の装置における評価点より小さければ(ステップS210肯定)、そのままステップS212へ移行する。 When the evaluation score M of the group image is the same value as the evaluation score in the preceding apparatus read from the user area of the image included in the group (No in step S210), the erasure command unit 16 issues an erasure command. The process is performed on the preceding apparatus (step S206). If the evaluation score M of the group image is smaller than the evaluation score in the preceding apparatus (Yes at Step S210), the process proceeds to Step S212 as it is.
また、消化点Mが閾値未満である場合(ステップS207否定)には、受信部11aによって受信されたグループ画像を蓄積することなく、ステップS211へ移行する。すなわち、グループ情報更新部15は、グループIDに閾値、評価点、拠点情報、評価点が閾値を下回った旨及び下回った原因の5項目を対応付けたグループ情報をグループに含まれる各画像のユーザ領域へ書き込む(ステップS211)。この場合には、項目「下回った原因」が「ネットワーク状況」とされる。
When the digestion point M is less than the threshold (No at Step S207), the process proceeds to Step S211 without accumulating the group image received by the receiving
その後、トランスコード部17は、受信部11aによって受信された配信画像をトランスコードする(ステップS212)。送信部11bは、トランスコード部17によってトランスコードされた映像データを後段の装置へ送信する(ステップS213)。
Thereafter, the transcoding unit 17 transcodes the distribution image received by the receiving
このように、トランスコーダ10は、前段の装置から映像データが供給される限り、グループ画像単位でステップS201〜ステップS213までの処理を繰り返し行う。
As described above, the
(3)再生処理
図9は、実施例2に係る再生処理の手順を示すフローチャートである。この再生処理は、再生処理40によって実行される処理であり、前段の装置から映像データを受信した場合に処理が起動する。
(3) Reproduction Process FIG. 9 is a flowchart illustrating a reproduction process procedure according to the second embodiment. This reproduction process is a process executed by the
図9に示すように、前段の装置から映像データを受信すると(ステップS301肯定)、評価点算出部43は、前段の装置と自装置との間におけるネットワーク状況から評価点Mを算出する(ステップS302)。 As shown in FIG. 9, when the video data is received from the preceding apparatus (Yes at Step S301), the evaluation score calculating unit 43 calculates the evaluation score M from the network status between the preceding apparatus and the own apparatus (Step S301). S302).
そして、デコード部44は、受信部41aによって受信された配信画像をデコードする(ステップS303)。続いて、表示制御部45は、デコード部44によってデコードされたグループ画像の映像を表示部400で再生させるとともに、グループ画像の評価点を表示部に表示させる(ステップS304)。なお、全ての映像データに評価点を表示させるのではなく、評価点が閾値を下回った映像データについてのみ、評価点または閾値を下回ったことを示す情報を表示させることによって、映像データの視認性を向上しつつ、映像データの閲覧者に、閲覧中の映像データは別途再送されること、閲覧者による再送データの確認の必要性の判断のタイミングを容易に認識させることが出来る。
And the
その後、閾値再設定部46は、閾値の再設定対象とするグループ画像の解析結果と、そのグループ画像の前後に受信したグループ画像の解析結果とに基づき、それまでに設定されていた閾値よりも高い閾値を再設定する(ステップS305)。
Thereafter, the
その後、格納制御部47は、評価点算出部43によって算出された評価点が閾値再設定部46によって再設定された閾値以上であるか否かを判定する(ステップS306)。このとき、評価点が閾値以上である場合(ステップS306肯定)には、格納制御部47は、デコード前の画像を画像蓄積部47aへ格納する(ステップS307)。
Thereafter, the
また、評価点が閾値を下回る場合(ステップS306否定)には、格納制御部47は、デコード前の画像を画像蓄積部47aへ格納せずに破棄する(ステップS308)。その後、再送要求部48は、前段の装置のうち最寄りの装置にグループ画像の再送を要求する「再送要求処理」を行う(ステップS309)。
If the evaluation score falls below the threshold (No at Step S306), the
このように、再生装置40は、前段の装置から映像データが供給される限り、グループ画像単位でステップS301〜ステップS308までの処理を繰り返し行う。
As described above, the
(4)再送要求処理
図10は、実施例2に係る再送要求処理の手順を示すフローチャートである。この再送要求処理は、再生装置40によって実行される処理であり、図9に示したステップS307の処理が行われた後に起動する。
(4) Retransmission Request Processing FIG. 10 is a flowchart illustrating a retransmission request processing procedure according to the second embodiment. This retransmission request process is a process executed by the
図10に示すように、再送要求部48は、格納制御部47によって破棄されたグループに含まれる画像のユーザ領域に書き込まれた項目「下回った原因」を参照する(ステップS401)。
As illustrated in FIG. 10, the
このとき、項目「下回った原因」が「外部パラメータ」であった場合(ステップS402肯定)には、再送要求部48は、評価点が閾値を下回った拠点、すなわち項目「閾値を下回った」を始めに書き込んだ前段の装置へ再送要求を送信する(ステップS403)。
At this time, when the item “cause of being below” is “external parameter” (Yes in step S402), the
また、項目「下回った原因」が「ネットワーク状況」であった場合(ステップS402否定)には、再送要求部48は、評価点が閾値を下回った拠点の1つ前の拠点へ再送要求を送信する(ステップS404)。すなわち、再送要求部48は、項目「閾値を下回った」を始めに書き込んだ前段の装置よりも1つ前の前段の装置へ再送要求を行う。
When the item “Cause of lowering” is “Network status” (No at Step S402), the
その後、再送要求への応答として再送された再送画像を受信すると(ステップS405肯定)、再送要求部48は、再送画像の評価点が再設定後の閾値以上であるか否かを判定する(ステップS406)。このとき、再送画像の評価点が再設定後の閾値以上であれば(ステップS406肯定)、格納制御部47は、再送画像を画像蓄積部47aへ格納する(ステップS409)。
Thereafter, when the retransmitted retransmitted image is received as a response to the retransmit request (Yes at step S405), the
一方、再送画像の評価点が閾値を下回る場合(ステップS406否定)には、再送要求部48は、再送画像を画像蓄積部47aへ格納せずに破棄する(ステップS407)。そして、再送要求部48は、ステップS403またはステップS404で再送要求を行った前段の装置に対して再送要求を繰り返し送信し(ステップS408)、上記のステップS405へ戻る。
On the other hand, if the evaluation score of the retransmission image is below the threshold (No at Step S406), the
(5)中継点再送処理
図11は、実施例2に係る中継点再送処理の手順を示すフローチャートである。この中継点再送処理は、トランスコーダ10によって実行される処理であり、前段の装置から再送要求を受信した場合に起動する。
(5) Relay Point Retransmission Processing FIG. 11 is a flowchart illustrating a procedure of relay point retransmission processing according to the second embodiment. This relay point retransmission process is a process executed by the
図11に示すように、前段の装置から再送要求を受信すると(ステップS501肯定)、再送制御部18は、再送要求とともに受信したグループIDに対応するグループ画像を画像蓄積部14aから抽出する(ステップS502)。
As shown in FIG. 11, when a retransmission request is received from the preceding apparatus (Yes at Step S501), the
そして、再送制御部18は、画像蓄積部14aから抽出したグループ画像の評価点N2が閾値以上となるように外部パラメータを修正した上でグループ画像をトランスコード部17に再トランスコードさせる(ステップS503及びステップS504)。
Then, the
その後、再送制御部18は、グループに含まれる各画像のグループ情報から評価点が閾値を下回った旨の情報及び下回った原因を削除し、トランスコード後のグループ画像を後段の装置へ送信する(ステップS505)。
Thereafter, the
(6)配信元再送処理
図12は、実施例2に係る配信元再送処理の手順を示すフローチャートである。この配信元再送処理は、受信装置20によって実行される処理であり、前段の装置から再送要求を受信した場合に起動する。
(6) Distribution Source Retransmission Processing FIG. 12 is a flowchart illustrating a distribution source retransmission processing procedure according to the second embodiment. This distribution source retransmission process is a process executed by the receiving
図12に示すように、前段の装置から再送要求を受信すると(ステップS601肯定)、再送制御部27は、再送要求とともに受信したグループIDに対応するグループ画像を画像蓄積部26aから抽出する(ステップS602)。
As shown in FIG. 12, when a retransmission request is received from the preceding apparatus (Yes at Step S601), the
そして、再送制御部27は、画像蓄積部26aから抽出したグループ画像を後段のトランスコーダ10へ送信する(ステップS603)。
Then, the
[実施例2の効果]
上述してきたように、本実施例に係るトランスコーダ10、ルータ30Aまたはルータ30Bの中継装置は、映像データの評価点の値とは無関係に映像データを他の中継装置または配信先の装置へ送信する。このため、再生装置40では、映像データをリアルタイムで受信できる。さらに、本実施例に係る中継装置は、映像データの評価点が所定の閾値以上である場合に、中継装置のアドレス情報と共に映像データを他の中継装置または受信装置20へ送信する。このため、再生装置40では、中継装置から受信したアドレス情報の中で最寄りの中継装置に映像データを再送させることができ、受信装置20まで遡って再送を行う必要がない。また、本実施例に係る中継装置は、映像データの評価点が所定の閾値以上である場合に、映像データを格納するので、映像の品質が劣化した映像データが再生装置40へ再送されることもない。したがって、本実施例に係る中継装置によれば、映像データのリアルタイム配信を担保しつつ、映像データの再送効率を向上させることが可能である。
[Effect of Example 2]
As described above, the relay device of the
さらに、本実施例に係る中継装置のうちトランスコーダ10では、トランスコード部によってトランスコードが実行される前後で映像データの品質が変化する度合いをさらに含めて評価点を算出する。そして、本実施例に係るトランスコーダ10は、映像データの評価点がトランスコードに起因して閾値を下回った場合に、映像データを画像蓄積部14aへ格納する。さらに、本実施例に係るトランスコーダ10は、映像データの評価点がトランスコードに起因して閾値を下回った場合に、自装置のアドレス情報及びトランスコードが原因で閾値を下回った旨を示す情報と共にトランスコードが行われた映像データを送信する。このため、本実施例に係るトランスコーダ10では、評価点が閾値以上である映像データが受信されており、トランスコードの外部パラメータを修正すれば、画質が劣化していない映像データを画像蓄積部14aへ格納することが可能である。
Further, in the relay apparatus according to the present embodiment, the
また、本実施例に係る再生装置40は、映像データと共に受信したアドレス情報に基づいて、映像データが画像蓄積部へ格納された中継装置のうち最寄りの中継装置に映像データの再送を依頼する。このため、本実施例に係る再生装置40によれば、受信装置20及び再生装置40の間で現存する最短経路で映像データを再送することができ、ネットワークが輻輳することを防止するとともに再送時間を短縮することが可能である。
Also, the
さらに、本実施例に係る中継装置は、映像データの評価点が閾値以上である場合に、当該映像データを画像蓄積部から削除するように映像データの配信元側の中継装置へ依頼する。このため、本実施例に係る中継装置では、配信元側の中継装置で映像データが不要になった段階で削除させることができ、他の中継装置の記憶容量が映像データによって圧迫されることを防止することが可能である。 Further, when the evaluation point of the video data is equal to or higher than the threshold, the relay device according to the present embodiment requests the video data distribution source relay device to delete the video data from the image storage unit. For this reason, in the relay device according to the present embodiment, it is possible to delete the video data when it is no longer needed at the distribution-source relay device, and the storage capacity of other relay devices is compressed by the video data. It is possible to prevent.
ここで、図13を用いて、配信先の装置が再送要求する送信先について説明する。図13は、配信先の装置が再送を要求する送信先を説明するための説明図である。図13の例では、配信元の装置としてカメラ61bに接続されたエンコーダ(encoder)61が設けられるとともに、配信先の装置としてモニタ69bに接続されたデコーダ69(decoder)が設けられている。なお、図中の「enc」はエンコーダの略記を示し、図中の「dec」の略記を示す。
Here, the transmission destination requested by the distribution destination apparatus will be described with reference to FIG. FIG. 13 is an explanatory diagram for explaining a transmission destination to which a distribution destination apparatus requests retransmission. In the example of FIG. 13, an
図13に示す符号63、符号65及び符号67は、エンコーダ61からデコーダ69までの中継拠点を示し、この中継拠点にはトランスコーダ10、ルータ30のいずれかが設置される。図13に示す符号61a、符号63a、符号65a、符号67a及び符号69aは、それぞれ映像データを蓄積可能なバッファを指す。図13に示す符号60は、カメラ61bからエンコーダ61へ送信される映像データを示す。図13に示す符号62は、エンコーダ61から中継地点63の中継装置へ送信される映像データを示す。図13に示す符号64は、中継地点63の中継装置から中継地点65の中継装置へ送信される映像データを示す。図13に示す符号66は、中継地点65の中継装置から中継地点67の中継装置へ送信される映像データを示す。また、図13に示す符号68は、中継地点67の中継装置からデコーダ69へ送信される映像データを示す。
例えば、評価点の閾値を「70点」とし、映像データ62の評価点が「100点」、映像データ64の評価点が「85点」、映像データ66の評価点が「80点」、映像データ68の評価点が「55点」であった場合を想定する。このとき、映像データ68の評価点が閾値70を下回った原因が「外部パラメータ」であるならば、デコーダ69は、中継地点67の中継装置へ再送要求を行う。これによって、デコーダ69は、中継地点67の中継装置から映像データ66の再送を受けることができる。一方、映像データ68の評価点が閾値70を下回った原因が「ネットワーク状況」であったならば、デコーダ69は、中継地点65の中継装置へ再送要求を行う。これによって、デコーダ69は、中継地点65の中継装置から映像データ64の再送を受けることができる。
For example, the threshold value of the evaluation score is “70 points”, the evaluation score of the
次に、図14〜図16を用いて、映像データを再送する効果について説明する。図14は、エンコーダによって配信される映像データの一例を示す図である。図15は、デコーダで誤り訂正による補間が行われた映像データの一例を示す図である。また、図16は、デコーダで誤り訂正が行われる前の映像データの一例を示す図である。図14〜図16の例では、配信先の装置で気象データを監視する場合を想定する。 Next, the effect of retransmitting video data will be described with reference to FIGS. FIG. 14 is a diagram illustrating an example of video data distributed by the encoder. FIG. 15 is a diagram illustrating an example of video data that has been interpolated by error correction by a decoder. FIG. 16 is a diagram illustrating an example of video data before error correction is performed by the decoder. In the examples of FIGS. 14 to 16, it is assumed that weather data is monitored by a delivery destination device.
図14に示すように、エンコーダから映像データ71、映像データ72、映像データ73の順に配信された場合に、デコーダでは、映像データ71、映像データ72、映像データ73が順次復号される。この結果、デコーダでは、映像データ81、映像データ82、映像データ83の順にモニタ表示させる。
As shown in FIG. 14, when video data 71, video data 72, and
しかしながら、3つの映像データのうち映像データ82は、誤り訂正前の映像データ90のピクチャ欠落の部分が復号時に誤り訂正されたものである。つまり、映像データをリアルタイム配信だけに依存したのでは、閲覧者は、映像データ72に含まれる「落雷」を見逃してしまう。そこで、上記の実施例2で説明したように、評価点が閾値を下回る場合に映像データを再送させることにより、閲覧者は、映像データ72に含まれる「落雷」を事後的に確認することができる。また、算出した評価点を映像データとともに表示することで、閲覧者は、再送された画像を確認する必要があるかどうかを容易に判断することができる。
However, among the three pieces of video data, the
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。 Although the embodiments related to the disclosed apparatus have been described above, the present invention may be implemented in various different forms other than the above-described embodiments. Therefore, another embodiment included in the present invention will be described below.
[映像配信プログラム]
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図17を用いて、上記の実施例と同様の機能を有する出力プログラムを実行するコンピュータの一例について説明する。なお、図17は、実施例3に係る映像配信プログラムを実行するコンピュータの一例について説明するための図である。
[Video distribution program]
The various processes described in the above embodiments can be realized by executing a prepared program on a computer such as a personal computer or a workstation. In the following, an example of a computer that executes an output program having the same function as that of the above embodiment will be described with reference to FIG. FIG. 17 is a schematic diagram illustrating an example of a computer that executes a video distribution program according to the third embodiment.
図17に示すように、実施例3におけるコンピュータ100は、操作部110aと、マイク110bと、スピーカ110cと、ディスプレイ120と、通信部130とを有する。さらに、このコンピュータ100は、CPU150と、ROM160と、HDD(Hard Disk Drive)170と、RAM(Random Access Memory)180と有する。これら110〜180の各部はバス140を介して接続される。
As illustrated in FIG. 17, the computer 100 according to the third embodiment includes an
ROM160には、上記の実施例2で示した画像解析部12と、評価点算出部13と、格納制御部14と、グループ情報更新部15と同様の機能を発揮する制御プログラムが予め記憶される。さらに、ROM160には、消去命令部16と、トランスコード部17と、再送制御部18と、画像消去部19と同様の機能を発揮する制御プログラムが予め記憶される。つまり、ROM160には、図17に示すように、画像解析プログラム160aと、評価点算出プログラム160bと、格納制御プログラム160cと、グループ情報更新プログラム160dとが記憶される。さらに、ROM160には、消去命令プログラム160eと、トランスコードプログラム160fと、再送制御プログラム160gと、画像消去プログラム160hとが記憶される。なお、これらのプログラム160a〜160hについては、図4に示したトランスコーダ10の各構成要素と同様、適宜統合又は分離しても良い。
The
そして、CPU150が、これらのプログラム160a〜160hをROM160から読み出して実行する。これによって、CPU150は、図17に示すように、画像解析プロセス150aと、評価点算出プロセス150bと、格納制御プロセス150cと、グループ情報更新プロセス150dとして機能するようになる。さらに、CPU150は、消去命令プロセス150eと、トランスコードプロセス150fと、再送制御プロセス150gと、画像消去プロセス150hとして機能するようになる。なお、各プロセス150a〜150hは、図4に示した、画像解析部12と、評価点算出部13と、格納制御部14と、グループ情報更新部15と、消去命令部16と、トランスコード部17と、再送制御部18と、画像消去部19とにそれぞれ対応する。
Then, the
そして、CPU150は、画像解析プロセス150a、評価点算出プロセス150b及び格納制御プロセス150cを実行する。さらに、CPU150は、グループ情報更新プロセス150d、消去命令プロセス150e及びトランスコードプロセス150fを実行することにより、グループ画像の格納制御を実行する。これによって、画像蓄積データ180aがRAM180に格納される。また、CPU150は、再送制御プロセス150g及び画像消去プロセス150hを実行することにより、グループ画像の再送制御を実行する。
Then, the
なお、上記したデータ再現プログラムについては、必ずしも最初からHDD170やROM160に記憶させておく必要はない。例えば、コンピュータ100に挿入されるフレキシブルディスク、いわゆるFD、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ100がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介してコンピュータ100に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ100がこれらから各プログラムを取得して実行するようにしてもよい。
Note that the above-described data reproduction program is not necessarily stored in the
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。 The following supplementary notes are further disclosed with respect to the embodiments including the above examples.
(付記1)配信元の装置から配信先の装置へ配信される映像データを中継する中継装置を有する映像配信システムであって、
前記中継装置は、
前記映像データを蓄積する映像データ蓄積部と、
前記映像データを受信した場合に、前記配信元の装置または他の中継装置と自装置との間におけるネットワーク状況から前記映像データの品質が変化した度合いを示す映像データの信頼度を算出する信頼度算出部と、
前記信頼度算出部によって算出された映像データの信頼度が所定の閾値以上である場合に、前記映像データを前記映像データ蓄積部へ格納する格納制御部と、
前記信頼度算出部によって算出された映像データの信頼度が閾値以上である場合には、自装置のアドレス情報と共に前記映像データを他の中継装置または前記配信先の装置へ送信し、前記映像データの信頼度が閾値を下回った場合には、前記映像データを他の中継装置または前記配信先の装置へ送信する送信制御部と
を有することを特徴とする映像配信システム。
(Appendix 1) A video distribution system having a relay device that relays video data distributed from a distribution source device to a distribution destination device,
The relay device is
A video data storage unit for storing the video data;
When the video data is received, the reliability for calculating the reliability of the video data indicating the degree to which the quality of the video data has changed from the network status between the distribution source device or another relay device and the own device A calculation unit;
A storage control unit that stores the video data in the video data storage unit when the reliability of the video data calculated by the reliability calculation unit is equal to or greater than a predetermined threshold;
If the reliability of the video data calculated by the reliability calculation unit is greater than or equal to a threshold, the video data is transmitted to another relay device or the delivery destination device together with the address information of the own device, and the video data And a transmission control unit that transmits the video data to another relay device or the delivery destination device when the reliability of the video data falls below a threshold.
(付記2)前記中継装置は、
前記映像データにトランスコードを行うトランスコード部をさらに有し、
前記信頼度算出部は、
前記トランスコード部によってトランスコードが実行される前後で前記映像データの品質が変化する度合いをさらに含めて前記映像データの信頼度を算出し、
前記格納制御部は、
前記信頼度算出部によって算出された映像データの信頼度が前記トランスコードに起因して閾値を下回った場合に、前記映像データを前記映像データ蓄積部へ格納し、
前記送信制御部は、
前記信頼度算出部によって算出された映像データの信頼度が前記トランスコードに起因して閾値を下回った場合に、自装置のアドレス情報及び前記トランスコードが原因で閾値を下回った旨を示す情報と共に前記トランスコード部によってトランスコードが行われた映像データを送信することを特徴とする付記1に記載の映像配信システム。
(Appendix 2) The relay device
A transcoding unit for transcoding the video data;
The reliability calculation unit includes:
Calculating the reliability of the video data further including the degree to which the quality of the video data changes before and after transcoding is performed by the transcoding unit;
The storage control unit
When the reliability of the video data calculated by the reliability calculation unit falls below a threshold value due to the transcode, the video data is stored in the video data storage unit,
The transmission control unit
When the reliability of the video data calculated by the reliability calculation unit is lower than the threshold value due to the transcode, together with address information of the own device and information indicating that the transcode is lower than the threshold value The video distribution system according to appendix 1, wherein the video data transcoded by the transcoding unit is transmitted.
(付記3)前記配信先の装置は、
前記映像データと共に受信したアドレス情報に基づいて、前記映像データが前記映像データ蓄積部へ格納された中継装置のうち最寄りの中継装置に前記映像データの再送を依頼する再送依頼部を有することを特徴とする付記1または2に記載の映像配信システム。
(Appendix 3) The delivery destination device is:
A retransmission request unit that requests retransmission of the video data to a nearest relay device among relay devices in which the video data is stored in the video data storage unit based on address information received together with the video data. The video distribution system according to appendix 1 or 2.
(付記4)前記中継装置は、
前記信頼度算出部によって算出された映像データの信頼度が閾値以上である場合に、当該映像データを前記映像データ蓄積部から削除するように前記映像データの配信元側の中継装置へ依頼する削除依頼部をさらに有することを特徴とする付記1、2または3に記載の映像配信システム。
(Appendix 4) The relay device
Deletion requesting the video data distribution source relay device to delete the video data from the video data storage unit when the reliability of the video data calculated by the reliability calculation unit is greater than or equal to a
(付記5)配信元の装置から配信先の装置へ配信される映像データを蓄積する映像データ蓄積部と、
前記映像データを受信した場合に、前記配信元の装置または他の中継装置と自装置との間におけるネットワーク状況から前記映像データの品質が変化した度合いを示す映像データの信頼度を算出する信頼度算出部と、
前記信頼度算出部によって算出された映像データの信頼度が所定の閾値以上である場合に、前記映像データを前記映像データ蓄積部へ格納する格納制御部と、
前記信頼度算出部によって算出された映像データの信頼度が閾値以上である場合には、自装置のアドレス情報と共に前記映像データを他の中継装置または前記配信先の装置へ送信し、前記映像データの信頼度が閾値を下回った場合には、前記映像データを他の中継装置または前記配信先の装置へ送信する送信制御部と
を有することを特徴とする中継装置。
(Supplementary Note 5) A video data storage unit that stores video data distributed from a distribution source device to a distribution destination device;
When the video data is received, the reliability for calculating the reliability of the video data indicating the degree to which the quality of the video data has changed from the network status between the distribution source device or another relay device and the own device A calculation unit;
A storage control unit that stores the video data in the video data storage unit when the reliability of the video data calculated by the reliability calculation unit is equal to or greater than a predetermined threshold;
If the reliability of the video data calculated by the reliability calculation unit is greater than or equal to a threshold, the video data is transmitted to another relay device or the delivery destination device together with the address information of the own device, and the video data And a transmission control unit that transmits the video data to another relay device or the delivery destination device when the reliability of the video data is below a threshold.
(付記6)配信元の装置から配信先の装置へ配信される映像データを中継する中継装置を有する映像配信システムに用いる映像配信プログラムであって、
前記中継装置に、
前記映像データを受信した場合に、前記配信元の装置または他の中継装置と自装置との間におけるネットワーク状況から前記映像データの品質が変化した度合いを示す映像データの信頼度を算出する信頼度算出手順と、
前記信頼度算出手順によって算出された映像データの信頼度が所定の閾値以上である場合に、前記映像データを蓄積する映像データ蓄積部へ当該映像データを格納する格納制御手順と、
前記信頼度算出手順によって算出された映像データの信頼度が閾値以上である場合には、自装置のアドレス情報と共に前記映像データを他の中継装置または前記配信先の装置へ送信し、前記映像データの信頼度が閾値を下回った場合には、前記映像データを他の中継装置または前記配信先の装置へ送信する送信制御手順と
を実行させることを特徴とする映像配信プログラム。
(Appendix 6) A video distribution program used in a video distribution system having a relay device that relays video data distributed from a distribution source device to a distribution destination device,
In the relay device,
When the video data is received, the reliability for calculating the reliability of the video data indicating the degree to which the quality of the video data has changed from the network status between the distribution source device or another relay device and the own device Calculation procedure,
A storage control procedure for storing the video data in a video data storage unit for storing the video data when the reliability of the video data calculated by the reliability calculation procedure is equal to or greater than a predetermined threshold;
When the reliability of the video data calculated by the reliability calculation procedure is equal to or greater than a threshold, the video data is transmitted to another relay device or the delivery destination device together with the address information of the own device, and the video data And a transmission control procedure for transmitting the video data to another relay apparatus or the distribution destination apparatus when the reliability of the video distribution falls below a threshold.
(付記7)配信元の装置から配信先の装置へ配信される映像データを中継する中継装置を有する映像配信システムに用いる映像配信方法であって、
前記中継装置が、
前記映像データを受信した場合に、前記配信元の装置または他の中継装置と自装置との間におけるネットワーク状況から前記映像データの品質が変化した度合いを示す映像データの信頼度を算出する信頼度算出ステップと、
前記信頼度算出ステップによって算出された映像データの信頼度が所定の閾値以上である場合に、前記映像データを蓄積する映像データ蓄積部へ当該映像データを格納する格納制御ステップと、
前記信頼度算出ステップによって算出された映像データの信頼度が閾値以上である場合には、自装置のアドレス情報と共に前記映像データを他の中継装置または前記配信先の装置へ送信し、前記映像データの信頼度が閾値を下回った場合には、前記映像データを他の中継装置または前記配信先の装置へ送信する送信制御ステップと
を実行することを特徴とする映像配信方法。
(Appendix 7) A video distribution method used in a video distribution system having a relay device that relays video data distributed from a distribution source device to a distribution destination device,
The relay device is
When the video data is received, the reliability for calculating the reliability of the video data indicating the degree to which the quality of the video data has changed from the network status between the distribution source device or another relay device and the own device A calculation step;
A storage control step of storing the video data in a video data storage unit that stores the video data when the reliability of the video data calculated by the reliability calculation step is equal to or greater than a predetermined threshold;
When the reliability of the video data calculated by the reliability calculation step is equal to or greater than a threshold, the video data is transmitted to another relay device or the delivery destination device together with the address information of the own device, and the video data And a transmission control step of transmitting the video data to another relay device or the delivery destination device when the reliability of the video data falls below a threshold value.
1 中継装置
2 映像データ蓄積部
3 信頼度算出部
4 格納制御部
5 送信制御部
10 トランスコーダ
11a 受信部
11b 送信部
12 画像解析部
13 評価点算出部
14 格納制御部
14a 画像蓄積部
15 グループ情報更新部
16 消去命令部
17 トランスコード部
18 再送制御部
19 画像消去部
20 受信装置
21 画像解析部
22a 評価点算出部
22b 閾値設定部
23 グループ情報生成部
24 エンコード部
25a 送信部
25b 受信部
26a 画像蓄積部
26b 格納制御部
27 再送制御部
28 画像消去部
30,30A,30B ルータ
31a 受信部
31b 送信部
33 評価点算出部
34 格納制御部
35 グループ情報更新部
36 消去命令部
38 再送制御部
39 画像消去部
40 再生装置
41a 受信部
41b 送信部
42 画像解析部
43 評価点算出部
44 デコード部
45 表示制御部
46 閾値再設定部
47 格納制御部
47a 画像蓄積部
48 再送制御部
50 ネットワーク
DESCRIPTION OF SYMBOLS 1 Relay device 2 Video | video
Claims (6)
前記中継装置は、
前記映像データを蓄積する映像データ蓄積部と、
前記映像データを受信した場合に、前記配信元の装置または他の中継装置と自装置との間におけるネットワーク状況から前記映像データの品質が変化した度合いを示す映像データの信頼度を算出する信頼度算出部と、
前記信頼度算出部によって算出された映像データの信頼度が所定の閾値以上である場合に、前記映像データを前記映像データ蓄積部へ格納する格納制御部と、
前記信頼度算出部によって算出された映像データの信頼度が閾値以上である場合には、自装置のアドレス情報と共に前記映像データを他の中継装置または前記配信先の装置へ送信し、前記映像データの信頼度が閾値を下回った場合には、前記映像データを他の中継装置または前記配信先の装置へ送信する送信制御部と
を有することを特徴とする映像配信システム。 A video distribution system having a relay device that relays video data distributed from a distribution source device to a distribution destination device,
The relay device is
A video data storage unit for storing the video data;
When the video data is received, the reliability for calculating the reliability of the video data indicating the degree to which the quality of the video data has changed from the network status between the distribution source device or another relay device and the own device A calculation unit;
A storage control unit that stores the video data in the video data storage unit when the reliability of the video data calculated by the reliability calculation unit is equal to or greater than a predetermined threshold;
If the reliability of the video data calculated by the reliability calculation unit is greater than or equal to a threshold, the video data is transmitted to another relay device or the delivery destination device together with the address information of the own device, and the video data And a transmission control unit that transmits the video data to another relay device or the delivery destination device when the reliability of the video data falls below a threshold.
前記映像データにトランスコードを行うトランスコード部をさらに有し、
前記信頼度算出部は、
前記トランスコード部によってトランスコードが実行される前後で前記映像データの品質が変化する度合いをさらに含めて前記映像データの信頼度を算出し、
前記格納制御部は、
前記信頼度算出部によって算出された映像データの信頼度が前記トランスコードに起因して閾値を下回った場合に、前記映像データを前記映像データ蓄積部へ格納し、
前記送信制御部は、
前記信頼度算出部によって算出された映像データの信頼度が前記トランスコードに起因して閾値を下回った場合に、自装置のアドレス情報及び前記トランスコードが原因で閾値を下回った旨を示す情報と共に前記トランスコード部によってトランスコードが行われた映像データを送信することを特徴とする請求項1に記載の映像配信システム。 The relay device is
A transcoding unit for transcoding the video data;
The reliability calculation unit includes:
Calculating the reliability of the video data further including the degree to which the quality of the video data changes before and after transcoding is performed by the transcoding unit;
The storage control unit
When the reliability of the video data calculated by the reliability calculation unit falls below a threshold value due to the transcode, the video data is stored in the video data storage unit,
The transmission control unit
When the reliability of the video data calculated by the reliability calculation unit is lower than the threshold value due to the transcode, together with address information of the own device and information indicating that the transcode is lower than the threshold value The video distribution system according to claim 1, wherein the video data transcoded by the transcoding unit is transmitted.
前記映像データと共に受信したアドレス情報に基づいて、前記映像データが前記映像データ蓄積部へ格納された中継装置のうち最寄りの中継装置に前記映像データの再送を依頼する再送依頼部を有することを特徴とする請求項1または2に記載の映像配信システム。 The delivery destination device is:
A retransmission request unit that requests retransmission of the video data to a nearest relay device among relay devices in which the video data is stored in the video data storage unit based on address information received together with the video data. The video distribution system according to claim 1 or 2.
前記信頼度算出部によって算出された映像データの信頼度が閾値以上である場合に、当該映像データを前記映像データ蓄積部から削除するように前記映像データの配信元側の中継装置へ依頼する削除依頼部をさらに有することを特徴とする請求項1、2または3に記載の映像配信システム。 The relay device is
Deletion requesting the video data distribution source relay device to delete the video data from the video data storage unit when the reliability of the video data calculated by the reliability calculation unit is greater than or equal to a threshold value The video distribution system according to claim 1, further comprising a request unit.
前記映像データを受信した場合に、前記配信元の装置または他の中継装置と自装置との間におけるネットワーク状況から前記映像データの品質が変化した度合いを示す映像データの信頼度を算出する信頼度算出部と、
前記信頼度算出部によって算出された映像データの信頼度が所定の閾値以上である場合に、前記映像データを前記映像データ蓄積部へ格納する格納制御部と、
前記信頼度算出部によって算出された映像データの信頼度が閾値以上である場合には、自装置のアドレス情報と共に前記映像データを他の中継装置または前記配信先の装置へ送信し、前記映像データの信頼度が閾値を下回った場合には、前記映像データを他の中継装置または前記配信先の装置へ送信する送信制御部と
を有することを特徴とする中継装置。 A video data storage unit that stores video data distributed from a distribution source device to a distribution destination device;
When the video data is received, the reliability for calculating the reliability of the video data indicating the degree to which the quality of the video data has changed from the network status between the distribution source device or another relay device and the own device A calculation unit;
A storage control unit that stores the video data in the video data storage unit when the reliability of the video data calculated by the reliability calculation unit is equal to or greater than a predetermined threshold;
If the reliability of the video data calculated by the reliability calculation unit is greater than or equal to a threshold, the video data is transmitted to another relay device or the delivery destination device together with the address information of the own device, and the video data And a transmission control unit that transmits the video data to another relay device or the delivery destination device when the reliability of the video data is below a threshold.
前記中継装置に、
前記映像データを受信した場合に、前記配信元の装置または他の中継装置と自装置との間におけるネットワーク状況から前記映像データの品質が変化した度合いを示す映像データの信頼度を算出する信頼度算出手順と、
前記信頼度算出手順によって算出された映像データの信頼度が所定の閾値以上である場合に、前記映像データを蓄積する映像データ蓄積部へ当該映像データを格納する格納制御手順と、
前記信頼度算出手順によって算出された映像データの信頼度が閾値以上である場合には、自装置のアドレス情報と共に前記映像データを他の中継装置または前記配信先の装置へ送信し、前記映像データの信頼度が閾値を下回った場合には、前記映像データを他の中継装置または前記配信先の装置へ送信する送信制御手順と
を実行させることを特徴とする映像配信プログラム。 A video distribution program used for a video distribution system having a relay device that relays video data distributed from a distribution source device to a distribution destination device,
In the relay device,
When the video data is received, the reliability for calculating the reliability of the video data indicating the degree to which the quality of the video data has changed from the network status between the distribution source device or another relay device and the own device Calculation procedure,
A storage control procedure for storing the video data in a video data storage unit for storing the video data when the reliability of the video data calculated by the reliability calculation procedure is equal to or greater than a predetermined threshold;
When the reliability of the video data calculated by the reliability calculation procedure is equal to or greater than a threshold, the video data is transmitted to another relay device or the delivery destination device together with the address information of the own device, and the video data And a transmission control procedure for transmitting the video data to another relay apparatus or the distribution destination apparatus when the reliability of the video distribution falls below a threshold.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010037903A JP5609147B2 (en) | 2010-02-23 | 2010-02-23 | Video distribution system, relay device, and video distribution program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010037903A JP5609147B2 (en) | 2010-02-23 | 2010-02-23 | Video distribution system, relay device, and video distribution program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011176490A true JP2011176490A (en) | 2011-09-08 |
JP5609147B2 JP5609147B2 (en) | 2014-10-22 |
Family
ID=44688966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010037903A Expired - Fee Related JP5609147B2 (en) | 2010-02-23 | 2010-02-23 | Video distribution system, relay device, and video distribution program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5609147B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013145194A1 (en) * | 2012-03-28 | 2013-10-03 | 富士通株式会社 | Quality evaluation device, quality evaluation method, communication system, and wireless base station device |
JP2015162885A (en) * | 2014-02-28 | 2015-09-07 | 株式会社リコー | Management device, communication system, program and communication management method |
WO2019207695A1 (en) * | 2018-04-25 | 2019-10-31 | 株式会社アプトポッド | Transfer device, transfer system, transfer method, and program |
US11330197B2 (en) * | 2017-09-29 | 2022-05-10 | Samsung Electronics Co., Ltd | Method for processing image data by using information generated from external electronic device, and electronic device |
WO2023053410A1 (en) * | 2021-09-30 | 2023-04-06 | 日本電気株式会社 | Information processing system, information processing method, and information processing device |
WO2023053411A1 (en) * | 2021-09-30 | 2023-04-06 | 日本電気株式会社 | Information processing system, information processing method, and information processing device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001119437A (en) * | 1998-11-30 | 2001-04-27 | Matsushita Electric Ind Co Ltd | Data transmission method, data transmitter, data receiver and packet data structure |
JP2002314598A (en) * | 2001-04-16 | 2002-10-25 | Hitachi Ltd | Data distribution method |
JP2003304273A (en) * | 2002-04-08 | 2003-10-24 | Rikogaku Shinkokai | Device, program and method for repeating packet |
JP2005295106A (en) * | 2004-03-31 | 2005-10-20 | Secom Co Ltd | Encoded signal storage distribution system, encoded signal selecting/transferring unit, encoded signal separator/transmitter, encoded signal receiver/synthesizer |
JP2006013911A (en) * | 2004-06-25 | 2006-01-12 | Nippon Telegr & Teleph Corp <Ntt> | Stream data transfer method, apparatus and program, and recording medium |
JP2009089197A (en) * | 2007-10-01 | 2009-04-23 | Fujitsu Ltd | Repeating device |
-
2010
- 2010-02-23 JP JP2010037903A patent/JP5609147B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001119437A (en) * | 1998-11-30 | 2001-04-27 | Matsushita Electric Ind Co Ltd | Data transmission method, data transmitter, data receiver and packet data structure |
JP2002314598A (en) * | 2001-04-16 | 2002-10-25 | Hitachi Ltd | Data distribution method |
JP2003304273A (en) * | 2002-04-08 | 2003-10-24 | Rikogaku Shinkokai | Device, program and method for repeating packet |
JP2005295106A (en) * | 2004-03-31 | 2005-10-20 | Secom Co Ltd | Encoded signal storage distribution system, encoded signal selecting/transferring unit, encoded signal separator/transmitter, encoded signal receiver/synthesizer |
JP2006013911A (en) * | 2004-06-25 | 2006-01-12 | Nippon Telegr & Teleph Corp <Ntt> | Stream data transfer method, apparatus and program, and recording medium |
JP2009089197A (en) * | 2007-10-01 | 2009-04-23 | Fujitsu Ltd | Repeating device |
Non-Patent Citations (2)
Title |
---|
CSNG200100749009; 下國治 他: '広域並列分散システムのための信頼できるマルチキャスト' 情報処理学会研究報告 Vol.2000, No.23, 20000303, p.53-58, 社団法人情報処理学会 * |
JPN6013049902; 下國治 他: '広域並列分散システムのための信頼できるマルチキャスト' 情報処理学会研究報告 Vol.2000, No.23, 20000303, p.53-58, 社団法人情報処理学会 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013145194A1 (en) * | 2012-03-28 | 2013-10-03 | 富士通株式会社 | Quality evaluation device, quality evaluation method, communication system, and wireless base station device |
JPWO2013145194A1 (en) * | 2012-03-28 | 2015-08-03 | 富士通株式会社 | Quality evaluation apparatus, quality evaluation method, communication system, and radio base station apparatus |
JP2015162885A (en) * | 2014-02-28 | 2015-09-07 | 株式会社リコー | Management device, communication system, program and communication management method |
US11330197B2 (en) * | 2017-09-29 | 2022-05-10 | Samsung Electronics Co., Ltd | Method for processing image data by using information generated from external electronic device, and electronic device |
WO2019207695A1 (en) * | 2018-04-25 | 2019-10-31 | 株式会社アプトポッド | Transfer device, transfer system, transfer method, and program |
WO2023053410A1 (en) * | 2021-09-30 | 2023-04-06 | 日本電気株式会社 | Information processing system, information processing method, and information processing device |
WO2023053411A1 (en) * | 2021-09-30 | 2023-04-06 | 日本電気株式会社 | Information processing system, information processing method, and information processing device |
Also Published As
Publication number | Publication date |
---|---|
JP5609147B2 (en) | 2014-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5609147B2 (en) | Video distribution system, relay device, and video distribution program | |
US7215712B2 (en) | Systems and methods for decoding of partially corrupted reversible variable length code (RVLC) intra-coded macroblocks and partial block decoding of corrupted macroblocks in a video decoder | |
US9699099B2 (en) | Method of transmitting data in a communication system | |
US11039179B2 (en) | Use of simultaneously received videos by a system to generate a quality of experience value | |
US8320686B2 (en) | Detailed description of the invention | |
KR101776809B1 (en) | Adaptive video decoding circuitry and techniques | |
JP5549681B2 (en) | Display method, apparatus, and communication system of moving image encoded data | |
JP2011061811A (en) | Method and apparatus for motion compensated frame rate up conversion | |
US11889122B2 (en) | Quality aware error concealment technique for streaming media | |
JPWO2010007749A1 (en) | Transmission device, reception device, rate control device, transmission method, and reception method | |
JP6463041B2 (en) | Image processing apparatus, image processing method, and program | |
US9306987B2 (en) | Content message for video conferencing | |
CN111263192A (en) | Video processing method and related equipment | |
KR20170047489A (en) | Apparatus for Processing Images, Method for Processing Images, and Computer Readable Recording Medium | |
TWI628958B (en) | Full-frame buffer to improve video performance in low-latency video communication systems | |
CN109862400B (en) | Streaming media transmission method, device and system | |
Khan et al. | Impact of video content on video quality for video over wireless networks | |
US8731069B2 (en) | Remote display system and method | |
JP2011061362A (en) | Encoding device, encoding method, and encoding program | |
JP2010011287A (en) | Image transmission method and terminal device | |
JP2004158929A (en) | Moving picture processing method, moving picture processor, and moving picture transmitter | |
JP2004180190A (en) | Camera controller and program for performing its control step | |
Danmusa | Methods of Transmission of High Audio and Video Information on the Network | |
JP2001197493A (en) | Method and device for decoding animation and program recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131015 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140805 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140818 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5609147 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |