JP2014103534A - 画像伝送装置 - Google Patents
画像伝送装置 Download PDFInfo
- Publication number
- JP2014103534A JP2014103534A JP2012254259A JP2012254259A JP2014103534A JP 2014103534 A JP2014103534 A JP 2014103534A JP 2012254259 A JP2012254259 A JP 2012254259A JP 2012254259 A JP2012254259 A JP 2012254259A JP 2014103534 A JP2014103534 A JP 2014103534A
- Authority
- JP
- Japan
- Prior art keywords
- transmission
- unit
- data
- image
- data buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】伝送速度が変動する無線回線を介して画像データを送信しても、画像データを受信して再生する側に著しいノイズ等を発生させることなく、高品位な画像を再生させることが可能な画像伝送装置を提供する。
【解決手段】本発明の画像伝送装置は、監視カメラ3から入力された映像情報を、画像伝送部1において、符号化並びに無線回線5の状況に応じたデータ量の最適化を行い、無線回線5を介して画像受信部2に送信し、画像受信部2において、受信した画像データを復号化して映像情報としてモニタ4に送出し、当該映像情報をモニタ4に表示して監視等に使用するものである。
【選択図】 図1
【解決手段】本発明の画像伝送装置は、監視カメラ3から入力された映像情報を、画像伝送部1において、符号化並びに無線回線5の状況に応じたデータ量の最適化を行い、無線回線5を介して画像受信部2に送信し、画像受信部2において、受信した画像データを復号化して映像情報としてモニタ4に送出し、当該映像情報をモニタ4に表示して監視等に使用するものである。
【選択図】 図1
Description
本発明は、画像伝送装置に関し、特に、映像データを符号化し、伝送速度が変動する無線回線を介して伝送する画像伝送装置に関する。
遠隔画像監視システムあるいは画像配信システムでは、公衆回線、インターネット、または携帯電話網等の無線回線など、ネットワークを伝送路とした動画像伝送装置のニーズが拡大している。
例えば、従来、MPEG−4(Moving Picture Experts Group Phase 4)における画像のストリームデータ(圧縮データで構成されている。)の配信では、画像伝送部において、送るべき画像データをMPEG−4により符号化変換を行い、符号化変換された画像データをストリームデータとして画像伝送部の記憶部に一旦格納し、記憶部から画像受信部に画像データが配信される。そして、画像データを受信した画像受信部において復号化処理が行われ、モニタに監視画像として表示される。
例えば、従来、MPEG−4(Moving Picture Experts Group Phase 4)における画像のストリームデータ(圧縮データで構成されている。)の配信では、画像伝送部において、送るべき画像データをMPEG−4により符号化変換を行い、符号化変換された画像データをストリームデータとして画像伝送部の記憶部に一旦格納し、記憶部から画像受信部に画像データが配信される。そして、画像データを受信した画像受信部において復号化処理が行われ、モニタに監視画像として表示される。
このような画像データを配信するためには、デジタル化して伝送する必要があるが、デジタル化した場合、その情報量は膨大となるため、その情報の伝送容量を減少させるために映像データの圧縮技術が必要になる。ここで、従来から良く知られている映像データの圧縮方式としてMPEG−2あるいはMPEG−4等の圧縮の世界標準方式が使用される。
また、一般的に、携帯電話等の通信事業者が提供する無線回線は、ベストエフォート型のため伝送速度が変動し、またその変動幅も数十kbps〜数Mbpsと大きい。
このため、高品位な画像伝送を行う場合、画像データを符号化した上で、更に、回線品質の変動に合わせて伝送するデータ量を最適化する必要がある。
そこで、従来から、伝送するデータ量を最適化する手段として、
(1)時間スケーラビリティ(画面更新周期の調整)(特許文献1参照)
(2)空間スケーラビリティ(画像の大小=解像度の調整)
(3)SNRスケーラビリティ(符号化誤差の調整)
といった手法が用いられている。
このため、高品位な画像伝送を行う場合、画像データを符号化した上で、更に、回線品質の変動に合わせて伝送するデータ量を最適化する必要がある。
そこで、従来から、伝送するデータ量を最適化する手段として、
(1)時間スケーラビリティ(画面更新周期の調整)(特許文献1参照)
(2)空間スケーラビリティ(画像の大小=解像度の調整)
(3)SNRスケーラビリティ(符号化誤差の調整)
といった手法が用いられている。
上述した従来の伝送データ量を最適化する技術は、映像圧縮伝送の標準規格であるMPEG規格等に示されているものであるが、
(1)数〜十数フレーム単位にて、映像圧縮が行われる。
(2)伝送量を最適化するためには、一旦伝送のシーケンスを終了し、新たなシーケンスを開始しなければならない。
などの制約があるため、伝送路品質に即時対応することが難しく、画像データを再生・表示する側では、
(3)画面が暗転する。
(4)画面にノイズが発生する。
という問題があった。
(1)数〜十数フレーム単位にて、映像圧縮が行われる。
(2)伝送量を最適化するためには、一旦伝送のシーケンスを終了し、新たなシーケンスを開始しなければならない。
などの制約があるため、伝送路品質に即時対応することが難しく、画像データを再生・表示する側では、
(3)画面が暗転する。
(4)画面にノイズが発生する。
という問題があった。
また、空間スケーラビリティやSNRスケーラビリティを用いた場合、伝送路品質が悪いときには画面全体がぼやけてしまうなど、常に高品位の画質を保証することが出来ない。
本発明は、上記事情に鑑みてなされたものであって、伝送速度が変動する無線回線を介して画像データを送信しても、画像データを受信して再生する側に著しいノイズ等を発生させることなく、高品位な画像を再生させることが可能な画像伝送装置を提供することを目的とする。
上記目的を達成するための本発明の一態様の画像伝送装置は、映像情報を無線回線を介して伝送する画像伝送装置において、前記映像情報を符号化した送信データを前記無線回線に送出する画像伝送部を備え、前記画像伝送部は、前記映像情報を符号化して送信データを生成し、送信データバッファ部に送出する符号化部と、前記無線回線の伝送速度を検出する伝送速度検出部と、前記伝送速度検出部からの前記伝送速度情報に応じて前記符号化部で生成する前記送信データのGOP構造を変更するGOP構造制御部と、前記伝送速度検出部からの前記伝送速度情報に応じて前記送信データバッファ部に蓄積された前記送信データの送出順序の入れ替えと間引きを行う順序・間引き制御部と、前記送信データバッファ部に蓄積された前記送信データを前記無線回線に送出する送出部と、を有することを特徴とする。
また、上記目的を達成するための本発明の一態様の画像伝送装置は、上記した画像伝送装置において、前記画像伝送部から送信された前記送信データを受信し、復号化並びにモニタへのデータ送出を行う画像受信部を備え、前記画像受信部は、前記画像伝送部から受信した受信データを蓄積する受信データバッファ部と、前記受信データバッファ部から入力された情報に基づき、前記受信データのフレームの構成並びにGOP構造を確認し、順序・補完制御部に通知する受信フレーム検出・判定部と、前記受信フレーム検出・判定部から入力された情報に基づき、前記受信データバッファ部内に蓄積された前記受信データの送出順序の変更と補完を行い、画像データバッファ部に送出する順序・補完制御部と、前記画像データバッファ部から入力された前記受信データを復号化し、送信データバッファ部に出力する復号化部と、前記復号化部から入力され、受信データ量に関わらず、常に一定のデータ量で前記モニタに映像情報を出力する送信データバッファ部と、を有することを特徴とする。
以上説明したように、本発明によれば、伝送速度が変動する無線回線を介して画像データを送信しても、画像データを受信して再生する側に著しいノイズ等を発生させることなく、高品位な画像を再生させることが可能な画像伝送装置を提供することができる。
<実施形態1>
(画像伝送装置の構成)
以下、本発明の実施形態1に係る画像伝送装置について、図1を参照して詳細に説明する。
図1は、本発明の実施形態1に係る画像伝送装置の全体構成の一例を示すブロック図である。実施形態1に係る画像伝送装置は、監視カメラ3から入力された映像情報を、画像伝送部1において、符号化並びに無線回線5の状況に応じたデータ量の最適化を行い、無線回線5を介して画像受信部2に送信し、画像受信部2において、受信した画像データを復号化して映像情報としてモニタ4に送出し、当該映像情報をモニタ4に表示して監視等に使用するものである。
図1において、監視カメラ3は、所定のエリアを撮像し、撮像した映像情報を画像伝送部1に出力する。
(画像伝送装置の構成)
以下、本発明の実施形態1に係る画像伝送装置について、図1を参照して詳細に説明する。
図1は、本発明の実施形態1に係る画像伝送装置の全体構成の一例を示すブロック図である。実施形態1に係る画像伝送装置は、監視カメラ3から入力された映像情報を、画像伝送部1において、符号化並びに無線回線5の状況に応じたデータ量の最適化を行い、無線回線5を介して画像受信部2に送信し、画像受信部2において、受信した画像データを復号化して映像情報としてモニタ4に送出し、当該映像情報をモニタ4に表示して監視等に使用するものである。
図1において、監視カメラ3は、所定のエリアを撮像し、撮像した映像情報を画像伝送部1に出力する。
(画像伝送部1の構成)
画像伝送部1の構成について、図1を参照して詳細に説明する。
画像伝送部1は、監視カメラ3から入力された映像情報を符号化する符号化処理部10と、符号化した画像データを送信アンテナ21を介して無線回線5に送出する送信部20とを備えている。
符号化処理部10は、符号化部11と、送信伝送速度検出部12と、GOP(Group of Picture)構造制御部13と、順序・間引き制御部14と、送信データバッファ部15とから構成されている。
符号化処理部10では、符号化部11が監視カメラ3から入力された映像情報をGOP構造制御部13からの指示に応じて符号化を行い、符号化した画像データを送信データバッファ部15に送る。
送信データバッファ部15は、順序・間引き制御部14からの指示に従って、画像データの送出順序の入れ替えと間引きを行った上で、送信部20に画像データを送出する。
送信伝送速度検出部12は、送信部20から伝送可能な画像データ量の情報を入手し、GOP構造制御部13と順序・間引き制御部14の動作を決定する。
画像伝送部1の構成について、図1を参照して詳細に説明する。
画像伝送部1は、監視カメラ3から入力された映像情報を符号化する符号化処理部10と、符号化した画像データを送信アンテナ21を介して無線回線5に送出する送信部20とを備えている。
符号化処理部10は、符号化部11と、送信伝送速度検出部12と、GOP(Group of Picture)構造制御部13と、順序・間引き制御部14と、送信データバッファ部15とから構成されている。
符号化処理部10では、符号化部11が監視カメラ3から入力された映像情報をGOP構造制御部13からの指示に応じて符号化を行い、符号化した画像データを送信データバッファ部15に送る。
送信データバッファ部15は、順序・間引き制御部14からの指示に従って、画像データの送出順序の入れ替えと間引きを行った上で、送信部20に画像データを送出する。
送信伝送速度検出部12は、送信部20から伝送可能な画像データ量の情報を入手し、GOP構造制御部13と順序・間引き制御部14の動作を決定する。
ここで、符号化処理部10で行われる処理動作について、図2〜図4を用いて詳細に説明する。
図2は、MPEG−2で使われる符号化の際の一般的なフレーム構成とGOPの構造例を示す図であり、図3は、本発明の実施形態1の画像伝送部1での画像データ送信時の送信データ構成を示す図であり、また、図4は、本発明の実施形態1の画像伝送部1での画像データ送信時のGOP構造を変更した場合の送信データ構成を示す図である。
MPEG−2では、画面内の画素値のみを符号化するIフレーム(Intra Picture)、符号化した前方の画面との差分を符号化するPフレーム(Predictive Picture)、符号化した前方と後方の両画面との差分を符号化するBフレーム(Bidirectionally Predictive Picture)があり、図2において、P06〜B21は、時間順序で表示されるフレーム(画面)の構成例を示しており、次のような構成となっている。
(P06)(B07)(B08)(I10)(B11)(B12)(P13)(B14)(B15)(P16)(B17)(B18)(I20)(B21)・・・・・
図2は、MPEG−2で使われる符号化の際の一般的なフレーム構成とGOPの構造例を示す図であり、図3は、本発明の実施形態1の画像伝送部1での画像データ送信時の送信データ構成を示す図であり、また、図4は、本発明の実施形態1の画像伝送部1での画像データ送信時のGOP構造を変更した場合の送信データ構成を示す図である。
MPEG−2では、画面内の画素値のみを符号化するIフレーム(Intra Picture)、符号化した前方の画面との差分を符号化するPフレーム(Predictive Picture)、符号化した前方と後方の両画面との差分を符号化するBフレーム(Bidirectionally Predictive Picture)があり、図2において、P06〜B21は、時間順序で表示されるフレーム(画面)の構成例を示しており、次のような構成となっている。
(P06)(B07)(B08)(I10)(B11)(B12)(P13)(B14)(B15)(P16)(B17)(B18)(I20)(B21)・・・・・
また、符号化及び復号化する際の固まり単位であるGOP(Group of Pictures)構造は、
[(B07)(B08)(I10)(B11)(B12)(P13)(B14)(B15)(P16)]
のように、9フレーム単位となっている。
ここで、GOPが9フレーム単位の場合を例にして、無線回線5の伝送路状況に合わせて伝送データ量を最適化する方法について説明する。
[(B07)(B08)(I10)(B11)(B12)(P13)(B14)(B15)(P16)]
のように、9フレーム単位となっている。
ここで、GOPが9フレーム単位の場合を例にして、無線回線5の伝送路状況に合わせて伝送データ量を最適化する方法について説明する。
通常、符号化において、Iフレーム、Pフレーム及びBフレームでのデータ量の関係は、“I>P>B”となっている。また、復号化する際のデータの重要度も同様に“I>P>B”の関係となっている。
そこで、本発明の画像伝送部1は、画像データ送信時に、データの送信順序も一般的な場合と異なり、GOP内で優先順位の高いフレームから送信するといった手法を用いる。
一般的に、図2に示すフレーム構成の画像データを符号化し伝送する際には、復号化する際の参照フレームとの位置関係を最適化するために、通常は、図3の(a)のような以下の送信データ構成となる。
[(I10)(B07)(B08)(P13)(B11)(B12)(P16)(B14)(B15)]
しかし、本発明では、画像データ送信時の送信データ構成を図3(b)のような以下の送信データ構成に変更する。
[(I10)(P13)(P16)(B07)(B08)(B11)(B12)(B14)(B15)]
そこで、本発明の画像伝送部1は、画像データ送信時に、データの送信順序も一般的な場合と異なり、GOP内で優先順位の高いフレームから送信するといった手法を用いる。
一般的に、図2に示すフレーム構成の画像データを符号化し伝送する際には、復号化する際の参照フレームとの位置関係を最適化するために、通常は、図3の(a)のような以下の送信データ構成となる。
[(I10)(B07)(B08)(P13)(B11)(B12)(P16)(B14)(B15)]
しかし、本発明では、画像データ送信時の送信データ構成を図3(b)のような以下の送信データ構成に変更する。
[(I10)(P13)(P16)(B07)(B08)(B11)(B12)(B14)(B15)]
また、本発明では、順序・間引き制御部14は、送信伝送速度検出部12から伝送路がすべてのフレームをデータ伝送できるだけの帯域を持たないとの情報を入手した場合に、GOP内の重要度の低いBフレーム、Pフレームの順位で送信データを間引くことによって伝送データ量を最適化する。
例えば、順序・間引き制御部14は、送信伝送速度検出部12から伝送路品質が「高」との情報を入手した場合、送信データバッファ部15に対し、図3(c)に示すような送信データ構成(順序)にして、すべてのフレームを送出するよう制御する。
また、順序・間引き制御部14は、送信伝送速度検出部12から伝送路品質が「中」との情報を入手した場合、送信データバッファ部15に対し、図3(d)に示すような送信データ構成(順序)にして、IフレームとPフレームのみ送信するよう制御し、また、通常Bフレームを送信する時間を使用して低スピードでデータ送出するよう制御する。
また、順序・間引き制御部14は、送信伝送速度検出部12から伝送路品質が「低」との情報を入手した場合、送信データバッファ部15に対し、図3(e)に示すような送信データ構成(順序)にして、Iフレームのみ送信するよう制御し、また、通常PフレームとBフレームを送信する時間を使用して最低のスピードでデータ送出するよう制御する。
例えば、順序・間引き制御部14は、送信伝送速度検出部12から伝送路品質が「高」との情報を入手した場合、送信データバッファ部15に対し、図3(c)に示すような送信データ構成(順序)にして、すべてのフレームを送出するよう制御する。
また、順序・間引き制御部14は、送信伝送速度検出部12から伝送路品質が「中」との情報を入手した場合、送信データバッファ部15に対し、図3(d)に示すような送信データ構成(順序)にして、IフレームとPフレームのみ送信するよう制御し、また、通常Bフレームを送信する時間を使用して低スピードでデータ送出するよう制御する。
また、順序・間引き制御部14は、送信伝送速度検出部12から伝送路品質が「低」との情報を入手した場合、送信データバッファ部15に対し、図3(e)に示すような送信データ構成(順序)にして、Iフレームのみ送信するよう制御し、また、通常PフレームとBフレームを送信する時間を使用して最低のスピードでデータ送出するよう制御する。
次に、無線回線5の伝送路状況に合わせて伝送データ量を最適化する他の方法について説明する。
GOP構造において、Bフレームの出現率が高いほど伝送データ量を少なくできることから、GOP構造のフレーム単位を、例えば、9から15に変更することにより、更に、低速度でのデータ伝送が可能となる。
そこで、本発明では、GOP構造制御部13が、送信伝送速度検出部12からの情報により、更に、低速度でのデータ伝送が必要と判断した場合には、符号化部11に対して、GOPのフレーム単位を変更(大きく)するよう制御する。
例えば、図4(a)は、図3(a)と同様に、GOP構造が9フレーム単位の場合の送信データ構成を示しており、図4(b)は、GOP構造が15フレーム単位の場合の送信データ構成を示しており、下記構成となっている。
[(I100)(B013)(B014)(P103)(B101)(B102)(P106)(B104)(B105)(P109)(B107)(B108)(P112)(B110)(B111)]
GOP構造において、Bフレームの出現率が高いほど伝送データ量を少なくできることから、GOP構造のフレーム単位を、例えば、9から15に変更することにより、更に、低速度でのデータ伝送が可能となる。
そこで、本発明では、GOP構造制御部13が、送信伝送速度検出部12からの情報により、更に、低速度でのデータ伝送が必要と判断した場合には、符号化部11に対して、GOPのフレーム単位を変更(大きく)するよう制御する。
例えば、図4(a)は、図3(a)と同様に、GOP構造が9フレーム単位の場合の送信データ構成を示しており、図4(b)は、GOP構造が15フレーム単位の場合の送信データ構成を示しており、下記構成となっている。
[(I100)(B013)(B014)(P103)(B101)(B102)(P106)(B104)(B105)(P109)(B107)(B108)(P112)(B110)(B111)]
つまり、GOP構造が15フレーム単位の場合、GOP構造が9フレーム単位の場合と同様に、順序・間引き制御部14は、送信伝送速度検出部12から伝送路品質が「高」との情報を入手した場合、送信データバッファ部15に対し、図4(c)に示すように、送信データ構成(順序)を下記のように並び替え、また、すべてのフレームを送出するよう制御する。
[(I100)(P103)(P106)(P109)(P112)(B013)(B014)(B101)(B102)(B104)(B105)(B107)(B108)(B110)(B111)]
また、順序・間引き制御部14は、送信伝送速度検出部12から伝送路品質が「中」との情報を入手した場合、送信データバッファ部15に対し、図4(d)に示すような送信データ構成(順序)にして、IフレームとPフレームのみ送信するよう制御し、また、通常Bフレームを送信する時間を使用して低スピードでデータ送出するよう制御する。
また、順序・間引き制御部14は、送信伝送速度検出部12から伝送路品質が「低」との情報を入手した場合、送信データバッファ部15に対し、図4(e)に示すような送信データ構成(順序)にして、Iフレームのみ送信するよう制御し、また、通常PフレームとBフレームを送信する時間を使用して最低のスピードでデータ送出するよう制御する。
[(I100)(P103)(P106)(P109)(P112)(B013)(B014)(B101)(B102)(B104)(B105)(B107)(B108)(B110)(B111)]
また、順序・間引き制御部14は、送信伝送速度検出部12から伝送路品質が「中」との情報を入手した場合、送信データバッファ部15に対し、図4(d)に示すような送信データ構成(順序)にして、IフレームとPフレームのみ送信するよう制御し、また、通常Bフレームを送信する時間を使用して低スピードでデータ送出するよう制御する。
また、順序・間引き制御部14は、送信伝送速度検出部12から伝送路品質が「低」との情報を入手した場合、送信データバッファ部15に対し、図4(e)に示すような送信データ構成(順序)にして、Iフレームのみ送信するよう制御し、また、通常PフレームとBフレームを送信する時間を使用して最低のスピードでデータ送出するよう制御する。
また、図5は、本発明の実施形態1の画像伝送部1での画像データ送信時のPフレーム及びBフレームの画面表示間隔に対応した順位付けを行った送信データ構成を示す図である。
図5に示すように、PフレームまたはBフレームにおいても画面表示の間隔に対応した順位付けを行うことにより、よりきめ細かい伝送データの最適化が可能となる。
図5に示すように、PフレームまたはBフレームにおいても画面表示の間隔に対応した順位付けを行うことにより、よりきめ細かい伝送データの最適化が可能となる。
(画像受信部2の構成)
次に、画像受信部2の構成について、図1を参照して詳細に説明する。
画像受信部2は、画像伝送部1から送信された画像データを受信アンテナ61を介して受信する受信部60と、受信部60から入力された画像データを復号化する復号化処理部50とを備える。
また、復号化処理部50は、受信データバッファ部51と、受信フレーム検出・判定部52と、順序・補完制御部53と、画像データバッファ部54と、復号化部55と、送信データバッファ部56とから構成されている。
復号化処理部50では、受信部60から出力された画像データは、まず、受信データバッファ部51に蓄えられる。
受信フレーム検出・判定部52では、受信データバッファ部51から入力された情報により、予め取り決められた時間内に次フレームのデータを受信しないか、あるいは、取り決められたGOP構造と異なる順序でのデータ受信を行った場合は、順序・補完制御部53に対してその旨通知する。
順序・補完制御部53は、受信フレーム検出・判定部52から入力された情報により、復号化部55でデータ復号化が行える順序に画像データバッファ部54内の画像データのフレーム構成の変更を行う。
次に、画像受信部2の構成について、図1を参照して詳細に説明する。
画像受信部2は、画像伝送部1から送信された画像データを受信アンテナ61を介して受信する受信部60と、受信部60から入力された画像データを復号化する復号化処理部50とを備える。
また、復号化処理部50は、受信データバッファ部51と、受信フレーム検出・判定部52と、順序・補完制御部53と、画像データバッファ部54と、復号化部55と、送信データバッファ部56とから構成されている。
復号化処理部50では、受信部60から出力された画像データは、まず、受信データバッファ部51に蓄えられる。
受信フレーム検出・判定部52では、受信データバッファ部51から入力された情報により、予め取り決められた時間内に次フレームのデータを受信しないか、あるいは、取り決められたGOP構造と異なる順序でのデータ受信を行った場合は、順序・補完制御部53に対してその旨通知する。
順序・補完制御部53は、受信フレーム検出・判定部52から入力された情報により、復号化部55でデータ復号化が行える順序に画像データバッファ部54内の画像データのフレーム構成の変更を行う。
ここで、復号化処理部50で行われる処理動作について、図6〜図8を用いて詳細に説明する。
図6〜図8は、本発明の実施形態1の画像受信部2での画像データ受信時の受信データ構成及び画像データバッファ部内での順序入替・データ補完を説明するための図であり、図6は伝送路品質「高」の時、図7は伝送路品質「中」の時、また、図8は伝送路品質「低」の時を示している。
例えば、伝送路品質「高」の場合には、図6(a)に示す受信データ構成(図3(c)参照)となっているため、受信データバッファ部51内には、図6(b)のように受信データが蓄積される。
また、順序・補完制御部53からの指示により、図6(c)のように、復号化部55でデータ復号化が行える順序に画像データバッファ部54内の入れ替えを行う。
図6〜図8は、本発明の実施形態1の画像受信部2での画像データ受信時の受信データ構成及び画像データバッファ部内での順序入替・データ補完を説明するための図であり、図6は伝送路品質「高」の時、図7は伝送路品質「中」の時、また、図8は伝送路品質「低」の時を示している。
例えば、伝送路品質「高」の場合には、図6(a)に示す受信データ構成(図3(c)参照)となっているため、受信データバッファ部51内には、図6(b)のように受信データが蓄積される。
また、順序・補完制御部53からの指示により、図6(c)のように、復号化部55でデータ復号化が行える順序に画像データバッファ部54内の入れ替えを行う。
また、伝送路品質「中」の場合には、図7(a)に示す受信データ構成(図3(d)参照)となっているため、受信データバッファ部51内には、図7(b)のように、IフレームとPフレームのみ受信データが蓄積される。
また、順序・補完制御部53からの指示により、復号化部55でデータ復号化が行えるように画像データバッファ部54内の順序入替、並びにデータ補完を行う。
例えば、図7(c)に示すように、IフレームとPフレームの順序入替を行うと共に、不足となるBフレームのデータは、受信したIフレーム((I10))またはPフレーム((P06),(P13))の内容を複写しスキップモードとしてデータヘッダの内容を変更し画像データバッファ部54に書き込む。このとき、各種ヘッダ情報の内容は、連続性を保つよう書き換える。
また、図7(d)に示すように、IフレームとPフレームの順序入替を行うと共に、不足となるBフレームのデータは、受信したIフレーム((I10))またはPフレーム((P06),(P13))の情報から、動きを予測するダイレクトモードのフレーム((BD07),(BD08),(BD11),(BD12),(BD14),(BD15))を生成してデータヘッダの内容を変更し画像データバッファ部54に書き込む。
また、順序・補完制御部53からの指示により、復号化部55でデータ復号化が行えるように画像データバッファ部54内の順序入替、並びにデータ補完を行う。
例えば、図7(c)に示すように、IフレームとPフレームの順序入替を行うと共に、不足となるBフレームのデータは、受信したIフレーム((I10))またはPフレーム((P06),(P13))の内容を複写しスキップモードとしてデータヘッダの内容を変更し画像データバッファ部54に書き込む。このとき、各種ヘッダ情報の内容は、連続性を保つよう書き換える。
また、図7(d)に示すように、IフレームとPフレームの順序入替を行うと共に、不足となるBフレームのデータは、受信したIフレーム((I10))またはPフレーム((P06),(P13))の情報から、動きを予測するダイレクトモードのフレーム((BD07),(BD08),(BD11),(BD12),(BD14),(BD15))を生成してデータヘッダの内容を変更し画像データバッファ部54に書き込む。
また、伝送路品質「低」の場合には、図8(a)に示す受信データ構成(図3(e)参照)となっているため、受信データバッファ部51内には、図8(b)のように、Iフレームのみ受信データが蓄積される。
また、順序・補完制御部53からの指示により、復号化部55でデータ復号化が行えるように画像データバッファ部54内の順序入替、並びにデータ補完を行う。
例えば、図8(c)に示すように、Iフレームの順序入替を行うと共に、不足となるフレームのデータは、受信したIフレーム((I10))の内容を複写しスキップモードとしてデータヘッダの内容を変更し画像データバッファ部54に書き込む。このとき、各種ヘッダ情報の内容は、連続性を保つよう書き換える。
また、図8(d)に示すように、Iフレームの順序入替を行うと共に、不足となるフレームのデータは、受信したIフレーム((I10),(I20))の情報から、動きを予測するダイレクトモードのフレーム((BD07),(BD08),(BD11),(BD12),(BD13),(BD14),(BD15),(BD16))を生成してデータヘッダの内容を変更し画像データバッファ部54に書き込む。
また、順序・補完制御部53からの指示により、復号化部55でデータ復号化が行えるように画像データバッファ部54内の順序入替、並びにデータ補完を行う。
例えば、図8(c)に示すように、Iフレームの順序入替を行うと共に、不足となるフレームのデータは、受信したIフレーム((I10))の内容を複写しスキップモードとしてデータヘッダの内容を変更し画像データバッファ部54に書き込む。このとき、各種ヘッダ情報の内容は、連続性を保つよう書き換える。
また、図8(d)に示すように、Iフレームの順序入替を行うと共に、不足となるフレームのデータは、受信したIフレーム((I10),(I20))の情報から、動きを予測するダイレクトモードのフレーム((BD07),(BD08),(BD11),(BD12),(BD13),(BD14),(BD15),(BD16))を生成してデータヘッダの内容を変更し画像データバッファ部54に書き込む。
以上のように、画像データバッファ部54内にて、MPEG等の標準規格に準拠したデータに変更・補完することにより、後段の復号化部55や外部接続する録画装置などは汎用的なものを使用することができる。
また、復号化処理部2から出力される映像データは、伝送路の条件によらず常に一定したフレームレート・クロックレートを維持できる。
また、復号化処理部2から出力される映像データは、伝送路の条件によらず常に一定したフレームレート・クロックレートを維持できる。
以上説明したように、本発明の実施形態1に係る画像伝送装置は、
(1)符号化側では、常に全フレームを符号化しており、送信するデータを制限するだけなので、伝送路品質の変動に対して即時対応が可能。
(2)復号化側では、受信/画像の2段バッファで、かつフレーム単位でデータ補完するため、再生画像に歪等が発生しない。
(3)みかけ上、時間スケーラリビティ方式となるため、再生画像は高品質を維持できる。
(4)伝送の順位変更と、送信データの間引き/補完だけなので、符号化・復号化の論理に影響がないため、容易に実現が可能である。
(5)復号化処理部の出力は、規格準拠であり、かつ一定のフレームレート・クロックレートとなるため、安価な汎用的な画像再生装置(モニタ)が使用可能。
(6)データ補完後の出力は、標準規格(MPEG規格など)準拠となるため、汎用の録画装置などを接続することが可能である。
(1)符号化側では、常に全フレームを符号化しており、送信するデータを制限するだけなので、伝送路品質の変動に対して即時対応が可能。
(2)復号化側では、受信/画像の2段バッファで、かつフレーム単位でデータ補完するため、再生画像に歪等が発生しない。
(3)みかけ上、時間スケーラリビティ方式となるため、再生画像は高品質を維持できる。
(4)伝送の順位変更と、送信データの間引き/補完だけなので、符号化・復号化の論理に影響がないため、容易に実現が可能である。
(5)復号化処理部の出力は、規格準拠であり、かつ一定のフレームレート・クロックレートとなるため、安価な汎用的な画像再生装置(モニタ)が使用可能。
(6)データ補完後の出力は、標準規格(MPEG規格など)準拠となるため、汎用の録画装置などを接続することが可能である。
本発明は、以上のような優位性があり、特に、災害発生時の情報収集に寄与できるものである。
ここで、本発明に係るシステムや装置などの構成としては、必ずしも上記に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等のハードウェア資源を備えたコンピュータが、コンピュータ読み取り可能な記録媒体に永続的に格納されたプログラムを実行することにより、制御される構成が用いられてもよい。また、当該処理を実行するための各機能手段が独立したハードウェア回路として構成されてもよい。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等のハードウェア資源を備えたコンピュータが、コンピュータ読み取り可能な記録媒体に永続的に格納されたプログラムを実行することにより、制御される構成が用いられてもよい。また、当該処理を実行するための各機能手段が独立したハードウェア回路として構成されてもよい。
1:画像伝送部、2:画像受信部、3:監視カメラ、4:モニタ、5:無線回線、10:符号化処理部、11:符号化部、12:送信伝送速度検出部、13:GOP構造制御部、14:順序・間引き制御部、15:送信データバッファ部、20:送信部、21:送信アンテナ、50:復号化処理部、51:受信データバッファ部、52:受信フレーム検出・判定部、53:順序・補完制御部、54:画像データバッファ部、55:復号化部、56:送信データバッファ部、60:受信部、61:受信アンテナ。
Claims (2)
- 映像情報を無線回線を介して伝送する画像伝送装置において、
前記映像情報を符号化した送信データを前記無線回線に送出する画像伝送部を備え、
前記画像伝送部は、
前記映像情報を符号化して送信データを生成し、送信データバッファ部に送出する符号化部と、
前記無線回線の伝送速度を検出する伝送速度検出部と、
前記伝送速度検出部からの前記伝送速度情報に応じて前記符号化部で生成する前記送信データのGOP構造を変更するGOP構造制御部と、
前記伝送速度検出部からの前記伝送速度情報に応じて前記送信データバッファ部に蓄積された前記送信データの送出順序の入れ替えと間引きを行う順序・間引き制御部と、
前記送信データバッファ部に蓄積された前記送信データを前記無線回線に送出する送出部と、
を有することを特徴とする画像伝送装置。 - 請求項1に記載の画像伝送装置において、前記画像伝送部から送信された前記送信データを受信し、復号化並びにモニタへのデータ送出を行う画像受信部を備え、
前記画像受信部は、
前記画像伝送部から受信した受信データを蓄積する受信データバッファ部と、
前記受信データバッファ部から入力された情報に基づき、前記受信データのフレームの構成並びにGOP構造を確認し、順序・補完制御部に通知する受信フレーム検出・判定部と、
前記受信フレーム検出・判定部から入力された情報に基づき、前記受信データバッファ部内に蓄積された前記受信データの送出順序の変更と補完を行い、画像データバッファ部に送出する順序・補完制御部と、
前記画像データバッファ部から入力された前記受信データを復号化し、送信データバッファ部に出力する復号化部と、
前記復号化部から入力され、受信データ量に関わらず、常に一定のデータ量で前記モニタに映像情報を出力する送信データバッファ部と、
を有することを特徴とする画像伝送装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012254259A JP2014103534A (ja) | 2012-11-20 | 2012-11-20 | 画像伝送装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012254259A JP2014103534A (ja) | 2012-11-20 | 2012-11-20 | 画像伝送装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014103534A true JP2014103534A (ja) | 2014-06-05 |
Family
ID=51025674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012254259A Pending JP2014103534A (ja) | 2012-11-20 | 2012-11-20 | 画像伝送装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014103534A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017034725A1 (en) * | 2015-08-27 | 2017-03-02 | Intel Corporation | Reliable large group of pictures (gop) file streaming to wireless displays |
CN107734278A (zh) * | 2017-09-19 | 2018-02-23 | 浙江大华技术股份有限公司 | 一种视频回放方法及相关装置 |
-
2012
- 2012-11-20 JP JP2012254259A patent/JP2014103534A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017034725A1 (en) * | 2015-08-27 | 2017-03-02 | Intel Corporation | Reliable large group of pictures (gop) file streaming to wireless displays |
CN107734278A (zh) * | 2017-09-19 | 2018-02-23 | 浙江大华技术股份有限公司 | 一种视频回放方法及相关装置 |
CN107734278B (zh) * | 2017-09-19 | 2020-05-26 | 浙江大华技术股份有限公司 | 一种视频回放方法及相关装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5882547B2 (ja) | シーンの変化に伴うピクチャ内の符号化及び送信パラメータの好適化 | |
JP2020519094A (ja) | ビデオ再生方法、デバイス、およびシステム | |
US20160165246A1 (en) | Image processing device and method | |
JP6708271B2 (ja) | 情報処理装置、コンテンツ要求方法およびコンピュータプログラム | |
TWI395491B (zh) | 適應性解碼嵌入式視訊位元流之方法及接收系統 | |
JP2015536594A (ja) | 積極的なビデオフレームドロップ | |
CN105379261A (zh) | 服务器节点装置与方法 | |
JP6621827B2 (ja) | 無線リンク状態に基づくビデオ復号化待ち時間調整、並びにビデオ復号化誤りの隠蔽のための、古いパケットのリプレイ | |
US20210120232A1 (en) | Method and system of video coding with efficient frame loss recovery | |
US9306987B2 (en) | Content message for video conferencing | |
JP2015513717A (ja) | データ、マルチメディアおよびビデオの送信の更新システム | |
US9832521B2 (en) | Latency and efficiency for remote display of non-media content | |
JP2016059015A (ja) | 画像出力装置 | |
JP2013187769A (ja) | 符号化装置 | |
US20110299605A1 (en) | Method and apparatus for video resolution adaptation | |
JP2014103534A (ja) | 画像伝送装置 | |
US10356439B2 (en) | Flexible frame referencing for display transport | |
US10298651B2 (en) | Encoding device, decoding device, computer program product, and streaming system | |
JP2010011287A (ja) | 映像伝送方法および端末装置 | |
EP3820153A1 (en) | Image capturing device, distribution system, distribution method, and carrier means | |
KR100899666B1 (ko) | 분산 다중 스트리밍 전송 장치 | |
TW201501516A (zh) | 多訊源影像串流顯示系統、多訊源影像串流顯示裝置及其方法 | |
EP3079344B1 (en) | Image pickup apparatus, image pickup method and image pickup system | |
KR20140072668A (ko) | 네트워크 카메라 서버 및 그의 비디오 스트림 처리 방법 | |
JP2007274593A (ja) | 映像受信装置及び映像配信システム並びに映像受信方法 |