JP2017228903A - 符号化プログラム、符号化方法、符号化装置、復号化プログラム、復号化方法及び復号化装置 - Google Patents

Abstract

【課題】パケットロスに伴う画質の変動を抑制すること。【解決手段】送信装置１０は、第１の画像を取得する処理と、第１の画像の水平および垂直の方向ごとに当該第１の画像に含まれる画素を所定数おきに抽出することにより第１の画像を複数の第２の画像に分離する処理と、分離された第２の画像ごとに符号化を行う処理とを実行する。【選択図】図１

Description

本発明は、符号化プログラム、符号化方法、符号化装置、復号化プログラム、復号化方法及び復号化装置に関する。

映像等のストリーミングが行われる場合、ネットワーク上でストリームデータの一部がパケットロスにより欠損することがある。例えば、通信の帯域が変動しやすい、携帯電話機等のモバイルネットワークほど、パケットロスが発生しやすい。パケットロスが発生する頻度が増加すると、ストリームの受信側では、再生映像が乱れる事象が頻繁に発生することになる。さらに、フレーム間予測を用いる符号化が実施される場合、パケットロスが発生したフレームだけでなく、当該フレームがフレーム間予測に用いられた他のフレームにも影響を及ぼす。

このようなパケットロスに対処する技術として、次のような技術がある。例えば、定期的にＩピクチャ（Intra Picture）などのキーフレームを挿入することにより、途中でパケットロスが発生しても、キーフレームを用いてパケットロスが生じたフレームを復元する技術がある。また、パケットロスの発生時にパケットを再送し、再送されたパケットを用いてデータストリームを再構築して復号および表示を行う技術がある。この他、同一の動画像データを複数の圧縮率で符号化し、受信側で正常に受信できた符号化データの中から最も圧縮率が低く画質の良い符号化データをフレームまたはパケット単位で選択して復号化する技術も存在する。

特開２００１−３３９７２２号公報 国際公開第２００３／０９２２９５号

しかしながら、上記の技術では、パケットロスに伴う画質の変動を抑制できない場合がある。

例えば、キーフレームを挿入する場合、キーフレームにパケットロスが発生すると、次のキーフレームが受信されるまで映像の画質が低下するのを抑制することができない。また、パケットを再送する場合、受信側ではパケットが再送されるまで待機することになるので、伝送遅延が発生する。この場合にも、再送があったフレームの再生が伝送遅延に伴って遅れる結果、画質が劣化する。さらに、同一の動画像データを複数の圧縮率で符号化する場合、フレームごとに異なる圧縮率の動画像データが復号化される状況が発生しうる。この場合、パケットロス時には低画質の映像が再生される一方で、パケットロスがない場合には高画質の映像が再生される結果、フレーム間で画質にばらつきが発生する。

１つの側面では、本発明は、パケットロスに伴う画質の変動を抑制できる符号化プログラム、符号化方法、符号化装置、復号化プログラム、復号化方法及び復号化装置を提供することを目的とする。

一態様では、符号化プログラムは、第１の画像を取得する処理と、前記第１の画像の水平および垂直の方向ごとに当該第１の画像に含まれる画素を所定数おきに抽出することにより第１の画像を複数の第２の画像に分離する処理と、分離された第２の画像ごとに符号化を行う処理とをコンピュータに実行させる。

パケットロスに伴う画質の変動を抑制できる。

図１は、実施例１に係る伝送システムに含まれる各装置の機能的構成を示すブロック図である。 図２は、送信シーケンスの一例を示す図である。 図３は、受信シーケンスの一例を示す図である。 図４は、符号化処理単位の一例を示す図である。 図５は、符号化処理単位の一例を示す図である。 図６は、実施例１に係る符号化処理の手順を示すフローチャートである。 図７は、実施例１に係る復号化処理の手順を示すフローチャートである。 図８は、実施例１及び実施例２に係る符号化プログラムを実行するコンピュータのハードウェア構成例を示す図である。

以下に添付図面を参照して本願に係る符号化プログラム、符号化方法、符号化装置、復号化プログラム、復号化方法及び復号化装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

図１は、実施例１に係る伝送システムに含まれる各装置の機能的構成を示すブロック図である。図１に示す伝送システム１は、送信装置１０から受信装置３０へ映像に関するデータストリームを伝送する伝送サービスを提供するものである。

図１に示すように、伝送システム１には、送信装置１０と、受信装置３０とが含まれる。これら送信装置１０及び受信装置３０は、ネットワーク２を介して接続される。かかるネットワーク２は、任意の通信網により構築することができるが、その一部に移動体通信網、いわゆるモバイルネットワークが含まれることとしてもかまわない。例えば、送信装置１０及び受信装置３０のうち一方または両方が基地局等を介してネットワーク２に接続されることとしてもよい。

送信装置１０は、映像の送信元となるコンピュータであり、また、受信装置３０は、映像の受信側となるコンピュータである。これら送信装置１０及び受信装置３０は、組み込み系のマイコン、汎用のパーソナルコンピュータ、ワークステーションなどの任意のコンピュータにより実装することができる。この他、送信装置１０及び受信装置３０には、スマートフォンを始めとする携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、スレート端末やタブレット端末などを含む携帯端末装置全般を採用することができる。

このように送信装置１０及び受信装置３０には、上記の伝送サービスの内容に応じて、任意の実装形態および任意の接続形態が採用される。例えば、伝送サービスの例として、警備や河川などの映像監視サービス、放送系の映像伝送サービス、道路や橋梁等の維持管理サービスなどが挙げられるが、これらはあくまで例示であり、これらの例により適用範囲は限定されない。

ここで、上記の伝送サービスの一環として、送信装置１０は、伝送の対象とする第１の画像の水平および垂直の方向ごとに当該第１の画像に含まれる画素を所定数おきに抽出することにより第１の画像を複数の第２の画像に分離して第２の画像ごとに符号化を行う符号化サービスを提供する。以下では、「第１の画像」の一例として映像ストリームの原画像を示し、「第２の画像」の一例として原画像から分離されたサブサンプルを示すこととする。

図２は、送信シーケンスの一例を示す図である。図２には、送信装置１０から受信装置３０へストリーミングが行われる映像の原画像の一つが示されており、一例として、原画像が２つのサブサンプルに分離される場合が示されている。図２に示すように、送信装置１０は、原画像の水平および垂直の方向ごとに当該原画像に含まれる画素を１画素おきに抽出する。これによって、図２に示す原画像に含まれる画素のうち白丸で示された画素が抽出されると共に、白丸の画素が抽出されることにより残った黒丸の画素も抽出される。この結果、原画像は、解像度が水平方向および垂直方向の共に２分の１となった、サブサンプルＡ及びサブサンプルＢに分離される。このように、原画像のフレームが入力される度に上記の分離を実施することにより、原画像の映像シーケンスからサブサンプルＡの映像シーケンス及びサブサンプルＢの映像シーケンスが得られる。

その後、送信装置１０は、上記の分離により得られたサブサンプルごとに動画の圧縮符号化を実施する。これによって、サブサンプルＡの映像シーケンスから各フレームの符号化データａが得られると共に、サブサンプルＢの映像シーケンスから各フレームの符号化データｂが得られる。

これら符号化データａ及び符号化データｂは、同一の送信方法で送信することもできるが、リアルタイム性及び画質の向上の両立を目指す観点から、異なる送信方法で送信することができる。例えば、送信装置１０は、符号化データａのストリーム及び符号化データｂのストリームをＲＴＰ（Realtime Transport Protocol）などのプロトコルで受信装置３０へ送信する。このとき、送信装置１０は、符号化データａには前方誤り訂正、いわゆるＦＥＣ（Forward Error Correction）、あるいは自動再送要求、いわゆるＡＲＱ（Automatic Repeat-reQuest）を用いた再送制御の少なくともいずれか１つを付加する。さらに、送信装置１０は、符号化データａ及び符号化データｂのストリームを同時のタイミングでネットワーク２へ送出することもできるが、異なるタイミングでネットワーク２へ送出することもできる。例えば、送信装置１０は、ＦＥＣ付きまたは再送制御付きで伝送が行われる符号化データａのネットワーク２への送出を開始してから、ＦＥＣ及び再送制御のいずれも実施されない符号化データｂのネットワーク２への送出を開始することができる。

このような符号化サービスによって、受信装置３０では、次のような復号化サービスを提供できる。すなわち、送信装置１０からネットワーク２へ送出されたサブサンプルのうちいずれかのサブサンプルにパケットロスが発生する場合、受信装置３０では、パケットロスがあるサブサンプルの欠損箇所をパケットロスがないサブサンプル上で欠損箇所に対応する領域の画素を用いて補間した上で原画像を復元することができる。

図３は、受信シーケンスの一例を示す図である。図３には、図２に示された符号化データａ及び符号化データｂが受信装置３０で受信される場合が示されており、符号化データｂの一部にパケットロスが発生している例が示されている。図３に示すように、受信装置３０は、送信装置１０から符号化データａ及び符号化データｂを受信すると、各サブサンプルごとに復号化を行う。これによって、符号化データａからサブサンプルＡが復号化されると共に、符号化データｂからサブサンプルＢが復号化される。

ここで、図３に示す通り、符号化データｂの一部にパケットロスが発生することにより、サブサンプルＢには、図３に点線で囲われた部分の画素が持つ画素値に欠損が生じる。以下では、画素値に欠損がある画素のことを「欠損画素」と記載し、欠損画素の集まりのことを「欠損箇所」と記載する場合がある。このようにサブサンプルＢに欠損箇所がある場合、受信装置３０は、パケットロスが発生しなかったサブサンプルＡでサブサンプルＢの欠損箇所に対応する領域の画素が持つ画素値を補間に用いる。

すなわち、サブサンプルＡ及びサブサンプルＢは、原画像の水平方向および垂直方向において互いの画素が１つおきに抽出された画素の集まりである。このため、サブサンプルＢに欠損箇所が存在したとしてもサブサンプルＡに欠損箇所が存在しない状況下では、原画像においてサブサンプルＢの各欠損画素の左右および上下はサブサンプルＡの画素に該当する。このため、サブサンプルでパケットロスが発生したとしても、原画像上で互いが隣接する画素の画素値が欠損する可能性を低減できるので、欠損画素の近傍、例えば近傍画素の左右および上下に存在する画素を用いる補間の精度が高まる。その後、受信装置３０は、サブサンプルＡ及びサブサンプルＢを統合することにより、原画像を復元する。

［送信装置１０の構成］
図１に示すように、送信装置１０は、取得部１１と、分離部１２と、第１符号化部１３
−１〜第Ｍ符号化部１３−Ｍと、送信処理部１４とを有する。なお、送信装置１０は、図１に示した機能部以外にも、送信装置１０として実装されるコンピュータが標準装備する機能部、例えば通信インタフェースなどを有することができるのは言うまでもない。

取得部１１は、第１の画像を取得する処理部である。

一実施形態として、取得部１１は、図示しないカメラによって撮像されたライブ映像を原画像として取得する。他の一例として、取得部１１は、映像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアから原画像を取得することもできる。更なる一例として、取得部１１は、外部装置からネットワークを介して受信することによって原画像を取得することもできる。このように送信装置１０が原画像の映像シーケンスを取得する経路は任意の経路であってよく、特定の経路に限定されない。

分離部１２は、第１の画像を複数の第２の画像へ分離する処理部である。

一実施形態として、分離部１２は、取得部１１により原画像のフレームが取得される度に、原画像の水平および垂直の方向ごとに当該原画像に含まれる画素を所定の画素おきに抽出する処理を繰り返すことにより、原画像を複数のサブサンプルに分離する。例えば、原画像の分割数がＭであるとしたとき、分離部１２は、原画像の水平および垂直の方向ごとに当該原画像に含まれる画素をＭ−１画素おきに抽出する。続いて、分離部１２は、原画像に残った画素から水平方向および垂直方向ごとにＭ−２画素おきに抽出する。その後、分離部１２は、抽出の回数がＭ回になるまで上記の抽出を繰り返し実行する。これによって、１つの原画像がＭ個のサブサンプルに分離される。以下では、あくまで一例として、サブサンプルごとに符号化が並列して行われる場合を想定し、各サブサンプルが第１符号化部１３−１〜第Ｍ符号化部１３−Ｍへ入力されることとする。

第１符号化部１３−１〜第Ｍ符号化部１３−Ｍは、サブサンプルごとに符号化を行う処理部である。

一実施形態として、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍは、所定の符号化処理単位ごとに、予測画像との差分による情報量削減、直交変換による高周波成分の除去及びエントロピー符号化等を行う。例えば、Ｈ．２６４が符号化方式として採用される場合、１６×１６画素に固定された画像領域であるＭＢ（Macroblock）が符号化処理単位とされる。また、ＨＥＶＣ（High Efficiency Video Coding）が符号化方式として採用される場合、階層４分木構造を持ち８×８〜６４×６４画素の間で可変であるＣＵ（Coding Unit）及びＰＵ（Prediction Unit）もしくはＴＵ（Transform Unit）が符号化処理単位とされる。

ここで、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍでは、符号化処理単位とするブロックごとに、当該ブロックの符号化に用いる符号化モードを共通化する。ここで言う「符号化モード」には、Ｉｎｔｅｒ／Ｉｎｔｒａなどのフレーム間予測の実施可否が含まれる。さらに、「符号化モード」には、Ｐフレーム（Predicted Frame）またはＢフレーム（Bi-directional Predicted Frame）などの参照方向も含まれる。さらに、「符号化モード」には、フレーム間予測、フレーム内予測、または、フィールド間予測及びフィールド内予測などの種別なども含まれる。加えて、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍでは、符号化処理単位とするブロックごとに、当該ブロックの符号化に用いる動き予測ベクトルも共通化する。

このように、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍの間で符号化処理単位とする各ブロックの符号化モードを共通化する場合、次のような手順で共通化を実現できる。例えば、第１符号化部１３−１は、第１符号化部１３−１に割り当てられたサブサンプルを符号化した後に、符号化処理単位および符号化モードを第２符号化部１３−２へ通知する。続いて、第２符号化部１３−２は、第１符号化部１３−１から通知された符号化処理単位および符号化モードにしたがって第２符号化部１３−２に割り当てられたサブサンプルを符号化した後に、符号化処理単位および符号化モードを第３符号化部１３−３へ通知する。これを繰り返して最後に、第Ｍ符号化部１３−Ｍは、第Ｍ−１符号化部１３−Ｍ−１から通知された符号化処理単位および符号化モードにしたがって第Ｍ符号化部１３−Ｍに割り当てられたサブサンプルを符号化する。また、第１符号化部１３−１は、第１符号化部１３−１に割り当てられたサブサンプルを符号化した後に、符号化処理単位および符号化モードを第２符号化部１３−２〜第Ｍ符号化部１３−Ｍへ通知することとしてもよい。

さらに、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍでは、各サブサンプルの間で原画像上の位置が対応するブロックの符号化データの情報量を一致させると共に、原画像におけるブロックが符号化された場合の符号化データの情報量ともさらに一致させる。

図４及び図５は、符号化処理単位の一例を示す図である。図４及び図５には、図２と同様、原画像が２つのサブサンプルに分離する場合が示されており、図４には、図２に示した原画像における符号化処理単位のブロック１〜４が示される一方で、図５には、図２に示したサブサンプルＡ及びサブサンプルＢにおける符号化処理単位のブロックＡ１〜Ａ４及びブロックＢ１〜Ｂ４が示されている。図４に示す原画像内のブロック１、２、３及び４が符号化された符号化データの情報量を「Ｊ_１」、「Ｊ_２」、「Ｊ_３」、「Ｊ_４」とし、これらの総和を「ΣＪ」とする。また、図５に示すサブサンプルＡ内のブロックＡ１、Ａ２、Ａ３及びＡ４が符号化された符号化データの情報量を「Ｊ_Ａ１」、「Ｊ_Ａ２」、「Ｊ_Ａ３」、「Ｊ_Ａ４」とし、これらの総和を「ΣＪ_Ａ」とする。さらに、図５に示すサブサンプルＢ内のブロックＢ１、Ｂ２、Ｂ３及びＢ４が符号化された符号化データの情報量を「Ｊ_Ｂ１」、「Ｊ_Ｂ２」、「Ｊ_Ｂ３」、「Ｊ_Ｂ４」とし、これらの総和を「ΣＪ_Ｂ」とする。

このとき、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍは、下記の式（１）〜式（４）を満たすように、各サブサンプルごとに符号化処理単位とするブロックの符号化を実行する。これによって、復号化後に各サブサンプルが統合された場合に、統合後の原画像において符号化処理単位のブロック間の画質差が生じるのを抑制することができる。下記の式（１）〜式（４）を満たす情報量の一致を実現するには、一例として、原画像において符号化処理単位とする各ブロックの符号化データの情報量を見積もった上で、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍで符号化を順次実行することとすればよい。

Ｊ_Ａ１／ΣＪ_Ａ≒Ｊ_Ｂ１／ΣＪ_Ｂ≒Ｊ_１／ΣＪ・・・（１）
Ｊ_Ａ２／ΣＪ_Ａ≒Ｊ_Ｂ２／ΣＪ_Ｂ≒Ｊ_２／ΣＪ・・・（２）
Ｊ_Ａ３／ΣＪ_Ａ≒Ｊ_Ｂ３／ΣＪ_Ｂ≒Ｊ_３／ΣＪ・・・（３）
Ｊ_Ａ４／ΣＪ_Ａ≒Ｊ_Ｂ４／ΣＪ_Ｂ≒Ｊ_４／ΣＪ・・・（４）

送信処理部１４は、各サブサンプルの符号化データを送信する処理部である。

一実施形態として、送信処理部１４は、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍごとにサブサンプルが符号化された符号化データを受信装置３０へ送信する。このとき、送信処理部１４は、同一の送信方法で送信することもできるが、リアルタイム性及び画質の向上の両立を目指す観点から、異なる送信方法で送信することもできる。例えば、図２に示した通り、符号化データａ及び符号化データｂを伝送する場合、送信処理部１４は、符号化データａのストリーム及び符号化データｂのストリームをＲＴＰなどのプロトコルで受信装置３０へ送信する。このとき、送信処理部１４は、符号化データａにはＦＥＣ、あるいはＡＲＱ（Automatic Repeat-reQuest）を用いた再送制御の少なくともいずれか１つを付加する。さらに、送信処理部１４は、符号化データａ及び符号化データｂのストリームを同時のタイミングでネットワーク２へ送出することもできるが、異なるタイミングでネットワーク２へ送出することもできる。例えば、送信処理部１４は、ＦＥＣ付きまたは再送制御付きで伝送が行われる符号化データａのネットワーク２への送出を開始してから、ＦＥＣ及び再送制御のいずれも実施されない符号化データｂのネットワーク２への送出を開始することができる。なお、原画像を３つ以上のサブサンプルに分離する場合、一例として、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍから出力される符号化データのうち前半部をＲＴＰ＋ＦＥＣまたは再送制御とし、後半部をＲＴＰとし、各符号化データを送信すればよい。

なお、図１では、各サブサンプルが並列して符号化される場合を例示したが、各サブサンプルを順番に符号化して伝送することもできる。この場合、ＲＴＰ＋ＦＥＣまたは再送制御で送信されるサブサンプルから符号化を行う方が効率がよい。

また、上記の取得部１１、分離部１２、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍ及び送信処理部１４などの処理部は、次のようにして実装できる。例えば、ＣＰＵ（Central Processing Unit）などの中央処理装置に、上記の取得部１１、分離部１２、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍ及び送信処理部１４と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの処理部は、必ずしも中央処理装置で実行されずともよく、ＭＰＵ（Micro-Processing Unit）に実行させることとしてもよい。また、上記の各処理部は、ハードワイヤードロジックによっても実現できる。

また、上記の各処理部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばＲＡＭ（Random Access Memory）やフラッシュメモリを採用できる。また、上記の各処理部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、ＨＤＤ（Hard Disk Drive）、光ディスクやＳＳＤ（Solid State Drive）などを採用できる。

［受信装置３０の構成］
図１に示すように、受信装置３０は、受信処理部３１と、第１復号化部３３−１〜第Ｍ復号化部３３−Ｍと、補間部３４と、統合部３５とを有する。なお、受信装置３０は、図１に示した機能部以外にも、受信装置３０として実装されるコンピュータが標準装備する機能部、例えば通信インタフェースなどを有することができるのは言うまでもない。

受信処理部３１は、各サブサンプルの符号化データを受信する処理部である。

一実施形態として、受信処理部３１は、ネットワーク２を介して符号化データの映像パケットを受信する度に、当該映像パケットのヘッダ情報を参照して、符号化データを当該符号化データのサブサンプルに対応するデコーダ、すなわち第１復号化部３３−１〜第Ｍ復号化部３３−Ｍへ入力する。このとき、受信処理部３１は、図示しない入力部または外部装置からの指示入力にしたがって映像パケットのタイムアウトを判定する閾値を変更することができる。例えば、描画優先モードが指定された場合、受信処理部３１は、画質優先モードが指定された場合よりもタイムアウトを判定する閾値を短く設定することができる。また、画質優先モードが指定された場合、受信処理部３１は、描画優先モードが指定された場合よりもタイムアウトを判定する閾値を長く設定することができる。この場合、受信処理部３１は、再送制御も許可し、再送パケットを用いて各サブサンプルの符号化データを再構築させることもできる。

第１復号化部３３−１〜第Ｍ復号化部３３−Ｍは、サブサンプルごとに復号化を行う処理部である。

一実施形態として、第１復号化部３３−１〜第Ｍ復号化部３３−Ｍは、符号化処理単位とされたブロックごとに、当該ブロックの符号化データを復号化する。同一のフレーム内の全てのブロックが復号化されることにより、サブサンプルが復号化されることになる。

補間部３４は、欠損画素の画素値を補間する処理部である。

一実施形態として、補間部３４は、タイムアウト等によりパケットロスが検出された場合、ロストが検出されたパケットのシーケンス番号と前後する受信済みのパケットに対応する画素の位置からサブサンプル上における欠損画素の位置を特定する。続いて、補間部３４は、第１復号化部３３−１〜第Ｍ復号化部３３−Ｍにより復号化されたサブサンプルのうち先に特定された欠損画素と同一の位置に欠損画素が存在しない他のサブサンプルを抽出する。その上で、補間部３４は、先に抽出されたサブサンプル上で欠損画素に対応する近傍画素、すなわち原画像上で欠損画素の上下、左右または斜めなどの近傍に位置する画素が持つ画素値を用いて、欠損画素の画素値を補間する。例えば、補間部３４は、欠損画素の上、下、左、右、左斜め上、左斜め下、右斜め上、右斜め下のうちいずれかの近傍画素の画素値をそのまま欠損画素の画素値に設定することができる。また、補間部３４は、欠損画素の上下の２画素、左右の２画素、上下左右の４画素、あるいは上下左右に左斜め上、左斜め下、右斜め上及び右斜め下の画素が加えられた８画素の代表値、例えば平均値や中央値などを欠損画素の画素値に設定することができる。この他、補間部３４は、バイリニア補間やバイキュービック補間などの手法を用いることとしてもかまわない。

統合部３５は、各サブサンプルを統合する処理部である。

一実施形態として、統合部３５は、パケットロスが検出されなかった場合、第１復号化部３３−１〜第Ｍ復号化部３３−Ｍにより復号化された各サブサンプルを統合する。また、統合部３５は、パケットロスが検出された場合、第１復号化部３３−１〜第Ｍ復号化部３３−Ｍにより復号化されたサブサンプルのうちパケットロスが検出されなかったサブサンプルと、補間部３４により欠損画素の画素値が補間されたサブサンプルとを統合する。これによって、各サブサンプルから原画像が復元される。このようにして得られた原画像は、図示しない任意の出力先、例えば動画の記録部、動画の再生処理部、動画から監視対象物を判定する処理部、あるいは動画から移動体を検出する処理部などに出力することができる。

なお、上記の受信処理部３１、第１復号化部３３−１〜第Ｍ復号化部３３−Ｍ、補間部３４及び統合部３５などの処理部は、次のようにして実装できる。例えば、ＣＰＵなどの中央処理装置に、上記の受信処理部３１、第１復号化部３３−１〜第Ｍ復号化部３３−Ｍ、補間部３４及び統合部３５と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの処理部は、必ずしも中央処理装置で実行されずともよく、ＭＰＵに実行させることとしてもよい。また、上記の各処理部は、ハードワイヤードロジックによっても実現できる。

また、上記の各処理部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばＲＡＭやフラッシュメモリを採用できる。また、上記の各処理部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、ＨＤＤ、光ディスクやＳＳＤなどを採用できる。

［処理の流れ］
次に、本実施例に係る伝送システム１の処理の流れについて説明する。なお、ここでは、送信装置１０により実行される（１）符号化処理について説明した後に、受信装置３０により実行される（２）復号化処理について説明することとする。

（１）符号化処理
図６は、実施例１に係る符号化処理の手順を示すフローチャートである。この処理は、取得部１１により原画像のフレームが取得される度に実行される。図６に示すように、分離部１２は、原画像の分割数をカウントするカウンタｍの値を１に初期化する（ステップＳ１０１）。続いて、分離部１２は、取得部１１により取得された原画像の水平および垂直の方向ごとに当該原画像に含まれる画素を所定の画素おきに抽出する（ステップＳ１０２）。これによって、原画像からサブサンプルが１つ分離される。

続いて、分離部１２は、上記のカウンタｍの値を１つインクリメントし、カウンタｍの値が分割数Ｍになるまで（ステップＳ１０３Ｎｏ）、ステップＳ１０２の処理を繰り返し実行する。

その後、カウンタｍの値が分割数Ｍに到達した場合（ステップＳ１０３Ｙｅｓ）、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍは、ステップＳ１０２の繰り返しにより得られたサブサンプルの符号化を並列して実行する。

すなわち、第１符号化部１３−１は、サブサンプル内で符号化処理単位とするブロックをカウントするカウンタｉを「１」に初期化する（ステップＳ１０４Ａ）。続いて、第１符号化部１３−１は、サブサンプル内のブロックを符号化する（ステップＳ１０５Ａ）。このとき、第１符号化部１３−１は、ステップＳ１０５Ａの符号化で用いた符号化モード及びステップＳ１０５Ａで得られた符号化データの情報量を第２符号化部１３−２へ通知する。そして、第１符号化部１３−１は、上記のカウンタｉの値を１つインクリメントし、カウンタｉの値が符号化処理単位のブロックの総数Ｎになるまで（ステップＳ１０６ＡＮｏ）、ステップＳ１０５Ａの処理を繰り返し実行する。その後、カウンタｉの値が符号化処理単位のブロックの総数Ｎに到達した場合（ステップＳ１０６ＡＹｅｓ）、送信処理部１４は、第１符号化部１３−１により符号化されたサブサンプルの符号化データを受信装置３０へ送信する（ステップＳ１０７Ａ）。

また、第２符号化部１３−２においても、サブサンプル内で符号化処理単位とするブロックをカウントするカウンタｉを「１」に初期化する（ステップＳ１０４Ｂ）。続いて、第２符号化部１３−２は、第１符号化部１３−１から通知された情報量および符号化モードにしたがってサブサンプル内のブロックを符号化する（ステップＳ１０５Ｂ）。このとき、第２符号化部１３−２は、ステップＳ１０５Ｂの符号化で用いた符号化モード及びステップＳ１０５Ｂで得られた符号化データの情報量を第３符号化部１３−３へ通知する。そして、第２符号化部１３−２は、上記のカウンタｉの値を１つインクリメントし、カウンタｉの値が符号化処理単位のブロックの総数Ｎになるまで（ステップＳ１０６ＢＮｏ）、ステップＳ１０５Ｂの処理を繰り返し実行する。その後、カウンタｉの値が符号化処理単位のブロックの総数Ｎに到達した場合（ステップＳ１０６ＢＹｅｓ）、送信処理部１４は、第２符号化部１３−２により符号化されたサブサンプルの符号化データを受信装置３０へ送信する（ステップＳ１０７Ｂ）。

最終段である第Ｍ符号化部１３−Ｍの場合、第Ｍ符号化部１３−Ｍは、サブサンプル内で符号化処理単位とするブロックをカウントするカウンタｉを「１」に初期化する（ステップＳ１０４Ｍ）。続いて、第Ｍ符号化部１３−Ｍは、第Ｍ−１符号化部１３−Ｍ−１から通知された情報量および符号化モードにしたがってサブサンプル内のブロックを符号化する（ステップＳ１０５Ｍ）。そして、第Ｍ符号化部１３−Ｍは、上記のカウンタｉの値を１つインクリメントし、カウンタｉの値が符号化処理単位のブロックの総数Ｎになるまで（ステップＳ１０６ＭＮｏ）、ステップＳ１０５Ｍの処理を繰り返し実行する。その後、カウンタｉの値が符号化処理単位のブロックの総数Ｎに到達した場合（ステップＳ１０６ＭＹｅｓ）、送信処理部１４は、第Ｍ符号化部１３−Ｍにより符号化されたサブサンプルの符号化データを受信装置３０へ送信する（ステップＳ１０７Ｍ）。

（２）復号化処理
図７は、実施例１に係る復号化処理の手順を示すフローチャートである。この処理は、一例として、各サブサンプルの符号化データが受信された場合に実行される。図７に示すように、各符号化データは、サブサンプルごとに並列して復号化される。

すなわち、第１復号化部３３−１に割り当てられたサブサンプルの符号化データが受信処理部３１により受信されると（ステップＳ３０１Ａ）、第１復号化部３３−１は、サブサンプル内で符号化時に符号化処理単位とされたブロックをカウントするカウンタｊを「１」に初期化する（ステップＳ３０２Ａ）。

続いて、第１復号化部３３−１は、第１復号化部３３−１に割り当てられたサブサンプル内のブロックの符号化データを復号化する（ステップＳ３０３Ａ）。このとき、ブロック内に欠損画素が存在する場合（ステップＳ３０４ＡＹｅｓ）、補間部３４は、第１復号化部３３−１を除く各復号化部で符号化データが復号化された各サブサンプルのブロックのうち欠損画素が存在しないサブサンプルのブロック内の近傍画素を参照して、欠損画素の画素値を補間する（ステップＳ３０５Ａ）。

そして、第１復号化部３３−１は、上記のカウンタｊの値を１つインクリメントし、カウンタｊの値が符号化処理単位のブロックの総数Ｎになるまで（ステップＳ３０６ＡＮｏ）、ステップＳ３０３Ａ〜ステップＳ３０５Ａの処理を繰り返し実行する。

これらステップＳ３０１Ａ〜ステップＳ３０６Ａの処理と並列して、第２復号化部３３−２は、次のように処理を実行する。すなわち、第２復号化部３３−２に割り当てられたサブサンプルの符号化データが受信処理部３１により受信されると（ステップＳ３０１Ｂ）、第２復号化部３３−２は、サブサンプル内で符号化時に符号化処理単位とされたブロックをカウントするカウンタｊを「１」に初期化する（ステップＳ３０２Ｂ）。

続いて、第２復号化部３３−２は、第２復号化部３３−２に割り当てられたサブサンプル内のブロックの符号化データを復号化する（ステップＳ３０３Ｂ）。このとき、ブロック内に欠損画素が存在する場合（ステップＳ３０４ＢＹｅｓ）、補間部３４は、第２復号化部３３−２を除く各復号化部で符号化データが復号化された各サブサンプルのブロックのうち欠損画素が存在しないサブサンプルのブロック内の近傍画素を参照して、欠損画素の画素値を補間する（ステップＳ３０５Ｂ）。

そして、第２復号化部３３−２は、上記のカウンタｊの値を１つインクリメントし、カウンタｊの値が符号化処理単位のブロックの総数Ｎになるまで（ステップＳ３０６ＢＮｏ）、ステップＳ３０３Ｂ〜ステップＳ３０５Ｂの処理を繰り返し実行する。

最終段である第Ｍ復号化部３３−Ｍにおいても、第Ｍ復号化部３３−Ｍに割り当てられたサブサンプルの符号化データが受信処理部３１により受信されると（ステップＳ３０１Ｍ）、第Ｍ復号化部３３−Ｍは、サブサンプル内で符号化時に符号化処理単位とされたブロックをカウントするカウンタｊを「１」に初期化する（ステップＳ３０２Ｍ）。

続いて、第Ｍ復号化部３３−Ｍは、第Ｍ復号化部３３−Ｍに割り当てられたサブサンプル内のブロックの符号化データを復号化する（ステップＳ３０３Ｍ）。このとき、ブロック内に欠損画素が存在する場合（ステップＳ３０４ＭＹｅｓ）、補間部３４は、第Ｍ復号化部３３−Ｍを除く各復号化部で符号化データが復号化された各サブサンプルのブロックのうち欠損画素が存在しないサブサンプルのブロック内の近傍画素を参照して、欠損画素の画素値を補間する（ステップＳ３０５Ｍ）。

そして、第Ｍ復号化部３３−Ｍは、上記のカウンタｊの値を１つインクリメントし、カウンタｊの値が符号化処理単位のブロックの総数Ｎになるまで（ステップＳ３０６ＭＮｏ）、ステップＳ３０３Ｍ〜ステップＳ３０５Ｍの処理を繰り返し実行する。

その後、ステップＳ３０６ＡＹｅｓ、ステップＳ３０６ＢＹｅｓ、・・・、かつステップＳ３０６ＭＹｅｓである場合、各サブサンプルが復号化されたことがわかる。この場合、統合部３５は、パケットロスが検出されなかった場合、第１復号化部３３−１〜第Ｍ復号化部３３−Ｍにより復号化された各サブサンプルを統合し、また、パケットロスが検出された場合、第１復号化部３３−１〜第Ｍ復号化部３３−Ｍにより復号化されたサブサンプルのうちパケットロスが検出されなかったサブサンプルと、補間部３４により欠損画素の画素値が補間されたサブサンプルとを統合することにより原画像を復元し（ステップＳ３０７）、処理を終了する。

［効果の一側面］
上述してきたように、本実施例に係る送信装置１０は、伝送の対象とする第１の画像の水平および垂直の方向ごとに当該第１の画像に含まれる画素を所定数おきに抽出することにより第１の画像を複数の第２の画像に分離して第２の画像ごとに符号化を行う。これによって、送信装置１０からネットワーク２へ送出されたサブサンプルのうちいずれかのサブサンプルにパケットロスが発生する場合、受信装置３０では、パケットロスがあるサブサンプルの欠損箇所をパケットロスがないサブサンプル上で欠損箇所に対応する領域の画素を用いて補間した上で原画像を復元することができる。このようにサブサンプルでパケットロスが発生したとしても、上記の符号化を実施することにより、原画像上で互いが隣接する画素の画素値が欠損する可能性を低減できるので、欠損画素の近傍、例えば近傍画素の左右および上下に存在する画素を用いる補間の精度が高まる。したがって、本実施例に係る送信装置１０によれば、パケットロスに伴う画質の変動を抑制できる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［送信方法の変え方］
例えば、上記の実施例１では、２つのサブサンプルの間でＲＴＰ＋ＦＥＣまたは再送制御と、ＲＴＰとすることにより送信方法を変える例を説明したが、２つのサブサンプルの間でプロトコルを変えることもできる。例えば、符号化データａをＴＣＰ−ＩＰ（Transmission Control Protocol/Internet Protocol）で伝送する一方で、符号化データｂをＵＤＰ（User Datagram Protocol）で伝送することもできる。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、送信装置１０が有する取得部１１、分離部１２、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍまたは送信処理部１４を送信装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、受信装置３０が有する受信処理部３１、第１復号化部３３−１〜第Ｍ復号化部３３−Ｍ、補間部３４または統合部３５を受信装置３０の外部装置としてネットワーク経由で接続するようにしてもよい。また、送信装置１０が有する取得部１１、分離部１２、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍまたは送信処理部１４を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の送信装置１０の機能を実現するようにしてもよい。また、受信装置３０が有する受信処理部３１、第１復号化部３３−１〜第Ｍ復号化部３３−Ｍ、補間部３４または統合部３５を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の受信装置３０の機能を実現するようにしてもよい。

［符号化プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図８を用いて、上記の実施例と同様の機能を有する符号化プログラムを実行するコンピュータの一例について説明する。

図８は、実施例１及び実施例２に係る符号化プログラムを実行するコンピュータのハードウェア構成例を示す図である。図８に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図８に示すように、上記の実施例１で示した取得部１１、分離部１２、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍ及び送信処理部１４と同様の機能を発揮する符号化プログラム１７０ａが記憶される。この符号化プログラム１７０ａは、図１に示した取得部１１、分離部１２、第１符号化部１３−１〜第Ｍ符号化部１３−Ｍ及び送信処理部１４の各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。

このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から符号化プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、符号化プログラム１７０ａは、図８に示すように、符号化プロセス１８０ａとして機能する。この符号化プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち符号化プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、符号化プロセス１８０ａが実行する処理の一例として、図６に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。

なお、上記の符号化プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に符号化プログラム１７０ａを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から符号化プログラム１７０ａを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに符号化プログラム１７０ａを記憶させておき、コンピュータ１００がこれらから符号化プログラム１７０ａを取得して実行するようにしてもよい。

また、図８には、ＨＤＤ１７０に符号化プログラム１７０ａが記憶される場合を例示したが、受信処理部３１、第１復号化部３３−１〜第Ｍ復号化部３３−Ｍ、補間部３４及び統合部３５と同様の機能を発揮する復号化プログラムをＨＤＤ１７０に記憶させることで、ＲＡＭ１８０上に復号化プロセスを展開し、図７に示した処理などを実現することができるのは言うまでもない。

１ 伝送システム
２ ネットワーク
１０ 送信装置
１１ 取得部
１２ 分離部
１３−１ 第１符号化部
１３−２ 第２符号化部
１３−Ｍ 第Ｍ符号化部
１４ 送信処理部
３０ 受信装置
３１ 受信処理部
３３−１ 第１復号化部
３３−２ 第２復号化部
３３−Ｍ 第Ｍ復号化部
３４ 補間部
３５ 統合部

Claims (11)

1. 第１の画像を取得する処理と、
   前記第１の画像の水平および垂直の方向ごとに当該第１の画像に含まれる画素を所定数おきに抽出することにより第１の画像を複数の第２の画像に分離する処理と、
   分離された第２の画像ごとに符号化を行う処理と
   をコンピュータに実行させることを特徴とする符号化プログラム。
2. 前記符号化を行う処理は、前記複数の第２の画像の間で共通する符号化モードを用いて前記符号化を行うことを特徴とする請求項１に記載の符号化プログラム。
3. 前記符号化を行う処理は、前記複数の第２の画像の間で前記第１の画像上の位置が対応するブロックの符号化データの情報量を一致させることを特徴とする請求項１に記載の符号化プログラム。
4. 前記符号化を行う処理は、前記第１の画像におけるブロックが符号化された場合の符号化データの情報量とさらに一致させることを特徴とする請求項３に記載の符号化プログラム。
5. 前記第２の画像ごとに符号化された符号化データの伝送に異なる通信プロトコルを用いるか、または、前方誤り訂正あるいは再送制御を付加することにより、各符号化データの間で送信方法を変更することを特徴とする請求項１〜４のいずれか１つに記載の符号化プログラム。
6. 第１の画像を取得する処理と、
   前記第１の画像の水平および垂直の方向ごとに当該第１の画像に含まれる画素を所定数おきに抽出することにより第１の画像を複数の第２の画像に分離する処理と、
   分離された第２の画像ごとに符号化を行う処理と
   がコンピュータにより実行されることを特徴とする符号化方法。
7. 第１の画像を取得する取得部と、
   前記第１の画像の水平および垂直の方向ごとに当該第１の画像に含まれる画素を所定数おきに抽出することにより第１の画像を複数の第２の画像に分離する分離部と、
   分離された第２の画像ごとに符号化を行う符号化部と
   を有することを特徴とする符号化装置。
8. 第１の画像の水平および垂直の方向ごとに当該第１の画像に含まれる画素を所定数おきに抽出することにより前記第１の画像が分離された複数の第２の画像ごとに当該第２の画像の符号化データを取得する処理と、
   前記複数の第２の画像ごとに前記符号化データを復号化する処理と、
   復号化された複数の第２の画像を統合することにより前記第１の画像を生成する処理と
   をコンピュータに実行させることを特徴とする復号化プログラム。
9. 前記複数の第２の画像のうちいずれかの第２の画像に画素値が欠損した欠損画素が存在する場合、前記欠損画素が存在しない第２の画像上で前記欠損画素の近傍に対応する近傍画素が持つ画素値を参照して前記欠損画素の画素値を補間する処理を前記コンピュータにさらに実行させることを特徴とする請求項８に記載の復号化プログラム。
10. 第１の画像の水平および垂直の方向ごとに当該第１の画像に含まれる画素を所定数おきに抽出することにより前記第１の画像が分離された複数の第２の画像ごとに当該第２の画像の符号化データを取得する処理と、
    前記複数の第２の画像ごとに前記符号化データを復号化する処理と、
    復号化された複数の第２の画像を統合することにより前記第１の画像を生成する処理と
    がコンピュータにより実行されることを特徴とする復号化方法。
11. 第１の画像の水平および垂直の方向ごとに当該第１の画像に含まれる画素を所定数おきに抽出することにより前記第１の画像が分離された複数の第２の画像ごとに当該第２の画像の符号化データを受信する受信部と、
    前記複数の第２の画像ごとに前記符号化データを復号化する復号化部と、
    復号化された複数の第２の画像を統合することにより前記第１の画像を生成する統合部と
    を有することを特徴とする復号化装置。

Images