以下、本発明の一実施の形態を図面を参照しつつ説明する。
<第1実施形態>
図1は、第1実施形態としての映像データ伝送システム1の構成例を示すシステム構成図である。
映像データ伝送システム1は、送信装置3、伝送路4及び受信装置5を備えている。装置2は、例えば、DVD(Degital Versatile Disk)などのディスクの情報の再生及び記録の少なくとも一方が可能なディスク再生装置などであり、HDMIなどの一般的な映像信号を出力する装置である。送信装置3は、装置2などの映像出力装置の外部に接続されている映像信号送信機である。なお、この送信装置3は映像出力装置内に内蔵されている形態であっても良い。この送信装置3は、装置2から入力された映像信号(例えばHDMI信号)を、映像を構成する各フレームの表示に用いる各フレームデータとして伝送路4に送信する機能を有する。
伝送路4は、これら送信装置3と受信装置5とを接続する信号線である。この伝送路4は、有線のみならず無線によってデータ通信をする場合における伝送路であっても良い。このようなフレームデータとしては、例えば動画像を構成する各フレームや静止画像などの表示に用いるフレームデータ、音声などの音データを例示することができる。本実施形態では、一例として映像データを挙げて説明する。
一方、受信装置5は、例えば液晶ディスプレイ、プラズマディスプレイ、有機ELを用いたディスプレイなどの表示装置6(以下「ディスプレイ」という)の外部に接続する受信器である。なお、この受信装置5は表示装置6内に内蔵される形態も考えられる。この受信装置5は、伝送路4からフレームデータを受信し、例えばHDMI等の一般的な映像信号を出力する機能を有する。
図2は、図1に示す映像データ伝送システム1の一部を詳細に表したブロック図である。
送信装置3は、入力された映像データ15を伝送路4の特定周波数帯域の伝送チャンネルに出力する機能を有する。この映像データ15は、例えば、HDMI等の規格で定められた非圧縮の映像データである。つまり、この映像データ15に基づく映像は、多数のフレーム(以下「フレーム群」という)によって構成されている。
この送信装置3は、上記映像出力装置から入力された映像データ15を、例えば非圧縮の映像データのまま特定周波数帯域の伝送チャンネルに送出する機能を有する。具体的には、この送信装置3は、フレーム間引き部11及び送信部12を有する。
本実施形態では、映画等で使われている単位時間あたり24枚のフレームを含む映像を、単位時間あたり60枚に変換するために、あるフレームをさらにもう1回使用して合計2枚に増やすとともに、次のフレームをさらにもう2回使用して合計3枚に増やすということを繰り返して、フレーム数を増加させた映像データ15が入力された場合について例示する。本実施形態では、このように映画等の素材のフレーム数を調整することを「2−3プルダウン処理」と呼ぶ。
入力映像データ15としては、上記2−3プルダウン処理を行った後の単位時間あたりに60枚のフレームの表示に用いる60個のフレームデータを採用している。
フレーム間引き部11(フレーム間引き手段)は、予め設定された規則に従って特定フレームを間引きする機能を有する。本実施形態では、フレーム間引き部11が、映像を構成するフレーム群から、例えば1フレームごとに特定フレームを間引きしている。
送信部12(送信手段)は、残存フレームの表示に用いるフレームデータを伝送路4を介して送信する。この送信部12は、各フレームごとのフレームデータに分けて特定周波数帯域に対応した伝送チャンネルに送出している。
また送信部12(間引き信号送信手段)は、間引き済みの特定フレームに対応して、その特定フレームが間引きされたことを示す情報(例えばフレームリピートフラグを「1」と設定)を伝送路4に送信している。このように特定フレームを間引きすべきタイミングでフレームの間引きを行った場合、その間引き対象のフレームデータの代わりに、フレームリピートフラグを「1」と設定して送出する(フレームリピート信号を送出する)。
一方、受信装置5は、受信部18及びフレーム挿入補間部13を有する。
受信部18(受信手段)は、送信部12によって送信されたフレームデータを伝送路4を経由して受信する機能を有する。具体的には、受信部18は、送信装置3から伝送チャンネルに送出されたフレームデータを受信する。なお、ここで復元される1秒あたりのフレームデータの数は、上述のように2−3プルダウン処理を行った後のフレーム数(例えば60枚)に対応したものとなっている。
フレーム挿入補間部13(フレーム補間手段)は、受信部18によって受信された各フレームデータに基づく各フレームのうち、上述した間引き済みの特定フレームを補間する機能を有する。
具体的には、フレーム挿入補間部13は、受信部18によって受信されたフレームリピートフラグが「1」である場合、前フレームと後フレームとの間に前フレーム(以下「補間フレーム」ともいう)を挿入する。つまり、映像を構成するフレーム群のうち間引きされるフレームがある場合には、その間引きされる前のフレームと同一のフレームを再度用いることになる。なお本実施形態では、便宜上、補間フレームに前フレームを使用する場合を説明したが、使用するフレームは、前フレームに限らず、後フレームを使用しても良いし、前フレームと後フレームから補間フレームを新しく創出して補間フレームとしても良い。
フレーム挿入補間部13は、受信部18によって受信されたフレームデータのみならず、上述のような補間フレームの表示に用いるフレームデータを含めて、映像データ19を、上記ディスプレイ6の表示用として例えばHDMI信号として出力する。
第1実施形態としての映像データ伝送システム1の概要は以上のような構成であり、次に図1及び図2を用いつつ映像データ伝送システム1の動作例について説明する。
図3は、映像データ伝送システム1による送信処理の一例を示すフローチャートである。
ステップS1では、送信装置3に入力された映像データ15に基づいて、フレーム間引き部11が、各フレームデータを1つずつ取り込みを行う。フレーム間引き部11は、対象フレームが、映像を構成するフレーム群のうち最初のフレームから数えて偶数回目のフレームであるか否かを判断する(ステップS2)。
フレーム間引き部11は、対象フレームが偶数回目のフレームでない場合、こフレームリピートフラグを「0」とし、フレームデータをそのまま出力する。一方、フレーム間引き部11は、この対象フレームが偶数回目のフレームである場合、このフレームについて間引きを行うべく、フレームリピートフラグを「1」とする(ステップS4)。なお、このフレームリピートフラグは、「1」とした場合にはフレームを間引きすることを示し、「0」とした場合にはフレームを間引きしないこと(上述のようにそのまま出力すること)を示している。次にステップS5では、送信部12が、フレーム間引き部11から受け取ったフレームデータを、伝送路4の特定周波数帯域に対応した伝送チャンネルに送出する。
図4は、映像データ伝送システム1による受信処理の手順の一例を示すフローチャートである。
まず、ステップS41では、受信部18が、伝送チャンネル(伝送路4のこと)からデータなどを受け取る。ステップS42では、フレーム挿入補間部13が、受信したデータなどに基づいてフレームリピートフラグを参照する。さらにステップS42では、このフレーム挿入補間部13が、フレームリピートフラグが「1」であるか否かを判断する。なお、フレームリピートフラグが「1」である場合には、フレームの間引きがあったことを示している。
フレーム挿入補間部13は、フレームリピートフラグが「1」である場合、前フレームと後フレームとの間に前フレームを挿入する(ステップS44)。一方、フレーム挿入補間部13は、フレームリピートフラグが「0」である場合、受信部18によって受信されたフレームデータを用いる(ステップS43)。
図5(A)〜図5(C)は、各々、図3及び図4のフローチャートに従って各フレームデータが処理される一例を示す図である。なお図5(A)などでは、例えば10枚のフレームを処理する場合を例示している。
まず図5(A)などでは、以下のような表現方法を採用している。具体的には、図5(A)などでは、上方から下方に進むにつれて時間が経過していくものとする。また、図5(A)は、送信装置3に入力される入力データ(フレームデータ)が表す各フレームの表示内容の一例を示しており、図5(B)は、伝送路4の送信データが表す各フレームの表示内容の一例を示しており、図5(C)は、受信装置5の出力データが表す各フレームの表示内容の一例を示している。以下、図5(A)などにおいて、以上のような表現方法を採用して説明する。
本実施形態では、フレーム間引き部11(交互間引き手段)が、映像を構成するフレーム群から1フレームごとに特定フレームを間引きしている。
具体的には、図5(A)に示す入力データでは、第1フレーム31(奇数回目フレーム)が偶数回数目ではないことから、この第1フレーム31(例えば「A」)の表示に用いるフレームデータをそのまま出力する。従って図5(B)に示す送信データでは、第1フレーム31のままとなる。そして受信装置5の出力では、図5(C)に示す第1フレーム31(例えば「A」)となる。なお、図5(C)おける第1フレーム31などが、図5(A)及び図5(B)と1段ずれているのは、例えば、フレームデータを受信し終わった後に、受信したフレームデータに基づくフレームを表示するためである。
次に図5(A)に示す入力データでは、第2フレーム32(偶数回目フレーム)が偶数回目であることから、この第2フレーム32の表示に用いるフレームデータの代わりに、フレームリピートフラグが「1」となる(つまりこの第2フレーム32の間引きを行うことを示す)。従って図5(B)に示す送信データでは、フレームリピート41となる。そして受信装置13の出力は、フレームの補間がされ、図5(C)に示す第2フレーム32(表示内容は「A」)となる。第3フレーム33〜第10フレーム40については、各々、フレーム挿入補間部13が、上記と同様の手法で、必要に応じて該当するフレームにおいて、フレームの間引き処理を行う。
上記実施形態における映像データ伝送システム1は、映像を構成する各フレームの表示に用いる各フレームデータを伝送路に送信する送信装置3と、上記伝送路4から上記フレームデータを受信する受信装置5とを有する映像データ伝送システム1において、上記送信装置3は、所定の規則に従って特定フレームを間引きするフレーム間引き手段11(フレーム間引き部)を備え、上記受信装置5は、上記間引かれた特定の対象フレームのタイミングで、間引かれたフレームに対応して補間されたフレームデータを出力するフレーム補間手段13(フレーム挿入補間部)を備える。
また、上記実施形態における映像データ伝送システム1は、予め設定された規則に従って特定フレームを間引きするフレーム間引き手段11(フレーム間引き部)と、上記間引かれた特定フレームのデータ送信時に、間引かれた事を意味する信号を上記伝送路4に送信して、上記間引かれた特定フレームに用いるフレームデータは送信しないことを特徴とする送信手段12(送信部)とを備え、上記受信装置5は、上記送信手段12によって送信された、上記間引かれた事を意味する信号(フレームリピート信号)を上記伝送路4を経由して受信する受信手段18(受信部)と、上記受信手段18によって上記間引かれた事を意味する信号を受信した場合に、直前のフレームと同じフレームを繰り返し挿入するフレーム補間手段13(フレーム挿入補間部)とを備える。なお、このフレーム補間手段13は、直前のフレームを繰り返し挿入することに限らず、直後のフレームと同一のフレームを挿入しても良いし、間引かれた前後のフレームを使って新たなフレームを内挿補間しても良い。
すなわち、上記実施形態における映像データ伝送システム1においては、上記フレーム補間手段13が、上記フレーム間引き手段11によって上記対象フレームが間引かれたときに、上記対象フレームの直前のフレームと同一のフレームを挿入するか、上記対象フレームの直後のフレームと同一のフレームを挿入するか、もしくは、間引かれた前後のフレーム情報を使って新たなフレームを内挿補間することを特徴とする。
このようにすると、送信装置3が、間引きされた対象フレームに関するフレームデータを伝送路4に送信する必要がなくなるため、この伝送路4におけるデータ量を低減することができる。
上記実施形態における映像データ伝送システム1は、映像を構成する各フレームの表示に用いる各フレームデータを伝送路4に送信する送信装置3と、その伝送路4からフレームデータを受信する受信装置5とを有し、この送信装置3は、予め設定された規則に従って特定フレームを間引きするフレーム間引き手段11(フレーム間引き部)と、残存フレームの表示に用いるフレームデータを上記伝送路4を介して送信する送信手段12(送信部)とを備え、上記受信装置5は、その送信手段12によって送信されたフレームデータをこの伝送路4を経由して受信する受信手段18(受信部)と、この受信手段18によって受信された各フレームデータに基づく各フレームのうち、その間引き済みの特定フレームの前後を構成する前フレーム31(第1フレームなど)と後フレーム(第3フレームなど)との間に、この前フレーム(第1フレーム31など)を補間するフレーム補間手段13(フレーム挿入補間部)とを備えることを特徴とする。
上記実施形態における映像データ伝送システム1は、送信装置3が、映像を構成する各フレームの表示に用いる各フレームデータを、伝送路4を介して受信装置5に送信する映像データ伝送方法において、予め設定された規則に従って特定フレームを間引きするフレーム間引きステップと、その特定フレームを除く残存フレームに対応した送信タイミングにて、その残存フレームの表示に用いるフレームデータをその伝送路4に送信する送信ステップとを実行し、その受信装置5では、その送信ステップで送信されたフレームデータを伝送路4を経由して受信する受信ステップと、この受信ステップで受信された各フレームデータに基づく各フレームのうち、その間引き済みの特定フレームの前後を構成する前フレームと後フレームとの間に、その前フレームを補間するフレーム補間ステップとを実行する。
まず、例えば映画を素材とする映像データを考えた場合には、この映画は1秒あたり24枚のフレームを表示して映像を構成しているが、ディスプレイ6では1秒あたり60枚のフレームを表示して映像を構成することになる。
ここで、映像出力装置2内にある2−3プルダウン処理を行うフレーム数調整手段が、映像を構成すべき各フレームと同一のフレームを繰り返し用いることでフレーム数を増やして調整した場合(2−3プルダウン処理)、ディスプレイ6による映像の表示に対応できるものの、データ通信量が増加してしまう。
しかしながら第1実施形態では、フレーム間引き手段11(フレーム間引き部)が、フレーム数を間引きしているため、送信部12は、フレーム群に含まれる全てのフレームに対応したフレームデータを伝送路4に送出しなくてもよい。このため、伝送路4ではデータ通信量の増加が抑制され、フレームデータ群の伝送にかかる負担が軽減される。
しかもフレーム補間手段13(フレーム挿入補間部)は、受信手段18(受信部)によって受信された各フレームデータに基づく各フレームのうち、間引き済みの特定フレーム(第2フレーム32)の前後を構成する前フレーム(第1フレーム31)と後フレーム(第3フレーム33)との間に、前フレーム(第1フレーム31)を補間するため、フレーム数は、上述した映画の映像データに対応可能な1秒あたり60枚となる。このようにすると、ディスプレイ6は、見た目上、それほどの画質の低下なく、この映像データに基づいて映像を表示することができる。特に、映像の表示内容に急激な変化がない場合には、少々フレームが差し変わっても見た目上、映像の画質がそれ程変わらない。
また、上記実施形態における映像データ伝送システム1においては、上記構成に加えてさらに、上記送信装置3が上記伝送路4に送信する映像の各フレームデータは、非圧縮のフレームデータもしくは、圧縮されたフレームデータであることを特徴とする。
また、上記実施形態における映像データ伝送システム1においては、上記構成に加えてさらに、上記フレーム間引き手段11(フレーム間引き部)は、所定の周期(間隔)で対象フレームを間引きすることを特徴とする。このような構成とすると、送信装置3が伝送路4に送信するデータ量を低減することができる。
また、上記実施形態における映像データ伝送システム1においては、上記構成に加えてさらに、送信部12は、フレーム間引き手段11(フレーム間引き部)によって間引き済みの特定フレームに対応する本来の送信タイミングにて、その特定フレームが間引きされたことを示すフレーム間引き信号(例えばフレームリピートフラグが「1」)を伝送路4に送信することを特徴とする(間引き信号送信手段)。
このような構成とすると、送信装置3が、この特定の対象フレームを送信する代わりにフレームリピート信号を出力すれば良いため、伝送路4に送信するデータ量を低減することができる。
そしてフレーム挿入補間部13は、受信手段18(受信部)によってフレーム間引き信号(フレームリピートフラグ)が受信された場合、前フレーム(第1フレーム31)と後フレーム(第3フレーム33)との間に前フレーム(第1フレーム31)を挿入している。
このような構成によれば、フレーム補間手段(フレーム挿入補間部13)は、フレーム間引き信号(例えばフレームリピートフラグが「1」)に基づいて、正確かつ確実に、間引き済みのフレーム間(例えば第1フレーム31及び第3フレーム33の間)に、間引き直前のフレーム(第1フレーム31)を補間することができる。このため、例えばディスプレイ6は、受信手段18(受信部)によって受信済みのフレームデータ及び、補間されたフレームデータを用いて乱れなく映像を表示することができる。
また、上記実施形態における映像データ伝送システム1においては、上記構成に加えてさらに、フレーム間引き部11(フレーム間引き手段)は、映像を構成するフレーム群から1フレームごとに特定フレームを間引きする交互間引き手段を備えることを特徴とする。なお本実施形態では、便宜上、2フレーム毎に1フレーム間引きした例を示したが、このような2フレーム毎に限らず、複数フレーム毎に数フレーム間引くなどとしても良い。
このような構成とすると、送信装置3と受信装置5との間の伝送路4におけるデータ通信量を確実に低減させることができる。また、例えば映像の表示内容がさほど変化しない場合には、ディスプレイ6は、受信装置5によって受信されたフレームデータ群及び補間されたフレームデータによって、表示する映像の画質がさほど低下しない。
<第2実施形態>
第2実施形態では、第1実施形態とほぼ同様の構成でありほぼ同様の動作であることから、同一の構成及び動作については第1実施形態における図1乃至図5と同一の符号を用いるとともに、その説明を省略し、以下の説明では異なる点を中心として説明する。
図6は、第2実施形態としての映像データ伝送システム1aの一部を詳細に表したブロック図である。
第2実施形態では、第1実施形態における送信装置3のフレーム間引き部11の構成に代えて、フレーム間引き部11aが設けられている点が異なっている。
このフレーム間引き部11aは、静止画像検出部21及び同一フレーム間引き部16を有する。このうち静止画像検出部21(同一フレーム検出手段)は、間引きを行うべきかについて判断する対象フレームと、その対象フレームの直前のフレームとを比較して表示内容が同一であるか否か(静止画像であったか否か)を検出する機能を有する。静止画像検出部21は、この検出結果を表す検出結果信号21aを同一フレーム間引き部16に出力する。ここでは、静止画像検出部21と表現したが、画面に大きな動きがない場合を検出(ほぼ静止していると判断)して、その直前のフレームを使用しても良い。
一方、フレーム間引き部11a(同一フレーム間引き手段)は、第1実施形態におけるフレーム間引き部11とほぼ同様の機能を有し、次の機能が異なっている。フレーム間引き部11aは、静止画像検出部21による検出結果信号21aに応じて、特定フレームを間引きを行う。つまりフレーム間引き部11aは、静止画像検出部21によって対象フレームと直前のフレームが同一である(静止画であった)と検出された場合、対象フレームを間引きしている。
図7は、映像データ伝送システム1による送信処理の一例を示すフローチャートである。なお、ステップS10以前の手続きは、第1実施形態における図3に示すステップS10以前の手続きと同様であるので、説明を省略する。
ステップS11では、静止画像検出部21が、同一フレーム間引き部16からそのフレームデータを受け取り、そのフレームデータ(に基づく対象フレーム)と、その直前のフレームデータ(に基づく直前のフレーム)とを比較する。
次にステップS12では、静止画像検出部21が両フレームが同一であるか否かを検出し、その検出結果を表す検出結果信号21aを出力する。同一フレーム間引き部16が検出結果信号21aに基づいて両フレームが同一でないと判断した場合には、ステップS13が実行される。このステップS13では。同一フレーム間引き部16は、そのフレームデータをそのまま送信部12に出力する。
一方、同一フレーム間引き部16がその検出結果信号21aに基づいて両フレームが同一であると判断した場合には、ステップS14が実行される。ステップS14では、同一フレーム間引き部16が対象フレームが偶数回目のフレームであるか否かを判断する。偶数回目の場合には、上記ステップS13を実行する。
一方、ステップS14にて対象フレームが偶数回目でないと判断された場合には、ステップS15では、同一フレーム間引き部16が、対象フレームについてフレームリピートフラグを「1」に設定する。次にステップS16では、送信部12が、同一フレーム間引き部16からのフレームリピートフラグに基づいて対象フレームの表示に用いるフレームデータを送信しないように設定することで、フレームの間引きを行う。次にステップS17では、送信部12が、フレームリピートフラグを含めた情報を伝送チャンネルに送出する。
ここで、偶数回目にフレームデータ(フレーム)を間引かない理由は、次のような理由によるものである。まず、静止画像の表示に用いる映像データが入力された場合に毎回フレームデータを間引いてしまうと、送信装置3が最初のフレームデータしか送信しないことになる。すると、この最初のフレームデータが送信された後に、受信装置5が、途中からフレームデータを受信しようとすると、いつまで経っても映像の表示に必要なフレームデータを受信できなくなってしまうことになる。このため、フレーム間引き部11が偶数回目にフレーム(フレームデータ)を間引かないようにして、受信装置5がいつまでもフレームデータを受信できなくなることを防ぐようにしているのである。
本実施形態では、連続して静止画像の表示に用いる映像データが入力された時に、便宜上、2フレーム毎に1フレーム間引きした例を示したが、後で例を示すように複数フレーム毎に数フレーム間引くなどしても良い。なお、受信装置5における受信処理は、第1実施形態における受信処理と同様であるため、詳細な説明を省略する。
図8(A)〜図8(C)は、各々図7のフローチャートに従って各フレームデータが処理される一例を示す図である。なお、図8(A)〜図8(C)の表現方法は、各々図5(A)〜図5(C)の表現方法とほぼ同様である。以下の説明においては、主として図5(A)〜図5(C)と異なる部分を中心として説明する。
例えば、図8(A)に示す入力データ(送信装置3aへの入力データ)では、第6フレーム36の表示内容が「C」である。その直前フレーム(第5フレーム35)の表示内容が「B」であり、第5フレーム35と第6フレーム36とでは、表示内容が異なることから、第6フレーム36の間引きが行われない。従って図8(B)に示す送信データでは、第6フレーム36のような表示内容(例えば表示内容が「C」)となっている(フレームリピート41にならない)。
すると、図8(C)に示す受信装置5の出力では、本来の表示内容である「C」を含むものとなり、第1実施形態とは異なり表示内容が正しくなる。つまり第1実施形態においては、受信装置5の出力では、図5(C)に示すように第6フレーム36aは表示内容が「C」であり、本来の表示内容となっていない。一方、第2実施形態では、その表示内容は、図8(C)に示す第6フレーム36のように「B」であり、本来の表示内容となる。
また第1実施形態においては、受信装置5の出力では、図5(C)示すように第8フレーム38aは表示内容が「D」であり、本来の表示内容となっていない。一方、第2実施形態では、その表示内容は、図8(C)に示すように第8フレーム36は表示内容が「C」であり、本来の表示内容となる。
また、図8(A)に示す入力データでは、第4フレーム34(4回数目のフレーム)の表示内容が「B」であるが、その直前のフレーム(第3フレーム33)の表示内容が「B」である。このため図8(B)に示す送信データでは、第4フレーム34がリピートフレーム41になる。この場合、図8(C)に示す受信装置の出力では、第3フレーム33の表示内容が第4フレーム34の表示内容として表示される。
また、図8(A)に示す入力データでは、第5フレーム35の表示内容が「B」であるが、この第5フレーム35(5番目のフレーム)が奇数回目のフレームであるため、図8(B)に示す送信データでも、第5フレーム35の表示内容が「B」となる。従って受信装置5の出力にも、第5フレーム35の表示内容が「B」となる。
上記実施形態における映像データ伝送システム1においては、第1実施形態の構成に加えてさらに、上記フレーム間引き手段11aは、間引きを行うべきかについて判断する対象フレームと、上記対象フレームの直前のフレームとを比較して表示内容が同一、もしくは、ほぼ同一であるか否かを検出する同一フレーム検出手段21(静止画像検出部)を備え、上記同一フレーム検出手段によって上記対象フレームと上記直前のフレームが同一もしくは、ほぼ同一であると検出された場合、所定の周期で対象フレームを間引きすることを特徴とする。
このような構成によれば、映像を構成するある対象フレームとその直前フレームとが同一若しくはほぼ同一である場合、送信装置3が、その同一又はほぼ同一とされた1枚の対象フレームについてフレームデータを送信する必要がなくなる。このため本実施形態では、間引きを行う対象フレームごとに1枚分のフレームのフレームデータ分、伝送路4のデータ通信量を低減することができる。このように本実施形態では、送信装置3が伝送路4の伝送チャンネルに送出するデータ量を減らすことができる。
上記実施形態における映像データ伝送システム1においては、第1実施形態の構成に加えてさらに、フレーム間引き部11(フレーム間引き部)は、間引きを行うべきかについて判断する対象フレームと、その対象フレームの直前のフレームとを比較して表示内容が同一であるか否か(静止画像であったか否か)を検出する同一フレーム検出手段21(静止画像検出部)と、同一フレーム検出手段21によってその対象フレームの直前のフレームとその対象フレームとが同一である(静止画であった)と検出された場合、対象フレームを間引きする同一フレーム間引き手段16(同一フレーム間引き部)とを備えることを特徴とする。
このような構成によれば、映像を構成するある対象フレームとその直前フレームとが同一である場合、送信装置3が、その同一とされた1枚の対象フレームについてフレームデータを送信する必要がなくなる。このため本実施形態では、間引きを行う対象フレームごとに1枚分のフレームのフレームデータ分、伝送路4のデータ通信量を低減することができる。しかも受信装置5においては、受信済みであって間引きされたフレーム間に、その間引き直前のフレームを挿入するため、これらフレームによって構成可能な映像は元々の映像と同一となる。さらに本実施形態では、このように送信装置3が伝送路4の伝送チャンネルに送出するデータ量を減らすことができる。
<第3実施形態>
第3実施形態では、第1実施形態及び第2実施形態とほぼ同様の構成でありほぼ同様の動作であることから、同一の構成及び動作については第1実施形態における図1乃至図5及び第2実施形態における図6乃至図8と同一の符号を用いるとともに、その説明を省略し、以下の説明では異なる点を中心として説明する。
第3実施形態における映像データ伝送システム1bでは、その送信処理において第2実施形態における図7の送信処理におけるステップS14の処理を偶数回目のフレームであるか否かの判断ではなく、3n(nは整数)回目であるか否かを判断する点を除いて、第2実施形態と同様の動作を行う。つまりフレーム間引き部16は、静止画像検出部21から対象フレームがその直前フレームと連続して静止画像として検出された場合に、3フレームおきに、元のフレームデータを伝送することになる(フレームリピートフラグ「1」が連続するのは、2回までという制限になる)。このようにすると、各フレームは次のようになる。
図9(A)〜図9(C)は、各々、第3実施形態における送信処理のフローチャート(図7においてステップS14を除いたフローチャートに相当)に従って各フレームデータが処理される一例を示す図である。なお、図9(A)などの表現方法は、各々、図5(A)などの表現方法と同様である。
従って第3実施形態では、第2実施形態とは異なり、図5(B)に示すように送信データにおける第5フレームに相当するフレームと第10フレームに相当するフレームがフレームリピート41となる。
このようにすると、第3実施形態では、送信装置3は、連続して静止画像として検出された場合に、3フレーム置きに、元のフレームデータを伝送することになる(フレームリピートフラグ「1」が連続するのは、2回までという制限)。このため本実施形態では、第2実施形態よりもさらに、送信装置3が伝送路4の伝送チャンネルに送出するフレームデータのデータ量を少なくし、伝送路4におけるデータ通信量を低減することができる。しかも受信装置5においては、受信済みであって間引きされたフレーム間に、その間引き直前のフレームを挿入するため、これらフレームによって構成可能な映像は元々の映像と同一となる。さらに本実施形態では、このように送信装置3が伝送路4の伝送チャンネルに送出するデータ量を減らすことができる。
<第4実施形態>
第4実施形態では、第3実施形態とほぼ同様の構成でありほぼ同様の動作であることから、同一の構成及び動作については図1乃至図9と同一の符号を用いるとともに、その説明を省略し、以下の説明では異なる点を中心として説明する。
図10は、第4実施形態における映像データ伝送システム1cの構成例を示すシステム構成図である。
第4実施形態としての映像データ伝送システム1cでは、第3実施形態とほぼ同様の構成であるが、送信装置3bにJPEG2000等の画像圧縮のためのコードデータ生成部25(以下、単に「コードデータ生成部25」という)が設けられているとともに、受信装置5aに復号部20が設けられている点が、第3実施形態とは異なっている。また、この映像データ伝送システム1cにおける送信装置3bは、第3実施形態における静止画像検出部21とほぼ同様の構成である静止画像検出部21bを備えている。ここでは、静止画像検出部21と表現したが、画面に全く変化がない場合を検出することのみならず、その代わりに、画面に大きな動きがない場合を検出(ほぼ静止していると判断)しても良い。
コードデータ生成部25は、送信装置3bにおいて、フレーム間引き部11aと送信部12との間に設けられている。この送信装置3bは、上記第3実施形態における送信装置3aとほぼ同様の構成である。コードデータ生成部25は、フレームデータを構成する基本データA1及び差分データA2,A3など(21c)を各々符号化する機能を有する。このコードデータ生成部25は、フレームデータに対していわゆるコンポーネント変換、ウェーブレット変換、量子化、ビットモデリング及び算術符号化などの処理を行う。
静止画像検出部21bは、第3実施形態までの静止画像検出部21のように隣り合うフレーム同士が静止画像を構成しているか否かを検出する機能を有する。
ここで、本実施形態では、先のフレームの表示に用いるフレームデータを基本データA1と呼んでいる。このコードデータ生成部25は、フレームデータを構成する一部である基本データA1やその下位レイヤーに相当するデータA2,A3などを符号化する。
コードデータ生成部25は、フレーム間引き部11からのフレームデータ31を、フレームごとにJPEG2000方式に従って符号化する機能を有する。本実施形態では、MotionJPEG2000方式を採用している。ここで、MotionJPEG2000方式は、時間的に連続する静止画像それぞれをフレームとして動画像を取り扱い、各フレームは前後のフレームとは独立にJPEG2000アルゴリズムにより符号化する符号化方式の一種である。従って、MotionJPEG2000方式の動画像の各フレームは、JPEG2000方式により符号化された静止画像と同様に取り扱うことができ、データが欠落する環境においても画像の乱れが複数のフレームで伝搬するなどの事象は生じない。
JPEG2000では、ある1つのフレームの表示に用いるフレームデータが1つとは限らず、例えばレイヤーごとに、基本データ(後述するA1など)やその下位のレイヤーに相当する差分データ23(後述するA2,A3など)のように分けることもできる。
この場合、このフレームは、少々解像度が良くないものの基本データに基づく上位レイヤーのみを使って復号化したものを表示とすることもできるし、この基本データに基づく上位レイヤーに、少なくとも1つの下位レイヤーを重ねて、いわゆるスケーラビリティのあるより高精細な表示内容とすることもできるのが特徴である。
このコードデータ生成部25は、このようなJPEG2000符号化方式を用いて各フレームデータを符号化し、送信部12に出力する。この送信部12は、符号化されたフレームデータをコードストリームにして伝送路4における特定周波数帯域の伝送チャンネルに送出する。
一方、復号部20は、受信装置5aにおいて、受信部18とフレーム挿入補間部13との間に設けられている。この受信装置5aは、第1実施形態〜第3実施形態における受信装置5とほぼ同様の構成である。この復号部20は、受信部18によって受信されたコードストリームにより構成された符号化済みのフレームデータを復号する。
図11は、第4実施形態における送信処理の手順例を示すフローチャートである。なお、図11に示すフローチャートでは、図7に示すフローチャートと同様の処理については同一の符号を付して説明を省略する。
第3実施形態における図7に示すようにステップS10〜ステップS12を実行した後、ステップS20では、対象フレームが偶数回目のフレームの場合には、第3実施形態と同様にステップS21が実行される。この場合、コードデータ生成部25は、同一フレーム間引き部16からのデータに基づいて符号化パケットデータを生成する(ステップS23)。
一方、対象フレームが偶数回目のフレームでない場合には、フレーム間引き部11が、フレームリピートフラグを「1」と設定する(ステップS22)。このフレームリピートフラグを「1」と設定すると、フレームの間引きを行うべき旨を示す設定である。
次にステップS23では、コードデータ生成部25が、フレームリピートフラグが「1」であることに基づいて、符号化パケットデータを生成する。そして送信部12は、この符号化パケットデータをコードストリームとして伝送路4における特定周波数帯域の伝送チャンネルに送出する。
受信装置5における受信処理では、図4に示す受信処理の前に復号化処理を実行した後に、図4に示す受信処理を実行する。なお、本実施形態における受信処理は、第1実施形態における受信処理とほぼ同様であるので、その説明を省略する。この復号化処理では、復号部20が、受信部18によって受信されたフレームデータを上述したJPEG2000方式に従って復号化し、フレームデータとする。
図12(A)〜図12(C)は、図11のフローチャートに従って各フレームデータが処理される一例を示す図である。なお図12においては、表示内容「A」などはフレームの表示内容を示している。また「A1」などは、表示内容「A」などのフレームの表示に用いる符号化後のフレームデータを示している。また「A’」などは、復号化後のフレームの表示内容を表している。ここで、図12(A)〜図12(C)では、各々、各フレームが、例えば「A」という表示内容に「’」を付することで表示内容が「A’」となることは、例えば復号化時に非可逆であることを示している。
まず、図12(A)に示す入力データでは、第1フレーム31のように表示内容が「A」となっている。なお、「A」を符号化したフレームデータを(A1)と表現している。図12(B)に示す送信データでは、第1フレーム31を符号化したフレームデータA1となっている。つまりフレームの間引きが行われていない。受信装置5aの出力は、図12(C)に示すように第1フレーム31の表示内容が「A’」となる。なお、このように受信装置5の出力における第1フレーム31の表示内容が「A」ではなく、「A’」となっているのは復号化時に非可逆であることを示している。
また図12(A)に示す入力データでは、第2フレーム32のように表示内容が「A」となっている。図12(B)に示す送信データでは、第2フレーム32を符号化したフレームデータA1の代わりに、フレームリピートフラグが「1」という情報を送出する。従って、この場合にはフレームリピート41となる。つまりフレームの間引きが行われる。受信装置5aの出力は、図12(C)に示すように第2フレーム32の表示内容が「A’」となる。つまり図12(A)などに示すフレーム表示内容は、非可逆となる点を除いて、図8(A)などに示すフレーム表示内容とほぼ同様となる。
上記実施形態における映像データ伝送システム1においては、第1実施形態乃至第3実施形態のいずれかの構成に加えてさらに、フレームデータを符号化する符号化手段25(コードデータ生成部)を備え、受信装置5は、その符号化されたフレームデータを復号化する復号化手段20(復号部)を備えることを特徴とする。
このような構成によれば、第3実施形態の場合に比べて、各フレームデータをより小さなデータ通信量で伝送路4において伝送することができる。
上記各実施形態における映像データ伝送システム1cにおいては、上記フレームデータは符号化されており、各上記フレームデータは、そのフレームデータに基づくフレームの基本画像の表示に用いる基本データ(上位レイヤ)と、上記基本データとともに表示に用いることで、上記基本画像をより精細とした上記フレームの表示内容とする少なくとも1つの差分データ(下位レイヤ)とを備えることを特徴とする。
このような構成によれば、受信装置5では、差分データA2などの準備が間に合わない場合でも、暫定的に基本データA1を表示に用いさせることができる。
<第5実施形態>
第5実施形態では、第4実施形態とほぼ同様の構成でありほぼ同様の動作であることから、同一の構成及び動作については図1乃至図12と同一の符号を用いるとともに、その説明を省略し、以下の説明では異なる点を中心として説明する。
第5実施形態では、上記各実施形態の構成に加えてさらに、送信部12が、ある送信タイミング(元々はフレームデータを送信するタイミング)で基本レイヤデータ(基本データ)を送信した後に、次(若しくはそれ以降)の送信タイミングで差分データを送信する分割送信手段を備えている。
第5実施形態としての映像データ伝送システム1dは以上のような構成であり、次に図1〜図12を用いつつその動作例について説明する。
図13は、第5実施形態における送信処理の手順例を示すフローチャートである。
第5実施形態では、第4実施形態のようにステップS10〜ステップS12及びステップS21を実行するとともに、ステップS12において静止画像検出部21が対象フレームとその直前のフレームとが同一であると判断した場合、ステップS25が実行される。ここでは、同一であると判断した場合と表現したが、画面に大きな動きがない場合を検出(ほぼ静止していると判断)した場合に実行しても良い。
ステップS25からステップS26では、同一フレーム間引き部16が、この対象フレームが直前のフレームと同一であると判断した場合に3n(nは整数)回目であるか否かを判断する。対象フレームが3n回目のフレームであると判断された場合、ステップS21が実行される。このステップS21では、同一フレーム間引き部16は機能せず符号化された基本データを送出する。
同一フレーム間引き部16は、この対象フレームが3n回目のフレームではないと判断した場合に機能し、上述したフレームリピートフラグを「1」に設定する。さらに、3n+1の場合には上述したステップS27が実行され、符号化された差分データを送出する。一方、同一フレーム間引き部16は、この対象フレームが3n+2回目のフレームであると判断した場合(3nでも3n+1でもない場合)、上述したフレームリピートフラグを「1」に設定するのみとなる(ステップS22)。
ステップS23aでは、コードデータ生成部25が、基本データ、差分データ23及びフレームリピートフラグを符号化する。次に送信部12が、上記各実施形態と同様に、これらについてコードストリームとして伝送路4における特定周波数帯域の伝送チャンネルに送出する。
図14(A)〜図14(C)は、各々、第5実施形態における各フレームの構成例を示す図である。なお、図14(A)などにおける表現方法は、図5(A)などにおける表現方法と同様である。なお図12においては、表示内容「A」などはフレームの表示内容を示している。また「A1」などは、表示内容「A」などのフレームの表示に用いる符号化後のフレームデータを示している。また「A’」などは、復号化後のフレームの表示内容を表している。ここで、図14(A)〜図14(C)では、各々、各フレームが、例えば「A」という表示内容に「’」を付して表示内容が「A’」となることは、例えば復号化時に非可逆であることを示している。
図14(A)に示すように入力データにおける第1フレーム31などは、各々、その表示内容を「A」と表現している。なお、「A」を符号化したフレームデータを、基本データA1及び差分データA2などと表現している。この場合、図14(B)に示す送信データとしては、第1フレーム31の送信タイミング時に基本データA1が送信され、次に第2フレーム21の送信タイミング時にフレームリピートフラグを「1」に設定すると共に差分データA2が送信される。図14(A)に示す第3フレーム33、第6フレーム36及び第8フレーム38についても同様に、図14(B)に示すように基本データB1など及び差分データB2などが別々の送信タイミングで送信されることを示している。なお図14(B)に示す送信データでは、第5フレーム35及び第10フレーム40に相当するフレームにフレームリピート41が送信されている。
上記実施形態における映像データ伝送システム1dにおいては、第4実施形態の構成に加えてさらに、送信手段12(送信部)は、ある送信タイミングで上記基本データA1を送信した後に、次の送信タイミングで上記差分データA2などを送信する分割送信手段を備えていることを特徴とする。復号部20では、上記基本データA1と差分データA2などから復号することを特徴とする。
第5実施形態によれば、伝送路4に伝送されるはずであったフレームデータのデータ通信量を低減できた分を、残されたフレームデータに割り当てることができ、結果的に、表示される映像の画質は向上する。つまり、1枚のフレームに用いることができる符号化されたフレームデータ量をより多くすることができ、このようなフレームデータに基づく画質の向上に寄与することができる。
<第6実施形態>
第6実施形態では、第5実施形態とほぼ同様の構成でありほぼ同様の動作であることから、同一の構成及び動作については図1乃至図14と同一の符号を用いるとともに、その説明を省略し、以下の説明では異なる点を中心として説明する。
第6実施形態では、第5実施形態とは異なり、送信部12(組み合わせ送信手段)は、ある送信タイミングにて、基本データA1などと少なくとも1つの差分データA2などの組み合わせを送信した後に、次の送信タイミングにて、この基本データA1などと少なくとも1つの他の差分データA3などの組み合わせを送信している(組み合わせ送信手段)。なおフレームデータは、基本データA1など及び複数の差分データA2,A3などを含んでいる。具体的には次のようになっている。
図15(A)〜図15(C)は、各々、第6実施形態における各フレームの状態の一例を示す図である。なお、図15(A)などの表現方法は、各々、図5(A)などにおける表現方法と同様である。
図15(A)に示すように入力データにおける第1フレーム31は、その表示内容が「A」である場合を「A」と表現している。なお、「A」を符号化したフレームデータを、基本データA1及び差分データA2、A3などと表現している。つまり表示内容「A」に関するデータは、3つのデータに符号化されている。
この場合、図15(B)に示す送信データにおける第1フレーム31の送信タイミングでは、基本データA1と差分データA2との組み合わせが送信されるようになっている。次に送信データにおける第2フレーム21の送信タイミングでは、基本データA1と差分データA3との組み合わせが送信されるようになっている。
以下、第3フレーム33〜第5フレーム35、第6フレーム36〜第7フレーム37及び第8フレーム38〜第10フレーム40についても、各々同様に基本データB1と差分データB2との組み合わせの後に、基本データB1と差分データB3との組み合わせを送出し、基本データC1と差分データC2との組み合わせの後に、基本データC1と差分データC3との組み合わせを送出し、基本データD1と差分データD2との組み合わせの後に、基本データD1と差分データD3との組み合わせを送出するというように同様の処理がなされる。
上記実施形態における映像データ伝送システム1eにおいては、フレームデータは、基本データA1及び複数の差分データA2,A3などを含み、送信手段12(送信部)は、ある送信タイミングにて、基本データA1と少なくとも1つの差分データA2などとの組み合わせを送信した後に、その次の送信タイミングにて、この基本データA1と少なくとも1つの他の差分データA2などとの組み合わせを送信する組み合わせ送信手段を備えることを特徴とする。
第6実施形態によれば、受信側がフレームリピートの方式に対応していない場合でも毎フレーム毎に基本データ(A1、B1など)を受信することが出来るため、破綻無く受信することが出来る。一方、受信側がフレームリピート方式に対応している場合においては、受信手段18(受信部)が基本データA1、差分データA2及び差分データA3などより多くの情報から復号することができるため、より高精細に暫定的な映像の表示に用いることができる。
なお、本実施形態は、上記に限られず、種々の変形が可能である。
また、上記実施形態では、映像入力信号を2−3プルダウン処理を行ったデータとして説明しているが、これに限らず、その他の映像信号でも良い。上記実施形態は、入力される映像データに静止画像を多く含んでいる場合に、より効果が大きくなる。