JP2010081140A - 動画伝送システム - Google Patents
動画伝送システム Download PDFInfo
- Publication number
- JP2010081140A JP2010081140A JP2008245259A JP2008245259A JP2010081140A JP 2010081140 A JP2010081140 A JP 2010081140A JP 2008245259 A JP2008245259 A JP 2008245259A JP 2008245259 A JP2008245259 A JP 2008245259A JP 2010081140 A JP2010081140 A JP 2010081140A
- Authority
- JP
- Japan
- Prior art keywords
- frame data
- data
- moving image
- divided
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】動画データの伝送に使用可能な周波数帯域が狭い場合でも、品質を低下させることなく動画データを伝送することが可能な動画伝送システムを提供することにある。
【解決手段】動画伝送システムは、伝送する動画データに対して分割処理と圧縮処理を実行する。分割処理は、動画データに含まれる複数のフレームデータそれぞれをフレームデータによるフレームFの所定領域Aの画像を表す複数の分割フレームデータに分割する処理である。圧縮処理は、分割処理で得られた複数の分割フレームデータに対して、分割フレームデータを単独で伸長可能な基準ピクチャに圧縮する第1の処理、または分割フレームデータを他の画像データとの差分よりなる差分ピクチャに圧縮する第2の処理のいずれか一方を、同一のフレームデータより分割された複数の分割フレームデータの少なくとも1つに第2の処理を行うという条件下で実行する処理である。
【選択図】図1
【解決手段】動画伝送システムは、伝送する動画データに対して分割処理と圧縮処理を実行する。分割処理は、動画データに含まれる複数のフレームデータそれぞれをフレームデータによるフレームFの所定領域Aの画像を表す複数の分割フレームデータに分割する処理である。圧縮処理は、分割処理で得られた複数の分割フレームデータに対して、分割フレームデータを単独で伸長可能な基準ピクチャに圧縮する第1の処理、または分割フレームデータを他の画像データとの差分よりなる差分ピクチャに圧縮する第2の処理のいずれか一方を、同一のフレームデータより分割された複数の分割フレームデータの少なくとも1つに第2の処理を行うという条件下で実行する処理である。
【選択図】図1
Description
本発明は、動画伝送システム、特にリアルタイムで動画を伝送する動画伝送システムに関するものである。
近年、防犯意識の向上により、訪問者(外来者)の顔を確認できる機能や不在時の訪問者の顔を録画できる機能などの利便性が評価され、インターホンシステム(住宅用インターホンシステム、ドアホンシステム)が普及してきている。このようなインターホンシステムとしては、人体を検出して報知することで住宅周辺の警戒を行い、住宅への侵入を未然に防止するための撮像装置を組み込んだものが提案されている。
このようなインターホンシステムは、セキュリティインターホンシステムとも呼ばれており、撮像部を有する撮像装置(カメラ装置)と、画像表示部を有する表示装置(モニタ装置)とを備えている。撮像装置は、撮像部で撮像された撮像画像を画像処理することにより撮像部の撮像範囲内に人が存在するか否かを判定する画像処理型の人体検出手段を備えている。当該人体検出手段で人を検出した場合、撮像装置は、撮像部で撮像された動画データを表示装置に伝送する。一方、表示装置は、撮像装置から伝送された動画データに基づいて映像を表示する。これによって、使用者の目で本当に侵入者がいたのか否かの確認作業を行うことができる。
ところで、動画データは、一般に大容量であるから、伝送時の負荷が大きい(伝送負荷が大きい)。そのため、動画データを伝送するにあたっては、動画データを可逆圧縮してデータサイズを小さくすることが一般的に行われている。
ここで、上述したようなインターホンシステムでは、リアルタイムで動画を伝送する必要がある。そのため、動画データの圧縮方法としては、例えば、動画データに含まれる複数のフレームデータそれぞれを、他のフレームデータとの依存関係がなく単独で伸長可能な形に圧縮する方法が提案されている(図9(a),(b)参照)。なお、図9(a)中のFは、フレームデータによるフレーム(静止画像)を示している。なお、以下の説明では、複数のフレームFを区別するために必要に応じて符号F1〜F8で表す。
しかしながら、上述したような単独で伸長可能に圧縮する方法では、圧縮前に比べて圧縮後のフレームデータのデータサイズをあまり小さくすることができない。そのため、十分に伝送負荷を低減することが難しかった。
そこで、フレームデータのデータサイズを小さくするために、他のフレームデータとの差分を利用することが提案されている。このようなものとしては、Iピクチャ(フレーム内符号化画像)と、Pピクチャ(順方向予測符号化画像)を利用したものがある。ここで、Iピクチャは、フレームデータを、他のフレームデータとの依存関係がなく単独で伸長可能な形に圧縮したものである。Pピクチャは、フレームデータを、時系列の前のフレームとの差分により表される形に圧縮したものである。
上述したような圧縮方法と同様の圧縮方法は、MPEG−2などで採用されている。Pピクチャは、Iピクチャとは異なり単独で伸長することはできないが、Iピクチャに比べて、データサイズを大幅に小さくすることができる。そのため、動画データの最初のフレームデータをIピクチャに圧縮し、後のフレームデータをPピクチャに圧縮すれば、データサイズを非常に小さくすることができる。
この他、動画データの圧縮方法としては、監視画像等の動画像を、画像内の領域の情報の重要度に合わせて帯域を圧縮して伝送する方法が提案されている(特許文献1参照)。
特開2000−333156号公報
ところで、Pピクチャを伸長するにあたっては、前のフレームデータを参照する必要がある。そのため、パケットロスなどが発生して画像が劣化した場合には、このような劣化の影響が、その後のフレームデータ全てに及んでしまい、表示される動画の品質が悪くなってしまう。
そこで、図10(a)に示すように、フレームデータを定期的にIピクチャに圧縮して伝送することで、画像の劣化を抑制する方法が採用されている。図10(a)では、Iピクチャに圧縮されるフレームFを「I」で表し、Pピクチャに圧縮されるフレームFを「P」で表している。また、フレームF1〜F4,F5〜F8それぞれが、GOP(Group of Picture)と呼ばれるIピクチャを1つ以上含むピクチャの固まりを構成している。
このような方法によれば、画像の劣化が後のフレームデータに及んでしまうことを、Iピクチャで止めることができる。しかしながら、Iピクチャを定期的に送信するので、比較的大きなデータが定期的に伝送されることになる(図10(b)参照)。
ここで、動画データの伝送に使用可能な周波数帯域が比較的狭い場合、Iピクチャを伝送するために長時間かかってしまう。そのため、表示中の動画に遅延が生じるおそれがある。したがって、表示する動画の品質を保障するためには、Iピクチャを十分な速度で伝送することができるだけの周波数帯域を確保する必要がある。そして、Iピクチャを十分な速度で伝送することができるだけの周波数帯域を確保できるのであれば、動画データの圧縮によるメリットは小さくなってしまう。
また、限られた周波数帯域しか使用できない場合に、遅延なく動画を再生するためには、バッファを利用することが考えられる。しかし、インターホンシステムなどのリアルタイム伝送が要求されるシステムにおいては、許容される伝送遅延時間が200ms〜400msといわれている。そうすると、バッファに蓄積することができるフレームデータの枚数も、フレームレートが30fpsとしても、6〜12枚程度である。そのため、十分なバッファリングが難しい。
また、特許文献1に示す方法によれば、動画データ全体のデータサイズを小さくすることは可能であるが、圧縮方式としては、IピクチャとPピクチャを利用するMPEGを採用している。そのため、上述したようにIピクチャの伝送に伴う問題は解決できていなかった。
本発明は上述の点に鑑みて為されたもので、その目的は、動画データの伝送に使用可能な周波数帯域が狭い場合でも、品質を低下させることなく動画データを伝送することが可能な動画伝送システムを提供することにある。
上記の課題を解決するために、請求項1の発明では、動画データを送信する送信装置と、送信装置が送信した動画データを受信する受信装置とを備え、送信装置は、動画データを得るための入力部と、入力部で得られた動画データに含まれる時系列順の複数のフレームデータそれぞれを圧縮することで動画データの圧縮を行う圧縮部と、圧縮部で圧縮されたフレームデータを時系列順に受信装置に送信することで圧縮部で圧縮された動画データの送信を行う送信部とを有し、受信装置は、圧縮部で圧縮された動画データを送信部より受信する受信部と、圧縮部で圧縮された動画データを伸長する伸長部と、動画データを表示する表示部とを有し、圧縮部は、上記複数のフレームデータそれぞれをフレームデータにより表されるフレームの所定領域の画像を表す複数の分割フレームデータに分割する分割処理と、分割処理で得られた複数の分割フレームデータそれぞれを圧縮する圧縮処理とを実行し、圧縮処理は、分割フレームデータを他のフレームデータにおける同じ所定領域の画像を表す分割フレームデータとの依存関係がなく単独で伸長可能な基準ピクチャに圧縮する第1の処理、または分割フレームデータを他のフレームデータにおける同じ所定領域の画像を表す分割フレームデータとの差分よりなる差分ピクチャに圧縮する第2の処理のいずれか一方を、同一のフレームデータより分割された複数の分割フレームデータの少なくとも1つに第2の処理を行う形で行う処理であることを特徴とする。
この発明によれば、フレームデータを圧縮するにあたっては、フレームデータを複数の分割フレームデータに分割するとともに、同一のフレームデータより分割された複数の分割フレームデータの少なくとも1つを差分ピクチャに圧縮する。そのため、動画データに含まれる複数のフレームデータの圧縮後のデータサイズを平均化することができ、かつ、フレームデータ全体を基準ピクチャに圧縮した場合よりも小さい値とすることができる。よって、動画データの伝送に使用可能な周波数帯域が狭い場合でも、圧縮のデータレートや、フレームレート、色数を低くせずに済み、品質を低下させることなく動画を伝送することが可能になる。
請求項2の発明では、請求項1の発明において、上記分割処理は、上記所定領域に、動画を見る人間が着目し易い特定の所定領域が含まれる形でフレームデータを分割する処理であり、上記圧縮処理において、特定の所定領域は、他の所定領域に比べて上記第1の処理を実行する比率が高く設定されていることを特徴とする。
この発明によれば、動画を見る人が着目し易い特定の所定領域では、他の所定領域よりも、基準ピクチャが挿入される比率を高くしているので、全体のデータサイズを小さくしながらも、違和感のない動画を表示することができる。
請求項3の発明では、請求項1の発明において、上記分割処理は、上記所定領域に、動画を見る人間が着目し易い特定の所定領域が含まれる形でフレームデータを分割する処理であり、上記圧縮処理において、特定の所定領域は、他の所定領域に比べて圧縮のデータレートが高く設定されていることを特徴とする。
この発明によれば、動画を見る人が着目し易い特定の所定領域では、他の所定領域よりも、圧縮のデータレートを高くしているので、全体のデータサイズを小さくしながらも、違和感のない動画を表示することができる。
請求項4の発明では、請求項1の発明において、上記圧縮処理において、上記複数のフレームデータにおける同じ所定領域については、上記第1の処理を所定回数の上記第2の処理を間に挟む形で実行し、上記所定回数は、いずれの上記所定領域においても等しく、同一のフレームデータより分割された複数の分割フレームデータのうち上記第1の処理が実行される分割フレームデータの数と上記第2の処理が実行される分割フレームデータの数との比は、いずれのフレームデータにおいても等しいことを特徴とする。
この発明によれば、時系列順の複数のフレームデータそれぞれの圧縮後のデータサイズをほぼ同じ大きさに揃えることができる。
請求項5の発明では、請求項1の発明において、上記圧縮処理において、上記複数のフレームデータにおける同じ所定領域については、上記第1の処理を所定回数の上記第2の処理を間に挟む形で実行し、上記所定回数は、いずれの上記所定領域においても等しく、同一のフレームデータより分割された分割フレームデータの数より大きいことを特徴とする。
この発明によれば、所定間隔で、同一のフレームデータより分割された複数の分割フレームデータの全てに対して第2の処理が行われるので、従来よりも平均伝送帯域を狭く(伝送に必要な周波数帯域の平均値を小さく)することができ、余った周波数帯域を動画伝送以外の用途(制御信号や音声信号の伝送など)に使用することができるようになる。
請求項6の発明では、請求項1〜5のうちいずれか1項の発明において、上記分割処理は、フレームデータを構成する走査線を基本単位として、当該フレームデータを、複数の分割フレームデータに分割する処理であることを特徴とする。
この発明によれば、フレームデータが、走査線を構成する画素列の画素値を順番に並べた形のデータ構造を有していることを利用し、走査線を基本単位としてフレームデータの分割を行うので、フレームデータの分割処理を容易に行うことができる。
請求項7の発明では、請求項1〜6のうちいずれか1項の発明において、上記圧縮部は、上記複数のフレームデータのうち時系列の最初のフレームデータについては、複数の分割フレームデータの全てに対して上記第1の処理を実行し、2番目以降のフレームデータについては、上記圧縮処理を実行することを特徴とする。
この発明によれば、1番目のフレームデータが伝送された時点から、動画データの表示が可能になる。
請求項8の発明では、請求項1〜6のうちいずれか1項の発明において、上記表示部は、フレームの複数の所定領域の全てに対して基準ピクチャを得るまでは、上記動画データの表示を行わないことを特徴とする。
この発明によれば、所定領域の画像全てに対して基準ピクチャを得るまでは、動画データの表示を行わないので、基準ピクチャを受信しておらず画像が乱れてしまう所定領域の画像を隠蔽することができる。
請求項9の発明では、請求項1〜6のうちいずれか1項の発明において、上記圧縮部は、上記複数のフレームデータのうち時系列の最初のフレームデータの上記分割フレームデータについて上記第2の処理を実行するにあたっては、予め設定された初期画像データを利用し、上記伸長部は、上記圧縮部で圧縮された上記最初のフレームデータを伸長するにあたっては、上記初期画像データを利用し、上記表示部は、上記最初のフレームデータから上記動画データの表示を行うことを特徴とする。
この発明によれば、初期画像データを利用して差分ピクチャを伸長することができるから、画質の劣化を抑制することができる。また、時系列の最初のフレームデータの全ての分割フレームデータの全てを基準ピクチャに圧縮しなくて済むから、狭い伝送帯域での伝送が可能になる。
本発明は、動画データの伝送に使用可能な周波数帯域が狭い場合でも、品質を低下させることなく動画データを伝送することが可能になるという効果を奏する。
(実施形態1)
以下に、本発明の動画伝送システムを、セキュリティインターホンシステム(以下、インターホンシステムと略す)に適用した例に基づいて説明する。
以下に、本発明の動画伝送システムを、セキュリティインターホンシステム(以下、インターホンシステムと略す)に適用した例に基づいて説明する。
このインターホンシステムは、図2に示すように、住宅の軒先に設置される撮像装置1と、住宅内(屋内)に設置される親機(インターホン親機)よりなる表示装置2と、住宅H外(屋外)に設置される不図示の子器(インターホン子器)とで構成されている。なお、撮像装置1および上記子器は表示装置2に伝送線により接続されている。また、上記子器は従来周知のものを採用することが可能であるから、上記子器の説明は省略する。
撮像装置1は、入力部10と、記憶部11と、圧縮部12と、送信部13と、処理部14とを主構成要素として備えている。
入力部10は、例えば、所定の撮像領域を撮像する機能を有する撮像部である。このような入力部10は、CCDイメージ・センサやCMOSイメージ・センサなどの固体撮像素子よりなる撮像素子(図示せず)と、当該撮像素子とともにカメラとしての機能を発揮するDSP(Digital Signal Processor)などの制御装置(図示せず)とを主構成要素として備えている。なお、撮像素子としてCMOSイメージ・センサを用いる場合、入力部10として、システム・オン・チップ(SoC)技術などを利用して撮像素子と制御装置とを一体に構成したワンチップカメラを用いることもできる。
入力部10の制御装置は、撮像素子の出力(電荷)を所定のフレームレート(例えば30fps)で取り込む。そして、制御装置は、取り込んだ撮像素子の出力に基づいて所定の形式(例えばYUV形式)のデジタル・データ、例えばRAWデータなどの生データ(未現像データ)を作成して出力する。このようにして、制御装置からは、撮像領域の画像を表すデジタル・データが順次出力される。そのため、入力部10によって、撮像領域の動画(動画像)を表す動画データ(動画生データ)を得ることができる。入力部10より得られる動画データは、時系列順の複数の生データにより構成されており、以下の説明では、動画データを構成する時系列順の生データ(すなわち動画データの1フレーム当たりのデータ)をフレームデータと呼ぶ。
記憶部11は、フラッシュメモリやSDRAM、SRAMなどの書き換え可能な記憶装置(ストレージ・デバイス)であり、主として入力部10で得た動画データの記憶(貯蔵)に使用される。
圧縮部12は、入力部10で得られた動画データを表示装置2に伝送するために、動画データの圧縮を行う。動画データの圧縮は、動画データを構成する時系列順の複数のフレームデータそれぞれを圧縮することにより行う。圧縮部12は、例えばマイクロコンピュータ(マイクロコントローラ、略称としてマイコン、広義にはCPUとも称される)であり、メモリに記憶されたプログラムをCPUで実行することにより上記の処理を実行する。なお、圧縮部12にはマイコンの他に専用のASIC(Application Specific Integrated Circuit)や、FPGA(Field Programmable Gate Array)、DSPなども利用できる。
上述の圧縮部12は、動画データを圧縮するにあたっては、分割処理と圧縮処理を実行する。以下、分割処理と圧縮処理について図1(a)を参照して詳細に説明する。
分割処理は、圧縮処理の前に行われる処理である。この分割処理では、圧縮部12は、フレームデータを、当該フレームデータにより表される静止画像であるフレームFの4つの所定領域Aそれぞれの画像を表す複数のデータ(以下、分割フレームデータという)に分割する。なお、以下の説明では、複数(図1(a)では8枚)のフレームFを区別するために必要に応じて時系列順にF1〜F8で表し、複数の所定領域Aを区別するために必要に応じてA1〜A4で表す。
本実施形態の場合、図1(a)における上下左右をフレームFの上下左右と規定すれば、所定領域A1はフレームFの左上の画像領域、所定領域A2はフレームFの右上の画像領域、所定領域A3はフレームFの左下の画像領域、所定領域A4はフレームFの右下の画像領域である。また、所定領域A1〜A4のサイズはいずれも同じである。したがって、上記圧縮処理によってフレームFは各々4等分される。なお、上記の例では、所定領域Aの一部が他の所定領域Aと重複しないように各所定領域Aを設定しているが、品質を確保するために一部が重複するように各所定領域Aを設定してもよい。
上述の分割処理は、複数のフレームデータそれぞれについて行われる。つまり、圧縮部12は、動画データに含まれる時系列順の複数のフレームデータそれぞれを、当該フレームデータにより表されるフレームFの所定領域Aの画像を表す複数の分割フレームデータに分割する。
圧縮処理は、分割処理によって1つのフレームデータより分割された複数の分割フレームデータそれぞれを圧縮することによって、フレームデータ全体の圧縮を行う処理である。したがって、圧縮処理で圧縮されたフレームデータ(圧縮フレームデータ)は、複数の圧縮された分割フレームデータ(圧縮分割フレームデータ)の塊である。
この圧縮処理では、圧縮部12は、第1の処理と第2の処理のいずれか一方の処理を分割フレームデータに対して実行することで、圧縮分割フレームデータを作成する。
第1の処理は、分割フレームデータを、例えばIピクチャ(フレーム内符号化画像)のような基準ピクチャに可逆圧縮(符号化)する処理である。基準ピクチャは、他のフレームデータ(例えば、圧縮対象の分割フレームデータがフレームF2の所定領域A1に対応する場合には、フレームF2に対して時系列の前後のフレームF1,3の所定領域A1に対応する分割フレームデータ)との依存関係がなく単独で伸長可能な静止画圧縮画像である。基準ピクチャへの圧縮方法は従来周知の方法(例えば、JPEGやIピクチャなどを得るための静止画圧縮方法)を採用することができるから詳細な説明は省略する。
このように第1の処理では、圧縮部12は、分割フレームデータを他のフレームデータにおける同じ所定領域Aの画像を表す分割フレームデータとの依存関係がなく単独で伸長可能な基準ピクチャに圧縮する。
第2の処理は、分割フレームデータを、例えばPピクチャ(順方向予測符号化画像)のような差分ピクチャに可逆圧縮する処理である。差分ピクチャは、分割フレームデータを他のフレームデータにおける同じ所定領域Aの画像を表す分割フレームデータ(例えば、圧縮対象の分割フレームデータがフレームF2の所定領域A1に対応する場合には、時系列においてフレームF2よりも前のフレームF1の所定領域A1に対応する分割フレームデータ)との差分より得られる動画圧縮画像である。差分ピクチャへの圧縮方法は従来周知の方法(例えば、Pピクチャを得るための動画圧縮方法)を採用することができるから詳細な説明は省略する。
このように第2の処理では、圧縮部12は、分割フレームデータを他のフレームデータにおける同じ所定領域Aの画像を表す分割フレームデータとの差分より得られる差分ピクチャに圧縮する。
本実施形態における圧縮処理では、第1の処理を周期的、すなわち、第1の処理を所定回数(本実施形態では3回)の第2の処理を間に挟む形で実行する。また、各所定領域Aにおける第1の処理の周期は等しく、かつ、同一のフレームデータより分割された複数の分割フレームデータの全てに対して第1の処理が実行されることがないようにしている。なお、図1(a)では、第1の処理が実行される所定領域Aを「I」で表し、第2の処理が実行される所定領域Aを「P」で表している。
このように、圧縮処理では、圧縮部12は、第1の処理または第2の処理のいずれか一方を、同一のフレームデータより分割された複数の分割フレームデータの少なくとも1つに第2の処理を行う形で実行する。したがって、圧縮部12で圧縮されたフレームデータでは、フレームFの複数の所定領域Aの少なくとも1つが差分ピクチャに圧縮されている。
例えば、フレームF1では、所定領域A1,A4に対応する分割フレームデータが基準ピクチャに圧縮され、所定領域A2,A3に対応する分割フレームデータが差分ピクチャに圧縮されている。フレームF2では、所定領域A2に対応する分割フレームデータが基準ピクチャに圧縮され、所定領域A1,A3,A4に対応する分割フレームデータが差分ピクチャに圧縮されている。フレームF3では、所定領域A3に対応する分割フレームデータが基準ピクチャに圧縮され、所定領域A1,A2,A4に対応する分割フレームデータが差分ピクチャに圧縮されている。フレームF4では、全ての所定領域Aに対応する分割フレームデータが差分ピクチャに圧縮されている。
ここで、図1(b)に示すように、一般に、差分ピクチャのデータサイズは基準ピクチャのデータサイズよりも小さくなる。そのため、図1(c)に示すように、フレームFを表すフレームデータの圧縮後のデータサイズは、フレームFの全ての所定領域A1〜A4に対応する分割フレームデータが基準ピクチャに圧縮された場合(フレームデータ全体を基準ピクチャに圧縮した場合)に比べて小さくなる。
上述したように圧縮部12では、同一のフレームデータより分割された複数の分割フレームデータの少なくとも1つが差分ピクチャに圧縮されることになる。そのため、圧縮部12による圧縮後のフレームデータ(圧縮フレームデータ)のデータサイズは、フレームデータ全体を基準ピクチャに圧縮した場合に比べて小さくなる。
送信部13は、圧縮部12で圧縮された動画データ(圧縮動画データ)を表示装置2に送信するための通信装置であり、圧縮部12で圧縮された動画データを符号化(伝送路符号化)して受信装置2に出力する。このような送信部13は、圧縮部12で作成された圧縮フレームデータを時系列順に送信することで圧縮動画データをリアルタイムで伝送する。
処理部14は、例えば、入力部10が順次出力する動画データのフレームデータに管理用の識別符号(例えばフレーム番号など)を付して記憶部11に記憶させる処理(記憶処理)を実行する。また、処理部14は、所定の時間間隔で、入力部10のフレームデータによるフレームに対象物(本実施形態では人)が写っているか否か(すなわち、入力部10の撮像範囲内に人が存在しているか否か)を判定する処理(検出処理)を実行する。このような検出処理は、例えば、入力部10より得たフレームデータに対して画像処理を行うことで実現可能であり、従来から種々の方法が提供されているから詳細な説明は省略する。処理部14は、検出処理において対象物を検出すると、対象物の検出時刻を含む所定期間内に入力部10より得られる動画データを表示装置2に送信する処理(送信処理)を実行する。当該送信処理では、圧縮部12に動画データの圧縮を開始させるとともに、送信部13に動画データの送信を開始させる。なお、処理部14には、例えばマイコンが利用される。
上述したように、撮像装置1は、表示装置2に動画データを送信する機能を有している。
一方、表示装置2は、撮像装置1が送信した動画データを受信して表示する機能を有している。このような表示装置2は、受信部20と、記憶部21と、伸長部22と、表示部23と、処理部24とを主構成要素として備えている。
受信部20は、撮像装置1より送信されてくる動画データを受信するための通信装置であり、送信部13より送信された圧縮動画データを示す信号を復号化(伝送路復号化)して順次出力する処理を実行する。
記憶部21は、記憶部11と同様に、フラッシュメモリやSDRAM、SRAMなどの書き換え可能な記憶装置である。
伸長部22は、受信部20で受信した圧縮動画データを伸長するためのものである。伸長部22は、圧縮フレームデータそれぞれを伸長することにより圧縮動画データの伸長を行う。具体的には、伸長部22は、圧縮分割フレームデータを分割フレームデータに伸長する処理(伸長処理)を実行する。また、伸長部22は、伸長処理で伸長した圧縮分割フレームデータ、すなわち分割フレームデータを結合してフレームデータを作成する処理(結合処理)を実行する。このように伸長部22は、伸長処理と結合処理とを行うことで、送信部13より送信されてくる圧縮フレームデータを伸長する。なお、伸長部22は、圧縮部12と同様に、マイコンや、ASIC、FPGA、DSPなどを主構成要素とすることができる。
表示部23は、液晶表示装置(LCD)やCRTなどの表示装置(図示せず)よりなる。表示部23は、伸長部22で伸長された圧縮フレームデータ、すなわちフレームデータによるフレームを時系列順に表示することによって、動画データ(動画データによる動画)を表示する(動画を再生する)。
処理部24は、例えば、受信部20で受信した圧縮動画データを記憶部21に録画する処理(録画処理)を実行する。また、処理部24は、受信部20で圧縮動画データを受信すると、当該圧縮動画データを表示部23に表示させる処理(表示処理)を実行する。この表示処理では、伸長部22に圧縮動画データの伸長を開始させるとともに、表示部23に動画データの表示を開始させる。このような処理部24は、処理部14と同様にマイコンが利用される。
次に、本実施形態のインターホンシステムの動作について説明する。
撮像装置1は、起動している間は、常時、入力部10により所定の撮像領域を所定のフレームレートで撮像する。入力部10で撮像されたフレームデータは、処理部14によって記憶部11に順次記憶される(記憶処理)。処理部14は、入力部10より得たフレームデータに基づいて上述の検出処理を行う。当該検出処理の結果、対象物が写っていると判定されると、処理部14は、圧縮部12に動画データの圧縮を開始させるとともに、送信部13に動画データの送信を開始させる(送信処理)。これによって、圧縮部12は、上述した分割処理および圧縮処理を実行し、送信部13は、圧縮フレームデータを順次出力することで圧縮動画データを表示装置2に送信する。
表示装置2では、受信部20により圧縮動画データが受信される。そうすると、処理部24によって圧縮動画データが記憶部21に録画される(録画処理)。また、処理部24は、伸長部22に圧縮動画データの伸長を開始させるとともに、表示部23に伸長部22で伸長された圧縮動画データ、すなわち動画データの表示を開始させる(表示処理)。これによって、伸長部22は、上述した伸長処理および結合処理を実行し、表示部23は、伸長部22によって伸長された圧縮フレームデータ、すなわちフレームデータによるフレームを順次表示することによって、動画データによる動画の表示を行う。
以上述べたように、本実施形態のインターホンシステムは、動画データを送信する送信装置となる撮像装置1と、撮像装置1から動画データを受信する受信装置となる表示装置2とを備え、撮像装置1と表示装置2とが動画伝送システムを構築している。
当該動画伝送システムでは、圧縮部12に特徴があり、圧縮部12は、フレームデータを圧縮するにあたっては、フレームデータを複数の分割フレームデータに分割するとともに、同一のフレームデータより分割された複数の分割フレームデータの少なくとも1つを差分ピクチャに圧縮する。
したがって、本実施形態のインターホンシステムによれば、動画データに含まれるフレームデータの圧縮後のデータサイズ(圧縮フレームデータのデータサイズ)を平均化することができ、かつ、フレームデータ全体(すなわち同一のフレームデータより分割された複数の分割フレームデータ全て)を基準ピクチャに圧縮した場合よりも小さい値とすることができる。よって、動画データの伝送に使用可能な周波数帯域が狭い場合でも、圧縮のデータレートや、フレームレート、色数を低くせずに済み、品質を低下させることなく動画を伝送することが可能になる。さらに、各所定領域において定期的に基準ピクチャが挿入されるので、パケットロスなどによる画質の劣化を抑制することができる。
上述した本実施形態の動画伝送システムの構成はあくまでも本発明の一実施形態であって、本発明の技術的範囲を上記の例に限定する趣旨ではなく、本発明の趣旨を逸脱しない程度に変更することができる。例えば、上記の例では、差分ピクチャとしてPピクチャを例示しているが、Pピクチャに代えて、あるいはPピクチャとともに、Bピクチャ(双方向予測符号化画像)を用いるようにしてもよい。
また、本実施形態では、撮像装置1の処理部14が検出処理を実行しており、当該検出処理で対象物が検出された際に、動画データの伝送を開始するようにしている。しかしながら、対象物の有無に関係なく(検出処理を実行せずに)、撮像装置1から動画データが得られた際に動画データの伝送を開始するようにしてもよい。すなわち、動画データの伝送を開始するタイミングは、動画伝送システムの使用目的等に応じて適宜設定することができる。
また、本実施形態では、撮像装置1と表示装置2とが本発明の動画伝送システムを構成している。ここで、インターホンシステムでは、上記子器として、カメラ付のものが使用されることが多いため、このような子器と表示装置2とで本発明の動画伝送システムを構成してもよい。この場合、子器が送信装置、表示装置2が受信装置となる。
また、本実施形態は、本発明の動画伝送システムを、インターホンシステムに適用したものであるが、本発明の動画伝送システムは、監視システムその他のシステムにも適用することができる。すなわち、動画データをリアルタイムで伝送する必要があるものであれば、本発明の動画伝送システムを適用可能である。
(実施形態2)
本実施形態のインターホンシステムは、主として圧縮部12が実施形態1と異なっている。なお、本実施形態のその他の構成については実施形態1と同様であるから図示および説明を省略する。
本実施形態のインターホンシステムは、主として圧縮部12が実施形態1と異なっている。なお、本実施形態のその他の構成については実施形態1と同様であるから図示および説明を省略する。
本実施形態における圧縮部12は、実施形態1と同様に分割処理と圧縮処理を実行するが、その処理内容が実施形態1と異なっている。なお、本実施形態における伸長部22は、本実施形態における圧縮部12によって圧縮された動画データを伸長可能に構成される。
本実施形態における分割処理では、圧縮部12は、図3に示すように、フレームデータを、フレームデータによるフレームFの5つの所定領域Aそれぞれの画像を表す複数の分割フレームデータに分割する。なお、以下の説明では、複数(図3では7枚)のフレームFを区別するために必要に応じて時系列順にF1〜F7で表し、複数の所定領域Aを区別するために必要に応じてA1〜A5で表す。
すなわち、実施形態1ではフレームFを4つの所定領域A1〜A4に分割しているが、本実施形態では、フレームFを5つの所定領域A1〜A5に分割している。ここで、本実施形態における所定領域A5は、動画を見る人間が着目(注目)し易いフレームFの中央部分の画像領域である。一方、本実施形態における所定領域A1〜A4は、動画を見る人間が着目し難いフレームFの端部、すなわち所定領域A5の周囲を4等分する画像領域である。より詳細には、図3における上下左右をフレームFの上下左右と規定すれば、所定領域A1はフレームFの左上の画像領域、所定領域A2はフレームFの右上の画像領域、所定領域A3はフレームFの左下の画像領域、所定領域A4はフレームFの右下の画像領域である。また、所定領域A1〜A4のサイズはいずれも同じである。
このように本実施形態における分割処理は、所定領域Aに、動画を見る人間が着目し易い特定の所定領域(特徴領域)である所定領域A5が含まれる形でフレームデータを分割する処理である。
また、本実施形態における圧縮部12は、複数のフレームデータのうち時系列の最初のフレームデータについては、複数の分割フレームデータ全てに対して第1の処理を実行し、2番目(2枚目)以降のフレームデータについては、次の圧縮処理を実行する。
本実施形態における圧縮処理では、圧縮部12は、実施形態1と同様に、分割フレームデータに対して第1の処理と第2の処理のいずれか一方の処理を実行する。しかし、実施形態1では、各所定領域Aにおける第1の処理の周期を等しくしていたが、本実施形態では、所定領域A5における第1の処理の周期を、残りの所定領域A1〜A4における第1の処理の周期よりも短くしている。すなわち、特徴領域である所定領域A5は、他の所定領域A1〜A4に比べて第1の処理を実行する比率が高く設定されている。例えば、本実施形態では、所定領域A5では4フレーム毎(第2の処理を3回間に挟む形)に第1の処理を実行し、所定領域A1〜A4では5フレーム毎(第2の処理を4回間に挟む形)に第1の処理を実行する。
したがって、フレームF1が時系列の最初のフレームデータによるものである場合、本実施形態における圧縮部12によれば、フレームF1〜F7の所定領域Aに対応する分割フレームデータは、図3に示すように圧縮される。
すなわち、時系列の最初のフレームF1では、全ての所定領域A1〜A5に対応する分割フレームデータは基準ピクチャに圧縮されている。2番目のフレームF2では、所定領域A5に対応する分割フレームデータが基準ピクチャに圧縮され、所定領域A1〜A4に対応する分割フレームデータが差分ピクチャに圧縮されている。3番目のフレームF3では、所定領域A1に対応する分割フレームデータが基準ピクチャに圧縮され、所定領域A2〜A4,A5に対応する分割フレームデータが差分ピクチャに圧縮されている。4番面のフレームF4では、所定領域A3に対応する分割フレームデータが基準ピクチャに圧縮され、所定領域A1,A2,A4,A5に対応する分割フレームデータが差分ピクチャに圧縮されている。5番面のフレームF5では、所定領域A4に対応する分割フレームデータが基準ピクチャに圧縮され、所定領域A1〜A3,A5に対応する分割フレームデータが差分ピクチャに圧縮されている。6番目のフレームF6では、所定領域A2,A5に対応する分割フレームデータが基準ピクチャに圧縮され、所定領域A1,A3,A4に対応する分割フレームデータが差分ピクチャに圧縮されている。7番目のフレームF7では、全ての所定領域A1〜A5に対応する分割フレームデータが差分ピクチャに圧縮されている。なお、図3では、第1の処理が実行される所定領域Aを「I」で表し、第2の処理が実行される所定領域Aを「P」で表している。
以上述べたように、本実施形態のインターホンシステムでは、分割処理は、所定領域Aに、動画を見る人間が着目し易い特定の所定領域A5が含まれる形でフレームデータを分割する処理であり、圧縮処理において、特定の所定領域A5は、他の所定領域A1〜A4に比べて第1の処理を実行する比率が高く設定されている。
このように、本実施形態のインターホンシステムによれば、動画を見る人が着目し易い特定の所定領域A5では、他の所定領域A1〜A4よりも、基準ピクチャが挿入される比率を高くしているので、全体のデータサイズを小さくしながらも、違和感のない動画を表示することができる。
ところで、本実施形態のように常時動画を撮影し、対象物を検出したときから動画データを送信する場合、圧縮時には何ら問題は発生しないが、伸長時には、Iピクチャを得ていない所定領域Aについては、差分ピクチャを伸長することができない。そのため、Iピクチャを得ていない所定領域Aでは画像が乱れてしまう。
しかしながら、本実施形態における圧縮部12は、複数のフレームデータのうち時系列の最初のフレームデータについては、いずれの分割フレームデータについても第1の処理を実行し、2番目以降のフレームデータについては、圧縮処理を実行する。
そのため、1番目のフレームデータの圧縮フレームデータは、他のフレームデータがなくても伸長することができる。また、1番目のフレームデータによって全ての所定領域Aに対する基準ピクチャが得られるから、2番目以降のフレームデータの圧縮フレームデータも問題なく伸長することができる。よって、1番目のフレームデータが伝送された時点から動画データの表示が可能になる。
ところで、本実施形態では、動画を見る人が着目し易い特定の所定領域(特徴領域)を、フレームFの中央部分の所定領域5Aとしている。しかしながら、上記の特徴領域は、上記の例に限定されず、撮像装置1の設置場所や、入力部10の撮像領域等の種々の要素を考慮して定めることができる。また、フレームFの画像処理によって、特徴領域を決定するようにしてもよい。例えば、フレームFにおいて、移動体等の対象物が検出された画像領域や、顔認識技術によって顔が検出された画像領域などを、上記の特徴領域として選択することができる。特に、本実施形態のように撮像装置1より動画データを伝送する場合には、移動体等の対象物が検出されたフレームFの画像領域を特徴領域とするのが好ましい。また、子器より動画データを伝送する場合には、顔が検出されたフレームFの画像領域を特徴領域とするのが好ましい。
(実施形態3)
本実施形態のインターホンシステムは、主として圧縮部12および表示部23が実施形態2と異なっている。なお、本実施形態のその他の構成については実施形態2と同様であるから図示および説明を省略する。
本実施形態のインターホンシステムは、主として圧縮部12および表示部23が実施形態2と異なっている。なお、本実施形態のその他の構成については実施形態2と同様であるから図示および説明を省略する。
本実施形態における圧縮部12では、図4に示すように、実施形態2と同様の分割処理を実行する一方、実施形態2とは異なり、複数のフレームデータのうち時系列の最初のフレームデータから実施形態2と同様の圧縮処理を実行する。
したがって、フレームF1が時系列の最初のフレームデータによるものである場合、本実施形態における圧縮部12によれば、フレームF1〜F6の所定領域Aに対応する分割フレームデータは、図4に示すように圧縮される。
すなわち、時系列の最初のフレームF1では、所定領域A5に対応する分割フレームデータが基準ピクチャに圧縮され、所定領域A1〜A4に対応する分割フレームデータが差分ピクチャに圧縮されている。2番目のフレームF2では、所定領域A1に対応する分割フレームデータが基準ピクチャに圧縮され、所定領域A2〜A4,A5に対応する分割フレームデータが差分ピクチャに圧縮されている。3番面のフレームF3では、所定領域A3に対応する分割フレームデータが基準ピクチャに圧縮され、所定領域A1,A2,A4,A5に対応する分割フレームデータが差分ピクチャに圧縮されている。4番面のフレームF4では、所定領域A4に対応する分割フレームデータが基準ピクチャに圧縮され、所定領域A1〜A3,A5に対応する分割フレームデータが差分ピクチャに圧縮されている。5番目のフレームF5では、所定領域A2,A5に対応する分割フレームデータが基準ピクチャに圧縮され、所定領域A1,A3,A4に対応する分割フレームデータが差分ピクチャに圧縮されている。6番目のフレームF6では、全ての所定領域A1〜A5に対応する分割フレームデータが差分ピクチャに圧縮されている。なお、図4では、第1の処理が実行される所定領域Aを「I」で表し、第2の処理が実行される所定領域Aを「P」で表している。
このように本実施形態における圧縮部12では、実施形態2とは異なり、複数のフレームデータのうち時系列の最初のフレームデータであっても、2番目以降のフレームデータと同列に扱う。
本実施形態における表示部23は、複数の所定領域A1〜A5の全てに対して基準ピクチャを得る(受信する)までは、動画データの表示を行わない。図4に示す例であれば、1番目のフレームデータにより所定領域A5における基準ピクチャが得られ、2番目のフレームデータにより所定領域A1における基準ピクチャが得られ、3番目のフレームデータにより所定領域A3における基準ピクチャが得られ、4番目のフレームデータにより所定領域A4における基準ピクチャが得られ、5番目のフレームデータにより所定領域A2における基準ピクチャが得られる。そのため、表示部23は、5番目のフレームデータを得てから、動画データによる動画の表示を開始する。これによって、6番目のフレームデータから動画データによる動画が再生される結果となる。
ここで、本実施形態のように常時動画を撮影し、対象物を検出したときから動画データを送信する場合、圧縮時には何ら問題は発生しないが、伸長時には、基準ピクチャを得ていない所定領域Aについては、差分ピクチャを伸長することができない。そのため、基準ピクチャを得ていない所定領域Aでは画像が乱れてしまう。
しかしながら、本実施形態のインターホンシステムでは、表示部23は、所定領域Aの画像全てに対して基準ピクチャを受信するまでは、動画データの表示を行わない。そのため、本実施形態のインターホンシステムによれば、基準ピクチャを得ていないために差分ピクチャを正確に伸長することができない所定領域Aの画像が表示されないので、基準ピクチャを受信しておらず画像が乱れてしまう所定領域Aの画像を隠蔽することができる。また、本実施形態の場合は、実施形態2とは異なり、最初だけであっても圧縮後のフレームデータのデータサイズが大きくなることがないから、圧縮後のフレームデータのデータサイズの最大値を小さくでき、より狭い伝送帯域での伝送が可能になる。
(実施形態4)
本実施形態のインターホンシステムは、主として圧縮部12および表示部23が実施形態2と異なっている。なお、本実施形態のその他の構成については実施形態2と同様であるから図示および説明を省略する。
本実施形態のインターホンシステムは、主として圧縮部12および表示部23が実施形態2と異なっている。なお、本実施形態のその他の構成については実施形態2と同様であるから図示および説明を省略する。
本実施形態における圧縮部12では、実施形態2と同様の分割処理を実行する一方、実施形態2とは異なり、複数のフレームデータのうち時系列の最初のフレームデータから実施形態2と同様の圧縮処理を実行する。
ただし、複数のフレームデータのうち時系列の最初のフレームデータの分割フレームデータについて第2の処理を実行するにあたっては、予め設定された初期画像データを利用する。すなわち、時系列の最初のフレームデータの分割フレームデータについては、当該分割フレームデータを上記初期画像データにおける同じ所定領域Aの画像を表す分割フレームデータとの差分が用いられる。ここで、上記初期画像データとしては、例えば、対象物が撮像範囲に存在しないときに入力部10より得られるフレームデータ、すなわち背景の画像データを採用することができる。なお、初期画像データは、上述した背景の画像データに限定されるものではなく、差分ピクチャの圧縮を精度よく行うことができるような画像データであればよい。
このように本実施形態における圧縮部12では、初期画像データを利用して第2の処理を実行する。そのため、本実施形態における伸長部22で最初のフレームデータに対応する圧縮フレームデータの伸長を行う際にも上記初期画像データが利用される。なお、初期画像データは、撮像装置1の記憶部11と表示装置2の記憶部12の双方に記憶されており、撮像装置1から表示装置2に初期画像データを送ることはない。
また、本実施形態における表示部23は、最初のフレームデータから動画データの表示を行うように構成されている。
以上述べたように本実施形態のインターホンシステムでは、圧縮部12は、複数のフレームデータのうち時系列の最初のフレームデータの分割フレームデータについて第2の処理を実行するにあたっては、予め設定された初期画像データを利用し、表示部23は、最初のフレームデータから動画データの表示を行う。
そのため、本実施形態のインターホンシステムによれば、初期画像データを利用して差分ピクチャを伸長することができるから、画質の劣化を抑制することができる。また、時系列の最初のフレームから動画の再生を行うことができる。しかも、時系列の最初のフレームデータの全ての分割フレームデータの全てを基準ピクチャに圧縮しなくて済むから、狭い伝送帯域での伝送が可能になる。
(実施形態5)
本実施形態のインターホンシステムは、主として圧縮部12が実施形態1と異なっている。なお、本実施形態のその他の構成については実施形態1と同様であるから図示および説明を省略する。
本実施形態のインターホンシステムは、主として圧縮部12が実施形態1と異なっている。なお、本実施形態のその他の構成については実施形態1と同様であるから図示および説明を省略する。
本実施形態における圧縮部12は、実施形態1と同様に分割処理と圧縮処理を実行するが、その処理内容が実施形態1と異なっている。なお、本実施形態における伸長部22は、本実施形態における圧縮部12によって圧縮された動画データを伸長可能に構成される。
本実施形態における分割処理では、圧縮部12は、実施形態2の圧縮処理と同様の処理を行う。すなわち、本実施形態における分割処理は、所定領域Aに、動画を見る人間が着目し易い特定の所定領域が含まれる形でフレームデータを分割する処理である。
また、本実施形態における圧縮処理では、圧縮部12は、実施形態1と同様に、分割フレームデータに対して第1の処理と第2の処理のいずれか一方の処理を実行する。ここで、本実施形態では、特定の所定領域における圧縮のデータレートを、他の所定領域に比べて高くしている。すなわち、フレームにおいて人が着目し易い特定の所定領域においては、画質を上げ、その他の所定領域については画質を下げるようにしているのである。
以上述べたように本実施形態のインターホンシステムでは、分割処理は、所定領域に、動画を見る人間が着目し易い特定の所定領域が含まれる形でフレームデータを分割する処理であり、圧縮処理において、特定の所定領域は、他の所定領域に比べて圧縮のデータレートが高く設定されている。
したがって、本実施形態のインターホンシステムによれば、動画を見る人が着目し易い特定の所定領域では、他の所定領域よりも、圧縮のデータレートを高くしているので、全体のデータサイズを小さくしながらも、違和感のない動画を表示することができる。なお、特定の所定領域における圧縮のデータレートとその他の所定領域における圧縮のデータレートとの具体的な値は、動画伝送システムに使用する伝送帯域、フレームデータのデータサイズなどの種々の値を考慮して定められる。
(実施形態6)
本実施形態の動画伝送システムは、主として圧縮部12および伸長部22で実行される処理が実施形態1と異なっている。なお、本実施形態のその他の構成については実施形態1と同様であるから図示および説明を省略する。
本実施形態の動画伝送システムは、主として圧縮部12および伸長部22で実行される処理が実施形態1と異なっている。なお、本実施形態のその他の構成については実施形態1と同様であるから図示および説明を省略する。
本実施形態における圧縮部12は、実施形態1と同様に分割処理と圧縮処理を実行するが、その処理内容が実施形態1と異なっている。なお、本実施形態における伸長部22は、本実施形態における圧縮部12によって圧縮された動画データを伸長可能に構成される。
本実施形態における分割処理では、圧縮部12は、実施形態2の圧縮処理と同様の処理を行う。すなわち、本実施形態における分割処理は、所定領域Aに、動画を見る人間が着目し易い特定の所定領域が含まれる形でフレームデータを分割する処理である。
また、本実施形態における圧縮処理では、圧縮部12は、実施形態1と同様に、分割フレームデータに対して第1の処理と第2の処理のいずれか一方の処理を実行する。
本実施形態における圧縮処理では、第1の処理を周期的、すなわち、第1の処理を所定回数(本実施形態では4回)の第2の処理を間に挟む形で実行する。また、各所定領域A1〜A5における第1の処理の周期(換言すれば、上記所定回数)は等しく、かつ、同一のフレームデータより分割された複数の分割フレームデータの全てに対して第1の処理が実行されることがないようにしている。
これに加えて、本実施形態における圧縮処理では、図5に示すように、同一のフレームデータより分割された複数の分割フレームデータのうち第1の処理が実行される分割フレームデータの数と第2の処理が実行される分割フレームデータの数との比は、いずれのフレームデータにおいても等しくしている。本実施形態では、フレームデータを5つの分割フレームデータに分割しており、5つの分割フレームデータのうちの第1の処理が実行される分割フレームデータの数は1としている。すなわち、第1の処理が実行される分割フレームデータの数と第2の処理が実行される分割フレームデータの数との比は、1:4である。
図5では、フレームF1,F6では所定領域A5に対応する分割フレームデータが基準ピクチャに圧縮され、フレームF2では所定領域A1に対応する分割フレームデータが基準ピクチャに圧縮され、フレームF3では所定領域A3に対応する分割フレームデータが基準ピクチャに圧縮され、フレームF4では所定領域A4に対応する分割フレームデータが基準ピクチャに圧縮され、フレームF5では所定領域A2に対応する分割フレームデータが基準ピクチャに圧縮されている。なお、図5では、第1の処理が実行される所定領域Aを「I」で表し、第2の処理が実行される所定領域Aを「P」で表している。
以上述べたように本実施形態のインターホンシステムでは、圧縮処理において、複数のフレームデータにおける同じ所定領域Aについては、第1の処理を所定回数の第2の処理を間に挟む形で実行し、所定回数は、いずれの所定領域においても等しい。また、同一のフレームデータより分割された複数の分割フレームデータのうち第1の処理が実行される分割フレームデータの数と第2の処理が実行される分割フレームデータの数との比は、いずれのフレームデータにおいても等しい。
このような本実施形態のインターホンシステムによれば、時系列順の複数のフレームデータそれぞれの圧縮後のデータサイズをほぼ同じ大きさに揃えることができる。
(実施形態7)
本実施形態の動画伝送システムは、主として圧縮部12および伸長部22で実行される処理が実施形態1と異なっている。なお、本実施形態のその他の構成については実施形態1と同様であるから図示および説明を省略する。
本実施形態の動画伝送システムは、主として圧縮部12および伸長部22で実行される処理が実施形態1と異なっている。なお、本実施形態のその他の構成については実施形態1と同様であるから図示および説明を省略する。
本実施形態における圧縮部12は、実施形態1と同様に分割処理と圧縮処理を実行するが、その処理内容が実施形態1と異なっている。なお、本実施形態における伸長部22は、本実施形態における圧縮部12によって圧縮された動画データを伸長可能に構成される。
本実施形態における分割処理では、圧縮部12は、実施形態2の圧縮処理と同様の処理を行う。すなわち、本実施形態における分割処理は、所定領域Aに、動画を見る人間が着目し易い特定の所定領域が含まれる形でフレームデータを分割する処理である。
また、本実施形態における圧縮処理では、圧縮部12は、実施形態1と同様に、分割フレームデータに対して第1の処理と第2の処理のいずれか一方の処理を実行する。
本実施形態における圧縮処理では、図6に示すように、第1の処理を周期的、すなわち、第1の処理を所定回数(本実施形態では4回)の第2の処理を間に挟む形で実行する。また、各所定領域A1〜A5における第1の処理の周期(換言すれば、上記所定回数)は等しく、かつ、同一のフレームデータより分割された複数の分割フレームデータの全てに対して第1の処理が実行されることがないようにしている。
これに加えて、本実施形態における圧縮処理では、図6に示すように、上記所定回数は、6回であり、同一のフレームデータより分割された分割フレームデータの数である5より大きくしている。さらに、同一のフレームデータより分割された複数の分割フレームデータのうち第1の処理が行われる回数が1回を越えないように、各所定領域Aにおける第1の処理の周期をずらしている。そのため、所定間隔で(6枚毎に)分割フレームデータの全てが差分ピクチャに圧縮されたフレームデータが表れることになる。
なお、図6において、フレームF1,F7では所定領域A5に対応する分割フレームデータのみが基準ピクチャに圧縮され、フレームF2では所定領域A1に対応する分割フレームデータのみが基準ピクチャに圧縮され、フレームF3では所定領域A3に対応する分割フレームデータのみが基準ピクチャに圧縮され、フレームF4では所定領域A4に対応する分割フレームデータのみが基準ピクチャに圧縮され、フレームF5では所定領域A2に対応する分割フレームデータのみが基準ピクチャに圧縮されている。そして、フレームF6では全ての分割フレームデータが差分ピクチャに圧縮されている。なお、図6では、第1の処理が実行される所定領域Aを「I」で表し、第2の処理が実行される所定領域Aを「P」で表している。
以上述べたように本実施形態のインターホンシステムでは、圧縮処理において、複数のフレームデータにおける同じ所定領域については、第1の処理を所定回数の第2の処理を間に挟む形で実行する。このとき、当該所定回数は、いずれの所定領域においても等しく、同一のフレームデータより分割された分割フレームデータの数より大きく設定されている。
したがって、本実施形態のインターホンシステムによれば、フレームデータの中に、同一のフレームデータより分割された複数の分割フレームデータの全てに対して第2の処理が行われるものが存在するようになる。このように複数の分割フレームデータの全てに対して第2の処理が行われるフレームデータは、少なくとも1つの分割フレームデータに対して第1の処理が行われるフレームデータよりもデータサイズが小さい。そのため、複数の分割フレームデータの全てに対して第2の処理が行われるフレームデータを伝送するときには、少なくとも1つの分割フレームデータに対して第1の処理が行われるフレームデータよりも伝送帯域を狭くすることができる。したがって、複数の分割フレームデータの全てに対して第2の処理が行われるフレームデータの伝送時には、余った周波数帯域を動画伝送以外の用途(制御信号や音声信号の伝送など)に使用することができるようになる。
(実施形態8)
本実施形態のインターホンシステムは、主として圧縮部12が実施形態1と異なっている。なお、本実施形態のその他の構成については実施形態1と同様であるから図示および説明を省略する。
本実施形態のインターホンシステムは、主として圧縮部12が実施形態1と異なっている。なお、本実施形態のその他の構成については実施形態1と同様であるから図示および説明を省略する。
本実施形態における圧縮部12は、実施形態1と同様に分割処理と圧縮処理を実行するが、その処理内容が実施形態1と異なっている。なお、本実施形態における伸長部22は、本実施形態における圧縮部12によって圧縮された動画データを伸長可能に構成される。
本実施形態における分割処理では、圧縮部12は、図7に示すように、フレームデータを、フレームデータによるフレームFの3つの所定領域Aそれぞれの画像を表す複数の分割フレームデータに分割する。なお、以下の説明では、複数(図7では4枚)のフレームFを区別するために必要に応じて時系列順にF1〜F4で表し、複数の所定領域Aを区別するために必要に応じてA1〜A3で表す。
ところで、一般に、フレームFは、図8(a)に示すように、マトリクス状に並べられた複数の画素P(x,y)により表される。ここで、xは縦方向、yは横方向の座標を示し、1≦x≦M、1≦y≦N(但し、M、Nは2以上の整数)である。そして、フレームデータは、図8(b)に示すように、走査線を構成する横方向の画素列である画素P(1,1)〜P(1,N)、P(2,1)〜P(2,N)、・・・P(M,1)〜P(M,N)の各画素値を順番に並べた形のデータ構造となっている。そして、どの画素が同一の走査線に属しているか否かは水平同期信号によって知ることができる。
そのため、フレームFにおける所定領域Aに含まれる画素P(1,1)〜P(1,N)、P(2,1)〜P(2,N)は、フレームデータにおいては図8(b)に示すように順番に並んでいる。
そこで、本実施形態における圧縮部12は、フレームデータを分割するにあたっては、フレームデータの走査線を基本単位として、フレームデータの分割を行う。具体的には、本実施形態では、フレームデータを、縦方向の座標xが1〜m1である走査線群よりなる分割フレームデータと、縦方向の座標xがm1+1〜m2である走査線群よりなる分割フレームデータと、縦方向の座標xがm2+1〜Mである走査線群よりなる分割フレームデータに分割する(ただし、m1,m2は整数であり、1<m1<m2<Mを満たす)。
これによって、図7に示すように、フレームFを3つの所定領域A1〜A3に分割している。また、所定領域A1〜A3は、フレームFを縦方向において3等分する形の画像領域である。
本実施形態における圧縮処理では、圧縮部12は、実施形態1と同様に、分割フレームデータに対して第1の処理と第2の処理のいずれか一方の処理を実行する。
ここで、本実施形態における圧縮処理では、第1の処理を周期的、すなわち、第1の処理を所定回数(本実施形態では2回)の第2の処理を間に挟む形で実行する。また、各所定領域A1〜A3における第1の処理の周期(換言すれば、上記所定回数)は等しく、かつ、同一のフレームデータより分割された複数の分割フレームデータの全てに対して第1の処理が実行されることがないようにしている。
これに加えて、本実施形態における圧縮処理では、図7に示すように、同一のフレームデータより分割された複数の分割フレームデータのうち第1の処理が実行される分割フレームデータの数と第2の処理が実行される分割フレームデータの数との比は、いずれのフレームデータにおいても等しくしている。本実施形態では、フレームデータを3つの分割フレームデータに分割しており、3つの分割フレームデータのうちの第1の処理が実行される分割フレームデータの数は1としている。すなわち、第1の処理が実行される分割フレームデータの数と第2の処理が実行される分割フレームデータの数との比は、1:2である。
図7では、フレームF1,F4では所定領域A1に対応する分割フレームデータのみが基準ピクチャに圧縮され、フレームF2では所定領域A2に対応する分割フレームデータのみが基準ピクチャに圧縮され、フレームF3では所定領域A3に対応する分割フレームデータがのみ基準ピクチャに圧縮されている。なお、図7では、第1の処理が実行される所定領域Aを「I」で表し、第2の処理が実行される所定領域Aを「P」で表している。
以上述べたように、本実施形態のインターホンシステムでは、分割処理は、フレームデータを構成する走査線を基本単位として当該フレームデータを複数の分割フレームデータに分割する処理である。本実施形態のインターホンシステムによれば、フレームデータが、走査線を構成する画素列の画素値を順番に並べた形のデータ構造を有していることを利用し、走査線を基本単位としてフレームデータの分割を行うので、実施形態1,2のようにフレームデータを構成する画素データの並び(走査線)を考慮せずに所定領域Aを設定する場合に比べれば、フレームデータの分割処理を容易に行うことができる。
また、本実施形態のインターホンシステムでは、圧縮処理において、複数のフレームデータにおける同じ所定領域Aについては、第1の処理を所定回数の第2の処理を間に挟む形で実行し、所定回数は、いずれの所定領域においても等しい。また、同一のフレームデータより分割された複数の分割フレームデータのうち第1の処理が実行される分割フレームデータの数と第2の処理が実行される分割フレームデータの数との比は、いずれのフレームデータにおいても等しい。そのため、時系列順の複数のフレームデータそれぞれの圧縮後のデータサイズをほぼ同じ大きさに揃えることができる。
1 撮像装置(送信装置)
2 表示装置(受信装置)
10 入力部
12 圧縮部
13 送信部
20 受信部
22 伸長部
23 表示部
F フレーム
A 所定領域
2 表示装置(受信装置)
10 入力部
12 圧縮部
13 送信部
20 受信部
22 伸長部
23 表示部
F フレーム
A 所定領域
Claims (9)
- 動画データを送信する送信装置と、送信装置が送信した動画データを受信する受信装置とを備え、
送信装置は、動画データを得るための入力部と、入力部で得られた動画データに含まれる時系列順の複数のフレームデータそれぞれを圧縮することで動画データの圧縮を行う圧縮部と、圧縮部で圧縮されたフレームデータを時系列順に受信装置に送信することで圧縮部で圧縮された動画データの送信を行う送信部とを有し、
受信装置は、圧縮部で圧縮された動画データを送信部より受信する受信部と、圧縮部で圧縮された動画データを伸長する伸長部と、動画データを表示する表示部とを有し、
圧縮部は、上記複数のフレームデータそれぞれをフレームデータにより表されるフレームの所定領域の画像を表す複数の分割フレームデータに分割する分割処理と、分割処理で得られた複数の分割フレームデータそれぞれを圧縮する圧縮処理とを実行し、
圧縮処理は、分割フレームデータを他のフレームデータにおける同じ所定領域の画像を表す分割フレームデータとの依存関係がなく単独で伸長可能な基準ピクチャに圧縮する第1の処理、または分割フレームデータを他のフレームデータにおける同じ所定領域の画像を表す分割フレームデータとの差分よりなる差分ピクチャに圧縮する第2の処理のいずれか一方を、同一のフレームデータより分割された複数の分割フレームデータの少なくとも1つに第2の処理を行う形で行う処理であることを特徴とする動画伝送システム。 - 上記分割処理は、上記所定領域に、動画を見る人間が着目し易い特定の所定領域が含まれる形でフレームデータを分割する処理であり、
上記圧縮処理において、特定の所定領域は、他の所定領域に比べて上記第1の処理を実行する比率が高く設定されていることを特徴とする請求項1記載の動画伝送システム。 - 上記分割処理は、上記所定領域に、動画を見る人間が着目し易い特定の所定領域が含まれる形でフレームデータを分割する処理であり、
上記圧縮処理において、特定の所定領域は、他の所定領域に比べて圧縮のデータレートが高く設定されていることを特徴とする請求項1記載の動画伝送システム。 - 上記圧縮処理において、
上記複数のフレームデータにおける同じ所定領域については、上記第1の処理を所定回数の上記第2の処理を間に挟む形で実行し、
上記所定回数は、いずれの上記所定領域においても等しく、
同一のフレームデータより分割された複数の分割フレームデータのうち上記第1の処理が実行される分割フレームデータの数と上記第2の処理が実行される分割フレームデータの数との比は、いずれのフレームデータにおいても等しいことを特徴とする請求項1記載の動画伝送システム。 - 上記圧縮処理において、
上記複数のフレームデータにおける同じ所定領域については、上記第1の処理を所定回数の上記第2の処理を間に挟む形で実行し、
上記所定回数は、いずれの上記所定領域においても等しく、同一のフレームデータより分割された分割フレームデータの数より大きいことを特徴とする請求項1記載の動画伝送システム。 - 上記分割処理は、フレームデータを構成する走査線を基本単位として、当該フレームデータを、複数の分割フレームデータに分割する処理であることを特徴とする請求項1〜5のうちいずれか1項記載の動画伝送システム。
- 上記圧縮部は、上記複数のフレームデータのうち時系列の最初のフレームデータについては、複数の分割フレームデータの全てに対して上記第1の処理を実行し、2番目以降のフレームデータについては、上記圧縮処理を実行することを特徴とする請求項1〜6のうちいずれか1項記載の動画伝送システム。
- 上記表示部は、フレームの複数の所定領域の全てに対して基準ピクチャを得るまでは、上記動画データの表示を行わないことを特徴とする請求項1〜6のうちいずれか1項記載の動画伝送システム。
- 上記圧縮部は、上記複数のフレームデータのうち時系列の最初のフレームデータの上記分割フレームデータについて上記第2の処理を実行するにあたっては、予め設定された初期画像データを利用し、
上記伸長部は、上記圧縮部で圧縮された上記最初のフレームデータを伸長するにあたっては、上記初期画像データを利用し、
上記表示部は、上記最初のフレームデータから上記動画データの表示を行うことを特徴とする請求項1〜6のうちいずれか1項記載の動画伝送システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008245259A JP2010081140A (ja) | 2008-09-25 | 2008-09-25 | 動画伝送システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008245259A JP2010081140A (ja) | 2008-09-25 | 2008-09-25 | 動画伝送システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010081140A true JP2010081140A (ja) | 2010-04-08 |
Family
ID=42211110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008245259A Withdrawn JP2010081140A (ja) | 2008-09-25 | 2008-09-25 | 動画伝送システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010081140A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2372307A2 (en) | 2010-03-31 | 2011-10-05 | Aisin Aw Co., Ltd. | Vehicular travel guidance device, vehicular travel guidance method, and computer program |
JP2012156653A (ja) * | 2011-01-24 | 2012-08-16 | Panasonic Corp | 動画伝送システム |
JP2016220035A (ja) * | 2015-05-20 | 2016-12-22 | 富士通株式会社 | 無線通信装置、無線通信プログラム、及び無線通信方法 |
-
2008
- 2008-09-25 JP JP2008245259A patent/JP2010081140A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2372307A2 (en) | 2010-03-31 | 2011-10-05 | Aisin Aw Co., Ltd. | Vehicular travel guidance device, vehicular travel guidance method, and computer program |
JP2012156653A (ja) * | 2011-01-24 | 2012-08-16 | Panasonic Corp | 動画伝送システム |
JP2016220035A (ja) * | 2015-05-20 | 2016-12-22 | 富士通株式会社 | 無線通信装置、無線通信プログラム、及び無線通信方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009188792A (ja) | 画像送信装置、画像受信装置、画像送受信システム、画像送信プログラムおよび画像受信プログラム | |
KR20160111326A (ko) | 이벤트 비디오 시퀀스를 생성하기 위한 방법 및 시스템과 이러한 시스템을 포함하는 카메라 | |
CN101094322A (zh) | 图像处理设备、成像设备及其方法 | |
JP2007228337A (ja) | 画像撮影装置 | |
US20140289787A1 (en) | Communication device, communication method, and compter program product | |
US20110032979A1 (en) | Image display control device and imaging device provided with the image display control device, image processing device and imaging device using the image processing device | |
US20070040909A1 (en) | Security surveillance system capable of outputting still images together with moving images | |
JP2007194928A (ja) | 遠隔監視装置及び遠隔監視方法 | |
JP2008042695A (ja) | 監視カメラ装置、監視カメラシステム、監視カメラ画像記録方法 | |
GB2404105A (en) | Compressing digital images | |
KR100972360B1 (ko) | 전방위 감시 카메라 시스템 | |
CN102685475B (zh) | 视频减帧率的隔行压缩显示方法及其系统 | |
JP2000083239A (ja) | 監視装置 | |
WO2011024361A1 (ja) | ネットワークカメラ及び映像配信システム | |
JP4561649B2 (ja) | 画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、hdr画像生成装置、hdr画像生成プログラム及びhdr画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法 | |
JP2010081140A (ja) | 動画伝送システム | |
US20070269120A1 (en) | Video image compression using model plus difference image | |
KR101280443B1 (ko) | 영역 영상을 처리하는 장치 및 그 제어방법 | |
JP5906430B2 (ja) | 動画伝送端末及び動画伝送システム | |
JP5816858B2 (ja) | 動画伝送システム | |
JP5853142B2 (ja) | 動画伝送システム | |
JP3060839U (ja) | 遠隔監視セキュリティシステム | |
JP2006165666A (ja) | 監視カメラ、監視画像モニタ装置、監視画像蓄積装置及び監視システム | |
JP2012156654A (ja) | 送信装置及びそれを用いた動画伝送システム | |
JP5131954B2 (ja) | ビデオレコーダ並びにカメラシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100716 |
|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111206 |