JP2007267124A - 画像符号化データ伝送装置 - Google Patents
画像符号化データ伝送装置 Download PDFInfo
- Publication number
- JP2007267124A JP2007267124A JP2006090504A JP2006090504A JP2007267124A JP 2007267124 A JP2007267124 A JP 2007267124A JP 2006090504 A JP2006090504 A JP 2006090504A JP 2006090504 A JP2006090504 A JP 2006090504A JP 2007267124 A JP2007267124 A JP 2007267124A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- definition
- image
- encoding
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】部品点数を増やすことなく、通常画像データと明瞭な高精細画像データとを送信すること。
【解決手段】変化検出部104にて被写体の動的変化が検出されない場合、動画像符号化部102は被写体の画像データを縮小した画像データを通常符号化モードによってイントラ符号化およびインター符号化し、多重化部108が通常符号化データメモリ105を介し多重化して送信する。被写体の動的変化があった場合、動画像符号化部102は、被写体の画像データを縮小せずに高精細符号化モードによって符号化してIDRピクチャ1枚とIピクチャとを高精細画像データメモリ106に記憶し、多重化部108がその高精細画像データメモリ106に記憶された高精細画像データのIDRピクチャ1枚を通常画像データと共にマルチストリーム送信し、残りのIピクチャは多重化制御部107を介し監視者から送信指令があった場合に送信する。
【選択図】図1
【解決手段】変化検出部104にて被写体の動的変化が検出されない場合、動画像符号化部102は被写体の画像データを縮小した画像データを通常符号化モードによってイントラ符号化およびインター符号化し、多重化部108が通常符号化データメモリ105を介し多重化して送信する。被写体の動的変化があった場合、動画像符号化部102は、被写体の画像データを縮小せずに高精細符号化モードによって符号化してIDRピクチャ1枚とIピクチャとを高精細画像データメモリ106に記憶し、多重化部108がその高精細画像データメモリ106に記憶された高精細画像データのIDRピクチャ1枚を通常画像データと共にマルチストリーム送信し、残りのIピクチャは多重化制御部107を介し監視者から送信指令があった場合に送信する。
【選択図】図1
Description
本発明は、被写体の画像データを圧縮して送信する画像符号化データ伝送装置に関する。
従来、防犯用監視カメラシステムでは、通常の監視モードである動画像の送信と被写体に変化が認められたときに切り替えられる高精細静止画送信を、被写体の動的な変化量を検出することによって適応的または、操作者の意図に応じて使い分けられていた。
動画像は被写体の画像領域の時間的な変化を観察するためには有効であるが、画像の明瞭度という観点から動画像を静止画として扱うことは難しく、重要な瞬間における遠隔地域の情報収集能力及び証拠能力に問題があった。そこでH.261、H.263やMPEGのような動画像符号化方式によって符号化された画像符号化データの送信と共にまたは選択的に、JPEGのような静止画を専用に符号化する符号化方式が防犯用カメラシステムで採用されている。
例えば、特開2000-253399号公報記載の従来装置では、動画像符号化方式としてH.263を、静止画符号化方式としてJPEGを用いて被写体の画像を符号化し送信するものであり、監視を行う監視者が監視を継続しながら動画像および明瞭な静止画像を任意のモードで確認し得る装置の仕組みを開示している。
特開2000−253399号公報
しかしながら、上述の従来装置では、動画像符号化方式と、静止画像符号化方式の異なる二つの画像符号化方式を実現しているが、カメラ側には二つの符号化方式で情報圧縮する符号化部、モニタ側には二つの符号化方式で符号化データを伸張する復号部を用意する必要があり、また送信側受信側双方において複数の情報を取り扱わなければならないため、部品点数が多くなる、という問題があった。
本発明は上述のような課題に鑑みてなされたもので、部品点数を増やすことなく、通常画像データと明瞭な高精細画像データとを送信することができる画像符号化データ伝送装置を提供することを目的とする。
上記目的を達成するために、被写体の画像データを圧縮して送信する画像符号化データ伝送装置であって、前記被写体の動的変化を検出する変化検出部と、前記変化検出部からの動的変化の検出出力に基づいて、前記被写体の動的変化がないと判断した場合、前記被写体の画像データを通常符号化モードによって符号化する一方、前記被写体の動的変化があると判断した場合、前記被写体の画像データを高精細符号化モードによって符号化する動画像符号化部と、前記通常符号化モードによって符号化された通常画像データを記憶する通常画像データメモリと、前記高精細符号化モードによって符号化された高精細画像データを記憶する高精細画像データメモリと、前記変化検出部から動的変化の検出出力がない場合は、前記通常画像データメモリに記憶された通常画像データを多重化して送信する一方、前記変化検出部から動的変化の検出出力があった場合は、前記高精細画像データメモリに記憶された前記高精細画像データの少なくとも1枚を前記通常画像データに多重化して送信する多重化部と、を有するものである。
ここで、前記多重化部は、前記変化検出部から動的変化の検出出力があり、前記高精細画像データメモリに記憶された前記高精細画像データの少なくとも1枚を前記通常画像データに多重化して送信する際、前記通常画像データの一定時間内における送信情報量と、前記高精細画像データの前記一定時間内における送信情報量とが同等になるように、前記高精細画像データの少なくとも1枚を多重化して送信する、ようにすると良い。
また、前記動画像符号化部は、前記変化検出部からの動的変化の検出出力に従い前記通常符号化モードおよび前記高精細符号化モードの符号化モードを制御する符号化モード制御部と、前記符号化モード制御部からの符号化モードの制御に基づき、前記通常符号化モードの指示があった場合には、前記画像データの縮小画像を生成して出力する一方、前記高精細符号化モードの指示があった場合には、前記画像データをそのまま出力する縮小画像生成部と、を備え、前記符号化モード制御部からの符号化モードの制御に基づき、前記通常符号化モードの指示があった場合には、前記通常符号化モードにより前記縮小画像生成部からの前記縮小画像をイントラ符号化およびインター符号化する一方、前記高精細符号化モードの指示があった場合には、前記縮小画像生成部からのそのまま前記画像データを前記高精細符号化モードによってイントラ符号化する、ようにすると良い。
また、前記動画像符号化部は、MPEG‐4 AVCにより符号化を行い、前記変化検出部からの動的変化の検出出力に基づいて、前記被写体の動的変化があると判断した場合、前記被写体の画像データを前記高精細符号化モードによってIDR及びIピクチャの高精細画像データとして符号化する、ようにすると良い。
また、前記多重化部は、外部から高精細動画像の送信要求があった場合、前記高精細画像データメモリに記憶された残りの前記高精細画像データを、伝送路の容量を超えない送信情報量で前記通常画像データと共にマルチストリーム送信する、ようにすると良い。
本発明によれば、被写体の動的変化がない場合、被写体の画像データを通常符号化モードによって符号化し多重化して送信する一方、被写体の動的変化があった場合、被写体の画像データを高精細符号化モードによって符号化して高精細画像データメモリに記憶すると共に、高精細画像データメモリに記憶した高精細画像データの少なくとも1枚を通常画像データに多重化して送信するようにしたので、部品点数を増やすことなく、通常画像データと明瞭な高精細画像データとを送信することができる。
以下、本発明に係る画像符号化データ伝送装置を実施するための実施の形態について図面を参照しながら説明する。
図1は本発明に係る画像符号化データ伝送装置の一実施の形態を示したブロック図である。
図1において、この画像符号化データ伝送装置は、カメラ101と、動画像符号化部102と、センサ103と、変化検出部104と、通常画像データメモリ105と、高精細画像データメモリ106と、多重化制御部107と、多重化部108とを有している。
次に、図1に示す画像符号化データ伝送装置の動作の概要を説明する。
まず、カメラ101から取り込まれた画像データは、情報圧縮されるため動画像符号化部102へ送られる。被写体または被写画像領域(以下、被写体と略す。)における動的な変化を検出するための一手法として動き検出を用いる場合は、変化検出部104へも画像データを伝送する。動き検出は、動画像符号化部102に含まれる同様の工程を用いて判定しても良い。動き検出の方法については、既に一般的であるので説明は省略する。
また、センサ103では、動く物体の熱源を捕らえる赤外線センサや、衝突音などを検知するマイク等のセンサであり、被写体における動的な変化を検出している。これら変化を検出するために必要な信号は、変化検出部104に送られる。
変化検出部104では、センサ103から送られてきた検出信号を元に被写体における動的な変化を検出し、その判定結果を動画像符号化部102へ送信する。
動画像符号化部102では、単位時間毎に記録された画像信号を単独で圧縮する画面内符号化(イントラ符号化)処理と、隣り合う画像信号の時間的な差分情報を主に符号化し情報圧縮する画面間符号化(インター符号化)処理とを含む動画像符号化を、適応的に選択して符号化データを生成する。動画像符号化部102の詳細な構成および処理については、後に更に詳しく説明する。
動画像符号化部102で生成された符号化データは、通常符号化モードの場合、伝送路に送信するための一時的に記憶する領域である通常画像データメモリ105に送られ、一時的に記憶される。
一方、変化検出部104において動的な変化が認められたときは、変化検出部104は、動的変化の検出信号を動画像符号化部102に送る。
すると、動画像符号化部102は、変化検出部104からの動的変化検出信号を受けて、高精細符号化モードにより符号化データを生成し、その一部の高精細イントラ符号化データ(本実施の形態では、1枚のピクチャとするが、2枚以上でも勿論良い。)を送信用の補助情報を付加された状態で通常画像データメモリ105に送る。
また、動画像符号化部102は、動画像符号化データとしても扱えるその他の一連の高精細イントラ符号化データを高精細画像データメモリ106に送り、多重化制御部107を介し監視者やユーザ等から送信要求が送られてくるまで高精細画像データメモリ106にて保存する。高精細画像データメモリ106に保存される高精細イントラ符号化データは、動画像符号化データとしての取り扱いを満足するため、補助情報もそれに準じた情報が付加される。例えばフレームレート、ピクチャサイズ等がこれに当たる。
多重化制御部107は、動画像符号化データ伝送装置が外部へ符号化された情報を滞りなく伝送するため多重化部108の制御を行う。一般的に、監視集中システムは、複数のカメラ101から伝送される映像信号(音声信号)を集中的に複数のモニタや複数の画像を一度に目視できる画面内分割が可能な大画面で監視画像を映し出しており、それら情報はネットワークを通じ随時送信されている。
ネットワークは、監視システムの目的から伝送帯域の安定性が望まれており、通常、閉じたネットワークであるイントラネットで構成されることが多い。回線容量には各々のカメラ101から伝送される画像符号化データの単位時間当たりの伝送量に対し、ある程度の余裕が加味されていなくてはならない。逆の言い方をすれば回線容量にある程度の余裕を残した情報量を各々のカメラ101で分け合いながら符号化情報を伝送することになる。
この冗長性を有効的活用することによって、例えば通常の画像符号化データの送信に加えて、監視者の要求に答え、カメラ101に蓄積された符号化データを、送信タイミングを制御しながら伝送することが可能になる。
多重化制御部107は、このような状況に対応するため、伝送路に乗せる符号化データを管理する役目を負う。
つまり、多重化制御部107は、通常の通常画像データメモリ105に記録された符号化データを伝送路に送出すると共に、外部からの操作情報に従い、要求されたイントラ符号化モードが記録された高精細画像データメモリ106内の符号化データを送信する。伝送情報量の制御は集中監視システムで伝送路の空き具合を把握していれば、一つの送信装置(画像符号化データ伝送装置)に対しある一定の上限伝送レートを設定するだけで、伝送路(回線)のオーバーフローを防止できる。
そして、多重化制御部107は、通常画像データおよび高精細画像データの2種類の符号化データを伝送路に乗せるため、後述するように、伝送路(回線)の容量を越えないように、多重化部108による多重化を制御する。
つまり、多重化部108は、多重化制御部107を介し本装置の受信側装置を操作してカメラ101映像を監視している監視者等から高精細画像の送信指令がなく、変化検出部104が被写体の動的変化を検出していない場合は、通常画像データメモリ105に記憶された通常画像データを多重化して送信する。
また、多重化部108は、多重化制御部107を介し監視者等から高精細画像の送信指令がなく、変化検出部104が被写体の動的変化を検出した場合は、通常画像データメモリ105に記憶された通常画像データに、高精細画像データメモリ106に記憶された高精細画像データの少なくとも1枚を多重化して送信する。ここで、少なくとも1枚とあるので、2枚以上でも下記の伝送路(回線)の容量の制限等を満たしていれば勿論良い。
その際、本実施の形態の多重化部108は、伝送路(回線)の容量を超えないように、通常画像データの一定時間内における送信情報量と、高精細画像データの一定時間(通常画像データの一定時間と同じ。)内における送信情報量とが同等になるように、高精細画像データメモリ106に記憶された高精細画像データの少なくとも1枚を多重化して送信する。
また、外部から高精細画像の送信指令が多重化制御部107にあった場合、多重化部108は、多重化制御部107の制御により、高精細画像データメモリ106に記憶された残りの高精細画像データを、伝送路の容量を超えない送信情報量で通常画像データと共にマルチストリーム送信する。ここで、マルチストリーム送信とは、種類の異なる複数の符号化データを同時に送信することであり、本実施の形態では、通常画像データと、高精細画像データという種類の異なる複数の符号化データを同時に送信している。
そのため、本実施の形態の動画像符号化部102では、画像データを高精細符号化モードによって符号化した高精細符号化データの1枚当りの情報量を、符号化補助情報として通常画像データメモリ105あるいは高精細画像データメモリ106、またはその双方のメモリ105,106に記憶している。このため、多重化部108は、高精細画像データメモリ106に記憶された高精細画像データの少なくとも1枚のIDRピクチャを通常画像データに多重化して送信する際、その符号化補助情報に基づいて、高精細画像データメモリ106に記憶された高精細画像データを、伝送路の容量を超えない送信情報量で通常画像データに多重化して送信することが可能となる。
次に、図2を用いて動画像符号化部102の詳細な構成および動作を説明する。
図2において、動画像符号化部102は、縮小画像生成部201と、符号化モード切り替え部202と、周波数変換部203と、量子化部204と、エントロピー符号化部205と、符号量制御部206と、符号化データ生成部207と、符号化モード制御部213と、ローカルデコード部216と、を有している。また、符号化モード切り替え部202は、差分器214を有しており、ローカルデコード部216は、逆量子化部208と、逆周波数変換部209と、参照画像メモリ210と、動き予測部211と、動き補償部212と、符号化制御部213と、加算器215とを有している。
次に、図2に示す動画像符号化部102における動作を詳細に説明する。まずは、本実施の形態における通常符号化モードについて、画面内符号化(イントラ符号化)から説明する。
カメラ101より受信した画像データは、マクロブロックと呼ばれる正方形の画素グループを符号化単位として周波数変換部203にて周波数領域の信号へと変換される。ここで、符号化モード切り替え部202に含まれる差分器214は、画像データに対し何も作用することはない。また前段に設置された縮小画像生成部201は、後述の符号化モード制御部213からの制御信号により縮小画像を生成するかそのまま出力するかを切り替えられる。つまり、この縮小画像生成部201は、例えば、カメラ101入力の画像サイズがNTSC相当(720*480)であり、符号化モード制御部213から通常符号化モードの指令を受ければ、これを例えばSIFサイズ(352*240)のピクチャにスケーリングやフィルタリング処理を施す一方、符号化モード制御部213から高精細符号化モードの指令を受ければ、そのままNTSC相当(720*480)で出力する機能を有する。
ここで、画像符号化による圧縮は、人間の目の特性を生かすと共に、また低周波成分ほど情報量が多いという画像情報の特徴を効果的に用いて周波数成分の偏りを利用した量子化により情報量を削減している。周波数変換部203では、このような特徴を利用して最適な信号に変換するため、画素データをブロック単位で周波数変換する。周波数変換された信号は量子化部204にて量子化され、更にエントロピー符号化部205にて可変長符号化されて情報量を削減される。
ここで、図2に示す動画像符号化部102内では、符号量制御部206が最終的な符号化データを生成する前に目標情報量を満足するように生成された符号量を常に考慮しながら量子化部204を制御する。
つまり、符号量制御部206は、エントロピー符号化部205でエントロピー符号化された符号量を観察しながら、目標情報量を満足するため量子化部204の量子化ステップを設定する。尚、実際の符号量制御には、補助情報符号量、過去の画像データの符号量、更には複数の画像符号化データを伝送する監視システムならではの回線残容量等を総合的に判断しながら行う必要がある。
符号化データ生成部207は、このようにして算出された符号化データを画像符号化方式で定められた伝送フォーマットに従ったビットストリームに生成する。以上が画面内符号化と呼ばれる符号化処理工程である。
ところで、画面内符号化は、JPEGのような静止画符号化と基本的には同じ構成であり、1画面で完結する符号化処理である。特に、本実施の形態の動画像符号化方式として採用するMPEG-4 AVCでは、特殊な画面内符号化ピクチャを用意しており、ピクチャサイズやフレームレート等の前後の符号化データの仕様と完全に独立した構成を取る事ができる。この特殊な画面内符号化ピクチャを、通常のイントラ(I)ピクチャと区別して、IDR(Instantaneous Decoding Refresh)ピクチャと名づけている。
続いて、本実施の形態の通常符号化モードにおける画面間符号化(インター符号化)について説明する。
動画像は、前後の画面間において相関が高いという特徴を用いて予測画像との差分を符号化し画面内符号化に対し数倍の情報圧縮を実現している。予測画像は、現ピクチャのマクロブロックとの差分値が最も小さいと判定された前後の参照ピクチャのある切り取られた画像領域に相当し、その領域を指し示す動きベクトルと画素間の差分値を符号化する。
参照画像は、動画像符号化部102に含まれるローカルデコード部216において予め生成された復号後と同一の画像データであり、必要な参照画像は常に参照画像メモリ210に確保されている。
ローカルデコード部216における処理を、図2を用いて説明する。
量子化部204で量子化された周波数信号は、逆量子化部208で逆量子化され、逆周波数変換部209で元の画素データへと変換される。画素データが画面内符号化で生成されたデータであるならば、そのまま参照画像メモリ210へ蓄えられる。反対に画面間符号化で生成されたデータであるならば、差分データであるため、加算器216にて動き補償部212からの予測画像データと加算された後、参照画像メモリ210へ蓄えられる。
一方、カメラ101より入力された画像データは、参照画像との相関を図るため、縮小画像生成部201を介して動き予測部211に送られる。動き予測部211では、対象となる元画像のマクロブロックと、参照画像のどの部分が最も相関が高いかを算出する。最も相関が高いと判定された領域は動きベクトル情報と参照ピクチャを指定するピクチャ番号を示す情報とで特定される。
動き補償部212では、対象となるマクロブロックと、選択された参照画像領域とを用いて動き予測信号を求めている。求められた予測信号は、参照ピクチャを生成するためのデータとして加算器216へ帰還され、また、元画像の情報量を削減するために、元画像との差分値を算出すべく符号化モード切り替え部202に含まれる差分器214に送られる。
差分器214で算出された差分値は、先に述べた画面内符号化の工程と同様に周波数変換部203、量子化部204、及びエントロピー符号化部205を経て符号化される。これにより、動きが少ない画像は、元画像と比較し数値的に非常に小さくなった差分値を用いて符号化されるため、また動きがある画像領域も前後のピクチャから相関の高い領域を用いて差分値を得てから符号化されるため、非常に高い圧縮率を可能にしている。
次に、高精細符号化モードについて説明する。
図1に戻り、変化検出部104が異常、すなわち被写体の動的変化を検出した場合には、新たに高精細符号化モードに切り替え、IDR及びIピクチャとして高精細な画面内符号化を専用に行う工程に移行するため、変化検出部104は、動画像符号化部102に動的変化検出情報を出力する。
すると、動画像符号化部102内では、図2に示すように、符号化制御部213が変化検出部104からの動的変化検出情報を入力して、縮小画像生成部201へ縮小処理の中止命令を送ると共に、符号化モード切り替え部202や符号量多重化制御部107、符号化データ生成部207へ通常符号化モードから高精細画像モードへの符号化モード切り替え命令を送る。
縮小画像生成部201は、符号化制御部213からの縮小処理の中止命令を受けて、高精細画像を送るため縮小処理を中断する。
符号化モード切り替え部202は、符号化制御部213からの高精細画像モードへの符号化モード切り替え命令を受けて、高精細画像モードとなり、縮小画像生成部201にて縮小処理をしない、すなわちスルーしたそのままの高精細な画像データをそのまま通過させる。
符号量多重化制御部107では、符号化制御部213からの高精細画像モードへの符号化モード切り替え命令を受けて、高精細符号化モードに変わり、通常符号化モードの約4倍の符号量割り当てを行うよう制御する。
符号化データ生成部207では、符号化モード制御部213から送られる制御信号に応じ、通常符号化モードでは縮小画像サイズに応じたピクチャサイズ、フレームレート情報などの補助情報を付加し、高精細符号化モードでは、高精細ピクチャサイズと、フレームレート情報などの補助情報を付加した伝送路に常時送信するための伝送情報量を満足する符号化データを生成する。
また、符号化データ生成部207では、一旦高精細画像データメモリ106に蓄積された動画像符号化データとして取り扱われる符号化データには、動画像として必要なフレームレート情報などへの補助情報の付け直しを行う。そして、符号化データ生成部207にて生成されたこれら二種類のビットストリームは、それぞれ、通常画像データメモリ105、高精細画像データメモリ106へ伝送され記憶される。
上記説明の中で、非通常時において高精細符号化モードに切り替わっても、高精細な静止画符号化を行いつつ伝送路に乗せる情報量を安定的に送出する手法を述べた。
次に、通常符号化モードと、高精細符号化モードにおける情報量の違い等を、図面を参照して説明する。
符号化する画像データにもよるが、通常、画面間符号化に対し画面内符号化の情報量は約5〜10数倍程度である。イントラ(I)ピクチャは蓄積される誤差量をリフレッシュするため定期的に挿入する必要があり、1秒に一回程度の挿入が目安とされている。
説明を簡単にするため、NTSC等の画像フォーマットの規格から外れるが、例えば1秒間に31枚の画像データを符号化し、1枚をイントラ(I)ピクチャ、残りの30枚を順方向のみの参照ピクチャを用いたインターピクチャ(Pピクチャ)とし、イントラ(I)ピクチャはPピクチャの10倍の情報量を持つと仮定した場合、その各々のピクチャの符号量と1秒間の総合情報量は、図3に示す関係になる。
図3は、本実施の形態による符号化データ等の情報量の関係を示す図である。
具体的には、図3(a)は、通常画像データにおけるイントラ(I)ピクチャと30枚のインターピクチャ(Pピクチャ)と、高精細画像データにおけるIDR又はIピクチャとの情報量の関係を示している。具体的には、その両者の情報量は、等しいことを示している。なお、前者のイントラ(I)ピクチャと30枚のインターピクチャ(Pピクチャ)は、通常画像データメモリ105に記録される一方、後者のIDR又はIピクチャの少なくとも1枚は、通常画像データと単位時間当たりの送信情報量が同等の情報量であるよう補助情報と共に多重化され通常画像データメモリ105に記録され、更に高精細な動画像符号化データとして満足するフレームレート及びピクチャレート等の補助情報量と共に、一連のIDR及びIピクチャで構成された動画像符号化データとして高精細画像データメモリ106に記録される。
図3(a)に示すように、通常画像データとして符号化された31枚のピクチャの情報量を単純に全て1枚のイントラ(I)ピクチャに使用し、これをピクチャサイズで置き換えれば、通常の動画像符号化におけるピクチャサイズをSIFレベル(352*240)とするならば、後者の高精細符号化モードでは、本実施の形態の場合、一秒間に一枚しか生成できないものの、SDレベル(720*480)の高精細なIDR又はIピクチャの静止画符号化が可能となる。
そもそも高精細符号化モードの場合に、一枚の高精細イントラ(I)ピクチャしか生成できない理由は、伝送路の帯域が高解像度の符号化情報を容量的に流せないからであり、動画像符号化部102の処理能力の許容範囲内であれば、画面内符号化(イントラ符号化)のみを用いて動画像符号化処理をすることも可能である。
図3(b)は、イントラ(I)ピクチャと30枚のインターピクチャ(Pピクチャ)とからなる通常画像データの情報量と、1枚のIDRピクチャと、複数のイントラ(I)ピクチャとからなる高精細画像データの情報量を示している。
多重化制御部107を介し本装置の受信側装置を操作してカメラ101映像を監視している監視者等から高精細画像データの送信指令があった場合、変化検出部104にて動的変化が検出され伝送路に伝送される高精細画像データは、本実施の形態の場合、図3(a)に示すように、前後の符号化データと完全に独立した1枚のIDRピクチャ1枚である。残りの30枚のイントラ(I)ピクチャは、動画像符号化部102にて高精細符号化モードで符号化された後、高精細画像データメモリ106に記録される。そのため、本実施の形態では、多重化制御部107が、監視者の高精細画像データ送信の要求に従い、図3(b)に示すように、あらためて残りの30枚のイントラ(I)ピクチャを通常画像データと共にマルチストリーム送信により伝送路に伝送することで、限られた回線容量の中で通常画像データと高精細な静止画データとの伝送を実現するようにしている。
図4は、本実施の形態の各部における画像データの一例を示す説明図である。
図4(a)は、変化検出部104にて動的変化が検出されない場合の多重化部108から出力される画像符号化ストリームを示している。この場合、画像符号化ストリームは、ピクチャ毎に縮小画像生成部201で縮小された画像データのIDRピクチャを先頭に、縮小画像生成部201で縮小された画像データのPピクチャとイントラ(I)ピクチャとが多重化されることを示している。
図4(b)は、変化検出部104にて動的変化が検出された以後の高精細画像データメモリ106における高精細画像データの記憶状況を示している。具体的には、最初に、動画像符号化部102にて生成された縮小画像生成部201で縮小されない高精細な画像データのIDRピクチャが記憶され、それ以後、動画像符号化部102にて生成された縮小画像生成部201で縮小されない高精細な画像データのイントラ(I)ピクチャが記憶されることを示している。
図4(c)は、変化検出部104にて動的変化が検出された場合を含む動画像符号化部102における画像データの符号化モードを示している。具体的には、変化検出部104にて動的変化が検出されるまでは、通常符号化モードで、ピクチャ毎に縮小画像生成部201で縮小された画像データのIDRピクチャを先頭に、縮小画像生成部201で縮小された画像データのPピクチャとイントラ(I)ピクチャとが多重化されることを示している。そして、変化検出部104にて動的変化が検出された場合には、動画像符号化部102では、縮小画像生成部201で縮小されない高精細な画像データを符号化してIDRピクチャを生成し、それ以後、縮小画像生成部201で縮小されない高精細な画像データのイントラ符号化してイントラ(I)ピクチャを生成することを示している。
図4(d)は、変化検出部104にて動的変化が検出された場合の多重化部108から出力される符号化ストリームの一例を示している。具体的には、変化検出部104にて動的変化が検出されるまでは、通常符号化モードで、ピクチャ毎に縮小画像生成部201で縮小された画像データのIDRピクチャを先頭に、縮小画像生成部201で縮小された画像データのPピクチャとイントラ(I)ピクチャとが多重化され、変化検出部104にて動的変化が検出された場合には、縮小画像生成部201で生成された縮小されない高精細な画像データを符号化してIDRピクチャが少なくとも1枚挿入され、その後、縮小画像生成部201で生成された縮小された画像データを通常の符号化モードにより符号化されたIDRピクチャを先頭にインター(P)ピクチャ、イントラ(I)ピクチャが多重化された符号化ストリームが出力される。これにより、変化検出部104にて動的変化が検出された場合の多重化部108から出力される符号化ストリームには、図4(d)に示すように、変化検出部104にて動的変化が検出された時点で、高精細なIDRピクチャが挿入されるので、受信側では、本装置からの符号化ストリームに高精細なIDRピクチャが挿入されていることを確認することにより、動的変化があったことを認識することができる。
次に、本装置から送信された動画像及び静止画像が混在された符号化ビットストリームの受信側での復号方法と、その符号化ビットストリームの構成について説明する。
前述のようにMPEG-4 AVCは前後のピクチャグループ(MPEG-2でいうところのGOP)と完全に独立したIDRピクチャが用意されている。IDRピクチャが挿入されると、参照ピクチャの完全なリフレッシュが実施され、新たに送られてきた画像情報が如何なる仕様なのかを示した情報が付加されている。
画像符号化データ、すなわちビットストリームは複数のシーケンスと呼ばれるピクチャグループで構成され、そのシーケンスの先頭には必ずIDRを配置し、またそのシーケンスに関する情報をまとめたSPS(Sequence Parameter Set)が挿入される。
図5に、本装置から送信される符号化ビットストリームの構成例を示す。
符号化ビットストリームは、所定単位の複数の符号化シーケンスから構成されており、各符号化シーケンスは、AUD(Access Unit Delimiter)と、SPS(Sequence Parameter Set)と、PPS(Picture Parameter Set)と、IDRピクチャや、インター(P)ピクチャ、イントラ(I)ピクチャ、EOS(End of Sequence)から構成されている。ここで、AUD(Access Unit Delimiter)は、アクセスユニットの先頭(ここではIDRユニットの先頭)を示す情報であり、PPS(Picture Parameter Set)は、ピクチャに関する情報が記述された補助情報列、EOS(End of Sequence)はシーケンスの終了を示す情報である。また、VUI(Video Usability Information)は、SPSに含まれるビデオ情報等が記述された補助情報列である。
SPS(シーケンスパラメータセット)は、画像データのある1シーケンスにおける様々な仕様に関する情報をまとめた補助情報データ列である。このSPSパラメータ中に復号ピクチャの水平マクロブロックの数及び高さの目安を示したpic_width_in_mbs_minus1、pic_height_in_map_unit_minus1パラメータが用意され、これらパラメータからピクチャサイズを導ける。これにより、通常符号化モードで符号化された符号化ビットストリームに高精細なIDRピクチャやイントラ(I)ピクチャが挿入されたことを検出することができる。
またSPSの一部にVUI(Video Usability Information)パラメータが用意されており、このVUIパラメータ中にパラメータnum_units_in_tickとtime_scaleが存在し、これらを解読することでフレームレートを導く事が可能である。
これら図5に示す符号化ビットストリームのシンタックスは、MPEG-4 AVCの国際規格書であるISO/IEC 14496-10の中で規定されている。
よって、集中管理システムにおける受信部の符号化データ復号部(図示せず)において、上述のpic_width_in_mbs_minus1、pic_height_in_map_unit_minus1パラメータや、num_units_in_tick、time_scaleパラメータを復号することで、一つのビットストリームでありながら、通常符号化モードで符号化された動画像データと、高精細符号化モードで符号化された高精細なIDRピクチャやイントラ(I)ピクチャを再生することが可能であり、また異常状態の検出も、これらのパラメータの解析によって高精細静止画モードに切り替わった時点で容易に認識される。
また、高精細符号化モードによりIDRピクチャとイントラ(I)ピクチャとを符号化した場合も、num_units_in_tickとtime_scaleのパラメータが示すフレームレート情報を、通常符号化モードのフレームレート情報と同様にし、IDRピクチャとイントラ(I)ピクチャとをまとめた符号化ビットストリームとして高精細画像データメモリ106に記録しておくことにより、タイムシフトしながら高精細な通常画像データを再送信することで受信側にて高精細な動画像を再生する事も可能である。
また、高精細符号化データの再送信のタイミングは、画像符号化データ伝送置側で簡単に制御できる。つまり、回線空き容量を把握し、所望の画像符号化データ伝送装置内に記録された情報をある上限を設けた空き容量を満足するデータ伝送速度で転送すれば、回線が破綻することはなくシステムの保全が図られる。
このように、本実施の形態によれば、変化検出部104にて被写体の動的変化が検出されない場合、動画像符号化部102は、被写体の画像データを縮小した画像データを通常符号化モードによってイントラ符号化およびインター符号化し、通常符号化データメモリ105を介し多重化部108が多重化して送信する一方、被写体の動的変化があった場合、動画像符号化部102は、被写体の画像データを縮小せずに高精細符号化モードによって符号化してIDRピクチャ1枚とイントラ(I)ピクチャ複数枚とを高精細画像データメモリ106に記憶し、多重化部108がその高精細画像データメモリ106に記憶された高精細画像データのIDRピクチャの少なくとも1枚を通常画像データに多重化して送信するようにしたので、被写体の動的変化があった場合でも、部品点数を増やすことなく、通常画像データと、明瞭な高精細画像データである静止画像を少なくとも1枚を送信することができる。
また、本実施の形態では、多重化部108は、変化検出部104が動的変化を検出し、高精細画像データメモリ105に記憶された高精細画像データの少なくとも1枚を通常画像データメモリ106に記憶された通常画像データに多重化して送信する際、通常画像データの一定時間内における送信情報量と、高精細画像データの一定時間内における送信情報量とが同等になるように、高精細画像データの少なくとも1枚を多重化して送信するようにしたので、動的変化があった場合でも、伝送路(回線)を破綻させることなく高精細画像データを通常画像データに多重化して送信することができ、その結果、受信装置側では、その高精細画像データの受信により動的変化があったことを検出することができる。
また、本実施の形態では、動画像符号化部102は、変化検出部104からの動的変化の検出出力に従い通常符号化モードおよび高精細符号化モードの符号化モードを制御し、通常符号化モードの場合には、画像データの縮小画像を通常符号化モードによりイントラ符号化およびインター符号化する一方、高精細符号化モードの場合には、画像データそのままのサイズで縮小せずに高精細符号化モードによってイントラ符号化するようにしたので、簡単な構成で通常画像データと明瞭な高精細画像データとを送信することができる。
また、本実施の形態では、動画像符号化部102は、MPEG-4 AVCにより符号化を行い、変化検出部104からの動的変化の検出出力に基づいて、被写体の動的変化があると判断した場合、被写体の画像データを高精細符号化モードによってIDRピクチャの高精細画像データとして符号化するようにしたので、高精細画像データに変更する際に、ピクチャサイズやフレームレートがIDRピクチャデータ自身に含まれ、ピクチャサイズやフレームレートの変更を別途のパラメータ等により受信側に指示する必要がなくなり、簡単な構成で通常画像データと明瞭な高精細画像データとを送信することができる。
また、本実施の形態では、多重化部108は、外部から高精細動画像の送信要求があった場合、高精細画像データメモリ106に記憶された残りの高精細画像データを、伝送路(回線)の容量を超えない送信情報量で通常画像データメモリ105に記憶された通常画像データと共にマルチストリーム送信するようにしたので、動的変化が検出されて、高精細動画像の送信要求があった場合でも、伝送路(回線)を破綻させることなく残りの高精細画像データを確実に送信することが可能となる。
その結果、本実施の形態のMPEG-4 AVCによる動画像符号化方式を用いた画像符号化データ伝送装置を使用し集中監視システムを構築すると、一つの伝送データ(ビットストリーム)内に動画像符号化データと高精細な静止画符号化データとを、ほぼ一定伝送レートに保ちながらシームレスに切り替えることができ、また、監視者の要求があるときは、伝送路(回線)を破綻させることなく高精細動画像としても利用できる動画像符号化データを取得することができる。
これにより、監視者は、集中監視システム側で送られてきた画像データを復号する時点でIDRピクチャ等に付加された補助情報を解読することで直ちに異常状態を認識でき、かつその様子をモニタで高精細静止画として同時に観察することで適切な処置が施せることになる。また異常状態で記録された高精細な動画像符号化データを監視者の要求により容易に取得できるため、より的確な状況把握に役立つと共に、証拠写真や現場の重要な瞬間を捉えた事故原因の特定等の役目を果たす事ができる。
また、本実施の形態の画像符号化データ伝送装置では、変化検出部104にて動的変化が検出された場合、高精細符号化モードにより符号化を開始し、伝送路に配信する符号化情報量を一定に保ちながらIDRピクチャという高精細静止画像を通常符号化モードのイントラ符号化およびインター符号化により符号化した高精細でない通常画像データに挿入して配信し、かつ同時に高精細符号化データ106に記録された高精細なイントラ(I)ピクチャは、監視者等からの送信指令によりタイムシフトして伝送路を経て再送信可能であり、一つの符号化方式で適応的に動画像と静止画像を切り替えて配信することで、監視能力の向上と明瞭な記録画像の保存とを実現することができる。
なお、上記実施の形態では、変化検出部104にて動的変化が検出された場合、高精細符号化モードにより符号化を開始し、通常符号化モードのイントラ符号化およびインター符号化により符号化した高精細でない通常画像データに高精細なIDRピクチャを1枚挿入するように説明したが、本発明では、これに限らず、伝送路の帯域に余裕があれば、さらに高精細なイントラ(I)ピクチャを挿入するようにしても良いし、全て高精細なIDRピクチャにより符号化するようにしても勿論よい。
また、上記実施の形態では、画面間符号化(インター符号化)により符号化されたインターピクチャとして、順方向予測のPピクチャのみにより説明したが、本発明では、これに限らず、両方向予測のBピクチャを含めても勿論よい。
また、上記実施の形態の画像符号化データ伝送装置では、図1や図2に示すようにハードウエアにより構成して説明したが、本発明では、この実施の形態に限定されるものではなく、例えば、上記画像符号化データ伝送装置の機能をコンピュータにソフトウエア的に実現させるための画像符号化プログラムも含むものである。この画像符号化プログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
また、上記実施の形態の画像符号化データ伝送装置では、外部から高精細画像の送信指令が多重化制御部107にあった場合、多重化部108は、多重化制御部107の制御により、高精細画像データメモリ106に記憶された残りの高精細画像データを、伝送路の容量を超えない送信情報量で通常画像データと共にマルチストリーム送信するように説明したが、本発明では、これに限らず、外部から高精細動画像の送信要求があった場合、多重化部108は、通常画像データメモリ105に記憶された通常画像データの送信をいったん中断して、伝送路の容量を超えない送信情報量で高精細画像データメモリ106に記憶された高精細画像データを送信するようにしても良い。
101 カメラ
102 動画像符号化部
103 センサ
104 変化検出部
105 通常画像データメモリ
106 高精細画像データメモリ
107 多重化制御部
108 多重化部
102 動画像符号化部
103 センサ
104 変化検出部
105 通常画像データメモリ
106 高精細画像データメモリ
107 多重化制御部
108 多重化部
Claims (5)
- 被写体の画像データを圧縮して送信する画像符号化データ伝送装置であって、
前記被写体の動的変化を検出する変化検出部と、
前記変化検出部からの動的変化の検出出力に基づいて、前記被写体の動的変化がないと判断した場合、前記被写体の画像データを通常符号化モードによって符号化する一方、前記被写体の動的変化があると判断した場合、前記被写体の画像データを高精細符号化モードによって符号化する動画像符号化部と、
前記通常符号化モードによって符号化された通常画像データを記憶する通常画像データメモリと、
前記高精細符号化モードによって符号化された高精細画像データを記憶する高精細画像データメモリと、
前記変化検出部から動的変化の検出出力がない場合は、前記通常画像データメモリに記憶された通常画像データを多重化して送信する一方、前記変化検出部から動的変化の検出出力があった場合は、前記高精細画像データメモリに記憶された前記高精細画像データの少なくとも1枚を前記通常画像データに多重化して送信する多重化部と、
を有する画像符号化データ伝送装置。 - 請求項1記載の画像符号化データ伝送装置において、
前記多重化部は、
前記変化検出部から動的変化の検出出力があり、前記高精細画像データメモリに記憶された前記高精細画像データの少なくとも1枚を前記通常画像データに多重化して送信する際、前記通常画像データの一定時間内における送信情報量と、前記高精細画像データの前記一定時間内における送信情報量とが同等になるように、前記高精細画像データの少なくとも1枚を多重化して送信する、
ことを特徴とする画像符号化データ伝送装置。 - 請求項1記載の画像符号化データ伝送装置において、
前記動画像符号化部は、
前記変化検出部からの動的変化の検出出力に従い前記通常符号化モードおよび前記高精細符号化モードの符号化モードを制御する符号化モード制御部と、
前記符号化モード制御部からの符号化モードの制御に基づき、前記通常符号化モードの指示があった場合には、前記画像データの縮小画像を生成して出力する一方、前記高精細符号化モードの指示があった場合には、前記画像データをそのまま出力する縮小画像生成部と、を備え、
前記符号化モード制御部からの符号化モードの制御に基づき、前記通常符号化モードの指示があった場合には、前記通常符号化モードにより前記縮小画像生成部からの前記縮小画像をイントラ符号化およびインター符号化する一方、前記高精細符号化モードの指示があった場合には、前記縮小画像生成部からのそのまま前記画像データを前記高精細符号化モードによってイントラ符号化する、
ことを特徴とする画像符号化データ伝送装置。 - 請求項1〜請求項3のいずれか一の請求項に記載の画像符号化データ伝送装置において、
前記動画像符号化部は、MPEG‐4 AVCにより符号化を行い、前記変化検出部からの動的変化の検出出力に基づいて、前記被写体の動的変化があると判断した場合、前記被写体の画像データを前記高精細符号化モードによってIDR及びIピクチャの高精細画像データとして符号化する、
ことを特徴とする画像符号化データ伝送装置。 - 請求項1〜請求項4のいずれか一の請求項に記載の画像符号化データ伝送装置において、
前記多重化部は、
外部から高精細動画像の送信要求があった場合、前記高精細画像データメモリに記憶された残りの前記高精細画像データを、伝送路の容量を超えない送信情報量で前記通常画像データと共にマルチストリーム送信する、
ことを特徴とする画像符号化データ伝送装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006090504A JP2007267124A (ja) | 2006-03-29 | 2006-03-29 | 画像符号化データ伝送装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006090504A JP2007267124A (ja) | 2006-03-29 | 2006-03-29 | 画像符号化データ伝送装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007267124A true JP2007267124A (ja) | 2007-10-11 |
Family
ID=38639654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006090504A Pending JP2007267124A (ja) | 2006-03-29 | 2006-03-29 | 画像符号化データ伝送装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007267124A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07121789A (ja) * | 1993-10-22 | 1995-05-12 | Canon Inc | 遠隔監視装置 |
JPH09322154A (ja) * | 1996-05-31 | 1997-12-12 | Sony Corp | 監視ビデオ装置 |
JPH1175176A (ja) * | 1997-07-02 | 1999-03-16 | Matsushita Electric Ind Co Ltd | 遠隔監視システムおよび遠隔監視方法 |
-
2006
- 2006-03-29 JP JP2006090504A patent/JP2007267124A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07121789A (ja) * | 1993-10-22 | 1995-05-12 | Canon Inc | 遠隔監視装置 |
JPH09322154A (ja) * | 1996-05-31 | 1997-12-12 | Sony Corp | 監視ビデオ装置 |
JPH1175176A (ja) * | 1997-07-02 | 1999-03-16 | Matsushita Electric Ind Co Ltd | 遠隔監視システムおよび遠隔監視方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101809306B1 (ko) | 낮은 레이턴시 레이트 제어 시스템 및 방법 | |
WO2011013349A1 (ja) | 映像データ処理装置及び映像データ処理システム | |
KR100866482B1 (ko) | 감시 시스템 및 그 사용 방법 | |
KR100915055B1 (ko) | 디지털 비디오 신호를 인코딩하는 장치, 디지털 비디오 프레임 타입 및 연속된 비디오 프레임에 대한 gop 길이를 특정하는 방법, 및 디지털 영상을 인코딩하는 방법 | |
JP5128865B2 (ja) | ビデオ伝送におけるビットストリーム間の切換 | |
KR20160007564A (ko) | 높은 프레임 레이트 및 가변 프레임 레이트 캡처를 위한 비디오 압축 튜닝 | |
CN101742289B (zh) | 视频码流压缩方法、系统及装置 | |
AU2002321220B2 (en) | Video transmission system video transmission unit and methods of encoding decoding video data | |
US20130322516A1 (en) | Systems and methods for generating multiple bitrate streams using a single encoding engine | |
US8600177B2 (en) | Image coding apparatus | |
WO2008146892A1 (ja) | 動画像変換装置、動画像変換方法、および動画像変換プログラム | |
KR100972673B1 (ko) | 동화상 축적 시스템, 동화상 축적 방법 및 동화상 축적 프로그램이 기록되어 있는 컴퓨터 판독가능 기록 매체 | |
KR101164365B1 (ko) | 차량용 영상 모니터링 장치의 4채널 화면 분할 방법 | |
JP2007288604A (ja) | 映像伝送システム及び映像伝送方法 | |
JP3834170B2 (ja) | ビデオ符号処理システム | |
JP2007267124A (ja) | 画像符号化データ伝送装置 | |
WO2009122925A1 (ja) | 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム | |
EP1739970A1 (en) | Method for encoding and transmission of real-time video conference data | |
US20080122862A1 (en) | Method and apparatus for transmitting and receiving moving pictures based on rgb codec | |
KR100626419B1 (ko) | 비디오 전송에서 비트 스트림들간의 교환 | |
JPH1070727A (ja) | 動画像伝送方法および動画像伝送装置 | |
JP2007336260A (ja) | 映像監視装置 | |
JP2014155084A (ja) | 画像符号化装置 | |
JPH0884329A (ja) | 画像通信端末装置 | |
JP6648898B2 (ja) | ビデオ符号化データ変換装置、ビデオ符号化データ変換方法及びビデオ符号化データ変換プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100521 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100921 |