JP2010087711A - 画像処理装置 - Google Patents

Abstract

【構成】ＤＶＲ１２に設けられたＭＰＥＧ４コーデック３０ａは、動画像を形成する複数の監視画像の各々にイントラ符号化方式およびインター符号化方式のいずれか一方に対応する符号化処理を施して符号化ピクチャを作成する。ＣＰＵ３８は、ＭＰＥＧ４コーデック３０ａによって作成された符号化ピクチャのうち、イントラ符号化方式に対応する符号化ピクチャつまりＩピクチャを複製する。ＣＰＵ３８はまた、ＭＰＥＧ４コーデック３０ａによって作成された符号化ピクチャと複製処理よって作成された符号化ピクチャとをＰＣに送信する。ＣＰＵ３８はさらに、符号化ピクチャの送信態様を表す送信態様情報を作成し、作成された送信態様情報をＰＣに送信する。
【効果】ＰＣがイントラ符号化ピクチャの欠落に起因してインター符号化ピクチャの再生に失敗する頻度が抑えられる。
【選択図】図２

Description

この発明は、画像処理装置に関し、特に監視カメラシステムに適用され、複数の画像の各々にインター符号化方式またはイントラ符号化方式に対応する符号化処理を施し、これによって生成された符号化ピクチャを指定装置に送信する、画像処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、動画像無線伝送システムは、送信側装置および受信側装置によって形成される。送信側装置は、ＭＰＥＧ方式で符号化された複数のピクチャの各々を既定の優先順位に基づいて選択し、選択されたピクチャにスペクトラム拡散変調を施し、変調されたピクチャを送信する。

受信側装置は、送信側装置によって送信されたピクチャを受信し、受信されたピクチャにスペクトラム拡散復調を施し、復調されたピクチャを上述の優先順位に基づいて一時的に記憶する。受信側装置はまた、受信されたピクチャがエラーを有するか否かを判別する。判別結果が肯定的であれば、受信側送信装置は、エラー情報を送信側装置に送信する。

エラー情報を受信した送信側装置は、現時点の送信ピクチャ（現ピクチャ）の優先順位を再送すべきピクチャ（再送ピクチャ）の優先順位と比較し、再送ピクチャの優先順位が現ピクチャの優先順位と同等以上の場合は再送ピクチャを送信のために選択する一方、再送ピクチャの優先順位が現ピクチャの優先順位よりも低い場合は現ピクチャを送信のために選択する。
特開２００４−３２８０２２号公報

しかし、背景技術では、受信側装置によって受信されたピクチャがエラーを有する場合に、受信側装置から送信側装置へエラー情報を送信し、さらに送信側装置から受信側装置へピクチャを再送信する必要があり、送受信処理が複雑化する。

それゆえに、この発明の主たる目的は、送受信処理の複雑化を回避しつつ、ピクチャの欠落頻度を抑制ことができる、画像処理装置を提供することである。

この発明に従う画像処理装置(12：実施例で相当する参照符号。以下同じ)は、複数の画像の各々にイントラ符号化方式およびインター符号化方式のいずれか一方に対応する符号化処理を施して符号化ピクチャを作成する符号化手段(30a~30d)、符号化手段によって作成された符号化ピクチャのうちイントラ符号化方式に対応する符号化ピクチャを複製する複製手段(S69)、符号化手段によって作成された符号化ピクチャと複製手段よって作成された符号化ピクチャとを再生装置(16)に送信するピクチャ送信手段(S73)、およびピクチャ送信手段の送信態様を表す送信態様情報を再生装置に送信する情報送信手段(S25)を備える。

符号化手段は、複数の画像の各々にイントラ符号化方式およびインター符号化方式のいずれか一方に対応する符号化処理を施して符号化ピクチャを作成する。複製手段は、符号化手段によって作成された符号化ピクチャのうちイントラ符号化方式に対応する符号化ピクチャを複製する。ピクチャ送信手段は、符号化手段によって作成された符号化ピクチャと複製手段よって作成された符号化ピクチャとを再生装置に送信する。情報送信手段は、ピクチャ送信手段の送信態様を表す送信態様情報を再生装置に送信する。

イントラ符号化ピクチャを複製し、複製されたイントラ符号化ピクチャと送信態様情報とを再生装置に送信することで、再生装置がイントラ符号化ピクチャの欠落に起因してインター符号化ピクチャの再生に失敗する頻度が抑えられる。

好ましくは、複製回数の指定を受け付ける第１受け付け手段(S13)がさらに備えられ、複製手段は第１受け付け手段によって受け付けた指定に従って複製処理を実行する。

好ましくは、符号化手段は、Ｎフレームに１回の割合で存在する基準フレームにイントラ符号化方式に従う符号化処理を施す一方、基準フレームと異なるフレームにインター符号化方式に従う符号化処理を施す。

好ましくは、インター符号化方式は共通の距離を隔てたフレームを参照する第１方式とイントラ符号化方式に対応するフレームを共通的に参照する第２方式とを含み、第１方式および第２方式のいずれか一方の指定を受け付ける第２受け付け手段(S5, S9)がさらに備えられ、符号化手段は第２受け付け手段によって受け付けた指定に従って符号化処理を実行する。

好ましくは、符号化手段によって作成された符号化ピクチャを記録媒体(36d)に記録する記録手段(56)がさらに備えられ、第２受け付け手段は、記録用符号化方式としての指定を受け付ける記録用符号化方式受け付け手段(S5)、および送信用符号化方式としての指定を受け付ける送信用符号化方式受け付け手段(S9)を含む。

さらに好ましくは、再生装置に送信すべき符号化ピクチャを記録媒体から選択する選択手段(S33)、および選択手段によって選択された符号化ピクチャの符号化方式を送信用符号化方式受け付け手段によって受け付けた指定に適合させる適合手段(S65)がさらに備えられる。

好ましくは、情報送信手段はピクチャ送信手段の送信処理に先立って送信態様情報を送信する。

好ましくは、再送信の要／不要の指定を受け付ける第３受け付け手段(S17)、および再生装置から再送信要求が発行されたとき第３受け付け手段の指定に従って所望の符号化ピクチャを再生装置に再送信する再送信手段(S55)がさらに備えられる。

この発明に従う画像処理プログラムは、複数の画像の各々にイントラ符号化方式およびインター符号化方式のいずれか一方に対応する符号化処理を施して符号化ピクチャを作成する符号化手段(30a~30d)を備える画像処理装置(12)のプロセッサ(38)に、符号化手段によって作成された符号化ピクチャのうちイントラ符号化方式に対応する符号化ピクチャを複製する複製ステップ(S69)、符号化手段によって作成された符号化ピクチャと複製ステップよって作成された符号化ピクチャとを再生装置(16)に送信するピクチャ送信ステップ(S73)、およびピクチャ送信ステップの送信態様を表す送信態様情報を再生装置に送信する情報送信ステップ(S25)を実行させるための、画像処理プログラムである。

この発明に従う画像処理方法は、複数の画像の各々にイントラ符号化方式およびインター符号化方式のいずれか一方に対応する符号化処理を施して符号化ピクチャを作成する符号化手段(30a~30d)を備える画像処理装置(12)によって実行される画像処理方法であって、符号化手段によって作成された符号化ピクチャのうちイントラ符号化方式に対応する符号化ピクチャを複製する複製ステップ(S69)、符号化手段によって作成された符号化ピクチャと複製ステップよって作成された符号化ピクチャとを再生装置(16)に送信するピクチャ送信ステップ(S73)、およびピクチャ送信ステップの送信態様を表す送信態様情報を再生装置に送信する情報送信ステップ(S25)を備える。

この発明によれば、複製されたイントラ符号化ピクチャと送信態様情報とが再生装置に送信される。これによって、再生装置がイントラ符号化ピクチャの欠落に起因してインター符号化ピクチャの再生に失敗する頻度が抑えられる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例の監視カメラシステム１０は、４台の監視カメラＣ１〜Ｃ４と、ＤＶＲ(Digital Video Recorder)１２と、ＰＣ(Personal Computer)１６とを含む。ＤＶＲ１２およびＰＣ１６は、インターネットのような通信ネットワーク１４を介して互いに接続される。ＤＶＲ１２は図２に示すように構成され、ＰＣ１６は図１３に示すように構成される。

図２を参照して、ＤＶＲ１２は、キー入力装置３４を有する。キー入力装置３４によってメニュー操作が行われると、ＣＰＵ３８は、設定変更タスクの下で、対応する命令をＬＣＤドライバ２６に与える。ＬＣＤドライバ２６は、ＬＣＤモニタ２８を駆動して図３に示すメニュー画面を表示する。図３によれば、メニュー画面は、記録用圧縮方式の設定項目，送信用圧縮方式の設定項目，Ｉピクチャ複製回数の設定項目および再送信の設定項目を有する。

キー入力装置３４によって記録用圧縮方式変更操作が行われると、記録用圧縮方式がＭＰＥＧ４方式およびＭＰＥＧ４ｐｌｕｓ方式の間で変更される。同様に、キー入力装置３４によって送信用圧縮方式変更操作が行われると、送信用圧縮方式がＭＰＥＧ４方式およびＭＰＥＧ４ｐｌｕｓ方式の間で変更される。また、複製回数変更操作が行われると、Ｉピクチャの複製回数が“０”〜“３”の間で変更される。さらに、再送信設定変更操作が行われると、再送信設定が“要”および“不要”の間で変更される。

なお、初期状態では、記録用圧縮方式および送信用圧縮方式はいずれもＭＰＥＧ４方式に設定され、複製回数は“０”に設定され、そして再送信設定は“要”に設定される。

所望の設定が選択された状態でキー入力装置３４によって決定操作が行われると、ＣＰＵ３８は、選択された設定を記述した設定情報をレジスタ３８ｒに保存する。ＣＰＵ３８はさらに、図４に示す送信態様情報を作成し、作成された送信態様情報の送信を通信Ｉ／Ｆ３２に命令する。図４によれば、送信態様情報には、送信用圧縮方式，複製回数および再送信設定が記述される。通信Ｉ／Ｆ３２は、このような送信態様情報を通信ネットワーク１４を介してＰＣ１６に送信する。送信が完了すると、ＣＰＵ３８はメニュー画面の表示を終了する。

キー入力装置３４上で記録開始操作が行われると、ＣＰＵ３８は、記録制御タスクの下で記録処理を実行するべく、対応する命令を入力Ｉ／Ｆ２０，ＭＰＥＧ４コーデック３０ａ〜３０ｄおよびＨＤＤ３６に与える。なお、ＭＰＥＧ４コーデック３０ａ〜３０ｄに命令（圧縮命令）を与える際、ＣＰＵ３８は、レジスタ３８ｒの設定情報に記述された記録用圧縮方式を読み出し、読み出された記録用圧縮方式を圧縮命令に記述する。

入力Ｉ／Ｆ２０は、監視カメラＣ１〜Ｃ４からそれぞれ出力された４チャネルの画像データを並列的に取り込み、取り込まれた４チャネルの画像データをメモリ制御回路２２を通してＤＲＡＭ２４に書き込む。

ＭＰＥＧ４コーデック３０ａ〜３０ｄは、ＤＲＡＭ２４に格納された４チャネルの画像データをメモリ制御回路２２を通してそれぞれ読み出し、読み出された画像データを圧縮命令に記述された記録用圧縮方式に従って圧縮する。こうして生成された４チャネルの圧縮画像データつまりＭＰＥＧ４データは、メモリ制御回路２２を通してＤＲＡＭ２４に再度書き込まれる。

図５に示すように、ＭＰＥＧ４データは、１フレームのＩピクチャと９フレームのＰピクチャとを各々が有する複数のＧＯＰ(Group Of Pictures)によって形成される。Ｉピクチャはイントラ符号化を施されたフレームに相当し、Ｐピクチャはインター符号化を施されたフレームに相当する。また、Ｉピクチャは各ＧＯＰの先頭フレームに割り当てられ、Ｐピクチャは２フレーム目〜１０フレーム目に割り当てられる。

ただし、ＭＰＥＧ４方式が選択された場合、注目フレームのＰピクチャは、注目フレームの画像データと注目フレームよりも１フレーム前の画像データとの差分を符号化することで生成される（図６（Ａ）参照）。これに対して、ＭＰＥＧ４ｐｌｕｓ方式が選択された場合、注目フレームのＰピクチャは、注目フレームの画像データと同じＧＯＰに納められるＩピクチャの元の画像データとの差分を符号化することによって生成される（図６（Ｂ）参照）。

ＨＤＤ(Hard Disk Drive)３６は、ＤＲＡＭ２４に蓄積されたＭＰＥＧ４データをチャネル毎に読み出し、読み出されたＭＰＥＧ４データをハードディスク３６ｄに記録する。キー入力装置３４上で記録終了操作が行われると、対応する命令が入力Ｉ／Ｆ２０，ＭＰＥＧ４コーデック３０ａ〜３０ｄおよびＨＤＤ３６に与えられる。これによって、記録処理が終了される。

キー入力装置３４によって画像選択操作が行われると、ＣＰＵ３８は、送信制御タスクの下で、送信すべきＭＰＥＧ４データを選択し、かつ選択されたＭＰＥＧ４データの圧縮方式を検出する。ＣＰＵ３８は、検出された圧縮方式がレジスタ３８ｒに保存された設定情報が示す送信用圧縮方式と一致するときフラグＦＬＧを“０”に設定する一方、検出された圧縮方式がレジスタ３８ｒに保存された設定情報が示す送信用圧縮方式と相違するときフラグＦＬＧを“１”に設定する。

画像選択操作に続いて送信開始操作が行われると、ＣＰＵ３８は、送信開始通知の発行を通信Ｉ／Ｆ３２に命令する。通信Ｉ／Ｆ３２は、送信開始を通信ネットワーク１４を介してＰＣ１６に通知する。ＣＰＵ３８続いて、送信処理を実行するべくＭＰＥＧ４データを既定量ずつＨＤＤ３６から再生する。再生された既定量のＭＰＥＧ４データは、メモリ制御回路２２を通してＤＲＡＭ２４に書き込まれる。

フラグＦＬＧが“１”であれば、ＤＲＡＭ２４に格納されたＭＰＥＧ４データの圧縮方式は、送信用圧縮方式と相違する。このとき、ＣＰＵ３８は、圧縮方式変換処理を実行するべく、ＭＰＥＧ４コーデック３０ａ〜３０ｄの１つに伸長命令を与え、かつＭＰＥＧ４コーデック３０ａ〜３０ｄの他の１つに圧縮命令を与える。

伸長命令を受けたＭＰＥＧ４コーデックは、ＤＲＡＭ２４に格納されたＭＰＥＧ４データをメモリ制御回路２２を通して読み出し、読み出されたＭＰＥＧ４データを記録時の圧縮方式に適合する態様で伸長する。伸長された画像データは、メモリ制御回路２２を通してＤＲＡＭ２４に書き込まれる。

圧縮命令を受けたＭＰＥＧ４コーデックは、伸長された画像データをメモリ制御回路２２を通してＤＲＡＭ２４から読み出し、読み出された画像データをレジスタ３８ｒに保存された設定情報が示す送信用圧縮方式に従って圧縮する。これによって生成されたＭＰＥＧ４データは、メモリ制御回路２２を通してＤＲＡＭ２４に書き込まれる。

送信用圧縮方式に適合するＭＰＥＧ４データがＤＲＡＭ２４に確保されると、ＣＰＵ３８は、レジスタ３８ｒに保存された設定情報が示す複製回数が“１”以上であるか否かを判別する。複製回数が“１”〜“３”のいずれかを示していれば、ＣＰＵ３８は、ＤＲＡＭ２４に確保されたＭＰＥＧ４データを形成する複数のＧＯＰの各々からＩピクチャを読み出し、読み出されたＩピクチャを指定の複製回数だけ複製し、そして複製されたＩピクチャを元のＧＯＰに挿入する。

したがって、ＭＰＥＧ４データの構造は、複製回数が“１”を示すとき図７（Ａ）に示すように改変され、複製回数が“２”を示すとき図７（Ｂ）に示すように改変され、複製回数が“３”を示すとき図７（Ｃ）に示すように改変される。

こうして所望の圧縮方式と所望の構造とを有するＭＰＥＧ４データが得られると、ＣＰＵ３８は、通信Ｉ／Ｆ３２に対して送信命令を発行する。通信Ｉ／Ｆ３２は、ＤＲＡＭ２４に格納されたＭＰＥＧ４データをメモリ制御回路２２を通して読み出し、読み出されたＭＰＥＧ４データを通信ネットワーク１４を介してＰＣ１６に送信する。

ＰＣ１６は、自らの再送信要求設定が“発行”を示し、かつ再送信要求発行条件が満足されたとき（ＰＣの再送信要求設定および再送信要求発行条件については後述）、所望のピクチャを識別する情報を記述した再送信要求をＤＶＲ１２に向けて発行する。発行された再送信要求は、通信Ｉ／Ｆ３２によって受信され、ＣＰＵ３８に与えられる。

ＣＰＵ３８は、再送信要求をＰＣ１６から受けたとき、レジスタ３８ｒに保存された設定情報が示す再送信設定が“要”および“不要”のいずれであるかを判別する。再送信設定が“要”を示す場合、ＣＰＵ３８は、再送信処理を実行するべく、所望のピクチャの再送信を通信Ｉ／Ｆ３２に命令する。通信Ｉ／Ｆ３２は、所望のピクチャをメモリ制御回路２２を通してＤＲＡＭ２４から読み出し、読み出されたピクチャを通信ネットワーク１４を介してＰＣ１６に送信する。

上述のような送信動作が終了すると、ＣＰＵ３８は、送信終了通知の発行を通信Ｉ／Ｆ３２に命令する。通信Ｉ／Ｆ３２は、送信終了を通信ネットワーク１４を介してＰＣ１６に通知する。

設定変更タスクは図８〜図９に示すタスクに相当し、送信制御タスクは図１０〜図１２に示すタスクに相当する。これらのタスクを含む複数のタスクに対応する制御プログラムは、ハードディスク３６ｄに保存される。

図８を参照して、ステップＳ１ではメニュー操作が行われたか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ３に進み、ＬＣＤドライバ２６を制御して図３に示すメニュー画面をＬＣＤモニタ２８に表示する。

ステップＳ５では記録用圧縮方式変更操作が行われたか否かを判別し、ステップＳ９では送信用圧縮方式変更操作が行われたか否かを判別する。また、ステップＳ１３では複製回数変更操作が行われたか否かを判別し、ステップＳ１７では再送信設定変更操作が行われたか否かを判別する。

ステップＳ５でＹＥＳであればステップＳ７に進み、記録用圧縮方式をＭＰＥＧ４方式およびＭＰＥＧ４ｐｌｕｓ方式の間で変更する。ステップＳ９でＹＥＳであればステップＳ１１に進み、送信用圧縮方式をＭＰＥＧ４方式およびＭＰＥＧ４ｐｌｕｓ方式の間で変更する。ステップＳ１３でＹＥＳであればステップＳ１５に進み、複製回数を“０”〜“３”の間で変更する。ステップＳ１７でＹＥＳであればステップＳ１９に進み、再送信設定を“要”および“不要”の間で変更する。

ステップＳ２１では決定操作が行われたか否かを判別し、ＮＯであればステップＳ５に戻る一方、ＹＥＳであればステップＳ２３に進む。ステップＳ２３では、上述の要領で決定された記録用圧縮方式，送信用圧縮方式，複製回数および再送信設定を記述した設定情報を作成し、作成された設定情報をレジスタ３８ｒに保存する。ステップＳ２５では、送信用圧縮方式，複製回数および再送信設定が記述された送信態様情報（図４参照）を作成し、通信Ｉ／Ｆ３２を制御して送信態様情報をＰＣ１６に送信する。送信が完了すると、ステップＳ２７でメニュー画面の表示を終了し、その後にステップＳ１に戻る。

図１０を参照して、ステップＳ３１では画像選択操作が行われたか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、送信すべきＭＰＥＧ４データをステップＳ３３で選択し、選択されたＭＰＥＧデータの圧縮方式をステップＳ３５で検出する。ステップＳ３７では、検出された圧縮方式がレジスタ３８ｒの設定情報に記述された送信用圧縮方式と一致するか否かを判別し、ＹＥＳであればステップＳ３９でフラグＦＬＧを“０”に設定する一方、ＮＯであればステップＳ４１でフラグＦＬＧを“１”に設定する。

ステップＳ４３では送信開始操作が行われたか否かを判別し、ステップＳ４５では取り消し操作が行われた否かを判別する。ステップＳ４３でＹＥＳであればステップＳ４７〜Ｓ５９の処理を経てステップＳ３１に戻る一方、ステップＳ４５でＹＥＳであればそのままステップＳ３１に戻る。

ステップＳ４７では通信Ｉ／Ｆ３２を制御してＰＣ１６に送信開始を通知し、ステップＳ４９では既定量のＭＰＥＧ４データに送信処理を施す。送信処理が完了すると、ＰＣ１６から再送信要求を受信したか否かをステップＳ５１で判別し、レジスタ３８ｒの設定情報に記述された再送信設定が“要”であるか否かをステップＳ５３で判別する。ステップＳ５１およびＳ５３のいずれか一方でもＮＯであれば、そのままステップＳ５７に進む。一方、ステップＳ５１およびＳ５３のいずれもＹＥＳであれば、ステップＳ５５で所望のピクチャをＰＣ１６に再送信してから、ステップＳ５７に進む。

ステップＳ５７ではステップＳ３３で選択されたＭＰＥＧ４データの送信が完了したか否かを判別し、ＮＯであればステップＳ４９に戻る一方、ＹＥＳであればステップＳ５９で通信Ｉ／Ｆ３２を制御してＰＣ１６に送信終了を通知してからステップＳ３１に戻る。

ステップＳ４７の送信処理は、図１２に示すサブルーチンに従って実行される。まずステップＳ６１で、ＨＤＤ３６に再生命令を発行して既定量のＭＰＥＧ４データをＤＲＡＭ２４に確保する。ステップＳ６３ではフラグＦＬＧが“１”であるか否かを判別し、ＮＯであればそのままステップＳ６７に進む一方、ＹＥＳであればステップＳ６５で圧縮方式変換処理を実行してからステップＳ６７に進む。ステップＳ６５の処理の結果、ＤＲＡＭ２４に確保されたＭＰＥＧ４データの圧縮方式がレジスタ３８ｒの設定情報に記述された送信用圧縮方式と適合する。

ステップＳ６７ではレジスタ３８ｒの設定情報に記述された複製回数が“１”以上であるか否かを判別し、ＮＯであればそのままステップＳ７３に進む一方、ＹＥＳであればステップＳ６９〜Ｓ７１の処理を経てステップＳ７３に進む。

ステップＳ６９では、ＤＲＡＭ２４に確保された既定量のＭＰＥＧ４データを形成する複数のＧＯＰの各々からＩピクチャを読み出し、読み出されたＩピクチャをレジスタ３８ｒの設定情報に記述された複製回数だけ複製する。ステップＳ７１では、複製されたＩピクチャを元のＧＯＰに挿入する。この結果、ＤＲＡＭ２４に確保された既定量のＭＰＥＧ４データの構造は、図７（Ａ）〜図７（Ｃ）に示すように改変される。

ステップＳ７３では、通信Ｉ／Ｆ３２を制御して、ＤＲＡＭ２４に確保された既定量のＭＰＥＧ４データをＰＣ１６に送信する。ステップＳ７３の処理が完了すると、上階層のルーチンに復帰する。

図１３を参照して、ＰＣ１８は、キーボード／マウス５４を含む。キーボード／マウス５４によってメニュー操作が行われると、ＣＰＵ５６は、設定変更タスクの下で、対応する命令をＬＣＤドライバ４６に与える。ＬＣＤドライバ４６は、ＬＣＤモニタ４８を駆動して図１４に示すメニュー画面を表示する。図１４によれば、メニュー画面は、再送信要求の設定項目，Ｉピクチャの再送信要求に関する設定項目およびＰピクチャの再送信要求に関する設定項目を有する。

キーボード／マウス５４によって再送信要求設定変更操作が行われると、再送信要求設定が“発行”および“非発行”の間で変更される。再送信要求設定が“発行”であれば、キーボード／マウス５４によるＩピクチャ設定変更操作に応答してＩピクチャの再送信要求の設定が変更され、キーボード／マウス５４によるＰピクチャ設定変更操作に応答してＰピクチャの再送信要求の設定が変更される。Ｉピクチャの再送信要求の設定は“要”および“不要”の間で変更され、Ｐピクチャの再送信要求の設定は０％〜１００％の範囲で１０％ずつ変更される。

なお、初期状態では、再送信要求設定は“発行”に設定され、Ｉピクチャの再送信要求の設定は“要”に設定され、そしてＰピクチャの再送信要求の設定は“５０％”に設定される。

所望の設定が選択された状態でキーボード／マウス５４によって決定操作が行われると、ＣＰＵ５６は、選択された設定を記述した設定情報をレジスタ５６ｒに保存し、その後にメニュー画面の表示を終了する。

ＤＶＲ１２によって発行された送信開始通知が通信Ｉ／Ｆ４０によって受信されると、ＣＰＵ５６は、その後にＤＶＲ１２から送信されるＭＰＥＧ４データに受信処理を施す。ＤＶＲ１２から送信されたＭＰＥＧ４データは、通信Ｉ／Ｆ４０によって受信され、メモリ制御回路４２を経てＤＲＡＭ４４に書き込まれる。

ＣＰＵ５６は、ＤＲＡＭ４４に確保されたＭＰＥＧ４データから１ＧＯＰを指定し、指定されたＧＯＰからＩピクチャを探索する。Ｉピクチャを発見できなければ、ＣＰＵ５６は、送信の途中でＩピクチャが欠落したとみなし、Ｉピクチャの欠落を示す欠落情報をテーブル５６ｔに記述する。ＣＰＵ５６は続いて、指定されたＧＯＰから２フレーム目〜１０フレーム目のＰピクチャを探索し、発見できないＰピクチャについては、上述と同様に、欠落したＰピクチャのフレーム番号を示す欠落情報をテーブル５６ｔに記述する。

欠落情報は、欠落したピクチャが属するＧＯＰ番号，欠落したピクチャのＧＯＰ内でのフレーム番号，および欠落したピクチャの種別を示す識別子を含む。したがって、テーブル５６ｔは、たとえば図１５に示す要領で作成される。

図１５によれば、欠落情報は、３５番目のＧＯＰにおいてＩピクチャが欠落し、８５番目のＧＯＰにおいて３フレーム目のＰピクチャが欠落し、９８番目のＧＯＰにおいて８フレーム目のＰピクチャが欠落し、そして１５６番目のＧＯＰにおいて５フレーム目のＰピクチャが欠落したこと示す。

指定されたＧＯＰに対応する欠落情報が作成されると、ＣＰＵ５６は、レジスタ５６ｒの設定情報に記述された再送信設定が“発行”および“非発行”のいずれであるかを判別する。再送信設定が“発行”を示していれば、ＣＰＵ５６は、テーブル５６ｔに記述された欠落情報とレジスタ５６ｒに記述されたＩピクチャの再送信要求設定とを参照して、Ｉピクチャの再送信が必要か否かを判別する。ＣＰＵ５６はまた、テーブル５６ｔに記述された欠落情報とレジスタ５６ｒに記述されたＰピクチャの再送信要求設定とを参照して、Ｐピクチャの再送信が必要か否かを判別する。

欠落情報が指定ＧＯＰにおけるＩピクチャの欠落を示しており、かつＩピクチャの再送信要求設定が“要”を示していれば、ＣＰＵ５６は、Ｉピクチャの再送信要求発行条件が満足されたとみなし、Ｉピクチャの再送信要求の発行を通信Ｉ／Ｆ４０に命令する。また、欠落情報が指定ＧＯＰのＰピクチャの欠落を示しており、かつ欠落したＰピクチャの割合がＰピクチャの再送信要求設定が示す割合を下回っていれば、ＣＰＵ５６は、Ｐピクチャの再送信要求発行条件が満足されたとみなし、Ｐピクチャの再送信要求の発行を通信Ｉ／Ｆ４０に命令する。

Ｉピクチャの再送信要求には、ＧＯＰ番号とＩピクチャの識別子とが記述される。また、Ｐピクチャの再送信要求には、ＧＯＰ番号と１または２以上の欠落フレーム番号とＰピクチャの識別子とが記述される。通信Ｉ／Ｆ４０は、ＣＰＵ５６からの命令に従う再送信要求を通信ネットワーク１４を介してＤＶＲ１２に送信する。

なお、Ｐピクチャの再送信要求に記述される欠落フレーム番号の数は、欠落したＰピクチャの割合とＰピクチャの再送信要求設定が示す割合との差分に相当する。したがって、欠落したＰピクチャの割合が４０％で、Ｐピクチャの再送信要求設定が示す割合が８０％であり、かつ欠落したＰピクチャのフレーム番号が“３”，“５”，“７”および“８”である場合、“３”，“５”，“７”および“８”のうちの２つが再送信要求に記述される。

ＤＶＲ１２は、このような再送信要求に対して所望のピクチャを再送する。再送されたピクチャは、通信Ｉ／Ｆ４０によって受信され、メモリ制御回路４２を介してＤＲＡＭ４４に書き込まれる。

このようなＧＯＰまたはピクチャの受信動作は、ＤＶＲ１２によって発行された送信終了通知が通信Ｉ／Ｆ４０によって受信されたときに、終了される。

ＤＲＡＭ４４に蓄積されたＭＰＥＧ４データはまた、受信制御タスクと並列する再生制御タスクの下で、ＭＰＥＧ４デコーダ５０によって再生される。ＭＰＥＧデコーダ４０は、ＤＲＡＭ４４に蓄積されたＭＰＥＧ４データをメモリ制御回路４２を通して読み出し、読み出されたＭＰＥＧ４データを伸長し、そして伸長された画像データをメモリ制御回路４２を通してＤＲＡＭ４４に書き込む。

ＭＰＥＧ４デコーダ５０における伸長処理では、Ｉピクチャはイントラ復号処理を施され、Ｐピクチャはインター復号処理を施される。ただし、ＭＰＥＧ４データがＭＰＥＧ４方式で圧縮されたデータであれば、注目フレームのＰピクチャは、自らが属するＧＯＰ内で注目フレームに先行する全フレームのピクチャを参照して復号される（図１６（Ａ）参照）。一方、ＭＰＥＧ４データがＭＰＥＧ４ｐｌｕｓ方式で圧縮されたデータであれば、注目フレームのＰピクチャは、注目フレームよりも１フレーム前のピクチャを参照して復号される（図１６（Ｂ）参照）。

ＬＣＤドライバ４６は、こうしてＤＲＡＭ４４に蓄積された画像データをメモリ制御回路４２を通して読み出し、読み出された画像データに基づいてＬＣＤモニタ４８を駆動する。この結果、再生動画像がモニタ画面に表示される。

なお、受信制御タスクの処理によってＤＲＡＭ４４に蓄積されたＭＰＥＧデータはまた、受信制御タスクと並列する記録制御タスクの下で、ＨＤＤ５２に設けられたハードディスク５２ｄに記録される。

設定変更タスクは図１７〜図１８に示すタスクに相当し、受信制御タスクは図１９〜図２１に示すタスクに相当する。これらのタスクを含む複数のタスクに対応する制御プログラムは、ハードディスク５２ｄに保存される。

図１７を参照して、ステップＳ７１ではメニュー操作が行われたか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ７３に進み、ＬＣＤドライバ４６を制御して図１４に示すメニュー画面をＬＣＤモニタ４８に表示する。

ステップＳ７５では再送信要求設定変更操作が行われたか否かを判別し、ＮＯであればそのままステップＳ７９に進む一方、ＹＥＳであれば再送信要求設定を“発行”および“非発行”の間で変更してからステップＳ７９に進む。ステップＳ７９では、再送信要求設定が“発行”を示しているか否かを判別し、ＮＯであればそのままステップＳ８１に進む一方、ＹＥＳであればステップＳ８７〜Ｓ９３の処理を経てステップＳ８１に進む。

ステップＳ８７ではＩピクチャ設定変更操作が行われたか否かを判別し、ステップＳ９１ではＰピクチャ設定変更操作が行われたか否かを判別する。ステップＳ８７でＹＥＳであれば、Ｉピクチャの再送信要求の設定を“要”および“不要”の間で変更する。ステップＳ９１でＹＥＳであれば、Ｐピクチャの再送信要求の設定を“０％”〜“１００％”の間で変更する。

ステップＳ８１では決定操作が行われたか否かを判別し、ＮＯでればステップＳ７５に戻る一方、ＹＥＳであればステップＳ８３に進む。ステップＳ８３では、上述の要領で選択された設定を記述した設定情報を作成し、作成された設定情報をレジスタ５６ｒに保存する。保存処理が完了すると、ステップＳ８５でメニュー画面の表示を終了し、その後にステップＳ７１に戻る。

図１９を参照して、ステップＳ１０１では送信開始通知をＤＶＲ１２から受信したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ１０３で受信処理を実行する。受信処理が完了すると、レジスタ５６ｒの設定情報に記述された再送信要求設定が“発行”を示すか否かを判別し、ＮＯであればそのままステップＳ１１５に進む一方、ＹＥＳであればステップＳ１０７〜Ｓ１１３の処理を経てステップＳ１１５に進む。

ステップＳ１０７ではテーブル５６ｔを参照してＩピクチャ再送信要求発行条件が満足されるか否かを判別し、ステップＳ１１１ではテーブル５６ｔを参照してＰピクチャ再送信要求発行条件が満足されるか否かを判別する。ステップＳ１０７およびＳ１１１のいずれもＮＯであれば、そのままステップＳ１１５に進む。

ステップＳ１０７でＹＥＳであればステップＳ１０９に進み、ＧＯＰ番号とＩピクチャの識別子とが記述された再送信要求の発行を通信Ｉ／Ｆ４０に命令する。ステップＳ１１１でＹＥＳであればステップＳ１１３に進み、ＧＯＰ番号と１または２以上の欠落フレーム番号とＰピクチャの識別子とが記述された再送信要求の発行を通信Ｉ／Ｆ４０に命令する。

ステップＳ１１５ではＤＶＲ１２から所望のピクチャが再送されたか否かを判別し、ＮＯであればそのままステップＳ１１９に進む一方、ＹＥＳであれば再送されたピクチャをステップＳ１１７で受信してからステップＳ１１９に進む。ステップＳ１１９では送信終了通知をＤＶＲ１２から受信したか否かを判別し、ＮＯであればそのままステップＳ１０３に戻る一方、ＹＥＳであればステップＳ１２１で終了処理を実行してからステップＳ１０１に戻る。

図１９に示すステップＳ１０３の受信処理は、図２１に示すサブルーチンに従って実行される。ステップＳ１３１では１ＧＯＰを受信し、ステップＳ１３３では受信したＧＯＰにＩピクチャが存在するか否かを判別する。Ｉピクチャを発見できればそのままステップＳ１３７に進む一方、Ｉピクチャを発見できなければステップＳ１３５でＩピクチャの欠落を示す欠落情報をテーブル５６ｒに記述してからステップＳ１３７に進む。

ステップＳ１３７では変数Ｎを“２”に設定し、ステップＳ１３９ではＮフレーム目のＰピクチャが受信したＧＯＰに存在するか否かを判別する。Ｎフレーム目のＰピクチャを発見できればそのままステップＳ１４３に進む一方、Ｐピクチャを発見できなければステップＳ１４１でＰピクチャの欠落を示す欠落情報をテーブル５６ｒに記述してからステップＳ１４３に進む。ステップＳ１４３では変数Ｎをインクリメントし、ステップＳ１４５では変数Ｎが“１０”を上回るか否かを判別する。ここでＮＯであればステップＳ１３９に戻る一方、ＹＥＳであれば上階層のルーチンに復帰する。

以上の説明から分かるように、ＤＶＲ１２に設けられたＭＰＥＧ４コーデック３０ａ（または３０ｂ〜３０ｄ：いずれも符号化手段）は、動画像を形成する複数の監視画像の各々にイントラ符号化方式およびインター符号化方式のいずれか一方に対応する符号化処理を施して符号化ピクチャを作成する。ＣＰＵ３８は、ＭＰＥＧ４コーデック３０ａによって作成された符号化ピクチャのうち、イントラ符号化方式に対応する符号化ピクチャつまりＩピクチャを複製する(S69)。ＣＰＵ３８はまた、ＭＰＥＧ４コーデック３０ａによって作成された符号化ピクチャと複製処理よって作成された符号化ピクチャとをＰＣ１６（再生装置）に送信する(S73)。ＣＰＵ３８はさらに、符号化ピクチャの送信態様を表す送信態様情報を作成し、作成された送信態様情報をＰＣ１６に送信する(S25)。

このように、イントラ符号化ピクチャはＣＰＵ３８によって複製され、複製されたイントラ符号化ピクチャおよび送信態様情報はＰＣ１６に送信される。これによって、ＰＣ１６がイントラ符号化ピクチャの欠落に起因してインター符号化ピクチャの再生に失敗する頻度が抑えられる。

なお、この実施例では、４台の監視カメラＣ１〜Ｃ４からそれぞれ出力された４チャネルの画像データをＤＶＲ１２によって取り込むようにしているが、監視カメラの台数は４台に限られるものではない。

また、この実施例では、ＤＶＲ１２の設定を変更するにあたって、ＤＶＲ１２に設けられたキー入力装置３４を操作する必要がある（図８〜図９参照）。しかし、ＰＣ１６のキーボード／マウス５４の操作に応答してＤＶＲ１２の設定を変更するようにしてもよい。

さらに、この実施例では、ＤＶＲ１２のＭＰＥＧ４コーデック３０ａ〜３０ｄによって作成されたＭＰＥＧ４データは、ハードディスク３６ｄに一旦記録された後にＰＣ１６に送信される。しかし、ＭＰＥＧ４データは、ハードディスク３６ｄを経ることなくＰＣ１６に送信するようにしてもよい。

また、この実施例では、複製されたＩピクチャは元のＩピクチャから連続する位置に挿入される（図７（Ａ）〜図７（Ｃ）参照）。しかし、複製されたＩピクチャは、その挿入位置がＰＣ１６によって把握できる限り、元のＩピクチャから不連続な位置に挿入するようにしてもよいし、別のＧＯＰに挿入するようにしてもよい。

さらに、この実施例のＤＶＲ１２では、初期状態において、記録用圧縮方式および送信用圧縮方式はいずれもＭＰＥＧ４方式に設定され、複製回数は“０”に設定され、そして再送信設定は“要”に設定される。同様に、この実施例のＰＣ１６では、初期状態において、再送信要求設定は“発行”に設定され、Ｉピクチャの再送信要求の設定は“要”に設定され、そしてＰピクチャの再送信要求の設定は“５０％”に設定される。しかし、これと異なる状態を初期状態とするようにしてもよい。

また、この実施例のＤＶＲ１２では、再送信設定を“要”および“不要”の間で変更できるが（図３の最下段参照）、このような再送信設定の変更は禁止するようにしてもよい。この場合、図９に示すステップＳ１７〜Ｓ１９の処理は省略され、さらに図１１に示すステップＳ５３の処理も省略される。これによって、再送信に関連してＤＶＲ１２およびＰＣ１６の両方の設定を変更しなければならないような煩わしさが解消される。

この発明の一実施例の構成を示すブロック図である。 図１実施例に適用されるＤＶＲの構成の一例を示すブロック図である。 図２実施例のＬＣＤモニタに表示されるメニュー画面の一例を示す図解図である。 図２実施例のＣＰＵによって作成される送信態様情報の構造の一例を示す図解図である。 図２実施例のＭＰＥＧ４コーデックによって作成されるＭＰＥＧデータの構造の一例を示す図解図である。 （Ａ）はＭＰＥＧ４方式に従う圧縮動作の一例を示す図解図であり、（Ｂ）はＭＰＥＧ４ｐｌｕｓ方式に従う圧縮動作の一例を示す図解図である。 （Ａ）は複製回数が“１”に設定されたときの圧縮画像データの構造の一部を示す図解図であり、（Ｂ）は複製回数が“２”に設定されたときの圧縮画像データの構造の一部を示す図解図であり、（Ｃ）は複製回数が“３”に設定されたときの圧縮画像データの構造の一部を示す図解図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＰＣの構成の一例を示すブロック図である。 図１３実施例のＬＣＤモニタに表示されるメニュー画面の一例を示す図解図である。 図１３実施例によって参照されるテーブルの一例を示す図解図である。 （Ａ）はＭＰＥＧ４方式に対応するＭＰＥＧ４データの再生動作の一例を示す図解図であり、（Ｂ）はＭＰＥＧ４ｐｌｕｓ方式に対応するＭＰＥＧ４データの再生動作の一例を示す図解図である。 図１３実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１３実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１３実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図１３実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図１３実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。

符号の説明

１０ …監視カメラシステム
Ｃ１〜Ｃ４ …監視カメラ
１２ …ＤＶＲ
１４ …ネットワーク
１６ …ＰＣ
３０ａ〜３０ｄ …ＭＰＥＧ４エンコーダ
５０ …ＭＰＥＧ４デコーダ
３８，５６ …ＣＰＵ

Claims (10)

1. 複数の画像の各々にイントラ符号化方式およびインター符号化方式のいずれか一方に対応する符号化処理を施して符号化ピクチャを作成する符号化手段、
   前記符号化手段によって作成された符号化ピクチャのうち前記イントラ符号化方式に対応する符号化ピクチャを複製する複製手段、
   前記符号化手段によって作成された符号化ピクチャと前記複製手段よって作成された符号化ピクチャとを再生装置に送信するピクチャ送信手段、および
   前記ピクチャ送信手段の送信態様を表す送信態様情報を前記再生装置に送信する情報送信手段を備える、画像処理装置。
2. 複製回数の指定を受け付ける第１受け付け手段をさらに備え、
   前記複製手段は前記第１受け付け手段によって受け付けた指定に従って複製処理を実行する、請求項１記載の画像処理装置。
3. 前記符号化手段は、Ｎフレームに１回の割合で存在する基準フレームに前記イントラ符号化方式に従う符号化処理を施す一方、前記基準フレームと異なるフレームに前記インター符号化方式に従う符号化処理を施す、請求項１または２記載の画像処理装置。
4. 前記インター符号化方式は共通の距離を隔てたフレームを参照する第１方式と前記イントラ符号化方式に対応するフレームを共通的に参照する第２方式とを含み、
   前記第１方式および前記第２方式のいずれか一方の指定を受け付ける第２受け付け手段をさらに備え、
   前記符号化手段は前記第２受け付け手段によって受け付けた指定に従って符号化処理を実行する、請求項１ないし３のいずれかに記載の画像処理装置。
5. 前記符号化手段によって作成された符号化ピクチャを記録媒体に記録する記録手段をさらに備え、
   前記第２受け付け手段は、記録用符号化方式としての指定を受け付ける記録用符号化方式受け付け手段、および送信用符号化方式としての指定を受け付ける送信用符号化方式受け付け手段を含む、請求項１ないし４のいずれかに記載の画像処理装置。
6. 前記再生装置に送信すべき符号化ピクチャを前記記録媒体から選択する選択手段、および
   前記選択手段によって選択された符号化ピクチャの符号化方式を前記送信用符号化方式受け付け手段によって受け付けた指定に適合させる適合手段をさらに備える、請求項５記載の画像処理装置。
7. 前記情報送信手段は前記ピクチャ送信手段の送信処理に先立って前記送信態様情報を送信する、請求項１ないし６のいずれかに記載の画像処理装置。
8. 再送信の要／不要の指定を受け付ける第３受け付け手段、および
   前記再生装置から再送信要求が発行されたとき前記第３受け付け手段の指定に従って所望の符号化ピクチャを前記再生装置に再送信する再送信手段をさらに備える、請求項１ないし７のいずれかに記載の画像処理装置。
9. 複数の画像の各々にイントラ符号化方式およびインター符号化方式のいずれか一方に対応する符号化処理を施して符号化ピクチャを作成する符号化手段を備える画像処理装置のプロセッサに、
   前記符号化手段によって作成された符号化ピクチャのうち前記イントラ符号化方式に対応する符号化ピクチャを複製する複製ステップ、
   前記符号化手段によって作成された符号化ピクチャと前記複製ステップよって作成された符号化ピクチャとを再生装置に送信するピクチャ送信ステップ、および
   前記ピクチャ送信ステップの送信態様を表す送信態様情報を前記再生装置に送信する情報送信ステップを実行させるための、画像処理プログラム。
10. 複数の画像の各々にイントラ符号化方式およびインター符号化方式のいずれか一方に対応する符号化処理を施して符号化ピクチャを作成する符号化手段を備える画像処理装置によって実行される画像処理方法であって、
    前記符号化手段によって作成された符号化ピクチャのうち前記イントラ符号化方式に対応する符号化ピクチャを複製する複製ステップ、
    前記符号化手段によって作成された符号化ピクチャと前記複製ステップよって作成された符号化ピクチャとを再生装置に送信するピクチャ送信ステップ、および
    前記ピクチャ送信ステップの送信態様を表す送信態様情報を前記再生装置に送信する情報送信ステップを備える、画像処理方法。

Images