JP2017126896A - 監視システム、監視装置、および再生装置 - Google Patents
監視システム、監視装置、および再生装置 Download PDFInfo
- Publication number
- JP2017126896A JP2017126896A JP2016005464A JP2016005464A JP2017126896A JP 2017126896 A JP2017126896 A JP 2017126896A JP 2016005464 A JP2016005464 A JP 2016005464A JP 2016005464 A JP2016005464 A JP 2016005464A JP 2017126896 A JP2017126896 A JP 2017126896A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- monitoring
- moving image
- encoded data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】動画を狭帯域で伝送可能で、かつ動画データの蓄積量を低減可能な監視システム、監視装置、および再生装置を提供する。
【解決手段】監視システムは、監視装置と再生装置とを備える。監視装置は、監視対象を撮影して動画を取得する撮影部と、動画を構成する画像と比較用の画像との間の変化量を取得し、変化量に基づいて監視モードを判定する判定部と、監視モードに基づいて、動画を構成する画像の画像処理を行う画像処理部と、画像処理が行われた画像を符号化して符号化データを生成する符号化部とを備える。再生装置は、符号化データを復号化して画像処理が行われた画像を再生する復号化部と、復号化部により復号化された画像と、画像処理の情報とに基づいて、動画を再構成する再構成部と、再構成部により再構成された動画を表示する表示部とを備える。
【選択図】図1
【解決手段】監視システムは、監視装置と再生装置とを備える。監視装置は、監視対象を撮影して動画を取得する撮影部と、動画を構成する画像と比較用の画像との間の変化量を取得し、変化量に基づいて監視モードを判定する判定部と、監視モードに基づいて、動画を構成する画像の画像処理を行う画像処理部と、画像処理が行われた画像を符号化して符号化データを生成する符号化部とを備える。再生装置は、符号化データを復号化して画像処理が行われた画像を再生する復号化部と、復号化部により復号化された画像と、画像処理の情報とに基づいて、動画を再構成する再構成部と、再構成部により再構成された動画を表示する表示部とを備える。
【選択図】図1
Description
本発明の実施形態は、監視システム、監視装置、および再生装置に関する。
近年、監視対象を画像により監視する監視システムの需要が高まっている。技術の進歩により、フルHD(水平画素1920×垂直画素1080)や4K(水平画素3840×垂直画素2160)といった高解像度の動画(映像)を監視システムに適用したいという要望も増えてきている。
近年では、高解像度の撮像素子が安価で使用可能になっており、高解像度の動画による監視システムは容易に提供可能になっている。しかしながら、監視システムの適用場所によっては通信帯域が狭いことが問題となる。例えば発電所では、通信媒体のセキュリティ性の確保のため、依然として室内ではPHSが利用されている。よって、高解像度の動画を、通常のテレビのフレームレートである30fpsや60fpsでリアルタイムに伝送することが難しい状況も想定される。そのため、限られた帯域で遠隔地に効率よく動画を伝送することが求められる。
画像圧縮技術の例には、MPEG4、H.264/AVC、H.265/HEVCなどの符号化方式がある。フルHDや4Kといった高解像度の動画を狭帯域で伝送する場合、画質をあまり落とさずに動画データ(符号化データ)の単位時間あたりの伝送量を大幅に低減することが望ましい。
動画データの単位時間あたりの伝送量は、次のような技術により低減可能である。例えば、各画像とその前後の画像との差分や、各画像と基準画像との差分を取り、差分の変化が小さければフレームレートを下げることで、伝送量を低減する技術がある。また、画像中の監視領域と非監視領域が予め定められている場合に、非監視領域の画質を大幅に低減することで、伝送量を低減する技術がある。
上記の技術により、動画データの単位時間あたりの伝送量の低減は可能である。しかしながら、監視装置から再生装置に動画データを伝送する監視システムを連続で長時間稼働させる場合には、監視装置内での(すなわちローカルでの)動画データの蓄積量が問題となる。場合によっては、監視システムを24時間連続で数日間稼働させる場合もある。
例えば、フルHDの動画をデジタル放送と同等の30fpsで伝送する場合、画質にも依存するが、H.264/AVCを用いても数十Mbpsの伝送量が必要となる。そのため、動画データの蓄積量は1日で数百Gbyteから数Tbyteとなる。上記の技術では、動画データの伝送量を低減することはできても、動画データの蓄積量を低減することは難しい。
また、上記の技術では、符号化回路の外に画像バッファを設け、入力画像と基準画像とを逐一比較し、比較結果を符号化回路に入力し、その後、動画の符号化処理を行う。そのため、動画の処理時間が長くなることが問題となる。
そこで、本発明の実施形態は、動画を狭帯域で伝送可能で、かつ動画データの蓄積量を低減可能な監視システム、監視装置、および再生装置を提供することを目的とする。
一の実施形態によれば、監視システムは、監視装置と再生装置とを備える。前記監視装置は、監視対象を撮影して動画を取得する撮影部と、前記動画を構成する画像と比較用の画像との間の変化量を取得し、前記変化量に基づいて監視モードを判定する判定部とを備える。さらに、前記監視装置は、前記監視モードに基づいて、前記動画を構成する画像の画像処理を行う画像処理部と、前記画像処理が行われた画像を符号化して符号化データを生成する符号化部と、前記符号化データを送信する送信部とを備える。前記再生装置は、前記符号化データを受信する受信部と、前記符号化データを復号化して前記画像処理が行われた画像を再生する復号化部とを備える。さらに、前記再生装置は、前記復号化部により復号化された画像と、前記画像処理の情報とに基づいて、前記動画を再構成する再構成部と、前記再構成部により再構成された動画を表示する表示部とを備える。
別の実施形態によれば、監視装置は、監視対象を撮影して動画を取得する撮影部と、前記動画を構成する画像と比較用の画像との間の変化量を取得し、前記変化量に基づいて監視モードを判定する判定部とを備える。さらに、前記監視装置は、前記監視モードに基づいて、前記動画を構成する画像の画像処理を行う画像処理部と、前記画像処理が行われた画像を符号化して符号化データを生成する符号化部と、前記符号化データを送信する送信部とを備える。
別の実施形態によれば、再生装置は、監視対象を撮影して動画を取得する監視装置から、前記動画の符号化データを受信する受信部と、前記符号化データを復号化して、前記監視装置にて画像処理が行われた画像を再生する復号化部とを備える。さらに、前記再生装置は、前記復号化部により復号化された画像と、前記画像処理の情報とに基づいて、前記動画を再構成する再構成部と、前記再構成部により再構成された動画を表示する表示部とを備える。
本発明の実施形態によれば、動画を狭帯域で伝送し、かつ動画データの蓄積量を低減することが可能となる。
以下、本発明の実施形態を、図面を参照して説明する。図1から図16において、同一または類似の構成要素には同一の符号を付し、重複する説明は簡略化または省略する。
(第1実施形態)
図1は、第1実施形態の監視システムの構成を示すブロック図である。
図1は、第1実施形態の監視システムの構成を示すブロック図である。
図1の監視システムは、監視装置1と再生装置2とを備えている。監視装置1は、撮影部11と、符号化部12と、送信部13とを備えている。再生装置2は、受信部21と、復号化部22と、表示部23とを備えている。
撮影部11は、監視対象を撮影して動画を取得する。監視対象の例は、発電所内の機器や設備である。動画の例は、フルHDや4Kといった高解像度の動画である。本実施形態の撮影部11は、監視対象とその周辺領域を撮影するように固定して設置され、監視対象とその周辺領域を撮影した動画を取得し、動画を任意のフレームスピードで符号化部12に出力する。
符号化部12は、動画を構成する画像を符号化して符号化データを生成する。符号化方式の例は、MPEG4、H.264/AVC、H.265/HEVCなどである。符号化部12は例えば、撮影部11からの入力画像や、入力画像と予測画像との差分画像を符号化する。符号化部12は、符号化データを送信部13に出力する。
送信部13は、符号化データを再生装置2に送信する。符号化データは、有線通信により送信されてもよいし、無線通信により送信されてもよい。本実施形態の送信部13は、符号化データを動画の撮影日時などの補助情報と共に送信する。
受信部21は、符号化データを監視装置1から受信する。受信部21は、受信した符号化データを復号化部22に出力する。
復号化部22は、符号化データを復号化して、動画を構成する画像を再生する。復号化部22は、符号化データから差分画像を復号化した場合には、差分画像に予測画像を加算して入力画像を再生する。復号化部22は、再生した動画を表示部23に出力する。
表示部23は、復号化部22により再生された動画を表示する。例えば、再生装置2の画面上に動画が表示される。これにより、監視者は監視対象を監視することができる。
図2は、第1実施形態の監視装置1の構成を示すブロック図である。
監視装置1の符号化部12は、減算部12aと、シーン判定部12bと、前処理部12cと、変換・量子化部12dと、逆量子化・逆変換部12eと、加算部12fと、ループフィルタ部12gと、画像バッファ部12hと、動き補償部12iと、動きベクトル検出部12jと、重み付け予測部12kと、切替部12lと、画面内予測部12mと、エントロピー符号化部12nと、出力データ生成部12oとを備えている。シーン判定部12bは、判定部の例である。前処理部12cは、画像処理部の例である。符号化部12は例えば、FPGA(Field Programmable Gate Array)により構成されている。
[減算部12a]
減算部12aは、撮影部11から出力された入力画像と、動き補償部12iにより生成された予測画像との差分を算出し、入力画像と予測画像との差分画像(誤差画像)を生成する。
減算部12aは、撮影部11から出力された入力画像と、動き補償部12iにより生成された予測画像との差分を算出し、入力画像と予測画像との差分画像(誤差画像)を生成する。
監視装置1は、入力画像や差分画像の符号化データを再生装置2に送信する。MPEG4、H.264/AVC、H.265/HEVCでは、入力画像としてI(intra)フレームを取り扱い、差分画像としてP(predicted)フレームやB(bi-directional predicted)フレームを取り扱う。これらの符号化方式では、I、P、Bフレームの符号化データを送信側から送信し、受信側の画面上に動画を表示する場合には、一定周期毎にIフレームの符号化データを送信し、画面全体の画像をIフレームにより更新することが義務付けされている。これをイントラリフレッシュと呼ぶ。なお、監視装置1が1枚目の画像を送信する際には、監視装置1に予測画像が存在しないため、1枚目の画像はIフレームの符号化データとして送信される。
Iフレームの送信後において、動き補償部12iは、現在のフレームと時間的にわずかに過去のフレームとが類似している性質を利用して、画像バッファ部12hで記憶されている過去に撮影したフレーム(参照画像)を用いてフレーム間予測を行う。これにより、PフレームやBフレームが生成される。Pフレームは、時間的に過去(前)のフレームのみを用いて生成される。Bフレームは、時間的に過去(前)および未来(後)のフレームを用いて生成される。監視装置1は、I、P、Bフレームの3種類のフレームを状況に応じて使い分ける。監視装置1は、Iフレームを送信するだけでなく、Iフレームの代わりにP、Bフレームを送信することで、動画データの単位時間あたりの伝送量を低減することができる。
フレーム間予測は、動き補償により行われる。一般的な動画では、現在のフレームと前のフレームは同じではなく、フレーム中の物体が動いたりすることでこれらのフレーム間に動きがある。動き補償では、この動きを補償する処理を行う。例えば、現在のフレームを予測する場合に、参照画像中の物体の位置を動きの分だけずらすことで予測画像を生成する。動き補償では、動きベクトル検出部12jが、フレーム間の動き量を推定する動きベクトル探索を行う。監視装置1は、P、Bフレームを符号化する際に動きベクトルも符号化し、動きベクトルを含む符号化データを送信する。
[シーン判定部12b]
シーン判定部12bは、動画を構成する画像と比較用の画像との間の変化量を取得し、この変化量に基づいて監視モードを判定する。具体的には、シーン判定部12bは、撮影部11から出力された入力画像と、画像バッファ部12hに記憶されている参照画像との間の動きベクトルを動きベクトル検出部12jから取得し、動きベクトルに基づいて監視モードを判定する。
シーン判定部12bは、動画を構成する画像と比較用の画像との間の変化量を取得し、この変化量に基づいて監視モードを判定する。具体的には、シーン判定部12bは、撮影部11から出力された入力画像と、画像バッファ部12hに記憶されている参照画像との間の動きベクトルを動きベクトル検出部12jから取得し、動きベクトルに基づいて監視モードを判定する。
入力画像内の動きベクトルの大きさがいずれも閾値よりも小さい場合には、監視モードは、監視の必要性が低い「低」であると判定される。一方、入力画像内のいずれかの動きベクトルの大きさがこの閾値よりも大きく、閾値よりも大きい動きベクトルが入力画像の非監視領域内のみで発生した場合には、監視モードは、監視の必要性が中程度の「中」であると判定される。また、入力画像内のいずれかの動きベクトルの大きさがこの閾値よりも大きく、閾値よりも大きい動きベクトルが入力画像の監視領域内で発生した場合には、監視モードは、監視の必要性が高い「高」であると判定される。監視領域は第1領域の例であり、非監視領域は第2領域の例である。
なお、シーン判定部12bの詳細については後述する。
[前処理部12c]
前処理部12cは、動画を構成する画像の前処理を行う。具体的には、前処理部12cは、撮影部11から出力された入力画像や、減算部12aから出力された差分画像に対して、符号化前に種々の画像処理を行う。前処理の例は、入力画像や差分画像の画質を画素値の量子化により変化させる処理や、入力画像や差分画像の色を変換する処理や、入力画像内や差分画像内の輪郭を強調する処理などである。前処理部12cは、監視モードに基づいて前処理を行う。
前処理部12cは、動画を構成する画像の前処理を行う。具体的には、前処理部12cは、撮影部11から出力された入力画像や、減算部12aから出力された差分画像に対して、符号化前に種々の画像処理を行う。前処理の例は、入力画像や差分画像の画質を画素値の量子化により変化させる処理や、入力画像や差分画像の色を変換する処理や、入力画像内や差分画像内の輪郭を強調する処理などである。前処理部12cは、監視モードに基づいて前処理を行う。
例えば、監視モードが「低」であると判定された場合、前処理部12cは、入力画像や差分画像の画質を変化させる前処理を行わない。この場合、監視装置1は、イントラリフレッシュのためのIフレームの符号化データは送信するが、PフレームやBフレームの符号化データは送信しない。これにより、監視の必要性が低い場合の符号化データのデータ量を低減でき、動画データの単位時間あたりの伝送量を低減することができる。
また、監視モードが「中」であると判定された場合には、前処理部12cは、入力画像や差分画像の画質を変化させる前処理を行う。この場合、前処理部12cは、入力画像や差分画像の全部または一部の画素の画素値を、大きい値である第2の量子化パラメータで量子化することで、入力画像や差分画像を低画質化する。これにより、監視の必要性が中程度の場合の符号化データのデータ量を低減でき、動画データの単位時間あたりの伝送量を低減することができる。
また、監視モードが「高」であると判定された場合にも、前処理部12cは、入力画像や差分画像の画質を変化させる前処理を行う。この場合、前処理部12cは、入力画像や差分画像の全部または一部の画素の画素値を、小さい値である第1の量子化パラメータで量子化することで、入力画像や差分画像を高画質化する。これにより、監視の必要性が高い場合に高画質の動画を再生装置2に提供でき、正確な監視を実現することができる。
なお、前処理部12cの詳細については後述する。
[変換・量子化部12d]
変換・量子化部12dは、フレーム(入力画像や差分画像)を変換して変換係数を生成し、変換係数を量子化して量子化係数を生成する。変換方法の例は、DCT(離散コサイン変換)などの直交変換である。量子化は、予め設定された量子化パラメータを用いて行われる。量子化パラメータは、量子化のサイズを規定しており、再生される動画の画質やデータ量は、量子化パラメータにより変化する。量子化パラメータが大きい場合には、データ量が低減する一方で、画質が劣化する。
変換・量子化部12dは、フレーム(入力画像や差分画像)を変換して変換係数を生成し、変換係数を量子化して量子化係数を生成する。変換方法の例は、DCT(離散コサイン変換)などの直交変換である。量子化は、予め設定された量子化パラメータを用いて行われる。量子化パラメータは、量子化のサイズを規定しており、再生される動画の画質やデータ量は、量子化パラメータにより変化する。量子化パラメータが大きい場合には、データ量が低減する一方で、画質が劣化する。
本実施形態の変換・量子化部12dは、前処理が行われたI、P、Bフレームを前処理部12cから取得する。監視モードが「高」または「中」である場合には、変換・量子化部12dは、前処理が行われたI、P、Bフレームから量子化係数を生成する。一方、監視モードが「低」である場合には、変換・量子化部12dは、前処理が行われていないIフレームから量子化係数を生成する。
一般的な動画符号化では、1フレームは、1種類の量子化パラメータにより量子化される。具体的には、変換係数から量子化係数を生成する際に、各フレームが1つの量子化パラメータにより量子化される。一方、本実施形態では、監視モードが「高」または「中」である場合に、1フレームは、2種類の量子化パラメータにより量子化される。具体的には、前処理の際に、各フレームが1つの量子化パラメータ(第1または第2の量子化パラメータ)により量子化され、変換係数から量子化係数を生成する際に、各フレームがもう1つの量子化パラメータにより量子化される。
[逆量子化・逆変換部12e]
逆量子化・逆変換部12eは、量子化係数を逆量子化して変換係数を再生し、変換係数を逆変換してフレーム(入力画像や差分画像)を再生する。すなわち、逆量子化・逆変換部12eは、変換・量子化部12dの処理と逆の処理を行う。変換・量子化部12dが、前処理が行われたフレームから量子化係数を生成する場合には、逆量子化・逆変換部12eは、量子化係数から前処理が行われたフレームを再生する。
逆量子化・逆変換部12eは、量子化係数を逆量子化して変換係数を再生し、変換係数を逆変換してフレーム(入力画像や差分画像)を再生する。すなわち、逆量子化・逆変換部12eは、変換・量子化部12dの処理と逆の処理を行う。変換・量子化部12dが、前処理が行われたフレームから量子化係数を生成する場合には、逆量子化・逆変換部12eは、量子化係数から前処理が行われたフレームを再生する。
[加算部12f]
加算部12fは、逆量子化・逆変換部12eから再生フレームを取得し、現在のフレームに再生フレームを加算して局部復号画像を生成する。局部復号信号は、ループフィルタ部12gに出力される。
加算部12fは、逆量子化・逆変換部12eから再生フレームを取得し、現在のフレームに再生フレームを加算して局部復号画像を生成する。局部復号信号は、ループフィルタ部12gに出力される。
[ループフィルタ部12g]
ループフィルタ部12gは、画像を復号化した際に生じるブロック歪みを減少させるためのフィルタである。ループフィルタ部12gは、局部復号画像にデブロッキングフィルタ処理などのループフィルタ処理を行い、フィルタ処理後の局部復号画像を画像バッファ部12hに出力する。
ループフィルタ部12gは、画像を復号化した際に生じるブロック歪みを減少させるためのフィルタである。ループフィルタ部12gは、局部復号画像にデブロッキングフィルタ処理などのループフィルタ処理を行い、フィルタ処理後の局部復号画像を画像バッファ部12hに出力する。
[画像バッファ部12h]
画像バッファ部12hは、フィルタ処理後の局部復号画像を、予測画像を生成するための参照画像として記憶する。参照画像は、動き補償部12iに出力される。
画像バッファ部12hは、フィルタ処理後の局部復号画像を、予測画像を生成するための参照画像として記憶する。参照画像は、動き補償部12iに出力される。
[動き補償部12i]
動き補償部12iは、画像バッファ部12hから参照画像を取得し、動きベクトル検出部12jから動きベクトルを取得し、動きベクトルを用いて参照画像に対して動き補償を行う。動き補償後の参照画像は、重み付け予測部12kに出力される。
動き補償部12iは、画像バッファ部12hから参照画像を取得し、動きベクトル検出部12jから動きベクトルを取得し、動きベクトルを用いて参照画像に対して動き補償を行う。動き補償後の参照画像は、重み付け予測部12kに出力される。
[動きベクトル検出部12j]
動きベクトル検出部12jは、上述のように、フレーム間の動き量を推定する動きベクトル探索を行い、動きベクトルを検出する。動きベクトルは、シーン判定部12b、動き補償部12i、エントロピー符号化部12nに出力される。
動きベクトル検出部12jは、上述のように、フレーム間の動き量を推定する動きベクトル探索を行い、動きベクトルを検出する。動きベクトルは、シーン判定部12b、動き補償部12i、エントロピー符号化部12nに出力される。
[重み付け予測部12k]
重み付け予測部12kは、動き補償後の参照画像に適応的に重み係数を乗算して、予測画像を生成する。この予測画像は、切替部12lに出力される。
重み付け予測部12kは、動き補償後の参照画像に適応的に重み係数を乗算して、予測画像を生成する。この予測画像は、切替部12lに出力される。
[画面内予測部12m]
画面内予測部12mは、変換・量子化部12dからの予測制御情報に基づいて、予測画像を生成する。この予測画像は、切替部12lに出力される。
画面内予測部12mは、変換・量子化部12dからの予測制御情報に基づいて、予測画像を生成する。この予測画像は、切替部12lに出力される。
[切替部12l]
切替部12lは、減算部12aに出力する予測画像を切り替える。これにより、重み付け予測部12kからの予測画像と、画面内予測部12mからの予測画像のいずれかが、減算部12aに出力される。前者の予測画像はフレーム間予測用に使用され、後者の予測画像はフレーム内予測用に使用される。
切替部12lは、減算部12aに出力する予測画像を切り替える。これにより、重み付け予測部12kからの予測画像と、画面内予測部12mからの予測画像のいずれかが、減算部12aに出力される。前者の予測画像はフレーム間予測用に使用され、後者の予測画像はフレーム内予測用に使用される。
[エントロピー符号化部12n]
エントロピー符号化部12nは、変換・量子化部12dから量子化係数を取得し、量子化係数を予め決められたシンタクスに従ってエントロピー符号化し、符号化データを生成する。エントロピー符号化部12nは例えば、ハフマン符号化や算術符号化を用いて符号化を行う。エントロピー符号化部12nは、P、Bフレームの量子化係数を符号化する際に動きベクトルも符号化し、動きベクトルを含む符号化データを生成する。
エントロピー符号化部12nは、変換・量子化部12dから量子化係数を取得し、量子化係数を予め決められたシンタクスに従ってエントロピー符号化し、符号化データを生成する。エントロピー符号化部12nは例えば、ハフマン符号化や算術符号化を用いて符号化を行う。エントロピー符号化部12nは、P、Bフレームの量子化係数を符号化する際に動きベクトルも符号化し、動きベクトルを含む符号化データを生成する。
監視モードが「高」または「中」である場合には、変換・量子化部12dは、前処理が行われたI、P、Bフレームから量子化係数を生成する。この場合、エントロピー符号化部12nは、前処理が適用された量子化係数から符号化データを生成する。
一方、監視モードが「低」である場合には、変換・量子化部12dは、前処理が行われていないIフレームから量子化係数を生成する。この場合、エントロピー符号化部12nは、前処理が適用されていない量子化係数から符号化データを生成する。
[出力データ生成部12o]
出力データ生成部12oは、エントロピー符号化部12nから符号化データを取得し、前処理部12cから前処理情報を取得する。前処理情報の例は、前処理が行われたフレームに関する情報や、第1の量子化パラメータによる前処理や第2の量子化パラメータによる前処理などの前処理の種類に関する情報などである。出力データ生成部12oは、符号化データを前処理情報と共に送信部13に出力する。
出力データ生成部12oは、エントロピー符号化部12nから符号化データを取得し、前処理部12cから前処理情報を取得する。前処理情報の例は、前処理が行われたフレームに関する情報や、第1の量子化パラメータによる前処理や第2の量子化パラメータによる前処理などの前処理の種類に関する情報などである。出力データ生成部12oは、符号化データを前処理情報と共に送信部13に出力する。
図3は、第1実施形態の動きベクトルについて説明するための図である。
図3(a)は、監視装置1の動作を説明するための図である。図3(a)は、撮影部11から出力された入力画像3と、画像バッファ部12hに記憶されている参照画像4とを示している。入力画像3は、座標(Xn,Yn)に自動車の画像を含んでいる。参照画像4は、座標(Xn−1,Yn−1)に自動車の画像を含んでいる。入力画像3と参照画像4との間においては、自動車の位置が異なっている。
図3(a)はさらに、入力画像3から参照画像4を減算した画像5を示している。画像5は、自動車の位置が座標(Xn−1,Yn−1)から座標(Xn,Yn)に変化したことを示している。この場合、動きベクトル検出部12jは、入力画像3および参照画像4から動きベクトルr=(Xn−Xn−1,Yn−Yn−1)を検出する。さらに、動き補償部12iは、動きベクトルrを用いて参照画像4に対して動き補償を行う。重み付け予測部12kは、動き補償後の参照画像4から予測画像を生成する。減算部12aは、入力画像3と予測画像との差分を算出し、入力画像3と予測画像との差分画像を生成する。そして、監視装置1は、差分画像の符号化データを再生装置2に送信する。この符号化データは、差分画像の動きベクトルrも含んでいる。
図3(b)は、再生装置2の動作を説明するための図である。図3(b)は、参照画像6と、動きベクトルrとを示している。参照画像6は、監視装置1が参照画像4を生成する手順と同じ手順で再生装置2により生成されるため、参照画像4と同じ内容の画像となる。一方、動きベクトルrは、監視装置1から再生装置2に送信される。
図3(b)はさらに、再生画像7を示している。再生装置2は、動きベクトルrを用いて参照画像6に対して動き補償を行い、動き補償後の参照画像6から予測画像を生成する。そして、再生装置2は、監視装置1から受信した差分画像に予測画像を加算することで、入力画像3に対応する再生画像7を再生する。
図4は、第1実施形態の監視領域および非監視領域について説明するための図である。
図4(a)は、入力画像3や、入力画像3から参照画像4を引いた画像5における、監視領域R1と非監視領域R2とを示している。図4(a)の左の図では、閾値よりも大きい動きベクトルrが監視領域R1内で発生している。そのため、監視モードは「高」であると判定される。
この場合、前処理部12cは、入力画像3や差分画像の監視領域R1内の画素の画素値を、小さい値である第1の量子化パラメータで量子化することで、監視領域R1を高画質化する。一方、前処理部12cは、入力画像3や差分画像の非監視領域R2の画質を変化させない。図4(a)の右の図は、このような前処理が行われた入力画像3を示す。
図4(b)も、入力画像3や、入力画像3から参照画像4を引いた画像5における、監視領域R1と非監視領域R2とを示している。図4(b)の左の図では、閾値よりも大きい動きベクトルrが非監視領域R2内のみで発生している。そのため、監視モードは「中」であると判定される。
この場合、前処理部12cは、入力画像3や差分画像の非監視領域R2内の画素の画素値を、大きい値である第2の量子化パラメータで量子化することで、非監視領域R2を低画質化する。一方、前処理部12cは、入力画像3や差分画像の監視領域R1の画質を変化させない。図4(b)の右の図は、このような前処理が行われた入力画像3を示す。入力画像3の非監視領域R2のクロスハッチングは、非監視領域R2の画質が低下したことを示している。なお、非監視領域R2の前処理では、非監視領域R2の画素の色情報をY曲線に従って引いて、非監視領域R2の情報量を低減してもよい。
なお、動きベクトルrの位置は、動きベクトルrの始点により特定してもよいし、動きベクトルrの終点により特定してもよい。例えば、動きベクトルrの位置を始点により特定する場合には、閾値より大きい動きベクトルrの始点が監視領域R1内に位置するときに、監視モードは「高」であると判定される。動きベクトルrの位置は、動きベクトルrのその他の点(例えば始点と終点との中間点)により特定してもよい。
図5は、第1実施形態の再生装置2の構成を示すブロック図である。
再生装置2の復号化部22は、エントロピー復号化部22aと、逆量子化・逆変換部22bと、加算部22cと、ループフィルタ部22dと、画像バッファ部22eと、動き補償部22fと、重み付け予測部22gと、切替部22hと、画面内予測部22iと、記憶部22jと、画像再構成部22kとを備えている。画像再構成部22kは、再構成部の例である。復号化部22は例えば、FPGA(Field Programmable Gate Array)により構成されている。
[エントロピー復号化部22a]
エントロピー復号化部22aは、受信部21から符号化データを取得し、符号化データを予め決められたシンタクスに従ってエントロピー復号化し、量子化係数を再生する。
エントロピー復号化部22aは、受信部21から符号化データを取得し、符号化データを予め決められたシンタクスに従ってエントロピー復号化し、量子化係数を再生する。
この際、監視モードが「高」または「中」である場合には、画質を変化させる前処理が監視装置1により行われたI、P、Bフレームの量子化係数が再生される。量子化係数がP、Bフレームに対応する場合には、量子化係数と共に動きベクトルが復号化される。一方、監視モードが「低」である場合には、画質を変化させる前処理が監視装置1により行われていないIフレームの量子化係数が再生される。
[逆量子化・逆変換部22b]
逆量子化・逆変換部22bは、エントロピー復号化部22aから量子化係数を取得し、量子化係数を逆量子化して変換係数を再生し、変換係数を逆変換してフレーム(入力画像や差分画像)を再生する。また、逆量子化・逆変換部22bは、受信部21から前処理情報を取得し、前処理情報に基づいてフレームの色や輪郭に関する画像処理を行う。逆量子化・逆変換部22bは、逆量子化・逆変換部12eと同様の機能を有する。
逆量子化・逆変換部22bは、エントロピー復号化部22aから量子化係数を取得し、量子化係数を逆量子化して変換係数を再生し、変換係数を逆変換してフレーム(入力画像や差分画像)を再生する。また、逆量子化・逆変換部22bは、受信部21から前処理情報を取得し、前処理情報に基づいてフレームの色や輪郭に関する画像処理を行う。逆量子化・逆変換部22bは、逆量子化・逆変換部12eと同様の機能を有する。
監視モードが「高」または「中」である場合には、逆量子化・逆変換部22bは、画質を変化させる前処理が監視装置1により行われたI、P、Bフレームを再生する。一方、監視モードが「低」である場合には、逆量子化・逆変換部22bは、画質を変化させる前処理が監視装置1により行われていないIフレームを再生する。
[加算部22c]
加算部22cは、逆量子化・逆変換部22bからフレームを取得し、このフレームに画像再構成部22kからのフレームを加算することで、監視装置1の入力画像に対応する再生画像を再生する。画像再構成部22kからのフレームは、予測画像の内容や前処理の内容を反映したフレームである。加算部22cは、加算部12fと同様の機能を有する。
加算部22cは、逆量子化・逆変換部22bからフレームを取得し、このフレームに画像再構成部22kからのフレームを加算することで、監視装置1の入力画像に対応する再生画像を再生する。画像再構成部22kからのフレームは、予測画像の内容や前処理の内容を反映したフレームである。加算部22cは、加算部12fと同様の機能を有する。
再生画像は、ループフィルタ部22dに局部復号信号として出力されると共に、表示部23に出力される。表示部23は、再生画像により構成される動画を表示する。
[ループフィルタ部22d]
ループフィルタ部22dは、局部復号画像にループフィルタ処理を行い、フィルタ処理後の局部復号画像を画像バッファ部22eに出力する。ループフィルタ部22dは、ループフィルタ部12gと同様の機能を有する。
ループフィルタ部22dは、局部復号画像にループフィルタ処理を行い、フィルタ処理後の局部復号画像を画像バッファ部22eに出力する。ループフィルタ部22dは、ループフィルタ部12gと同様の機能を有する。
[画像バッファ部22e]
画像バッファ部22eは、フィルタ処理後の局部復号画像を、予測画像を生成するための参照画像として記憶する。参照画像は、動き補償部22fに出力される。画像バッファ部22eは、画像バッファ部12hと同様の機能を有する。
画像バッファ部22eは、フィルタ処理後の局部復号画像を、予測画像を生成するための参照画像として記憶する。参照画像は、動き補償部22fに出力される。画像バッファ部22eは、画像バッファ部12hと同様の機能を有する。
[動き補償部22f]
動き補償部22fは、画像バッファ部22eから参照画像を取得し、エントロピー復号化部22aから動きベクトルを取得し、動きベクトルを用いて参照画像に対して動き補償を行う。動き補償後の参照画像は、重み付け予測部22gに出力される。動き補償部22fは、動き補償部12iと同様の機能を有する。
動き補償部22fは、画像バッファ部22eから参照画像を取得し、エントロピー復号化部22aから動きベクトルを取得し、動きベクトルを用いて参照画像に対して動き補償を行う。動き補償後の参照画像は、重み付け予測部22gに出力される。動き補償部22fは、動き補償部12iと同様の機能を有する。
[重み付け予測部22g]
重み付け予測部22gは、動き補償後の参照画像から予測画像を生成する。この予測画像は、切替部22hに出力される。重み付け予測部22gは、重み付け予測部12kと同様の機能を有する。
重み付け予測部22gは、動き補償後の参照画像から予測画像を生成する。この予測画像は、切替部22hに出力される。重み付け予測部22gは、重み付け予測部12kと同様の機能を有する。
[画面内予測部22i]
画面内予測部22iは、エントロピー復号化部22aからの予測制御情報に基づいて、予測画像を生成する。この予測画像は、切替部22hに出力される。画面内予測部22iは、画面内予測部12mと同様の機能を有する。
画面内予測部22iは、エントロピー復号化部22aからの予測制御情報に基づいて、予測画像を生成する。この予測画像は、切替部22hに出力される。画面内予測部22iは、画面内予測部12mと同様の機能を有する。
[切替部22h]
切替部22hは、画像再構成部22kに出力する予測画像を切り替える。これにより、重み付け予測部22gからの予測画像と、画面内予測部22iからの予測画像のいずれかが、画像再構成部22kに出力される。前者の予測画像はフレーム間予測用に使用され、後者の予測画像はフレーム内予測用に使用される。切替部22hは、切替部12lと同様の機能を有する。
切替部22hは、画像再構成部22kに出力する予測画像を切り替える。これにより、重み付け予測部22gからの予測画像と、画面内予測部22iからの予測画像のいずれかが、画像再構成部22kに出力される。前者の予測画像はフレーム間予測用に使用され、後者の予測画像はフレーム内予測用に使用される。切替部22hは、切替部12lと同様の機能を有する。
[記憶部22j]
記憶部22jは、画像再構成部22kに提供するための基準画像や、受信部21から出力された前処理情報を記憶するために使用される。本実施形態の基準画像は、通常状態の監視対象を撮影した画像であり、入力画像の背景に相当する画像である。基準画像は例えば、1日に1回、1週間に1回など撮影部11により定期的に撮影され、監視装置1から再生装置2に送信され、記憶部22j内に保存される。
記憶部22jは、画像再構成部22kに提供するための基準画像や、受信部21から出力された前処理情報を記憶するために使用される。本実施形態の基準画像は、通常状態の監視対象を撮影した画像であり、入力画像の背景に相当する画像である。基準画像は例えば、1日に1回、1週間に1回など撮影部11により定期的に撮影され、監視装置1から再生装置2に送信され、記憶部22j内に保存される。
[画像再構成部22k]
画像再構成部22kは、逆量子化・逆変換部22bから出力されたフレーム(入力画像や差分画像)を動画に再構成する処理を行う。具体的には、画像再構成部22kは、記憶部22j内の基準画像や前処理情報に基づいて、加算部22cに出力するフレームを生成する。その結果、逆量子化・逆変換部22bからのフレームと画像再構成部22kからのフレームが加算部22cにより加算され、監視装置1の入力画像に対応する再生画像が再生され、再生画像により動画が再構成される。
画像再構成部22kは、逆量子化・逆変換部22bから出力されたフレーム(入力画像や差分画像)を動画に再構成する処理を行う。具体的には、画像再構成部22kは、記憶部22j内の基準画像や前処理情報に基づいて、加算部22cに出力するフレームを生成する。その結果、逆量子化・逆変換部22bからのフレームと画像再構成部22kからのフレームが加算部22cにより加算され、監視装置1の入力画像に対応する再生画像が再生され、再生画像により動画が再構成される。
例えば、監視モードが「高」である場合には、画像再構成部22kは、重み付け予測部22gから出力された予測画像を切替部22hから取得する。そして、画像再構成部22kは、前処理情報に基づいて、閾値よりも大きい動きベクトルが発生した領域を強調する画像処理を予測画像に対して行い、この予測画像を加算部22cに出力する。その結果、このような領域が強調された再生画像が再生される。
また、監視モードが「低」である場合には、画像再構成部22kは、加算部22cに基準画像を出力して、再生装置2の画面上に基準画像を表示してもよい。この場合、画面上の基準画像はその後、Iフレームによるイントラリフレッシュによりブロックごとに更新されていく。
図6は、第1実施形態の再生画像について説明するための図である。
図6は、図3(b)と同様に、動きベクトルrが検出された画像5と、参照画像6とを示している。動き補償部22fは、動きベクトルrを用いて参照画像6に対して動き補償を行う。重み付け予測部22gは、動き補償後の参照画像6から予測画像8を生成する。図6の予測画像8は、監視装置1内での前処理に起因して非監視領域R2の画質が低下している。
画像再構成部22kは、切替部22hから予測画像8を取得し、記憶部22jから前処理情報を取得し、予測画像8と前処理情報とに基づいて、加算部22cに出力するフレームを生成する。前処理情報が不要な場合には、予測画像8に基づいて、加算部22cに出力するフレームが生成される。加算部22cは、逆量子化・逆変換部22bからのフレームと画像再構成部22kからのフレームとを加算することで、再生画像7を再生する。
[監視モードの詳細]
図7は、第1実施形態の監視領域R1および非監視領域R2について具体的に説明するための図である。
図7は、第1実施形態の監視領域R1および非監視領域R2について具体的に説明するための図である。
図7は、入力画像3の例を示している。本実施形態では、撮影部11を設置する際に、入力画像3において監視対象を含む重要領域を監視領域R1に設定し、入力画像3において監視対象を含まない周辺領域を非監視領域R2に設定する。本実施形態では、撮影部11の位置は固定されており、監視領域R1と非監視領域R2の位置も固定されている。図7では、入力画像3の中心部に1つの監視領域R1を設定し、入力画像3の外周部に1つの非監視領域R2を設定しているが、監視領域R1と非監視領域R2の設定範囲や設定数に制限はなく、利用者が任意に設定可能である。
監視領域R1は、入力画像4と基準画像との差異を判定するための特徴量を算出するために設定された比較領域R1a、R1bを有している。同様に、非監視領域R2は、入力画像4と基準画像との差異を判定するための特徴量を算出するために設定された比較領域R2a、R2bを有している。特徴量は例えば、入力画像4の撮影内容や撮影箇所の変化を検出するために使用される。比較領域R1a、R1b、R2a、R2bの設定範囲や設定数に制限はなく、利用者が任意に設定可能である。
図8は、第1実施形態の監視方法を示すフローチャートである。
まず、符号化部12は、撮影部11から現在のフレーム(入力画像)を取得する(ステップS11)。次に、動きベクトル検出部12jは、この入力画像の動きベクトルを検出する(ステップS12)。次に、動き補償部12iおよび重み付け予測部12kは、この入力画像よりも過去のフレームから、またはこの入力画像よりも過去および未来のフレームから、予測画像を生成する(ステップS13)。その後、この入力画像と予測画像との差分画像が生成され、入力画像がシーン判定部12bに提供され、入力画像と差分画像が前処理部12cに提供される。
次に、シーン判定部12bは、現在のフレーム(入力画像)の動きベクトルに基づいて監視モードを判定する(ステップS14、S15)。
入力画像がほとんど変化しない場合、すなわち、入力画像内の動きベクトルがいずれも閾値より小さい場合には、監視モードは「低」であると判定される(ステップS14)。一方、入力画像内のいずれかの動きベクトルがこの閾値より大きい場合には、ステップS15に移行する。
ステップS15において、シーン判定部12bは、閾値より大きい動きベクトルが発生した位置を判定する。閾値より大きい動きベクトルが非監視領域R2内のみで発生した場合には、監視モードは「中」であると判定される(ステップS15)。一方、閾値より大きい動きベクトルが監視領域R1内で発生した場合には、監視モードは「高」であると判定される(ステップS15)。
その後、監視モードは、ステップS14、S15で判定されたモードに移行する。前処理部12cは、移行したモードに応じた前処理を実行する。
[監視モード:低]
監視モードが「低」の場合には、動画を構成する入力画像間の変化がほとんどない。そのため、監視対象を含むシーンが過去に対して変化しておらず、監視対象は正常状態であると考えられる。この場合、入力画像と予測画像はおおむね一致し、差分画像は有意な情報をほとんど含まない。
監視モードが「低」の場合には、動画を構成する入力画像間の変化がほとんどない。そのため、監視対象を含むシーンが過去に対して変化しておらず、監視対象は正常状態であると考えられる。この場合、入力画像と予測画像はおおむね一致し、差分画像は有意な情報をほとんど含まない。
よって、監視モードが「低」の場合には、監視装置1は、差分画像の符号化データは送信せずに、イントラリフレッシュ用の入力画像の符号化データのみを送信する。具体的には、監視装置1は、イントラリフレッシュ用のイントラブロックと、その撮影時刻を示すタイムスタンプ情報とを変換、量子化、およびエントロピー符号化により符号化し、生成された符号化データを再生装置2に送信する。この場合、前処理部12cは、入力画像の前処理は行わない。
一方、再生装置2は、符号化データからイントラブロックとタイムスタンプ情報とを復号化し、加算部22cおよび画像再構成部22kに提供する。加算部22cおよび画像再構成部22kは、上述の基準画像をイントラブロックおよびタイムスタンプ情報により更新し、更新された画像を表示部23により映像として表示する。
図9は、第1実施形態のイントラリフレッシュについて説明するための図である。
図9は、入力画像(Iフレーム)3のイントラブロックの例として、イントラブロックK1〜K4を示している。イントラブロックK1〜K4は、監視装置1から再生装置2にタイムスタンプと共に順番に送信される。そして、イントラブロックK1〜K4は、再生装置2において基準画像9に順番に埋め込まれる。このようにして、基準画像9が更新される。
なお、本実施形態の記憶部22jには、タイムスタンプが付加されたイントラブロックK1〜K4のデータが保存される。このデータから映像を再生する場合には、基準画像9にイントラブロックK1〜K4を付加していく。そのため、本実施形態によれば、記憶部22j内に保存されるデータの量を低減することができる。
[監視モード:中]
監視モードが「中」の場合には、非監視領域R2のみで変化がある。そのため、シーンの変化はあるものの、監視の観点での重要度は低い。例えば、監視対象が発電プラント内の計測器である場合、計測器付近を作業員が通行した際や、計測器付近で作業員が作業をしている際に、監視モードが「中」になると想定される。この場合、監視者は、作業員が現場にいることを確認できれば十分である。
監視モードが「中」の場合には、非監視領域R2のみで変化がある。そのため、シーンの変化はあるものの、監視の観点での重要度は低い。例えば、監視対象が発電プラント内の計測器である場合、計測器付近を作業員が通行した際や、計測器付近で作業員が作業をしている際に、監視モードが「中」になると想定される。この場合、監視者は、作業員が現場にいることを確認できれば十分である。
よって、監視モードが「中」の場合には、差分画像のデータ量を低減しても監視への影響は小さいことを考慮して、差分画像のデータ量を低減する前処理を行ってから差分画像を符号化する。例えば、前処理部12cは、大きい値である第2の量子化パラメータにより差分画像を量子化することで、差分画像を低画質化する。この場合、前処理が行われた差分画像は、第2の量子化パラメータなどの前処理情報やタイムスタンプ情報と共に、再生装置2に伝送される。
一方、再生装置2は、符号化データから差分画像とタイムスタンプ情報とを復号化し、加算部22cおよび画像再構成部22kに提供する。また、前処理情報は、記憶部22j等に提供される。加算部22cおよび画像再構成部22kは、差分画像、タイムスタンプ情報、および前処理情報から再生画像を再生し、前処理が行われた動画を再構成する。
監視モード「中」の前処理が行われた動画が表示部23により表示された場合、監視者は、非監視領域R2の画質が低減されていることを見ることで、監視対象の周辺で何らかの変化が生じたことを認識することができる。このような変化の例は、作業員の入場、通過、退場などである。
[監視モード:高]
監視モードが「高」の場合には、監視領域R1で変化がある。そのため、監視対象に何らかの変化が生じている可能性が高く、監視の観点での重要度は高い。
監視モードが「高」の場合には、監視領域R1で変化がある。そのため、監視対象に何らかの変化が生じている可能性が高く、監視の観点での重要度は高い。
よって、監視モードが「高」の場合には、差分画像の画質を向上させ、かつ差分画像中の輪郭を強調する前処理を行ってから差分画像を符号化する。これにより、差分画像を鮮明化することができる。例えば、前処理部12cは、小さい値である第1の量子化パラメータにより差分画像を量子化することで、差分画像を高画質化する。この場合、前処理が行われた差分画像は、第1の量子化パラメータなどの前処理情報やタイムスタンプ情報と共に、再生装置2に伝送される。
一方、再生装置2は、符号化データから差分画像とタイムスタンプ情報とを復号化し、加算部22cおよび画像再構成部22kに提供する。また、前処理情報は、記憶部22j等に提供される。加算部22cおよび画像再構成部22kは、差分画像、タイムスタンプ情報、および前処理情報から再生画像を再生し、前処理が行われた動画を再構成する。
監視モード「高」の前処理が行われた動画が表示部23により表示された場合、監視者は、監視領域R1の画質が向上していることを見ることで、監視対象の変化を鮮明な映像により認識することができる。
なお、監視モードが「高」の場合に、画像再構成部22kは、閾値より大きい動きベクトルが発生した領域を強調する画像処理を予測画像に対して行い、この予測画像を加算部22cに出力してもよい。例えば、上述の自動車の領域を線で囲む画像処理を行ってもよい。これにより、監視者は、監視対象の変化を視覚的により明確に認識することが可能となる。
以上のように、本実施形態では、入力画像と参照画像との間の変化量に基づいて監視モードを判定し、監視モードに基づいて入力画像や差分画像の前処理を行う。そのため、前処理により画像のデータ量を低減することで、動画データの単位時間あたりの伝送量を低減することができる。また、前処理が適用された画像を画像バッファ部12h等で取り扱うことで、監視装置1内での(すなわちローカルでの)動画データの蓄積量を低減することができる。よって、本実施形態によれば、動画を狭帯域で伝送しつつ、動画データの蓄積量を低減することが可能となる。
また、本実施形態では、動きベクトルに基づいて監視モードを判定する。動きベクトルは、一般的な動画符号化でも導出される情報である。よって、本実施形態によれば、変化量を導出するブロックを新たに設けることなく、監視モードを判定することができる。よって、本実施形態によれば、監視システムを安価に実現することが可能となる。
また、本実施形態では、監視モードが「低」や「中」の場合には画像のデータ量を低減し、監視モードが「高」の場合には画像を鮮明化する。よって、本実施形態によれば、監視の利便性を向上させつつ、画像のデータ量を低減することが可能となる。
(第2実施形態)
図10は、第2実施形態の監視システムの構成を示すブロック図である。
図10は、第2実施形態の監視システムの構成を示すブロック図である。
本実施形態において、符号化部12は、上述の減算部12a、シーン判定部12b、前処理部12c、変換・量子化部12dに加えて、予測画像生成部12pを備えている。また、シーン判定部12bは、記憶部31を備えている。また、復号化部22は、上述の記憶部22jを備えている。また、符号化部12は、図2に示す構成要素の少なくとも一部を備えており(不図示)、復号化部22は、図5に示す構成要素の少なくとも一部を備えている(不図示)。
復号化部22の記憶部22jは、上述のように、基準画像や前処理情報を記憶するために使用される。同様に、シーン判定部12bの記憶部31は、基準画像を記憶するために使用される。記憶部31内の基準画像は、記憶部22j内の基準画像と同じものでも異なるものでもよい。
第1実施形態のシーン判定部12bは、入力画像と参照画像との間の動きベクトルに基づいて監視モードを判定する。一方、第2実施形態のシーン判定部12bは、入力画像と基準画像との間の所定領域内の画素値の変化量に基づいて監視モードを判定する。
図11は、第2実施形態の監視装置1の構成を示すブロック図である。
監視装置1の符号化部12は、減算部12aと、シーン判定部12bと、前処理部12cと、変換・量子化部12dと、逆量子化・逆変換部12eと、加算部12fと、ループフィルタ部12gと、画像バッファ部12hと、エントロピー符号化部12nと、出力データ生成部12oとを備えている。
また、監視装置1の符号化部12は、上述の動き補償部12i、動きベクトル検出部12j、重み付け予測部12k、切替部12l、画面内予測部12mの代わりに、予測画像生成部12pと予測制御部12qとを備えている。理由は、本実施形態のモード判定が、動きベクトルではなく基準画像に基づいて行われるからである。なお、本実施形態の符号化部12は、フレーム間予測のためや、第1および第2実施形態のモード判定の併用のために、動き補償部12i、動きベクトル検出部12j、重み付け予測部12k、切替部12l、画面内予測部12mを備えていてもよい。
予測画像生成部12pは、画像バッファ部12hから参照画像を取得し、参照画像から予測画像を生成する。予測画像生成部12pは、第1実施形態と同じ方法で予測画像を生成してもよいし、第1実施形態と異なる方法で予測画像を生成してもよい。予測画像は、減算部12aに出力される。
予測制御部12qは、予測画像生成部12pの動作を制御する。本実施形態の予測制御部12qは、撮影部11から出力された入力画像を取得し、入力画像に基づいて予測画像生成部12pの動作を制御する。予測制御部12qは例えば、第1実施形態の動きベクトル検出部12jが動き補償部12iに動きベクトルを出力するのと同様に、予測画像の生成用の情報を予測画像生成部12pに出力する。
図12は、第2実施形態のシーン判定部12bの構成を示すブロック図である。
シーン判定部12bは、記憶部31と、検出領域抽出部32と、減算部33と、監視モード判定部34とを備えている。
撮影部11から出力された入力画像は、シーン判定部12bに入力され、記憶部31に一時的に記憶される。検出領域抽出部32は、記憶部31に記憶された入力画像内の所定領域を抽出し、所定領域内の画素値を算出する。算出する値は、所定領域内の全画素の画素値の合計値でもよいし、所定領域内の全画素の画素値の平均値でもよい。また、本実施形態の所定領域の指定方法は、シーン判定部12bに予め設定されている。
減算部33は、入力画像の所定領域内の画素値から、記憶部31に記憶された基準画像の所定領域内の画素値を減算し、これらの画素値間の変化量を出力する。監視モード判定部34は、この変化量に基づいて監視モードを判定する。
変化量が閾値よりも小さい場合には、監視モードは「低」であると判定され、第1実施形態と同様の処理が行われる。すなわち、監視モードが「低」である場合には、入力画像や差分画像の画質を変化させる前処理が行われず、イントラリフレッシュ用の入力画像の符号データのみが監視装置1から再生装置2に送信される。
変化量が閾値よりも大きい場合には、監視モードは「高」であると判定され、第1実施形態と同様の処理が行われる。すなわち、監視モードが「高」である場合には、入力画像や差分画像の画質を変化させる前処理が行われる。例えば、前処理部12cは、入力画像や差分画像を上述の第1の量子化パラメータで量子化することで、入力画像や差分画像を高画質化する。
図13は、第2実施形態の入力画像について説明するための図である。
図13(a)は、本実施形態の入力画像3の例を示している。この入力画像3は、発電所内のプールを横から撮影して得られた画像であり、プールの水位の変化を監視するために使用される。本実施形態の監視領域R1は、入力画像3における水面よりも下の領域(すなわち水中)であり、本実施形態の非監視領域R2は、入力画像3における水面よりも上の領域(すなわち水上)である。
シーン判定部12bは例えば、動きベクトルにより水面の変化を検知可能である。しかしながら、水面の変化が非常に小さい場合には、動きベクトルが小さいため、動きベクトルから水面の変化を検知することは困難な可能性がある。そのため、本実施形態のシーン判定部12bは、水面の変化を検知するために、入力画像3と基準画像との間の監視領域R1内の画素値の変化量を算出し、この変化量に基づいて監視モードを判定する。この場合、監視領域R1が上記の所定領域に対応する。
本実施形態の監視領域R1は、水面の変化に応じて変化する。そのため、シーン判定部12bは、入力画像3から水面を検知する必要がある。そこで、シーン判定部12bは、入力画像3内の輪郭を強調する画像処理を行うことで、水面を強調する。図13(b)の符号Sは、強調された水面を示している。検出領域抽出部32は、この入力画像3から監視領域R1(所定領域)を抽出する。
なお、図13の例の場合、基準画像中の水面は水面上昇前の状態であり、入力画像3中の水面は水面上昇後の状態である。そのため、入力画像3中の監視領域R1は、基準画像中の監視領域R1よりも広くなる。よって、入力画像3中の監視領域R1内の全画素の画素値の合計値から、基準画像中の監視領域R1内の全画素の画素値の合計値を減算することで、水面上昇の大きさを検知することができる。なお、水面上昇だけでなく、水面低下も検知対象とする場合には、変化量を、入力画像3の合計画素値から基準画像の合計画素値を減算した値とする代わりに、入力画像3の合計画素値と基準画像の合計画素値との差の絶対値とする。
図14は、第2実施形態の監視方法を示すフローチャートである。
まず、符号化部12は、撮影部11から現在のフレーム(入力画像)を取得する(ステップS21)。次に、シーン判定部12bは、この入力画像と基準画像との間の所定領域内の画素値の変化量を算出する(ステップS22)。次に、シーン判定部12bは、この変化量に基づいて監視モードを判定する(ステップS23、S24)。
図13の例では、監視領域R1を所定領域として取り扱い、入力画像と基準画像との間の監視領域R1内の画素値の変化量を算出した。一方、図14のフローチャートでは、監視領域R1および非監視領域R2を所定領域として取り扱い、入力画像と基準画像との間の監視領域R1内の画素値の変化量と、入力画像と基準画像との間の非監視領域R2内の画素値の変化量とを算出する。例えば、監視領域R1内の熱水と、非監視領域R2内の蒸気とを取り扱い、熱水の水面や蒸気の発生を監視する場合に、これらの変化量が算出される。以下、前者の変化量を第1変化量と呼び、後者の変化量を第2変化量と呼ぶ。
第1変化量が第1閾値より小さく、かつ第2変化量が第2閾値より小さい場合には、監視モードは「低」であると判定される(ステップS23)。一方、第1変化量が第1閾値以上であるか、第2変化量が第2閾値以上である場合には、ステップS24に移行する。第1閾値と第2閾値は、同じ値でもよいし、異なる値でもよい。
ステップS24において、シーン判定部12bは、大きな変化量が監視領域R1内で生じたか非監視領域R2内で生じたかを判定する。大きな変化量が非監視領域R2内のみで生じた場合、すなわち、第1変化量が第1閾値より小さく、かつ第2変化量が第2閾値以上である場合には、監視モードは「中」であると判定される(ステップS24)。一方、大きな変化量が監視領域R1内で生じた場合、すなわち、第1変化量が第1閾値以上である場合には、監視モードは「高」であると判定される(ステップS24)。
その後、監視モードは、ステップS23、S24で判定されたモードに移行する。前処理部12cは、第1実施形態と同様に、移行したモードに応じた前処理を実行する。
図15は、第2実施形態の基準画像について説明するための図である。
図15は、記憶部31内の基準画像9の例を示している。基準画像9は、上述の監視領域R1として、重要度が高い監視領域A1と、重要度が中程度の監視領域A2と、重要度が低い監視領域A3とを含んでいる。このように、本実施形態の基準画像9は、複数種類の監視領域を含んでいてもよい。この場合、大きい変化量が監視領域A1〜A3のいずれで生じたかに基づいて、監視モードを切り替えてもよい。
以上のように、本実施形態では、入力画像と基準画像との間の所定領域内の画素値の変化量に基づいて監視モードを判定する。よって、本実施形態によれば、動きベクトルでは検知が難しい変化を検知することが可能となり、監視モードを適切に切り替えることが可能となる。また、本実施形態によれば、複数の画素の画素値を合計して変化量を算出することで、モード判定に画像内の歪み等のノイズが影響することを抑制することができる。
(第3実施形態)
図16は、第3実施形態の監視システムの構成を示すブロック図である。
図16は、第3実施形態の監視システムの構成を示すブロック図である。
本実施形態の監視装置1は、撮影部11と、符号化部12と、送信部13と、フレームスピード制御部14とを備えている。本実施形態の再生装置2は、受信部21と、復号化部22と、表示部23とを備えている。
フレームスピード制御部14は、符号化部12のシーン判定部12bにより判定された監視モードに基づいて、送信部13が符号化データを送信するフレームスピードを制御する。よって、符号化データは、このフレームスピードで監視装置1から再生装置2に伝送され、このフレームスピードで表示部23により表示される。
デジタルテレビのフレームスピードは、30fpsや60fpsが標準である。フルHD等の高解像度の動画をこのフレームスピードで伝送する際には、H.264/AVCを用いても数十Mbpsの帯域が必要となる。また、監視システムは連続で長時間稼働することが多いため、動画データを保存するための大容量の記憶装置が必要となる。
そこで、第1実施形態では、監視モードに応じて前処理を変更することで、動画データの伝送量や蓄積量を低減している。そして、第3実施形態では、監視モードに応じてフレームスピードを変更することで、動画データの伝送量や蓄積量をさらに低減している。
フレームスピード制御部14は、監視モードが「高」「中」「低」である場合、フレームスピードをそれぞれ高速、中速、低速に設定する。さらに、フレームスピード制御部14は、イントラ符号化モードおよびインター符号化モードの中から、符号化対象の入力画像や差分画像のマクロブロックに適応する符号化モードを選択する。
監視モードが「低」から「高」に変化した場合には、フレームスピードが低速から高速に変更され、フレームスピードが速くなる。これにより、監視者は、監視対象の変化を鮮明に観察することが可能となる。これは、フレームスピードが低速から中速に変更される場合や、中速から高速に変更される場合にも同様である。
一方、監視モードが「高」から「低」に変化した場合には、フレームスピードが高速から低速に変更され、フレームスピードが遅くなる。この場合、再生装置2で映像(動画)を再生すると、映像がコマ落ちしているように見える。これは、フレームスピードが高速から中速に変更される場合や、中速から低速に変更される場合にも同様である。
そこで、復号化部22の画像再構成部22kは、変更後のフレームスピードが変更前のフレームスピードよりも遅い場合には、画像再構成部22kにより再構成された動画のフレーム間に事前に保存されたフレームを挿入する。これにより、フレームスピードに変化がない(または変化が小さい)ように動画を表示することができ、映像がコマ落ちして見えることを抑制することができる。これにより、監視者は、動画を違和感なく見ることが可能となる。挿入フレームの例は、記憶部22jに記憶された過去の画像である。
以上のように、本実施形態では、送信部13が符号化データを送信するフレームスピードを監視モードに基づいて制御する。よって、本実施形態によれば、動画データの伝送量や蓄積量をさらに低減することが可能となる。
以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規なシステムおよび装置は、その他の様々な形態で実施することができる。また、本明細書で説明したシステムおよび装置の形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。添付の特許請求の範囲およびこれに均等な範囲は、発明の範囲や要旨に含まれるこのような形態や変形例を含むように意図されている。
1:監視装置、2:再生装置、3:入力画像、4:参照画像、5:画像、
6:参照画像、7:再生画像、8:予測画像、9:基準画像、
11:撮影部、12:符号化部、13:送信部、14:フレームスピード制御部、
12a:減算部、12b:シーン判定部、12c:前処理部、
12d:変換・量子化部、12e:逆量子化・逆変換部、12f:加算部、
12g:ループフィルタ部、12h:画像バッファ部、12i:動き補償部、
12j:動きベクトル検出部、12k:重み付け予測部、12l:切替部、
12m:画面内予測部、12n:エントロピー符号化部、
12o:出力データ生成部、12p:予測画像生成部、12q:予測制御部、
21:受信部、22:復号化部、23:表示部、
22a:エントロピー復号化部、22b:逆量子化・逆変換部、22c:加算部、
22d:ループフィルタ部、22e:画像バッファ部、22f:動き補償部、
22g:重み付け予測部、22h:切替部、22i:画面内予測部、
22j:記憶部、22k:画像再構成部、
31:記憶部、32:検出領域抽出部、33:減算部、34:監視モード判定部
6:参照画像、7:再生画像、8:予測画像、9:基準画像、
11:撮影部、12:符号化部、13:送信部、14:フレームスピード制御部、
12a:減算部、12b:シーン判定部、12c:前処理部、
12d:変換・量子化部、12e:逆量子化・逆変換部、12f:加算部、
12g:ループフィルタ部、12h:画像バッファ部、12i:動き補償部、
12j:動きベクトル検出部、12k:重み付け予測部、12l:切替部、
12m:画面内予測部、12n:エントロピー符号化部、
12o:出力データ生成部、12p:予測画像生成部、12q:予測制御部、
21:受信部、22:復号化部、23:表示部、
22a:エントロピー復号化部、22b:逆量子化・逆変換部、22c:加算部、
22d:ループフィルタ部、22e:画像バッファ部、22f:動き補償部、
22g:重み付け予測部、22h:切替部、22i:画面内予測部、
22j:記憶部、22k:画像再構成部、
31:記憶部、32:検出領域抽出部、33:減算部、34:監視モード判定部
Claims (10)
- 監視装置と再生装置とを備える監視システムであって、
前記監視装置は、
監視対象を撮影して動画を取得する撮影部と、
前記動画を構成する画像と比較用の画像との間の変化量を取得し、前記変化量に基づいて監視モードを判定する判定部と、
前記監視モードに基づいて、前記動画を構成する画像の画像処理を行う画像処理部と、
前記画像処理が行われた画像を符号化して符号化データを生成する符号化部と、
前記符号化データを送信する送信部と、
を備え、
前記再生装置は、
前記符号化データを受信する受信部と、
前記符号化データを復号化して前記画像処理が行われた画像を再生する復号化部と、
前記復号化部により復号化された画像と、前記画像処理の情報とに基づいて、前記動画を再構成する再構成部と、
前記再構成部により再構成された動画を表示する表示部と、
を備える、監視システム。 - 前記画像処理部は、
前記変化量が閾値よりも大きいと判定された場合には、前記動画を構成する画像の前記画像処理を行い、
前記変化量が前記閾値よりも小さいと判定された場合には、前記動画を構成する画像の前記画像処理を行わない、
請求項1に記載の監視システム。 - 前記画像処理部は、
前記閾値よりも大きい前記変化量が、前記動画を構成する画像の第1領域内で発生した場合には、前記動画を構成する画像を第1の量子化パラメータで量子化する前記画像処理を行い、
前記閾値よりも大きい前記変化量が、前記動画を構成する画像の第2領域内で発生した場合には、前記動画を構成する画像を前記第1の量子化パラメータとは異なる第2の量子化パラメータで量子化する前記画像処理を行う、
請求項2に記載の監視システム。 - 前記送信部は、前記変化量が前記閾値よりも小さいと判定された場合、前記動画を構成する入力画像のうちのイントラフレームから生成された前記符号化データを送信し、前記入力画像と予測画像との差分画像から生成された前記符号化データを送信しない、請求項2または3に記載の監視システム。
- 前記変化量は、前記動画を構成する画像と前記比較用の画像との間の動きベクトルである、請求項1から4のいずれか1項に記載の監視システム。
- 前記変化量は、前記動画を構成する画像と前記比較用の画像との間の所定領域内の画素値の変化量である、請求項1から4のいずれか1項に記載の監視システム。
- 前記監視装置はさらに、前記監視モードに基づいて、前記送信部が前記符号化データを送信するフレームスピードを制御するフレームスピード制御部を備える、請求項1から6のいずれか1項に記載の監視システム。
- 前記再構成部は、変更後のフレームスピードが変更前のフレームスピードよりも遅い場合には、前記再構成部により再構成された動画のフレーム間に事前に保存されたフレームを挿入する、請求項7に記載の監視システム。
- 監視対象を撮影して動画を取得する撮影部と、
前記動画を構成する画像と比較用の画像との間の変化量を取得し、前記変化量に基づいて監視モードを判定する判定部と、
前記監視モードに基づいて、前記動画を構成する画像の画像処理を行う画像処理部と、
前記画像処理が行われた画像を符号化して符号化データを生成する符号化部と、
前記符号化データを送信する送信部と、
を備える監視装置。 - 監視対象を撮影して動画を取得する監視装置から、前記動画の符号化データを受信する受信部と、
前記符号化データを復号化して、前記監視装置にて画像処理が行われた画像を再生する復号化部と、
前記復号化部により復号化された画像と、前記画像処理の情報とに基づいて、前記動画を再構成する再構成部と、
前記再構成部により再構成された動画を表示する表示部と、
を備える再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016005464A JP2017126896A (ja) | 2016-01-14 | 2016-01-14 | 監視システム、監視装置、および再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016005464A JP2017126896A (ja) | 2016-01-14 | 2016-01-14 | 監視システム、監視装置、および再生装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017126896A true JP2017126896A (ja) | 2017-07-20 |
Family
ID=59364412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016005464A Pending JP2017126896A (ja) | 2016-01-14 | 2016-01-14 | 監視システム、監視装置、および再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017126896A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019134323A (ja) * | 2018-01-31 | 2019-08-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2020040206A1 (ja) * | 2018-08-23 | 2020-02-27 | 株式会社タムロン | 撮像システム |
JP2020078031A (ja) * | 2018-11-09 | 2020-05-21 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
CN116828242A (zh) * | 2023-08-30 | 2023-09-29 | 亿咖通(湖北)技术有限公司 | 长链路投屏方法、系统及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0583690A (ja) * | 1991-09-20 | 1993-04-02 | Fujitsu Ltd | 画像圧縮方法 |
JP2001309354A (ja) * | 2000-04-19 | 2001-11-02 | Sharp Corp | 画像処理装置 |
JP2002199398A (ja) * | 2000-12-27 | 2002-07-12 | Kddi Corp | 可変ビットレート動画像符号化装置および記録媒体 |
JP2008124626A (ja) * | 2006-11-09 | 2008-05-29 | Victor Co Of Japan Ltd | 画像記録制御装置および画像記録制御方法 |
JP2012120244A (ja) * | 1997-02-13 | 2012-06-21 | Mitsubishi Electric Corp | 動画像符号化装置及び動画像符号化方法及び動画像予測装置 |
JP2012521141A (ja) * | 2009-03-19 | 2012-09-10 | コア ロジック,インコーポレイテッド | エンコーディング装置と方法及びそのエンコーディング装置を含むマルチメディア装置 |
-
2016
- 2016-01-14 JP JP2016005464A patent/JP2017126896A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0583690A (ja) * | 1991-09-20 | 1993-04-02 | Fujitsu Ltd | 画像圧縮方法 |
JP2012120244A (ja) * | 1997-02-13 | 2012-06-21 | Mitsubishi Electric Corp | 動画像符号化装置及び動画像符号化方法及び動画像予測装置 |
JP2001309354A (ja) * | 2000-04-19 | 2001-11-02 | Sharp Corp | 画像処理装置 |
JP2002199398A (ja) * | 2000-12-27 | 2002-07-12 | Kddi Corp | 可変ビットレート動画像符号化装置および記録媒体 |
JP2008124626A (ja) * | 2006-11-09 | 2008-05-29 | Victor Co Of Japan Ltd | 画像記録制御装置および画像記録制御方法 |
JP2012521141A (ja) * | 2009-03-19 | 2012-09-10 | コア ロジック,インコーポレイテッド | エンコーディング装置と方法及びそのエンコーディング装置を含むマルチメディア装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019134323A (ja) * | 2018-01-31 | 2019-08-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7050509B2 (ja) | 2018-01-31 | 2022-04-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2020040206A1 (ja) * | 2018-08-23 | 2020-02-27 | 株式会社タムロン | 撮像システム |
JP2020031357A (ja) * | 2018-08-23 | 2020-02-27 | 株式会社タムロン | 撮像システム |
CN112567725A (zh) * | 2018-08-23 | 2021-03-26 | 株式会社腾龙 | 摄像系统 |
JP7075313B2 (ja) | 2018-08-23 | 2022-05-25 | 株式会社タムロン | 撮像システム |
JP2020078031A (ja) * | 2018-11-09 | 2020-05-21 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP7213662B2 (ja) | 2018-11-09 | 2023-01-27 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
CN116828242A (zh) * | 2023-08-30 | 2023-09-29 | 亿咖通(湖北)技术有限公司 | 长链路投屏方法、系统及存储介质 |
CN116828242B (zh) * | 2023-08-30 | 2023-12-05 | 亿咖通(湖北)技术有限公司 | 长链路投屏方法、系统及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101863082B1 (ko) | 영상 부호화 및 복호화 장치 및 그 방법 | |
US9414086B2 (en) | Partial frame utilization in video codecs | |
TW202005399A (zh) | 基於區塊之自適應迴路濾波器(alf)之設計及發信令 | |
CN106998470B (zh) | 解码方法、编码方法、解码设备和编码设备 | |
KR20220145405A (ko) | 피쳐 양자화/역양자화를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 | |
JP5884313B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
KR20200128375A (ko) | 인트라 예측 모드 스케일러블 코딩 방법 및 장치 | |
JP2017126896A (ja) | 監視システム、監視装置、および再生装置 | |
US11109060B2 (en) | Image prediction method and apparatus | |
KR102271118B1 (ko) | 영상 저장 장치 및 방법 | |
CN109756737B (zh) | 图像预测方法和装置 | |
JP6457248B2 (ja) | 画像復号装置、画像符号化装置および画像復号方法 | |
JP6217826B2 (ja) | 画像処理装置及び画像処理方法 | |
US20160330486A1 (en) | Method and apparatus for processing video signal for reducing visibility of blocking artifacts | |
KR102020953B1 (ko) | 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템 | |
JP5585271B2 (ja) | 動画像符号化装置 | |
WO2013105458A1 (ja) | 画像処理装置および方法 | |
JP7323685B2 (ja) | 映像復号装置及びプログラム | |
JP5244625B2 (ja) | 画像圧縮伸張装置 | |
US20230291933A1 (en) | Method and device for encoding/decoding image by signaling gci, and computer-readable recording medium in which bitstream is stored | |
KR101533051B1 (ko) | 블록별 양자화 레벨을 이용한 인코딩 방법 및 그 시스템 | |
JPH08181997A (ja) | 画像符号化装置及び画像復号化装置 | |
JP2012178713A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20180131 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191001 |