JP2010093511A

JP2010093511A - 映像信号符号化装置および撮像装置

Info

Publication number: JP2010093511A
Application number: JP2008261100A
Authority: JP
Inventors: Shinji Yamamoto; 真嗣山本
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2008-10-07
Filing date: 2008-10-07
Publication date: 2010-04-22
Also published as: WO2010041389A1

Abstract

【課題】映像信号を動画データ及び静止画データに符号化する際に、静止画データの符号量を好適に削減する映像信号符号化装置を提供する。
【解決手段】複数のフレームの映像信号を蓄積するメモリ１と、前記映像信号からフレーム間での被写体の動きを検出することにより前記映像信号を動画データに符号化する動画符号化部２と、検出された前記被写体の動きから、前記被写体が動いたフレーム内の範囲を特定する動き範囲特定部４と、動き範囲特定部４で特定された範囲についてのみ前記映像信号を静止画データに符号化する静止画符号化部３とを備える。
【選択図】図１

Description

本発明は、映像信号符号化装置において映像信号を符号化して符号化データを生成する際に、生成される符号化データの符号量を削減する技術に関する。

従来、監視用途において、監視対象の動画像に加えて高精細な静止画像を送信することで、動きの把握に適した動画像と細部の確認に適した静止画像の両方を監視者に提供可能な装置が実現されている。この装置から送信される動画像および静止画像を用いることにより、通常の監視は動画像により連続的に行いつつ、動きのあった場合は静止画像により動きが発生した状態を詳細に確認することが可能である。

従来のそのような装置の一例として、図５に示す小型画像データ変換通信装置がある（特許文献１参照）。この装置において、ＮＴＳＣ（National Television Standards Committee）デコーダ２０から入力された映像信号は、バス切り替え部２２を介してＨ．２６３ＣＯＤＥＣ処理部２３とＪＰＥＧ（Joint Photographic Experts Group）ＣＯＤＥＣ処理部２４とに入力され、それぞれ画像圧縮（符号化）されて多重通信部２７により多重化して送信される。これにより連続した動画像と高い精細度を持った静止画像とを送信可能な、監視用途に好適な装置が実現される。
特開２０００−２５３３９９号公報（第１図）

特許文献１に開示される装置では、ＪＰＥＧコーデックにより圧縮された静止画像を多重化送信するため、送信する符号量が大きくなり、送信に利用可能な帯域が制限されている場合は１枚の静止画像を送信するために時間がかかり、静止画像を送信する間隔が長くなる問題が発生する。このことは、例えば監視用途において、必要なときに静止画像を確認できないといった不具合となる。

本発明は、このような事情に鑑みて創作したものであり、動画像と静止画像とを送信する場合に送信すべき符号量を抑えることができ、また、静止画像のみを送信する場合であっても符号量を抑えることができる映像信号符号化装置を提供することを目的とする。

上記の課題を解決するために、本発明による映像信号符号化装置は、複数のフレームの映像信号を蓄積するメモリと、前記映像信号からフレーム間の動き情報を検出することにより前記映像信号を動画データに符号化する動画符号化部と、前記動画符号化部で検出される前記動き情報から被写体に動きがあるフレーム内の範囲を特定する動き範囲特定部と、前記動き範囲特定部で特定された範囲についてのみ前記映像信号を静止画データに符号化する静止画符号化部とを備える。

この構成においては、映像信号がメモリに蓄えられ、動画符号化部で動画データに符号化される。動画の符号化方式としては、ＭＰＥＧ（Moving Picture Experts Group）２、ＭＰＥＧ４、Ｈ．２６４が一般的である。これらの符号化方式では、１枚のフレーム内を分割したマクロブロック単位で動きベクトルが算出される。この動きベクトルが動き範囲特定部に入力され、１枚のフレーム内で動きのある範囲と無い範囲が判断される。静止画符号化部は動き範囲特定部で特定された動きのある範囲についてのみ映像信号を静止画データに符号化する。静止画の符号化方式としてはＪＰＥＧが一般的である。

この場合、静止画符号化部で生成される静止画データは１枚のフレーム内で動きのある範囲のみとなるため、１枚のフレーム全体を静止画データに符号化する場合に比べ、同じ圧縮率で符号化した場合に比べ符号量が小さくすることができる。

また、前記静止画符号化部は、前記動き範囲特定部で動きのある範囲が１つのフレーム内で複数特定された場合は、特定された範囲と同数の静止画データを個別に生成してもよく、前記静止画符号化部は、前記動き範囲特定部で動きのある範囲が１つのフレーム内で特定されない場合は、当該フレームについて静止画データを生成しなくてもよい。

この構成においては、例えば監視用途など、用途によっては無駄な動きのない範囲の静止画データが生成されないので、少ない符号量で有用な静止画データの生成が可能となる。

また、前記映像信号符号化装置は、さらに、動きのある範囲が特定されないことを示す固有情報が記録された固有情報メモリと、前記動き範囲特定部で動きのある範囲が特定された場合は前記静止画符号化部で生成された静止画データを選択し、前記動き範囲特定部で動きのある範囲が特定されない場合は前記静止画符号化部からの出力の代わりに前記固有情報メモリに記録された固有情報を選択する出力選択部とを備えてもよい。

この構成においては、動きのある範囲が特定されない場合、映像信号符号化装置から通知される固有情報によって動きがないことが分かるので、情報を受け取る側で静止画データが喪失したと誤って判断する事態が避けられる。

なお、本発明は、映像信号符号化装置として実現できるだけでなく、映像信号符号化装置を搭載した撮像装置として実現することができる。

本発明の映像信号符号化装置によれば、映像信号を動画データに符号化する際に検出されるフレーム間の動き情報を用いて被写体に動きのあるフレーム内の範囲を特定し、特定された範囲についてのみ映像信号を静止画データに符号化するため、フレームの全体を静止画データに符号化する場合と比べて、より少ない符号量の静止画データを生成し、より高い頻度で出力することができる。

動きのある範囲が１フレーム内に複数特定された場合は、特定されたそれぞれの範囲について個別に静止画データを生成し、また、動きのある範囲が１フレーム内に特定されない場合は、当該フレームについて静止画データを生成しないことにより、例えば監視用途において無駄のない有用な静止画データを生成できる。

以下、本発明にかかわる映像信号符号化装置の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
本発明の実施の形態１における映像信号符号化装置１００は、例えば図１のように構成される。

映像信号符号化装置１００は、映像信号を入力して蓄積するメモリ１と、メモリ１に蓄積された映像信号を動画として符号化する動画符号化部２と、メモリ１に蓄積された映像信号の特定のフレームを静止画として符号化する静止画符号化部３と、動画符号化部２で動画像を生成する際に検出される動きの情報からフレーム内の動きがある範囲を特定する動き範囲特定部４とから構成されている。

映像信号符号化装置１００は、例えば半導体集積回路装置として実現されてもよく、図１に示される映像信号符号化装置１００の各部は、それぞれの機能を発揮する回路として実現されてもよい。また、映像信号符号化装置１００の各部は、プロセッサが所定のプログラムを実行することにより発揮されるソフトウェア機能として実現することもできる。

以上のように構成された映像信号符号化装置１００において、フレームごとに映像信号がメモリ１に蓄積される。

動画符号化部２はメモリ１に蓄積されたフレーム画像を読み出し、動画としてＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４などの方式により符号化する。動画符号化部２は、符号化に際して１枚のフレーム内を分割したマクロブロック単位で動きベクトルを算出する。また動画符号化部２は符号化の結果として動画データを出力する。動画符号化部２で算出された動きベクトルは動き範囲特定部４に送られる。

動き範囲特定部４は、動きベクトルを参照することにより、隣接するフレーム間で被写体に動きのあるフレーム内の範囲を特定し、特定された範囲を静止画符号化部３に通知する。動きベクトルによって、例えば図２のように、ＮフレームとＮ＋１フレームの間での被写体の動きが表される場合、動き範囲特定部４では、被写体の移動前の位置と移動後の位置とを含む範囲をＮ＋１フレーム内の動きのある範囲として特定する。

動き範囲特定部４は、特定された範囲を、例えば、符号化されるべき映像信号が格納されているメモリ１における領域の開始アドレス及び終了アドレス、もしくは当該領域の開始アドレスと画像の縦及び横のサイズで表し、静止画符号化部３へ通知する。

静止画符号化部３は、通知された範囲の映像信号をメモリ１から読み出して符号化し、静止画データとして出力する。

なお、動き範囲特定部４で１つのフレーム内の複数箇所が動きのある範囲として特定された場合は、それぞれの範囲を表す情報を静止画符号化部３へ順次通知し、静止画符号化部３は通知されたそれぞれの範囲について静止画データを生成する。

また、動き範囲特定部４で１つのフレーム内で動きのある範囲が特定されない場合には、静止画符号化部３へ範囲の通知を行わないことで静止画符号化部３は当該フレームについて静止画データを生成しない。

上記の構成においては、静止画符号化部３は動きのある範囲についてのみ映像信号を静止画データに符号化するため、フレーム全体を符号化する方式に比べて静止画データの符号量が削減される結果、圧縮率や伝送帯域が同じ条件下で、より高い頻度で静止画像を出力することができる。例えば監視用途など、用途によっては動きのない範囲の静止画像は無用であり、動きのある範囲の静止画像がより高い頻度で出力されることは、実用的な意義が大きい。

（実施の形態２）
本発明の実施の形態２における映像信号符号化装置１１０は、例えば図３のように構成されている。図３において、実施の形態１の図１に示した構成要素と同一の構成要素には同じ符号を付して示している。

映像信号符号化装置１１０は、実施の形態１の映像信号符号化装置１００と比べて、固有情報メモリ５および出力選択部６が追加される点で異なる。その他の構成については、実施の形態１の場合と同様であるので、説明を省略する。

固有情報メモリ５には、フレーム内に動きのある範囲が特定されないことを示す固有情報が記録されている。固有情報の具体的な形式は限定しない。固有情報は、静止画符号化部３で生成される静止画データと区別できる情報であればよく、例えばフレーム内に動きがないことを示すテキストメッセージや画像データであってもよい。

出力選択部６は、動き範囲特定部４で動きのある範囲が特定された場合は静止画符号化部３で生成された静止画データを選択して出力し、動き範囲特定部４で動きのある範囲が特定されない場合は固有情報メモリ５に記録されている固有情報を選択して出力する。

以上のように構成された映像信号符号化装置１１０は、動き範囲特定部４で動きのある範囲が特定されない場合は、出力選択部６によって、静止画データの代わりに固有情報メモリに記録されている固有情報を出力する。

この構成により、動きのある範囲が特定されない場合、映像信号符号化装置１１０から通知される固有情報によって動きがないことが分かるので、情報を受け取る側で静止画データが喪失したと誤って判断する事態が避けられる。

（実施の形態３）
図４は上述した実施の形態１の映像信号符号化装置１００、または実施の形態２の映像信号符号化装置１１０を搭載した撮像装置２００構成の一例を示すブロック図である。

図４に記載した撮像装置２００は、被写体の光学像を撮像素子に結像させるレンズ１０、光学像を電気信号に変換する撮像素子１１、撮像素子１１の駆動信号を生成するタイミングジェネレータ（ＴＧ）１２、相関二重サンプリングやアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路を搭載したアナログフロントエンド（ＡＦＥ）１３、信号処理を行うＤＳＰ（Digital Signal Processor）１４、システムを制御するＣＰＵ１５、映像情報、動画データ、静止画データを蓄積するメモリ１６、図１または図３に記載の静止画符号化部３及び動画符号化部２が含まれる符号化部１７、動画及び静止画データを送信する送信部１８、各部とメモリ１６との間でのデータ転送を制御するメモリ制御部１９より構成される。

この構成では、図１及び図３に示したメモリ１および図３に示した固有情報メモリ５は、メモリ１６により実現される。また、図１及び図３で示した動き範囲特定部４は、ＣＰＵ１５が予め定められたプログラムを実行することによって、隣接フレームとの間で被写体に動きのあるフレーム内の範囲を特定するソフトウェア機能として実現される。また、図３に示した出力選択部６も同様に、ＣＰＵ１５が予め定められたプログラムを実行することによって、送信部１８から出力されるべき情報のメモリ１６における格納位置を切り替えるソフトウェア機能として実現される。

以上のように構成された撮像装置において、撮像素子１１からの信号はＡＦＥ１３によるノイズ除去およびデジタル信号への変換の後、メモリ制御部１９を経由して撮像素子出力信号としてメモリ１６に蓄積される。

ＤＳＰ１４ではメモリ１６に蓄積された撮像素子出力信号を映像信号に変換して、変換された映像信号をメモリ１６に蓄積する。

符号化部１７はメモリ１６に蓄積された映像信号を動画符号化及び静止画符号化して動画データ及び静止画データとしてメモリ１６に蓄積する。このとき、動き範囲特定部４として機能するＣＰＵ１５は、隣接フレームとの間で被写体に動きがあると判断したフレーム内の範囲を示す情報を符号化部１７へ送り、符号化部１７は、送られた情報で示される範囲についてメモリ１６から読み出した映像信号を静止画データに符号化する。

送信部１８はメモリ１６上の動画データ及び静止画データを送信する。ＣＰＵ１５は各構成要素をそれぞれ制御する。

撮像装置２００に映像信号符号化装置１００または映像信号符号化装置１１０を搭載する場合は、上記のように構成すればよく、実施の形態１及び実施の形態２に記載した方法で制御することで、符号量が削減された静止画データを、有用な範囲についてのみ高い頻度で出力することができる。

本発明の映像信号符号化装置は、動画像及び静止画像を出力する監視カメラなどの撮像装置に有用である。

本発明の実施の形態１における映像信号符号化装置の構成を示すブロック図本発明の実施の形態１における動き検出範囲の一例を示す図本発明の実施の形態２における映像信号符号化装置の構成を示すブロック図本発明の実施の形態３における撮像装置の構成を示すブロック図従来技術の小型画像データ変換通信装置の構成を示すブロック図

符号の説明

１メモリ
２動画符号化部
３静止画符号化部
４動き範囲特定部
５固有情報メモリ
６出力選択部
１０レンズ
１１撮像素子
１２ＴＧ
１３ＡＦＥ
１４ＤＳＰ
１５ＣＰＵ
１６メモリ
１７符号化部
１８送信部
１９メモリ制御部
２０ＮＴＳＣデコーダ
２２バス切り替え部
２３Ｈ．２６３ＣＯＤＥＣ処理部
２４ＪＰＥＧＣＯＤＥＣ処理部
２７多重通信部
１００、１１０映像信号符号化装置
２００撮像装置

Claims

複数のフレームの映像信号を蓄積するメモリと、
前記映像信号からフレーム間での被写体の動きを検出することにより前記映像信号を動画データに符号化する動画符号化部と、
検出された前記被写体の動きから、前記被写体が動いたフレーム内の範囲を特定する動き範囲特定部と、
前記動き範囲特定部で特定された範囲についてのみ前記映像信号を静止画データに符号化する静止画符号化部と
を備える映像信号符号化装置。
前記静止画符号化部は、前記動き範囲特定部で動きのある範囲が１つのフレーム内で複数特定された場合は、当該フレームについて特定されたそれぞれの範囲について静止画データを個別に生成する
請求項１に記載の映像信号符号化装置。
前記静止画符号化部は、前記動き範囲特定部で動きのある範囲が１つのフレーム内で特定されない場合は、当該フレームについて静止画データを生成しない
請求項１に記載の映像信号符号化装置。
前記映像信号符号化装置は、さらに、
動きのある範囲が特定されないことを示す固有情報が記録された固有情報メモリと、
前記動き範囲特定部で動きのある範囲が特定された場合は前記静止画符号化部で生成された静止画データを選択し、前記動き範囲特定部で動きのある範囲が特定されない場合は前記静止画符号化部からの出力の代わりに前記固有情報メモリに記録された固有情報を選択する出力選択部と
を備える請求項１に記載の映像信号符号化装置。
請求項１から請求項４までのいずれか１項に記載の映像信号符号化装置が搭載されている撮像装置。