JP2009071389A - Unit and method for processing image, and program - Google Patents
Unit and method for processing image, and program Download PDFInfo
- Publication number
- JP2009071389A JP2009071389A JP2007234759A JP2007234759A JP2009071389A JP 2009071389 A JP2009071389 A JP 2009071389A JP 2007234759 A JP2007234759 A JP 2007234759A JP 2007234759 A JP2007234759 A JP 2007234759A JP 2009071389 A JP2009071389 A JP 2009071389A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- region
- feature
- feature region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。本発明は、特に、画像を処理する画像処理装置および画像処理方法、並びに画像処理装置用のプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program. The present invention particularly relates to an image processing apparatus and an image processing method for processing an image, and a program for the image processing apparatus.
受信データの重要度に応じて圧縮レベルを動的に変化させ重要なデータの圧縮度を小さくして蓄積する映像記録再生装置が知られている（例えば、特許文献１参照。）。また、監視カメラから出力される画像データの変化が大きいときでも、モニタ装置上に表示される画面中にある監視対象物体の画像を鮮明に保持させて、監視対象エリアの状況を十分に把握させる動画圧縮装置が知られている（例えば、特許文献２参照。）。
特許文献１の発明によると、移動領域の移動ベクトルにより動きベクトルを決定する。また、特許文献２の発明によると、移動領域について量子化粗さを大きくすることができる。しかしながら、特許文献１および２の技術では、移動領域のオブジェクトに応じて適切に圧縮符号化することができないので、適切な圧縮率で画像を圧縮することができない虞がある。
According to the invention of
上記課題を解決するために、本発明の第１の形態によると、符号化された画像を示す符号化画像を取得する符号化画像取得部と、符号化画像における特徴領域を検出する特徴領域検出部と、符号化画像に含まれる符号化データを用いて、特徴領域の画像と特徴領域以外の領域の画像とを異なる画質にする画質変換部とを備える。 In order to solve the above problems, according to the first aspect of the present invention, an encoded image acquisition unit that acquires an encoded image indicating an encoded image, and a feature region detection that detects a feature region in the encoded image And an image quality conversion unit that uses the encoded data included in the encoded image to make the image of the feature region and the image of the region other than the feature region different in image quality.
画質変換部は、符号化画像に含まれる符号化データを用いて、特徴領域の画像を特徴領域以外の領域の画像より高画質にしてよい。符号化画像取得部は、動画に含まれる複数の動画構成画像が符号化された複数の符号化画像を取得し、特徴領域検出部は、複数の符号化画像における特徴領域を検出し、画質変換部は、複数の符号化画像に含まれる符号化データを用いて、特徴領域の画像を特徴領域以外の領域の画像より高画質にしてよい。 The image quality conversion unit may use the encoded data included in the encoded image so that the image of the feature area has a higher image quality than the image of the area other than the feature area. The encoded image acquisition unit acquires a plurality of encoded images obtained by encoding a plurality of moving image constituent images included in the moving image, and the feature region detection unit detects a feature region in the plurality of encoded images, and performs image quality conversion. The unit may use the encoded data included in the plurality of encoded images so that the image of the feature region has higher image quality than the image of the region other than the feature region.
本発明の第２の形態によると、画像処理方法であって、符号化された画像を示す符号化画像を取得する符号化画像取得段階と、符号化画像における特徴領域を検出する特徴領域検出段階と、符号化画像に含まれる符号化データを用いて、特徴領域の画像と特徴領域以外の領域の画像とを異なる画質にする画質変換段階とを備える。本発明の第３の形態によると、画像処理装置用のプログラムであって、画像処理装置を、符号化された画像を示す符号化画像を取得する符号化画像取得部、符号化画像における特徴領域を検出する特徴領域検出部、符号化画像に含まれる符号化データを用いて、特徴領域の画像と特徴領域以外の領域の画像とを異なる画質にする画質変換部として機能させる。 According to a second aspect of the present invention, there is provided an image processing method, an encoded image acquisition step of acquiring an encoded image indicating an encoded image, and a feature region detection step of detecting a feature region in the encoded image. And an image quality conversion stage for converting the image of the feature region and the image of the region other than the feature region into different image quality using the encoded data included in the encoded image. According to a third aspect of the present invention, there is provided a program for an image processing device, the image processing device having an encoded image acquisition unit that acquires an encoded image indicating an encoded image, and a feature region in the encoded image. And a function region detection unit that detects the image, and an image quality conversion unit that uses the encoded data included in the encoded image to make the image of the feature region and the image of the region other than the feature region different in image quality.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図１は、一実施形態に係る画像処理システム１０の一例を示す。画像処理システム１０は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。
FIG. 1 shows an example of an
画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｃ（以下、撮像装置１００と総称する。）、画像を処理する複数の画像処理装置１２０ａ−ｃ（以下、画像処理装置１２０と総称する。）、画像処理装置１７０、通信ネットワーク１１０、および複数の表示装置１８０ａ−ｃ（以下、表示装置１８０と総称する。）を備える。
The
画像処理装置１２０ａは、撮像装置１００ａに接続されている。また、画像処理装置１２０ｂは、撮像装置１００ｂに接続されている。また、画像処理装置１２０ｃは、撮像装置１００ｃに接続されている。なお、画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
The
以下に、撮像装置１００ａ、画像処理装置１２０ａ、画像処理装置１７０、および表示装置１８０ａの動作を説明する。撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画をＭＰＥＧ符号化して撮像動画データを生成して、撮像装置１００ａが接続されている画像処理装置１２０ａに出力する。
Hereinafter, operations of the
画像処理装置１２０ａは、撮像装置１００ａが生成した撮像動画データを取得する。画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物１３０、車輌等の移動物体１４０等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０ａは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置１２０ａは、特徴領域以外の背景領域の動画であって、特徴領域動画より低画質な背景領域動画を生成する。
The
そして、画像処理装置１２０ａは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置１２０ａは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連づけて、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
Then, the
画像処理装置１７０は、画像処理装置１２０ａから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置１７０は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置１８０ａに供給する。表示装置１８０ａは、画像処理装置１７０から供給された動画を表示する。
The
なお、撮像装置１００ｂおよび撮像装置１００ｃの機能および動作は、それぞれ画像処理装置１２０ｂおよび画像処理装置１２０ｃに撮像動画データを提供することを除いて、撮像装置１００ａの機能および動作と同様であるので、その説明を省略する。また、画像処理装置１２０ｂおよび画像処理装置１２０ｃの機能および動作は、それぞれ撮像装置１００ｂおよび撮像装置１００ｃから撮像動画データを取得することを除いて、画像処理装置１２０ａの機能および動作と同様であってよい。よって、その説明を省略する。また、画像処理装置１７０は、撮像装置１００ｂおよび撮像装置１００ｃのそれぞれから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをから、一の動画をそれぞれ生成して、それぞれ表示装置１８０ｂおよび表示装置１８０ｃに供給する。また、表示装置１８０ｂおよび表示装置１８０ｃは、画像処理装置１７０から供給されたそれぞれの動画を表示する。
The functions and operations of the
本実施形態の画像処理システム１０を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残すことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。
When the
図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、圧縮動画取得部２０１、圧縮動画伸張部２０２、条件格納部２６０、圧縮制御部２５０、圧縮部２４０、および出力部２０７を備える。圧縮部２４０は、入力動画画質制御部２８０、画質低減部２８１、階層間差分圧縮部２８２ａ−ｄ（以下、階層間差分圧縮部２８２と総称する。）を有する。
FIG. 2 shows an example of a block configuration of the
圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。
The compressed moving
具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。また、動画構成画像は、この発明における入力画像の一例である。
Specifically, the compressed moving
特徴領域検出部２０３は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。圧縮部２４０は、圧縮動画伸張部２０２により生成された複数の動画構成画像を圧縮する。例えば、圧縮部２４０は、特徴領域検出部２０３が検出した特徴領域の特徴量に応じて圧縮する。
The feature
例えば、圧縮部２４０は、複数の特徴領域のそれぞれに含まれるオブジェクトの特徴量に応じて異なる符号化方式で複数の特徴領域の画像を圧縮する。具体的には、圧縮制御部２５０は、特徴領域検出部２０３が検出した特徴領域を示す情報を圧縮部２４０に供給するとともに、圧縮部２４０による複数の動画構成画像を圧縮する場合の符号化方式を制御する。以下に、圧縮部２４０の各構成要素の機能および動作について説明する。なお、圧縮制御部２５０の機能および動作については、図４に関連して説明する。
For example, the
入力動画画質制御部２８０は、圧縮動画伸張部２０２が生成した複数の動画構成画像のそれぞれにおける特徴領域の特徴量に応じて、特徴領域の画質および特徴領域以外の領域の画質を制御する。なお、入力動画画質制御部２８０の機能および動作については、図５に関連してより詳しく説明する。
The input moving image
画質低減部２８１は、動画の画質を低減することによって、予め定められた異なる画質を持つ複数の動画を生成する。そして、画質低減部２８１は、生成した画質が異なる動画を階層間差分圧縮部２８２に提供する。具体的には、画質低減部２８１は、動画のフレームレートを低減することにより、あるいは動画に含まれる動画構成画像の解像度または階調を低減することにより、異なる画質を持つ動画を生成する。そして、階層間差分圧縮部２８２は、予め定められた画質の動画を画質低減部２８１から取得して、取得した動画を圧縮する。なお、階層間差分圧縮部２８２は、互いに異なる画質の動画を圧縮する。
The image
なお、画質低減部２８１が階層間差分圧縮部２８２ａに供給する動画に含まれる動画構成画像は、入力された動画構成画像の画質を低画質にした低画質画像の一例であってよい。また、画質低減部２８１が階層間差分圧縮部２８２ｂ−ｄに供給する動画に含まれる動画構成画像は、特徴領域において低画質画像より高画質な特徴領域画像の一例であってよい。この場合、画質低減部２８１および入力動画画質制御部２８０は、低画質画像を生成する画像生成部として機能する。
Note that the moving image constituent image included in the moving image supplied from the image
なお、階層間差分圧縮部２８２ａは、階層間差分圧縮部２８２ｂ−ｄのいずれが受け取る動画構成画像より解像度が低い動画構成画像を画質低減部２８１から取得して圧縮する。なお、階層間差分圧縮部２８２は、階層間差分圧縮部２８２ｂ、階層間差分圧縮部２８２ｃ、および階層間差分圧縮部２８２ｄの順で解像度が低い動画構成画像を画質低減部２８１から取得して圧縮する。
Note that the inter-layer
階層間差分圧縮部２８２ｂは、階層間差分圧縮部２８２ａが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部２８１から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部２８２ｂは、拡大して得られた動画構成画像と画質低減部２８１から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部２８２ｂは、特徴領域において差分値を持つが、特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
The inter-layer
また、階層間差分圧縮部２８２ｃは、階層間差分圧縮部２８２ｂが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部２８１から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部２８２ｃは、拡大して得られた動画構成画像と画質低減部２８１から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部２８２ｃは、特徴領域の特徴量に応じて、複数の特徴領域のうちの少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
Further, the inter-layer difference compression unit 282c expands the moving image constituent image compressed by the inter-layer
また、階層間差分圧縮部２８２ｄは、階層間差分圧縮部２８２ｃが圧縮した動画構成画像を伸張する。そして、階層間差分圧縮部２８２ｄは、伸張して得られた動画構成画像を、入力動画画質制御部２８０から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部２８２ｄは、拡大して得られた動画構成画像と入力動画画質制御部２８０から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部２８２ｄは、特徴領域の特徴量に応じて、複数の特徴領域のうちの少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
In addition, the inter-layer
このように、階層間差分圧縮部２８２ｂ−ｄは、入力動画画質制御部２８０または画質低減部２８１から受け取った動画構成画像と、より低い解像度の動画構成画像を拡大した動画構成画像との間の差分をとることによって得られた差分画像を圧縮する。そして、出力部２０７は、階層間差分圧縮部２８２のそれぞれが圧縮して得られた動画を多重化して出力する。具体的には、出力部２０７は、階層間差分圧縮部２８２が圧縮した動画を画像処理装置１７０に送信する。このように、画像処理装置１２０は、特徴領域の特徴量に応じてスケーラブルに圧縮符号化された動画を提供することができる。
In this way, the inter-layer
図３は、階層間差分圧縮部２８２ａおよびｂのブロック構成の一例を示す。階層間差分圧縮部２８２ａは、動き解析部２８５ａ、動き符号化部２８６ａ、差分処理部２８７ａ、および符号化部２８８ａを有する。動き解析部２８５ａは、差分対象領域決定部２９４ａおよび位置差情報生成部２９５ａを含む。差分処理部２８７ａは、差分画素画像生成部２９６ａ、空間周波数領域変換部２９７ａ、および量子化部２９８ａを含む。
FIG. 3 shows an example of the block configuration of the inter-tier
階層間差分圧縮部２８２ｂは、動き解析部２８５ｂ、動き符号化部２８６ｂ、差分処理部２８７ｂ、画像拡大部２９３ｂ、画像復号部２９２ｂ、および符号化部２８８ｂを有する。動き解析部２８５ｂは、差分対象領域決定部２９４ｂおよび位置差情報生成部２９５ｂを含む。差分処理部２８７ｂは、差分画素画像生成部２９６ｂ、空間周波数領域変換部２９７ｂ、量子化部２９８ｂ、および周波数領域画質変換部２９９ｂを含む。なお、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄは、階層間差分圧縮部２８２ｂが有する構成要素と略同一の構成要素を有するので、説明を省略する。
The inter-layer
以下に、階層間差分圧縮部２８２ａの各構成要素の機能および動作について説明する。動き解析部２８５ａは、画質低減部２８１から受け取った複数の動画構成画像の画像内容に基づいて、複数の動画構成画像にわたる動きを解析することによって、動きに基づいて動画構成画像を圧縮する部分領域を決定する。
The function and operation of each component of the inter-layer
具体的には、差分対象領域決定部２９４ａは、複数の動画構成画像にわたる部分領域の画素値に基づいて、動画構成画像を他の動画構成画像との差分により圧縮する場合における、差分対象となる他の動画構成画像における部分領域を決定する。差分対象領域決定部２９４ａは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を差分処理部２８７ａに供給する。 Specifically, the difference target area determination unit 294a becomes a difference target in the case where a moving picture constituent image is compressed by a difference from another moving picture constituent image based on the pixel values of partial areas that span a plurality of moving picture constituent images. A partial area in another moving image constituent image is determined. The difference target area determination unit 294a supplies pixel information of the compression target partial area and pixel information of the difference target partial area to the difference processing unit 287a.
また、位置差情報生成部２９５ａは、差分により圧縮する部分領域と差分対象となる部分領域との間の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部２９５ａは、動き補償に用いる動きベクトルを生成する。そして、位置差情報生成部２９５ａは、生成した位置差情報を動き符号化部２８６ａに供給する。
In addition, the position difference
動き符号化部２８６ａは、位置差情報生成部２９５ａから供給された位置差情報を符号化して、出力部２０７に供給する。例えば、動き符号化部２８６は、隣接する部分領域における位置差情報との間の差を符号化して、出力部２０７に供給する。
The
差分処理部２８７ａは、動き解析部２８５ａから受け取った圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により、圧縮対象の部分領域の画像を圧縮する。具体的には、差分画素画像生成部２９６ａは、圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により差分画素画像を生成する。
The difference processing unit 287a compresses the image of the partial area to be compressed based on the difference between the pixel information of the partial area to be compressed and the pixel information of the partial area to be difference received from the
そして、空間周波数領域変換部２９７ａは、差分画素画像を部分領域毎に空間周波数領域に変換する。具体的には、空間周波数領域変換部２９７ａは、離散コサイン変換（ＤＣＴ）により、差分画素画像における部分領域毎に空間周波数領域に変換する。なお、空間周波数領域変換部２９７ａは、アダマール変換あるはウェーブレット変換等のような種々の周波数変換により、差分画素画像を部分領域毎に空間周波数領域に変換してよい。 Then, the spatial frequency domain conversion unit 297a converts the difference pixel image into a spatial frequency domain for each partial region. Specifically, the spatial frequency domain conversion unit 297a converts each partial area in the difference pixel image into a spatial frequency domain by discrete cosine transform (DCT). The spatial frequency domain transform unit 297a may transform the difference pixel image into a spatial frequency domain for each partial region by various frequency transforms such as Hadamard transform or wavelet transform.
なお、動き解析部２８５ａが他の動画構成画像の部分領域との間の差分により圧縮しない旨を判断した場合には、差分処理部２８７ａは圧縮対象の部分領域の画素情報を空間周波数領域変換部２９７ａに供給する。空間周波数領域変換部２９７ａは画素情報を、上記のように部分領域毎に空間周波数領域に変換する。
When the
量子化部２９８ａは、空間周波数領域変換部２９７ａが空間周波数領域に変換することによって得られた変換係数を量子化する。そして、符号化部２８８ａは、量子化部２９８ａによって量子化された変換係数を符号化することによって圧縮する。例えば、符号化部２８８は、量子化部２９８ａによって量子化された変換係数を、ハフマン符号化、算術符号化等のエントロピー符号化により符号化する。そして、符号化部２８８ａは、符号化することによって得られた動画を出力部２０７に供給する。
The quantization unit 298a quantizes the transform coefficient obtained by the spatial frequency domain transform unit 297a transforming into the spatial frequency domain. Then, the
以下に、階層間差分圧縮部２８２ｂが含む各構成要素の機能および動作について説明する。階層間差分圧縮部２８２ｂが含む構成要素のうち、階層間差分圧縮部２８２ａが含む構成要素と同一の符号が付された構成要素は、階層間差分圧縮部２８２ａが含む構成要素と類似する機能および動作をするので、その相違点を除いて説明を省略する。
Hereinafter, functions and operations of each component included in the inter-layer
差分対象領域決定部２９４ｂは、差分対象領域決定部２９４ａと同様に、画質低減部２８１から受け取った複数の動画構成画像のそれぞれについて、動画構成画像に含まれる圧縮対象の部分領域と差分をとるべき、他の動画構成画像における部分領域を特定する。このように、差分対象領域決定部２９４ｂは、特徴領域画像との間で差分をとるべき、他の動画構成画像から生成された特徴領域画像における部分領域である特徴領域部分領域を決定する。そして、差分対象領域決定部２９４ｂは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を画素値変更部２９１ｂに供給する。
Similar to the difference target region determination unit 294a, the difference target region determination unit 294b should take a difference from the compression target partial region included in the video component image for each of the plurality of video component images received from the image
また、画像復号部２９２ｂは、符号化部２８８ａから動画構成画像を取得するとともに、動き符号化部２８６ａから位置差情報を取得する。そして、画像復号部２９２ｂは、符号化部２８８ａから取得した動画構成画像を、動き符号化部２８６ａから取得した位置差情報を用いて復号する。なお、画像復号部２９２ｂは、量子化部２９８ａにより量子化された動画構成画像を取得して復号してよく、符号化部２８８ａが符号化した動画構成画像を取得して復号してもよい。なお、画像復号部２９２ｂによって復号されて得られた動画構成画像は、この発明における低画質画像の一例であってよい。この場合、階層間差分圧縮部２８２ａは、この発明における低画質画像を生成する画像生成部として機能する。
In addition, the
画像拡大部２９３ｂは、画像復号部２９２ｂにより復号された動画構成画像を拡大することによって拡大画像を生成する。そして、画素値変更部２９１ｂは、差分対象領域決定部２９４ｂが決定した部分領域のうち、特徴領域を含む部分領域の画素値を変更せずに、特徴領域に含まれない部分領域の画素値を、拡大画像における部分領域の画素値で置き換える。
The
このように、画素値変更部２９１ｂは、入力された動画構成画像から、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する。なお、画素値変更部２９１ｂは、この発明において、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する画像生成部として機能することができる。
As described above, the pixel
差分処理部２８７ｂは、圧縮対象の特徴領域画像、特徴領域画像に含まれる部分領域の差分対象となる部分領域の画像情報、および拡大画像を、画素値変更部２９１ｂから受け取る。そして、差分処理部２８７ｂは、圧縮対象の特徴領域画像に含まれる複数の部分領域のそれぞれについて、同じ特徴領域画像の画素情報を用いて符号化するか（以下、イントラ符号化と呼ぶ。）、他の動画構成画像に含まれる差分対象の部分領域との間の差分により符号化するか（以下、インター符号化と呼ぶ。）、拡大画像との間の差分により符号化するか（以下、階層間圧縮と呼ぶ。）を決定する。このとき、差分処理部２８７ｂは符号化後の符号量がより小さい符号化方法をより優先して選択する。特徴領域以外の領域において差分を持たないように画素値が置き換えられているので階層間符号化が選択されるので階層間符号化が選択された場合についてまず説明するが、加えて、インター符号化、イントラ符号化が選択された場合についても説明する。
The
階層間符号化が選択された場合には、差分画素画像生成部２９６ｂは、特徴領域画像と拡大画像との間の画素値の差分を示す差分画素画像を生成する。具体的には、差分画素画像生成部２９６ｂは、特徴領域以外の領域の画素値が置き換えられた特徴領域画像と拡大画像との間の差分により差分画素画像を生成する。なお、特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部２９６ｂは、特徴領域において特徴領域画像と拡大した画像との間の画素値の差分値を持ち、特徴領域以外の領域において画素値の差分値を持たない差分画素画像を生成することができる。 When the inter-layer coding is selected, the difference pixel image generation unit 296b generates a difference pixel image indicating a difference in pixel values between the feature region image and the enlarged image. Specifically, the difference pixel image generation unit 296b generates a difference pixel image based on the difference between the feature region image in which the pixel values of the regions other than the feature region are replaced and the enlarged image. In the feature region image, since the pixel values of the regions other than the feature region are replaced with the pixel values of the enlarged image, the difference pixel image generation unit 296b performs a difference between the feature region image and the enlarged image in the feature region. A difference pixel image having a difference value of pixel values and not having a difference value of pixel values in an area other than the feature area can be generated.
インター符号化が選択された場合には、差分画素画像生成部２９６ｂは、画素値変更部２９１ｂにより生成された特徴領域画像と、他の動画構成画像から画素値変更部２９１ｂが生成した特徴領域画像との間の差分をとる。具体的には、差分画素画像生成部２９６ｂは、特徴領域に含まれる部分領域の画像と、当該部分領域について差分対象領域決定部２９４ｂが決定した差分対象部分領域の画像との間の差分をとる。特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部２９６ｂは、特徴領域に含まれる部分領域において差分対象領域決定部２９４ｂが決定した部分領域との間の画素値の差分値を持ち、特徴領域以外の領域において差分対象領域決定部２９４ｂが決定した部分領域との間で画素値の差分値を持つ差分画素画像が生成される。
When inter coding is selected, the difference pixel image generation unit 296b generates a feature region image generated by the pixel
なお、イントラ符号化が選択された場合には、差分画素画像生成部２９６ｂは、特徴領域画像のそれぞれが含む部分領域の画像を、特徴領域画像の他の領域の画素値または同じ部分領域の画素値との間で差分をとることにより、差分画素画像を生成する。 When intra coding is selected, the difference pixel image generation unit 296b uses the partial region image included in each feature region image as the pixel value of another region of the feature region image or the pixel of the same partial region. A difference pixel image is generated by taking a difference from the value.
空間周波数領域変換部２９７ｂは、差分画素画像を、部分領域毎に空間周波数領域に変換する。具体的には、空間周波数領域変換部２９７ｂは、差分画素画像が示す差分値を、空間周波数領域変換部２９７ａと同様に、離散コサイン変換（ＤＣＴ）、アダマール変換、またはウェーブレット変換等により、部分領域毎に空間周波数領域に変換する。量子化部２９８ｂは、量子化部２９８ａと同様に、空間周波数領域変換部２９７ｂが空間周波数領域に変換することによって得られた変換係数を量子化する。
The spatial frequency
そして、周波数領域画質変換部２９９ｂは、空間周波数領域変換部２９７ｂにより空間周波数領域に変換されて得られる部分領域毎の空間周波数成分のうち、特徴領域以外の領域を含む少なくとも一部の部分領域の空間周波数成分のデータ量を低減することによって、特徴領域差分画像または特徴領域間差分画像を生成する。具体的には、周波数領域画質変換部２９９ｂは、予め定められた周波数より高い周波数成分を示す変換係数の大きさを低減する。周波数領域画質変換部２９９ｂは、予め定められた周波数より高い周波数成分を示す変換係数を０にしてもよい。
Then, the frequency domain image
このように、差分処理部２８７ｂは、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。そして、符号化部２８８ｂは、差分処理部２８７ｂが生成した特徴領域差分画像を符号化する。
As described above, the
また、上記したように、差分処理部２８７ｂは、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。より具体的には、差分処理部２８７は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。
In addition, as described above, the
なお、以上の説明においては、画素値変更部２９１ｂは、差分画素画像における少なくとも特徴領域以外の領域（予め定められた特徴の種類を持つ特徴領域以外の領域であって、当該特徴領域より高解像度を持つべき特徴の種類を持つ特徴領域以外の領域）において差分値を０とすべく、特徴領域の画素値を拡大画像の画素値で置き換えた。しかしながら、他の方法により、差分画素画像における差分値を０とすることもできる。
In the above description, the pixel
例えば、画素値変更部２９１ｂは、画質低減部２８１から取得した動画構成画像の特徴領域以外の領域の画素値を所定の画素値に変換するとともに、拡大画像における特徴領域以外の領域と同じ画像領域の画素値を当該所定の画素値に変換してよい。このようにしても、差分画素画像における特徴領域以外の領域の差分値を０とすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
For example, the pixel
このように、画素値変更部２９１ｂは、動画構成画像から、特徴領域以外の領域の画素値および拡大した画像における特徴領域以外の領域の画素値を、所定値で置き換えた特徴領域画像を生成する。そして、差分画素画像生成部２９６は、特徴領域以外の領域の画素値が置き換えられた、特徴領域画像と拡大した画像との間の差分により差分画素画像を生成する。
In this way, the pixel
なお、画素値変更部２９１ｂは、画質低減部２８１から取得した動画構成画像の特徴領域以外の領域の画素値を、下位階層の階層間差分圧縮部２８２（例えば、階層間差分圧縮部２８２ａ）に提供される動画構成画像を拡大した画像における同一領域の画素値で置き換えてもよい。このようにしても、差分画素画像における差分値を略０にすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
Note that the pixel
なお、位置差情報生成部２９５ｂは、特徴領域以外の領域に含まれる、差分対象となる部分領域の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部２９５ｂは、位置差情報生成部２９５ａと同様に、差分により圧縮する部分領域と差分対象となる部分領域である差分対象部分領域との間の位置差を示す位置差情報を生成する。なお、位置差情報は、動き補償における動きベクトルを含む。
Note that the position difference
位置差情報変更部２９０ｂは、特徴領域以外の領域に含まれる部分領域が同じ位置の部分領域との間で差分がとられることを位置差情報が示すべく、位置差情報を変更する。具体的には、位置差情報変更部２９０ｂは、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差がないことを示す情報に変換する。また、位置差情報変更部２９０ｂは、動き符号化部２８６ａから位置差情報を取得して、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差ないことを示す情報に変換する。具体的には、位置差情報変更部２９０ｂは、特徴領域以外の領域における動きベクトルの大きさを０にする。具体的には、位置差情報変更部２９０ｂは、特徴領域以外の領域について、位置差情報生成部２９５ｂから受け取った動きベクトルの大きさを０にするとともに、動き符号化部２８６ａから受け取った動きベクトルの大きさを０にする。
The position difference information changing unit 290b changes the position difference information so that the position difference information indicates that a partial area included in an area other than the feature area is different from the partial area at the same position. Specifically, the position difference information changing unit 290b converts the position difference information in the partial area included in the area other than the feature area into information indicating that there is no position difference. Also, the position difference information changing unit 290b acquires the position difference information from the
そして、動き符号化部２８６ｂは、位置差情報を符号化する。具体的には、動き符号化部２８６ｂは、動き符号化部２８６ａと同様に、隣接する部分領域における位置差情報との間の差を符号化する。動き符号化部２８６ｂにより符号化された位置差情報は、出力部２０７に供給される。
Then, the
なお、本実施形態では、位置差情報変更部２９０は、特徴領域以外の領域の位置差情報を変換したが、位置差情報変更部２９０ｂは、動き符号化部２８６ｂにより符号化された符号化形式上で、特徴領域以外の領域の位置差情報を変換してもよい。すなわち、位置差情報変更部２９０ｂは、特徴領域以外の部分領域が同じ位置の部分領域との間で差分がとられることを示すべく、動き符号化部２８６により符号化された位置差情報を変更してもよい。
In the present embodiment, the position difference information changing unit 290 converts the position difference information of the region other than the feature region, but the position difference information changing unit 290b is encoded by the
なお、符号化部２８８ｂは、特徴領域以外の領域における差分情報を持たない符号化データを生成してよい。具体的には、特徴領域以外の領域に含まれる部分領域の差分情報を持たない符号化データを生成してよい。また、動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域における位置差情報を持たない符号化データを生成してよい。このように、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを、差分情報および位置差情報を持たないことによって示す符号化データを生成する。例えば、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを示す部分領域の種別を含む符号化データを生成してよい。
Note that the
例えば、符号化部２８８ｂおよび動き符号化部２８６ｂは、特徴領域以外の領域に含まれる部分領域が、単純フレーム間予測であり、かつ変換係数を持たないことを示す符号化モードで符号化された部分領域であることを示す部分領域の種別を含む符号化データを生成してよい。例えば、当該部分領域の種別は、ＭＰＥＧ符号化におけるＮｏｎＭＣ ＮｏｔＣｏｄｅｄに相当する種別であってよい。このように、符号化部２８８ｂおよび動き符号化部２８６ｂが動きベクトルの大きさおよび差分情報が０であることを示す情報を持たない符号化データを生成することにより、符号化後の動画構成画像の符号量をより低減することができる。なお、階層間差分圧縮部２８２ｂは、上記符号化モードを含む予測モードを決定する場合に、ラグランジェの未定乗数法に基づいて、レート・歪コストを最小化することができる予測モードを選択してよい。
For example, the
なお、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄは、階層間差分圧縮部２８２ｂと同様の機能を有する構成要素を有する。なお、以後の説明において、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄが有する、階層間差分圧縮部２８２と同名の構成要素には同じ符号を付す。そして、符号の末尾（ｂ、ｃ、ｄ）により、階層間差分圧縮部２８２ｂ−ｄのいずれに含まれる構成要素であるかを区別する。
Note that the inter-layer difference compression unit 282c and the inter-layer
例えば、動き解析部２８５ｃは階層間差分圧縮部２８２ｃが有する構成要素の一つであって、動き解析部２８５ｄは階層間差分圧縮部２８２ｄが有する構成要素の一つとなる。なお、以下の説明において、符号の末尾に英文字が付されていない構成要素は、階層間差分圧縮部２８２ｂ−ｄが有する当該符号が付された構成要素の全体を示す。例えば、画素値変更部２９１は、画素値変更部２９１ｂ−ｄを示す。
For example, the motion analysis unit 285c is one of the components included in the inter-layer difference compression unit 282c, and the motion analysis unit 285d is one of the components included in the inter-layer
なお、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄの機能および動作と、階層間差分圧縮部２８２ｂの機能および動作は、画質低減部２８１から異なる画質の動画を取得して処理すること、および位置差情報変更部２９０ｃおよびｄ、ならびに画像復号部２９２ｃおよびｄが、より画質が低い動画を処理する他の階層間差分圧縮部２８２から、差分のための位置差情報および動画構成画像を取得するところが異なる。
The functions and operations of the inter-layer difference compression unit 282c and the inter-layer
より具体的には、位置差情報変更部２９０ｃは、動き符号化部２８６ｂから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部２９２ｃは、動き符号化部２８６ｂから位置差情報を取得するとともに、符号化部２８８ｂから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。また、位置差情報変更部２９０ｄは、動き符号化部２８６ｃから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部２９２ｄは、動き符号化部２８６ｃから位置差情報を取得するとともに、符号化部２８８ｃから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。
More specifically, the position difference information changing unit 290c acquires the position difference information from the
なお、特徴領域検出部２０３は、入力された動画構成画像から特徴の種類が異なる複数の特徴領域を検出する。具体的には、条件格納部２６０は、特徴領域の種類に対応づけて動きベクトルまたは変換係数が適合すべき条件を格納する。例えば、条件格納部２６０は、動きベクトルの空間的な乱雑さが予め定められた値より小さいことを示す条件を格納してよい。また、条件格納部２６０は、ＤＣＴ係数等の空間周波数成分を示す変換係数の周波数分布と特徴の種類毎に予め定められた分布との間の一致度が予め定められた一致度より高い一致度で一致することを示す条件を格納してよい。
Note that the feature
そして、特徴領域検出部２０３は、条件格納部２６０が格納している条件に適合する動きベクトルおよび変換係数を持つ領域を、特徴領域として検出する。このように、特徴領域検出部２０３は、予め定められた条件に適合する変換係数を持つ領域を、特徴領域として検出する。なお、特徴領域の検出方法としては、特開２００７−１８８４１９号公報に記載されたような機械学習（例えば、アダブースト）を用いることができる。例えば、予め定められた被写体の画像が持つ変換係数と、予め定められた被写体以外の画像が持つ変換係数とを用いて、予め定められた被写体の画像が持つ変換係数の特徴を学習する。そして、当該学習結果に基づいて生成された、予め定められた被写体の画像が持つ変換係数が適合する条件を、条件格納部２６０が格納する。
Then, the feature
なお、特徴領域検出部２０３は、変換係数を用いた特徴領域の検出に代えて、或いは変換係数を用いた特徴領域の検出に加えて、画像の画素値に基づいて特徴領域を検出してもよい。画素値に基づいて特徴領域を検出する場合であっても、上記の機械学習を用いた検出方法を使用することができる。また、特徴領域検出部２０３は、予め定められた被写体を示すテンプレート画像と比較することによるテンプレートマッチングを用いて、特徴領域を検出してもよい。なお、予め定められた被写体とは、人物の顔、人物の頭部、人体、人物の手、貨幣、キャッシュカード等のカード、車輌、およびナンバープレートを含む。
Note that the feature
この場合、画質低減部２８１は、一の特徴の種類を持つ特徴領域において解像度を低減することにより入力画像から一の特徴領域画像を生成するとともに、他の特徴の種類を持つ特徴領域において当該特徴領域画像より高解像度な他の特徴領域画像を入力画像から生成する。そして、階層間差分圧縮部２８２ｂ−ｃは、特徴領域の種類毎に容易されており、少なくとも予め定められた種類の特徴領域において、特徴領域以外の領域との間で解像度の差を持つ特徴領域画像を処理する。
In this case, the image
具体的には、階層間差分圧縮部２８２ｂは、全ての特徴領域を含む領域において、最も低い解像度を持つ低解像度特徴領域画像を処理する。階層間差分圧縮部２８２ｃは、予め定められた種類の特徴領域において低解像度特徴領域画像より解像度が高い中解像度特徴領域画像を処理する。そして、階層間差分圧縮部２８２ｄは、予め定められた他の種類の特徴領域において高い解像度を持つ高解像度特徴領域画像を処理する。
Specifically, the inter-layer
このように、差分処理部２８７は、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
In this way, the
このように、差分処理部２８７は、一の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成するとともに、他の特徴の種類を持つ特徴領域において他の特徴領域画像と他の特徴領域画像における特徴領域を拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域間差分画像を生成する。
As described above, the
符号化部２８８は、特徴領域差分画像、特徴領域間差分画像、および低画質画像をそれぞれ符号化する。そして、出力部２０７は、動き符号化部２８６ａ−ｄにより符号化された位置差情報および符号化部２８８ａ−ｄにより符号化された動画構成画像（例えば、低画質画像、特徴領域差分画像、および特徴領域間差分画像）を、多重化して出力する。
The
以上説明したように、階層間差分圧縮部２８２ａは、特徴領域を含む全画像領域を低画質化した動画構成画像、いわば入力された動画構成画像の低空間周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｂは、階層間差分圧縮部２８２ａよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部２８２ｃよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｂは、特徴領域以外の領域において、階層間差分圧縮部２８２ａが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
As described above, the inter-layer
同様に、階層間差分圧縮部２８２ｃは、階層間差分圧縮部２８２ｂよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部２８２ｄよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｄは、階層間差分圧縮部２８２ｃよりも高い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部２８２ｃおよび階層間差分圧縮部２８２ｄは、特徴領域以外の領域において、それぞれ階層間差分圧縮部２８２ｂおよびｃが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
Similarly, the inter-layer difference compression unit 282c generates a moving image composition image having a higher frequency component than the inter-layer
このように、階層間差分圧縮部２８２ｂ−ｄのそれぞれは、予め定められた特徴の種類を持つ特徴領域について、他の領域より高い画質の動画を処理することによって、特徴の種類に応じて画質が異なる動画を外部に提供することができる。このとき、階層間差分圧縮部２８２ｂ−ｄは、他の階層間差分圧縮部２８２が処理する低画質の動画構成画像との間の差分により圧縮するので、効率的に圧縮することができる。
In this way, each of the inter-layer
なお、特徴領域検出部２０３は、複数の特徴領域のそれぞれの特徴量を検出した場合に、特徴領域として検出した信頼性の度合いを示す確信度を複数の特徴領域毎に算出してよい。そして、階層間差分圧縮部２８２ｂ−ｄは、複数の特徴領域のそれぞれの特徴量および信頼度に応じて解像度が調整された特徴領域の画像を圧縮する。例えば、画質低減部２８１は、複数の特徴領域のそれぞれの画像を、それぞれの特徴量および信頼度に応じて解像度を調整して、階層間差分圧縮部２８２に供給してよい。例えば、画質低減部２８１は、複数の特徴領域のそれぞれの画像を、信頼度が低いほど、特徴量に応じて予め定められた解像度より高い解像度にしてよい。
Note that the feature
なお、画像処理装置１２０は、上記のように解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことから明らかなように、画像処理装置１２０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。
Note that the
なお、圧縮動画伸張部２０２は、符号化された動画構成画像の一部の領域を復号してよい。例えば、圧縮動画伸張部２０２は、符号化画像におけるイントラ符号化された領域を画素値に復号してよい。そして、特徴領域検出部２０３は、圧縮動画伸張部２０２が復号することにより得られた画素値に基づいて、符号化画像における特徴領域を検出してよい。なお、符号化された動画構成画像は、符号化された符号化画像の一例である。
Note that the compressed moving
具体的には、圧縮動画伸張部２０２は、動画構成画像符号化画像におけるＩピクチャを画素値に復号する。また、圧縮動画伸張部２０２は、動きベクトルにより参照されている領域およびイントラ符号化された領域を画素値に復号してもよい。そして、特徴領域検出部２０３は、圧縮動画伸張部２０２が復号することにより得られた画素値に基づいて、符号化画像における特徴領域を検出してもよい。そして、特徴領域検出部２０３は、圧縮動画伸張部２０２が復号することにより得られた画素値に基づいて、符号化画像における特徴領域を検出してよい。
Specifically, the compressed moving
なお、圧縮部２４０は、圧縮動画伸張部２０２によって復号された得られた符号化データを用いて、動画構成画像を符号化してよい。具体的には、階層間差分圧縮部２８２は、符号化画像に含まれる符号化データを用いて、特徴領域の画像と特徴領域以外の領域の画像とを異なる画質にする。具体的には、階層間差分圧縮部２８２は、符号化画像に含まれる符号化データを用いて、特徴領域の画像を特徴領域以外の領域の画像より高画質にする。
Note that the
なお、圧縮動画取得部２０１は、動画に含まれる複数の動画構成画像が符号化された複数の符号化画像を取得する。なお、ここでいう符号化画像とは、ＭＰＥＧ、Ｈ．２６４、またはＭｏｔｉｏｎ ＪＰＥＧにより符号化された動画が含む動画構成画像であってよい。階層間差分圧縮部２８２は、複数の符号化画像に含まれる符号化データを用いて、特徴領域の画像を特徴領域以外の領域の画像より高画質にする。
Note that the compressed moving
圧縮動画伸張部２０２は、符号化画像の一部を復号して、符号化画像における少なくとも一部の領域の画素情報および画素情報の符号化に関する符号化情報を取得する。そして、特徴領域検出部２０３は、画素情報および符号化情報の少なくとも一方に基づいて特徴領域を検出する。画質変換部は、画素情報および符号化情報の少なくとも一方を加工して、特徴領域の画像を特徴領域以外の領域の画像より高画質にする。また、階層間差分圧縮部２８２は、符号化情報を用いて画素情報を符号化する。
The compressed moving
圧縮動画取得部２０１は、複数の動画構成画像が動きベクトルにより符号化された複数の符号化画像を取得する。圧縮動画伸張部２０２は、符号化画像の一部を復号して、画素情報および動きベクトルを取得する。特徴領域検出部２０３は、画素情報および動きベクトルの少なくとも一方に基づいて符号化画像における特徴領域を検出する。画質変換部は、画素情報および動きベクトルの少なくとも一方を加工して、特徴領域の画像を特徴領域以外の領域の画像より高画質にする。また、階層間差分圧縮部２８２は、動きベクトルを用いて画素情報を符号化する。
The compressed moving
圧縮動画取得部２０１は、画素データを空間１６０周波数領域に変換して得られた変換係数および動きベクトルによって符号化された符号化画像を取得する。そして、圧縮動画伸張部２０２は、符号化画像の一部を復号して、変換係数および動きベクトルを取得する。また、階層間差分圧縮部２８２は、特徴領域以外の領域において、予め定められた周波数より大きい空間１６０周波数の周波数成分を示す変換係数の情報量を低減することにより、特徴領域の画像を特徴領域以外の領域の画像より高画質にする。
The compressed moving
なお、圧縮動画取得部２０１は、動きベクトルおよび動きベクトルによって示される部分領域との間の画像の差により符号化された符号化画像を取得する。そして、特徴領域検出部２０３は、動画において動くオブジェクトを含む領域を特徴領域として検出する。そして、階層間差分圧縮部２８２は、特徴領域以外の領域において、動きベクトルおよび画像の差を、特徴領域以外の領域が他の動画構成画像における部分領域と画像内容が同じであることを示す値に変換する。具体的には、階層間差分圧縮部２８２ｂ−ｄは、既に説明したように、特徴領域以外の領域の動きベクトルを０にするとともに、特徴領域以外の領域の画像の差分情報を０にする。
Note that the compressed moving
図４は、圧縮制御部２５０のブロック構成の一例を示す。圧縮制御部２５０は、符号化方式格納部４１０、符号化方式選択部４２０、位置差算出部４４０、および同一被写体領域特定部４３０を有する。
FIG. 4 shows an example of a block configuration of the
符号化方式格納部４１０は、オブジェクトの特徴量に対応づけて符号化方式を格納する。具体的には、符号化方式格納部４１０は、オブジェクトの種類に対応づけて符号化方式を格納している。符号化方式選択部４２０は、特徴領域検出部２０３により検出された特徴領域に含まれるオブジェクトの種類に対応づけて符号化方式格納部４１０が格納している符号化方式を選択する。
The encoding
圧縮部２４０は、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部４１０が格納している符号化方式により、複数の特徴領域の画像をそれぞれ圧縮する。より具体的には、圧縮部２４０は、複数の動画構成画像のそれぞれについて、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部４１０が格納している符号化方式により、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。
The
より具体的には、符号化方式格納部４１０は、オブジェクトの種類に対応づけて、イントラ符号化またはインター符号化を示す符号化方式を格納している。そして、圧縮部２４０は、複数の動画構成画像のそれぞれについて、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部４１０が格納しているイントラ符号化またはインター符号化により、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。
More specifically, the encoding
また、符号化方式格納部４１０は、オブジェクトの種類に対応づけて、イントラ符号化におけるイントラ予測の方向を示す符号化方式を格納している。そして、圧縮部２４０は、複数の動画構成画像のそれぞれについて、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部４１０が格納している方向でイントラ予測することにより、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。
Also, the encoding
また、符号化方式格納部４１０は、オブジェクトの種類に対応づけて、インター符号化における動き予測の単位を示す符号化方式を格納している。そして、圧縮部２４０は、複数の動画構成画像のそれぞれについて、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部４１０が格納している動き予測の単位で動き予測することによって、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。
Also, the encoding
また、符号化方式格納部４１０は、オブジェクトの種類に対応づけて、動画構成画像を符号化する符号化単位となる部分領域の大きさを格納している。そして、圧縮部２４０は、複数の動画構成画像のそれぞれについて、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部４１０が格納している大きさの部分領域毎に、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。
In addition, the encoding
符号化方式格納部４１０は、オブジェクトの大きさに対応づけて、動画構成画像を符号化する符号化単位となる部分領域の大きさを格納している。そして、圧縮部２４０は、複数の動画構成画像のそれぞれについて、複数の特徴領域のそれぞれに含まれるオブジェクトの大きさに対応づけて符号化方式格納部４１０が格納している大きさの部分領域毎に、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。
The encoding
以上説明したように、圧縮部２４０は、複数の特徴領域のそれぞれに含まれるオブジェクトの特徴量に対応づけて符号化方式格納部４１０が格納している符号化方式により、複数の特徴領域の画像をそれぞれ圧縮する。なお、符号化方式格納部４１０は、オブジェクトの種類に対応づけて目標符号量を示す符号化方式を格納してよい。この場合、圧縮部２４０は、画像における複数の特徴領域の画像を、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部４１０が格納している符号化方式でそれぞれ圧縮する。
As described above, the
具体的には、符号化方式格納部４１０は、オブジェクトの種類に対応づけて量子化ステップを示す符号化方式を格納している。そして、圧縮部２４０は、画像における複数の特徴領域の画像を、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部４１０が格納している量子化ステップで量子化することによってそれぞれ圧縮する。
Specifically, the encoding
また、同一被写体領域特定部４３０は、複数の動画構成画像のうちの一の動画構成画像における特徴領域が含むオブジェクトが示す被写体と同じ被写体を示す同一オブジェクトを含む特徴領域を、他の動画構成画像において特定する。そして、位置差算出部４４０は、同一被写体領域特定部４３０が特定した他の動画構成画像における特徴領域の位置と一の動画構成画像における特徴領域の位置との差である位置差を算出する。
Also, the same subject
そして、圧縮部２４０は、同一被写体領域特定部４３０が特定した他の動画構成画像における特徴領域の少なくとも一部の領域の画像を、当該一部の領域の位置から位置差だけ離れた一の動画構成画像における位置の近傍の領域の画像との間で比較することにより圧縮する。具体的には、動き解析部２８５は、同一被写体領域特定部４３０が特定した他の動画構成画像における特徴領域の少なくとも一部の領域の画像を、当該一部の領域の位置から位置差だけ離れた一の動画構成画像における位置の近傍の領域の画像との間で比較することにより、一の動画構成画像と他の動画構成画像との間の画像の変化量を算出する。動き解析部２８５は、他の動画構成画像における特徴領域が含む複数の部分領域のそれぞれの画像を、それぞれの部分領域の位置から位置差だけ離れた一の動画構成画像における位置の近傍に位置する部分領域の画像との間でそれぞれ比較することにより、複数の部分領域のそれぞれについて画像の変化量を算出する。
Then, the
この場合、差分対象領域決定部２９４は、他の動画構成画像における特徴領域が含む一の部分領域および他の部分領域のそれぞれについて、それぞれの部分領域の位置から位置差だけ離れた一の動画構成画像における位置の近傍に位置する部分領域である比較対象部分領域を、画像の変化量に基づいて決定する。そして、差分処理部２８７は、一の部分領域および他の部分領域の画像を、それぞれの部分領域について差分対象領域決定部２９４が決定した比較対象部分領域の画像との間でそれぞれ比較することにより圧縮する。そして、動き符号化部２８６は、一の部分領域の位置と一の部分領域について決定された比較対象部分領域の位置との間の差を示す部分領域位置差および他の部分領域の位置と他の部分領域について決定された比較対象部分領域の位置との間の差を示す部分領域位置差を圧縮する。
In this case, the difference target
差分対象領域決定部２９４は、一の部分領域に対する部分領域位置差と、他の部分領域に対する部分領域位置差との間の差を予め定められた値より小さくすべく、一の部分領域または他の部分領域の少なくとも一方に対する比較対象部分領域を決定する。そして、動き符号化部２８６は、一の部分領域に対する部分領域位置差を、他の部分領域に対する部分領域位置差と比較することによって圧縮する。既に説明したように、動き符号化部２８６は、部分領域位置差同士の差により部分領域位置差を圧縮するので、部分領域位置差をより小さくすることによって圧縮をより高くすることができる。
The difference target
なお、差分処理部２８７は、一の部分領域および他の部分領域の画像を、それぞれの部分領域について差分対象領域決定部２９４が決定した比較対象部分領域の画像との間でそれぞれ差分をとることにより圧縮する。また、動き符号化部２８６は、一の部分領域に対する部分領域位置差を、他の部分領域に対する部分領域位置差との間で差分をとることによって圧縮する。
The
また、同一被写体領域特定部４３０は、同一オブジェクトを含む特徴領域を、複数の動画構成画像から特定する。そして、位置差算出部４４０は、同一被写体領域特定部４３０が特定した複数の動画構成画像における特徴領域のそれぞれについて、位置差を算出する。そして動き解析部２８５は、同一被写体領域特定部４３０が特定した複数の動画構成画像のそれぞれについて、同一オブジェクトを含む特徴領域の少なくとも一部の領域の画像を、当該一部の領域の位置から位置差だけ離れた一の動画構成画像における位置の近傍の領域の画像との間で比較することにより、一の動画構成画像と他の動画構成画像との間の画像の変化量を算出する。そして、圧縮部２４０は、画像の変化量に基づいて、少なくとも一部の領域の画像を圧縮する。具体的には、圧縮部２４０は、画像の変化量に基づいて、複数の部分領域のそれぞれの画像を圧縮する。
Further, the same subject
なお、同一被写体領域特定部４３０は、同一オブジェクトを含む特徴領域を、インター符号化されるべき複数の動画構成画像から特定する。具体的には、同一被写体領域特定部４３０は、同一オブジェクトを含む特徴領域を、ＰピクチャまたはＢピクチャとして符号化されるべき複数の動画構成画像から特定する。
Note that the same subject
なお、この発明における差分対象領域決定部２９４および動き符号化部２８６は、それぞれ上述した比較対象部分領域を決定する比較対象領域決定部、および上述した部分領域位置差を圧縮する動き圧縮部として機能する。また、動き解析部２８５は、上述した画像の変化量を算出する変化算出部として機能する。また、位置差情報変更部２９０、動き符号化部２８６、画像復号部２９２、画像拡大部２９３、画素値変更部２９１、差分処理部２８７、および符号化部２８８は、画像の変化量に基づいて画像を圧縮する画像圧縮部として機能する。
Note that the difference target
なお、上記の説明では、動き解析部２８５が、画像の変化量の一例として動きベクトルを算出した。なお、画像の変化量は、動きベクトルのような部分領域の平行移動量の他に、画像の拡大縮小量、回転量、および変形量の少なくとも１つであってよい。そして、圧縮部２４０は、画像の拡大縮小量、回転量、および変形量に基づいて、動画構成画像を圧縮してよい。例えば、圧縮部２４０は、上述したように動き補償によって差分対象とする比較対象画像を特定したように、差分対象とする比較対象画像を拡大縮小量、回転量、および変形量の少なくとも１つに応じて生成してよい。
In the above description, the
図５は、画像処理装置１２０の他の形態におけるブロック構成の一例を示す。画像処理装置１２０は、圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、画像分割部２０４、画像生成部２０５、固定値化ユニット２１０、低減化ユニット２２０、符号化ユニット２３０、圧縮制御部２５０、対応付け処理部２０６、条件格納部２６０、および出力部２０７を有する。
FIG. 5 shows an example of a block configuration in another form of the
なお、圧縮動画取得部２０１、圧縮動画伸張部２０２、特徴領域検出部２０３、画像分割部２０４、画像生成部２０５、圧縮制御部２５０、および条件格納部２６０の各構成要素の機能および動作は、図２から図４に関連して説明した同一の符号を有する各構成要素の機能および動作と略同一であるので、説明を省略する。
The functions and operations of the constituent elements of the compressed
固定値化ユニット２１０は、複数の固定値化部２１１ａ−２１１ｃ（以下、固定値化部２１１と総称する。）を含む。低減化ユニット２２０は、複数の画質低減部２２１ａ−ｄ（以下、画質低減部２２１と総称する。）を含む。
符号化ユニット２３０は、背景領域動画符号化部２３１ａおよび複数の特徴領域動画符号化部２３１ｂ−ｄ（以下、特徴領域動画符号化部２３１と総称する。）を含む。なお、背景領域動画符号化部２３１ａおよび特徴領域動画符号化部２３１ｂ−ｄを総称して、符号化部２３１と呼ぶ場合がある。
The
なお、画質低減部２２１ａおよび背景領域動画符号化部２３１ａは、圧縮部２４０ａとして機能する。また、画質低減部２２１ｂおよび背景領域動画符号化部２３１ｂは、圧縮部２４０ｂとして機能する。同様に、画質低減部２２１ｃおよび背景領域動画符号化部２３１ｃは圧縮部２４０ｃとして機能する。画質低減部２２１ｄおよび背景領域動画符号化部２３１ｄは圧縮部２４０ｄとして機能する。なお、複数の圧縮部２４０ａ−ｄを、圧縮部２４０と総称する。
The image
圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。
The compressed moving
特徴領域検出部２０３は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。そして、画像分割部２０４は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。
The feature
画像生成部２０５は、複数の動画構成画像から特徴領域画像を抽出することにより、複数の特徴領域画像をそれぞれ含む複数の特徴領域圧縮用動画を生成する。具体的には、画像生成部２０５は、動画を複製することにより、複数の特徴領域動画のそれぞれを圧縮するための複数の特徴領域圧縮用動画および背景領域動画を圧縮するための背景領域圧縮用動画を生成する。
The
そして、固定値化部２１１は、特徴領域圧縮用動画に含まれる複数の動画構成画像における特徴領域画像以外の領域の画素値を固定値化する。例えば、固定値化部２１１は、特徴領域画像以外の領域の画素値を所定の値（例えば、輝度値０）に設定する。そして、圧縮部２４０は、特徴領域画像以外の領域の画素値が固定値化された複数の動画構成画像をそれぞれ含む複数の特徴領域圧縮用画像を、それぞれの特徴量に応じた強度で圧縮する。このように、圧縮部２４０は、複数の特徴領域圧縮用動画のそれぞれと、背景領域圧縮用動画とを、それぞれの特徴量に応じた強度で圧縮する。
Then, the fixed value converting unit 211 converts the pixel values of regions other than the feature region image in the plurality of moving image constituent images included in the feature region compression moving image to a fixed value. For example, the fixed value unit 211 sets a pixel value of an area other than the feature area image to a predetermined value (for example, a luminance value of 0). Then, the
以上説明したように、特徴領域検出部２０３は、画像から特徴領域を検出する。そして、画像分割部２０４は、画像を、特徴領域と、特徴領域以外の背景領域とに分割する。そして、圧縮部２４０は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。そして、圧縮部２４０は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
As described above, the feature
なお、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部２４０ｂ、圧縮部２４０ｃ、および圧縮部２４０ｄは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部２４０は、画像分割部２０４によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。
Note that in the
なお、圧縮部２４０は、一つの圧縮器によって実装されてよく、複数の特徴領域動画および背景領域動画を時間的に順次圧縮してもよい。他にも、圧縮部２４０は、圧縮動画伸張部２０２によって復号された撮像動画を、画像分割部２０４が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。
Note that the
なお、特徴領域検出部２０３は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。そして、画像分割部２０４は、複数の動画構成画像を、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。そして、圧縮部２４０は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた強度で圧縮する。なお、特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。
Note that the feature
具体的には、画質低減部２２１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて画質を低減することにより圧縮する。より具体的には、画質低減部２２１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。そして、符号化部２３１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部２３１は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。
Specifically, the image
なお、特徴領域検出部２０３は、複数の特徴領域のそれぞれの特徴量を特定したときの信頼性の度合いを示す確信度を、複数の特徴領域毎に算出する。そして、圧縮部２４０は、複数の特徴領域動画を、それぞれの特徴量および信頼度に応じた強度で圧縮する。例えば、画質低減部２２１は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じて解像度またはフレームレートを低減することにより圧縮する。そして、符号化部２３１は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じた設定値を用いて符号化することにより圧縮する。例えば、圧縮部２４０は、複数の特徴領域動画を、それぞれの確信度が低いほど、それぞれの特徴量に応じた強度より低い強度で圧縮してよい。
Note that the feature
対応付け処理部２０６は、複数の圧縮部２４０が複数の特徴領域動画および背景領域動画を圧縮することによって生成した複数の特徴領域動画データおよび背景領域動画データを、例えばタグ情報等を付帯する等して互いに対応づける。出力部２０７は、対応付け処理部２０６が対応づけた複数の特徴領域動画データおよび背景領域動画データを通信ネットワーク１１０に送出する。
The
図６は、符号化部２３１のブロック構成の一例を示す。符号化部２３１は、動き解析部２８５、差分処理部２８７、動き符号化部２８６、および符号化部２８８を有する。動き解析部２８５は、差分対象領域決定部２９４および位置差情報生成部２９５を含む。また、差分処理部２８７は、差分画素画像生成部２９６、空間周波数領域変換部２９７、および量子化部２９８を含む。なお、本図に示した各構成要素の機能および動作は、図４に関連して説明した、同じ符号を付した構成要素の機能および動作と略同一であるので、その相違点を除いて説明を省略する。
FIG. 6 shows an example of a block configuration of the
差分画素画像生成部２９６は、差分対象領域決定部２９４が決定した圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により差分画素画像を生成する。また、符号化部２８８は、量子化部２９８によって量子化された変換係数を符号化することにより圧縮する。また、動き符号化部２８６は、位置差情報生成部２９５から供給された位置差情報を符号化して、出力部２０７に供給する。また、差分対象領域決定部２９４は、圧縮制御部２５０から供給された特徴領域情報に基づいて、画質低減部２２１により画質が低減された動画構成画像に対して差分対象領域を決定する。
The difference pixel
図７は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、圧縮動画取得部３０１、対応付け解析部３０２、圧縮動画伸張ユニット３１０、合成部３０３、および出力部３０４を有する。圧縮動画伸張ユニット３１０は、複数の圧縮動画伸張部３１１ａ−ｄ（以下、圧縮動画伸張部３１１と総称する。）を含む。なお、ここでは、図４から図６にかけて説明した画像処理装置１２０から受け取った動画データを処理する場合の画像処理装置１７０の各構成要素の機能および動作を説明する。
FIG. 7 shows an example of a block configuration of the
圧縮動画取得部３０１は、出力部２０７が出力した、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得する。対応付け解析部３０２は、例えば付帯されたタグ情報を解析して、圧縮動画取得部３０１が取得した対応づけられた複数の特徴領域動画データおよび背景領域動画データを取り出す。
The compressed moving
圧縮動画伸張部３１１は、複数の特徴領域動画データおよび背景領域動画データを復号する。具体的には、圧縮動画伸張部３１１ａは背景領域動画データを復号する。また、圧縮動画伸張部３１１ｂ−ｄは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画および背景領域動画を取得する。なお、圧縮動画伸張部３１１ｂ−ｄは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。
The compressed moving image decompression unit 311 decodes the plurality of characteristic area moving image data and background area moving image data. Specifically, the compressed moving
合成部３０３は、圧縮動画伸張部３１１が復号することによって得られた動画構成画像を合成する。具体的には、合成部３０３は、圧縮動画伸張部３１１ｂ−ｄにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景領域動画が含む動画構成画像に重ね合わせた動画構成画像を生成する。出力部３０４は、合成部３０３が生成した複数の動画構成画像を含む動画を、表示装置１８０に供給する。
The synthesizing
なお、本実施形態の圧縮動画伸張ユニット３１０は、特徴の種類の数に応じた複数の圧縮動画伸張部３１１を含むが、他の形態では、圧縮動画伸張ユニット３１０が含む一の圧縮動画伸張部３１１が、背景領域動画データおよび複数の特徴領域動画データを順次復号してもよい。また、画像処理装置１２０から一の動画データとして提供される場合には、一の圧縮動画伸張部３１１が当該一の動画データを復号して、復号した得られた動画を出力部３０４が出力してもよい。
Note that the compressed
なお、画像処理装置１７０が図２から図４にかけて説明した画像処理装置１２０によって生成された動画データを処理する場合には、画像処理装置１７０は、階層間差分圧縮部２８２ａ−ｄのそれぞれにより圧縮された複数の動画構成画像を取得する。そして、画像処理装置１７０は、取得した複数の動画構成画像をそれぞれ復号する。そして、画像処理装置１７０は、復号することにより得られた複数の動画構成画像を重ね合わせることにより一の合成画像を生成する。そして、画像処理装置１７０は、生成した合成画像を動画構成画像として含む動画を、表示装置１８０に供給する。
When the
図８は、符号化方式格納部４１０が格納しているデータの一例をテーブル形式で示す。符号化方式格納部４１０は、オブジェクトの種類、符号化モード、イントラ予測方向、動き補償単位、マクロブロックサイズ、および量子化ステップを格納する。
FIG. 8 shows an example of data stored in the encoding
オブジェクト種類は、動画構成画像に含まれるオブジェクトとして撮像された被写体の種類を識別する情報であってよい。符号化モードは、部分領域がイントラ符号化およびインター符号化のいずれかを識別する情報であってよい。 The object type may be information for identifying the type of a subject captured as an object included in the moving image constituent image. The coding mode may be information that identifies whether the partial area is intra-coded or inter-coded.
イントラ予測方向は、ブロックがイントラ符号化により符号化される場合における予測方向を示す。例えば、イントラ予測方向は、例えばＨ．２６４においてイントラブロック内の画素値を予測する方法を示す予測モードを識別する情報であってよい。例えば、イントラ予測方向は、ブロック内の平均値により画素値を予測するか否かを示す情報、或いはブロック内の画素の画素値をいずれの位置の画素の画素値から予測するかを示す情報であってよい。 The intra prediction direction indicates a prediction direction when a block is encoded by intra encoding. For example, the intra prediction direction is, for example, H.264. It may be information for identifying a prediction mode indicating a method for predicting a pixel value in an intra block in H.264. For example, the intra prediction direction is information indicating whether or not the pixel value is predicted based on the average value in the block, or information indicating which pixel value of the pixel in the block is predicted from the pixel value of the pixel at which position. It may be.
動き補償単位は、ブロックの動きベクトルの精度を示す情報であってよい。マクロブロックサイズは、マクロブロックのサイズを示す情報であってよい。なお、マクロブロックサイズは、特徴領域の単位面積あたりのマクロブロックのサイズであってよい。この場合、圧縮部２４０は、特徴領域の面積がより大きいほど、より大きいマクロブロックサイズを決定してよい。また、量子化ステップは、量子化ステップの補正値を示す情報であってよい。なお、量子化ステップについては、図９および図１０に関連して説明する。
The motion compensation unit may be information indicating the accuracy of the motion vector of the block. The macro block size may be information indicating the size of the macro block. The macroblock size may be a macroblock size per unit area of the feature region. In this case, the
なお、符号化方式格納部４１０は、オブジェクト種類が示す種類のオブジェクトが有する特徴的な空間周波数成分に応じたイントラ予測方向を格納することが望ましい。例えば、符号化方式格納部４１０は、縦方向のエッジをより多く含むことが期待されるオブジェクトの種類に対応づけて、画素値を上方の画素値から予測することを示す予測モード０をイントラ予測方向として格納してよい。
Note that the encoding
また、符号化方式格納部４１０は、横方向のエッジをより多く含むことが期待されるオブジェクトの種類に対応づけて、画素値を左方の画素値から予測することを示す予測モード１をイントラ予測方向として格納してよい。また、符号化方式格納部４１０は、より低い周波数成分をより多く含むことが期待されるオブジェクトの種類、または多数の色を含むことが期待されるオブジェクトの種類に対応づけて、画素値を平均値から予測することを示す予測モード２をイントラ予測方向として格納してよい。
Also, the encoding
なお、符号化方式選択部４２０は、特徴領域の検出信頼度に応じて、オブジェクトの種類に基づいて符号化方式を選択するか否かを決定してよい。例えば、符号化方式選択部４２０は、検出信頼度が予め定められた値より高いことを条件として、オブジェクトの種類に基づいて符号化方式を選択してよい。
Note that the encoding
図９は、符号化方式格納部４１０が格納する量子化ステップ補正値の一例を示す。符号化方式格納部４１０は、量子化部２９８が用いる量子化テーブルの各成分の量子化ステップ値を補正する補正値を格納する。なお、本図の例では、４×４のマクロブロックに対する量子化ステップの補正値Δｑｕｖ（但しｕ、ｖ＝０、１、２、３）を示す。
FIG. 9 shows an example of the quantization step correction value stored in the encoding
なお、本テーブルの最も左上に位置するΔｑ００は、ＤＣ成分を示す空間周波数成分の変換値に対する量子化ステップを補正する補正値を示す。また、右方および下方に位置するΔｑｕｖは、より高い空間周波数成分の変換値に対する量子化ステップの補正値を示す。 Note that Δq 00 located at the upper left of the table indicates a correction value for correcting the quantization step for the converted value of the spatial frequency component indicating the DC component. Further, Δq uv located on the right side and the lower side indicates a correction value of the quantization step with respect to a transformed value of a higher spatial frequency component.
符号化方式格納部４１０は、オブジェクト種別、画像の複雑度、および符号誤差に応じた、各周波数成分に対する量子化ステップ補正値Δｑｕｖを格納してよい。なお、画像の複雑度は、マクロブロックに含まれる画素の画素値とマクロブロックに含まれる画素の画素値の平均値との差の絶対値を、マクロブロックに含まれる画素にわたる総和を指標としてよい。他にも、画像の複雑度は、マクロブロック内の画像をラプラシアンフィルタ等のハイパスフィルタによって処理して得られるマクロブロックの画像の高周波成分の大きさを指標としてよい。
The encoding
なお、符号化方式格納部４１０は、画像の複雑度がより大きいほどより大きい量子化ステップ補正値Δｑｕｖを格納してよい。これにより、画像内容が複雑であるほど、量子化ステップが大きくなる。画像が複雑になるほど高周波成分の変換値が大きくなることが予想される。符号化方式格納部４１０が画像の複雑度がより大きいほどより大きい量子化ステップ補正値Δｑｕｖを格納することによって、画像が複雑になるほど量子化ステップが大きくなり、結果として量子化後の情報量を低下させる方向に作用する。
Note that the encoding
また、符号化方式格納部４１０は、符号誤差がより大きいほどより小さい量子化ステップ補正値Δｑｕｖを格納してよい。なお、符号誤差は、不可逆符号化前後の間における画像の誤差量を示す値であってよい。例えば、符号誤差は、符号化前後の誤差を示す符号化誤差および量子化前後の誤差を示す量子化誤差の少なくとも一方であってよい。符号誤差が大きいほど画質が低下していることが予想されるが、符号化方式格納部４１０が符号誤差に対応づけてより小さい量子化ステップ補正値Δｑｕｖを格納しているので、符号誤差が大きくなるほど量子化ステップを小さくすることができ、結果として符号化後の情報量を増加させる方向に作用する。このようにして、オブジェクト種別、画像の複雑度、符号誤差に応じて量子化ステップが決定される。
Also, the encoding
なお、量子化誤差は、量子化部２９８による量子化前の画像信号と量子化後の画像信号との間の誤差であってよい。例えば、量子化誤差は、量子化前の画像信号が示す画素値と量子化後の画像信号が示す画素値との間の差の絶対値の和であってよい。また、量子化誤差は、量子化前の画像信号が示す画素値と量子化後の画像信号が示す画素値との間の差を２乗した値の和であってよい。また、符号化誤差は、符号化前の画像信号と符号化後の画像信号との間の誤差であってよい。例えば、符号化誤差は、符号化前の画像信号が示す画素値と符号化後の画像信号が示す画素値との間の差の絶対値の和であってよい。また、符号化誤差は、符号化前の画像信号が示す画素値と符号化後の画像信号が示す画素値との間の差を２乗した値の和であってよい。なお、ここでいう符号化とは、空間周波数領域変換部２９７による空間周波数成分への変換および量子化部２９８による量子化を含む。
Note that the quantization error may be an error between the image signal before quantization by the
このように、符号化方式格納部４１０が画像の複雑度および符号誤差に応じた量子化ステップ補正値Δｑｕｖを格納することにより、画像が複雑になることによる情報量の増加幅を削減したり、空間周波数変換または量子化を含む符号化による画質の低下量を削減することができる。なお、本図においては、情報量の増加幅をマクロブロック単位で削減することについて説明したが、画像全体として情報量の変動幅を削減することについては、図１０に関連して説明する。なお、符号化方式格納部４１０は、本図で示した４×４のマクロブロックについての量子化ステップの補正値Δｑｕｖの他に、８×８、１６×１６等の、多様なマクロブロックに対する量子化ステップの補正値Δｑｕｖを有してよい。
As described above, the encoding
図１０は、補正前符号量比と量子化補正量Ｑとの関係を示す。線１０１０は、特徴領域に対する量子化量の補正量を示しており、線１０２０は背景領域に対する量子化量の補正量を示している。
FIG. 10 shows the relationship between the pre-correction code amount ratio and the quantization correction amount
なお、補正前符号量比とは、特徴領域および背景領域の画質が量子化部２９８によって調整されない場合における、全画像領域の符号量に対する特徴領域の符号量の比を示す。なお、特徴領域の符号量とは、特徴領域に含まれるマクロブロックの画像の複雑度と量子化量との積を、特徴領域に含まれるマクロブロックにわたって総和した値であってよい。また、全画像領域の符号量とは、全画像領域に含まれるマクロブロックの画像の複雑度と量子化量との積を、全画像領域に含まれるマクロブロックにわたって総和した値であってよい。
The code amount ratio before correction indicates the ratio of the code amount of the feature region to the code amount of the entire image region when the image quality of the feature region and the background region is not adjusted by the
なお、量子化量とは量子化のレベルを示す。つまり、量子化量は、量子化ステップが小さいほど大きな値を持つ。また、量子化補正量Ｑは、量子化ステップ補正値Δｑｕｖによって量子化ステップが補正された場合の量子化量の増加量を示す。なお、補正前の量子化量は、バッファの使用量、画像の複雑度、および目標符号量に応じて定められるとする。 Note that the quantization amount indicates the level of quantization. That is, the quantization amount has a larger value as the quantization step is smaller. Further, the quantization correction amount Q indicates an increase amount of the quantization amount when the quantization step is corrected by the quantization step correction value Δq uv . It is assumed that the quantization amount before correction is determined according to the buffer usage amount, the image complexity, and the target code amount.
なお、符号量は量子化量を指標としてよい。量子化量が画像の複雑度に基づいて調整されていれば、量子化量を指標とする符号量に基づいて算出された補正前符号量比は、上記のような画像の複雑度および量子化量で重み付けされた補正前符号量比と略同一となることが期待される。他にも、符号量は単に面積を指標としてもよい。このようにしても、特徴領域と背景領域とで画像の複雑度が同等であれば、面積を指標とする符号量に基づいて算出された補正前符号量比は、上記のような画像の複雑度および量子化量で重み付けされた補正前符号量比と略同一となることが期待される。なお、上記においては、説明を簡単にすることを目的として、画像の複雑度で重みづけされた補正前符号量比に基づいて特徴領域および特徴領域外に対する量子化補正量を決定することについて説明したが、同様にして、図９に関連して説明した符号誤差で重みけされた補正前符号量比に基づいて特徴領域および特徴領域外に対する量子化補正量を決定することもできる。 Note that the amount of code may use the amount of quantization as an index. If the quantization amount is adjusted based on the complexity of the image, the pre-correction code amount ratio calculated based on the code amount using the quantization amount as an index is the image complexity and quantization as described above. It is expected to be substantially the same as the pre-correction code amount ratio weighted by the amount. In addition, the code amount may simply use the area as an index. Even in this case, if the complexity of the image is the same in the feature region and the background region, the pre-correction code amount ratio calculated based on the code amount using the area as an index is equal to the complexity of the image as described above. It is expected to be substantially the same as the pre-correction code amount ratio weighted by the degree and the quantization amount. In the above description, for the purpose of simplifying the description, the description will be given of determining the quantization correction amount for the feature region and the outside of the feature region based on the pre-correction code amount ratio weighted by the complexity of the image. However, similarly, the quantization correction amount for the feature region and the outside of the feature region can be determined based on the pre-correction code amount ratio weighted by the code error described with reference to FIG.
このような処理によると、特徴領域を高画質にすることによる符号量の増加に応じて、背景領域の符号量を低減することができる。このため、特徴領域および背景領域の画質を調整することによって符号量が増加してしまうことを防ぐことができる。なお、符号化方式格納部４１０は、上記の関係を満たす量子化ステップ補正量Δｑを格納することが望ましい。なお、圧縮部２４０は、画像の複雑度、符号誤差、およびオブジェクト種類に応じて算出された量子化補正量を、時間軸方向のローパスフィルタをかけることによって、量子化補正量の単位時間あたりの変動量を予め定められた変動量以下にしてもよい。
According to such processing, the code amount of the background region can be reduced according to the increase of the code amount due to the high quality of the feature region. For this reason, it is possible to prevent the code amount from increasing by adjusting the image quality of the feature region and the background region. Note that the encoding
図１１は、符号化方式格納部４１０が格納するデータの他の一例をテーブル形式で示す。符号化方式格納部４１０は、オブジェクトの種類に対応づけて、イントラ予測方向および優先度を格納する。イントラ予測方向については図８に関連して説明したので、その説明を省略する。優先度は、イントラ予測方向を選択する優先度を示す。
FIG. 11 shows another example of data stored in the encoding
このように、符号化方式格納部４１０は、特徴領域に含まれるオブジェクトの種類に対応づけて、複数の符号化方式および当該符号化方式が選択されるべき順番を格納している。そして、符号化方式選択部４２０は、複数の特徴領域のそれぞれについて、特徴領域に含まれるオブジェクトの種類に対応づけて符号化方式格納部４１０が格納している符号化方式を順番で選択していく。
As described above, the encoding
そして、符号化方式選択部４２０は、選択した符号化方式によって特徴領域の画像を圧縮した場合に予め定められた圧縮率より高い画質対圧縮量で圧縮することができることを条件として、特徴領域の画像を圧縮する場合に使用する符号化方式として当該符号化方式を選択する。そして、圧縮部２４０は、動画構成画像における複数の特徴領域の画像を、符号化方式選択部４２０が選択した符号化方式により、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。
Then, the coding
このように、符号化方式選択部４２０は、複数の動画構成画像のそれぞれについて、動画構成画像を圧縮する場合に使用する符号化方式として、複数の符号化方式の中からより高い画質対圧縮量が得られる符号化方式をより優先して選択する。したがって、オブジェクトの種類に適した順番で符号化モードをテストしていくことによって、不要な符号化モードがテストされる確率を削減することができる。このため、符号化方式選択部４２０は、オブジェクトの種類に適したイントラ予測方向を速やかに特定することができる場合がある。
As described above, the encoding
なお、符号化方式格納部４１０は、オブジェクトの種類に対応づけて、組み合わせが異なる複数の符号化方式を格納してよい。この場合、符号化方式選択部４２０は、複数の動画構成画像のそれぞれについて、動画構成画像を圧縮する場合に使用する符号化方式として、複数の符号化方式の中からより高い画質対圧縮量が得られる符号化方式をより優先して選択する。
Note that the encoding
そして、符号化方式選択部４２０は、複数の特徴領域のそれぞれについて、特徴領域に含まれるオブジェクトの種類に対応づけて符号化方式格納部４１０が格納している複数の符号化方式の中から特徴領域の画像に対してより高い画質対圧縮量が得られる符号化方式をより優先して選択する。
Then, the encoding
そして、圧縮部２４０は、複数の動画構成画像のそれぞれについて、符号化方式選択部４２０が選択した符号化方式により、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。このような方法によっても、符号化方式選択部４２０は、オブジェクトの種類に適したイントラ予測方向を速やかに特定することができる場合がある。
Then, the
図１２は、差分対象領域決定部２９４が差分対象領域を決定する決定方法の一例を示す。ここでは、同一被写体領域特定部４３０が、動画構成画像１２００および動画構成画像１２１０において、同じ被写体を示すオブジェクト１２０４および１２１４を含む特徴領域１２０２および１２１２を特定したとする。この場合、位置差算出部４４０は、特徴領域１２０２における最左上の座標と、特徴領域１２１２における最左上の座標との間の差を、特徴領域の位置との差を示す位置差として算出する。
FIG. 12 shows an example of a determination method in which the difference target
本図の例では、位置差算出部４４０は、位置差（ｘ１−ｘ０、ｙ１−ｙ０）を算出する。差分対象領域決定部２９４は、特徴領域１２１２に含まれるマクロブロック１２１６をインター符号化により符号化すべく、動画構成画像１２００における差分対象領域を決定する。マクロブロック１２１６の最左上の座標を（ｘ２、ｙ２）、最右下の座標を（ｘ３、ｙ３）とすると、差分対象領域決定部２９４は、動画構成画像１２００における（ｘ２−（ｘ１−ｘ０）−Δ、ｙ２−（ｙ１−ｙ０）−Δ）および（ｘ３＋（ｘ１−ｘ０）＋Δ、ｙ３＋（ｙ１−ｙ０）＋Δ）を矩形の対角とする領域１２０６から、差分対象領域を決定する。なお、ここでは、動画構成画像１２００および１２１０における最左上を原点とした。
In the example of this figure, the position
また、差分対象領域を決定する探索範囲の大きさはΔによって定められる。Δの値は予め定められたピクセル数であってよい。他にも、Δの値は、特徴領域１２００および１２１０に含まれるオブジェクトの種類に応じて予め定められてよい。例えば、移動速度が速いことが期待される被写体を示すオブジェクトの種類については、差分対象領域決定部２９４は、より大きいΔの値を用いて差分対象領域を決定してよい。このように、圧縮部２４０は、同一被写体領域特定部４３０が特定した他の動画構成画像における特徴領域の少なくとも一部の領域の画像を、当該一部の領域の位置から位置差だけ離れた一の動画構成画像における位置から予め定められたピクセル数だけ離れた範囲内の領域の画像との間で比較することにより圧縮する。
The size of the search range for determining the difference target area is determined by Δ. The value of Δ may be a predetermined number of pixels. In addition, the value of Δ may be determined in advance according to the types of objects included in the
なお、差分対象領域決定部２９４は、特徴領域の検出信頼度に応じて、特徴領域の位置差に基づいて差分対象領域を決定するか否かを決定してよい。例えば、差分対象領域決定部２９４は、検出信頼度が予め定められた値より高いことを条件として、特徴領域の位置差に基づいて差分対象領域を決定してよい。
Note that the difference target
以上説明したように、差分対象領域決定部２９４は、特徴領域の位置の差を利用することによって、動きベクトルを探索する範囲を限定することができる。このため、差分対象領域決定部２９４は動きベクトルを速やかに算出することができる。また、特徴領域１２１２内において、動きベクトルの大きさが乱雑になることを未然に防ぐことができる。このため、動き符号化部２８６が隣接するマクロブロックの動きベクトル間の差分により動きベクトルを符号化すると、当該差分をより小さくすることができる。このため、画像処理装置１７０は、より高い圧縮率で動きベクトルを圧縮することができる。
As described above, the difference target
図１３は、画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。画像処理装置１２０および画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有する。
FIG. 13 shows an example of the hardware configuration of the
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、およびデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信インターフェイス１５３０に提供する。
The input /
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置１２０および画像処理装置１７０が起動時に実行するブート・プログラム、あるいは画像処理装置１２０および画像処理装置１７０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
The input /
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図１２に関連して説明した画像処理装置１２０として機能させる。また、当該プログラムは、画像処理装置１７０を、図１から図１２に関連して説明した画像処理装置１７０として機能させる。
A program executed by the
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１２０および画像処理装置１７０に提供してもよい。
The program shown above may be stored in an external storage medium. As the storage medium, in addition to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
１０ 画像処理システム
１００ 撮像装置
１１０ 通信ネットワーク
１２０ 画像処理装置
１３０ 人物
１４０ 移動物体
１５０ 監視対象空間
１６０ 空間
１７０ 画像処理装置
１８０ 表示装置
２０１ 圧縮動画取得部
２０２ 圧縮動画伸張部
２０３ 特徴領域検出部
２０６ 対応付け処理部
２０７ 出力部
２１０ 固定値化ユニット
２１１ 固定値化部
２２０ 低減化ユニット
２２１ 画質低減部
２３０ 符号化ユニット
２３１ 符号化部
２３１ａ 背景領域動画符号化部
２３１ｂ−ｄ 特徴領域動画符号化部
２４０ 圧縮部
２４０ 圧縮部
２５０ 圧縮制御部
２６０ 条件格納部
２８０ 入力動画画質制御部
２８１ 画質低減部
２８２ 階層間差分圧縮部
２８５ 動き解析部
２８６ 動き符号化部
２８７ 差分処理部
２８８ 符号化部
２９０ 位置差情報変更部
２９１ 画素値変更部
２９２ 画像復号部
２９３ 画像拡大部
２９４ 差分対象領域決定部
２９５ 位置差情報生成部
２９６ 差分画素画像生成部
２９７ 空間周波数領域変換部
２９８ 量子化部
２９９ 周波数領域画質変換部
３０１ 圧縮動画取得部
３０２ 対応付け解析部
３１０ 圧縮動画伸張ユニット
３１１ 圧縮動画伸張部
３０３ 合成部
３０４ 出力部
４１０ 符号化方式格納部
４２０ 符号化方式選択部
４３０ 同一被写体領域特定部
４４０ 位置差算出部
DESCRIPTION OF
Claims (17)
前記符号化画像における特徴領域を検出する特徴領域検出部と、
前記符号化画像に含まれる符号化データを用いて、前記特徴領域の画像と前記特徴領域以外の領域の画像とを異なる画質にする画質変換部と
を備える画像処理装置。 An encoded image acquisition unit that acquires an encoded image indicating an encoded image;
A feature region detector for detecting a feature region in the encoded image;
An image processing apparatus comprising: an image quality conversion unit that uses the encoded data included in the encoded image to make the image of the feature region and the image of the region other than the feature region different in image quality.
請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the image quality conversion unit uses the encoded data included in the encoded image to make the image of the feature region have a higher image quality than the image of the region other than the feature region.
前記特徴領域検出部は、前記複数の符号化画像における特徴領域を検出し、
前記画質変換部は、前記複数の符号化画像に含まれる符号化データを用いて、前記特徴領域の画像を前記特徴領域以外の領域の画像より高画質にする
請求項２に記載の画像処理装置。 The encoded image acquisition unit acquires a plurality of encoded images obtained by encoding a plurality of moving image constituent images included in a moving image,
The feature region detection unit detects feature regions in the plurality of encoded images;
The image processing device according to claim 2, wherein the image quality conversion unit uses the encoded data included in the plurality of encoded images to make the image of the feature region have higher image quality than the image of the region other than the feature region. .
をさらに備え、
前記特徴領域検出部は、前記画素情報および前記符号化情報の少なくとも一方に基づいて前記特徴領域を検出し、
前記画質変換部は、前記画素情報および前記符号化情報の少なくとも一方を加工して、前記特徴領域の画像を前記特徴領域以外の領域の画像より高画質にする
請求項３に記載の画像処理装置。 A decoding unit that decodes a part of the encoded image to obtain pixel information of at least a part of the region of the encoded image and encoding information related to the encoding of the pixel information;
The feature region detection unit detects the feature region based on at least one of the pixel information and the encoded information,
The image processing device according to claim 3, wherein the image quality conversion unit processes at least one of the pixel information and the encoded information so that an image of the feature area has a higher image quality than an image of an area other than the feature area. .
をさらに備える請求項４に記載の画像処理装置。 The image processing apparatus according to claim 4, further comprising an encoding processing unit that encodes the pixel information using the encoding information.
前記復号部は、前記符号化画像の一部を復号して、前記画素情報および動きベクトルを取得し、
前記特徴領域検出部は、前記画素情報および前記動きベクトルの少なくとも一方に基づいて前記符号化画像における特徴領域を検出し、
前記画質変換部は、前記画素情報および前記動きベクトルの少なくとも一方を加工して、前記特徴領域の画像を前記特徴領域以外の領域の画像より高画質にする
請求項５に記載の画像処理装置。 The encoded image acquisition unit acquires the plurality of encoded images obtained by encoding the plurality of moving image constituent images with motion vectors,
The decoding unit decodes a part of the encoded image to obtain the pixel information and a motion vector,
The feature region detection unit detects a feature region in the encoded image based on at least one of the pixel information and the motion vector;
The image processing device according to claim 5, wherein the image quality conversion unit processes at least one of the pixel information and the motion vector so that an image of the feature area has a higher image quality than an image of an area other than the feature area.
請求項６に記載の画像処理装置。 The image processing apparatus according to claim 6, wherein the feature region detection unit detects an image region encoded using a motion vector that satisfies a predetermined condition as the feature region.
請求項７に記載の画像処理装置。 The image processing device according to claim 7, wherein the encoding processing unit encodes the pixel information using the motion vector.
前記復号部は、前記符号化画像の一部を復号して、前記変換係数および前記動きベクトルを取得し、
前記画質変換部は、前記特徴領域以外の領域において、予め定められた周波数より大きい空間周波数の周波数成分を示す変換係数の情報量を低減することにより、前記特徴領域の画像を前記特徴領域以外の領域の画像より高画質にする
請求項８に記載の画像処理装置。 The encoded image acquisition unit acquires the encoded image encoded by a transform coefficient obtained by converting pixel data into a spatial frequency domain and the motion vector,
The decoding unit decodes a part of the encoded image to obtain the transform coefficient and the motion vector,
The image quality conversion unit reduces an information amount of a conversion coefficient indicating a frequency component having a spatial frequency larger than a predetermined frequency in a region other than the feature region, thereby reducing an image of the feature region to a region other than the feature region. The image processing apparatus according to claim 8, wherein the image quality is higher than that of an image in a region.
前記特徴領域検出部は、前記動画において動くオブジェクトを含む領域を前記特徴領域として検出し、
前記画質変換部は、前記特徴領域以外の領域において、前記動きベクトルおよび前記画像の差を、前記特徴領域以外の領域が他の動画構成画像における部分領域と画像内容が同じであることを示す値に変換する
請求項８に記載の画像処理装置。 The encoded image acquisition unit acquires an encoded image encoded by a difference in image between the motion vector and a partial region indicated by the motion vector,
The feature region detection unit detects a region including a moving object in the moving image as the feature region,
The image quality conversion unit indicates a difference between the motion vector and the image in a region other than the feature region, and a value indicating that the region other than the feature region has the same image content as a partial region in another moving image constituent image. The image processing apparatus according to claim 8, wherein the image processing apparatus is converted into an image.
請求項９に記載の画像処理装置。 The image processing apparatus according to claim 9, wherein the feature region detection unit detects a region having the conversion coefficient that satisfies a predetermined condition as the feature region.
をさらに備え、
前記特徴領域検出部は、前記条件格納部が格納している条件に適合する前記動きベクトルおよび前記変換係数を持つ領域を、前記特徴領域として検出する
請求項１１に記載の画像処理装置。 A condition storage unit for storing a condition to which the motion vector or the conversion coefficient should be matched in association with the type of the feature region;
The image processing apparatus according to claim 11, wherein the feature region detection unit detects a region having the motion vector and the conversion coefficient that matches a condition stored in the condition storage unit as the feature region.
前記特徴領域検出部は、前記復号部が復号することにより得られた画素値に基づいて、前記符号化画像における特徴領域を検出する
請求項８に記載の画像処理装置。 The decoding unit decodes an intra-coded region in the encoded image into a pixel value,
The image processing apparatus according to claim 8, wherein the feature region detection unit detects a feature region in the encoded image based on a pixel value obtained by decoding by the decoding unit.
前記特徴領域検出部は、前記復号部が復号することにより得られた画素値に基づいて、前記符号化画像における特徴領域を検出する
請求項１３に記載の画像処理装置。 The decoding unit decodes an I picture in the encoded image into a pixel value,
The image processing device according to claim 13, wherein the feature region detection unit detects a feature region in the encoded image based on a pixel value obtained by decoding by the decoding unit.
前記特徴領域検出部は、前記復号部が復号することにより得られた画素値に基づいて、前記符号化画像における特徴領域を検出する
請求項１４に記載の画像処理装置。 The decoding unit decodes a region referred to by the motion vector and the intra-coded region into pixel values,
The image processing device according to claim 14, wherein the feature region detection unit detects a feature region in the encoded image based on a pixel value obtained by decoding by the decoding unit.
前記符号化画像における特徴領域を検出する特徴領域検出段階と、
前記符号化画像に含まれる符号化データを用いて、前記特徴領域の画像と前記特徴領域以外の領域の画像とを異なる画質にする画質変換段階と
を備える画像処理方法。 An encoded image acquisition step of acquiring an encoded image indicating the encoded image;
A feature region detection step of detecting a feature region in the encoded image;
An image processing method comprising: an image quality conversion step of using the encoded data included in the encoded image to make the image of the feature region and the image of the region other than the feature region different in image quality.
符号化された画像を示す符号化画像を取得する符号化画像取得部、
前記符号化画像における特徴領域を検出する特徴領域検出部、
前記符号化画像に含まれる符号化データを用いて、前記特徴領域の画像と前記特徴領域以外の領域の画像とを異なる画質にする画質変換部
として機能させるプログラム。 A program for an image processing device, wherein the image processing device is
An encoded image acquisition unit for acquiring an encoded image indicating an encoded image;
A feature region detector for detecting a feature region in the encoded image;
A program that causes encoded image data included in the encoded image to function as an image quality conversion unit that changes the image of the feature region and the image of the region other than the feature region.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007234759A JP4817262B2 (en) | 2007-09-10 | 2007-09-10 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007234759A JP4817262B2 (en) | 2007-09-10 | 2007-09-10 | Image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009071389A true JP2009071389A (en) | 2009-04-02 |
| JP4817262B2 JP4817262B2 (en) | 2011-11-16 |
Family
ID=40607230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007234759A Expired - Fee Related JP4817262B2 (en) | 2007-09-10 | 2007-09-10 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4817262B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110024574A (en) * | 2009-09-02 | 2011-03-09 | 에스케이 텔레콤주식회사 | Integrated video encoding method and apparatus |
| JP2014135729A (en) * | 2013-01-14 | 2014-07-24 | Samsung Electronics Co Ltd | Method for compressing image data of camera, and terminal supporting the same |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0257084A (en) * | 1988-08-23 | 1990-02-26 | Nippon Telegr & Teleph Corp <Ntt> | Moving image encoding processing system |
| JP2002223443A (en) * | 2001-01-24 | 2002-08-09 | Yamaha Corp | Transcoding method and transcoder |
| JP2003516053A (en) * | 1999-11-29 | 2003-05-07 | ソニー株式会社 | Video / audio signal processing method and video / audio signal processing apparatus |
| JP2006080832A (en) * | 2004-09-09 | 2006-03-23 | Mitsubishi Electric Corp | Image transcoder |
-
2007
- 2007-09-10 JP JP2007234759A patent/JP4817262B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0257084A (en) * | 1988-08-23 | 1990-02-26 | Nippon Telegr & Teleph Corp <Ntt> | Moving image encoding processing system |
| JP2003516053A (en) * | 1999-11-29 | 2003-05-07 | ソニー株式会社 | Video / audio signal processing method and video / audio signal processing apparatus |
| JP2002223443A (en) * | 2001-01-24 | 2002-08-09 | Yamaha Corp | Transcoding method and transcoder |
| JP2006080832A (en) * | 2004-09-09 | 2006-03-23 | Mitsubishi Electric Corp | Image transcoder |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110024574A (en) * | 2009-09-02 | 2011-03-09 | 에스케이 텔레콤주식회사 | Integrated video encoding method and apparatus |
| KR101641716B1 (en) * | 2009-09-02 | 2016-07-21 | 에스케이텔레콤 주식회사 | Integrated Video Encoding Method and Apparatus |
| JP2014135729A (en) * | 2013-01-14 | 2014-07-24 | Samsung Electronics Co Ltd | Method for compressing image data of camera, and terminal supporting the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4817262B2 (en) | 2011-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5531327B2 (en) | Image processing apparatus, image processing method, and program | |
| US8363953B2 (en) | Image processing apparatus, image processing method and computer readable medium | |
| JP2009049979A (en) | Image processing device, image processing method, image processing system, and program | |
| US20130322524A1 (en) | Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method | |
| JP2009089356A (en) | Image processing apparatus, image processing method, and program | |
| JP2009027564A (en) | Image processor, image processing method, and program | |
| JP2009048620A (en) | Image processor, image processing method, and program | |
| JP2009049976A (en) | Image processing apparatus, image processing method and program | |
| JP2002223443A (en) | Transcoding method and transcoder | |
| US8503810B2 (en) | Image compression using partial region determination | |
| JP5082134B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4817262B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4911468B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4895044B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4817263B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5156982B2 (en) | Image processing system, image processing method, and program | |
| JP4895041B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2009273116A (en) | Image processing device, image processing method, and program | |
| JP4900602B2 (en) | Image processing apparatus, image processing method, program, and image processing system | |
| JP2009071733A (en) | Image processor, image processing system, method and program | |
| JP2009268065A (en) | Image processing system, image processing method, and program | |
| JP5062407B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5136172B2 (en) | Image processing system, image processing method, and program | |
| JP2009027367A (en) | Image processor, image processing method and program | |
| JP4873488B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110802 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110824 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4817262 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |