JP2009048620A - Image processor, image processing method, and program - Google Patents

Image processor, image processing method, and program Download PDF

Info

Publication number
JP2009048620A
JP2009048620A JP2008174857A JP2008174857A JP2009048620A JP 2009048620 A JP2009048620 A JP 2009048620A JP 2008174857 A JP2008174857 A JP 2008174857A JP 2008174857 A JP2008174857 A JP 2008174857A JP 2009048620 A JP2009048620 A JP 2009048620A
Authority
JP
Japan
Prior art keywords
image
region
feature
unit
feature region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008174857A
Other languages
Japanese (ja)
Inventor
Tetsuya Takamori
哲弥 高森
Sukekazu Kameyama
祐和 亀山
Yukinori Noguchi
幸典 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2007190150 priority Critical
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008174857A priority patent/JP2009048620A/en
Priority claimed from US12/175,876 external-priority patent/US20090022403A1/en
Publication of JP2009048620A publication Critical patent/JP2009048620A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To shorten a processing time when identifying a characteristic region from a plurality of moving-image-component images included in a moving image. <P>SOLUTION: This image processor for processing a moving image including a plurality of moving-image-component images includes: a characteristic region detecting section that detects a characteristic region from moving-image-component images, and a characteristic region specification section that specifies a position of the characteristic region in a non-selected image other than the selected image, on the basis of the position of the characteristic region in the selected image which are moving-image-component images selected from moving images. The characteristic region specification section specifies the position of the characteristic region in the non-selected image, on the basis of a position of the characteristic region in selected images before and after the non-selected image. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。本発明は、特に、画像を圧縮する画像処理装置および画像処理方法、並びに画像処理装置用のプログラムに関する。   The present invention relates to an image processing device, an image processing method, and a program. The present invention particularly relates to an image processing apparatus and an image processing method for compressing an image, and a program for the image processing apparatus.

動画像において検出された顔を含む画像ブロックのうち、目、口などを含む画像ブロックに対して、他の画像ブロックより多くの情報ビット数を割り当てて符号化する画像符号化装置が知られている(例えば、特許文献1参照。)。
特許第2828977号公報
Among image blocks including a face detected in a moving image, an image encoding device that allocates and encodes an image block including eyes, a mouth, and the like by assigning more information bits than other image blocks is known. (For example, refer to Patent Document 1).
Japanese Patent No. 2828977

しかしながら、上記特許文献1に記載の技術によると、画像符号化装置は、複数のフレームのそれぞれから、顔、目、口などを含む画像ブロックを検出している。このため、顔、目、口などを含む画像ブロックを検出するときに、多くの時間を費やす場合がある。   However, according to the technique described in Patent Document 1, the image encoding device detects an image block including a face, eyes, a mouth, and the like from each of a plurality of frames. For this reason, a lot of time may be spent when detecting an image block including a face, eyes, mouth, and the like.

上記課題を解決するために、本発明の第1の形態においては、複数の動画構成画像を含む動画を処理する画像処理装置であって、動画構成画像から、特徴領域を検出する特徴領域検出部と、動画から選択された動画構成画像である選択画像における特徴領域の位置に基づいて、当該選択画像以外の動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定部とを備える。   In order to solve the above-described problem, in the first embodiment of the present invention, an image processing apparatus that processes a moving image including a plurality of moving image constituent images, the feature region detecting unit detecting a feature region from the moving image constituent images. And a feature region specifying unit that specifies the position of the feature region in the non-selected image that is a moving image constituent image other than the selected image based on the position of the feature region in the selected image that is the moving image constituent image selected from the moving image. Prepare.

特徴領域特定部は、非選択画像より前にある選択画像および非選択画像より後にある選択画像のそれぞれにおける特徴領域の位置に基づいて、非選択画像における特徴領域の位置を特定してよい。動画における被写体の動きベクトルを取得する動きベクトル取得部をさらに備え、特徴領域特定部は、選択画像における特徴領域の位置および動きベクトルに基づいて、非選択画像における特徴領域の位置を特定してよい。   The feature area specifying unit may specify the position of the feature area in the non-selected image based on the position of the feature area in each of the selected image before the non-selected image and the selected image after the non-selected image. The image processing apparatus may further include a motion vector acquisition unit that acquires a motion vector of the subject in the moving image, and the feature region specifying unit may specify the position of the feature region in the non-selected image based on the position of the feature region and the motion vector in the selected image. .

動きベクトルを含む圧縮された動画を取得する圧縮動画取得部と、圧縮動画取得部によって取得された動画を伸張する圧縮動画伸張部とをさらに備え、特徴領域検出部は、圧縮動画伸張部によって伸張された動画から選択された選択画像から、特徴領域を検出し、動きベクトル取得部は、圧縮動画取得部によって取得された動画に含まれる動きベクトルを取得し、特徴領域特定部は、選択画像における特徴領域の位置および動きベクトルに基づいて、圧縮動画伸張部によって伸張された動画から選択されなかった非選択画像における特徴領域の位置を特定してよい。圧縮動画取得部は、動きベクトルを含むMPEG動画を取得し、圧縮動画伸張部は、圧縮動画取得部によって取得されたMPEG動画を伸張し、特徴領域検出部は、伸張されたMPEG動画に含まれる選択画像から、特徴領域を検出し、動きベクトル取得部は、圧縮動画取得部によって取得されたMPEG動画に含まれる動きベクトルを取得してよい。   A compressed video acquisition unit that acquires a compressed video including a motion vector; and a compressed video expansion unit that expands the video acquired by the compressed video acquisition unit. The feature region detection unit is expanded by the compressed video expansion unit. The feature region is detected from the selected image selected from the selected moving image, the motion vector acquisition unit acquires the motion vector included in the moving image acquired by the compressed movie acquisition unit, and the feature region specifying unit Based on the position of the feature area and the motion vector, the position of the feature area in the non-selected image that has not been selected from the moving image expanded by the compressed moving image expansion unit may be specified. The compressed video acquisition unit acquires an MPEG video including a motion vector, the compressed video expansion unit expands the MPEG video acquired by the compressed video acquisition unit, and the feature region detection unit is included in the expanded MPEG video. The feature region may be detected from the selected image, and the motion vector acquisition unit may acquire a motion vector included in the MPEG moving image acquired by the compressed moving image acquisition unit.

選択画像および非選択画像のそれぞれを、特徴領域と、特徴領域以外の背景領域とに分割する画像分割部と、特徴領域の画像と背景領域の画像とを、それぞれ異なる強度で符号化する符号化部とをさらに備えてよい。選択画像から検出された特徴領域、および非選択画像において特定された特徴領域を包含する包含領域を特定する包含領域特定部と、選択画像および非選択画像のそれぞれにおける包含領域以外の領域の画素値を固定値化する固定値化部とをさらに備え、符号化部は、包含領域の画像と、包含領域画像以外の領域の画像とを、それぞれ異なる強度で符号化してよい。   An image dividing unit that divides each of the selected image and the non-selected image into a feature region and a background region other than the feature region, and an encoding that encodes the image of the feature region and the image of the background region with different intensities. May be further included. The inclusion region specifying unit for specifying the feature region detected from the selected image and the feature region specified in the non-selected image, and the pixel values of regions other than the inclusion region in each of the selected image and the non-selected image The encoding unit may further encode the image of the inclusion region and the image of the region other than the inclusion region image with different intensities, respectively.

本発明の第2の形態によると、複数の動画構成画像を含む動画を処理する画像処理方法であって、動画構成画像から、特徴領域を検出する特徴領域検出段階と、動画から選択された動画構成画像である選択画像における特徴領域の位置に基づいて、当該選択画像以外の動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定段階とを備える。   According to a second aspect of the present invention, there is provided an image processing method for processing a moving image including a plurality of moving image constituent images, a feature region detecting stage for detecting a feature region from the moving image constituent images, and a moving image selected from the moving images. A feature region specifying step of specifying the position of the feature region in the non-selected image that is a moving image constituent image other than the selected image based on the position of the feature region in the selected image that is the constituent image.

本発明の第3の形態によると、複数の動画構成画像を含む動画を処理する画像処理装置用のプログラムであって、画像処理装置を、動画構成画像から、特徴領域を検出する特徴領域検出部、動画から選択された動画構成画像である選択画像における特徴領域の位置に基づいて、当該選択画像以外の動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定部として機能させる。   According to the third aspect of the present invention, there is provided a program for an image processing apparatus that processes a moving image including a plurality of moving image constituent images, wherein the image processing device detects a characteristic region from the moving image constituent images. Based on the position of the feature region in the selected image that is the moving image constituent image selected from the moving image, the function region specifying unit that specifies the position of the feature region in the non-selected image that is the moving image constituent image other than the selected image .

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図1は、一実施形態に係る画像処理システム10の一例を示す。画像処理システム10は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。   FIG. 1 shows an example of an image processing system 10 according to an embodiment. An object of the image processing system 10 is to reduce the amount of image data while maintaining a high quality image of a characteristic subject.

画像処理システム10は、監視対象空間150を撮像する複数の撮像装置100a−c(以下、撮像装置100と総称する。)、画像を処理する複数の画像処理装置120a−c(以下、画像処理装置120と総称する。)、画像処理装置170、通信ネットワーク110、画像DB175、および複数の表示装置180a−c(以下、表示装置180と総称する。)を備える。   The image processing system 10 includes a plurality of imaging devices 100a-c (hereinafter collectively referred to as imaging devices 100) that image the monitoring target space 150, and a plurality of image processing devices 120a-c (hereinafter referred to as image processing devices) that process images. 120), an image processing device 170, a communication network 110, an image DB 175, and a plurality of display devices 180a-c (hereinafter collectively referred to as display device 180).

画像処理装置120aは、撮像装置100aに接続されている。また、画像処理装置120bは、撮像装置100bに接続されている。また、画像処理装置120cは、撮像装置100cに接続されている。なお、画像処理装置170および表示装置180は、監視対象空間150と異なる空間160に設けられている。     The image processing device 120a is connected to the imaging device 100a. Further, the image processing device 120b is connected to the imaging device 100b. Further, the image processing device 120c is connected to the imaging device 100c. Note that the image processing device 170 and the display device 180 are provided in a space 160 different from the monitoring target space 150.

以下に、撮像装置100a、画像処理装置120a、画像処理装置170、および表示装置180aの動作を説明する。撮像装置100aは、監視対象空間150を撮像して得られた撮像動画をMPEG符号化して撮像動画データを生成して、撮像装置100aが接続されている画像処理装置120aに出力する。   Hereinafter, operations of the imaging device 100a, the image processing device 120a, the image processing device 170, and the display device 180a will be described. The imaging apparatus 100a MPEG-encodes a captured moving image obtained by imaging the monitoring target space 150, generates captured moving image data, and outputs the captured moving image data to the image processing apparatus 120a to which the imaging apparatus 100a is connected.

具体的には、撮像装置100aは、撮像部102aおよび撮像動画圧縮部104aを有する。撮像部102aは、監視対象空間150を撮像することにより、撮像動画に含まれる複数の動画構成画像を生成する。なお、撮像部102aは、RAW形式の動画構成画像を生成してよい。撮像動画圧縮部104aは、撮像部102aにより生成されたRAW形式の動画構成画像を同時化して、同時化して得られた複数の動画構成画像を含む撮像動画をMPEG符号化等により圧縮することにより、撮像動画データを生成する。   Specifically, the imaging device 100a includes an imaging unit 102a and a captured moving image compression unit 104a. The imaging unit 102a generates a plurality of moving image constituent images included in the captured moving image by imaging the monitoring target space 150. Note that the imaging unit 102a may generate a RAW video structure image. The captured moving image compression unit 104a synchronizes the RAW format moving image configuration images generated by the imaging unit 102a, and compresses the captured moving image including a plurality of moving image configuration images obtained by the synchronization by MPEG encoding or the like. Then, imaged moving image data is generated.

画像処理装置120aは、撮像装置100aが生成した撮像動画データを取得する。画像処理装置120は、撮像装置100から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物130、車輌等の移動物体140等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置120aは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置120aは、特徴領域以外の背景領域の動画であって、特徴領域動画より低画質な背景領域動画を生成する。   The image processing device 120a acquires the captured moving image data generated by the imaging device 100a. The image processing device 120 decodes the captured moving image data acquired from the imaging device 100 to generate a captured moving image, and a plurality of features having different types of features such as a person 130 and a moving object 140 such as a vehicle from the generated captured moving image. Detect areas. Then, the image processing device 120a generates a plurality of feature area moving images by generating a moving image in which the characteristic region has a higher image quality than the other regions for each type of feature from the captured moving image. Further, the image processing apparatus 120a generates a background area moving image that is a moving image of a background area other than the characteristic area and has a lower image quality than the characteristic area moving image.

そして、画像処理装置120aは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置120aは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連づけて、通信ネットワーク110を通じて画像処理装置170に送信する。   Then, the image processing device 120a generates a plurality of feature region moving image data and background region moving image data by encoding the generated plurality of feature region moving images and background region moving images, respectively. At the same time, the image processing device 120a associates a plurality of characteristic area moving image data and background region moving image data obtained by encoding with each other and transmits them to the image processing device 170 through the communication network 110.

画像処理装置170は、画像処理装置120aから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置170は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置180aに供給する。表示装置180aは、画像処理装置170から供給された動画を表示する。   The image processing device 170 acquires a plurality of feature region moving images and a background region moving image by decoding the associated plurality of feature region moving image data and background region moving image data received from the image processing device 120a, respectively. Then, the image processing apparatus 170 generates a single combined moving image by combining the plurality of feature region moving images and the background region moving image, and supplies the generated combined moving image to the display device 180a. The display device 180a displays the moving image supplied from the image processing device 170.

なお、画像処理装置170は、生成した合成動画または画像処理装置120aから取得した撮像動画データを画像DB175に記録してもよい。そして、画像処理装置170は、画像DB175に記録された合成動画を、表示装置180aからの要求に応じて表示装置180aに供給してよい。また、画像処理装置170は、表示装置180aからの要求に応じて、画像DB175に記録された撮像動画データを上述したように復号して表示装置180aに供給してもよい。なお、画像DB175は、一例としてハードディスク等の不揮発性の記録媒体を有してよく、画像処理装置170から供給された合成動画を当該記録媒体に記録してよい。   Note that the image processing apparatus 170 may record the generated combined moving image or captured moving image data acquired from the image processing device 120a in the image DB 175. Then, the image processing device 170 may supply the composite moving image recorded in the image DB 175 to the display device 180a in response to a request from the display device 180a. Further, the image processing apparatus 170 may decode the captured moving image data recorded in the image DB 175 as described above and supply it to the display apparatus 180a in response to a request from the display apparatus 180a. Note that the image DB 175 may include a non-volatile recording medium such as a hard disk as an example, and may record the composite moving image supplied from the image processing apparatus 170 on the recording medium.

なお、撮像装置100bおよび撮像装置100cは、撮像部102aが有する構成要素と同様の機能を有する構成要素を有している。撮像装置100bおよび撮像装置100cの機能および動作は、それぞれ画像処理装置120bおよび画像処理装置120cに撮像動画データを提供することを除いて、撮像装置100aの機能および動作と同様であるので、その説明を省略する。また、画像処理装置120bおよび画像処理装置120cの機能および動作は、それぞれ撮像装置100bおよび撮像装置100cから撮像動画データを取得することを除いて、画像処理装置120aの機能および動作と同様であってよい。よって、その説明を省略する。なお、以下の説明では、撮像部102a〜cを撮像部102と総称する場合があり、撮像動画圧縮部104a〜cを撮像動画圧縮部104と総称する場合がある。   Note that the imaging device 100b and the imaging device 100c have components having the same functions as the components of the imaging unit 102a. The functions and operations of the image capturing apparatus 100b and the image capturing apparatus 100c are the same as the functions and operations of the image capturing apparatus 100a except for providing the captured moving image data to the image processing apparatus 120b and the image processing apparatus 120c, respectively. Is omitted. The functions and operations of the image processing device 120b and the image processing device 120c are the same as the functions and operations of the image processing device 120a, except that the captured moving image data is acquired from the imaging device 100b and the imaging device 100c, respectively. Good. Therefore, the description is omitted. In the following description, the imaging units 102 a to 102 c may be collectively referred to as the imaging unit 102, and the captured moving image compression units 104 a to 104 c may be collectively referred to as the captured moving image compression unit 104.

また、画像処理装置170は、撮像装置100bおよび撮像装置100cのそれぞれから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをから、一の動画をそれぞれ生成して、それぞれ表示装置180bおよび表示装置180cに供給する。また、表示装置180bおよび表示装置180cは、画像処理装置170から供給されたそれぞれの動画を表示する。   Further, the image processing device 170 generates one moving image from the plurality of associated feature region moving image data and background region moving image data received from the imaging device 100b and the imaging device 100c, respectively, and displays each of the display devices 180b. And supplied to the display device 180c. In addition, the display device 180b and the display device 180c display each moving image supplied from the image processing device 170.

本実施形態の画像処理システム10を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残すことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。   When the image processing system 10 of the present embodiment is actually applied as a monitoring system, for example, there may be a case where a subject that is characteristic as a monitoring target such as a person or a moving object can be left with high image quality. In addition, the amount of moving image data may be reduced.

図2は、画像処理装置120のブロック構成の一例を示す。画像処理装置120は、圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、および画像生成部205を有する。また、画像処理装置120は、動きベクトル取得部251、特徴領域特定部252、包含領域特定ユニット260、固定値化ユニット210、低減化ユニット220、符号化ユニット230、対応付け処理部206、および出力部207を有する。   FIG. 2 shows an example of a block configuration of the image processing apparatus 120. The image processing apparatus 120 includes a compressed moving image acquisition unit 201, a compressed moving image expansion unit 202, a feature region detection unit 203, an image division unit 204, and an image generation unit 205. The image processing apparatus 120 also includes a motion vector acquisition unit 251, a feature region specifying unit 252, an inclusion region specifying unit 260, a fixed value unit 210, a reduction unit 220, an encoding unit 230, an association processing unit 206, and an output. Part 207.

包含領域特定ユニット260は、複数の包含領域特定部261a−261c(以下、包含領域特定部261と総称する。)を含む。固定値化ユニット210は、複数の固定値化部211a−211c(以下、固定値化部211と総称する。)を含む。低減化ユニット220は、複数の画質低減部221a−d(以下、画質低減部221と総称する。)を含む。   The inclusion area specifying unit 260 includes a plurality of inclusion area specifying sections 261a-261c (hereinafter collectively referred to as inclusion area specifying sections 261). Fixed value unit 210 includes a plurality of fixed value units 211a to 211c (hereinafter collectively referred to as fixed value unit 211). The reduction unit 220 includes a plurality of image quality reduction units 221a-d (hereinafter collectively referred to as image quality reduction units 221).

符号化ユニット230は、背景領域動画符号化部231aおよび複数の特徴領域動画符号化部231b−d(以下、特徴領域動画符号化部231と総称する。)を含む。なお、背景領域動画符号化部231aおよび特徴領域動画符号化部231b−dを総称して、符号化部231と呼ぶ場合がある。   The encoding unit 230 includes a background region moving image encoding unit 231a and a plurality of feature region moving image encoding units 231b-d (hereinafter collectively referred to as a feature region moving image encoding unit 231). The background area moving image encoding unit 231a and the feature area moving image encoding unit 231b-d may be collectively referred to as an encoding unit 231.

なお、画質低減部221aおよび背景領域動画符号化部231aは、圧縮部240aとして機能する。また、画質低減部221bおよび背景領域動画符号化部231bは、圧縮部240bとして機能する。同様に、画質低減部221cおよび背景領域動画符号化部231cは圧縮部240cとして機能する。画質低減部221dおよび背景領域動画符号化部231dは圧縮部240dとして機能する。なお、複数の圧縮部240a−dを、圧縮部240と総称する。   The image quality reduction unit 221a and the background area moving image encoding unit 231a function as the compression unit 240a. Further, the image quality reduction unit 221b and the background area moving image encoding unit 231b function as the compression unit 240b. Similarly, the image quality reduction unit 221c and the background area moving image encoding unit 231c function as the compression unit 240c. The image quality reduction unit 221d and the background area moving image encoding unit 231d function as a compression unit 240d. The plurality of compression units 240a-d are collectively referred to as the compression unit 240.

圧縮動画取得部201は、圧縮された動画を取得する。具体的には、圧縮動画取得部201は、撮像装置100が生成した、符号化された撮像動画データを取得する。例えば、圧縮動画取得部201は、動きベクトルを含むMPEG動画を取得する。圧縮動画伸張部202は、圧縮動画取得部201が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。   The compressed moving image acquisition unit 201 acquires a compressed moving image. Specifically, the compressed moving image acquisition unit 201 acquires encoded captured moving image data generated by the imaging device 100. For example, the compressed moving image acquisition unit 201 acquires an MPEG moving image including a motion vector. The compressed moving image decompression unit 202 restores the moving image acquired by the compressed moving image acquisition unit 201 and generates a plurality of moving image constituent images included in the moving image.

具体的には、圧縮動画伸張部202は、圧縮動画取得部201が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。例えば、圧縮動画伸張部202は、圧縮動画取得部201によって取得されたMPEG動画を伸張する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。また、圧縮された動画は、当該動画における被写体の動きベクトルを含む。   Specifically, the compressed moving image decompression unit 202 decodes the captured moving image data acquired by the compressed moving image acquisition unit 201, and generates a plurality of moving image constituent images included in the moving image. For example, the compressed moving image expansion unit 202 expands the MPEG moving image acquired by the compressed moving image acquisition unit 201. The moving image composition image includes a frame image and a field image. The compressed moving image includes a motion vector of the subject in the moving image.

特徴領域検出部203は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。具体的には、特徴領域検出部203は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。より具体的には、特徴領域検出部203は、圧縮動画伸張部202によって伸張された動画から、任意の間隔毎、または動画の内容に基づいて算出された時間間隔毎に動画構成画像を選択した後に、選択された動画構成画像である選択画像から、特徴領域を検出する。例えば、特徴領域検出部203は、圧縮動画伸張部202によって伸張されたMPEG動画から複数のIフレームを選択した後に、選択された複数のIフレームのそれぞれから、特徴領域を検出する。また、特徴領域検出部203は、動画の動物体の速度、または動画のシーン輝度の変化に応じて、選択画像として選択する動画構成画像の間隔を調整してもよい。   The feature region detection unit 203 detects a feature region from a plurality of moving image constituent images included in the moving image. Specifically, the feature region detection unit 203 detects a plurality of feature regions having different types of features from a plurality of moving image constituent images included in a moving image that is an image. More specifically, the feature area detection unit 203 selects a moving image constituent image from the moving image expanded by the compressed moving image expansion unit 202 at every arbitrary interval or every time interval calculated based on the content of the moving image. Later, a feature region is detected from the selected image that is the selected moving image constituent image. For example, after selecting a plurality of I frames from the MPEG moving image expanded by the compressed moving image expanding unit 202, the feature region detecting unit 203 detects a characteristic region from each of the selected plurality of I frames. In addition, the feature region detection unit 203 may adjust the interval between the moving image constituent images to be selected as the selected image according to the speed of the moving object of the moving image or the change in the scene luminance of the moving image.

動きベクトル取得部251は、動画における被写体の動きベクトルを取得する。具体的には、動きベクトル取得部251は、圧縮動画取得部201によって取得された動画(撮像動画データ)に含まれる動きベクトルを取得する。より具体的には、動きベクトル取得部251は、圧縮動画取得部201によって取得されたMPEG動画に含まれる動きベクトルを取得する。なお、動きベクトル取得部251が、圧縮動画取得部201によって取得された動画から動きベクトルを取得できない場合、動きベクトル取得部251は、圧縮動画伸張部202によって伸張された動画に含まれる複数の動画構成画像に基づいて、当該動画の動きベクトルを算出してもよい。   The motion vector acquisition unit 251 acquires the motion vector of the subject in the moving image. Specifically, the motion vector acquisition unit 251 acquires a motion vector included in the moving image (captured moving image data) acquired by the compressed moving image acquisition unit 201. More specifically, the motion vector acquisition unit 251 acquires a motion vector included in the MPEG moving image acquired by the compressed moving image acquisition unit 201. When the motion vector acquisition unit 251 cannot acquire a motion vector from the moving image acquired by the compressed moving image acquisition unit 201, the motion vector acquisition unit 251 includes a plurality of moving images included in the moving image expanded by the compressed moving image expansion unit 202. The motion vector of the moving image may be calculated based on the constituent image.

特徴領域特定部252は、動画から選択された動画構成画像である選択画像における特徴領域の位置に基づいて、動画から選択されなかった動画構成画像である非選択画像における特徴領域の位置を特定する。具体的には、特徴領域特定部252は、非選択画像より時間軸方向の前にある選択画像、および非選択画像より時間軸方向の後にある選択画像のそれぞれにおける特徴領域の位置に基づいて、非選択画像における特徴領域の位置を特定する。   The feature area specifying unit 252 specifies the position of the feature area in the non-selected image that is a moving image constituent image that has not been selected from the moving picture, based on the position of the feature area in the selected image that is the moving picture constituent image selected from the moving picture. . Specifically, the feature region specifying unit 252 is based on the position of the feature region in each of the selected image before the non-selected image in the time axis direction and the selected image after the non-selected image in the time axis direction. The position of the feature region in the non-selected image is specified.

より具体的には、特徴領域特定部252は、非選択画像より時間軸方向の前にある選択画像、および非選択画像より時間軸方向の後にある選択画像のそれぞれにおける特徴領域の位置と、動きベクトル取得部によって取得された動きベクトルとに基づいて、非選択画像における特徴領域の位置を特定する。例えば、特徴領域特定部252は、非選択画像であるPフレームまたはBフレームより時間軸方向の前後にある選択画像であるIフレームのそれぞれにおける特徴領域の位置と、動きベクトル取得部によって取得された動きベクトルとに基づいて、非選択画像であるPフレームまたはBフレームにおける特徴領域の位置を特定する。   More specifically, the feature region specifying unit 252 includes the position and movement of the feature region in each of the selected image before the non-selected image in the time axis direction and the selected image after the non-selected image in the time axis direction. Based on the motion vector acquired by the vector acquisition unit, the position of the feature region in the non-selected image is specified. For example, the feature region specifying unit 252 is acquired by the motion vector acquisition unit and the position of the feature region in each of the I frames that are selected images before and after the P-frame or B-frame that is a non-selected image in the time axis direction. Based on the motion vector, the position of the feature region in the P frame or B frame, which is a non-selected image, is specified.

なお、特徴領域特定部252は、非選択画像より時間軸方向の前にある一つまたは複数の選択画像における特徴領域の位置と、動きベクトル取得部によって取得された動きベクトルとに基づいて、非選択画像における特徴領域の位置を特定してもよい。また、特徴領域特定部252は、非選択画像より時間軸方向の後ろにある一つまたは複数の選択画像における特徴領域の位置と、動きベクトル取得部によって取得された動きベクトルとに基づいて、非選択画像における特徴領域の位置を特定してもよい。   Note that the feature region specifying unit 252 performs non-selection based on the position of the feature region in one or more selected images preceding the non-selected image in the time axis direction and the motion vector acquired by the motion vector acquisition unit. The position of the feature region in the selected image may be specified. In addition, the feature region specifying unit 252 performs non-processing based on the position of the feature region in one or more selected images located behind the non-selected image in the time axis direction and the motion vector acquired by the motion vector acquisition unit. The position of the feature region in the selected image may be specified.

また、特徴領域特定部252は、非選択画像より時間軸方向の前にある選択画像および非選択画像より時間軸方向の後にある選択画像のそれぞれにおける特徴領域の位置に基づいて、線形補間することにより、非選択画像における特徴領域の位置を特定してもよい。また、特徴領域特定部252は、非選択画像より時間軸方向の前にある一つまたは複数の選択画像における特徴領域の位置に基づいて、線形補間することにより、非選択画像における特徴領域の位置を特定してもよい。また、特徴領域特定部252は、非選択画像より時間軸方向の後ろにある一つまたは複数の選択画像における特徴領域の位置に基づいて、線形補間することにより、非選択画像における特徴領域の位置を特定してもよい。   Further, the feature region specifying unit 252 performs linear interpolation based on the position of the feature region in each of the selected image before the non-selected image in the time axis direction and the selected image after the non-selected image in the time axis direction. Thus, the position of the feature region in the non-selected image may be specified. In addition, the feature region specifying unit 252 performs linear interpolation based on the position of the feature region in one or a plurality of selected images preceding the non-selected image in the time axis direction, so that the position of the feature region in the non-selected image May be specified. In addition, the feature region specifying unit 252 performs linear interpolation based on the position of the feature region in one or a plurality of selected images behind the non-selected image in the time axis direction, so that the position of the feature region in the non-selected image May be specified.

画像分割部204は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。具体的には、画像分割部204は、複数の動画構成画像のそれぞれを、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。   The image dividing unit 204 divides each of the plurality of moving image constituent images into a feature region and a background region. Specifically, the image dividing unit 204 divides each of the plurality of moving image constituent images into a plurality of feature regions and a background region other than the plurality of feature regions.

画像生成部205は、特徴領域動画を圧縮するための特徴領域圧縮用動画および背景領域動画を圧縮するための背景領域圧縮用動画を生成する。具体的には、画像生成部205は、動画に含まれる複数の動画構成画像から、特徴領域画像を抽出した後に、抽出された特徴領域画像を複製することにより、特徴領域圧縮用動画を生成する。より具体的には、画像生成部205は、動画に含まれる複数の動画構成画像から、複数種類の特徴領域画像を抽出することにより、複数の特徴領域圧縮用動画を生成する。また、画像生成部205は、動画に含まれる複数の動画構成画像から、背景領域画像を抽出した後に、抽出された背景領域画像を複製することにより、背景領域圧縮用動画を生成する。   The image generation unit 205 generates a feature region compression moving image for compressing the feature region moving image and a background region compression moving image for compressing the background region moving image. Specifically, the image generation unit 205 extracts a feature region image from a plurality of movie composition images included in the movie, and then generates a feature region compression movie by duplicating the extracted feature region image. . More specifically, the image generation unit 205 generates a plurality of feature region compression moving images by extracting a plurality of types of feature region images from a plurality of moving image constituent images included in the moving image. In addition, the image generation unit 205 generates a background area compression moving image by extracting a background area image from a plurality of moving image constituent images included in the moving image and then replicating the extracted background area image.

包含領域特定部261は、複数の特徴領域圧縮用動画のそれぞれにおいて、複数の特徴領域を包含する包含領域を特定する。具体的には、包含領域特定部261は、複数の特徴領域圧縮用動画のそれぞれにおいて、複数の特徴領域を包含する、マクロブロックの集合領域を、包含領域として特定する。   The inclusion area specifying unit 261 specifies an inclusion area that includes a plurality of feature areas in each of the plurality of feature area compression moving images. Specifically, the inclusion area specifying unit 261 specifies, as an inclusion area, a set area of macroblocks including a plurality of feature areas in each of the plurality of feature area compression moving images.

そして、固定値化部211は、複数の特徴領域圧縮用動画のそれぞれにおける、複数の動画構成画像のそれぞれにおいて、包含領域特定部261によって特定された包含領域以外の領域の画素値を固定値化する。例えば、固定値化部211は、包含領域以外の領域の画素値を所定の値(例えば、輝度値0)に設定する。   Then, the fixed value converting unit 211 converts the pixel values of regions other than the included region specified by the included region specifying unit 261 into fixed values in each of the plurality of moving image constituent images in each of the plurality of feature region compression moving images. To do. For example, the fixed value unit 211 sets the pixel value of the area other than the inclusion area to a predetermined value (for example, the luminance value 0).

そして、圧縮部240は、包含領域以外の領域の画素値が固定値化された動画構成画像を複数含む、複数の特徴領域圧縮用画像のそれぞれを、それぞれの特徴量に応じた強度で圧縮する。また、圧縮部240は、複数の特徴領域圧縮用画像のそれぞれに対して、包含領域の画像と、包含領域画像以外の領域の画像とを、それぞれ異なる強度で符号化する。   Then, the compression unit 240 compresses each of a plurality of feature region compression images including a plurality of moving image constituent images in which pixel values of regions other than the inclusion region are fixed values with an intensity corresponding to each feature amount. . In addition, the compression unit 240 encodes the inclusion region image and the region image other than the inclusion region image with different intensities for each of the plurality of feature region compression images.

このように、圧縮部240は、複数の特徴領域圧縮用動画のそれぞれと、背景領域圧縮用動画とを、それぞれの特徴量に応じた強度で圧縮する。なお、特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。   As described above, the compression unit 240 compresses each of the plurality of feature region compression moving images and the background region compression moving image with an intensity corresponding to each feature amount. The feature amount includes the type of subject, the size of the subject, the moving speed at which the moving object moves, and the size of the feature region.

以上説明したように、特徴領域検出部203は、画像から特徴領域を検出する。そして、画像分割部204は、画像を、特徴領域と、特徴領域以外の背景領域とに分割する。そして、圧縮部240は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。そして、圧縮部240は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。   As described above, the feature region detection unit 203 detects a feature region from the image. Then, the image dividing unit 204 divides the image into a feature region and a background region other than the feature region. Then, the compression unit 240 compresses the feature area image that is the image of the feature area and the background area image that is the image of the background area with different strengths. Then, the compression unit 240 compresses the feature area moving image including a plurality of characteristic area images and the background area moving image including a plurality of background area images with different strengths.

なお、圧縮部240b、圧縮部240c、および圧縮部240dには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部240b、圧縮部240c、および圧縮部240dは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部240b、圧縮部240c、および圧縮部240dは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部240は、画像分割部204によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。   Note that in the compression unit 240b, the compression unit 240c, and the compression unit 240d, it is determined in advance which type of feature area moving image should be compressed, and the compression unit 240b, the compression unit 240c, and the compression unit 240d are determined in advance. The feature region moving image of the specified feature type is compressed. Note that the compression strength in the case of compressing the feature region moving image is determined in advance for each of a plurality of feature types, and the compression unit 240b, the compression unit 240c, and the compression unit 240d are features of the predetermined feature types. The area moving image is compressed with a compression strength predetermined for the type of the feature. As described above, the compression unit 240 compresses a plurality of regions in parallel using the compressor provided for each image region divided by the image dividing unit 204.

なお、圧縮部240は、一つの圧縮器によって実装されてよく、複数の特徴領域動画および背景領域動画を時間的に順次圧縮してもよい。他にも、圧縮部240は、圧縮動画伸張部202によって復号された撮像動画を、画像分割部204が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。   Note that the compression unit 240 may be implemented by a single compressor, and may sequentially compress a plurality of feature area videos and background area videos. In addition, the compression unit 240 is predetermined for each feature type and background of each region for each region obtained by dividing the captured moving image decoded by the compressed moving image decompression unit 202 by the image dividing unit 204. One video data may be generated by compressing at a compression rate.

圧縮部240における画質低減部221は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて画質を低減することにより圧縮する。より具体的には、画質低減部221は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。   The image quality reduction unit 221 in the compression unit 240 compresses a plurality of feature area moving images and background area moving images by reducing the image quality according to each feature amount. More specifically, the image quality reduction unit 221 compresses a plurality of feature region moving images and background region moving images by reducing the resolution or frame rate according to each feature amount.

圧縮部240における符号化部231は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部231は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。   The encoding unit 231 in the compression unit 240 compresses a plurality of feature area moving images and background region moving images by encoding them using setting values corresponding to the respective feature amounts. For example, the encoding unit 231 compresses a plurality of feature area moving images and background area moving images by encoding them using an assigned code amount corresponding to each feature amount.

対応付け処理部206は、複数の圧縮部240が複数の特徴領域動画および背景領域動画を圧縮することによって生成した複数の特徴領域動画データおよび背景領域動画データを、例えばタグ情報等を付帯する等して互いに対応づける。出力部207は、対応付け処理部206が対応づけた複数の特徴領域動画データおよび背景領域動画データを通信ネットワーク110に送出する。   The association processing unit 206 includes a plurality of feature region moving image data and background region moving image data generated by the compression units 240 compressing a plurality of feature region moving images and background region moving images, for example, with tag information and the like. And correspond to each other. The output unit 207 sends the plurality of feature area moving image data and background area moving image data associated by the association processing unit 206 to the communication network 110.

なお、特徴領域検出部203は、特願2008−078641号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部203は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または当該所定比率で段階的に間引くことより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、特徴領域検出部203は、生成された画像群のうちの相対的に小さい第1の画像に、第1のフィルタを作用させて、評価値を算出する。ここで、第1のフィルタは、画像上の二次元的に広がる領域に作用することで、当該領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成する。また、第1のフィルタは、画像上の領域の広さに対応する画素数が所定比率で異なる、または当該所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタを含むフィルタ群のうちの、相対的に狭い領域に作用するフィルタであってよい。特徴領域検出部203は、所定の第1の閾値を越える評価値が得られた一次候補領域を、第1の画像から抽出する。   Note that the feature region detection unit 203 may detect a feature region by the method described in Japanese Patent Application No. 2008-078641. For example, the feature region detection unit 203 includes an image group including a captured image and one or more thinned images by thinning out the captured image of the object detection target at a predetermined ratio, or by thinning out in stages at the predetermined ratio. Is generated. Then, the feature region detection unit 203 calculates the evaluation value by applying the first filter to the relatively small first image in the generated image group. Here, the first filter acts on a two-dimensionally expanding region on the image, thereby generating an evaluation value representing the probability that a specific type of object exists in the region. In addition, the first filter includes a plurality of filters each acting on a plurality of areas having different numbers of pixels corresponding to the area of the area on the image or different in stages at the predetermined ratio. It may be a filter that acts on a relatively narrow region of the filter group that includes the filter group. The feature area detection unit 203 extracts a primary candidate area from which an evaluation value exceeding a predetermined first threshold is obtained from the first image.

そして、特徴領域検出部203は、第1の画像よりも画素数が一段階多い第2の画像における一次候補領域に相当する領域に、フィルタ群のうちの第1のフィルタよりも一段階広い領域に作用する第2のフィルタを作用させて、評価値を算出する。そして、特徴領域検出部203は、所定の第2の閾値を越える評価値が得られる二次候補領域を抽出する。   Then, the feature region detection unit 203 is a region that is one step wider than the first filter in the filter group in a region corresponding to the primary candidate region in the second image that has one more pixel number than the first image. The evaluation value is calculated by applying the second filter that operates on the. Then, the feature region detection unit 203 extracts secondary candidate regions from which an evaluation value exceeding a predetermined second threshold value can be obtained.

ここで、特徴領域検出部203は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、特徴領域検出部203は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、特徴領域検出部203は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、特徴領域検出部203は、2以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、特徴領域検出部203は、当該特定種類のオブジェクトが存在する領域を、特徴領域として検出する。このように、特徴領域検出部203は、後の抽出過程においては、直前の過程で抽出された領域に限定してフィルタを作用させる。このため、複数の各抽出過程において順次にオブジェクトの存在の有無が選別されていき、特徴領域をより高精度に検出することができる。また、小さいサイズの画像で特徴領域の粗ぶるいが行なわれるので、より高速に特徴領域を検出することができる。   Here, the feature region detection unit 203 repeats the extraction process of extracting the candidate region by applying the plurality of filters that operate on the regions having different widths to the corresponding region of the image group. Go. At this time, the feature region detection unit 203 sequentially repeats an extraction process that operates a filter that operates on a relatively narrow area, and an extraction process that operates a filter that operates on a relatively wide area. Specifically, the feature region detection unit 203 operates a filter that operates on a relatively large image on a relatively large image from an extraction process that operates on a relatively small image on a relatively small image. Repeat sequentially for the extraction process. Then, the feature region detection unit 203 detects a specific type of object by repeating two or more extraction processes and finally extracting candidate regions. Then, the feature region detection unit 203 detects a region where the specific type of object exists as a feature region. As described above, the feature region detection unit 203 causes the filter to be limited to the region extracted in the immediately preceding process in the subsequent extraction process. Therefore, the presence / absence of the object is sequentially selected in each of the plurality of extraction processes, and the feature region can be detected with higher accuracy. In addition, since the feature area is roughly screened with a small-sized image, the feature area can be detected at a higher speed.

また、特徴領域検出部203は、特願2008−078636号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部203は、撮像画像との二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを用いて、特徴領域を検出する。具体的には、特徴領域検出部203は、当該複数のフィルタを、オブジェクト検出対象の撮像画像上の所定の広さの領域にそれぞれ作用させることにより、複数の特徴量を算出する。ここで、当該複数のフィルタには、複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係が対応づけられている。特徴領域検出部203は、当該対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部203は、複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部203は、二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する。これにより、特徴領域検出部203は、当該領域を、特定種類のオブジェクトが存在する特徴領域として検出する。このように、特徴領域検出部203は、オブジェクトの輪郭・内部の様々な特徴を表わす特徴量を抽出する複数のフィルタを組み合わせることにより、例えば輪郭の形状だけによる抽出と比べて、高精度に特徴領域を抽出することができる。   The feature region detection unit 203 may detect the feature region by a method described in Japanese Patent Application No. 2008-078636. For example, the feature region detection unit 203 operates on a region of a predetermined area that spreads two-dimensionally with the captured image, and calculates a plurality of feature amounts that are different from each other among the contour and the inside of a specific type of object. A feature region is detected using a filter. Specifically, the feature region detection unit 203 calculates a plurality of feature amounts by causing the plurality of filters to act on regions of a predetermined area on the captured image that is the object detection target. Here, a correspondence relationship between each feature amount calculated by each of the plurality of filters and a primary evaluation value representing the probability of being a specific type of object is associated with the plurality of filters. The feature region detection unit 203 obtains each primary evaluation value corresponding to each calculated feature amount based on the correspondence relationship. Then, the feature area detection unit 203 obtains a secondary evaluation value representing the probability that a specific type of object exists in the area by integrating a plurality of primary evaluation values corresponding to the plurality of filters. Then, the feature region detection unit 203 compares the secondary evaluation value with a threshold value, and extracts a region with a high probability that a specific type of object exists beyond the threshold value. Thereby, the feature region detection unit 203 detects the region as a feature region where a specific type of object exists. As described above, the feature region detection unit 203 combines a plurality of filters that extract feature amounts representing various features inside and inside the object outline, so that, for example, the feature area detection unit 203 has higher accuracy than the extraction based only on the outline shape. Regions can be extracted.

なお、特徴領域検出部203は、特願2008−078636号に記載された方法と、特願2008−078641号に記載された方法とを組み合わせた方法により、特徴領域を検出してよい。具体的には、特願2008−078636号に記載された方法に関連して説明した上記の複数のフィルタは、画素数が所定比率で異なる、または所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、1つの広さごとに複数のフィルタを含んでよい。各フィルタのそれぞれは、当該各フィルタそれぞれに応じた上記対応関係に対応づけられてよい。そして、特徴領域検出部203は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または所定比率で段階的に間引くことにより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、特徴領域検出部203は、画像群のうちの相対的に小さい第1の画像に相対的に狭い領域に作用する複数の第1のフィルタを作用させることで複数の特徴量を算出する。そして、特徴領域検出部203は、該複数の第1のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部203は、複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部203は、求められた二次評価値と第1の閾値とを比較して該第1の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する。   The feature region detection unit 203 may detect the feature region by a method in which the method described in Japanese Patent Application No. 2008-078636 and the method described in Japanese Patent Application No. 2008-078641 are combined. Specifically, the plurality of filters described in relation to the method described in Japanese Patent Application No. 2008-078636 have a plurality of areas in which the number of pixels is different at a predetermined ratio or stepwise at a predetermined ratio. A plurality of filters may be included for each area, each acting on each of the regions. Each of the filters may be associated with the correspondence relationship corresponding to each of the filters. Then, the feature area detection unit 203 thins out the captured image of the object detection target at a predetermined ratio, or thins out the image at a predetermined ratio step by step, thereby obtaining an image group including the captured image and one or more thinned images. Generate. The feature region detection unit 203 calculates a plurality of feature amounts by applying a plurality of first filters that act on a relatively narrow region to a relatively small first image in the image group. Then, the feature area detection unit 203 obtains each primary evaluation value corresponding to each calculated feature amount based on the correspondence relationship corresponding to each of the plurality of first filters. Then, the feature area detection unit 203 obtains a secondary evaluation value representing the probability that a specific type of object exists in the area by integrating a plurality of primary evaluation values. Then, the feature region detection unit 203 compares the obtained secondary evaluation value with the first threshold value, and extracts a primary candidate region that has a high probability that a specific type of object exists beyond the first threshold value. .

また、特徴領域検出部203は、上記画像群のうちの第1の画像よりも画素数が一段階多い第2の画像の、一次候補領域に相当する領域に複数の第1のフィルタよりも一段広い領域に作用する複数の第2のフィルタを作用させることで、複数の特徴量を算出する。そして、特徴領域検出部203は、当該複数の第2のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部203は、複数の第2のフィルタに対応する複数の一次評価値を総合することにより、当該一次候補領域に相当する領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部203は、求められた二次評価値と第2の閾値とを比較して第2の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する。   In addition, the feature region detection unit 203 has one stage higher than the plurality of first filters in the region corresponding to the primary candidate region of the second image having one step higher number of pixels than the first image in the image group. A plurality of feature amounts are calculated by applying a plurality of second filters that operate over a wide area. Then, the feature region detection unit 203 obtains each primary evaluation value corresponding to each calculated feature amount based on the correspondence relationship corresponding to each of the plurality of second filters. Then, the feature region detection unit 203 integrates a plurality of primary evaluation values corresponding to the plurality of second filters, and thereby represents a probability that a specific type of object exists in the region corresponding to the primary candidate region. Obtain an evaluation value. Then, the feature region detection unit 203 compares the obtained secondary evaluation value with the second threshold value, and extracts a secondary candidate region that has a high probability that a specific type of object exists beyond the second threshold value. .

ここで、特徴領域検出部203は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、特徴領域検出部203は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、特徴領域検出部203は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、特徴領域検出部203は、2以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、特徴領域検出部203は、当該特定種類のオブジェクトが存在する領域を、特徴領域として検出する。   Here, the feature region detection unit 203 repeats the extraction process of extracting the candidate region by applying the plurality of filters that operate on the regions having different widths to the corresponding region of the image group. Go. At this time, the feature region detection unit 203 sequentially repeats an extraction process that operates a filter that operates on a relatively narrow area, and an extraction process that operates a filter that operates on a relatively wide area. Specifically, the feature region detection unit 203 operates a filter that operates on a relatively large image on a relatively large image from an extraction process that operates on a relatively small image on a relatively small image. Repeat sequentially for the extraction process. Then, the feature region detection unit 203 detects a specific type of object by repeating two or more extraction processes and finally extracting candidate regions. Then, the feature region detection unit 203 detects a region where the specific type of object exists as a feature region.

また、特徴領域検出部203は、特願2008−098600号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部203は、複数の撮像装置100により撮像された動画に含まれる複数の撮像画像から、特徴領域を検出する。一例として、撮像装置100aおよび撮像装置100bは、互いに同一のシーンを撮影しているものとする。例えば、撮像装置100aおよび撮像装置100bは、ステレオカメラとして機能することができる。また、以下の説明では、撮像装置100aが撮像した第1の撮像画像と、撮像装置100bが撮像した第2の撮像画像とを、ペア画像と呼ぶ。特徴領域検出部203は、ペア画像から、該ペア画像に写し出された特定種類のオブジェクトを検出して、検出した特定種類のオブジェクトの領域を、特徴領域として検出する。   The feature region detection unit 203 may detect the feature region by the method described in Japanese Patent Application No. 2008-098600. For example, the feature region detection unit 203 detects a feature region from a plurality of captured images included in moving images captured by the plurality of imaging devices 100. As an example, it is assumed that the imaging device 100a and the imaging device 100b capture the same scene. For example, the imaging device 100a and the imaging device 100b can function as a stereo camera. In the following description, the first captured image captured by the image capturing apparatus 100a and the second captured image captured by the image capturing apparatus 100b are referred to as a pair image. The feature region detection unit 203 detects a specific type of object that is projected on the pair image from the pair image, and detects the detected region of the specific type of object as a feature region.

特徴領域検出部203は、ペア画像とみなされる第1および第2の各撮像画像について、各撮像画像上において、特定種類のオブジェクトが写し込まれた領域を抽出する。ここでは、特徴領域検出部203は、特定種類のオブジェクトが写し込まれた領域を、粗い検出精度で検出してよい。そして、特徴領域検出部203は、抽出した第1の撮像画像上の領域と第2の撮像画像上の領域の中から、互いに対応する領域のペアを検出することにより、特定種類のオブジェクトを検出する。例えば、特徴領域検出部203は、当該ペアの領域の画像から、当該領域に写し込まれた被写体までの距離を算出する。特徴領域検出部203は、被写体までの距離に基づく被写体の3次元形状に基づいて、特定種類のオブジェクトを検出することができる。   For each of the first and second captured images regarded as a pair image, the feature region detection unit 203 extracts a region in which a specific type of object is imprinted on each captured image. Here, the feature area detection unit 203 may detect an area in which a specific type of object is imprinted with rough detection accuracy. The feature region detection unit 203 detects a specific type of object by detecting a pair of regions corresponding to each other from the extracted region on the first captured image and the region on the second captured image. To do. For example, the feature area detection unit 203 calculates the distance from the image of the paired area to the subject imaged in the area. The feature area detection unit 203 can detect a specific type of object based on the three-dimensional shape of the subject based on the distance to the subject.

ここで、特徴領域検出部203は、互いに対応する領域のペアを検出する場合に、ペア画像とみなされる第1および第2の撮像画像から検出した、特定種類のオブジェクトが写し込まれた領域を、複数のサブ領域に分ける。そして、特徴領域検出部203は、各サブ領域に写し出された部分画像を特徴づける特徴量の、複数のサブ領域に渡るベクトルを算出する。ここで、特徴量としては、画素値を例示することができる。また、複数のサブ領域に渡るベクトルとしては、勾配ベクトル(例えば、画素値勾配ベクトル)を例示することができる。そして、特徴領域検出部203は、算出された第1の画像上の領域のベクトルと第2の画像上のベクトルとの間の論理上の距離を算出する。特徴領域検出部203は、論理上の距離が予め定められた値より小さい領域のペアを、互いに対応する領域のペアとして検出する。なお、上記論理上の距離としては、ベクトルを形成する各成分どうしの差に対する二乗和の平方根を例示することができる。このようにして、特徴領域検出部203は、ペア画像から対応する領域のペアを高精度で抽出することができるので、被写体までの距離を高精度で算出することができる。したがって、特徴領域検出部203は、被写体の3次元形状を高精度で認識することができ、その結果、特定種類のオブジェクトをより高精度で検出することができる。   Here, when detecting a pair of regions corresponding to each other, the feature region detection unit 203 detects a region in which a specific type of object detected from the first and second captured images considered as a pair image is imprinted. Divide into multiple sub-regions. Then, the feature region detection unit 203 calculates a vector over a plurality of subregions of the feature amount characterizing the partial image projected in each subregion. Here, as the feature amount, a pixel value can be exemplified. Moreover, as a vector over a plurality of sub-regions, a gradient vector (for example, a pixel value gradient vector) can be exemplified. Then, the feature area detection unit 203 calculates a logical distance between the calculated area vector on the first image and the vector on the second image. The feature region detection unit 203 detects a pair of regions whose logical distance is smaller than a predetermined value as a pair of regions corresponding to each other. As the logical distance, the square root of the sum of squares with respect to the difference between the components forming the vector can be exemplified. In this way, the feature region detection unit 203 can extract a pair of corresponding regions from the pair image with high accuracy, and thus can calculate the distance to the subject with high accuracy. Therefore, the feature region detection unit 203 can recognize the three-dimensional shape of the subject with high accuracy, and as a result, can detect a specific type of object with higher accuracy.

また、特徴領域検出部203は、特願2008−091562号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部203は、動画に含まれる複数の撮像画像のそれぞれから、特定種類の被写体に類似した類被写体形状を、当該類被写体形状の寸法と当該撮像装置100の画角上の位置情報とを伴って抽出する。画角上の位置情報としては、撮像画像における画像領域上の位置を例示することができる。そして、特徴領域検出部203は、抽出した類被写体形状の被写体が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出する。例えば、特徴領域検出部203は、類被写体形状の被写体の周囲の予め定められたサーチ領域から、同一寸法に分類された類被写体形状の被写体が検出された個数を計数して、当該計数値が閾値以上の場合に、当該類被写体形状の被写体を特定種類の被写体として抽出してよい。そして、特徴領域検出部203は、特定種類の被写体を含む領域を、特徴領域として検出してよい。このため、特徴領域検出部203は、所定の寸法に近い寸法の被写体が集中して検出された画像領域内の類被写体形状の被写体を、特定種類の被写体として検出することができる。そして、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として検出しなくてよい。このため、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として誤検出する確率を低減することができる。   The feature region detection unit 203 may detect the feature region by the method described in Japanese Patent Application No. 2008-091562. For example, the feature region detection unit 203 obtains a similar subject shape similar to a specific type of subject from each of the plurality of captured images included in the moving image, the size of the similar subject shape, and the position on the angle of view of the imaging device 100. Extract with information. The position information on the angle of view can be exemplified by the position on the image area in the captured image. Then, the feature region detection unit 203 determines whether or not the extracted subject of the similar subject shape is a specific type of subject, and extracts the specific type of subject. For example, the feature region detection unit 203 counts the number of detected similar subject shapes classified into the same size from a predetermined search region around the similar subject shape, and the count value is If the threshold is equal to or greater than the threshold, the subject having the similar subject shape may be extracted as a specific type of subject. Then, the feature region detection unit 203 may detect a region including a specific type of subject as a feature region. For this reason, the feature region detection unit 203 can detect a subject having a similar subject shape in an image region in which subjects having a size close to a predetermined size are concentrated and detected as a specific type of subject. Then, it is not necessary to detect a subject having a similar subject shape in a region other than the image region as a specific type of subject. For this reason, it is possible to reduce the probability of erroneously detecting a subject having a similar subject shape in a region other than the image region as a specific type of subject.

なお、撮像装置100が画角を可変して撮像することができる場合、上記の画角上の位置情報としては、撮像装置100の撮像方向および撮像画像上の位置を例示することができる。また、複数の撮像装置100により、一の撮像装置100が撮像する被写界より広い連続した被写界を撮像することができる場合、上記の画角上の位置情報としては、複数の撮像装置100のそれぞれの撮像方向、および複数の撮像装置100のそれぞれにより撮像された撮像画像上の位置を例示することができる。   Note that when the imaging apparatus 100 can capture an image with a variable angle of view, the position information on the angle of view can be exemplified by the imaging direction of the imaging apparatus 100 and the position on the captured image. In addition, when a plurality of imaging devices 100 can capture a continuous scene that is wider than the subject captured by one imaging device 100, the positional information on the angle of view includes a plurality of imaging devices. The respective imaging directions of 100 and the positions on the captured image captured by each of the plurality of imaging devices 100 can be exemplified.

なお、本図の構成では、画像処理装置120が有する複数の圧縮部240のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の構成では、画像処理装置120は一の圧縮部240を有してよく、一の圧縮部240が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮部240に時分割で順次供給され、一の圧縮部240が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。   In the configuration of this figure, each of the plurality of compression units 240 included in the image processing device 120 compresses each of the plurality of feature region images and the background region image. , And one compression unit 240 may compress the images of the plurality of characteristic regions and the images of the background region with different strengths. For example, a plurality of feature region images and a background region image are sequentially supplied to one compression unit 240 in a time-sharing manner, and the one compression unit 240 converts the plurality of feature region images and the background region image with different intensities. You may compress sequentially.

他にも、一の圧縮部240は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮部240に供給され、供給された複数の特徴領域の画像および背景領域の画像を一の圧縮部240がそれぞれ圧縮してよい。   In addition, the one compression unit 240 quantizes the image information of the plurality of feature regions and the image information of the background region with different quantization coefficients, respectively, thereby respectively converting the images of the plurality of feature regions and the images of the background region. It may be compressed with different strengths. In addition, an image obtained by converting a plurality of feature region images and a background region image into images of different image quality is supplied to one compression unit 240, and the supplied plurality of feature region images and background region images are combined into one image. The compression units 240 may compress each.

また、上記のように一の圧縮部240が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮部240が圧縮する形態では、一の圧縮部240は、一の画像を圧縮してもよく、本図で説明したように画像分割部204によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮部240が一の画像を圧縮する場合には、画像分割部204による分割処理および固定値化部211による固定値化処理はなされなくてよいので、画像処理装置120は、画像分割部204および固定値化ユニット210を有しなくてよい。   In the form in which one compression unit 240 quantizes with a different quantization coefficient for each region as described above, or one compression unit 240 compresses an image converted into a different image quality for each region, one compression unit 240 240 may compress one image, or may compress each of the images divided by the image dividing unit 204 as described with reference to FIG. Note that when one compression unit 240 compresses one image, the division processing by the image division unit 204 and the fixed value processing by the fixed value conversion unit 211 do not have to be performed. The dividing unit 204 and the fixed value unit 210 may not be provided.

図3は、画像処理装置170のブロック構成の一例を示す。画像処理装置170は、圧縮動画取得部301、対応付け解析部302、圧縮動画伸張ユニット310、合成部303、および出力部304を有する。圧縮動画伸張ユニット310は、複数の圧縮動画伸張部311a−d(以下、圧縮動画伸張部311と総称する。)を含む。   FIG. 3 shows an example of a block configuration of the image processing apparatus 170. The image processing apparatus 170 includes a compressed moving image acquisition unit 301, an association analysis unit 302, a compressed moving image decompression unit 310, a composition unit 303, and an output unit 304. The compressed moving image expansion unit 310 includes a plurality of compressed moving image expansion units 311a-d (hereinafter collectively referred to as a compressed moving image expansion unit 311).

圧縮動画取得部301は、出力部207が出力した、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得する。対応付け解析部302は、例えば付帯されたタグ情報を解析して、圧縮動画取得部301が取得した対応づけられた複数の特徴領域動画データおよび背景領域動画データを取り出す。   The compressed moving image acquisition unit 301 acquires a plurality of associated feature region moving image data and background region moving image data output from the output unit 207. The association analysis unit 302 analyzes, for example, attached tag information, and extracts a plurality of associated feature region movie data and background region movie data acquired by the compressed movie acquisition unit 301.

圧縮動画伸張部311は、複数の特徴領域動画データおよび背景領域動画データを復号する。具体的には、圧縮動画伸張部311aは背景領域動画データを復号する。また、圧縮動画伸張部311b−dは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画および背景領域動画を取得する。なお、圧縮動画伸張部311b−dは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。   The compressed moving image decompression unit 311 decodes the plurality of characteristic area moving image data and background area moving image data. Specifically, the compressed moving image decompression unit 311a decodes the background area moving image data. In addition, the compressed moving image decompression unit 311b-d decodes one feature region moving image out of the plurality of feature region moving image data, and acquires a plurality of feature region moving images and a background region moving image. Note that the compressed moving image decompression unit 311b-d is provided for each type of feature, and decodes any type of feature region moving image data.

合成部303は、圧縮動画伸張部311が復号することによって得られた動画構成画像を合成する。具体的には、合成部303は、圧縮動画伸張部311b−dにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景領域動画が含む動画構成画像に重ね合わせた動画構成画像を生成する。出力部304は、合成部303が生成した複数の動画構成画像を含む動画を、表示装置180に供給する。なお、出力部304は、合成部303が生成した複数の動画構成画像を含む動画を、画像DB175に記録してもよい。なお、画像処理装置170は、出力部207から対応づけられて出力された複数の特徴領域動画データおよび背景領域動画データを、画像DB175に記録してよい。この場合、圧縮動画取得部301は、画像DB175に記録されている、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得してもよい。   The synthesizing unit 303 synthesizes the moving image constituent images obtained by the compressed moving image decompressing unit 311 decoding. Specifically, the synthesizing unit 303 superimposes the feature region images of the moving image constituent images included in each of the plurality of feature region moving images decoded by the compressed moving image decompression unit 311b-d on the moving image constituent images included in the background region moving image. A combined moving image composition image is generated. The output unit 304 supplies a moving image including a plurality of moving image constituent images generated by the combining unit 303 to the display device 180. Note that the output unit 304 may record a moving image including a plurality of moving image constituent images generated by the combining unit 303 in the image DB 175. Note that the image processing apparatus 170 may record a plurality of feature area moving image data and background area moving image data output in association with each other from the output unit 207 in the image DB 175. In this case, the compressed moving image acquisition unit 301 may acquire a plurality of associated feature region moving image data and background region moving image data recorded in the image DB 175.

なお、本実施形態の圧縮動画伸張ユニット310は、特徴の種類の数に応じた複数の圧縮動画伸張部311を含むが、他の形態では、圧縮動画伸張ユニット310が含む一の圧縮動画伸張部311が、背景領域動画データおよび複数の特徴領域動画データを順次復号してもよい。また、画像処理装置120から一の動画データとして提供される場合には、一の圧縮動画伸張部311が当該一の動画データを復号して、復号した得られた動画を出力部304が出力してもよい。   Note that the compressed video decompression unit 310 of the present embodiment includes a plurality of compressed video decompression units 311 corresponding to the number of feature types, but in another form, one compressed video decompression unit included in the compressed video decompression unit 310. 311 may sequentially decode the background area moving image data and the plurality of characteristic area moving image data. In addition, when provided as one moving image data from the image processing device 120, one compressed moving image decompression unit 311 decodes the one moving image data, and the output unit 304 outputs the decoded moving image. May be.

図4は、画像処理装置120の処理フローの一例を示す。圧縮動画取得部201が撮像動画データを取得(401)。圧縮動画伸張部202は、撮像動画データを復号することによって複数のフレーム画像410を生成する。特徴領域検出部203は、フレーム画像410の画像内容又は複数のフレーム画像410の画像内容に基づいて、特徴領域の一例であるROI(Region of interest)を検出する(402)。   FIG. 4 shows an example of the processing flow of the image processing apparatus 120. The compressed moving image acquisition unit 201 acquires captured moving image data (401). The compressed moving image decompression unit 202 generates a plurality of frame images 410 by decoding the captured moving image data. The feature region detection unit 203 detects a region of interest (ROI) that is an example of a feature region based on the image content of the frame image 410 or the image content of the plurality of frame images 410 (402).

特徴領域検出部203は、人物の顔、人体、および移動物体を含む領域を、異なる種類のROIとして検出する。例えば、特徴領域検出部203は、予め定められた人物の顔に関するパターンに対する一致度が、予め定められた一致度より大きいオブジェクトを含む領域をパターンマッチング等により検出して、検出した顔領域をROIとする。また、特徴領域検出部203は、人物の体に関するパターンに対する一致度が予め定められた一致度より大きいオブジェクトを含む人体領域をパターンマッチング等により検出して、検出した領域をROIとする。なお、特徴領域検出部203は、顔領域の近傍に存在する領域から人体領域を検出してもよい。   The feature region detection unit 203 detects regions including human faces, human bodies, and moving objects as different types of ROIs. For example, the feature area detection unit 203 detects, by pattern matching or the like, an area including an object having a degree of coincidence with a pattern related to a predetermined person's face that is greater than a predetermined degree of coincidence, and detects the detected face area as an ROI. And Further, the feature region detection unit 203 detects a human body region including an object having a matching degree with respect to a pattern related to a human body greater than a predetermined matching degree by pattern matching or the like, and sets the detected region as an ROI. Note that the feature region detection unit 203 may detect a human body region from a region existing in the vicinity of the face region.

また、特徴領域検出部203は、複数のフレーム画像の画像内容に基づいて、移動物体を含む領域である動領域を特定する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域を、動領域として特定する。他にも、特徴領域検出部203は、エッジ抽出等により複数のフレーム画像のそれぞれに含まれるオブジェクトを抽出する。そして、特徴領域検出部203は、他のフレーム画像の異なる位置に含まれるオブジェクトであって、予め定められた一致度より大きい一致度で一致するオブジェクトを特定して、特定したオブジェクトを含む領域を動領域として特定してもよい。   In addition, the feature region detection unit 203 identifies a moving region that is a region including a moving object based on the image contents of a plurality of frame images. For example, an area in which the amount of change in pixel value with respect to another frame image is larger than a predetermined amount of change is specified as a moving area. In addition, the feature region detection unit 203 extracts objects included in each of the plurality of frame images by edge extraction or the like. Then, the feature region detection unit 203 identifies objects that are included in different positions of other frame images and that match with a degree of coincidence that is greater than a predetermined degree of coincidence, and includes an area that includes the identified object. It may be specified as a moving area.

このように、特徴領域検出部203は、予め定められた画像内容に関する条件に適合する領域を、ROIとして検出する。より具体的には、特徴領域検出部203は、予め定められた条件に適合するオブジェクトを含む領域を、ROIとして検出する。例えば、特徴領域検出部203は、予め定められた形状との間の一致度が予め定められた一致度より大きいオブジェクトを含む領域を、ROIとして検出する。また、特徴領域検出部203は、画像の変化量が予め定められた変化量より大きい領域を、ROIとして検出する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域をROIとして検出する。   As described above, the feature region detection unit 203 detects a region that meets a predetermined condition relating to image content as an ROI. More specifically, the feature area detection unit 203 detects an area including an object that meets a predetermined condition as an ROI. For example, the feature area detection unit 203 detects, as an ROI, an area that includes an object having a degree of coincidence with a predetermined shape that is greater than a predetermined degree of coincidence. Further, the feature area detection unit 203 detects an area where the change amount of the image is larger than the predetermined change amount as the ROI. For example, an area where the change amount of the pixel value between other frame images is larger than a predetermined change amount is detected as the ROI.

なお、特徴領域検出部203は、上記の人物の顔、人体の他に、人物の頭部の一部の部位または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位が撮像されている領域を、ROIとして検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、特徴領域検出部203は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域をROIとして検出してよい。   In addition to the above-described human face and human body, the feature region detection unit 203 includes at least one part of the human head such as a part of the head of the person, a part of the human body such as the hand of the person, or a living body other than the human body. An area where a part of the part is imaged can be detected as an ROI. The living body includes a specific tissue existing inside the living body such as a tumor tissue or a blood vessel inside the living body. In addition to the living body, the feature region detection unit 203 may detect a region where a card such as money, a cash card, a vehicle, or a license plate of the vehicle is captured as an ROI.

また、特徴領域検出部203は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開2007−188419号公報に記載された機械学習(例えば、アダブースト)等による学習結果に基づいて、ROIを検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域検出部203は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、ROIとして検出してよい。これにより特徴領域検出部203は、予め定められた被写体が撮像されている領域をROIとして検出することができる。なお、特徴領域検出部203は、矩形を含む任意の形状を有するROIを検出してよい。   In addition to pattern matching by template matching or the like, the feature region detection unit 203 detects ROI based on a learning result by machine learning (for example, Adaboost) described in, for example, Japanese Patent Application Laid-Open No. 2007-188419. You can also For example, an image feature amount extracted from a predetermined subject image and an image feature amount extracted from a subject image other than the predetermined subject are extracted from the predetermined subject image. Learn the features of the image features. Then, the feature region detection unit 203 may detect, as an ROI, a region from which an image feature amount having a feature that matches the learned feature is extracted. Thereby, the feature region detection unit 203 can detect a region where a predetermined subject is imaged as an ROI. Note that the feature region detection unit 203 may detect an ROI having an arbitrary shape including a rectangle.

そして、画像処理装置120は、検出されたROIに基づいて圧縮用動画を生成する(403)。具体的には、画像分割部204は、フレーム画像をROIとそれ以外の領域に分割する。そして、画像生成部205は、複数のフレーム画像410を複製することによって、特徴領域動画430、特徴領域動画440、および特徴領域動画450と、背景領域動画420とを生成する。具体的には、画像生成部205は、複数のフレーム画像410を複製することによって、顔領域用の特徴領域動画450、人領域用の特徴領域動画440、動領域用の特徴領域動画430、および背景領域用の背景領域動画420を生成する。   Then, the image processing apparatus 120 generates a moving image for compression based on the detected ROI (403). Specifically, the image dividing unit 204 divides the frame image into ROI and other areas. Then, the image generation unit 205 generates a feature region moving image 430, a feature region moving image 440, a feature region moving image 450, and a background region moving image 420 by duplicating the plurality of frame images 410. Specifically, the image generation unit 205 reproduces a plurality of frame images 410, thereby generating a facial region feature region moving image 450, a human region feature region moving image 440, a moving region feature region moving image 430, and A background area moving image 420 for the background area is generated.

そして、画像処理装置120は、固定値化部211および画質低減部221により、特徴領域動画430、特徴領域動画440、および特徴領域動画450と、背景領域動画420とに対して、画質を低減する(404a、404b、404c、404d)。具体的には、固定値化部211は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像において、画像分割部204が分割したROI内の画素値は変化させず、ROI以外の領域に対する画素値を所定の値(例えば、輝度値0)にする。なお、固定値化部211は、ROI以外の領域の画素値を、当該ROIに近傍する領域の画素値の平均的な画素値にしてよい。   Then, the image processing apparatus 120 reduces the image quality of the feature region moving image 430, the feature region moving image 440, the feature region moving image 450, and the background region moving image 420 by the fixed value converting unit 211 and the image quality reducing unit 221. (404a, 404b, 404c, 404d). Specifically, the fixed value unit 211 changes the pixel values in the ROI divided by the image dividing unit 204 in the frame images included in each of the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450. First, the pixel value for the region other than the ROI is set to a predetermined value (for example, luminance value 0). Note that the fixed value converting unit 211 may set the pixel values in the region other than the ROI as an average pixel value of the pixel values in the region near the ROI.

このように、画像生成部205および固定値化部211により、同じ視野角の複数のフレーム画像をそれぞれ含む特徴領域動画430、特徴領域動画440、および特徴領域動画450および背景領域動画420が生成される。なお、後に詳しく説明するように、画像処理装置170は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のようなROI以外の領域が固定値化されている動画を、背景領域動画420に重ね合わせた動画を生成する。したがって、背景領域動画420、特徴領域動画430、特徴領域動画440、および特徴領域動画450は、それぞれ背景レイヤー、動領域レイヤー、人領域レイヤー、および顔領域レイヤーとみなすことができる。   As described above, the image generation unit 205 and the fixed value conversion unit 211 generate the feature region moving image 430, the feature region moving image 440, the feature region moving image 450, and the background region moving image 420 each including a plurality of frame images having the same viewing angle. The As will be described in detail later, the image processing apparatus 170 converts a moving image in which a region other than the ROI, such as the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450, into a fixed value is used as the background region moving image. A moving image superimposed on 420 is generated. Therefore, the background area animation 420, the feature area animation 430, the feature area animation 440, and the feature area animation 450 can be regarded as a background layer, a motion area layer, a human area layer, and a face area layer, respectively.

また、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像におけるROI内の画像の画質を、特徴の種類に応じて低減する。具体的には、顔領域、人領域、および動領域のそれぞれの画質を定めるパラメータとして、解像度、階調数、および色数の少なくとも1つが予め定められている。例えば、顔領域、人領域、動領域の順に高い解像度が予め定められている。   In addition, the image quality reduction unit 221 reduces the image quality of the image in the ROI in the frame images included in each of the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450 according to the type of feature. Specifically, at least one of resolution, the number of gradations, and the number of colors is determined in advance as a parameter that determines the image quality of each of the face area, the human area, and the moving area. For example, a high resolution is determined in advance in the order of the face area, the human area, and the moving area.

そして、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像におけるROI内の画像の画質を、特徴の種類に対して予め定められた解像度、階調数、および色数の画像に変換する。また、画質低減部221は、背景領域動画のフレーム画像の画質を、ROI内の画像の画質より低くする。例えば、画質低減部221は、背景領域動画のフレーム画像の解像度を、ROI内の画像のより小さくする。   Then, the image quality reduction unit 221 sets the image quality of the image in the ROI in the frame image included in each of the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450 to a resolution predetermined for the type of feature, Convert to an image with the number of gradations and the number of colors. In addition, the image quality reduction unit 221 makes the image quality of the frame image of the background area moving image lower than the image quality of the image in the ROI. For example, the image quality reduction unit 221 makes the resolution of the frame image of the background area moving image smaller than that of the image in the ROI.

また、画質低減部221は、背景領域動画420、特徴領域動画430、特徴領域動画440、および特徴領域動画450のフレームレートを低減する。例えば、特徴の種類ごとに、例えば顔領域、人領域、および動領域ごとに、予めフレームレートが定められている。そして、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450に含まれるフレーム画像を、特徴の種類に応じて予め定められたフレームレートに従って所定の間隔で間引くことによって、特徴領域動画430、特徴領域動画440、および特徴領域動画450のフレームレートを低減する。また、画質低減部221は、背景領域動画420に含まれるフレーム画像を、背景領域動画のフレームレートとして予め定められたフレームレートに従って間引くことによって、背景領域動画420のフレームレートを低減する。   In addition, the image quality reduction unit 221 reduces the frame rates of the background area moving image 420, the feature area moving image 430, the feature area moving image 440, and the feature area moving image 450. For example, a frame rate is determined in advance for each type of feature, for example, for each face area, human area, and moving area. Then, the image quality reduction unit 221 thins out the frame images included in the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450 at a predetermined interval according to a frame rate that is predetermined according to the type of the feature. The frame rates of the feature area animation 430, the feature area animation 440, and the feature area animation 450 are reduced. In addition, the image quality reduction unit 221 reduces the frame rate of the background area moving image 420 by thinning out the frame images included in the background area moving image 420 according to a frame rate predetermined as the frame rate of the background area moving image.

なお、画質低減部221aは、背景領域動画420の画質を低減する。また、画質低減部221b、画質低減部221c、および画質低減部221dは、それぞれ特徴領域動画430、特徴領域動画440、および特徴領域動画450の画質を低減する。   The image quality reduction unit 221a reduces the image quality of the background area moving image 420. In addition, the image quality reduction unit 221b, the image quality reduction unit 221c, and the image quality reduction unit 221d reduce the image quality of the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450, respectively.

そして、背景領域動画符号化部231a、および領域動画符号化部231b−dは、画質低減部221により画質が低減された動画をそれぞれ符号化する(405a、405b、405c、405d)。例えば、背景領域動画符号化部231a、および領域動画符号化部231b−dは、画質低減部221により画質が低減された動画をそれぞれMPEG符号化する。   Then, the background area moving image encoding unit 231a and the area moving image encoding unit 231b-d encode the moving images whose image quality has been reduced by the image quality reducing unit 221 (405a, 405b, 405c, and 405d). For example, the background area moving image encoding unit 231a and the area moving image encoding unit 231b-d each encode the moving image whose image quality has been reduced by the image quality reducing unit 221.

例えば、背景領域動画符号化部231aは、背景領域動画用の符号化設定で背景領域動画をMPEG符号化する。特徴領域動画符号化部231b、特徴領域動画符号化部231c、および特徴領域動画符号化部231dは、それぞれ動領域、人領域、および顔領域のそれぞれの特徴領域動画用の符号化設定で、特徴領域動画をそれぞれMPEG符号化する。なお、符号化設定は、例えばMPEG符号化における量子化テーブルを設定することを含む。なお、符号化設定については図5に関連して説明する。   For example, the background area moving image encoding unit 231a performs MPEG encoding on the background area moving image with the encoding setting for the background area moving image. The feature region moving image encoding unit 231b, the feature region moving image encoding unit 231c, and the feature region moving image encoding unit 231d are encoding settings for the feature region moving image of the moving region, the human region, and the face region, respectively. Each area moving image is MPEG-encoded. Note that the coding setting includes setting a quantization table in MPEG coding, for example. The encoding setting will be described with reference to FIG.

そして、対応付け処理部206は、背景領域動画符号化部231aおよび特徴領域動画符号化部231b−dが符号化することによって得られた背景領域動画データおよび複数の特徴領域動画データにタグ情報を付帯する等して関連付けして、出力部207が表示装置180に出力する(406)。このとき、対応付け処理部206は、背景領域動画および複数の特徴領域動画のそれぞれが含むフレーム画像の表示タイミングを示す情報を含むタイミング情報(例えば、タイムスタンプ)を、タグ情報等に付加してよい。また、対応付け処理部206は、複数の特徴領域の範囲をそれぞれ示す情報を含む特徴領域情報、背景領域動画および複数の特徴領域動画の元となった撮像動画データを撮像した撮像装置100を識別する識別情報等を、タグ情報等に付加してよい。   Then, the association processing unit 206 adds tag information to the background region moving image data and the plurality of feature region moving image data obtained by encoding by the background region moving image encoding unit 231a and the feature region moving image encoding unit 231b-d. The output unit 207 outputs the information to the display device 180 by associating it with an accessory (406). At this time, the association processing unit 206 adds timing information (for example, time stamp) including information indicating the display timing of the frame image included in each of the background area moving image and the plurality of characteristic area moving images to the tag information or the like. Good. In addition, the association processing unit 206 identifies the imaging device 100 that captured the feature region information including information indicating the ranges of the plurality of feature regions, the background region movie, and the captured movie data that is the basis of the plurality of feature region movies. Identification information or the like to be added may be added to tag information or the like.

以上説明したように、特徴領域検出部203は、画像である動画に含まれる複数の動画構成画像から、被写体の種類が異なる複数の特徴領域を検出する。そして、圧縮部240は、複数の特徴領域動画を、それぞれの被写体の種類に応じた強度で圧縮する。なお、本実施形態では、被写体の種類の一例として人物の顔および人体領域について説明したが、他の例では、自動車のナンバープレートおよびナンバープレート以外の車体を被写体の種類としてよい。   As described above, the feature region detection unit 203 detects a plurality of feature regions having different types of subjects from a plurality of moving image constituent images included in a moving image that is an image. Then, the compression unit 240 compresses the plurality of feature area moving images with an intensity corresponding to the type of each subject. In the present embodiment, a human face and a human body region have been described as examples of the types of subjects. However, in other examples, vehicle license plates and vehicle bodies other than license plates may be used as the types of subjects.

また、人物の正面の顔および横顔を被写体の種類としてもよい。また、静止している被写体および動いている被写体を被写体の種類としてもよい。また、特徴領域検出部203は、撮像装置100から被写体までの距離が異なる複数の被写体を含む領域を、特徴の種類が異なる複数の特徴領域として検出してもよい。   Further, the front face and the side face of the person may be the subject type. Further, a stationary subject and a moving subject may be used as the subject type. Further, the feature region detection unit 203 may detect a region including a plurality of subjects having different distances from the imaging device 100 to the subject as a plurality of feature regions having different types of features.

なお、圧縮部240は、特徴の種類の一例である、動き領域、人体、人物の横顔、人物の正面の顔がに大きい圧縮強度で圧縮してよい。なお、本実施形態では、画像処理システム10を監視システムとして利用する利用目的を鑑みて、人物の顔を含む領域をROIとして検出して、検出したROIをROI以外の領域より高画質にするとした。しかしながら、画像処理システム10を、例えば街角の風景を撮像するシステムとして利用することもできる。このような形態で画像処理システム10を利用する場合には、個人情報を保護することを目的として、人物の顔を含む領域をROIとして検出して、検出したROIをROI以外の領域より低画質にしてもよい。例えば圧縮部240は、人物の正面の顔、人物の横顔、人体、動き領域、背景領域の順に大きい圧縮強度で、特徴領域動画および背景領域動画を圧縮してよい。   Note that the compression unit 240 may compress the motion region, the human body, the side profile of the person, and the face in front of the person with high compression strength, which are examples of feature types. In the present embodiment, in consideration of the purpose of using the image processing system 10 as a monitoring system, an area including a human face is detected as an ROI, and the detected ROI has a higher image quality than an area other than the ROI. . However, the image processing system 10 can also be used as, for example, a system that captures landscapes of street corners. When the image processing system 10 is used in such a form, for the purpose of protecting personal information, an area including a human face is detected as an ROI, and the detected ROI has a lower image quality than an area other than the ROI. It may be. For example, the compressing unit 240 may compress the feature region moving image and the background region moving image with a large compression strength in the order of the face in front of the person, the profile of the person, the human body, the motion region, and the background region.

その他にも、特徴領域検出部203は、複数のフレーム画像から、被写体の速度が異なる複数の特徴領域を検出してもよい。この場合、画質低減部221は、特徴領域動画を、被検体の速度がより速いほど、より高いフレームレートの動画に変換してもよい。このように、圧縮部240は、複数の特徴領域動画を、それぞれの被写体の速度に応じた強度で圧縮してよい。   In addition, the feature region detection unit 203 may detect a plurality of feature regions having different subject velocities from a plurality of frame images. In this case, the image quality reduction unit 221 may convert the feature area moving image into a moving image having a higher frame rate as the subject speed increases. As described above, the compression unit 240 may compress a plurality of feature region moving images with an intensity corresponding to the speed of each subject.

以上説明したように、画像処理装置120は、特徴領域動画に含まれるフレーム画像におけるROI以外の領域を固定値化して、視野角が同じ複数の特徴領域動画および背景領域動画を生成する。このため、画像処理装置120によると、特別に設計された符号化器を使用することなく、汎用の符号化器を使用して特徴領域動画を高い圧縮率で圧縮することができる場合がある。例えば、MPEG符号化等のように動きベクトルを用いて特徴領域動画を符号化すると、固定値化した領域中のマクロブロックについては画素値の差分値が0になる場合が多くなる。したがって、このような固定値化により、圧縮率を高く維持しながら画像処理装置120の製造コストを低減することができる場合がある。   As described above, the image processing apparatus 120 generates a plurality of feature region moving images and background region moving images having the same viewing angle by fixing a region other than the ROI in the frame image included in the feature region moving image. For this reason, according to the image processing apparatus 120, the feature region moving image may be compressed at a high compression rate using a general-purpose encoder without using a specially designed encoder. For example, when a feature area moving image is encoded using a motion vector as in MPEG encoding, the difference value between pixel values is often 0 for a macroblock in a fixed value area. Therefore, such fixed values may reduce the manufacturing cost of the image processing apparatus 120 while maintaining a high compression rate.

以上の説明では、圧縮部240は、ROI領域以外の領域が固定値化されたフレーム画像を含む特徴領域動画を圧縮することとした。なお、圧縮部240は、特徴領域動画に含まれるフレーム画像におけるROI内の画像を切り出して圧縮して特徴領域動画として出力してもよい。   In the above description, the compression unit 240 compresses the feature region moving image including the frame image in which the region other than the ROI region is fixed. Note that the compression unit 240 may cut out and compress an image in the ROI in the frame image included in the feature area moving image and output it as a feature area moving image.

なお、特徴領域検出部203がROIを検出していない場合には、出力部207は、圧縮部240aが出力する背景領域動画データを画像処理装置170に出力する。この場合、画像生成部205は特徴領域動画430、特徴領域動画440、および特徴領域動画450を生成しなくてよい。そして、画像生成部205は、特徴領域検出部203がROIを検出したことを条件として、特徴領域動画430、特徴領域動画440、および特徴領域動画450を生成して、出力部207は上記の処理によって生成された複数の特徴領域動画データおよび背景領域動画データを画像処理装置170に出力する。この間、圧縮部240aは、背景領域動画420を圧縮すべく予め定められた背景領域用圧縮率で背景領域動画420を圧縮しつづけてよい。   When the feature area detection unit 203 has not detected the ROI, the output unit 207 outputs the background area moving image data output from the compression unit 240a to the image processing apparatus 170. In this case, the image generation unit 205 does not have to generate the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450. Then, the image generation unit 205 generates the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450 on condition that the feature region detection unit 203 detects the ROI, and the output unit 207 performs the above processing. The plurality of characteristic area moving image data and background area moving image data generated by the above is output to the image processing apparatus 170. During this time, the compression unit 240a may continue to compress the background area moving image 420 at a predetermined compression ratio for the background area in order to compress the background area moving image 420.

その他にも、特徴領域検出部203がROIを検出していない間には、圧縮部240は、背景領域用圧縮率より低く、かつ、特徴領域動画を圧縮する圧縮率より高い、予め定められたROI非検出期間圧縮率で、背景領域動画を圧縮してよい。そして、圧縮部240は、特徴領域検出部203がROIを検出したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。このとき、圧縮部240は、特徴領域動画をROI非検出期間圧縮率より低い圧縮率で圧縮してよい。   In addition, while the feature region detection unit 203 does not detect the ROI, the compression unit 240 is set in advance to be lower than the compression rate for the background region and higher than the compression rate for compressing the feature region moving image. The background area moving image may be compressed at the ROI non-detection period compression rate. Then, the compression unit 240 may compress the background region moving image with the background region compression rate on condition that the feature region detection unit 203 detects the ROI. At this time, the compression unit 240 may compress the feature region moving image at a compression rate lower than the ROI non-detection period compression rate.

なお、圧縮部240は、特徴領域検出部203がROIを検出してから予め定められた期間の背景領域動画をROI非検出期間圧縮率で圧縮するとともに、予め定められた期間より長い期間が経過したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。こうすると、本来ROIとして検出されるべき領域がROIとして検出されなかった場合でも、ある程度の画質の背景領域動画を提供することができる場合がある。また、圧縮部240は、特徴領域検出部203が検出した複数のフレーム画像におけるROI領域の位置から推定される他のフレーム画像におけるROI領域を含む領域の画質を、他の領域の画質より高い画質にすべく、圧縮率を領域ごとに異ならせてもよい。   The compression unit 240 compresses the background region moving image of a predetermined period after the ROI is detected by the feature region detection unit 203 at the ROI non-detection period compression rate, and a period longer than the predetermined period elapses. As a condition, the background area moving image may be compressed at the compression ratio for the background area. In this case, even when the region that should originally be detected as ROI is not detected as ROI, a background region moving image having a certain level of image quality may be provided. The compression unit 240 also sets the image quality of the region including the ROI region in the other frame image estimated from the position of the ROI region in the plurality of frame images detected by the feature region detection unit 203 to be higher than the image quality of the other region. Therefore, the compression rate may be different for each region.

図5は、複数の特徴領域動画および背景領域動画の画質の一例を示す。ここでは、説明を簡単にすることを目的として、圧縮動画取得部201が取得した撮像動画データのフレームレートが16fpsであり、当該撮像動画データに含まれるフレーム画像の解像度が72dpiであるとする。   FIG. 5 shows an example of the image quality of a plurality of feature area videos and background area videos. Here, for the purpose of simplifying the description, it is assumed that the frame rate of the captured moving image data acquired by the compressed moving image acquisition unit 201 is 16 fps, and the resolution of the frame image included in the captured moving image data is 72 dpi.

撮像動画に含まれるフレーム画像410の解像度に対する画質低減後の背景領域動画420に含まれるフレーム画像の解像度の比率を示す解像度比率は予め1/8と定められている。画質低減部221は、画像生成部205によって撮像動画が複製されることによって生成された画質低減前の背景領域動画420に含まれるフレーム画像に対して1/8の解像度である9dpiのフレーム画像を、画質低減前の背景領域動画420に含まれるフレーム画像の画素を間引くことによって生成する。また、撮像動画のフレームレートに対する画質低減後の背景領域動画420のフレームレートの比率を示すフレームレート比率は予め1/8と定められている。画質低減部221は、画質低減前の背景領域動画420のフレームレートの1/8のフレームレートである2fpsのフレームレートの背景領域動画420を、画質低減前の背景領域動画420に含まれるフレーム画像を間引くことによって生成する。   The resolution ratio indicating the ratio of the resolution of the frame image included in the background area moving image 420 after image quality reduction to the resolution of the frame image 410 included in the captured moving image is predetermined as 1/8. The image quality reduction unit 221 generates a 9 dpi frame image having a resolution of 1/8 with respect to the frame image included in the background area video 420 before image quality reduction generated by copying the captured video by the image generation unit 205. This is generated by thinning out the pixels of the frame image included in the background area moving image 420 before image quality reduction. In addition, the frame rate ratio indicating the ratio of the frame rate of the background area moving image 420 after image quality reduction to the frame rate of the captured moving image is set to 1/8 in advance. The image quality reduction unit 221 converts the background area video 420 having a frame rate of 2 fps, which is a frame rate of 1/8 of the frame rate of the background area video 420 before the image quality reduction, into a frame image included in the background area video 420 before the image quality reduction. Generate by thinning out.

同様に、複数の特徴領域動画のそれぞれに対しても、解像度比率およびフレームレート比率が定められている。例えば、特徴領域動画430については解像度比率およびフレームレート比率は1/4が定められており、特徴領域動画440については解像度比率およびフレームレート比率として1/2が定められており、特徴領域動画450については解像度比率およびフレームレート比率として1/1が定められている。これにより、画質低減部221bは、フレームレートが4fps、フレーム画像の解像度が18dpiの特徴領域動画430を生成する。また、画質低減部221cは、フレームレートが8fps、フレーム画像の解像度が36dpiの特徴領域動画440を生成する。また、画質低減部221dは、フレームレートが16fps、フレーム画像の解像度が72dpiの特徴領域動画450を生成する。   Similarly, a resolution ratio and a frame rate ratio are determined for each of the plurality of characteristic area moving images. For example, the resolution ratio and the frame rate ratio are set to 1/4 for the feature area moving image 430, and the resolution ratio and the frame rate ratio are set to 1/2 for the feature area moving image 440. Is defined as 1/1 as the resolution ratio and the frame rate ratio. As a result, the image quality reduction unit 221b generates a feature region moving image 430 having a frame rate of 4 fps and a frame image resolution of 18 dpi. In addition, the image quality reduction unit 221c generates a feature region moving image 440 having a frame rate of 8 fps and a frame image resolution of 36 dpi. In addition, the image quality reduction unit 221d generates a feature region moving image 450 having a frame rate of 16 fps and a frame image resolution of 72 dpi.

なお、上記の例では、画質低減部221が複数の特徴領域動画および背景領域動画に含まれるフレーム画像の画素を間引くことによってフレーム画像の画質を低減する場合を例に挙げて説明した。その他にも、画質低減部221は、例えばローパスフィルタ等の、所定の周波数領域を通過するフィルタを用いてフレーム画像の画質を低減してもよい。この場合、フィルタが通過する周波数帯域および通過する度合いを示す強度は、特徴の種類ごと、例えば背景領域、動領域、人領域、および顔領域ごとに予め定められてよい。   In the above example, the case where the image quality reduction unit 221 reduces the image quality of the frame image by thinning out the pixels of the frame image included in the plurality of feature region moving images and the background region moving image has been described as an example. In addition, the image quality reduction unit 221 may reduce the image quality of the frame image using a filter that passes through a predetermined frequency region, such as a low-pass filter. In this case, the frequency band through which the filter passes and the intensity indicating the degree of passage may be determined in advance for each type of feature, for example, for each of the background region, the moving region, the human region, and the face region.

なお、画質低減部221による画質低減に加えて、又は画質低減部221による画質低減に替えて、符号化部231がフレーム画像の画質を低減してもよい。例えば、符号化部231が、MPEG符号化における量子化テーブルの値を大きくすることによって、画質を低減することができる。量子化テーブルの値の大きさは、特徴の種類ごとに予め定められてよい。例えば、背景領域動画符号化部231aおよび複数の特徴領域動画符号化部231b−dのそれぞれが、予め設定された値を持つ量子化テーブルを用いて符号化してよい。また、量子化テーブルにおける周波数成分ごとの値が特徴の種類ごとに予め定められていてよい。   In addition to the image quality reduction by the image quality reduction unit 221, or in place of the image quality reduction by the image quality reduction unit 221, the encoding unit 231 may reduce the image quality of the frame image. For example, the encoding unit 231 can reduce the image quality by increasing the value of the quantization table in MPEG encoding. The magnitude of the value of the quantization table may be determined in advance for each type of feature. For example, each of the background region moving image encoding unit 231a and the plurality of feature region moving image encoding units 231b-d may perform encoding using a quantization table having a preset value. In addition, a value for each frequency component in the quantization table may be determined in advance for each type of feature.

また、画質低減部221はさらに、背景領域動画に含まれる複数のフレーム画像を平均化してもよい。これによれば、移動物体を示すオブジェクトがフレーム画像に含まれている場合に、移動物体のオブジェクトが平均化されたフレーム画像が得られる。そして、このような複数のフレーム画像を連続表示させると、移動物体の動きが閲覧者の目に滑らかに映る場合がある。   Further, the image quality reduction unit 221 may further average a plurality of frame images included in the background area moving image. According to this, when an object indicating a moving object is included in the frame image, a frame image in which the objects of the moving object are averaged is obtained. When such a plurality of frame images are continuously displayed, the movement of the moving object may appear smoothly in the viewer's eyes.

なお、以上の説明では、画像生成部205が撮像動画を複製してから、複製して得られた複数の特徴領域動画および背景領域動画に含まれるフレーム画像を間引いたり、画素を間引いたりすることによって、複数の特徴領域動画および背景領域動画を圧縮する形態について説明した。その他にも、画像生成部205は、撮像動画に含まれる複数のフレーム画像をフレームレート比率に従って間引いて選択することによって、フレームレートが低減された複数の特徴領域動画および背景領域動画を生成してもよい。その後に、固定値化部211aが固定値化して、画質低減部221が解像度を低減することによって、複数の特徴領域動画および背景領域動画の画質を低減してよい。   In the above description, after the image generation unit 205 replicates the captured moving image, frame images included in a plurality of feature region moving images and background region moving images obtained by copying are thinned out or pixels are thinned out. In the above, the mode of compressing a plurality of feature region moving images and background region moving images has been described. In addition, the image generation unit 205 generates a plurality of feature area videos and background area videos with a reduced frame rate by thinning out and selecting a plurality of frame images included in the captured video according to the frame rate ratio. Also good. Then, the image quality of the plurality of feature area moving images and the background area moving images may be reduced by the fixed value converting unit 211a fixing the value and the image quality reducing unit 221 reducing the resolution.

図6は、画像処理装置170の処理フローの一例を示す。圧縮動画取得部301は、画像処理装置120から、対応づけされた複数の特徴領域動画データおよび背景領域動画データを取得して、付帯されたタグ情報によりタイミング情報、撮像装置100を識別する情報等を取得する(601)。そして、圧縮動画伸張部311は、それぞれ複数の特徴領域動画データおよび背景領域動画データを復号することにより、背景レイヤーを示す背景領域動画610を生成する。(602a)同時に、圧縮動画伸張部311は、動領域レイヤーを示す特徴領域動画620、人領域レイヤーを示す特徴領域動画630、および顔領域レイヤーを示す特徴領域動画640を生成する(602b、602c、および602d)。   FIG. 6 shows an example of the processing flow of the image processing apparatus 170. The compressed moving image acquisition unit 301 acquires a plurality of associated feature area moving image data and background area moving image data from the image processing device 120, and identifies timing information, information for identifying the imaging device 100, and the like using the attached tag information. Is acquired (601). Then, the compressed moving image decompression unit 311 generates a background region moving image 610 indicating a background layer by decoding a plurality of feature region moving image data and background region moving image data, respectively. (602a) At the same time, the compressed video decompression unit 311 generates a feature area video 620 indicating a moving area layer, a feature area video 630 indicating a human area layer, and a feature area video 640 indicating a face area layer (602b, 602c, And 602d).

合成部303は、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640に含まれるフレーム画像を合成する(603)。このとき、合成部303は、背景領域動画および複数の特徴領域動画のそれぞれに含まれるフレーム画像の解像度に応じて、最大の解像度を有するフレーム画像と同じ位置の被写体が重ね合うようフレーム画像を拡大して、拡大したフレーム画像を重ね合わせて合成フレーム画像を生成する。   The synthesizing unit 303 synthesizes frame images included in the background area moving image 610, the characteristic area moving image 620, the characteristic area moving image 630, and the characteristic area moving image 640 (603). At this time, the synthesis unit 303 enlarges the frame image so that the subject at the same position as the frame image having the maximum resolution overlaps according to the resolution of the frame image included in each of the background area moving image and the plurality of characteristic area moving images. Then, the enlarged frame images are superimposed to generate a composite frame image.

このとき、合成部303は、特徴領域動画620、特徴領域動画630、および特徴領域動画640に含まれるフレーム画像における特徴領域の画像を切り出して、背景領域動画610に含まれるフレーム画像に上書きすることによって合成フレーム画像を生成する。また、合成部303は、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640のフレームレートが異なる場合には、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640の最新のフレーム画像を合成する。   At this time, the synthesizing unit 303 cuts out the feature region image in the frame image included in the feature region moving image 620, the feature region moving image 630, and the feature region moving image 640, and overwrites the frame image included in the background region moving image 610. To generate a composite frame image. In addition, when the frame rates of the background area moving image 610, the feature area moving image 620, the feature area moving image 630, and the feature area moving image 640 are different, the synthesizing unit 303 performs the background area moving image 610, the feature area moving image 620, and the feature area moving image 630. , And the latest frame image of the feature region moving image 640 are synthesized.

これにより、合成部303は、合成フレーム画像を生成する。合成部303は、複数の合成フレーム画像を含む合成動画650を生成する。そして、出力部304は、圧縮動画取得部301が取得したタグ情報等に基づいて、合成動画を表示させる表示装置180を選択して、選択した表示装置180に合成動画を供給する(604)。   Thereby, the composition unit 303 generates a composite frame image. The combining unit 303 generates a combined moving image 650 including a plurality of combined frame images. Then, the output unit 304 selects the display device 180 that displays the composite video based on the tag information acquired by the compressed video acquisition unit 301 and supplies the composite video to the selected display device 180 (604).

図7は、複数の動画構成画像において特徴領域を特定する方法の一例を示す。図7において、上段に示す動画700は、特徴領域検出部203によって選択画像の特徴領域が検出された動画を示す。一方、図7において、下段に示す動画700は、特徴領域特定部252によって非選択画像の特徴領域が特定された動画を示す。また、動画700は、連続している動画構成画像701−705を含んでいる。   FIG. 7 shows an example of a method for specifying a feature region in a plurality of moving image constituent images. In FIG. 7, a moving image 700 shown in the upper part indicates a moving image in which the feature region of the selected image is detected by the feature region detection unit 203. On the other hand, in FIG. 7, a moving image 700 shown in the lower part indicates a moving image in which the feature region of the non-selected image is specified by the feature region specifying unit 252. The moving image 700 includes continuous moving image constituent images 701 to 705.

動画700に含まれる動画構成画像のうち、動画構成画像701および動画構成画像705は、動画700の中から任意に選択された選択画像を示す。例えば、動画構成画像701および動画構成画像705は、MPEG符号化におけるIフレームである。また、動画700に含まれる動画構成画像のうち、動画構成画像702、動画構成画像703、および動画構成画像704は、動画700の中から任意に選択された選択画像ではない非選択画像を示す。例えば、動画構成画像702、動画構成画像703、および動画構成画像704は、MPEG符号化におけるBフレームまたはPフレームである。   Of the moving image constituent images included in the moving image 700, the moving image constituent image 701 and the moving image constituent image 705 indicate selected images arbitrarily selected from the moving image 700. For example, the moving image constituent image 701 and the moving image constituent image 705 are I frames in MPEG encoding. Of the moving image constituent images included in the moving image 700, the moving image forming image 702, the moving image forming image 703, and the moving image forming image 704 indicate non-selected images that are not selected images arbitrarily selected from the moving image 700. For example, the moving picture constituent image 702, the moving picture constituent image 703, and the moving picture constituent image 704 are B frames or P frames in MPEG coding.

ここで、動画構成画像701および動画構成画像705は、選択画像であることから、図7の上段に示すように、特徴領域検出部203によって、動画構成画像701は、特徴領域701aが検出されており、動画構成画像705は、特徴領域705aが検出されている。一方、動画構成画像702、動画構成画像703、および動画構成画像704は、非選択画像であることから、図7の上段に示すように、特徴領域は検出されていない。   Here, since the moving image constituent image 701 and the moving image constituent image 705 are selected images, as shown in the upper part of FIG. 7, the feature region detecting unit 203 detects the characteristic region 701a of the moving image constituent image 701. In the moving image composition image 705, a feature region 705a is detected. On the other hand, since the moving image composition image 702, the moving image composition image 703, and the moving image composition image 704 are non-selected images, no feature region is detected as shown in the upper part of FIG.

そこで、特徴領域特定部252は、特徴領域701aの位置および特徴領域705の位置に基づいて、動画構成画像702における特徴領域702a、動画構成画像703における特徴領域703b、および動画構成画像704における特徴領域704bを特定している。これにより、動画構成画像701−705は、図7の下段に示すように、それぞれ特徴領域が特定された状態となる。   Therefore, the feature region specifying unit 252 determines the feature region 702a in the movie composition image 702, the feature region 703b in the movie composition image 703, and the feature region in the movie composition image 704 based on the position of the feature region 701a and the position of the feature region 705. 704b is specified. As a result, the moving image composition images 701 to 705 are in a state in which the characteristic regions are specified as shown in the lower part of FIG.

特徴領域特定部252は、特徴領域701aの位置および特徴領域705aの位置に基づいて、動画700の動きベクトルを用いて、特徴領域702a、特徴領域703b、および特徴領域704bを特定している。なお、特徴領域特定部252は、特徴領域701aの位置および特徴領域705aの位置に基づいて、線形補間により、特徴領域702a、特徴領域703b、および特徴領域704bを特定してもよい。   The feature region specifying unit 252 specifies the feature region 702a, the feature region 703b, and the feature region 704b using the motion vector of the moving image 700 based on the position of the feature region 701a and the position of the feature region 705a. Note that the feature region specifying unit 252 may specify the feature region 702a, the feature region 703b, and the feature region 704b by linear interpolation based on the position of the feature region 701a and the position of the feature region 705a.

このように、本実施形態の画像処理装置120は、選択画像に対しては、特徴領域検出部203が、特徴領域を検出している。一方、非選択画像に対しては、特徴領域特定部252が、選択画像の特徴領域に基づいて、特徴領域を特定している。これにより、本実施形態の画像処理装置120を、実際の監視システムに適用した場合には、特徴領域検出部203による特徴領域の検出処理回数を軽減することができる場合があり、結果的に、動画に含まれる複数の動画構成画像から特徴領域を特定するときの、処理時間を短縮することができる場合がある。   As described above, in the image processing apparatus 120 according to the present embodiment, the feature region detection unit 203 detects the feature region for the selected image. On the other hand, for a non-selected image, the feature region specifying unit 252 specifies the feature region based on the feature region of the selected image. Thereby, when the image processing apparatus 120 of the present embodiment is applied to an actual monitoring system, the number of feature region detection processes performed by the feature region detection unit 203 may be reduced. In some cases, it is possible to reduce the processing time when a feature region is specified from a plurality of moving image constituent images included in a moving image.

図8は、包含領域以外の領域を固定値化する方法の一例を示す。図8において、動画800は、包含領域特定部261によって包含領域が特定され、固定値化部211によって包含領域以外の領域が固定値化された動画を示す。また、動画800は、連続する動画構成画像801−805を含んでいる。   FIG. 8 shows an example of a method for fixing areas other than the inclusion area. In FIG. 8, a moving image 800 indicates a moving image in which an inclusion region is specified by the inclusion region specifying unit 261 and a region other than the inclusion region is fixed by the fixed value conversion unit 211. The moving image 800 includes continuous moving image constituent images 801-805.

動画構成画像801の特徴領域および動画構成画像805の特徴領域は、特徴領域検出部203によって検出されている。動画構成画像802の特徴領域、動画構成画像803の特徴領域、および動画構成画像804の特徴領域は、特徴領域特定部252によって特定されている。そして、動画構成画像801−805のそれぞれにおいて、包含領域810は、包含領域特定部261によって特定された、動画構成画像801−805のそれぞれの特徴領域を包含する領域を示す。また、動画構成画像801−805のそれぞれにおいて、包含領域810以外の領域は、固定値化部211によって画素値が「0」に固定値化されている。   The feature region of the moving image composition image 801 and the feature region of the moving image composition image 805 are detected by the feature region detection unit 203. The feature region of the moving image composition image 802, the feature region of the moving image composition image 803, and the feature region of the moving image composition image 804 are specified by the feature region specifying unit 252. In each of the moving image composition images 801 to 805, an inclusion area 810 indicates an area that includes each feature area of the moving image composition images 801 to 805 specified by the inclusion area specifying unit 261. In each of the moving image constituent images 801 to 805, the pixel value of each region other than the inclusion region 810 is fixed to “0” by the fixed value converting unit 211.

このように、本実施形態の画像処理装置120は、複数の動画構成画像の特徴領域を包含する包含領域を特定した後に、包含領域以外の領域を固定値化する。これにより、本実施形態の画像処理装置120を、実際の監視システムに適用した場合には、動画構成画像間における包含領域以外の領域における画素値の差分量を少なくすることができ、結果的に、動画構成画像間における差分データの圧縮率を高めることができる。   As described above, the image processing apparatus 120 according to the present embodiment specifies an inclusion region that includes the feature regions of a plurality of moving image constituent images, and then fixes a region other than the inclusion region to a fixed value. As a result, when the image processing apparatus 120 of the present embodiment is applied to an actual monitoring system, it is possible to reduce the amount of difference in pixel values in regions other than the inclusion region between moving image constituent images. The compression rate of the difference data between the moving image constituent images can be increased.

図9は、動画構成画像の参照関係の一例を示す。上述したように、撮像装置100から供給された撮像動画データがフレーム間圧縮を用いた圧縮方式で圧縮されている場合、撮像動画データには、一の動画構成画像における部分領域(例えば、マクロブロック、スライスなど)の画像と他の動画構成画像における対応する大きさの画像領域の画像との間の差分データが含まれる。また、撮像動画データには、当該一の動画構成画像における部分領域の位置と、当該部分領域の差分対象となった画像領域の位置との間の位置差を示す動きベクトル情報が、撮像動画データに含まれる。   FIG. 9 shows an example of the reference relationship of the moving image constituent images. As described above, when the captured moving image data supplied from the imaging apparatus 100 is compressed by a compression method using inter-frame compression, the captured moving image data includes a partial area (for example, a macroblock) in one moving image constituent image. , Slices, etc.) and the difference data between the images of the image areas of the corresponding size in the other moving image constituent images are included. In addition, in the captured moving image data, motion vector information indicating a position difference between the position of the partial region in the one moving image constituent image and the position of the image region that is the difference target of the partial region is captured image data. include.

これらの領域は、動きベクトルで互いに結びつけられているということができる。そして、本実施形態では、部分領域の差分対象領域のことを、部分領域が参照している領域と呼ぶ。そして、本実施形態では、一の動画構成画像における部分領域と動きベクトルで結び付けられた他の動画構成画像における部分領域を、直接的な参照関係がある部分領域とする。また、これらの直接的な部分領域を含む領域どうしを、直接的な参照関係がある領域とする。また、これらの直接的な部分領域を含む動画構成画像どうしを、直接的な参照関係がある動画構成画像とする。   It can be said that these regions are connected to each other by a motion vector. In the present embodiment, the difference target area of the partial area is referred to as an area referred to by the partial area. In this embodiment, a partial area in one moving image constituent image and a partial area in another moving image constituent image connected by a motion vector are set as partial areas having a direct reference relationship. Further, the regions including these direct partial regions are regions having a direct reference relationship. In addition, the moving image composition images including these direct partial areas are set as moving image composition images having a direct reference relationship.

また、他の動画構成画像も、さらなる他の動画構成画像と動きベクトルで結びつけられている。この場合、当該一の動画構成画像における部分領域と直接的な参照関係がある他の動画構成画像における部分領域が、さらなる他の動画構成画像における部分領域と直接的な参照関係がある場合がある。この場合、さらなる他の動画構成画像における部分領域を、当該一の動画構成画像における部分領域と間接的な参照関係がある部分領域とする。また、これらの間接的な部分領域を含む領域どうしを、間接的な参照関係がある領域とする。また、これらの間接的な部分領域を含む動画構成画像どうしを、間接的な参照関係がある動画構成画像とする。このように、一の動画構成画像における部分領域と他の動画構成画像における部分領域とが、複数の直接的な参照関係で結ばれている場合に、これらの部分領域を間接的に参照関係にある部分領域とする。   Also, other moving image constituent images are associated with other moving image constituent images by motion vectors. In this case, a partial region in another moving image constituent image that has a direct reference relationship with a partial region in the one moving image constituent image may have a direct reference relationship with a partial region in another moving image constituent image. . In this case, a partial area in still another moving image constituent image is a partial area having an indirect reference relationship with the partial area in the one moving image constituent image. In addition, regions including these indirect partial regions are regions having an indirect reference relationship. In addition, the moving image constituent images including these indirect partial areas are set as moving image constituent images having an indirect reference relationship. As described above, when a partial region in one moving image constituent image and a partial region in another moving image constituent image are connected by a plurality of direct reference relationships, these partial regions are indirectly in a reference relationship. Let it be a certain partial area.

本図に示されるように、撮像動画に含まれる動画構成画像910−1〜7(以下、動画構成画像910と総称する場合がある。)のうち、動画構成画像910−1がIフレームであり、動画構成画像910−4および動画構成画像910−7がPフレームであり、それ以外の動画構成画像910がBフレームであるとする。この場合、例えば、動画構成画像910−2〜4は、動画構成画像910−1と直接的な参照関係にありえる。なお、本図では、直接的な参照関係にありえる動画構成画像どうしが、フレーム間予測の予測方向を示す矢印901〜909で結ばれて示されている。   As shown in this figure, among the moving image composition images 910-1 to 910-7 included in the captured moving image (hereinafter, sometimes collectively referred to as the moving image composition image 910), the moving image composition image 910-1 is an I frame. Suppose that the moving image composition image 910-4 and the moving image composition image 910-7 are P frames and the other moving image composition images 910 are B frames. In this case, for example, the moving image composition images 910-2 to 910-4 can have a direct reference relationship with the moving image composition image 910-1. In this figure, moving image constituent images that may have a direct reference relationship are shown connected by arrows 901 to 909 indicating the prediction direction of inter-frame prediction.

図10は、参照関係で結ばれた特徴領域の一例を示す。以下の説明では、動画構成画像910のそれぞれの画像領域を一の画像領域1000で示す。本図の(a)を参照して、特徴領域1011は、特徴領域検出部203が、動画構成画像910−1から検出した特徴領域であるとする。一例として、特徴領域検出部203は、テンプレートマッチング等の画像認識処理により、特徴領域1011を検出する。   FIG. 10 shows an example of feature regions connected by a reference relationship. In the following description, each image area of the moving image composition image 910 is indicated by one image area 1000. With reference to (a) of this figure, it is assumed that the feature region 1011 is a feature region detected by the feature region detection unit 203 from the moving image constituent image 910-1. As an example, the feature region detection unit 203 detects the feature region 1011 by image recognition processing such as template matching.

特徴領域特定部252は、特徴領域1011に含まれるマクロブロックを起点として、当該マクロブロックに関連づけられた動きベクトルを複数の動画構成画像にわたって辿っていく。なお、マクロブロックに関連づけられた動きベクトルは、当該マクロブロックとの差分対象となる画像領域の位置と当該マクロブロックの位置との間の位置差を示す情報であってよい。また、マクロブロックに関連づけられた動きベクトルは、当該マクロブロックの少なくとも一部の画像領域を他のマクロブロックの差分対象である場合に、当該マクロブロックの少なくとも一部の画像領域の位置と当該他のマクロブロックの位置との間の位置差を示す情報であってよい。   The feature area specifying unit 252 follows a motion vector associated with the macro block over a plurality of moving image constituent images, starting from the macro block included in the feature area 1011. Note that the motion vector associated with the macroblock may be information indicating a position difference between the position of the image area to be a difference object from the macroblock and the position of the macroblock. In addition, the motion vector associated with the macroblock is determined based on the position of at least a part of the macro block and the other part of the macro block when the part of the macro block is a difference target of the other macro block. It may be information indicating a positional difference between the macroblocks.

これにより、特徴領域特定部252は、特徴領域1011に含まれるマクロブロックと直接的または間接的な参照関係にある、他の動画構成画像における領域を特定する。そして、特徴領域特定部252は、当該直接的または間接的な参照関係にある領域を含む領域を、他の動画構成画像における特徴領域として特定する。例えば、特徴領域特定部252は、当該直接的または間接的な参照関係にある領域を含み、特徴領域1011と同じ大きさの領域を、他の動画構成画像における特徴領域として特定してよい。   Thereby, the feature region specifying unit 252 specifies a region in another moving image constituent image that has a direct or indirect reference relationship with the macroblock included in the feature region 1011. Then, the feature region specifying unit 252 specifies a region including a region having the direct or indirect reference relationship as a feature region in another moving image constituent image. For example, the feature region specifying unit 252 may specify a region having the same size as the feature region 1011 as a feature region in another moving image constituent image, including the region having the direct or indirect reference relationship.

例えば、特徴領域特定部252は、特徴領域1011の位置、および参照関係900、および動画構成画像910−4に関連づけられた動きベクトルに基づいて、動画構成画像910−1と直接的な参照関係にある動画構成画像910−4における特徴領域1014を特定することができる。また、特徴領域特定部252は、参照関係908および動画構成画像910−6に関連づけられた動きベクトルにさらに基づいて、動画構成画像910−1と間接的な参照関係にある動画構成画像910−6における特徴領域1016を特定することができる。このように、特徴領域特定部252は、特徴領域1011と特徴領域1014との間の位置差を示す特徴領域ベクトル1010−1と、特徴領域1014と特徴領域1016との間の位置差を示す特徴領域ベクトル1010−2とを算出することができる。   For example, the feature area specifying unit 252 has a direct reference relationship with the moving image constituent image 910-1 based on the position of the characteristic region 1011, the reference relationship 900, and the motion vector associated with the moving image constituent image 910-4. A feature region 1014 in a certain moving image composition image 910-4 can be specified. In addition, the feature region specifying unit 252 further includes the moving image constituent image 910-6 that has an indirect reference relationship with the moving image constituent image 910-1, based on the reference relationship 908 and the motion vector associated with the moving image constituent image 910-6. The feature region 1016 in can be identified. As described above, the feature region specifying unit 252 includes a feature region vector 1010-1 that indicates a position difference between the feature region 1011 and the feature region 1014, and a feature that indicates a position difference between the feature region 1014 and the feature region 1016. A region vector 1010-2 can be calculated.

また、本図の(b)を参照して、特徴領域1023は、特徴領域検出部203が、動画構成画像910−3から検出した特徴領域であるとする。一例として、特徴領域検出部203は、テンプレートマッチング等の画像認識処理により、特徴領域1023を検出する。   Also, referring to (b) of this figure, it is assumed that the feature region 1023 is a feature region detected by the feature region detection unit 203 from the moving image composition image 910-3. As an example, the feature region detection unit 203 detects the feature region 1023 by image recognition processing such as template matching.

特徴領域特定部252は、特徴領域1023の位置、参照関係903、および動画構成画像910−3に関連づけられた動きベクトルに基づいて、動画構成画像910−3と直接的な参照関係にある動画構成画像910−1における特徴領域1021を特定することができる。また、特徴領域特定部252は、参照関係900および動画構成画像910−4に関連づけられた動きベクトルにさらに基づいて、動画構成画像910−3と間接的な参照関係にある動画構成画像910−4における特徴領域1024を特定することができる。   The feature region specifying unit 252 has a moving image configuration directly related to the moving image constituent image 910-3 based on the position of the characteristic region 1023, the reference relationship 903, and the motion vector associated with the moving image constituent image 910-3. The feature region 1021 in the image 910-1 can be specified. In addition, the feature region specifying unit 252 further includes the moving image constituent image 910-4 in an indirect reference relationship with the moving image constituent image 910-3 based further on the motion relationship associated with the reference relationship 900 and the moving image constituent image 910-4. The feature region 1024 in can be identified.

また、特徴領域特定部252は、参照関係905および動画構成画像910−7に関連づけられた動きベクトルにさらに基づいて、動画構成画像910−3と間接的な参照関係にある動画構成画像910−7における特徴領域1027を特定することができる。また、特徴領域特定部252は、参照関係909および動画構成画像910−6に関連づけられた動きベクトルにさらに基づいて、動画構成画像910−3と間接的な参照関係にある動画構成画像910−6における特徴領域1026を特定することができる。このように、特徴領域特定部252は、特徴領域1023と特徴領域1021との間の位置差を示す特徴領域ベクトル1020−2と、特徴領域1021と特徴領域1024との間の位置差を示す特徴領域ベクトル1020−2と、特徴領域1024と特徴領域1027との間の位置差を示す特徴領域ベクトル1020−3と、特徴領域1027と特徴領域1026との間の位置差を示す特徴領域ベクトル1020−4とを算出することができる。   In addition, the feature region specifying unit 252 further includes the moving image constituent image 910-7 that has an indirect reference relationship with the moving image constituent image 910-3, based on the motion vector associated with the reference relationship 905 and the moving image constituent image 910-7. The feature region 1027 in can be identified. In addition, the feature region specifying unit 252 further includes the moving image constituent image 910-6 that has an indirect reference relationship with the moving image constituent image 910-3, based further on the reference relationship 909 and the motion vector associated with the moving image constituent image 910-6. The feature region 1026 in can be identified. As described above, the feature region specifying unit 252 includes a feature region vector 1020-2 that indicates a positional difference between the feature region 1023 and the feature region 1021, and a feature that indicates a positional difference between the feature region 1021 and the feature region 1024. A region vector 1020-2, a feature region vector 1020-3 indicating a positional difference between the feature region 1024 and the feature region 1027, and a feature region vector 1020- indicating a positional difference between the feature region 1027 and the feature region 1026. 4 can be calculated.

このように、特徴領域特定部252は、選択画像における特徴領域の位置、および複数の動画構成画像における動きベクトルに基づいて、非選択画像における特徴領域の位置を特定することができる。具体的には、特徴領域特定部252は、選択画像における特徴領域の位置、非選択画像における動きベクトル、および、選択画像における特徴領域および非選択画像と動きベクトルによって直接的または間接的な参照関係にある1以上の動画構成画像における動きベクトルに基づいて、選択画像における特徴領域と動きベクトルによって間接的な参照関係にある非選択画像における特徴領域の位置を特定する。具体的には、特徴領域特定部252は、選択画像における特徴領域と動きベクトルによって間接的な参照関係にある領域である参照関係領域を特定して、特定した参照関係領域の少なくとも一部を含む領域を、特徴領域として特定する。このため、特徴領域特定部252は、非選択画像における特徴領域を高速に特定することができる。   As described above, the feature area specifying unit 252 can specify the position of the feature area in the non-selected image based on the position of the feature area in the selected image and the motion vectors in the plurality of moving image constituent images. Specifically, the feature region specifying unit 252 directly or indirectly refers to the position of the feature region in the selected image, the motion vector in the non-selected image, and the feature region or non-selected image in the selected image and the motion vector. The position of the feature region in the non-selected image having an indirect reference relationship is specified by the feature vector and the motion vector in the selected image based on the motion vector in the one or more moving image constituent images. Specifically, the feature region specifying unit 252 specifies a reference relationship region that is an indirect reference relationship with the feature region and the motion vector in the selected image, and includes at least a part of the specified reference relationship region. The region is specified as a feature region. For this reason, the feature region specifying unit 252 can specify the feature region in the non-selected image at high speed.

図11は、動画構成画像910−6における特徴領域の一例を示す。ここで、特徴領域1110は、特徴領域検出部203がテンプレートマッチング等の画像認識処理により検出された特徴領域とする。また、参照関係領域1116は、図9および図10に関連して説明したように、特徴領域特定部252が選択画像における特徴領域との直接的または間接的な参照関係に基づいて特定した領域であるとする。図9および図10に関連する説明では、特徴領域特定部252は、参照領域を特徴領域として特定したが、本図の例では、特徴領域特定部252は、特徴領域検出部203が検出した特徴領域と、参照関係領域とに基づいて、特徴領域を特定する。   FIG. 11 shows an example of a feature region in the moving image composition image 910-6. Here, the feature region 1110 is a feature region detected by the feature region detection unit 203 by image recognition processing such as template matching. Further, as described with reference to FIGS. 9 and 10, the reference relationship area 1116 is an area specified by the feature area specifying unit 252 based on a direct or indirect reference relationship with the feature area in the selected image. Suppose there is. In the description related to FIG. 9 and FIG. 10, the feature region specifying unit 252 specifies the reference region as the feature region. However, in the example of this figure, the feature region specifying unit 252 is the feature detected by the feature region detecting unit 203. A feature region is specified based on the region and the reference relationship region.

具体的には、特徴領域特定部252は、特徴領域検出部203により検出された特徴領域1110と、参照関係領域1116とを包含する領域を、特徴領域として特定してよい。具体的には、特徴領域特定部252は、特徴領域検出部203により検出された特徴領域1110と、参照関係領域1116との和領域を、特徴領域として特定してよい。このように、特徴領域特定部252は、特徴領域検出部203が非選択画像から検出した特徴領域、および非選択画像における参照関係領域の少なくとも一方を含む領域を、特徴領域として特定する。これにより、画像認識処理で特徴領域を検出し損ねた場合であっても、動きベクトルに基づく参照関係領域を特徴領域として特定することができる。このため、特徴領域をよりロバストに検出することができる。   Specifically, the feature region specifying unit 252 may specify a region including the feature region 1110 detected by the feature region detecting unit 203 and the reference relation region 1116 as the feature region. Specifically, the feature region specifying unit 252 may specify the sum region of the feature region 1110 detected by the feature region detecting unit 203 and the reference relation region 1116 as the feature region. As described above, the feature region specifying unit 252 specifies a region including at least one of the feature region detected from the non-selected image by the feature region detecting unit 203 and the reference relation region in the non-selected image as the feature region. Thereby, even if it is a case where a feature area is missed by image recognition processing, the reference relation area based on a motion vector can be specified as a feature area. For this reason, the feature region can be detected more robustly.

なお、特徴領域検出部203は全ての動画構成画像における特徴領域を検出してよい。また、特徴領域特定部252は、特徴領域検出部203によって複数の動画構成画像から検出された特徴領域のそれぞれに対する参照関係領域を、全ての動画構成画像において特定してよい。これにより、特徴領域検出のロバスト性を著しく高めることができる。   Note that the feature region detection unit 203 may detect feature regions in all moving image constituent images. In addition, the feature region specifying unit 252 may specify a reference relation region for each of the feature regions detected from the plurality of moving image constituent images by the feature region detecting unit 203 in all the moving image constituent images. Thereby, the robustness of feature region detection can be remarkably improved.

他にも、特徴領域特定部252は、特徴領域検出部203により検出された特徴領域1110と参照関係領域1116との双方に含まれる領域1120を、特徴領域として特定してよい。このように、特徴領域特定部252は、特徴領域検出部203が非選択画像から検出した特徴領域、および非選択画像における参照関係領域にともに含まれる領域を、特徴領域として特定してよい。このため、特徴領域として検出されるべき被写体が撮像されている確率が比較的に高い領域を特徴領域として特定することができる。以上説明したように、特徴領域特定部252は、選択画像における特徴領域と直接的または間接的な参照関係にある非選択画像における領域である参照関係領域を特定して、特定した参照関係領域の少なくとも一部を含む領域を、特徴領域として特定する。   In addition, the feature region specifying unit 252 may specify the region 1120 included in both the feature region 1110 and the reference relation region 1116 detected by the feature region detecting unit 203 as the feature region. As described above, the feature region specifying unit 252 may specify the feature region detected from the non-selected image by the feature region detecting unit 203 and the region included in the reference relation region in the non-selected image as the feature region. For this reason, it is possible to specify a region having a relatively high probability that the subject to be detected as the feature region is captured as the feature region. As described above, the feature region specifying unit 252 specifies the reference relationship region that is a region in the non-selected image that has a direct or indirect reference relationship with the feature region in the selected image, and A region including at least a part is specified as a feature region.

なお、圧縮部240は、特徴領域特定部252が特定した特徴領域以外の領域の画像を、特徴領域特定部252が特定した特徴領域より高い圧縮強度で圧縮してよい。また、圧縮部240は、特徴領域1110および参照関係領域1116のいずれか一方に含まれる領域である領域1121および領域1122を、領域1120より高い圧縮強度で圧縮してよい。このように、圧縮部240は、特徴領域検出部203が非選択画像から検出した特徴領域、および非選択画像における参照関係領域のいずれか一方に含まれる領域の画像を、特徴領域検出部203が非選択画像から検出した特徴領域、および非選択画像における参照関係領域にともに含まれる領域より高い圧縮強度で圧縮してよい。これにより、特徴領域として特定された領域内においても、特徴領域として検出されるべき被写体が撮像されている確率が比較的に高い領域の情報量を高めることができる。   Note that the compression unit 240 may compress an image of a region other than the feature region specified by the feature region specifying unit 252 with a higher compression strength than the feature region specified by the feature region specifying unit 252. Further, the compression unit 240 may compress the region 1121 and the region 1122 that are regions included in any one of the feature region 1110 and the reference relationship region 1116 with a higher compression strength than the region 1120. As described above, the compression unit 240 uses the feature region detection unit 203 to generate an image of a region included in either the feature region detected from the non-selected image by the feature region detection unit 203 or the reference relation region in the non-selection image. The compression may be performed with a higher compression strength than the area included in the feature area detected from the non-selected image and the reference relation area in the non-selected image. Thereby, even in the area specified as the feature area, it is possible to increase the information amount of the area where the probability that the subject to be detected as the feature area is captured is relatively high.

上記の例では、特徴領域特定部252の動作原理を、フレーム単位で符号化方式が選択されたIフレーム、Pフレーム、およびBフレームを用いて説明した。PフレームおよびBフレームにおいてイントラ符号化されているマクロブロックが存在しても、特徴領域特定部252は同様にして参照関係領域を特定することができる。また、フレーム間符号化およびフレーム内符号化がマクロブロック単位またはスライス単位で選択されて符号化された撮像動画データにおいても、特徴領域特定部252は同様にして参照関係領域を特定することができる。   In the above example, the operation principle of the feature region specifying unit 252 has been described using the I frame, P frame, and B frame in which the encoding method is selected in units of frames. Even if there is a macroblock that is intra-coded in the P frame and the B frame, the feature area specifying unit 252 can specify the reference relation area in the same manner. Also, in the captured moving image data encoded by selecting inter-frame coding and intra-frame coding in units of macroblocks or slices, the feature region specifying unit 252 can similarly specify the reference relationship region. .

図12は、識別された特徴領域の一例を示す。特徴領域1201および特徴領域1202は、ともに動画構成画像910−1における特徴領域であるとする。なお、特徴領域1201および特徴領域1202は、特徴領域検出部203が動画構成画像910−1から検出された特徴領域であってよく、特徴領域特定部252が特定した動画構成画像910−1における特徴領域であってもよい。また、特徴領域1211、特徴領域1212、および特徴領域1213は、いずれも特徴領域検出部203が動画構成画像910−7から検出した特徴領域であるとする。   FIG. 12 shows an example of the identified feature region. It is assumed that the feature area 1201 and the feature area 1202 are both feature areas in the moving image composition image 910-1. Note that the feature region 1201 and the feature region 1202 may be feature regions detected by the feature region detection unit 203 from the movie composition image 910-1, and the feature in the movie composition image 910-1 identified by the feature region identification unit 252. It may be a region. Further, it is assumed that the feature region 1211, the feature region 1212, and the feature region 1213 are all feature regions detected by the feature region detection unit 203 from the moving image constituent image 910-7.

ここで、特徴領域特定部252は、特徴領域1201の位置および参照関係に基づいて、参照関係領域の位置を特定する。例えば、特徴領域特定部252は、特徴領域1201の点P1に対応する点P1'を特定する。また、特徴領域特定部252は、特徴領域1202の点P2に対応する点P2'を特定する。そして、特徴領域特定部252は、特徴領域1211において点P1または点P2に対応すべき対応点P3、特徴領域1212において点P1または点P2に対応すべき対応点P4、および特徴領域1213において点P1または点P2に対応すべき対応点P5のそれぞれの位置を、点P1'および点P2'のそれぞれの位置と比較する。例えば、特徴領域特定部252は、各対応点のそれぞれの位置と点P1'との間のそれぞれの距離、ならびに、各対応点のそれぞれの位置と点P2'との間のそれぞれの距離を算出する。   Here, the feature region specifying unit 252 specifies the position of the reference relationship region based on the position of the feature region 1201 and the reference relationship. For example, the feature region specifying unit 252 specifies a point P1 ′ corresponding to the point P1 of the feature region 1201. The feature area specifying unit 252 specifies a point P2 ′ corresponding to the point P2 of the feature area 1202. Then, the feature region specifying unit 252 corresponds to the corresponding point P3 that should correspond to the point P1 or P2 in the feature region 1211, the corresponding point P4 that should correspond to the point P1 or P2 in the feature region 1212, and the point P1 in the feature region 1213. Or each position of the corresponding point P5 which should correspond to the point P2 is compared with each position of the point P1 'and the point P2'. For example, the feature region specifying unit 252 calculates each distance between each position of each corresponding point and the point P1 ′, and each distance between each position of each corresponding point and the point P2 ′. To do.

そして、特徴領域特定部252は、予め定められた値以下の距離が算出された点の組を特定する。例えば、特徴領域特定部252は、対応点P3と点P2'の組、および、対応点P4と点P1'の組を、予め定められた値以下の距離が算出された点の組として特定する。そして、特徴領域特定部252は、対応点P4を持つ特徴領域1212に、特徴領域1201に撮像されている被写体と同じ被写体が撮像されていると判断する。また、特徴領域特定部252は、対応点P3を持つ特徴領域1211に、特徴領域1202に撮像されている被写体と同じ被写体が撮像されていると判断する。また、特徴領域特定部252は、特徴領域1213には、特徴領域1201に撮像されている被写体および特徴領域1202に撮像されている被写体のいずれとも異なる被写体が撮像されていると判断する。このようにして、特徴領域特定部252は、他の動画構成画像に含まれるオブジェクトとの同一性を推定することができる。   Then, the feature area specifying unit 252 specifies a set of points for which a distance equal to or less than a predetermined value is calculated. For example, the feature region specifying unit 252 specifies the pair of the corresponding point P3 and the point P2 ′ and the pair of the corresponding point P4 and the point P1 ′ as a pair of points for which a distance equal to or less than a predetermined value is calculated. . Then, the feature region specifying unit 252 determines that the same subject as the subject imaged in the feature region 1201 is captured in the feature region 1212 having the corresponding point P4. Further, the feature area specifying unit 252 determines that the same subject as the subject imaged in the feature area 1202 is captured in the feature area 1211 having the corresponding point P3. The feature area specifying unit 252 determines that a subject different from both the subject imaged in the feature area 1201 and the subject imaged in the feature area 1202 is captured in the feature area 1213. In this way, the feature area specifying unit 252 can estimate the identity with objects included in other moving image constituent images.

このように、特徴領域特定部252は、特徴領域検出部203が非選択画像から検出した特徴領域の位置と、非選択画像における参照関係領域の位置との間の距離が予め定められた値より大きい場合に、非選択画像における参照関係領域を、特徴領域検出部203が非選択画像から検出した特徴領域内に存在するオブジェクトと異なるオブジェクトが存在する特徴領域として特定する。また、特徴領域特定部252は、特徴領域検出部203が非選択画像から検出した特徴領域の位置と、非選択画像における参照関係領域の位置との間の距離が予め定められた値以下である場合に、非選択画像における参照関係領域の少なくとも一部の領域を、特徴領域検出部203が非選択画像から検出した特徴領域内に存在するオブジェクトと同じオブジェクトが存在する特徴領域として特定してよい。   As described above, the feature region specifying unit 252 determines the distance between the position of the feature region detected by the feature region detection unit 203 from the non-selected image and the position of the reference relationship region in the non-selected image from a predetermined value. When it is larger, the reference relation area in the non-selected image is specified as a feature area in which an object different from the object existing in the feature area detected by the feature area detection unit 203 from the non-selected image exists. Further, the feature area specifying unit 252 has a distance between the position of the feature area detected by the feature area detection unit 203 from the non-selected image and the position of the reference relation area in the non-selected image is equal to or less than a predetermined value. In this case, at least a part of the reference relation area in the non-selected image may be specified as a feature area in which the same object as the object existing in the feature area detected from the non-selected image by the feature area detection unit 203 exists. .

図13は、画像処理装置120におけるブロック構成の他の一例を示す。画像処理装置120は、圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、圧縮部240、動きベクトル取得部251、特徴領域特定部252、圧縮制御ユニット270、対応付け処理部206、および出力部207を有する。画像分割部204は、入力動画画質制御部280、画質低減部281、複数の階層間差分圧縮部282a−d(以下、階層間差分圧縮部282と総称する。)を有する。   FIG. 13 shows another example of a block configuration in the image processing apparatus 120. The image processing apparatus 120 includes a compressed moving image acquisition unit 201, a compressed moving image expansion unit 202, a feature region detection unit 203, a compression unit 240, a motion vector acquisition unit 251, a feature region specification unit 252, a compression control unit 270, and an association processing unit 206. And an output unit 207. The image dividing unit 204 includes an input moving image quality control unit 280, an image quality reduction unit 281, and a plurality of inter-layer difference compression units 282a-d (hereinafter collectively referred to as inter-layer difference compression units 282).

なお、圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、対応付け処理部206、および出力部207の機能および動作は、それぞれ図2から図12に関連して説明した圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、対応付け処理部206、および出力部207の機能および動作と略同一であるので、その相違点を除いて説明を省略する。   Note that the functions and operations of the compressed moving image acquisition unit 201, the compressed moving image decompression unit 202, the feature region detection unit 203, the association processing unit 206, and the output unit 207 are the compressed moving images described with reference to FIGS. Since the functions and operations of the acquisition unit 201, the compressed moving image expansion unit 202, the feature region detection unit 203, the association processing unit 206, and the output unit 207 are substantially the same, the description thereof is omitted except for the differences.

圧縮制御ユニット270は、圧縮部240における圧縮処理を制御する。また、圧縮制御ユニット270は、特徴領域特定部252が特定した特徴領域を示す情報を対応付け処理部206に供給する。例えば、圧縮制御ユニット270は、特徴領域特定部252が特定した特徴領域を取得して、圧縮部240による特徴領域に対する圧縮処理を制御する。具体的には、圧縮制御ユニット270は、圧縮部240を制御して、圧縮部240に下記の圧縮処理を行わせる。   The compression control unit 270 controls the compression process in the compression unit 240. In addition, the compression control unit 270 supplies information indicating the feature region specified by the feature region specifying unit 252 to the association processing unit 206. For example, the compression control unit 270 acquires the feature region specified by the feature region specifying unit 252 and controls the compression process on the feature region by the compression unit 240. Specifically, the compression control unit 270 controls the compression unit 240 to cause the compression unit 240 to perform the following compression process.

入力動画画質制御部280は、圧縮動画伸張部202が生成した複数の動画構成画像のそれぞれにおける特徴領域の特徴量に応じて、特徴領域の画質および特徴領域以外の領域の画質を制御する。画質低減部281は、動画の画質を低減することによって、予め定められた異なる画質を持つ複数の動画を生成する。そして、画質低減部281は、生成した画質が異なる動画を階層間差分圧縮部282に提供する。具体的には、画質低減部281は、動画のフレームレートを低減することにより、あるいは動画に含まれる動画構成画像の解像度を低減することにより、異なる画質を持つ動画を生成する。   The input moving image quality control unit 280 controls the image quality of the feature region and the image quality of the region other than the feature region in accordance with the feature amount of the feature region in each of the plurality of moving image constituent images generated by the compressed moving image decompression unit 202. The image quality reduction unit 281 generates a plurality of moving images having different predetermined image quality by reducing the image quality of the moving images. Then, the image quality reduction unit 281 provides the generated moving images with different image quality to the inter-layer difference compression unit 282. Specifically, the image quality reduction unit 281 generates moving images having different image quality by reducing the frame rate of moving images or by reducing the resolution of moving image constituent images included in the moving images.

そして、階層間差分圧縮部282は、予め定められた画質の動画を画質低減部281から取得して、取得した動画を圧縮する。なお、階層間差分圧縮部282は、互いに異なる画質の動画を圧縮する。なお、階層間差分圧縮部282aに供給される動画に含まれる動画構成画像は、階層間差分圧縮部282b−dに供給される動画に含まれる動画構成画像である特徴領域画像より画質が低い。つまり、画質低減部281は、階層間差分圧縮部282b−dに供給される特徴領域画像より低画質な低画質画像を生成して、階層間差分圧縮部282aに供給する。   Then, the inter-layer difference compression unit 282 acquires a moving image having a predetermined image quality from the image quality reduction unit 281 and compresses the acquired moving image. Note that the inter-layer difference compression unit 282 compresses moving images having different image quality. Note that the moving image constituent image included in the moving image supplied to the inter-layer difference compression unit 282a has lower image quality than the characteristic area image that is the moving image constituent image included in the moving image supplied to the inter-layer difference compression unit 282b-d. That is, the image quality reduction unit 281 generates a low-quality image having a lower image quality than the feature region image supplied to the inter-layer difference compression unit 282b-d, and supplies the low-quality image to the inter-layer difference compression unit 282a.

このように、階層間差分圧縮部282aは、階層間差分圧縮部282b−dのいずれが受け取る動画構成画像より解像度が低い動画構成画像を画質低減部281から取得して圧縮する。なお、階層間差分圧縮部282b−dは、階層間差分圧縮部282b、階層間差分圧縮部282c、および階層間差分圧縮部282dの順で解像度が低い動画構成画像を画質低減部281から取得して圧縮する。   As described above, the inter-layer difference compression unit 282a acquires the moving image constituent image having a lower resolution than the moving image constituent image received by any of the inter-layer difference compression units 282b-d from the image quality reduction unit 281 and compresses it. Note that the inter-layer difference compression unit 282b-d acquires, from the image quality reduction unit 281, a moving image constituent image having a lower resolution in the order of the inter-layer difference compression unit 282b, the inter-layer difference compression unit 282c, and the inter-layer difference compression unit 282d. Compress.

階層間差分圧縮部282bは、階層間差分圧縮部282aが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部281から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部282bは、拡大して得られた動画構成画像と画質低減部281から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部282bは、特徴領域において差分値を持つが、特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。   The inter-layer difference compression unit 282b expands the moving image constituent image compressed by the inter-layer difference compression unit 282a, and the moving image constituent image obtained by the expansion is the same as the resolution of the moving image constituent image acquired from the image quality reduction unit 281. Enlarge to the resolution. Then, the inter-layer difference compression unit 282b compresses the difference image between the moving image constituent image obtained by the enlargement and the moving image constituent image acquired from the image quality reduction unit 281. Note that the inter-layer difference compression unit 282b generates and compresses a difference image that has a difference value in the feature region but does not have a difference value in a region other than the feature region.

また、階層間差分圧縮部282cは、階層間差分圧縮部282bが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部281から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部282cは、拡大して得られた動画構成画像と画質低減部281から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部282cは、複数の特徴領域のうち、特徴領域の特徴量に応じた少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。   Further, the inter-layer difference compression unit 282c expands the moving image constituent image compressed by the inter-layer difference compressing unit 282b, and the resolution of the moving image constituent image obtained from the image quality reduction unit 281 is obtained by expanding the moving image constituent image. To the same resolution. Then, the inter-layer difference compression unit 282c compresses the difference image between the moving image constituent image obtained by the enlargement and the moving image constituent image acquired from the image quality reduction unit 281. Note that the inter-layer difference compression unit 282c has a difference value in at least a part of the plurality of feature areas according to the feature amount of the feature area, but has a difference value in an area other than the at least some of the feature areas. A difference image having no value is generated and compressed.

また、階層間差分圧縮部282dは、階層間差分圧縮部282cが圧縮した動画構成画像を伸張する。そして、階層間差分圧縮部282dは、伸張して得られた動画構成画像を、入力動画画質制御部280から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部282dは、拡大して得られた動画構成画像と入力動画画質制御部280から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部282dは、複数の特徴領域のうち、特徴領域の特徴量に応じた少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。   In addition, the inter-layer difference compression unit 282d expands the moving image constituent image compressed by the inter-layer difference compression unit 282c. Then, the hierarchical difference compression unit 282d expands the moving image constituent image obtained by the decompression to the same resolution as the resolution of the moving image constituent image acquired from the input moving image quality control unit 280. Then, the inter-layer difference compression unit 282d compresses a difference image between the enlarged moving image constituent image and the moving image constituent image acquired from the input moving image quality control unit 280. Note that the inter-layer difference compression unit 282d has a difference value in at least a part of the plurality of feature areas according to the feature amount of the feature area, but has a difference value in an area other than the at least some of the feature areas. A difference image having no value is generated and compressed.

このように、階層間差分圧縮部282b−dは、入力動画画質制御部280または画質低減部281から受け取った動画構成画像と、より低い解像度の動画構成画像を拡大した動画構成画像との間の差分をとることによって得られた差分画像を圧縮する。そして、対応付け処理部206は、階層間差分圧縮部282a−dによって圧縮して得られた複数の動画構成画像を含む圧縮動画データを、特徴領域を特定する情報に対応づける。そして、出力部207は、対応付け処理部206によって特徴領域を特定する情報が対応づけられた圧縮動画データを画像処理装置170に送信する。このように、画像処理装置120は、特徴領域の特徴量に応じてスケーラブルに圧縮符号化された動画を提供することができる。   In this way, the inter-layer difference compression unit 282b-d is between the moving image constituent image received from the input moving image quality control unit 280 or the image quality reducing unit 281 and the moving image constituent image obtained by enlarging the lower moving image constituent image. The difference image obtained by taking the difference is compressed. Then, the association processing unit 206 associates the compressed moving image data including a plurality of moving image constituent images obtained by compression by the inter-layer difference compression units 282a-d with information for specifying the feature region. Then, the output unit 207 transmits the compressed moving image data associated with the information for specifying the feature area by the association processing unit 206 to the image processing apparatus 170. In this way, the image processing apparatus 120 can provide a moving image that is scalable and encoded according to the feature amount of the feature region.

図14は、階層間差分圧縮部282aおよびbのブロック構成の一例を示す。階層間差分圧縮部282aは、動き解析部285a、動き符号化部286a、差分処理部287a、および符号化部288aを有する。動き解析部285aは、差分対象領域決定部294aおよび位置差情報生成部295aを含む。差分処理部287aは、差分画素画像生成部296a、空間周波数領域変換部297a、および量子化部298aを含む。   FIG. 14 shows an example of a block configuration of the inter-layer difference compression units 282a and b. The inter-layer difference compression unit 282a includes a motion analysis unit 285a, a motion encoding unit 286a, a difference processing unit 287a, and an encoding unit 288a. The motion analysis unit 285a includes a difference target area determination unit 294a and a position difference information generation unit 295a. The difference processing unit 287a includes a difference pixel image generation unit 296a, a spatial frequency domain conversion unit 297a, and a quantization unit 298a.

階層間差分圧縮部282bは、動き解析部285b、動き符号化部286b、差分処理部287b、画像拡大部293b、画像復号部292b、画素値変更部291b、および符号化部288bを有する。動き解析部285bは、差分対象領域決定部294bおよび位置差情報生成部295bを含む。差分処理部287bは、差分画素画像生成部296b、空間周波数領域変換部297b、量子化部298b、および周波数領域画質変換部299bを含む。なお、階層間差分圧縮部282cおよび階層間差分圧縮部282dは、階層間差分圧縮部282bが有する構成要素と略同一の構成要素を有するので、説明を省略する。   The inter-layer difference compression unit 282b includes a motion analysis unit 285b, a motion encoding unit 286b, a difference processing unit 287b, an image enlargement unit 293b, an image decoding unit 292b, a pixel value changing unit 291b, and an encoding unit 288b. The motion analysis unit 285b includes a difference target area determination unit 294b and a position difference information generation unit 295b. The difference processing unit 287b includes a difference pixel image generation unit 296b, a spatial frequency domain conversion unit 297b, a quantization unit 298b, and a frequency domain image quality conversion unit 299b. Note that the inter-layer difference compression unit 282c and the inter-layer difference compression unit 282d have substantially the same constituent elements as the inter-layer difference compression unit 282b, and a description thereof will be omitted.

以下に、階層間差分圧縮部282aの各構成要素の機能および動作について説明する。動き解析部285aは、画質低減部281から受け取った複数の動画構成画像の画像内容に基づいて複数の動画構成画像にわたる動きを解析して、当該動きに基づいて動画構成画像を圧縮すべき部分領域を決定する。   The function and operation of each component of the inter-layer difference compression unit 282a will be described below. The motion analysis unit 285a analyzes the motion over the plurality of moving image constituent images based on the image contents of the plurality of moving image constituent images received from the image quality reduction unit 281 and compresses the moving image constituent images based on the motion To decide.

具体的には、差分対象領域決定部294aは、複数の動画構成画像にわたる部分領域の画素値に基づいて、動画構成画像を他の動画構成画像との差分により圧縮する場合における、差分対象となる他の動画構成画像における部分領域を決定する。差分対象領域決定部294aは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を差分処理部287aに供給する。   Specifically, the difference target area determination unit 294a becomes a difference target in the case where a moving picture constituent image is compressed by a difference from another moving picture constituent image based on the pixel values of partial areas that span a plurality of moving picture constituent images. A partial area in another moving image constituent image is determined. The difference target area determination unit 294a supplies pixel information of the compression target partial area and pixel information of the difference target partial area to the difference processing unit 287a.

また、位置差情報生成部295aは、差分により圧縮する部分領域と差分対象となる部分領域との間の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部295aは、動き補償に用いる動きベクトルを生成する。そして、位置差情報生成部295aは、生成した位置差情報を動き符号化部286aに供給する。   In addition, the position difference information generation unit 295a generates position difference information indicating a position difference between the partial area to be compressed by the difference and the partial area to be the difference target. Specifically, the position difference information generation unit 295a generates a motion vector used for motion compensation. Then, the position difference information generation unit 295a supplies the generated position difference information to the motion encoding unit 286a.

動き符号化部286aは、位置差情報生成部295aから供給された位置差情報を符号化して、対応付け処理部206に供給する。例えば、動き符号化部286は、隣接する部分領域における位置差情報との間の差を符号化して、対応付け処理部206に供給する。   The motion encoding unit 286a encodes the position difference information supplied from the position difference information generation unit 295a and supplies the encoded information to the association processing unit 206. For example, the motion encoding unit 286 encodes the difference between the position difference information in the adjacent partial areas and supplies the encoded difference to the association processing unit 206.

差分処理部287aは、動き解析部285aから受け取った圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により、圧縮対象の部分領域の画像を圧縮する。具体的には、差分画素画像生成部296aは、圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により差分画素画像を生成する。   The difference processing unit 287a compresses the image of the partial area to be compressed based on the difference between the pixel information of the partial area to be compressed and the pixel information of the partial area to be difference received from the motion analysis unit 285a. Specifically, the difference pixel image generation unit 296a generates a difference pixel image based on the difference between the pixel information of the compression target partial area and the pixel information of the difference target partial area.

そして、空間周波数領域変換部297aは、差分画素画像を部分領域毎に空間周波数領域に変換する。具体的には、空間周波数領域変換部297aは、離散コサイン変換(DCT)により、差分画素画像における部分領域ごとに空間周波数領域に変換する。なお、空間周波数領域変換部297aは、アダマール変換あるはウェーブレット変換等のような種々の周波数変換により、差分画素画像を部分領域ごとに空間周波数領域に変換してよい。   Then, the spatial frequency domain conversion unit 297a converts the difference pixel image into a spatial frequency domain for each partial region. Specifically, the spatial frequency domain conversion unit 297a converts each partial area in the difference pixel image into a spatial frequency domain by discrete cosine transform (DCT). The spatial frequency domain transform unit 297a may transform the difference pixel image into a spatial frequency domain for each partial region by various frequency transforms such as Hadamard transform or wavelet transform.

なお、動き解析部285aが他の動画構成画像の部分領域との間の差分により圧縮しない旨を判断した場合には、差分処理部287aは圧縮対象の部分領域の画素情報を空間周波数領域変換部297aに供給する。空間周波数領域変換部297aは画素情報を、上記のように部分領域ごとに空間周波数領域に変換する。   When the motion analysis unit 285a determines that the compression is not performed due to a difference from another partial region of the moving image constituent image, the difference processing unit 287a converts the pixel information of the partial region to be compressed into the spatial frequency domain conversion unit. 297a. The spatial frequency domain conversion unit 297a converts the pixel information into a spatial frequency domain for each partial area as described above.

量子化部298aは、空間周波数領域変換部297aが空間周波数領域に変換することによって得られた変換係数を量子化する。そして、符号化部288aは、量子化部298aによって量子化された変換係数を符号化することによって圧縮する。例えば、符号化部288は、量子化部298aによって量子化された変換係数を、ハフマン符号化、算術符号化等のエントロピー符号化により符号化する。そして、符号化部288aは、符号化した動画を、対応付け処理部206に供給する。   The quantization unit 298a quantizes the transform coefficient obtained by the spatial frequency domain transform unit 297a transforming into the spatial frequency domain. Then, the encoding unit 288a compresses the transform coefficient quantized by the quantization unit 298a by encoding. For example, the encoding unit 288 encodes the transform coefficient quantized by the quantization unit 298a by entropy coding such as Huffman coding or arithmetic coding. Then, the encoding unit 288a supplies the encoded moving image to the association processing unit 206.

以下に、階層間差分圧縮部282bが含む各構成要素の機能および動作について説明する。階層間差分圧縮部282bが含む構成要素のうち、階層間差分圧縮部282aが含む構成要素と同一の符号が付された構成要素は、階層間差分圧縮部282aが含む構成要素と類似する機能および動作をするので、その相違点を除いて説明を省略する。   Hereinafter, functions and operations of each component included in the inter-layer difference compression unit 282b will be described. Among the components included in the inter-layer difference compression unit 282b, the components denoted by the same reference numerals as those included in the inter-layer difference compression unit 282a are similar in function to the components included in the inter-layer difference compression unit 282a and Since it operates, description is abbreviate | omitted except the difference.

差分対象領域決定部294bは、差分対象領域決定部294aと同様に、画質低減部281から受け取った複数の動画構成画像のそれぞれについて、動画構成画像に含まれる圧縮対象の部分領域と差分をとるべき、他の動画構成画像における部分領域を特定する。このように、差分対象領域決定部294bは、特徴領域画像との間で差分をとるべき、他の動画構成画像から生成された特徴領域画像における部分領域である特徴領域部分領域を決定する。そして、差分対象領域決定部294bは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を画素値変更部291bに供給する。   Similar to the difference target region determination unit 294a, the difference target region determination unit 294b should take a difference from the compression target partial region included in the video component image for each of the plurality of video component images received from the image quality reduction unit 281. Then, a partial area in another moving image constituent image is specified. In this manner, the difference target area determination unit 294b determines a feature area partial area that is a partial area in a feature area image generated from another moving image constituent image, which should take a difference from the feature area image. Then, the difference target area determination unit 294b supplies pixel information of the compression target partial area and pixel information of the difference target partial area to the pixel value changing unit 291b.

また、画像復号部292bは、符号化部288aから動画構成画像を取得するとともに、動き符号化部286aから位置差情報を取得する。そして、画像復号部292bは、符号化部288aから取得した動画構成画像を、動き符号化部286aから取得した位置差情報を用いて復号する。なお、画像復号部292bは、量子化部298aにより量子化された動画構成画像を取得して復号してよく、符号化部288aが符号化した動画構成画像を取得して復号してもよい。   In addition, the image decoding unit 292b acquires a moving image constituent image from the encoding unit 288a, and acquires positional difference information from the motion encoding unit 286a. And the image decoding part 292b decodes the moving image structure image acquired from the encoding part 288a using the positional difference information acquired from the motion encoding part 286a. The image decoding unit 292b may acquire and decode the moving image constituent image quantized by the quantization unit 298a, or may acquire and decode the moving image constituent image encoded by the encoding unit 288a.

画像拡大部293bは、画像復号部292bにより復号された動画構成画像を拡大することによって拡大画像を生成する。そして、画素値変更部291bは、差分対象領域決定部294bが決定した部分領域のうち、特徴領域を含む部分領域の画素値を変更せずに、特徴領域に含まれない部分領域の画素値を、拡大画像における部分領域の画素値で置き換える。このように、画素値変更部291bは、入力された動画構成画像から、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する。   The image enlarging unit 293b generates an enlarged image by enlarging the moving image constituent image decoded by the image decoding unit 292b. Then, the pixel value changing unit 291b does not change the pixel value of the partial region including the characteristic region among the partial regions determined by the difference target region determining unit 294b, and changes the pixel value of the partial region not included in the characteristic region. The pixel value of the partial area in the enlarged image is replaced. As described above, the pixel value changing unit 291b generates a feature area image in which the pixel values of the area other than the feature area are replaced with the pixel values of the enlarged image from the input moving image constituent image.

差分処理部287bは、圧縮対象の特徴領域画像、特徴領域画像に含まれる部分領域の差分対象となる部分領域の画像情報、および拡大画像を、画素値変更部291bから受け取る。そして、差分処理部287bは、圧縮対象の特徴領域画像に含まれる複数の部分領域のそれぞれについて、同じ特徴領域画像の画素情報を用いて符号化するか(以下、イントラ符号化と呼ぶ。)、他の動画構成画像に含まれる差分対象の部分領域との間の差分により符号化するか(以下、インター符号化と呼ぶ。)、拡大画像との間の差分により符号化するか(以下、階層間符号化と呼ぶ。)を決定する。このとき、差分処理部287bは符号化後の符号量がより小さい符号化方法をより優先して選択する。なお、特徴領域以外の領域においては、差分を持たないように画素値が置き換えられているので階層間符号化が選択される。したがって、階層間符号化が選択された場合についてまず説明するが、加えて、インター符号化、イントラ符号化が選択された場合についても説明する。   The difference processing unit 287b receives, from the pixel value changing unit 291b, the feature region image to be compressed, the image information of the partial region that is the difference target of the partial region included in the feature region image, and the enlarged image. Then, the difference processing unit 287b encodes each of a plurality of partial regions included in the compression target feature region image using pixel information of the same feature region image (hereinafter referred to as intra coding). Whether encoding is performed using a difference from a partial area to be included in another moving image constituent image (hereinafter referred to as inter encoding), or encoding is performed using a difference from an enlarged image (hereinafter referred to as a hierarchy). Called inter-coding). At this time, the difference processing unit 287b preferentially selects an encoding method with a smaller code amount after encoding. Note that in regions other than the feature region, the pixel values are replaced so as not to have a difference, so inter-layer coding is selected. Therefore, the case where inter-layer coding is selected will be described first, but in addition, the case where inter coding and intra coding are selected will also be described.

階層間符号化が選択された場合には、差分画素画像生成部296bは、特徴領域画像と拡大画像との間の画素値の差分を示す差分画素画像を生成する。具体的には、差分画素画像生成部296bは、特徴領域以外の領域の画素値が置き換えられた特徴領域画像と拡大画像との間の差分により差分画素画像を生成する。なお、特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部296bは、特徴領域において特徴領域画像と拡大した画像との間の画素値の差分値を持ち、特徴領域以外の領域において画素値の差分値を持たない差分画素画像を生成することができる。   When the inter-layer coding is selected, the difference pixel image generation unit 296b generates a difference pixel image indicating a difference in pixel values between the feature region image and the enlarged image. Specifically, the difference pixel image generation unit 296b generates a difference pixel image based on the difference between the feature region image in which the pixel values of the regions other than the feature region are replaced and the enlarged image. In the feature region image, since the pixel values of the regions other than the feature region are replaced with the pixel values of the enlarged image, the difference pixel image generation unit 296b performs a difference between the feature region image and the enlarged image in the feature region. A difference pixel image having a difference value of pixel values and not having a difference value of pixel values in an area other than the feature area can be generated.

インター符号化が選択された場合には、差分画素画像生成部296bは、画素値変更部291bにより生成された特徴領域画像と、他の動画構成画像から画素値変更部291bが生成した特徴領域画像との間の差分をとる。具体的には、差分画素画像生成部296bは、特徴領域に含まれる部分領域の画像と、当該部分領域について差分対象領域決定部294bが決定した差分対象部分領域の画像との間の差分をとる。特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部296bは、特徴領域に含まれる部分領域において差分対象領域決定部294bが決定した部分領域との間の画素値の差分値を持ち、特徴領域以外の領域において差分対象領域決定部294bが決定した部分領域との間で画素値の差分値を持つ差分画素画像が生成される。   When inter coding is selected, the difference pixel image generation unit 296b generates a feature region image generated by the pixel value change unit 291b and a feature region image generated by the pixel value change unit 291b from another moving image configuration image. The difference between is taken. Specifically, the difference pixel image generation unit 296b obtains a difference between the partial region image included in the feature region and the difference target partial region image determined by the difference target region determination unit 294b for the partial region. . In the feature region image, since the pixel values of the region other than the feature region are replaced with the pixel values of the enlarged image, the difference pixel image generation unit 296b determines the difference target region determination unit 294b in the partial region included in the feature region. A difference pixel image having a difference value of the pixel value between the partial area and the partial area determined by the difference target area determination unit 294b in the area other than the feature area is generated. .

なお、イントラ符号化が選択された場合には、差分画素画像生成部296bは、特徴領域画像のそれぞれが含む部分領域の画像を、特徴領域画像の他の領域の画素値または同じ部分領域の画素値との間で差分をとることにより、差分画素画像を生成する。   When intra coding is selected, the difference pixel image generation unit 296b uses the partial region image included in each feature region image as the pixel value of another region of the feature region image or the pixel of the same partial region. A difference pixel image is generated by taking a difference from the value.

空間周波数領域変換部297bは、差分画素画像を、部分領域ごとに空間周波数領域に変換する。具体的には、空間周波数領域変換部297bは、差分画素画像が示す差分値を、空間周波数領域変換部297aと同様に、離散コサイン変換(DCT)、アダマール変換、またはウェーブレット変換等により、部分領域ごとに空間周波数領域に変換する。量子化部298bは、量子化部298aと同様に、空間周波数領域変換部297bが空間周波数領域に変換することによって得られた変換係数を量子化する。   The spatial frequency domain conversion unit 297b converts the difference pixel image into a spatial frequency domain for each partial region. Specifically, the spatial frequency domain transform unit 297b converts the difference value indicated by the difference pixel image into a partial region by discrete cosine transform (DCT), Hadamard transform, wavelet transform, or the like, similar to the spatial frequency domain transform unit 297a. Each is converted to the spatial frequency domain. Similar to the quantization unit 298a, the quantization unit 298b quantizes the transform coefficient obtained by the spatial frequency domain transform unit 297b transforming into the spatial frequency domain.

そして、周波数領域画質変換部299bは、空間周波数領域変換部297bにより空間周波数領域に変換されて得られる部分領域ごとの空間周波数成分のうち、特徴領域以外の領域を含む少なくとも一部の部分領域の空間周波数成分のデータ量を低減することによって、特徴領域差分画像を生成する。具体的には、周波数領域画質変換部299bは、予め定められた周波数より高い周波数成分を示す変換係数の大きさを低減する。周波数領域画質変換部299bは、予め定められた周波数より高い周波数成分を示す変換係数を0にしてもよい。   Then, the frequency domain image quality conversion unit 299b includes at least some partial regions including regions other than the feature region among the spatial frequency components for each partial region obtained by being converted into the spatial frequency region by the spatial frequency region conversion unit 297b. A feature region difference image is generated by reducing the data amount of the spatial frequency component. Specifically, the frequency domain image quality conversion unit 299b reduces the size of a conversion coefficient indicating a frequency component higher than a predetermined frequency. The frequency domain image quality conversion unit 299b may set the conversion coefficient indicating a frequency component higher than a predetermined frequency to zero.

このように、差分処理部287bは、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。そして、符号化部288bは、差分処理部287bが生成した特徴領域差分画像を符号化する。   As described above, the difference processing unit 287b has a spatial frequency component in which the difference between the feature region image and the enlarged image in the feature region is converted into the spatial frequency region, and the spatial frequency component data in the region other than the feature region. A feature region difference image with a reduced amount is generated. Then, the encoding unit 288b encodes the feature region difference image generated by the difference processing unit 287b.

また、上記したように、差分処理部287bは、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。より具体的には、差分処理部287は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。   In addition, as described above, the difference processing unit 287b generates a feature region difference image that indicates a difference image between the feature region image in the feature region image and the feature region image in the low-quality image. More specifically, the difference processing unit 287 generates a feature region difference image between the feature region image in the feature region image and the enlarged image of the feature region image in the low-quality image.

なお、以上の説明においては、画素値変更部291bは、差分画素画像における少なくとも特徴領域以外の領域(予め定められた特徴の種類を持つ特徴領域以外の領域であって、当該特徴領域より高解像度を持つべき特徴の種類を持つ特徴領域以外の領域)において差分値を0とすべく、特徴領域以外の画素値を拡大画像の画素値で置き換えた。しかしながら、他の方法により、差分画素画像における差分値を0とすることもできる。   In the above description, the pixel value changing unit 291b has at least a region other than the feature region in the difference pixel image (a region other than the feature region having a predetermined feature type and having a higher resolution than the feature region. In order to set the difference value to 0 in the region other than the feature region having the type of feature to have, the pixel value other than the feature region is replaced with the pixel value of the enlarged image. However, the difference value in the difference pixel image can be set to 0 by other methods.

例えば、画素値変更部291bは、画質低減部281から取得した動画構成画像の特徴領域以外の領域の画素値を所定の画素値に変換するとともに、拡大画像における特徴領域以外の領域と同じ画像領域の画素値を当該所定の画素値に変換してよい。このようにしても、差分画素画像における特徴領域以外の領域の差分値を0とすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。   For example, the pixel value changing unit 291b converts a pixel value of a region other than the feature region of the moving image constituent image acquired from the image quality reduction unit 281 into a predetermined pixel value, and also has the same image region as the region other than the feature region in the enlarged image May be converted into the predetermined pixel value. Even in this case, the difference value of the region other than the feature region in the difference pixel image can be set to 0, and the information amount of the region other than the feature region can be substantially reduced.

このように、画素値変更部291bは、動画構成画像から、特徴領域以外の領域の画素値および拡大した画像における特徴領域以外の領域の画素値を、所定値で置き換えた特徴領域画像を生成する。そして、差分画素画像生成部296は、特徴領域以外の領域の画素値が置き換えられた、特徴領域画像と拡大した画像との間の差分により差分画素画像を生成する。   In this way, the pixel value changing unit 291b generates a feature region image in which the pixel values of the regions other than the feature region and the pixel values of the region other than the feature region in the enlarged image are replaced with predetermined values from the moving image constituent image. . Then, the difference pixel image generation unit 296 generates a difference pixel image based on the difference between the feature region image and the enlarged image in which the pixel values of the regions other than the feature region are replaced.

なお、画素値変更部291bは、画質低減部281から取得した動画構成画像の特徴領域以外の領域の画素値を、下位階層の階層間差分圧縮部282(例えば、階層間差分圧縮部282a)に提供される動画構成画像を拡大した画像における同一領域の画素値で置き換えてもよい。このようにしても、差分画素画像における差分値を略0にすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。   Note that the pixel value changing unit 291b sends the pixel values of the region other than the feature region of the moving image constituent image acquired from the image quality reducing unit 281 to the lower layer inter-layer difference compression unit 282 (for example, the inter-layer difference compression unit 282a). The provided moving image constituent image may be replaced with the pixel value of the same region in the enlarged image. Even in this case, the difference value in the difference pixel image can be made substantially zero, and the information amount of the area other than the feature area can be substantially reduced.

なお、位置差情報生成部295bは、特徴領域以外の領域に含まれる、差分対象となる部分領域の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部295bは、位置差情報生成部295aと同様に、差分により圧縮する部分領域と差分対象となる部分領域である差分対象部分領域との間の位置差を示す位置差情報を生成する。なお、位置差情報は、動き補償における動きベクトルを含む。   Note that the position difference information generation unit 295b generates position difference information indicating the position difference of the partial area that is the difference target and is included in the area other than the feature area. Specifically, the positional difference information generation unit 295b indicates the positional difference between the partial region to be compressed by the difference and the differential target partial region that is the partial region that is the differential target, as in the positional difference information generation unit 295a. Generate position difference information. The position difference information includes a motion vector in motion compensation.

位置差情報変更部290bは、特徴領域以外の領域に含まれる部分領域が同じ位置の部分領域との間で差分がとられることを位置差情報が示すべく、位置差情報を変更する。具体的には、位置差情報変更部290bは、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差がないことを示す情報に変換する。また、位置差情報変更部290bは、動き符号化部286aから位置差情報を取得して、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差ないことを示す情報に変換する。具体的には、位置差情報変更部290bは、特徴領域以外の領域における動きベクトルの大きさを0にする。例えば、位置差情報変更部290bは、特徴領域以外の領域について、位置差情報生成部295bから受け取った動きベクトルの大きさを0にするとともに、動き符号化部286aから受け取った動きベクトルの大きさを0にする。   The position difference information changing unit 290b changes the position difference information so that the position difference information indicates that a partial area included in an area other than the feature area is different from the partial area at the same position. Specifically, the position difference information changing unit 290b converts the position difference information in the partial area included in the area other than the feature area into information indicating that there is no position difference. Also, the position difference information changing unit 290b acquires the position difference information from the motion encoding unit 286a, and converts the position difference information in the partial area included in the area other than the feature area into information indicating that there is no position difference. . Specifically, the position difference information changing unit 290b sets the magnitude of the motion vector in an area other than the feature area to zero. For example, the position difference information changing unit 290b sets the size of the motion vector received from the position difference information generating unit 295b to 0 for the region other than the feature region and the size of the motion vector received from the motion encoding unit 286a. Set to 0.

そして、動き符号化部286bは、位置差情報を符号化する。具体的には、動き符号化部286bは、動き符号化部286aと同様に、隣接する部分領域における位置差情報との間の差を符号化する。動き符号化部286bにより符号化された位置差情報は、対応付け処理部206に供給される。   Then, the motion encoding unit 286b encodes the position difference information. Specifically, similarly to the motion encoding unit 286a, the motion encoding unit 286b encodes a difference between position difference information in adjacent partial regions. The position difference information encoded by the motion encoding unit 286b is supplied to the association processing unit 206.

なお、本実施形態では、位置差情報変更部290は、特徴領域以外の領域の位置差情報を変換したが、位置差情報変更部290bは、動き符号化部286bにより符号化された符号化形式上で、特徴領域以外の領域の位置差情報を変換してもよい。すなわち、位置差情報変更部290bは、特徴領域以外の部分領域が同じ位置の部分領域との間で差分がとられることを示すべく、動き符号化部286により符号化された位置差情報を変更してもよい。   In the present embodiment, the position difference information changing unit 290 converts the position difference information of the region other than the feature region, but the position difference information changing unit 290b is encoded by the motion encoding unit 286b. Above, position difference information of regions other than the feature region may be converted. That is, the position difference information changing unit 290b changes the position difference information encoded by the motion encoding unit 286 to indicate that a difference is taken between the partial areas other than the feature areas and the partial areas at the same position. May be.

なお、符号化部288bは、特徴領域以外の領域における差分情報を持たない符号化データを生成してよい。具体的には、特徴領域以外の領域に含まれる部分領域の差分情報を持たない符号化データを生成してよい。また、動き符号化部286bは、特徴領域以外の領域に含まれる部分領域における位置差情報を持たない符号化データを生成してよい。このように、符号化部288bおよび動き符号化部286bは、特徴領域以外の領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを、差分情報および位置差情報を持たないことによって示す符号化データを生成する。例えば、符号化部288bおよび動き符号化部286bは、特徴領域以外の領域に含まれる部分領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを示す部分領域の種別を含む符号化データを生成してよい。   Note that the encoding unit 288b may generate encoded data having no difference information in a region other than the feature region. Specifically, encoded data that does not have difference information of partial areas included in areas other than the characteristic areas may be generated. In addition, the motion encoding unit 286b may generate encoded data that does not have position difference information in a partial region included in a region other than the feature region. As described above, the encoding unit 288b and the motion encoding unit 286b indicate that the image content of the region other than the feature region is the same as the image content of the same region in the other moving image constituent images, and the difference information and the position difference information. The encoded data shown by not having is generated. For example, the encoding unit 288b and the motion encoding unit 286b indicate the type of the partial area indicating that the image content of the partial area included in the area other than the feature area is the same as the image content of the same area in the other moving image constituent images. May be generated.

例えば、符号化部288bおよび動き符号化部286bは、特徴領域以外の領域に含まれる部分領域が、単純フレーム間予測であり、かつ変換係数を持たないことを示す符号化モードで符号化された部分領域であることを示す部分領域の種別を含む符号化データを生成してよい。例えば、当該部分領域の種別は、MPEG符号化におけるNonMC NotCodedに相当する種別であってよい。このように、符号化部288bおよび動き符号化部286bが動きベクトルの大きさおよび差分情報が0であることを示す情報を持たない符号化データを生成することにより、符号化後の動画構成画像の符号量をより低減することができる。なお、階層間差分圧縮部282bは、上記符号化モードを含む予測モードを決定する場合に、ラグランジェの未定乗数法に基づいて、レート・歪コストを最小化することができる予測モードを選択してよい。   For example, the encoding unit 288b and the motion encoding unit 286b are encoded in the encoding mode indicating that the partial region included in the region other than the feature region is simple inter-frame prediction and has no transform coefficient. Encoded data including the type of the partial area indicating the partial area may be generated. For example, the type of the partial area may be a type corresponding to NonMC NotCoded in MPEG encoding. As described above, the encoding unit 288b and the motion encoding unit 286b generate encoded data having no information indicating that the magnitude of the motion vector and the difference information are 0, so that a moving image constituent image after encoding is generated. Can be further reduced. The inter-layer difference compression unit 282b selects a prediction mode capable of minimizing the rate / distortion cost based on the Lagrange's undetermined multiplier method when determining a prediction mode including the encoding mode. It's okay.

なお、階層間差分圧縮部282cおよび階層間差分圧縮部282dは、階層間差分圧縮部282bと同様の機能を有する構成要素を有する。なお、以後の説明において、階層間差分圧縮部282cおよび階層間差分圧縮部282dが有する、階層間差分圧縮部282と同名の構成要素には同じ符号を付す。そして、符号の末尾(b、c、d)により、階層間差分圧縮部282b−dのいずれに含まれる構成要素であるかを区別する。   Note that the inter-layer difference compression unit 282c and the inter-layer difference compression unit 282d have components having the same functions as the inter-layer difference compression unit 282b. In the following description, components having the same names as the inter-layer difference compression unit 282 included in the inter-layer difference compression unit 282c and the inter-layer difference compression unit 282d are denoted by the same reference numerals. Then, it is distinguished from which of the inter-layer difference compression units 282b-d the component included by the end (b, c, d) of the code.

例えば、動き解析部285cは階層間差分圧縮部282cが有する構成要素の一つであって、動き解析部285dは階層間差分圧縮部282dが有する構成要素の一つとなる。なお、以下の説明において、符号の末尾に英文字が付されていない構成要素は、階層間差分圧縮部282b−dが有する当該符号が付された構成要素の全体を示す。例えば、画素値変更部291は、画素値変更部291b−dを示す。   For example, the motion analysis unit 285c is one of the components included in the inter-layer difference compression unit 282c, and the motion analysis unit 285d is one of the components included in the inter-layer difference compression unit 282d. Note that in the following description, the constituent elements having no alphabetic character at the end of the reference numerals indicate the entire constituent elements having the reference numerals included in the inter-layer difference compression unit 282b-d. For example, the pixel value changing unit 291 indicates pixel value changing units 291b-d.

なお、階層間差分圧縮部282cおよび階層間差分圧縮部282dの機能および動作と、階層間差分圧縮部282bの機能および動作とは、画質低減部281から異なる画質の動画を取得して処理すること、および位置差情報変更部290cおよびd、ならびに画像復号部292cおよびdが、より画質が低い動画を処理する他の階層間差分圧縮部282から、差分処理用の位置差情報および動画構成画像を取得するところが異なる。   Note that the functions and operations of the inter-layer difference compression unit 282c and the inter-layer difference compression unit 282d and the functions and operations of the inter-layer difference compression unit 282b are acquired from the image quality reduction unit 281 and processed. The position difference information changing units 290c and 290c and the image decoding units 292c and d receive the position difference information and moving image constituent images for difference processing from other inter-layer difference compressing units 282 that process moving images with lower image quality. The place to get is different.

より具体的には、位置差情報変更部290cは、動き符号化部286bから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部292cは、動き符号化部286bから位置差情報を取得するとともに、符号化部288bから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。また、位置差情報変更部290dは、動き符号化部286cから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部292dは、動き符号化部286cから位置差情報を取得するとともに、符号化部288cから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。   More specifically, the position difference information changing unit 290c acquires the position difference information from the motion encoding unit 286b, and converts the acquired position difference information. In addition, the image decoding unit 292c acquires the position difference information from the motion encoding unit 286b, acquires the moving image configuration image from the encoding unit 288b, and decodes the acquired moving image configuration image using the position difference information. . Also, the position difference information changing unit 290d acquires the position difference information from the motion encoding unit 286c, and converts the acquired position difference information. Further, the image decoding unit 292d acquires the position difference information from the motion encoding unit 286c, acquires the moving image constituent image from the encoding unit 288c, and decodes the acquired moving image constituent image using the position difference information. .

なお、特徴領域検出部203は、入力された動画構成画像から特徴の種類が異なる複数の特徴領域を検出する。この場合、画質低減部281は、一の特徴の種類を持つ特徴領域において解像度を低減することにより当該動画構成画像から一の特徴領域画像を生成するとともに、他の特徴の種類を持つ特徴領域において当該特徴領域画像より高解像度な他の特徴領域画像を当該動画構成画像から生成する。階層間差分圧縮部282b−cは、特徴領域の種類ごとに用意されており、階層間差分圧縮部282b−cのそれぞれは、少なくとも予め定められた種類の特徴領域において特徴領域以外の領域との間で解像度の差を持つ特徴領域画像を圧縮する。   Note that the feature region detection unit 203 detects a plurality of feature regions having different types of features from the input moving image composition image. In this case, the image quality reduction unit 281 generates one feature region image from the moving image constituent image by reducing the resolution in the feature region having one feature type, and in the feature region having another feature type. Another feature region image having a higher resolution than the feature region image is generated from the moving image constituent image. The inter-layer difference compression unit 282b-c is prepared for each type of feature region, and each of the inter-layer difference compression units 282b-c is connected to a region other than the feature region in at least a predetermined type of feature region. Compress feature area images with resolution differences between them.

具体的には、階層間差分圧縮部282bは、全ての特徴領域を含む領域において、最も低い解像度を持つ低解像度特徴領域画像を処理する。階層間差分圧縮部282cは、予め定められた種類の特徴領域において低解像度特徴領域画像より解像度が高い中解像度特徴領域画像を処理する。そして、階層間差分圧縮部282dは、予め定められた他の種類の特徴領域において高い解像度を持つ高解像度特徴領域画像を処理する。   Specifically, the inter-layer difference compression unit 282b processes a low-resolution feature region image having the lowest resolution in a region including all feature regions. The inter-layer difference compression unit 282c processes a medium-resolution feature region image having a higher resolution than the low-resolution feature region image in a predetermined type of feature region. Then, the inter-layer difference compression unit 282d processes a high-resolution feature area image having a high resolution in another predetermined type of feature area.

このように、差分処理部287は、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。   In this way, the difference processing unit 287 converts the difference between one feature region image and an enlarged image into a spatial frequency region in a feature region having one feature type and a feature region having another feature type. A feature region difference image is generated in which the amount of spatial frequency component data is reduced in regions other than the feature region having the spatial frequency component and having one feature type and the other feature type.

以上説明したように、差分処理部287は、一の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成するとともに、他の特徴の種類を持つ特徴領域において他の特徴領域画像と他の特徴領域画像における特徴領域を拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域間差分画像を生成する。   As described above, the difference processing unit 287 has a spatial frequency component in which a difference between one feature region image and an enlarged image in a feature region having one feature type is converted into a spatial frequency region, A feature region difference image in which the amount of spatial frequency component data is reduced in a region other than a feature region having one feature type is generated, and another feature region image and another feature region in a feature region having another feature type are generated. The difference between the feature area image and the image obtained by enlarging the feature area has a spatial frequency component converted into the spatial frequency domain, and the data amount of the spatial frequency component is reduced in areas other than the feature areas having other feature types. The difference image between the feature regions thus generated is generated.

また、符号化部288は、特徴領域差分画像、特徴領域間差分画像、および低画質画像をそれぞれ符号化する。そして、対応付け処理部206は、動き符号化部286a−dにより符号化された位置差情報および符号化部288a−dにより符号化された動画構成画像(例えば、低画質画像、特徴領域差分画像、および特徴領域間差分画像)を、特徴領域を特定する情報と対応づける。   Also, the encoding unit 288 encodes the feature region difference image, the feature region difference image, and the low-quality image. Then, the association processing unit 206 uses the positional difference information encoded by the motion encoding units 286a-d and the moving image constituent image encoded by the encoding units 288a-d (for example, a low-quality image, a feature region difference image). , And the difference image between feature areas) are associated with information specifying the feature area.

以上説明したように、階層間差分圧縮部282aは、特徴領域を含む全画像領域を低画質化した動画構成画像、いわば入力された動画構成画像の低空間周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282bは、階層間差分圧縮部282aよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部282cよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282bは、特徴領域以外の領域において、階層間差分圧縮部282aが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。   As described above, the inter-layer difference compression unit 282a generates a moving image constituent image having a low image quality of the entire image region including the feature region, that is, a moving image constituent image having a low spatial frequency component of the input moving image constituent image. . Then, the inter-layer difference compression unit 282b generates a moving image composition image having a higher frequency component than the inter-layer difference compression unit 282a and having a lower frequency component than the inter-layer difference compression unit 282c. Then, the inter-layer difference compression unit 282b generates a moving image constituent image in which a difference value with respect to the moving image constituent image generated by the inter-layer difference compression unit 282a is reduced in a region other than the feature region.

同様に、階層間差分圧縮部282cは、階層間差分圧縮部282bよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部282dよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282dは、階層間差分圧縮部282cよりも高い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282cおよび階層間差分圧縮部282dは、特徴領域以外の領域において、それぞれ階層間差分圧縮部282bおよびcが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。   Similarly, the inter-layer difference compression unit 282c generates a moving image composition image having a higher frequency component than the inter-layer difference compression unit 282b and having a lower frequency component than the inter-layer difference compression unit 282d. . The inter-layer difference compression unit 282d generates a moving image constituent image having a higher frequency component than the inter-layer difference compression unit 282c. Then, the inter-layer difference compressing unit 282c and the inter-layer difference compressing unit 282d are the moving image constituent images in which the difference values with respect to the moving image constituent images generated by the inter-layer difference compressing units 282b and c are reduced in the regions other than the feature regions, respectively. Generate.

このように、階層間差分圧縮部282b−dのそれぞれは、予め定められた特徴の種類を持つ特徴領域について、他の領域より高い画質の動画を処理することによって、特徴の種類に応じて画質が異なる動画を外部に提供することができる。このとき、階層間差分圧縮部282b−dは、他の階層間差分圧縮部282が処理する低画質の動画構成画像との間の差分により圧縮するので、効率的に圧縮することができる。   In this way, each of the inter-layer difference compression units 282b-d processes a moving image having a higher image quality than the other regions for a feature region having a predetermined feature type, thereby improving the image quality according to the feature type. Can provide different videos to the outside. At this time, since the inter-layer difference compression unit 282b-d compresses by the difference with the low-quality moving image constituent image processed by the other inter-layer difference compression unit 282, it can be compressed efficiently.

なお、特徴領域検出部203は、複数の特徴領域のそれぞれの特徴量を検出した場合に、特徴領域として検出した信頼性の度合いを示す確信度を複数の特徴領域毎に算出してよい。そして、階層間差分圧縮部282b−dは、複数の特徴領域のそれぞれの特徴量および確信度に応じて解像度が調整された特徴領域の画像を圧縮する。例えば、画質低減部281は、複数の特徴領域のそれぞれの画像を、それぞれの特徴量および確信度に応じて解像度を調整して、階層間差分圧縮部282に供給してよい。例えば、画質低減部281は、複数の特徴領域のそれぞれの画像を、確信度が低いほど、特徴量に応じて予め定められた解像度より高い解像度にしてよい。   Note that the feature region detection unit 203 may calculate a certainty factor indicating the degree of reliability detected as the feature region for each of the plurality of feature regions when detecting the feature amounts of the plurality of feature regions. Then, the inter-layer difference compression unit 282b-d compresses the image of the feature region whose resolution is adjusted according to the feature amount and the certainty factor of each of the plurality of feature regions. For example, the image quality reduction unit 281 may adjust the resolution of each image of the plurality of feature regions in accordance with the feature amount and the certainty factor and supply the images to the inter-layer difference compression unit 282. For example, the image quality reduction unit 281 may set each image of the plurality of feature regions to a higher resolution than a predetermined resolution according to the feature amount as the certainty factor is lower.

なお、画像処理装置120は、上記のように解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことから明らかなように、画像処理装置120による圧縮方式の一部は、H.264/SVCによる圧縮方式を含むことが明らかである。なお、画像処理装置170がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを階層毎に復号することで、複数の動画構成画像を各階層毎に得ることができる。そして画像処理装置170は、得られた動画構成画像において階層間差分により符号化されている領域については、差分対象となった他階層の動画構成画像上の領域と加算する。これにより、画像処理装置170は、複数の階層のそれぞれについて、動画に含まれる複数の動画構成画像を生成することができる。   Note that the image processing device 120 encodes hierarchically by encoding image differences between a plurality of layers having different resolutions as described above. As is clear from this, a part of the compression method by the image processing apparatus 120 is H.264. It is clear that a compression scheme according to H.264 / SVC is included. When the image processing apparatus 170 decompresses such a hierarchical compressed moving image, a plurality of moving image constituent images can be obtained for each layer by decoding the moving image data of each layer for each layer. it can. Then, the image processing apparatus 170 adds the region encoded by the difference between layers in the obtained moving image composition image to the region on the moving image composition image of the other layer that is the difference target. Thereby, the image processing apparatus 170 can generate a plurality of moving image constituent images included in the moving image for each of the plurality of layers.

図15は、他の実施形態に係る画像処理システム20の一例を示す。本実施形態における画像処理システム20の構成は、画像処理装置120に替えて、撮像装置100a−dがそれぞれ画像処理部1604a−d(以下、画像処理部1604と総称する。)を有する点を除いて、図1で説明した画像処理システム10の構成と同じとなっている。   FIG. 15 shows an example of an image processing system 20 according to another embodiment. The configuration of the image processing system 20 in this embodiment is different from the image processing device 120 except that the imaging devices 100a-d have image processing units 1604a-d (hereinafter collectively referred to as image processing units 1604). Thus, the configuration is the same as that of the image processing system 10 described in FIG.

画像処理部1604は、画像処理装置120に含まれる構成要素のうち、圧縮動画取得部201および圧縮動画伸張部202を除く構成要素を有している。そして、画像処理部1604に含まれる各構成要素の機能および動作は、画像処理装置120に含まれる各構成要素が圧縮動画伸張部202による伸張処理によって得られた撮像動画を処理することに替えて、撮像部102によって撮像された撮像動画を処理するという点を除いて、画像処理装置120に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム20においても、図1から図14にかけて画像処理システム10に関連して説明した効果と同様の効果が得ることができる。   The image processing unit 1604 has components other than the compressed moving image acquisition unit 201 and the compressed moving image decompression unit 202 among the components included in the image processing apparatus 120. The functions and operations of the constituent elements included in the image processing unit 1604 are changed to that the constituent elements included in the image processing device 120 process the captured moving image obtained by the decompression processing by the compressed moving image decompression unit 202. The functions and operations of the components included in the image processing apparatus 120 may be substantially the same except that the captured moving image captured by the imaging unit 102 is processed. Also in the image processing system 20 having such a configuration, the same effects as those described in relation to the image processing system 10 in FIGS. 1 to 14 can be obtained.

なお、画像処理部1604は、RAW形式で表された複数の動画構成画像を含む撮像動画を撮像部102から取得してよい。そして、画像処理部1604は、RAW形式で表された複数の動画構成画像のそれぞれから、1以上の特徴領域を検出してよい。また、画像処理部1604は、取得した撮像動画に含まれるRAW形式で表された複数の動画構成画像をRAW形式のまま圧縮してよい。このとき、画像処理部1604は、図1〜図14にかけて画像処理装置120の動作に関連して説明した圧縮方法で、撮像動画を圧縮することができる。   Note that the image processing unit 1604 may acquire a captured moving image including a plurality of moving image constituent images expressed in the RAW format from the imaging unit 102. Then, the image processing unit 1604 may detect one or more feature regions from each of the plurality of moving image constituent images represented in the RAW format. Further, the image processing unit 1604 may compress a plurality of moving image constituent images expressed in the RAW format included in the acquired captured moving image in the RAW format. At this time, the image processing unit 1604 can compress the captured moving image by the compression method described in relation to the operation of the image processing apparatus 120 with reference to FIGS.

なお、画像処理装置170は、画像処理部1604から取得した圧縮動画を伸張することにより、RAW形式で表された複数の動画構成画像を取得することができる。そして、画像処理装置170は、伸張することにより取得されたRAW形式で表された複数の動画構成画像を、例えば特徴領域以外の領域および複数の特徴領域を含む複数の領域毎に同時化処理を施してよい。このとき、画像処理装置170は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。   The image processing apparatus 170 can acquire a plurality of moving image constituent images expressed in the RAW format by expanding the compressed moving image acquired from the image processing unit 1604. Then, the image processing apparatus 170 performs a synchronization process on a plurality of moving image constituent images expressed in the RAW format acquired by decompression, for example, for each of a plurality of regions including a region other than a feature region and a plurality of feature regions. May be applied. At this time, the image processing apparatus 170 may perform synchronization processing with higher accuracy in the feature region than in the region other than the feature region.

なお、画像処理装置170は、同時化処理によって得られた動画構成画像における特徴領域の画像に、超解像処理を施してよい。画像処理装置170における超解像処理としては、特開2006−350498号公報に記載されたような主成分分析に基づく超解像処理、あるいは特開2004−88615号公報に記載されたような被写体の動きに基づく超解像処理を例示することができる。   Note that the image processing apparatus 170 may perform super-resolution processing on the image of the feature region in the moving image constituent image obtained by the synchronization processing. Super-resolution processing in the image processing apparatus 170 includes super-resolution processing based on principal component analysis as described in JP-A-2006-350498, or subject as described in JP-A-2004-88615. The super-resolution processing based on the movement of the can be illustrated.

なお、画像処理装置170は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置170は、オブジェクトの一例としての顔部位(例えば、目、鼻、口など)毎に、超解像処理を施してよい。この場合、画像処理装置170は、特開2006−350498号公報に記載されたような主成分分析(PCA)に基づくモデル等の学習データを、顔部位(例えば、目、鼻、口など)毎に記憶しておく。そして、画像処理装置170は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。   Note that the image processing apparatus 170 may perform super-resolution processing for each object included in the feature region. For example, when the feature region includes a human face image, the image processing apparatus 170 may perform super-resolution processing for each face part (for example, eyes, nose, mouth, etc.) as an example of the object. In this case, the image processing apparatus 170 acquires learning data such as a model based on principal component analysis (PCA) as described in JP-A-2006-350498 for each facial part (for example, eyes, nose, mouth, etc.). Remember it. Then, the image processing apparatus 170 may perform super-resolution processing on the image of each face part using the learning data selected for each face part included in the feature region.

このように、画像処理装置170は、主成分分析(PCA)を用いて特徴領域の画像を再構成することができる。なお、画像処理装置170による画像再構成手法、および当該画像再構成用の学習法としては、主成分分析(PCA)による学習・画像再構成の他に、局所保存投影(locality preserving projection:LPP)、線形判別分析(Linear Discriminant Analysis:LDA)、独立成分分析(Independent component analysis:ICA)、多次元スケーリング(multidimensional scaling:MDS)、サポートベクターマシン(サポートベクター回帰)、ニューラルネットワーク、隠れマルコフモデル、Bayes推論、最大事後確率推定、反復逆投影、Wavelet変換、局所線形埋め込み(locally linear embedding:LLE)、マルコフランダム場(Markov random field:MRF)等の手法を用いることができる。   In this way, the image processing apparatus 170 can reconstruct the image of the feature region using principal component analysis (PCA). As an image reconstruction method by the image processing apparatus 170 and a learning method for the image reconstruction, in addition to learning and image reconstruction by principal component analysis (PCA), local preserving projection (LPP) , Linear discriminant analysis (LDA), independent component analysis (ICA), multidimensional scaling (MDS), support vector machine (support vector regression), neural network, hidden Markov model, Bay Inference, maximum posterior probability estimation, iterative backprojection, Wavelet transform, locally linear embedding (locally linea) Techniques such as reembedding (LLE) and Markov random field (MRF) can be used.

また、学習データとしては、特開2006−350498号公報に記載されたようなモデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。ここで、複数のオブジェクトの種類のそれぞれについてオブジェクトの画像の低周波成分をK−means法等によってクラスタリングすることによって、複数のオブジェクトの種類のそれぞれにおいてオブジェクトの画像の低周波成分が複数のクラスタにクラスタリングされていてよい。また、各クラスタ毎に代表的な低周波成分(例えば、重心値)が定められていてよい。   In addition to the model as described in Japanese Patent Application Laid-Open No. 2006-350498, the learning data includes low frequency components and high frequency components of the object image respectively extracted from a large number of sample images of the object. Good. Here, by clustering the low frequency components of the object image for each of the plurality of object types by the K-means method or the like, the low frequency components of the object image in each of the plurality of object types are converted into a plurality of clusters. It may be clustered. In addition, a typical low frequency component (for example, centroid value) may be determined for each cluster.

そして、画像処理装置170は、動画構成画像における特徴領域に含まれるオブジェクトの画像から低周波成分を抽出する。そして、画像処理装置170は、抽出したオブジェクトの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、画像処理装置170は、特定したクラスタに含まれる低周波成分に対応づけられている高周波成分のクラスタを特定する。このようにして、画像処理装置170は、動画構成画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。   Then, the image processing device 170 extracts a low frequency component from the image of the object included in the feature region in the moving image constituent image. Then, the image processing apparatus 170 determines, as a representative low-frequency component, a value that matches the extracted low-frequency component among the low-frequency component clusters extracted from the sample image of the extracted object type object. Identify the cluster. Then, the image processing apparatus 170 identifies a cluster of high frequency components associated with the low frequency component included in the identified cluster. In this way, the image processing apparatus 170 can specify a cluster of high-frequency components that are correlated with the low-frequency components extracted from the objects included in the moving image composition image.

そして、画像処理装置170は、特定した高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な高画質画像に変換してよい。例えば、画像処理装置170は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、画像処理装置170は、各オブジェクト毎に学習することによって生成された学習データの中から、望ましい学習データをオブジェクト毎に選択して利用するので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。なお、図1〜14に関連して説明した画像処理システム10の構成においても、画像処理装置170は、特徴領域の画像に上述した超解像処理を施すことができる。   Then, the image processing apparatus 170 may convert the image of the object into a high-quality image with higher image quality using high-frequency components that represent the specified cluster of high-frequency components. For example, the image processing apparatus 170 may add the high-frequency component selected for each object with a weight according to the distance from the center of each object to the processing target position on the face to the object image. Note that the representative high-frequency component may be generated by closed-loop learning. As described above, the image processing apparatus 170 selects and uses desired learning data for each object from learning data generated by learning for each object. There are cases where image quality can be improved. In the configuration of the image processing system 10 described with reference to FIGS. 1 to 14, the image processing apparatus 170 can perform the above-described super-resolution processing on the image of the feature region.

なお、特開2006−350498号公報に記載されたような主成分分析に基づく超解像処理では、主成分ベクトルおよび重みづけ係数により物体の画像が表される。これらの重みづけ係数および主成分ベクトルのデータ量は、物体の画像そのものが有する画素データのデータ量に比べて大幅に小さい。そこで、画像処理部1604は、撮像部102から取得した複数の動画構成画像における特徴領域の画像を圧縮する圧縮処理において、特徴領域に含まれる物体の画像から上記重みづけ係数を算出してよい。すなわち、画像処理部1604は、特徴領域に含まれる物体の画像を、主成分ベクトルおよび重みづけ係数で表すことによって圧縮することができる。そして、画像処理部1604は、主成分ベクトルおよび重みづけ係数を画像処理装置170に送信してよい。   Note that in super-resolution processing based on principal component analysis as described in JP-A-2006-350498, an image of an object is represented by a principal component vector and a weighting coefficient. The data amounts of these weighting coefficients and principal component vectors are significantly smaller than the data amount of pixel data included in the object image itself. Therefore, the image processing unit 1604 may calculate the weighting coefficient from the image of the object included in the feature region in the compression processing for compressing the image of the feature region in the plurality of moving image constituent images acquired from the imaging unit 102. In other words, the image processing unit 1604 can compress the image of the object included in the feature region by representing the principal component vector and the weighting coefficient. Then, the image processing unit 1604 may transmit the principal component vector and the weighting coefficient to the image processing device 170.

この場合、画像処理装置170は、画像処理部1604から取得した主成分ベクトルおよび重みづけ係数を用いて、特徴領域に含まれる物体の画像を再構成することができる。なお、画像処理部1604は、特開2006−350498号公報に記載されたような主成分分析に基づくモデルの他に、種々の特徴パラメータで物体を表現するモデルを利用して特徴領域に含まれる物体の画像を圧縮することができることはいうまでもない。   In this case, the image processing apparatus 170 can reconstruct an image of an object included in the feature region using the principal component vector and the weighting coefficient acquired from the image processing unit 1604. Note that the image processing unit 1604 is included in the feature region using a model that represents an object with various feature parameters in addition to a model based on principal component analysis as described in JP-A-2006-350498. Needless to say, an image of an object can be compressed.

図16は、画像処理装置120および画像処理装置170のハードウェア構成の一例を示す。画像処理装置120および画像処理装置170は、CPU周辺部と、入出力部と、レガシー入出力部とを備える。CPU周辺部は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、および表示デバイス1580を有する。入出力部は、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、およびCD−ROMドライブ1560を有する。レガシー入出力部は、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、および入出力チップ1570を有する。   FIG. 16 shows an example of the hardware configuration of the image processing device 120 and the image processing device 170. The image processing device 120 and the image processing device 170 include a CPU peripheral unit, an input / output unit, and a legacy input / output unit. The CPU peripheral section includes a CPU 1505, a RAM 1520, a graphic controller 1575, and a display device 1580 that are connected to each other by a host controller 1582. The input / output unit includes a communication interface 1530, a hard disk drive 1540, and a CD-ROM drive 1560 that are connected to the host controller 1582 by the input / output controller 1584. The legacy input / output unit includes a ROM 1510, a flexible disk drive 1550, and an input / output chip 1570 connected to the input / output controller 1584.

ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、およびグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、およびRAM1520に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。   The host controller 1582 connects the RAM 1520, the CPU 1505 that accesses the RAM 1520 at a high transfer rate, and the graphic controller 1575. The CPU 1505 operates based on programs stored in the ROM 1510 and the RAM 1520 to control each unit. The graphic controller 1575 acquires image data generated by the CPU 1505 or the like on a frame buffer provided in the RAM 1520 and displays the image data on the display device 1580. Alternatively, the graphic controller 1575 may include a frame buffer that stores image data generated by the CPU 1505 or the like.

入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、およびデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、および通信インターフェイス1530に提供する。   The input / output controller 1584 connects the host controller 1582 to the hard disk drive 1540, the communication interface 1530, and the CD-ROM drive 1560, which are relatively high-speed input / output devices. The hard disk drive 1540 stores programs and data used by the CPU 1505. The communication interface 1530 is connected to the network communication device 1598 to transmit / receive programs or data. The CD-ROM drive 1560 reads a program or data from the CD-ROM 1595 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520.

入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、および入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、放射線撮像システムが起動時に実行するブート・プログラム、あるいは放射線撮像システムのハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、および通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。   The input / output controller 1584 is connected to the ROM 1510, the flexible disk drive 1550, and the relatively low-speed input / output device of the input / output chip 1570. The ROM 1510 stores a boot program that is executed when the radiation imaging system is started up, a program that depends on the hardware of the radiation imaging system, and the like. The flexible disk drive 1550 reads a program or data from the flexible disk 1590 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520. The input / output chip 1570 connects various input / output devices via the flexible disk drive 1550 or a parallel port, serial port, keyboard port, mouse port, and the like.

CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。   A program executed by the CPU 1505 is stored in a recording medium such as the flexible disk 1590, the CD-ROM 1595, or an IC card and provided by the user. The program stored in the recording medium may be compressed or uncompressed. The program is installed in the hard disk drive 1540 from the recording medium, read into the RAM 1520, and executed by the CPU 1505.

CPU1505により実行されるプログラムは、画像処理装置120を、図1から図15に関連して説明した圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、および画像生成部205として機能させる。また、CPU1505により実行されるプログラムは、画像処理装置120を、図1から図15に関連して説明した固定値化部211、画質低減部221、符号化部231、対応付け処理部206、出力部207、および圧縮制御ユニット270として機能させる。   The program executed by the CPU 1505 includes the image processing apparatus 120, the compressed moving image acquisition unit 201, the compressed moving image decompression unit 202, the feature region detection unit 203, the image division unit 204, and the image described with reference to FIGS. It functions as the generation unit 205. Further, the program executed by the CPU 1505 causes the image processing apparatus 120 to output the fixed value conversion unit 211, the image quality reduction unit 221, the encoding unit 231, the association processing unit 206, and the output described with reference to FIGS. The unit 207 functions as the compression control unit 270.

また、CPU1505により実行されるプログラムは、画像処理装置120を、図1から図15に関連して説明した動きベクトル取得部251、特徴領域特定部252および包含領域特定部261として機能させる。また、CPU1505により実行されるプログラムは、画像処理装置170を、図1から図15に関連して説明した圧縮動画取得部301、対応付け解析部302、圧縮動画伸張部311、合成部303、および出力部304として機能させる。   The program executed by the CPU 1505 causes the image processing apparatus 120 to function as the motion vector acquisition unit 251, the feature region specifying unit 252, and the inclusion region specifying unit 261 described with reference to FIGS. 1 to 15. Further, the program executed by the CPU 1505 causes the image processing apparatus 170 to be connected to the compressed moving image acquisition unit 301, the association analysis unit 302, the compressed moving image decompression unit 311, the combining unit 303, which are described with reference to FIGS. It functions as the output unit 304.

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDまたはPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置120および画像処理装置170に提供してもよい。   The program shown above may be stored in an external storage medium. As the storage medium, in addition to the flexible disk 1590 and the CD-ROM 1595, an optical recording medium such as a DVD or PD, a magneto-optical recording medium such as an MD, a tape medium, a semiconductor memory such as an IC card, or the like can be used. Further, a storage device such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet is used as a recording medium, and is provided to the image processing device 120 and the image processing device 170 as a program via the network. Also good.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

一実施形態に係る画像処理システム10の一例を示す。1 shows an example of an image processing system 10 according to an embodiment. 画像処理装置120のブロック構成の一例を示す。2 shows an example of a block configuration of an image processing apparatus 120. 画像処理装置170のブロック構成の一例を示す。2 shows an example of a block configuration of an image processing apparatus 170. 画像処理装置120の処理フローの一例を示す。An example of the processing flow of the image processing apparatus 120 is shown. 複数の特徴領域動画および背景領域動画の画質の一例を示す。An example of the image quality of a plurality of feature area videos and background area videos is shown. 画像処理装置170の処理フローの一例を示す。An example of the processing flow of the image processing apparatus 170 is shown. 複数の動画構成画像において特徴領域を特定する方法の一例を示す。An example of a method for specifying a feature region in a plurality of moving image constituent images will be described. 包含領域以外の領域を固定値化する方法の一例を示す。An example of a method for fixing a region other than an inclusion region to a fixed value is shown. 動画構成画像の参照関係の一例を示す図である。It is a figure which shows an example of the reference relationship of a moving image structure image. 参照関係で結ばれた特徴領域の一例を示す図である。It is a figure which shows an example of the characteristic area | region connected by reference relationship. 動画構成画像910−6における特徴領域の一例を示す図である。It is a figure which shows an example of the characteristic area | region in the moving image structure image 910-6. 識別された特徴領域の一例を示す図である。It is a figure which shows an example of the identified feature area. 画像処理装置120におけるブロック構成の他の一例を示す図である。It is a figure which shows another example of the block configuration in the image processing apparatus. 階層間差分圧縮部282aおよびbのブロック構成の一例を示す図である。It is a figure which shows an example of the block configuration of the hierarchy difference compression parts 282a and b. 他の実施形態に係る画像処理システム20の一例を示す図である。It is a figure which shows an example of the image processing system 20 which concerns on other embodiment. 画像処理装置120および画像処理装置170のハードウェア構成の一例を示す。An example of the hardware configuration of the image processing apparatus 120 and the image processing apparatus 170 is shown.

符号の説明Explanation of symbols

10 画像処理システム
20 画像処理システム
100 撮像装置
102 撮像部
104 撮像動画圧縮部
110 通信ネットワーク
120 画像処理装置
130 人物
140 移動物体
150 監視対象空間
160 空間
170 画像処理装置
175 画像DB
180 表示装置
201 圧縮動画取得部
202 圧縮動画伸張部
203 特徴領域検出部
204 画像分割部
205 画像生成部
206 対応付け処理部
207 出力部
210 固定値化ユニット
211 固定値化部
220 低減化ユニット
221 画質低減部
230 符号化ユニット
231 符号化部
231a 背景領域動画符号化部
231b−d 特徴領域動画符号化部
240 圧縮部
251 動きベクトル取得部
252 特徴領域特定部
260 包含領域特定ユニット
261 包含領域特定部
270 圧縮制御ユニット
301 圧縮動画取得部
302 対応付け解析部
310 圧縮動画伸張ユニット
311 圧縮動画伸張部
303 合成部
304 出力部
1604 画像処理部
DESCRIPTION OF SYMBOLS 10 Image processing system 20 Image processing system 100 Imaging device 102 Imaging part 104 Imaging moving image compression part 110 Communication network 120 Image processing apparatus 130 Person 140 Moving object 150 Monitoring object space 160 Space 170 Image processing apparatus 175 Image DB
180 Display device 201 Compressed video acquisition unit 202 Compressed video expansion unit 203 Characteristic region detection unit 204 Image segmentation unit 205 Image generation unit 206 Association processing unit 207 Output unit 210 Fixed value unit 211 Fixed value unit 220 Reduction unit 221 Image quality Reduction unit 230 Encoding unit 231 Encoding unit 231a Background region moving image encoding unit 231b-d Feature region moving image encoding unit 240 Compression unit 251 Motion vector acquisition unit 252 Feature region specifying unit 260 Inclusion region specifying unit 261 Inclusion region specifying unit 270 Compression control unit 301 Compressed video acquisition unit 302 Association analysis unit 310 Compressed video expansion unit 311 Compressed video expansion unit 303 Compositing unit 304 Output unit 1604 Image processing unit

Claims (18)

複数の動画構成画像を含む動画を処理する画像処理装置であって、
前記動画構成画像から、特徴領域を検出する特徴領域検出部と、
前記動画から選択された前記動画構成画像である選択画像における前記特徴領域の位置に基づいて、当該選択画像以外の前記動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定部と
を備える画像処理装置。
An image processing apparatus for processing a moving image including a plurality of moving image constituent images,
A feature region detection unit for detecting a feature region from the moving image constituent image;
Based on the position of the feature region in the selected image that is the moving image constituent image selected from the moving image, the feature region specifying unit that specifies the position of the feature region in the non-selected image that is the moving image constituent image other than the selected image An image processing apparatus comprising:
前記特徴領域検出部は、前記動画から選択された前記動画構成画像である前記選択画像から、特徴領域を検出し、
特徴領域特定部は、前記選択画像における前記特徴領域の位置に基づいて、前記動画から選択されなかった前記動画構成画像である前記非選択画像における特徴領域の位置を特定する
請求項1に記載の画像処理装置。
The feature region detection unit detects a feature region from the selected image that is the moving image constituent image selected from the moving image,
The feature area specifying unit specifies the position of the feature area in the non-selected image that is the moving image constituent image that has not been selected from the moving image, based on the position of the feature area in the selected image. Image processing device.
前記特徴領域特定部は、前記非選択画像より前にある前記選択画像および前記非選択画像より後にある前記選択画像のそれぞれにおける前記特徴領域の位置に基づいて、前記非選択画像における特徴領域の位置を特定する
請求項2に記載の画像処理装置。
The feature region specifying unit is configured to determine the position of the feature region in the non-selected image based on the position of the feature region in each of the selected image before the non-selected image and the selected image after the non-selected image. The image processing apparatus according to claim 2 which specifies
前記動画における被写体の動きベクトルを取得する動きベクトル取得部をさらに備え、
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置および前記動きベクトルに基づいて、前記非選択画像における特徴領域の位置を特定する
請求項2に記載の画像処理装置。
A motion vector acquisition unit that acquires a motion vector of a subject in the video;
The image processing device according to claim 2, wherein the feature area specifying unit specifies a position of the feature area in the non-selected image based on the position of the feature area and the motion vector in the selected image.
前記動きベクトルを含む圧縮された動画を取得する圧縮動画取得部と、
前記圧縮動画取得部によって取得された前記動画を伸張する圧縮動画伸張部と
をさらに備え、
前記特徴領域検出部は、前記圧縮動画伸張部によって伸張された前記動画から選択された前記選択画像から、前記特徴領域を検出し、
前記動きベクトル取得部は、前記圧縮動画取得部によって取得された前記動画に含まれる前記動きベクトルを取得し、
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置および前記動きベクトルに基づいて、前記圧縮動画伸張部によって伸張された前記動画から選択されなかった前記非選択画像における特徴領域の位置を特定する
請求項4に記載の画像処理装置。
A compressed video acquisition unit that acquires a compressed video including the motion vector;
A compressed video expansion unit that expands the video acquired by the compressed video acquisition unit,
The feature region detection unit detects the feature region from the selected image selected from the moving image expanded by the compressed moving image expansion unit;
The motion vector acquisition unit acquires the motion vector included in the video acquired by the compressed video acquisition unit;
The feature region specifying unit determines the position of the feature region in the non-selected image that has not been selected from the video expanded by the compressed video expansion unit based on the position of the feature region and the motion vector in the selected image. The image processing apparatus according to claim 4 to be specified.
前記圧縮動画取得部は、前記動きベクトルを含むMPEG動画を取得し、
前記圧縮動画伸張部は、前記圧縮動画取得部によって取得された前記MPEG動画を伸張し、
前記特徴領域検出部は、伸張された前記MPEG動画に含まれる前記選択画像から、前記特徴領域を検出し、
前記動きベクトル取得部は、前記圧縮動画取得部によって取得された前記MPEG動画に含まれる前記動きベクトルを取得する
請求項5に記載の画像処理装置。
The compressed video acquisition unit acquires an MPEG video including the motion vector,
The compressed video decompression unit decompresses the MPEG video acquired by the compressed video acquisition unit,
The feature region detection unit detects the feature region from the selected image included in the expanded MPEG moving image,
The image processing apparatus according to claim 5, wherein the motion vector acquisition unit acquires the motion vector included in the MPEG video acquired by the compressed video acquisition unit.
前記動画における被写体の動きベクトルを取得する動きベクトル取得部をさらに備え、
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置、および複数の前記動画構成画像における前記動きベクトルに基づいて、前記非選択画像における特徴領域の位置を特定する
請求項1に記載の画像処理装置。
A motion vector acquisition unit that acquires a motion vector of a subject in the video;
The feature area specifying unit specifies the position of the feature area in the non-selected image based on the position of the feature area in the selected image and the motion vector in the plurality of moving image constituent images. Image processing device.
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置、前記非選択画像における前記動きベクトル、および、前記選択画像における前記特徴領域および前記非選択画像と前記動きベクトルによって直接的または間接的な参照関係にある1以上の前記動画構成画像における前記動きベクトルに基づいて、前記選択画像における前記特徴領域と動きベクトルによって間接的な参照関係にある前記非選択画像における特徴領域の位置を特定する
請求項7に記載の画像処理装置。
The feature region specifying unit is directly or indirectly based on the position of the feature region in the selected image, the motion vector in the non-selected image, and the feature region and the non-selected image and the motion vector in the selected image. Based on the motion vector in the one or more moving image constituent images having a reference relationship, the position of the feature region in the non-selected image having an indirect reference relationship is specified by the motion vector and the feature region in the selected image. The image processing apparatus according to claim 7.
前記特徴領域特定部は、前記選択画像における前記特徴領域の位置、前記非選択画像における前記動きベクトル、および、前記選択画像における前記特徴領域および前記非選択画像と前記動きベクトルによって直接的または間接的な参照関係にある1以上の前記動画構成画像における前記動きベクトルに基づいて、前記選択画像における前記特徴領域と動きベクトルによって間接的な参照関係にある前記非選択画像上の領域である参照関係領域を特定して、特定した参照関係領域の少なくとも一部を含む領域を、前記非選択画像における前記特徴領域として特定する
請求項8に記載の画像処理装置。
The feature region specifying unit is directly or indirectly based on the position of the feature region in the selected image, the motion vector in the non-selected image, and the feature region and the non-selected image and the motion vector in the selected image. A reference relation area that is an area on the non-selected image that has an indirect reference relation with the feature area and the motion vector in the selected image based on the motion vector in the one or more moving image constituent images that have a different reference relation The image processing apparatus according to claim 8, wherein a region including at least a part of the specified reference relation region is specified as the feature region in the non-selected image.
前記特徴領域特定部は、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域、および前記非選択画像における前記参照関係領域の少なくとも一方を含む領域を、前記特徴領域として特定する
請求項9に記載の画像処理装置。
The feature region specifying unit specifies, as the feature region, a region including at least one of the feature region detected by the feature region detection unit from the non-selected image and the reference relation region in the non-selected image. The image processing apparatus according to 9.
前記特徴領域特定部は、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域、および前記非選択画像における前記参照関係領域にともに含まれる領域を、前記特徴領域として特定する
請求項9に記載の画像処理装置。
The feature region specifying unit specifies the feature region detected by the feature region detection unit from the non-selected image and a region included in the reference relation region in the non-selected image as the feature region. An image processing apparatus according to 1.
前記特徴領域特定部が特定した特徴領域以外の領域の画像を、前記特徴領域特定部が特定した特徴領域より高い圧縮強度で圧縮する圧縮部
をさらに備える請求項9に記載の画像処理装置。
The image processing apparatus according to claim 9, further comprising: a compression unit that compresses an image of a region other than the feature region specified by the feature region specifying unit with a higher compression strength than the feature region specified by the feature region specifying unit.
前記圧縮部は、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域、および前記非選択画像における前記参照関係領域のいずれか一方に含まれる領域の画像を、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域、および前記非選択画像における前記参照関係領域にともに含まれる領域より高い圧縮強度で圧縮する
請求項12に記載の画像処理装置。
The compression unit includes an image of a region included in any one of the feature region detected from the non-selected image by the feature region detection unit and the reference-related region in the non-selected image. The image processing apparatus according to claim 12, wherein compression is performed with a higher compression strength than a region included in both the feature region detected from the non-selected image and the reference relation region in the non-selected image.
前記特徴領域特定部は、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域の位置と、前記非選択画像における前記参照関係領域の位置との間の距離が予め定められた値より大きい場合に、前記非選択画像における前記参照関係領域を、前記特徴領域検出部が前記非選択画像から検出した前記特徴領域内に存在するオブジェクトと異なるオブジェクトが存在する特徴領域として特定する
請求項9に記載の画像処理装置。
The feature region specifying unit is configured such that a distance between the position of the feature region detected by the feature region detection unit from the non-selected image and the position of the reference relationship region in the non-selected image is determined based on a predetermined value. 10. When larger, the reference relation area in the non-selected image is specified as a feature area in which an object different from an object existing in the feature area detected by the feature area detection unit from the non-selected image exists. An image processing apparatus according to 1.
前記選択画像および前記非選択画像のそれぞれを、前記特徴領域と、前記特徴領域以外の背景領域とに分割する画像分割部と、
前記特徴領域の画像と前記背景領域の画像とを、それぞれ異なる強度で符号化する符号化部と
をさらに備える請求項2に記載の画像処理装置。
An image dividing unit that divides each of the selected image and the non-selected image into the feature region and a background region other than the feature region;
The image processing apparatus according to claim 2, further comprising: an encoding unit that encodes the image of the feature region and the image of the background region with different intensities.
前記選択画像から検出された前記特徴領域、および前記非選択画像において特定された前記特徴領域を包含する包含領域を特定する包含領域特定部と、
前記選択画像および前記非選択画像のそれぞれにおける前記包含領域以外の領域の画素値を固定値化する固定値化部と
をさらに備え、
前記符号化部は、前記包含領域の画像と、前記包含領域以外の領域の画像とを、それぞれ異なる強度で符号化する
請求項15に記載の画像処理装置。
An inclusion area specifying unit for specifying the inclusion area including the feature area detected from the selected image and the feature area specified in the non-selected image;
A fixed value unit for fixing a pixel value of a region other than the inclusion region in each of the selected image and the non-selected image, and
The image processing device according to claim 15, wherein the encoding unit encodes an image of the inclusion area and an image of an area other than the inclusion area with different intensities.
複数の動画構成画像を含む動画を処理する画像処理方法であって、
前記動画構成画像から、特徴領域を検出する特徴領域検出段階と、
前記動画から選択された前記動画構成画像である選択画像における前記特徴領域の位置に基づいて、当該選択画像以外の前記動画構成画像である非選択画像における特徴領域の位置を特定する特徴領域特定段階と
を備える画像処理方法。
An image processing method for processing a moving image including a plurality of moving image constituent images,
A feature region detection stage for detecting a feature region from the moving image composition image;
A feature region specifying step of specifying a feature region position in a non-selected image that is a moving image constituent image other than the selected image based on a position of the feature region in the selected image that is the moving image constituent image selected from the moving image. An image processing method comprising:
複数の動画構成画像を含む動画を処理する画像処理装置用のプログラムであって、前記画像処理装置を、
前記動画構成画像から、特徴領域を検出する特徴領域検出部、
前記動画から選択された前記動画構成画像である選択画像における前記特徴領域の位置に基づいて、当該選択画像以外の非選択画像における特徴領域の位置を特定する特徴領域特定部
として機能させるプログラム。
A program for an image processing device that processes a moving image including a plurality of moving image constituent images, the image processing device comprising:
A feature region detection unit for detecting a feature region from the moving image constituent image;
A program that functions as a feature region specifying unit that specifies the position of a feature region in a non-selected image other than the selected image based on the position of the feature region in a selected image that is the moving image constituent image selected from the moving image.
JP2008174857A 2007-07-20 2008-07-03 Image processor, image processing method, and program Pending JP2009048620A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007190150 2007-07-20
JP2008174857A JP2009048620A (en) 2007-07-20 2008-07-03 Image processor, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008174857A JP2009048620A (en) 2007-07-20 2008-07-03 Image processor, image processing method, and program
US12/175,876 US20090022403A1 (en) 2007-07-20 2008-07-18 Image processing apparatus, image processing method, and computer readable medium

Publications (1)

Publication Number Publication Date
JP2009048620A true JP2009048620A (en) 2009-03-05

Family

ID=40500729

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008174857A Pending JP2009048620A (en) 2007-07-20 2008-07-03 Image processor, image processing method, and program

Country Status (1)

Country Link
JP (1) JP2009048620A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010226687A (en) * 2009-02-27 2010-10-07 Sony Corp Image processing device, image processing system, camera device, image processing method, and program therefor
WO2010122727A1 (en) * 2009-04-20 2010-10-28 富士フイルム株式会社 Image processing apparatus, image processing method, and computer-readable medium
JP2010268157A (en) * 2009-05-13 2010-11-25 Fujifilm Corp Image processing unit, method of processing image, and program
JP2013005062A (en) * 2011-06-13 2013-01-07 Canon Inc Image processing device, and imaging processing method
JP2015002558A (en) * 2013-06-12 2015-01-05 インフィネオン テクノロジーズ アーゲーInfineon Technologies Ag Apparatus, method, and system for processing image data stream
US9183446B2 (en) 2011-06-09 2015-11-10 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2020536301A (en) * 2017-09-13 2020-12-10 クレスコム カンパニー リミティッド Image analysis methods, equipment and computer programs

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970695B2 (en) 2009-02-27 2015-03-03 Sony Corporation Image processing device, image processing system, camera device, image processing method, and program
JP2010226687A (en) * 2009-02-27 2010-10-07 Sony Corp Image processing device, image processing system, camera device, image processing method, and program therefor
WO2010122727A1 (en) * 2009-04-20 2010-10-28 富士フイルム株式会社 Image processing apparatus, image processing method, and computer-readable medium
JP2010273328A (en) * 2009-04-20 2010-12-02 Fujifilm Corp Image processing apparatus, image processing method and program
US8599209B2 (en) 2009-04-20 2013-12-03 Fujifilm Corporation Image processing apparatus, image processing method, and computer readable medium
JP2010268157A (en) * 2009-05-13 2010-11-25 Fujifilm Corp Image processing unit, method of processing image, and program
US9183446B2 (en) 2011-06-09 2015-11-10 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US9210433B2 (en) 2011-06-13 2015-12-08 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2013005062A (en) * 2011-06-13 2013-01-07 Canon Inc Image processing device, and imaging processing method
JP2015002558A (en) * 2013-06-12 2015-01-05 インフィネオン テクノロジーズ アーゲーInfineon Technologies Ag Apparatus, method, and system for processing image data stream
JP2020536301A (en) * 2017-09-13 2020-12-10 クレスコム カンパニー リミティッド Image analysis methods, equipment and computer programs
US11017255B2 (en) 2017-09-13 2021-05-25 Crescom Co., Ltd. Apparatus, method and computer program for analyzing image
JP6993027B2 (en) 2017-09-13 2022-01-13 クレスコム カンパニー リミティッド Image analysis methods, equipment and computer programs

Similar Documents

Publication Publication Date Title
JP2009049979A (en) Image processing device, image processing method, image processing system, and program
US8363953B2 (en) Image processing apparatus, image processing method and computer readable medium
US8462226B2 (en) Image processing system
JP2009089356A (en) Image processing apparatus, image processing method, and program
US20090022403A1 (en) Image processing apparatus, image processing method, and computer readable medium
JP2009048620A (en) Image processor, image processing method, and program
JP2009049976A (en) Image processing apparatus, image processing method and program
JP5531327B2 (en) Image processing apparatus, image processing method, and program
US20110019741A1 (en) Image processing system
JP5156982B2 (en) Image processing system, image processing method, and program
JP5082134B2 (en) Image processing apparatus, image processing method, and program
JP2009273116A (en) Image processing device, image processing method, and program
JP4911468B2 (en) Image processing apparatus, image processing method, and program
JP4895041B2 (en) Image processing apparatus, image processing method, and program
JP4817263B2 (en) Image processing apparatus, image processing method, and program
JP4817262B2 (en) Image processing apparatus, image processing method, and program
JP5136172B2 (en) Image processing system, image processing method, and program
JP4895044B2 (en) Image processing apparatus, image processing method, and program
JP4817260B2 (en) Image processing apparatus, image processing method, and program
JP4961582B2 (en) Image processing system, image processing method, and program
JP4873488B2 (en) Image processing apparatus, image processing method, and program
JP4900602B2 (en) Image processing apparatus, image processing method, program, and image processing system
JP5082142B2 (en) Image processing apparatus, image processing system, image processing method, and program
JP2009253767A (en) Image processing apparatus, image processing method, and program
JP2009027426A (en) Unit and method for processing image, and program