JP2009027426A - Unit and method for processing image, and program - Google Patents

Unit and method for processing image, and program Download PDF

Info

Publication number
JP2009027426A
JP2009027426A JP2007188144A JP2007188144A JP2009027426A JP 2009027426 A JP2009027426 A JP 2009027426A JP 2007188144 A JP2007188144 A JP 2007188144A JP 2007188144 A JP2007188144 A JP 2007188144A JP 2009027426 A JP2009027426 A JP 2009027426A
Authority
JP
Japan
Prior art keywords
image
unit
region
feature
feature region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007188144A
Other languages
Japanese (ja)
Other versions
JP5062407B2 (en
Inventor
Sukekazu Kameyama
祐和 亀山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007188144A priority Critical patent/JP5062407B2/en
Publication of JP2009027426A publication Critical patent/JP2009027426A/en
Application granted granted Critical
Publication of JP5062407B2 publication Critical patent/JP5062407B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing unit capable of reliably identifying a characteristic area having the movement of an object, or the like. <P>SOLUTION: The image processing unit has: an image acquisition section for acquiring a plurality of images imaged by each of a plurality of imaging apparatuses; a characteristic area detection section for detecting the characteristic area from one of a plurality of images; a corresponding area identification section for identifying a corresponding area that should include the same object as that included in the characteristic area in other images of one image; and a characteristic area identification section for identifying the characteristic area in other images from the corresponding area in other images identified by the corresponding area identification section. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。本発明は、特に、画像を処理する画像処理装置及び画像処理方法、並びに画像処理装置用のプログラムに関する。   The present invention relates to an image processing apparatus, an image processing method, and a program. The present invention particularly relates to an image processing apparatus and an image processing method for processing an image, and a program for the image processing apparatus.

各カメラの撮像条件および圧縮処理の処理内容が各監視対象の特徴に応じた最適な設定内容に自動的あるいは半自動的に決定される自動制御モードおよび半自動制御モードが設けられた撮像システムが知られている(例えば、特許文献1参照。)。
特許2001−211450号公報
There is known an imaging system provided with an automatic control mode and a semi-automatic control mode in which the imaging conditions of each camera and the processing contents of compression processing are automatically or semi-automatically determined to the optimum setting contents according to the characteristics of each monitoring target (For example, refer to Patent Document 1).
Japanese Patent No. 2001-211450

しかしながら、上記特許文献に記載の技術によると、個々のカメラのそれぞれが全画像領域から動きを検出する。このため、動きのある領域を高速に特定することができない場合がある。また、被写体の動きがあるにもかかわらず、動きを検出し損ねた場合に、システムが適切に機能しなくなる虞がある。   However, according to the technique described in the above-mentioned patent document, each of the individual cameras detects motion from the entire image area. For this reason, there may be a case where an area with movement cannot be specified at high speed. In addition, the system may not function properly if it fails to detect the movement despite the movement of the subject.

上記課題を解決するために、本発明の第1の形態によると、画像処理装置であって、複数の撮像装置のそれぞれにより撮像された複数の画像を取得する画像取得部と、複数の画像のうちの一の画像から、特徴領域を検出する特徴領域検出部と、特徴領域に含まれる被写体と同じ被写体を含むべき対応領域を、一の画像の他の画像において特定する対応領域特定部と、対応領域特定部が特定した他の画像における対応領域から、他の画像における特徴領域を特定する特徴領域特定部とを備える。   In order to solve the above-described problem, according to a first aspect of the present invention, an image processing device includes an image acquisition unit that acquires a plurality of images captured by each of a plurality of imaging devices, and a plurality of images. A feature region detection unit that detects a feature region from one of the images, a corresponding region identification unit that identifies a corresponding region that should include the same subject as the subject included in the feature region, in another image of the one image, A feature region specifying unit for specifying a feature region in another image from a corresponding region in another image specified by the corresponding region specifying unit.

画像取得部は、複数の撮像装置のそれぞれにより撮像された複数の動画のそれぞれに含まれる複数の動画構成画像を取得し、特徴領域検出部は、複数の動画のうちの一の動画に含まれる複数の動画構成画像から特徴領域を検出し、対応領域特定部は、特徴領域に含まれる被写体と同じ被写体を含むべき、他の動画に含まれる複数の動画構成画像における対応領域を特定し、特徴領域特定部は、対応領域特定部が特定した他の動画に含まれる動画構成画像における対応領域から、他の動画に含まれる動画構成画像における特徴領域を特定してよい。   The image acquisition unit acquires a plurality of moving image constituent images included in each of the plurality of moving images captured by each of the plurality of imaging devices, and the feature region detection unit is included in one moving image of the plurality of moving images. A feature area is detected from a plurality of moving image constituent images, and the corresponding area specifying unit specifies a corresponding area in the plurality of moving picture constituent images included in another moving image, which should include the same subject as the subject included in the feature area, and features The region specifying unit may specify a feature region in the moving image constituent image included in the other moving image from the corresponding region in the moving image constituent image included in the other moving image specified by the corresponding region specifying unit.

対応特徴領域特定部は、特徴領域検出部が検出した特徴領域の画像における位置と、複数の撮像装置が複数の画像を撮像したときの撮像範囲のそれぞれとに基づいて、対応領域を特定してよい。また、特徴領域検出部が検出した特徴領域の画像を複数含む特徴領域動画と、特徴領域特定部が特定した特徴領域の画像を複数含む特徴領域動画とを、異なる強度で圧縮する圧縮部をさらに備えてよい。   The corresponding feature region specifying unit specifies the corresponding region based on the position of the feature region detected by the feature region detection unit in the image and each of the imaging ranges when the plurality of imaging devices capture a plurality of images. Good. And a compression unit that compresses the feature region moving image including a plurality of feature region images detected by the feature region detection unit and the feature region moving image including a plurality of feature region images specified by the feature region specifying unit with different strengths. You may be prepared.

特徴領域検出部が検出した特徴領域の画像の画像内容及び特徴領域特定部が特定した特徴領域の画像の画像内容のそれぞれが予め定められた条件に適合する適合度を算出する適合度算出部をさらに備え、圧縮部は、特徴領域検出部が検出した特徴領域及び特徴領域特定部が特定した特徴領域のうち、適合度算出部がより大きい適合度を算出した特徴領域の画像を含む特徴領域動画をより小さい強度で圧縮してよい。   A fitness calculation unit that calculates the fitness of each of the image content of the image of the feature region detected by the feature region detection unit and the image content of the image of the feature region specified by the feature region specification unit according to a predetermined condition; In addition, the compression unit includes a feature region moving image including an image of a feature region that has been calculated by a matching degree calculation unit that is greater than the feature region detected by the feature region detection unit and the feature region that is specified by the feature region specifying unit. May be compressed with less strength.

圧縮部は、特徴領域検出部が検出した特徴領域の画像を含む特徴領域動画が持つ符号量及び特徴領域特定部が特定した特徴領域の画像を含む特徴領域動画が持つ符号量の合計値を予め定められた範囲内にすべく、特徴領域検出部が検出した特徴領域の画像を含む特徴領域動画及び特徴領域特定部が特定した特徴領域の画像を含む特徴領域動画のそれぞれを圧縮する強度を調整してよい。   The compression unit preliminarily calculates the total amount of the code amount of the feature region moving image including the feature region image detected by the feature region detecting unit and the code amount of the feature region moving image including the feature region image specified by the feature region specifying unit. Adjusting the strength of compressing each of the feature region moving image including the feature region image detected by the feature region detecting unit and the feature region moving image including the feature region image specified by the feature region specifying unit so as to be within the predetermined range. You can do it.

特徴領域特定部は、対応領域特定部が特定した対応領域を、他の画像における特徴領域として特定してよい。また、特徴領域特定部は、対応領域特定部が特定した対応領域から、他の画像における特徴領域を抽出してよい。   The feature region specifying unit may specify the corresponding region specified by the corresponding region specifying unit as a feature region in another image. The feature region specifying unit may extract a feature region in another image from the corresponding region specified by the corresponding region specifying unit.

本発明の第2の形態によると、画像処理方法であって、複数の撮像装置のそれぞれにより撮像された複数の画像を取得する画像取得段階と、複数の画像のうちの一の画像から、特徴領域を検出する特徴領域検出段階と、特徴領域に含まれる被写体と同じ被写体を含むべき対応領域を、一の画像の他の画像において特定する対応領域特定段階と、対応領域特定段階において特定された他の画像における対応領域から、他の画像における特徴領域を特定する特徴領域特定段階とを備える。   According to the second aspect of the present invention, there is provided an image processing method comprising: an image acquisition stage for acquiring a plurality of images captured by each of a plurality of imaging devices; and a feature from one of the plurality of images. A feature region detection step for detecting a region, a corresponding region specification step for specifying a corresponding region that should include the same subject as the subject included in the feature region in another image of one image, and a corresponding region specification step A feature region specifying step of specifying a feature region in another image from a corresponding region in another image.

本発明の第3の形態によると、画像処理装置用のプログラムであって、画像処理装置を、複数の撮像装置のそれぞれにより撮像された複数の画像を取得する画像取得部、複数の画像のうちの一の画像から、特徴領域を検出する特徴領域検出部、特徴領域に含まれる被写体と同じ被写体を含むべき対応領域を、一の画像の他の画像において特定する対応領域特定部、対応領域特定部が特定した他の画像における対応領域から、他の画像における特徴領域を特定する特徴領域特定部として機能させる。   According to a third aspect of the present invention, there is provided a program for an image processing device, wherein the image processing device includes an image acquisition unit that acquires a plurality of images captured by each of the plurality of imaging devices, and the plurality of images. A feature region detecting unit for detecting a feature region from one image, a corresponding region specifying unit for specifying a corresponding region that should include the same subject as the subject included in the feature region in another image of the one image, and a corresponding region specifying It is made to function as a feature region specifying unit for specifying a feature region in another image from a corresponding region in another image specified by the unit.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図1は、一実施形態に係る画像処理システム10の一例を示す。画像処理システム10は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。   FIG. 1 shows an example of an image processing system 10 according to an embodiment. An object of the image processing system 10 is to reduce the amount of image data while maintaining a high quality image of a characteristic subject.

画像処理システム10は、監視対象空間150を撮像する複数の撮像装置100a−c(以下、撮像装置100と総称する。)、画像を処理する複数の画像処理装置120a−c(以下、画像処理装置120と総称する。)、画像処理装置170、通信ネットワーク110、および複数の表示装置180a−c(以下、表示装置180と総称する。)を備える。   The image processing system 10 includes a plurality of imaging devices 100a-c (hereinafter collectively referred to as imaging devices 100) that image the monitoring target space 150, and a plurality of image processing devices 120a-c (hereinafter referred to as image processing devices) that process images. 120), an image processing device 170, a communication network 110, and a plurality of display devices 180a-c (hereinafter collectively referred to as display device 180).

画像処理装置120aは、撮像装置100aに接続されている。また、画像処理装置120bは、撮像装置100bに接続されている。また、画像処理装置120cは、撮像装置100cに接続されている。なお、画像処理装置170および表示装置180は、監視対象空間150と異なる空間160に設けられている。   The image processing device 120a is connected to the imaging device 100a. Further, the image processing device 120b is connected to the imaging device 100b. Further, the image processing device 120c is connected to the imaging device 100c. Note that the image processing device 170 and the display device 180 are provided in a space 160 different from the monitoring target space 150.

以下に、撮像装置100a、画像処理装置120a、画像処理装置170、および表示装置180aの動作を説明する。撮像装置100aは、監視対象空間150を撮像して得られた撮像動画をMPEG符号化して撮像動画データを生成して、撮像装置100aが接続されている画像処理装置120aに出力する。   Hereinafter, operations of the imaging device 100a, the image processing device 120a, the image processing device 170, and the display device 180a will be described. The imaging apparatus 100a MPEG-encodes a captured moving image obtained by imaging the monitoring target space 150, generates captured moving image data, and outputs the captured moving image data to the image processing apparatus 120a to which the imaging apparatus 100a is connected.

画像処理装置120aは、撮像装置100aが生成した撮像動画データを取得する。画像処理装置120は、撮像装置100から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物130、車輌等の移動物体140等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置120aは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置120aは、特徴領域以外の背景領域の動画であって、特徴領域動画より低画質な背景領域動画を生成する。   The image processing device 120a acquires the captured moving image data generated by the imaging device 100a. The image processing device 120 decodes the captured moving image data acquired from the imaging device 100 to generate a captured moving image, and a plurality of features having different types of features such as a person 130 and a moving object 140 such as a vehicle from the generated captured moving image. Detect areas. Then, the image processing device 120a generates a plurality of feature area moving images by generating a moving image in which the characteristic region has a higher image quality than the other regions for each type of feature from the captured moving image. Further, the image processing apparatus 120a generates a background area moving image that is a moving image of a background area other than the characteristic area and has a lower image quality than the characteristic area moving image.

そして、画像処理装置120aは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置120aは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連づけて、通信ネットワーク110を通じて画像処理装置170に送信する。   Then, the image processing device 120a generates a plurality of feature region moving image data and background region moving image data by encoding the generated plurality of feature region moving images and background region moving images, respectively. At the same time, the image processing device 120a associates a plurality of characteristic area moving image data and background region moving image data obtained by encoding with each other and transmits them to the image processing device 170 through the communication network 110.

画像処理装置170は、画像処理装置120aから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置170は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置180aに供給する。表示装置180aは、画像処理装置170から供給された動画を表示する。   The image processing device 170 acquires a plurality of feature region moving images and a background region moving image by decoding the associated plurality of feature region moving image data and background region moving image data received from the image processing device 120a, respectively. Then, the image processing apparatus 170 generates a single combined moving image by combining the plurality of feature region moving images and the background region moving image, and supplies the generated combined moving image to the display device 180a. The display device 180a displays the moving image supplied from the image processing device 170.

なお、撮像装置100bおよび撮像装置100cの機能および動作は、それぞれ画像処理装置120bおよび画像処理装置120cに撮像動画データを提供することを除いて、撮像装置100aの機能および動作と同様であるので、その説明を省略する。また、画像処理装置120bおよび画像処理装置120cの機能および動作は、それぞれ撮像装置100bおよび撮像装置100cから撮像動画データを取得することを除いて、画像処理装置120aの機能および動作と同様であってよい。よって、その説明を省略する。また、画像処理装置170は、撮像装置100bおよび撮像装置100cのそれぞれから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをから、一の動画をそれぞれ生成して、それぞれ表示装置180bおよび表示装置180cに供給する。また、表示装置180bおよび表示装置180cは、画像処理装置170から供給されたそれぞれの動画を表示する。   The functions and operations of the imaging device 100b and the imaging device 100c are the same as the functions and operations of the imaging device 100a, except that the imaging moving image data is provided to the image processing device 120b and the image processing device 120c, respectively. The description is omitted. The functions and operations of the image processing device 120b and the image processing device 120c are the same as the functions and operations of the image processing device 120a, except that the captured moving image data is acquired from the imaging device 100b and the imaging device 100c, respectively. Good. Therefore, the description is omitted. Further, the image processing device 170 generates one moving image from the plurality of associated feature region moving image data and background region moving image data received from the imaging device 100b and the imaging device 100c, respectively, and displays each of the display devices 180b. And supplied to the display device 180c. In addition, the display device 180b and the display device 180c display each moving image supplied from the image processing device 170.

本実施形態の画像処理システム10を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残しことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。   When the image processing system 10 of the present embodiment is actually applied as a monitoring system, for example, there may be a case where a subject that is characteristic as a monitoring target such as a person or a moving object can be left with high image quality. In addition, the amount of moving image data may be reduced.

図2は、画像処理装置120のブロック構成の一例を示す。画像処理装置120は、圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、画像生成部205、固定値化ユニット210、低減化ユニット220、符号化ユニット230、対応付け処理部206、および出力部207を有する。   FIG. 2 shows an example of a block configuration of the image processing apparatus 120. The image processing apparatus 120 includes a compressed moving image acquisition unit 201, a compressed moving image decompression unit 202, a feature region detection unit 203, an image division unit 204, an image generation unit 205, a fixed value unit 210, a reduction unit 220, an encoding unit 230, An association processing unit 206 and an output unit 207 are included.

固定値化ユニット210は、複数の固定値化部211a−211c(以下、固定値化部211と総称する。)を含む。低減化ユニット220は、複数の画質低減部221a−d(以下、画質低減部221と総称する。)を含む。   Fixed value unit 210 includes a plurality of fixed value units 211a to 211c (hereinafter collectively referred to as fixed value unit 211). The reduction unit 220 includes a plurality of image quality reduction units 221a-d (hereinafter collectively referred to as image quality reduction units 221).

符号化ユニット230は、背景領域動画符号化部231aおよび複数の特徴領域動画符号化部231b−d(以下、特徴領域動画符号化部231と総称する。)を含む。なお、背景領域動画符号化部231aおよび特徴領域動画符号化部231b−dを総称して、符号化部231と呼ぶ場合がある。   The encoding unit 230 includes a background region moving image encoding unit 231a and a plurality of feature region moving image encoding units 231b-d (hereinafter collectively referred to as a feature region moving image encoding unit 231). The background area moving image encoding unit 231a and the feature area moving image encoding unit 231b-d may be collectively referred to as an encoding unit 231.

なお、画質低減部221aおよび背景領域動画符号化部231aは、圧縮部240aとして機能する。また、画質低減部221bおよび背景領域動画符号化部231bは、圧縮部240bとして機能する。同様に、画質低減部221cおよび背景領域動画符号化部231cは圧縮部240cとして機能する。画質低減部221dおよび背景領域動画符号化部231dは圧縮部240dとして機能する。なお、複数の圧縮部240a−dを、圧縮部240と総称する。   The image quality reduction unit 221a and the background area moving image encoding unit 231a function as the compression unit 240a. Further, the image quality reduction unit 221b and the background area moving image encoding unit 231b function as the compression unit 240b. Similarly, the image quality reduction unit 221c and the background area moving image encoding unit 231c function as the compression unit 240c. The image quality reduction unit 221d and the background area moving image encoding unit 231d function as a compression unit 240d. The plurality of compression units 240a-d are collectively referred to as the compression unit 240.

圧縮動画取得部201は、圧縮された動画を取得する。具体的には、圧縮動画取得部201は、撮像装置100が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部202は、圧縮動画取得部201が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。具体的には、圧縮動画伸張部202は、圧縮動画取得部201が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。   The compressed moving image acquisition unit 201 acquires a compressed moving image. Specifically, the compressed moving image acquisition unit 201 acquires encoded captured moving image data generated by the imaging device 100. The compressed moving image decompression unit 202 restores the moving image acquired by the compressed moving image acquisition unit 201 and generates a plurality of moving image constituent images included in the moving image. Specifically, the compressed moving image decompression unit 202 decodes the captured moving image data acquired by the compressed moving image acquisition unit 201, and generates a plurality of moving image constituent images included in the moving image. The moving image composition image includes a frame image and a field image.

特徴領域検出部203は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。そして、画像分割部204は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。   The feature region detection unit 203 detects a feature region from a plurality of moving image constituent images included in the moving image. Then, the image dividing unit 204 divides each of the plurality of moving image constituent images into a feature area and a background area.

画像生成部205は、複数の動画構成画像から特徴領域画像を抽出することにより、複数の特徴領域画像をそれぞれ含む複数の特徴領域圧縮用動画を生成する。具体的には、画像生成部205は、動画を複製することにより、複数の特徴領域動画のそれぞれを圧縮するための複数の特徴領域圧縮用動画および背景領域動画を圧縮するための背景領域圧縮用動画を生成する。   The image generation unit 205 generates a plurality of feature area compression moving images each including a plurality of feature area images by extracting feature area images from the plurality of moving image constituent images. Specifically, the image generation unit 205 reproduces a moving image to compress a plurality of feature region moving images and compress a plurality of feature region moving images and a background region moving image to compress a background region moving image. Generate a video.

そして、固定値化部211は、特徴領域圧縮用動画に含まれる複数の動画構成画像における特徴領域画像以外の領域の画素値を固定値化する。例えば、固定値化部211は、特徴領域画像以外の領域の画素値を所定の値(例えば、輝度値0)に設定する。そして、圧縮部240は、特徴領域画像以外の領域の画素値が固定値化された複数の動画構成画像をそれぞれ含む複数の特徴領域圧縮用画像を、それぞれの特徴量に応じた強度で圧縮する。このように、圧縮部240は、複数の特徴領域圧縮用動画のそれぞれと、背景領域圧縮用動画とを、それぞれの特徴量に応じた強度で圧縮する。   Then, the fixed value converting unit 211 converts the pixel values of regions other than the feature region image in the plurality of moving image constituent images included in the feature region compression moving image to a fixed value. For example, the fixed value unit 211 sets a pixel value of an area other than the feature area image to a predetermined value (for example, a luminance value of 0). Then, the compression unit 240 compresses a plurality of feature region compression images each including a plurality of moving image constituent images in which pixel values of regions other than the feature region image are fixed values with an intensity corresponding to each feature amount. . As described above, the compression unit 240 compresses each of the plurality of feature region compression moving images and the background region compression moving image with an intensity corresponding to each feature amount.

以上説明したように、特徴領域検出部203は、画像から特徴領域を検出する。そして、画像分割部204は、画像を、特徴領域と、特徴領域以外の背景領域とに分割する。そして、圧縮部240は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。そして、圧縮部240は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。   As described above, the feature region detection unit 203 detects a feature region from the image. Then, the image dividing unit 204 divides the image into a feature region and a background region other than the feature region. Then, the compression unit 240 compresses the feature area image that is the image of the feature area and the background area image that is the image of the background area with different strengths. Then, the compression unit 240 compresses the feature area moving image including a plurality of characteristic area images and the background area moving image including a plurality of background area images with different strengths.

なお、圧縮部240b、圧縮部240c、および圧縮部240dには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部240b、圧縮部240c、および圧縮部240dは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部240b、圧縮部240c、および圧縮部240dは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部240は、画像分割部204によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。   Note that in the compression unit 240b, the compression unit 240c, and the compression unit 240d, it is determined in advance which type of feature area moving image should be compressed, and the compression unit 240b, the compression unit 240c, and the compression unit 240d are determined in advance. The feature region moving image of the specified feature type is compressed. Note that the compression strength in the case of compressing the feature region moving image is determined in advance for each of a plurality of feature types, and the compression unit 240b, the compression unit 240c, and the compression unit 240d are features of the predetermined feature types. The area moving image is compressed with a compression strength predetermined for the type of the feature. As described above, the compression unit 240 compresses a plurality of regions in parallel using the compressor provided for each image region divided by the image dividing unit 204.

なお、圧縮部240は、一つの圧縮器によって実装されてよく、複数の特徴領域動画および背景領域動画を時間的に順次圧縮してもよい。他にも、圧縮部240は、圧縮動画伸張部202によって復号された撮像動画を、画像分割部204が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。   Note that the compression unit 240 may be implemented by a single compressor, and may sequentially compress a plurality of feature area videos and background area videos. In addition, the compression unit 240 is predetermined for each feature type and background of each region for each region obtained by dividing the captured moving image decoded by the compressed moving image decompression unit 202 by the image dividing unit 204. One video data may be generated by compressing at a compression rate.

なお、特徴領域検出部203は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。そして、画像分割部204は、複数の動画構成画像を、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。そして、圧縮部240は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた強度で圧縮する。なお、特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。   Note that the feature region detection unit 203 detects a plurality of feature regions having different types of features from a plurality of moving image constituent images included in a moving image that is an image. Then, the image dividing unit 204 divides the plurality of moving image constituent images into each of a plurality of feature areas and a background area other than the plurality of feature areas. Then, the compression unit 240 compresses the plurality of feature area moving images and the background area moving image with an intensity corresponding to each feature amount. The feature amount includes the type of subject, the size of the subject, the moving speed at which the moving object moves, and the size of the feature region.

具体的には、画質低減部221は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて画質を低減することにより圧縮する。より具体的には、画質低減部221は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。そして、符号化部231は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部231は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。   Specifically, the image quality reduction unit 221 compresses a plurality of feature area moving images and background area moving images by reducing the image quality according to each feature amount. More specifically, the image quality reduction unit 221 compresses a plurality of feature region moving images and background region moving images by reducing the resolution or frame rate according to each feature amount. Then, the encoding unit 231 compresses the plurality of feature area moving images and the background area moving image by encoding using setting values corresponding to the respective feature amounts. For example, the encoding unit 231 compresses a plurality of feature area moving images and background area moving images by encoding them using an assigned code amount corresponding to each feature amount.

対応付け処理部206は、複数の圧縮部240が複数の特徴領域動画および背景領域動画を圧縮することによって生成した複数の特徴領域動画データおよび背景領域動画データを、例えばタグ情報等を付帯する等して互いに対応づける。出力部207は、対応付け処理部206が対応づけた複数の特徴領域動画データおよび背景領域動画データを通信ネットワーク110に送出する。   The association processing unit 206 includes a plurality of feature region moving image data and background region moving image data generated by the compression units 240 compressing a plurality of feature region moving images and background region moving images, for example, with tag information and the like. And correspond to each other. The output unit 207 sends the plurality of feature area moving image data and background area moving image data associated by the association processing unit 206 to the communication network 110.

図3は、画像処理装置170のブロック構成の一例を示す。画像処理装置170は、圧縮動画取得部301、対応付け解析部302、圧縮動画伸張ユニット310、合成部303、および出力部304を有する。圧縮動画伸張ユニット310は、複数の圧縮動画伸張部311a−d(以下、圧縮動画伸張部311と総称する。)を含む。   FIG. 3 shows an example of a block configuration of the image processing apparatus 170. The image processing apparatus 170 includes a compressed moving image acquisition unit 301, an association analysis unit 302, a compressed moving image decompression unit 310, a composition unit 303, and an output unit 304. The compressed moving image expansion unit 310 includes a plurality of compressed moving image expansion units 311a-d (hereinafter collectively referred to as a compressed moving image expansion unit 311).

圧縮動画取得部301は、出力部207が出力した、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得する。対応付け解析部302は、例えば付帯されたタグ情報を解析して、圧縮動画取得部301が取得した対応づけられた複数の特徴領域動画データおよび背景領域動画データを取り出す。   The compressed moving image acquisition unit 301 acquires a plurality of associated feature region moving image data and background region moving image data output from the output unit 207. The association analysis unit 302 analyzes, for example, attached tag information, and extracts a plurality of associated feature region movie data and background region movie data acquired by the compressed movie acquisition unit 301.

圧縮動画伸張部311は、複数の特徴領域動画データおよび背景領域動画データを復号する。具体的には、圧縮動画伸張部311aは背景領域動画データを復号する。また、圧縮動画伸張部311b−dは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画および背景領域動画を取得する。なお、圧縮動画伸張部311b−dは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。   The compressed moving image decompression unit 311 decodes the plurality of characteristic area moving image data and background area moving image data. Specifically, the compressed moving image decompression unit 311a decodes the background area moving image data. In addition, the compressed moving image decompression unit 311b-d decodes one feature region moving image out of the plurality of feature region moving image data, and acquires a plurality of feature region moving images and a background region moving image. Note that the compressed moving image decompression unit 311b-d is provided for each type of feature, and decodes any type of feature region moving image data.

合成部303は、圧縮動画伸張部311が復号することによって得られた動画構成画像を合成する。具体的には、合成部303は、圧縮動画伸張部311b−dにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景領域動画が含む動画構成画像に重ね合わせた動画構成画像を生成する。出力部304は、合成部303が生成した複数の動画構成画像を含む動画を、表示装置180に供給する。   The synthesizing unit 303 synthesizes the moving image constituent images obtained by the compressed moving image decompressing unit 311 decoding. Specifically, the synthesizing unit 303 superimposes the feature region images of the moving image constituent images included in each of the plurality of feature region moving images decoded by the compressed moving image decompression unit 311b-d on the moving image constituent images included in the background region moving image. A combined moving image composition image is generated. The output unit 304 supplies a moving image including a plurality of moving image constituent images generated by the combining unit 303 to the display device 180.

なお、本実施形態の圧縮動画伸張ユニット310は、特徴の種類の数に応じた複数の圧縮動画伸張部311を含むが、他の形態では、圧縮動画伸張ユニット310が含む一の圧縮動画伸張部311が、背景領域動画データおよび複数の特徴領域動画データを順次復号してもよい。また、画像処理装置120から一の動画データとして提供される場合には、一の圧縮動画伸張部311が当該一の動画データを復号して、復号した得られた動画を出力部304が出力してもよい。   Note that the compressed video decompression unit 310 of the present embodiment includes a plurality of compressed video decompression units 311 corresponding to the number of feature types, but in another form, one compressed video decompression unit included in the compressed video decompression unit 310. 311 may sequentially decode the background area moving image data and the plurality of characteristic area moving image data. In addition, when provided as one moving image data from the image processing device 120, one compressed moving image decompression unit 311 decodes the one moving image data, and the output unit 304 outputs the decoded moving image. May be.

図4は、画像処理装置120の処理フローの一例を示す。圧縮動画取得部201が撮像動画データを取得(401)。圧縮動画伸張部202は、撮像動画データを復号することによって複数のフレーム画像410を生成する。特徴領域検出部203は、フレーム画像410の画像内容又は複数のフレーム画像410の画像内容に基づいて、特徴領域の一例であるROI(Region of interest)を検出する(402)。   FIG. 4 shows an example of the processing flow of the image processing apparatus 120. The compressed moving image acquisition unit 201 acquires captured moving image data (401). The compressed moving image decompression unit 202 generates a plurality of frame images 410 by decoding the captured moving image data. The feature region detection unit 203 detects a region of interest (ROI) that is an example of a feature region based on the image content of the frame image 410 or the image content of the plurality of frame images 410 (402).

特徴領域検出部203は、人物の顔、人体、および移動物体を含む領域を、異なる種類のROIとして検出する。例えば、特徴領域検出部203は、予め定められた人物の顔に関するパターンに対する一致度が、予め定められた一致度より大きいオブジェクトを含む領域をパターンマッチング等により検出して、検出した顔領域をROIとする。また、特徴領域検出部203は、人物の体に関するパターンに対する一致度が予め定められた一致度より大きいオブジェクトを含む人体領域をパターンマッチング等により検出して、検出した領域をROIとする。なお、特徴領域検出部203は、顔領域の近傍に存在する領域から人体領域を検出してもよい。   The feature region detection unit 203 detects regions including human faces, human bodies, and moving objects as different types of ROIs. For example, the feature area detection unit 203 detects, by pattern matching or the like, an area including an object having a degree of coincidence with a pattern related to a predetermined person's face that is greater than a predetermined degree of coincidence, and detects the detected face area as an ROI. And Further, the feature region detection unit 203 detects a human body region including an object having a matching degree with respect to a pattern related to a human body greater than a predetermined matching degree by pattern matching or the like, and sets the detected region as an ROI. Note that the feature region detection unit 203 may detect a human body region from a region existing in the vicinity of the face region.

また、特徴領域検出部203は、複数のフレーム画像の画像内容に基づいて、移動物体を含む領域である動領域を特定する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域を、動領域として特定する。他にも、特徴領域検出部203は、エッジ抽出等により複数のフレーム画像のそれぞれに含まれるオブジェクトを抽出する。そして、特徴領域検出部203は、他のフレーム画像の異なる位置に含まれるオブジェクトであって、予め定められた一致度より大きい一致度で一致するオブジェクトを特定して、特定したオブジェクトを含む領域を動領域として特定してもよい。   In addition, the feature region detection unit 203 identifies a moving region that is a region including a moving object based on the image contents of a plurality of frame images. For example, an area in which the amount of change in pixel value with respect to another frame image is larger than a predetermined amount of change is specified as a moving area. In addition, the feature region detection unit 203 extracts objects included in each of the plurality of frame images by edge extraction or the like. Then, the feature region detection unit 203 identifies objects that are included in different positions of other frame images and that match with a degree of coincidence that is greater than a predetermined degree of coincidence, and includes an area that includes the identified object. It may be specified as a moving area.

このように、特徴領域検出部203は、予め定められた画像内容に関する条件に適合する領域を、ROIとして検出する。より具体的には、特徴領域検出部203は、予め定められた条件に適合するオブジェクトを含む領域を、ROIとして検出する。例えば、特徴領域検出部203は、予め定められた形状との間の一致度が予め定められた一致度より大きいオブジェクトを含む領域を、ROIとして検出する。また、特徴領域検出部203は、画像の変化量が予め定められた変化量より大きい領域を、ROIとして検出する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域をROIとして検出する。   As described above, the feature region detection unit 203 detects a region that meets a predetermined condition relating to image content as an ROI. More specifically, the feature area detection unit 203 detects an area including an object that meets a predetermined condition as an ROI. For example, the feature area detection unit 203 detects, as an ROI, an area that includes an object having a degree of coincidence with a predetermined shape that is greater than a predetermined degree of coincidence. Further, the feature area detection unit 203 detects an area where the change amount of the image is larger than the predetermined change amount as the ROI. For example, an area where the change amount of the pixel value between other frame images is larger than a predetermined change amount is detected as the ROI.

そして、画像処理装置120は、検出されたROIに基づいて圧縮用動画を生成する(403)。具体的には、画像分割部204は、フレーム画像をROIとそれ以外の領域に分割する。そして、画像生成部205は、複数のフレーム画像410を複製することによって、特徴領域動画430、特徴領域動画440、および特徴領域動画450と、背景領域動画420とを生成する。具体的には、画像生成部205は、複数のフレーム画像410を複製することによって、顔領域用の特徴領域動画450、人領域用の特徴領域動画440、動領域用の特徴領域動画430、および背景領域用の背景領域動画420を生成する。   Then, the image processing apparatus 120 generates a moving image for compression based on the detected ROI (403). Specifically, the image dividing unit 204 divides the frame image into ROI and other areas. Then, the image generation unit 205 generates a feature region moving image 430, a feature region moving image 440, a feature region moving image 450, and a background region moving image 420 by duplicating the plurality of frame images 410. Specifically, the image generation unit 205 reproduces a plurality of frame images 410, thereby generating a facial region feature region moving image 450, a human region feature region moving image 440, a moving region feature region moving image 430, and A background area moving image 420 for the background area is generated.

そして、画像処理装置120は、固定値化部211および画質低減部221により、特徴領域動画430、特徴領域動画440、および特徴領域動画450と、背景領域動画420とに対して、画質を低減する(404a、404b、404c、404d)。具体的には、固定値化部211は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像において、画像分割部204が分割したROI内の画素値は変化させず、ROI以外の領域に対する画素値を所定の値(例えば、輝度値0)にする。なお、固定値化部211は、ROI以外の領域の画素値を、当該ROIに近傍する領域の画素値の平均的な画素値にしてよい。   Then, the image processing apparatus 120 reduces the image quality of the feature region moving image 430, the feature region moving image 440, the feature region moving image 450, and the background region moving image 420 by the fixed value converting unit 211 and the image quality reducing unit 221. (404a, 404b, 404c, 404d). Specifically, the fixed value unit 211 changes the pixel values in the ROI divided by the image dividing unit 204 in the frame images included in each of the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450. First, the pixel value for the region other than the ROI is set to a predetermined value (for example, luminance value 0). Note that the fixed value converting unit 211 may set the pixel values in the region other than the ROI as an average pixel value of the pixel values in the region near the ROI.

このように、画像生成部205および固定値化部211により、同じ視野角の複数のフレーム画像をそれぞれ含む特徴領域動画430、特徴領域動画440、および特徴領域動画450および背景領域動画420が生成される。なお、後に詳しく説明するように、画像処理装置170は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のようなROI以外の領域が固定値化されている動画を、背景領域動画420に重ね合わせた動画を生成する。したがって、背景領域動画420、特徴領域動画430、特徴領域動画440、および特徴領域動画450は、それぞれ背景レイヤー、動領域レイヤー、人領域レイヤー、および顔領域レイヤーとみなすことができる。   As described above, the image generation unit 205 and the fixed value conversion unit 211 generate the feature region moving image 430, the feature region moving image 440, the feature region moving image 450, and the background region moving image 420 each including a plurality of frame images having the same viewing angle. The As will be described in detail later, the image processing apparatus 170 converts a moving image in which a region other than the ROI, such as the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450, into a fixed value is used as the background region moving image. A moving image superimposed on 420 is generated. Therefore, the background area animation 420, the feature area animation 430, the feature area animation 440, and the feature area animation 450 can be regarded as a background layer, a motion area layer, a human area layer, and a face area layer, respectively.

また、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像におけるROI内の画像の画質を、特徴の種類に応じて低減する。具体的には、顔領域、人領域、および動領域のそれぞれの画質を定めるパラメータとして、解像度、階調数、および色数の少なくとも1つが予め定められている。例えば、顔領域、人領域、動領域の順に高い解像度が予め定められている。   In addition, the image quality reduction unit 221 reduces the image quality of the image in the ROI in the frame images included in each of the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450 according to the type of feature. Specifically, at least one of resolution, the number of gradations, and the number of colors is determined in advance as a parameter that determines the image quality of each of the face area, the human area, and the moving area. For example, a high resolution is determined in advance in the order of the face area, the human area, and the moving area.

そして、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像におけるROI内の画像の画質を、特徴の種類に対して予め定められた解像度、階調数、および色数の画像に変換する。また、画質低減部221は、背景領域動画のフレーム画像の画質を、ROI内の画像の画質より低くする。例えば、画質低減部221は、背景領域動画のフレーム画像の解像度を、ROI内の画像のより小さくする。   Then, the image quality reduction unit 221 sets the image quality of the image in the ROI in the frame image included in each of the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450 to a resolution predetermined for the type of feature, Convert to an image with the number of gradations and the number of colors. In addition, the image quality reduction unit 221 makes the image quality of the frame image of the background area moving image lower than the image quality of the image in the ROI. For example, the image quality reduction unit 221 makes the resolution of the frame image of the background area moving image smaller than that of the image in the ROI.

また、画質低減部221は、背景領域動画420、特徴領域動画430、特徴領域動画440、および特徴領域動画450のフレームレートを低減する。例えば、特徴の種類ごとに、例えば顔領域、人領域、および動領域ごとに、予めフレームレートが定められている。そして、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450に含まれるフレーム画像を、特徴の種類に応じて予め定められたフレームレートに従って所定の間隔で間引くことによって、特徴領域動画430、特徴領域動画440、および特徴領域動画450のフレームレートを低減する。また、画質低減部221は、背景領域動画420に含まれるフレーム画像を、背景領域動画のフレームレートとして予め定められたフレームレートに従って間引くことによって、背景領域動画420のフレームレートを低減する。   In addition, the image quality reduction unit 221 reduces the frame rates of the background area moving image 420, the feature area moving image 430, the feature area moving image 440, and the feature area moving image 450. For example, a frame rate is determined in advance for each type of feature, for example, for each face area, human area, and moving area. Then, the image quality reduction unit 221 thins out the frame images included in the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450 at a predetermined interval according to a frame rate that is predetermined according to the type of the feature. The frame rates of the feature area animation 430, the feature area animation 440, and the feature area animation 450 are reduced. In addition, the image quality reduction unit 221 reduces the frame rate of the background area moving image 420 by thinning out the frame images included in the background area moving image 420 according to a frame rate predetermined as the frame rate of the background area moving image.

なお、画質低減部221aは、背景領域動画420の画質を低減する。また、画質低減部221b、画質低減部221c、および画質低減部221dは、それぞれ特徴領域動画430、特徴領域動画440、および特徴領域動画450の画質を低減する。   The image quality reduction unit 221a reduces the image quality of the background area moving image 420. In addition, the image quality reduction unit 221b, the image quality reduction unit 221c, and the image quality reduction unit 221d reduce the image quality of the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450, respectively.

そして、背景領域動画符号化部231a、および領域動画符号化部231b−dは、画質低減部221により画質が低減された動画をそれぞれ符号化する(405a、405b、405c、405d)。例えば、背景領域動画符号化部231a、および領域動画符号化部231b−dは、画質低減部221により画質が低減された動画をそれぞれMPEG符号化する。   Then, the background area moving image encoding unit 231a and the area moving image encoding unit 231b-d encode the moving images whose image quality has been reduced by the image quality reducing unit 221 (405a, 405b, 405c, and 405d). For example, the background area moving image encoding unit 231a and the area moving image encoding unit 231b-d each encode the moving image whose image quality has been reduced by the image quality reducing unit 221.

例えば、背景領域動画符号化部231aは、背景領域動画用の符号化設定で背景領域動画をMPEG符号化する。特徴領域動画符号化部231b、特徴領域動画符号化部231c、および特徴領域動画符号化部231dは、それぞれ動領域、人領域、および顔領域のそれぞれの特徴領域動画用の符号化設定で、特徴領域動画をそれぞれMPEG符号化する。なお、符号化設定は、例えばMPEG符号化における量子化テーブルを設定することを含む。なお、符号化設定については図5に関連して説明する。   For example, the background area moving image encoding unit 231a performs MPEG encoding on the background area moving image with the encoding setting for the background area moving image. The feature region moving image encoding unit 231b, the feature region moving image encoding unit 231c, and the feature region moving image encoding unit 231d are encoding settings for the feature region moving image of the moving region, the human region, and the face region, respectively. Each area moving image is MPEG-encoded. Note that the coding setting includes setting a quantization table in MPEG coding, for example. The encoding setting will be described with reference to FIG.

そして、対応付け処理部206は、背景領域動画符号化部231aおよび特徴領域動画符号化部231b−dが符号化することによって得られた背景領域動画データおよび複数の特徴領域動画データにタグ情報を付帯する等して関連付けして、出力部207が表示装置180に出力する(406)。このとき、対応付け処理部206は、背景領域動画および複数の特徴領域動画のそれぞれが含むフレーム画像の表示タイミングを示す情報を含むタイミング情報(例えば、タイムスタンプ)を、タグ情報等に付加してよい。また、対応付け処理部206は、複数の特徴領域の範囲をそれぞれ示す情報を含む特徴領域情報、背景領域動画および複数の特徴領域動画の元となった撮像動画データを撮像した撮像装置100を識別する識別情報等を、タグ情報等に付加してよい。   Then, the association processing unit 206 adds tag information to the background region moving image data and the plurality of feature region moving image data obtained by encoding by the background region moving image encoding unit 231a and the feature region moving image encoding unit 231b-d. The output unit 207 outputs the information to the display device 180 by associating it with an accessory (406). At this time, the association processing unit 206 adds timing information (for example, time stamp) including information indicating the display timing of the frame image included in each of the background area moving image and the plurality of characteristic area moving images to the tag information or the like. Good. In addition, the association processing unit 206 identifies the imaging device 100 that captured the feature region information including information indicating the ranges of the plurality of feature regions, the background region movie, and the captured movie data that is the basis of the plurality of feature region movies. Identification information or the like to be added may be added to tag information or the like.

以上説明したように、特徴領域検出部203は、画像である動画に含まれる複数の動画構成画像から、被写体の種類が異なる複数の特徴領域を検出する。そして、圧縮部240は、複数の特徴領域動画を、それぞれの被写体の種類に応じた強度で圧縮する。なお、本実施形態では、被写体の種類の一例として人物の顔および人体領域について説明したが、他の例では、自動車のナンバープレートおよびナンバープレート以外の車体を被写体の種類としてよい。   As described above, the feature region detection unit 203 detects a plurality of feature regions having different types of subjects from a plurality of moving image constituent images included in a moving image that is an image. Then, the compression unit 240 compresses the plurality of feature area moving images with an intensity corresponding to the type of each subject. In the present embodiment, a human face and a human body region have been described as examples of the types of subjects. However, in other examples, vehicle license plates and vehicle bodies other than license plates may be used as the types of subjects.

また、人物の正面の顔および横顔を被写体の種類としてもよい。また、静止している被写体および動いている被写体を被写体の種類としてもよい。また、特徴領域検出部203は、撮像装置100から被写体までの距離が異なる複数の被写体を含む領域を、特徴の種類が異なる複数の特徴領域として検出してもよい。   Further, the front face and the side face of the person may be the subject type. Further, a stationary subject and a moving subject may be used as the subject type. Further, the feature region detection unit 203 may detect a region including a plurality of subjects having different distances from the imaging device 100 to the subject as a plurality of feature regions having different types of features.

なお、圧縮部240は、特徴の種類の一例である、動き領域、人体、人物の横顔、人物の正面の顔の順に大きい圧縮強度で圧縮してよい。なお、本実施形態では、画像処理システム10を監視システムとして利用する利用目的を鑑みて、人物の顔を含む領域をROIとして検出して、検出したROIをROI以外の領域より高画質にするとした。しかしながら、画像処理システム10を、例えば街角の風景を撮像するシステムとして利用することもできる。このような形態で画像処理システム10を利用する場合には、個人情報を保護することを目的として、人物の顔を含む領域をROIとして検出して、検出したROIをROI以外の領域より低画質にしてもよい。例えば圧縮部240は、人物の正面の顔、人物の横顔、人体、動き領域、背景領域の順に大きい圧縮強度で、特徴領域動画および背景領域動画を圧縮してよい。   Note that the compression unit 240 may compress the motion region, the human body, the side profile of the person, and the face in front of the person in order of large compression strengths, which are examples of feature types. In the present embodiment, in consideration of the purpose of using the image processing system 10 as a monitoring system, an area including a human face is detected as an ROI, and the detected ROI has a higher image quality than an area other than the ROI. . However, the image processing system 10 can also be used as, for example, a system that captures landscapes of street corners. When the image processing system 10 is used in such a form, for the purpose of protecting personal information, an area including a human face is detected as an ROI, and the detected ROI has a lower image quality than an area other than the ROI. It may be. For example, the compressing unit 240 may compress the feature region moving image and the background region moving image with a large compression strength in the order of the face in front of the person, the profile of the person, the human body, the motion region, and the background region.

その他にも、特徴領域検出部203は、複数のフレーム画像から、被写体の速度が異なる複数の特徴領域を検出してもよい。この場合、画質低減部221は、特徴領域動画を、被検体の速度がより速いほど、より高いフレームレートの動画に変換してもよい。このように、圧縮部240は、複数の特徴領域動画を、それぞれの被写体の速度に応じた強度で圧縮してよい。   In addition, the feature region detection unit 203 may detect a plurality of feature regions having different subject velocities from a plurality of frame images. In this case, the image quality reduction unit 221 may convert the feature area moving image into a moving image having a higher frame rate as the subject speed increases. As described above, the compression unit 240 may compress a plurality of feature region moving images with an intensity corresponding to the speed of each subject.

以上説明したように、画像処理装置120は、特徴領域動画に含まれるフレーム画像におけるROI以外の領域を固定値化して、視野角が同じ複数の特徴領域動画および背景領域動画を生成する。このため、画像処理装置120によると、特別に設計された符号化器を使用することなく、汎用の符号化器を使用して特徴領域動画を高い圧縮率で圧縮することができる場合がある。例えば、MPEG符号化等のように動きベクトルを用いて特徴領域動画を符号化すると、固定値化した領域中のマクロブロックについては画素値の差分値が0になる場合が多くなる。したがって、このような固定値化により、圧縮率を高く維持しながら画像処理装置120の製造コストを低減することができる場合がある。   As described above, the image processing apparatus 120 generates a plurality of feature region moving images and background region moving images having the same viewing angle by fixing a region other than the ROI in the frame image included in the feature region moving image. For this reason, according to the image processing apparatus 120, the feature region moving image may be compressed at a high compression rate using a general-purpose encoder without using a specially designed encoder. For example, when a feature area moving image is encoded using a motion vector as in MPEG encoding, the difference value between pixel values is often 0 for a macroblock in a fixed value area. Therefore, such fixed values may reduce the manufacturing cost of the image processing apparatus 120 while maintaining a high compression rate.

以上の説明では、圧縮部240は、ROI領域以外の領域が固定値化されたフレーム画像を含む特徴領域動画を圧縮することとした。なお、圧縮部240は、特徴領域動画に含まれるフレーム画像におけるROI内の画像を切り出して圧縮して特徴領域動画として出力してもよい。   In the above description, the compression unit 240 compresses the feature region moving image including the frame image in which the region other than the ROI region is fixed. Note that the compression unit 240 may cut out and compress an image in the ROI in the frame image included in the feature area moving image and output it as a feature area moving image.

なお、特徴領域検出部203がROIを検出していない場合には、出力部207は、圧縮部240aが出力する背景領域動画データを画像処理装置170に出力する。この場合、画像生成部205は特徴領域動画430、特徴領域動画440、および特徴領域動画450を生成しなくてよい。そして、画像生成部205は、特徴領域検出部203がROIを検出したことを条件として、特徴領域動画430、特徴領域動画440、および特徴領域動画450を生成して、出力部207は上記の処理によって生成された複数の特徴領域動画データおよび背景領域動画データを画像処理装置170に出力する。この間、圧縮部240aは、背景領域動画420を圧縮すべく予め定められた背景領域用圧縮率で背景領域動画420を圧縮しつづけてよい。   When the feature area detection unit 203 has not detected the ROI, the output unit 207 outputs the background area moving image data output from the compression unit 240a to the image processing apparatus 170. In this case, the image generation unit 205 does not have to generate the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450. Then, the image generation unit 205 generates the feature region moving image 430, the feature region moving image 440, and the feature region moving image 450 on condition that the feature region detection unit 203 detects the ROI, and the output unit 207 performs the above processing. The plurality of characteristic area moving image data and background area moving image data generated by the above is output to the image processing apparatus 170. During this time, the compression unit 240a may continue to compress the background area moving image 420 at a predetermined compression ratio for the background area in order to compress the background area moving image 420.

その他にも、特徴領域検出部203がROIを検出していない間には、圧縮部240は、背景領域用圧縮率より低く、かつ、特徴領域動画を圧縮する圧縮率より高い、予め定められたROI非検出期間圧縮率で、背景領域動画を圧縮してよい。そして、圧縮部240は、特徴領域検出部203がROIを検出したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。このとき、圧縮部240は、特徴領域動画をROI非検出期間圧縮率より低い圧縮率で圧縮してよい。   In addition, while the feature region detection unit 203 does not detect the ROI, the compression unit 240 is set in advance to be lower than the compression rate for the background region and higher than the compression rate for compressing the feature region moving image. The background area moving image may be compressed at the ROI non-detection period compression rate. Then, the compression unit 240 may compress the background region moving image with the background region compression rate on condition that the feature region detection unit 203 detects the ROI. At this time, the compression unit 240 may compress the feature region moving image at a compression rate lower than the ROI non-detection period compression rate.

なお、圧縮部240は、特徴領域検出部203がROIを検出してから予め定められた期間の背景領域動画をROI非検出期間圧縮率で圧縮するとともに、予め定められた期間より長い期間が経過したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。こうすると、本来ROIとして検出されるべき領域がROIとして検出されなかった場合でも、ある程度の画質の背景領域動画を提供することができる場合がある。また、圧縮部240は、特徴領域検出部203が検出した複数のフレーム画像におけるROI領域の位置から推定される他のフレーム画像におけるROI領域を含む領域の画質を、他の領域の画質より高い画質にすべく、圧縮率を領域ごとに異ならせてもよい。   The compression unit 240 compresses the background region moving image of a predetermined period after the ROI is detected by the feature region detection unit 203 at the ROI non-detection period compression rate, and a period longer than the predetermined period elapses. As a condition, the background area moving image may be compressed at the compression ratio for the background area. In this case, even when the region that should originally be detected as ROI is not detected as ROI, a background region moving image having a certain level of image quality may be provided. The compression unit 240 also sets the image quality of the region including the ROI region in the other frame image estimated from the position of the ROI region in the plurality of frame images detected by the feature region detection unit 203 to be higher than the image quality of the other region. Therefore, the compression rate may be different for each region.

図5は、複数の特徴領域動画および背景領域動画の画質の一例を示す。ここでは、説明を簡単にすることを目的として、圧縮動画取得部201が取得した撮像動画データのフレームレートが16fpsであり、当該撮像動画データに含まれるフレーム画像の解像度が72dpiであるとする。   FIG. 5 shows an example of the image quality of a plurality of feature area videos and background area videos. Here, for the purpose of simplifying the description, it is assumed that the frame rate of the captured moving image data acquired by the compressed moving image acquisition unit 201 is 16 fps, and the resolution of the frame image included in the captured moving image data is 72 dpi.

撮像動画に含まれるフレーム画像410の解像度に対する画質低減後の背景領域動画420に含まれるフレーム画像の解像度の比率を示す解像度比率は予め1/8と定められている。画質低減部221は、画像生成部205によって撮像動画が複製されることによって生成された画質低減前の背景領域動画420に含まれるフレーム画像に対して1/8の解像度である9dpiのフレーム画像を、画質低減前の背景領域動画420に含まれるフレーム画像の画素を間引くことによって生成する。また、撮像動画のフレームレートに対する画質低減後の背景領域動画420のフレームレートの比率を示すフレームレート比率は予め1/8と定められている。画質低減部221は、画質低減前の背景領域動画420のフレームレートの1/8のフレームレートである2fpsのフレームレートの背景領域動画420を、画質低減前の背景領域動画420に含まれるフレーム画像を間引くことによって生成する。   The resolution ratio indicating the ratio of the resolution of the frame image included in the background area moving image 420 after image quality reduction to the resolution of the frame image 410 included in the captured moving image is predetermined as 1/8. The image quality reduction unit 221 generates a 9 dpi frame image having a resolution of 1/8 with respect to the frame image included in the background area video 420 before image quality reduction generated by copying the captured video by the image generation unit 205. This is generated by thinning out the pixels of the frame image included in the background area moving image 420 before image quality reduction. In addition, the frame rate ratio indicating the ratio of the frame rate of the background area moving image 420 after image quality reduction to the frame rate of the captured moving image is set to 1/8 in advance. The image quality reduction unit 221 converts the background area video 420 having a frame rate of 2 fps, which is a frame rate of 1/8 of the frame rate of the background area video 420 before the image quality reduction, into a frame image included in the background area video 420 before the image quality reduction. Generate by thinning out.

同様に、複数の特徴領域動画のそれぞれに対しても、解像度比率およびフレームレート比率が定められている。例えば、特徴領域動画430については解像度比率およびフレームレート比率は1/4が定められており、特徴領域動画440については解像度比率およびフレームレート比率として1/2が定められており、特徴領域動画450については解像度比率およびフレームレート比率として1/1が定められている。これにより、画質低減部221bは、フレームレートが4fps、フレーム画像の解像度が18dpiの特徴領域動画430を生成する。また、画質低減部221cは、フレームレートが8fps、フレーム画像の解像度が36dpiの特徴領域動画440を生成する。また、画質低減部221dは、フレームレートが16fps、フレーム画像の解像度が72dpiの特徴領域動画450を生成する。   Similarly, a resolution ratio and a frame rate ratio are determined for each of the plurality of characteristic area moving images. For example, the resolution ratio and the frame rate ratio are set to 1/4 for the feature area moving image 430, and the resolution ratio and the frame rate ratio are set to 1/2 for the feature area moving image 440. Is defined as 1/1 as the resolution ratio and the frame rate ratio. As a result, the image quality reduction unit 221b generates a feature region moving image 430 having a frame rate of 4 fps and a frame image resolution of 18 dpi. In addition, the image quality reduction unit 221c generates a feature region moving image 440 having a frame rate of 8 fps and a frame image resolution of 36 dpi. In addition, the image quality reduction unit 221d generates a feature region moving image 450 having a frame rate of 16 fps and a frame image resolution of 72 dpi.

なお、上記の例では、画質低減部221が複数の特徴領域動画および背景領域動画に含まれるフレーム画像の画素を間引くことによってフレーム画像の画質を低減する場合を例に挙げて説明した。その他にも、画質低減部221は、例えばローパスフィルタ等の、所定の周波数領域を通過するフィルタを用いてフレーム画像の画質を低減してもよい。この場合、フィルタが通過する周波数帯域および通過する度合いを示す強度は、特徴の種類ごと、例えば背景領域、動領域、人領域、および顔領域ごとに予め定められてよい。   In the above example, the case where the image quality reduction unit 221 reduces the image quality of the frame image by thinning out the pixels of the frame image included in the plurality of feature region moving images and the background region moving image has been described as an example. In addition, the image quality reduction unit 221 may reduce the image quality of the frame image using a filter that passes through a predetermined frequency region, such as a low-pass filter. In this case, the frequency band through which the filter passes and the intensity indicating the degree of passage may be determined in advance for each type of feature, for example, for each of the background region, the moving region, the human region, and the face region.

なお、画質低減部221による画質低減に加えて、又は画質低減部221による画質低減に替えて、符号化部231がフレーム画像の画質を低減してもよい。例えば、符号化部231が、MPEG符号化における量子化テーブルの値を大きくすることによって、画質を低減することができる。量子化テーブルの値の大きさは、特徴の種類ごとに予め定められてよい。例えば、背景領域動画符号化部231aおよび複数の特徴領域動画符号化部231b−dのそれぞれが、予め設定された値を持つ量子化テーブルを用いて符号化してよい。また、量子化テーブルにおける周波数成分ごとの値が特徴の種類ごとに予め定められていてよい。   In addition to the image quality reduction by the image quality reduction unit 221, or in place of the image quality reduction by the image quality reduction unit 221, the encoding unit 231 may reduce the image quality of the frame image. For example, the encoding unit 231 can reduce the image quality by increasing the value of the quantization table in MPEG encoding. The magnitude of the value of the quantization table may be determined in advance for each type of feature. For example, each of the background region moving image encoding unit 231a and the plurality of feature region moving image encoding units 231b-d may perform encoding using a quantization table having a preset value. In addition, a value for each frequency component in the quantization table may be determined in advance for each type of feature.

また、画質低減部221はさらに、背景領域動画に含まれる複数のフレーム画像を平均化してもよい。これによれば、移動物体を示すオブジェクトがフレーム画像に含まれている場合に、移動物体のオブジェクトが平均化されたフレーム画像が得られる。そして、このような複数のフレーム画像を連続表示させると、移動物体の動きが閲覧者の目に滑らかに映る場合がある。   Further, the image quality reduction unit 221 may further average a plurality of frame images included in the background area moving image. According to this, when an object indicating a moving object is included in the frame image, a frame image in which the objects of the moving object are averaged is obtained. When such a plurality of frame images are continuously displayed, the movement of the moving object may appear smoothly in the viewer's eyes.

なお、以上の説明では、画像生成部205が撮像動画を複製してから、複製して得られた複数の特徴領域動画および背景領域動画に含まれるフレーム画像を間引いたり、画素を間引いたりすることによって、複数の特徴領域動画および背景領域動画を圧縮する形態について説明した。その他にも、画像生成部205は、撮像動画に含まれる複数のフレーム画像をフレームレート比率に従って間引いて選択することによって、フレームレートが低減された複数の特徴領域動画および背景領域動画を生成してもよい。その後に、固定値化部211aが固定値化して、画質低減部221が解像度を低減することによって、複数の特徴領域動画および背景領域動画の画質を低減してよい。   In the above description, after the image generation unit 205 replicates the captured moving image, frame images included in a plurality of feature region moving images and background region moving images obtained by copying are thinned out or pixels are thinned out. In the above, the mode of compressing a plurality of feature region moving images and background region moving images has been described. In addition, the image generation unit 205 generates a plurality of feature area videos and background area videos with a reduced frame rate by thinning out and selecting a plurality of frame images included in the captured video according to the frame rate ratio. Also good. Then, the image quality of the plurality of feature area moving images and the background area moving images may be reduced by the fixed value converting unit 211a fixing the value and the image quality reducing unit 221 reducing the resolution.

図6は、画像処理装置170の処理フローの一例を示す。圧縮動画取得部301は、画像処理装置120から、対応づけされた複数の特徴領域動画データおよび背景領域動画データを取得して、付帯されたタグ情報によりタイミング情報、撮像装置100を識別する情報等を取得する(601)。そして、圧縮動画伸張部311は、それぞれ複数の特徴領域動画データおよび背景領域動画データを復号することにより、背景レイヤーを示す背景領域動画610を生成する(602a)。同時に、圧縮動画伸張部311は、動領域レイヤーを示す特徴領域動画620、人領域レイヤーを示す特徴領域動画630、および顔領域レイヤーを示す特徴領域動画640を生成する(602b、602c、および602d)。   FIG. 6 shows an example of the processing flow of the image processing apparatus 170. The compressed moving image acquisition unit 301 acquires a plurality of associated feature area moving image data and background area moving image data from the image processing device 120, and identifies timing information, information for identifying the imaging device 100, and the like using the attached tag information. Is acquired (601). Then, the compressed moving image decompression unit 311 generates a background region moving image 610 indicating a background layer by decoding the plurality of feature region moving image data and background region moving image data (602a). At the same time, the compressed moving image decompression unit 311 generates a feature region moving image 620 indicating a moving region layer, a feature region moving image 630 indicating a human region layer, and a feature region moving image 640 indicating a face region layer (602b, 602c, and 602d). .

合成部303は、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640に含まれるフレーム画像を合成する(603)。このとき、合成部303は、背景領域動画および複数の特徴領域動画のそれぞれに含まれるフレーム画像の解像度に応じて、最大の解像度を有するフレーム画像と同じ位置の被写体が重ね合うようフレーム画像を拡大して、拡大したフレーム画像を重ね合わせて合成フレーム画像を生成する。   The synthesizing unit 303 synthesizes frame images included in the background area moving image 610, the characteristic area moving image 620, the characteristic area moving image 630, and the characteristic area moving image 640 (603). At this time, the synthesis unit 303 enlarges the frame image so that the subject at the same position as the frame image having the maximum resolution overlaps according to the resolution of the frame image included in each of the background area moving image and the plurality of characteristic area moving images. Then, the enlarged frame images are superimposed to generate a composite frame image.

このとき、合成部303は、特徴領域動画620、特徴領域動画630、および特徴領域動画640に含まれるフレーム画像における特徴領域の画像を切り出して、背景領域動画610に含まれるフレーム画像に上書きすることによって合成フレーム画像を生成する。また、合成部303は、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640のフレームレートが異なる場合には、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640の最新のフレーム画像を合成する。   At this time, the synthesizing unit 303 cuts out the feature region image in the frame image included in the feature region moving image 620, the feature region moving image 630, and the feature region moving image 640, and overwrites the frame image included in the background region moving image 610. To generate a composite frame image. In addition, when the frame rates of the background area moving image 610, the feature area moving image 620, the feature area moving image 630, and the feature area moving image 640 are different, the synthesizing unit 303 performs the background area moving image 610, the feature area moving image 620, and the feature area moving image 630. , And the latest frame image of the feature region moving image 640 are synthesized.

これにより、合成部303は、合成フレーム画像を生成する。合成部303は、複数の合成フレーム画像を含む合成動画650を生成する。そして、出力部304は、圧縮動画取得部301が取得したタグ情報等に基づいて、合成動画を表示させる表示装置180を選択して、選択した表示装置180に合成動画を供給する(604)。   Thereby, the composition unit 303 generates a composite frame image. The combining unit 303 generates a combined moving image 650 including a plurality of combined frame images. Then, the output unit 304 selects the display device 180 that displays the composite video based on the tag information acquired by the compressed video acquisition unit 301 and supplies the composite video to the selected display device 180 (604).

図7は、圧縮部240の構成の一例を示す。圧縮部240は、動画分割ユニット730及び画像比較ユニット740を有する。動画分割ユニット730は、背景領域動画分割部731a、特徴領域動画分割部731b−d(以下、特徴領域動画分割部731と総称する。)を有する。なお、背景領域動画分割部731a、特徴領域動画分割部731b−dを、動画分割部731と総称する場合がある。   FIG. 7 shows an exemplary configuration of the compression unit 240. The compression unit 240 includes a moving image dividing unit 730 and an image comparison unit 740. The moving image dividing unit 730 includes a background region moving image dividing unit 731a and a feature region moving image dividing unit 731b-d (hereinafter collectively referred to as a feature region moving image dividing unit 731). The background area moving image dividing unit 731a and the characteristic area moving image dividing unit 731b-d may be collectively referred to as a moving image dividing unit 731.

画像比較ユニット740は、背景領域画像比較部741a、特徴領域画像比較部741b−d(以下、特徴領域画像比較部741と総称する。)を有する。なお、背景領域画像比較部741a、特徴領域画像比較部741b−dを、画像比較部741と総称する場合がある。   The image comparison unit 740 includes a background region image comparison unit 741a and feature region image comparison units 741b-d (hereinafter collectively referred to as a feature region image comparison unit 741). Note that the background region image comparison unit 741a and the feature region image comparison units 741b-d may be collectively referred to as an image comparison unit 741.

図8は、画像処理装置120がさらに有する圧縮制御ユニット800の構成の一例を示す。圧縮制御ユニット800は、特徴領域特定部810、対応領域特定部820、オブジェクト動き算出部830、適合度算出部840、条件格納部850、圧縮制御部860、及び包含領域特定部870を含む。包含領域特定部870は、境界領域特定部872、周辺領域特定部874、及び包含領域決定部876を持つ。   FIG. 8 shows an example of the configuration of the compression control unit 800 further included in the image processing apparatus 120. The compression control unit 800 includes a feature region specifying unit 810, a corresponding region specifying unit 820, an object motion calculating unit 830, a fitness calculating unit 840, a condition storage unit 850, a compression control unit 860, and an inclusion region specifying unit 870. The inclusion region specifying unit 870 includes a boundary region specification unit 872, a peripheral region specification unit 874, and an inclusion region determination unit 876.

以下に、図7に示した圧縮部240及び図8で示した圧縮制御ユニット800が含む各構成要素の機能及び動作を、図2で説明した画像処理装置120の機能及び動作とともに説明する。   Hereinafter, functions and operations of each component included in the compression unit 240 illustrated in FIG. 7 and the compression control unit 800 illustrated in FIG. 8 will be described together with functions and operations of the image processing apparatus 120 illustrated in FIG.

包含領域特定部870は、複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する包含領域を特定する。そして、固定値化部211は、複数の動画構成画像のそれぞれにおける包含領域以外の領域の画素値を固定値化する。そして、符号化部231は、固定値化された複数の動画構成画像を符号化する。   The inclusion area specifying unit 870 specifies an inclusion area that includes a plurality of feature areas in each of the plurality of moving image constituent images. Then, the fixed value unit 211 converts the pixel values of the regions other than the inclusion region in each of the plurality of moving image constituent images into fixed values. Then, the encoding unit 231 encodes a plurality of fixed-value moving image constituent images.

なお、固定値化部211は、複数のフレーム画像の間で、同じ位置の画素値を時間的に不変にすることが好ましい。また、固定値化部211は、一のフレーム画像内の包含領域以外の領域の画素値を同一にすることによって固定値化することが好ましい。また、固定値化部211は、一のフレーム画像内の包含領域以外の領域に含まれるブロック内の画素値を少なくとも同一にすることが好ましい。   In addition, it is preferable that the fixed value conversion part 211 makes the pixel value of the same position temporally unchanged among several frame images. Moreover, it is preferable that the fixed value unit 211 makes the fixed value by making the pixel values of the regions other than the inclusion region in one frame image the same. Moreover, it is preferable that the fixed value unit 211 at least make the pixel values in the blocks included in the region other than the inclusion region in one frame image the same.

画像比較部741は、固定値化された複数の動画構成画像のうち少なくとも1つの動画構成画像を、他の動画構成画像と比較する。そして、符号化部は、画像比較部741による比較結果に基づいて少なくとも1つの動画構成画像を符号化することにより、固定値化された複数の動画構成画像を符号化する。   The image comparison unit 741 compares at least one moving image constituent image among a plurality of fixed moving image constituent images with other moving image constituent images. Then, the encoding unit encodes at least one moving image constituent image based on the comparison result by the image comparing unit 741, thereby encoding a plurality of fixed moving image constituent images.

動画分割部731は、動画を、複数の動画構成画像をそれぞれ含む複数の部分動画に分割する。具体的には、背景領域動画分割部731aは、画質低減部221aが画質を低減させた背景領域動画を分割する。また、特徴領域動画分割部731b、特徴領域動画分割部731c、及び特徴領域動画分割部731dのそれぞれは、画質低減部221b、221c、及び221dが画質を低減させた背景領域動画をそれぞれ分割する。   The moving image dividing unit 731 divides the moving image into a plurality of partial moving images each including a plurality of moving image constituent images. Specifically, the background area moving image dividing unit 731a divides the background area moving image whose image quality is reduced by the image quality reducing unit 221a. In addition, each of the feature region moving image dividing unit 731b, the feature region moving image dividing unit 731c, and the feature region moving image dividing unit 731d divides the background region moving image in which the image quality reducing units 221b, 221c, and 221d have reduced the image quality.

そして、包含領域特定部870は、複数の部分動画のそれぞれにおいて、部分動画に含まれる複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する包含領域を特定する。そして、固定値化部211は、複数の部分動画のそれぞれにおいて、部分動画に含まれる複数の動画構成画像における包含領域以外の領域の画素値を固定値化する。   Then, the inclusion area specifying unit 870 specifies an inclusion area that includes a plurality of feature areas in each of the plurality of moving image constituent images included in the partial moving image in each of the plurality of partial moving images. Then, the fixed value unit 211 converts the pixel values of the areas other than the inclusion areas in the plurality of moving image constituent images included in the partial moving images into fixed values in each of the plurality of partial moving images.

そして、画像比較部741は、複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像を同じ部分動画に含まれる他の動画構成画像と比較する。具体的には、背景領域画像比較部741aは、背景領域動画分割部731aが分割した複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像を同じ部分動画に含まれる他の動画構成画像と比較する。また、特徴領域画像比較部741bは、特徴領域動画分割部731bが分割した複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像を同じ部分動画に含まれる他の動画構成画像と比較する。同様に、特徴領域画像比較部741cは、特徴領域動画分割部731cが分割した複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像を同じ部分動画に含まれる他の動画構成画像と比較する。また、特徴領域画像比較部741dは、特徴領域動画分割部731dが分割した複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像を同じ部分動画に含まれる他の動画構成画像と比較する。   Then, the image comparison unit 741 compares at least one moving image constituent image with another moving image constituent image included in the same partial moving image in each of the plurality of partial moving images. Specifically, the background region image comparison unit 741a compares at least one moving image constituent image with another moving image constituent image included in the same partial moving image in each of the plurality of partial moving images divided by the background region moving image dividing unit 731a. To do. In addition, the feature area image comparison unit 741b compares at least one moving image constituent image with another moving image constituent image included in the same partial moving image in each of the plurality of partial moving images divided by the characteristic region moving image dividing unit 731b. Similarly, the feature region image comparison unit 741c compares at least one moving image constituent image with another moving image constituent image included in the same partial moving image in each of the plurality of partial moving images divided by the characteristic region moving image dividing unit 731c. The feature area image comparison unit 741d compares at least one moving image constituent image with another moving image constituent image included in the same partial moving image in each of the plurality of partial moving images divided by the characteristic region moving image dividing unit 731d.

そして、符号化部231は、複数の部分動画のそれぞれにおいて、画像比較部741による比較結果に基づいて少なくとも1つの動画構成画像を符号化することにより、固定値化された複数の動画構成画像を複数の部分動画毎に符号化する。   Then, the encoding unit 231 encodes at least one moving image constituent image based on the comparison result by the image comparison unit 741 in each of the plurality of partial moving images, so that a plurality of fixed moving image constituent images are obtained. Encode for each of a plurality of partial videos.

なお、包含領域特定部870は、複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する、予め定められた部分領域の集合領域を、包含領域として特定する。そして、画像比較部741は、複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像に含まれる複数の部分領域毎に、同じ部分動画に含まれる他の動画構成画像と比較する。そして、符号化部231は、複数の部分動画のそれぞれにおいて、画像比較部741による比較結果に基づいて少なくとも1つの動画構成画像を部分領域毎に圧縮することにより、固定値化された複数の動画構成画像を複数の部分動画毎に符号化する。   Note that the inclusion area specifying unit 870 specifies a predetermined collection area of partial areas including a plurality of feature areas in each of the plurality of moving image constituent images as an inclusion area. Then, in each of the plurality of partial videos, the image comparison unit 741 compares each of the plurality of partial areas included in at least one video composition image with other video composition images included in the same partial video. Then, the encoding unit 231 compresses at least one moving image constituent image for each partial region based on the comparison result by the image comparison unit 741 in each of the plurality of partial moving images, thereby fixing the plurality of fixed moving images. A constituent image is encoded for each of a plurality of partial moving images.

具体的には、画像比較部741は、複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像に含まれる複数の部分領域毎に、同じ部分動画に含まれる他の動画構成画像に含まれる画像との間の画像の差分量を算出する。そして、符号化部231は、複数の部分動画のそれぞれにおいて、画像比較部741が算出した差分量に基づいて少なくとも1つの動画構成画像を部分領域毎に符号化することにより、固定値化された複数の動画構成画像を複数の部分動画毎に符号化する。   Specifically, the image comparison unit 741 includes an image included in another moving image constituent image included in the same partial moving image for each of a plurality of partial areas included in at least one moving image forming image in each of the plurality of partial moving images. The difference between the images is calculated. Then, the encoding unit 231 sets the fixed value by encoding at least one moving image constituent image for each partial region based on the difference amount calculated by the image comparison unit 741 in each of the plurality of partial moving images. A plurality of moving image constituent images are encoded for each of a plurality of partial moving images.

画像比較部741は、複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像に含まれる複数の部分領域毎に同じ部分動画に含まれる他の動画構成画像と比較して、部分領域との間の画像の差分量が予め定められた値より小さい領域である他の動画構成画像における差分対象領域を特定し、特定した差分対象領域との間の画像の差分量を算出する。
符号化部231は、画像比較部741が算出した差分量及び差分対象領域の位置と部分領域の位置との間の差に基づいて少なくとも1つの動画構成画像を部分領域毎に符号化することにより、固定値化された複数の動画構成画像を複数の部分動画毎に符号化する。なお、差分対象領域の位置と部分領域の位置との間の差は、一例としてMPEG符号化における移動ベクトルであってよい。
In each of the plurality of partial videos, the image comparison unit 741 compares each partial area included in at least one moving picture constituent image with the partial areas compared to other moving picture constituent images included in the same partial moving picture. A difference target area in another moving image constituent image that is an area where the difference amount of the image is smaller than a predetermined value is specified, and the difference amount of the image with the specified difference target area is calculated.
The encoding unit 231 encodes at least one moving image constituent image for each partial region based on the difference amount calculated by the image comparison unit 741 and the difference between the position of the difference target region and the position of the partial region. A plurality of fixed-value moving image constituent images are encoded for each of a plurality of partial moving images. Note that the difference between the position of the difference target area and the position of the partial area may be a movement vector in MPEG coding as an example.

なお、包含領域特定部870は、複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する、MPEG符号化におけるブロックの集合領域を、包含領域として特定する。そして、画像比較部741は、複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像に含まれる複数のブロック又はマクロブロック毎に、同じ部分動画に含まれる他の動画構成画像と比較して、動きベクトル及び画像の差分量を算出する。   The inclusion area specifying unit 870 specifies, as an inclusion area, a block aggregation area in MPEG encoding that includes a plurality of feature areas in each of a plurality of moving image constituent images. Then, in each of the plurality of partial videos, the image comparison unit 741 compares each of a plurality of blocks or macroblocks included in at least one video composition image with other video composition images included in the same partial video, The difference amount between the motion vector and the image is calculated.

そして、符号化部231は、画像比較部741が算出した動きベクトル及び画像の差分量に基づいて少なくとも1つの動画構成画像をブロック及びマクロブロック毎に符号化することにより、固定値化された複数の動画構成画像を複数の部分動画毎にMPEG符号化する。なお、包含領域特定部870は、複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する、MPEG符号化におけるマクロブロック又はスライスの集合領域を、包含領域として特定してもよい。   Then, the encoding unit 231 encodes at least one moving image constituent image for each block and macroblock based on the motion vector calculated by the image comparison unit 741 and the difference amount between the images, thereby obtaining a plurality of fixed values. Are encoded for each of a plurality of partial moving images. Note that the inclusion area specifying unit 870 may specify a collection area of macroblocks or slices in MPEG encoding that includes a plurality of feature areas in each of a plurality of moving image constituent images.

境界領域特定部872は、複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する複数の部分領域のうち、特徴領域及び特徴領域以外の境界をともに含む部分領域である境界領域を特定する。周辺領域特定部874は、境界領域に隣接し、特徴領域を含まない、部分領域の集合領域を部分領域である周辺領域を特定する。そして、包含領域決定部876は、特徴領域を含み特徴領域以外の領域を含まない部分領域、境界領域、及び周辺領域を、包含領域として決定する。   The boundary area specifying unit 872 specifies a boundary area that is a partial area including both the characteristic area and a boundary other than the characteristic area, from among the plurality of partial areas including the plurality of characteristic areas in each of the plurality of moving image constituent images. The peripheral region specifying unit 874 specifies a peripheral region that is a partial region that is an aggregate region of partial regions that are adjacent to the boundary region and do not include a feature region. Then, the inclusion region determination unit 876 determines a partial region, a boundary region, and a peripheral region that include the feature region but does not include the region other than the feature region as the inclusion region.

なお、周辺領域特定部874は、境界領域特定部872が特定した境界領域のうち、画像比較部741により比較される対象である他の動画構成画像から特定された特徴領域を含む境界領域を特定してよい。そして、周辺領域特定部874は、当該特定した境界領域に隣接し、当該特定した特徴領域を含まない部分領域を、周辺領域として特定してよい。   The peripheral region specifying unit 874 specifies a boundary region including a feature region specified from another moving image constituent image to be compared by the image comparison unit 741 among the boundary regions specified by the boundary region specifying unit 872. You can do it. Then, the peripheral area specifying unit 874 may specify a partial area that is adjacent to the specified boundary area and does not include the specified characteristic area as the peripheral area.

なお、圧縮動画取得部201は、複数の撮像装置100のそれぞれにより撮像された複数の画像を取得する。なお、圧縮動画取得部201は、この発明における画像取得部の一例であってよい。そして、特徴領域検出部203は、複数の画像のうちの一の画像から、特徴領域を検出する。そして、対応領域特定部820は、特徴領域に含まれる被写体と同じ被写体を含むべき対応領域を、一の画像の他の画像において特定する。そして、特徴領域特定部810は、対応領域特定部820が特定した他の画像における対応領域から、他の画像における特徴領域を特定する。   Note that the compressed moving image acquisition unit 201 acquires a plurality of images captured by each of the plurality of imaging devices 100. The compressed moving image acquisition unit 201 may be an example of an image acquisition unit in the present invention. Then, the feature region detection unit 203 detects the feature region from one of the plurality of images. Then, the corresponding area specifying unit 820 specifies a corresponding area that should include the same subject as the subject included in the feature area in another image of the one image. Then, the feature region specifying unit 810 specifies the feature region in the other image from the corresponding region in the other image specified by the corresponding region specifying unit 820.

なお、特徴領域特定部810は、対応領域特定部820が特定した対応領域を、他の画像における特徴領域として特定してよい。他にも、特徴領域特定部810は、対応領域特定部820が特定した対応領域から、他の画像における特徴領域を抽出してよい。   Note that the feature region specifying unit 810 may specify the corresponding region specified by the corresponding region specifying unit 820 as a feature region in another image. In addition, the feature area specifying unit 810 may extract a feature area in another image from the corresponding area specified by the corresponding area specifying unit 820.

圧縮動画取得部201は、複数の撮像装置100のそれぞれにより撮像された複数の動画のそれぞれに含まれる複数の動画構成画像を取得する。そして、特徴領域検出部203は、複数の動画のうちの一の動画に含まれる複数の動画構成画像から特徴領域を検出する。そして、対応領域特定部820は、特徴領域に含まれる被写体と同じ被写体を含むべき、他の動画に含まれる複数の動画構成画像における対応領域を特定する。   The compressed moving image acquisition unit 201 acquires a plurality of moving image constituent images included in each of a plurality of moving images captured by each of the plurality of imaging devices 100. Then, the feature region detection unit 203 detects a feature region from a plurality of moving image constituent images included in one moving image of the plurality of moving images. Then, the corresponding area specifying unit 820 specifies corresponding areas in a plurality of moving image constituent images included in other moving images that should include the same subject as the subject included in the feature area.

そして、特徴領域特定部810は、対応領域特定部820が特定した他の動画に含まれる動画構成画像における対応領域から、他の動画に含まれる動画構成画像における特徴領域を特定する。なお、対応特徴領域特定部810は、特徴領域検出部203が検出した特徴領域の画像における位置と、複数の撮像装置が複数の画像を撮像したときの撮像範囲のそれぞれとに基づいて、対応領域を特定してよい。   Then, the feature region specifying unit 810 specifies the feature region in the moving image constituent image included in the other moving image from the corresponding region in the moving image constituent image included in the other moving image specified by the corresponding region specifying unit 820. Note that the corresponding feature region specifying unit 810 is based on the position of the feature region detected by the feature region detection unit 203 in the image and each of the imaging ranges when the plurality of imaging devices capture a plurality of images. May be specified.

なお、適合度算出部840は、特徴領域検出部203が検出した特徴領域の画像の画像内容及び特徴領域特定部810が特定した特徴領域の画像の画像内容のそれぞれが予め定められた条件に適合する適合度を算出する。そして、圧縮部240は、特徴領域検出部203が検出した特徴領域及び特徴領域特定部810が特定した特徴領域のうち、適合度算出部840がより大きい適合度を算出した特徴領域の画像を含む特徴領域動画をより小さい強度で圧縮する。   The degree-of-fit calculation unit 840 conforms to a predetermined condition for each of the image content of the feature region image detected by the feature region detection unit 203 and the image content of the feature region image specified by the feature region specification unit 810. Calculate the goodness of fit. Then, the compression unit 240 includes an image of the feature region in which the fitness level calculation unit 840 calculates a higher fitness level among the feature region detected by the feature region detection unit 203 and the feature region specified by the feature region specification unit 810. Compress feature area video with less intensity.

条件格納部850は、特徴領域として特定されるべき領域の画像内容が適合すべき条件を格納する。そして、特徴領域検出部203は、画像取得部が取得した複数の画像のうちの一の画像の画像内容に基づいて、条件格納部850が格納している条件に適合する領域を特徴領域として特定する。そして、特徴領域特定部810は、対応領域特定部820が特定した対応領域の画像の画像内容に基づいて、条件格納部850が格納している条件より緩和された条件に適合する領域を、特徴領域として抽出してよい。   The condition storage unit 850 stores a condition to which the image content of the area to be specified as the characteristic area should be adapted. Then, the feature region detection unit 203 identifies, as a feature region, a region that meets the conditions stored in the condition storage unit 850 based on the image content of one of the plurality of images acquired by the image acquisition unit. To do. Then, the feature region specifying unit 810 is configured to select a region that matches a condition relaxed from the condition stored in the condition storage unit 850 based on the image content of the image of the corresponding region specified by the corresponding region specifying unit 820. It may be extracted as a region.

なお、オブジェクト動き算出部830は、特徴領域検出部203が検出した特徴領域に含まれるオブジェクトの動きを特定する。そして、対応領域特定部820は、オブジェクト動き算出部830が算出したオブジェクトの動きと一致する動きを示すオブジェクトを含む、他の動画に含まれる領域を、他の動画に含まれる複数の動画構成画像における対応領域として特定してもよい。   Note that the object motion calculation unit 830 identifies the motion of the object included in the feature area detected by the feature area detection unit 203. Then, the corresponding area specifying unit 820 includes an area included in another moving image including an object indicating a movement that matches the movement of the object calculated by the object movement calculating unit 830, and a plurality of moving image constituent images included in the other moving image. You may specify as a corresponding | compatible area | region.

図9は、対応領域特定部820が特定した対応領域の一例を示す。画像処理装置120aの特徴領域検出部203は、例えば撮像装置100aが撮像した撮像動画から生成されたフレーム画像910から、ROI領域912を特定したとする。このとき、画像処理装置120bの対応領域特定部820は、フレーム画像910におけるROI領域912を示す情報を画像処理装置120aから取得する。そして、画像処理装置120bの対応領域特定部820は、撮像装置100bが撮像した撮像動画から生成されたフレーム画像920から、フレーム画像910におけるROI領域912に写っているオブジェクトが示す被写体と同じ被写体を含むべき領域922を特定する。   FIG. 9 shows an example of the corresponding area specified by the corresponding area specifying unit 820. For example, it is assumed that the feature region detection unit 203 of the image processing device 120a specifies the ROI region 912 from the frame image 910 generated from the captured moving image captured by the imaging device 100a, for example. At this time, the corresponding area specifying unit 820 of the image processing apparatus 120b acquires information indicating the ROI area 912 in the frame image 910 from the image processing apparatus 120a. Then, the corresponding area specifying unit 820 of the image processing device 120b selects the same subject as the subject indicated by the object shown in the ROI region 912 in the frame image 910 from the frame image 920 generated from the captured moving image captured by the imaging device 100b. An area 922 to be included is specified.

このとき、画像処理装置120bの対応領域特定部820は、撮像装置100aが撮像する撮像範囲及び撮像装置100bが撮像する撮像範囲を示す情報を取得する。そして、画像処理装置120bの対応領域特定部820は、取得した情報及びフレーム画像910におけるROI領域912の位置に基づいて、領域922を特定してよい。そして、画像処理装置120bの特徴領域特定部810は、対応領域特定部820が特定した領域922を含む領域924から、ROIを検出する。なお、画像処理装置120bの特徴領域特定部810は、対応領域特定部820が特定した領域922を、フレーム画像920におけるROIとして特定してよい。   At this time, the corresponding area specifying unit 820 of the image processing apparatus 120b acquires information indicating the imaging range captured by the imaging apparatus 100a and the imaging range captured by the imaging apparatus 100b. Then, the corresponding area specifying unit 820 of the image processing apparatus 120b may specify the area 922 based on the acquired information and the position of the ROI area 912 in the frame image 910. Then, the feature area specifying unit 810 of the image processing apparatus 120b detects the ROI from the area 924 including the area 922 specified by the corresponding area specifying unit 820. Note that the feature region specifying unit 810 of the image processing apparatus 120b may specify the region 922 specified by the corresponding region specifying unit 820 as the ROI in the frame image 920.

なお、画像処理装置120bの特徴領域検出部203は、フレーム画像920を含む撮像動画を撮像した撮像装置100bの撮像範囲と、撮像装置100b以外の撮像装置100a又は撮像装置100cの撮像範囲とが重なる範囲を特定して、特定した範囲の被写体が撮像されているフレーム画像920上の領域である重複撮像領域を特定する。そして、画像処理装置120bの特徴領域検出部203は、フレーム画像920における重複撮像領域以外の領域からROIを検出してよい。そして、画像処理装置120bは、特徴領域検出部203が検出したROIを、他の画像処理装置120の対応領域特定部820に通知してよい。そして、画像処理装置120bの特徴領域特定部810が、重複撮像領域の領域からROIを検出してよい。   Note that the feature region detection unit 203 of the image processing device 120b overlaps the imaging range of the imaging device 100b that captured the captured moving image including the frame image 920 with the imaging range of the imaging device 100a or the imaging device 100c other than the imaging device 100b. The range is specified, and an overlapping imaging region that is an area on the frame image 920 in which the subject in the specified range is captured is specified. Then, the feature area detection unit 203 of the image processing apparatus 120b may detect the ROI from an area other than the overlapping imaging area in the frame image 920. Then, the image processing device 120b may notify the ROI detected by the feature region detection unit 203 to the corresponding region specification unit 820 of the other image processing device 120. Then, the feature area specifying unit 810 of the image processing apparatus 120b may detect the ROI from the area of the overlapping imaging area.

このように、特徴領域特定部810は、一の撮像装置100が撮像した撮像動画から生成されたフレーム画像から検出されたROIの位置に基づいて、他の撮像装置100が撮像した撮像動画から生成されたフレーム画像におけるROIを検出する。これにより、ROIを検出するのに要する時間を短縮することができる場合がある。   As described above, the feature region specifying unit 810 is generated from the captured moving image captured by the other imaging device 100 based on the position of the ROI detected from the frame image generated from the captured moving image captured by the one imaging device 100. The ROI in the frame image thus detected is detected. Thereby, it may be possible to reduce the time required to detect the ROI.

図10は、条件格納部850が格納しているデータの一例をテーブル形式で示す。条件格納部850は、頭部形状一致度及び顔要素一致度を格納する。頭部形状一致度は、人物の頭部の輪郭形状として予め定められた頭部形状パターンと、フレーム画像からエッジ抽出等により抽出されたオブジェクトの輪郭との間の一致度を示す。   FIG. 10 shows an example of data stored in the condition storage unit 850 in a table format. The condition storage unit 850 stores the head shape coincidence degree and the face element coincidence degree. The head shape coincidence degree represents a coincidence degree between a head shape pattern predetermined as a contour shape of a person's head and an object outline extracted from the frame image by edge extraction or the like.

また、顔要素一致度は、人物の顔に含まれる目、口、鼻等のオブジェクトの輪郭形状を含む顔パターンと、フレーム画像からエッジ抽出等により抽出されたにオブジェクトの輪郭との間の一致度を示す。なお、それらのパターンとオブジェクトの輪郭との間の一致度は、パターンとオブジェクトの輪郭とを重ね合わせた場合における、パターン又はオブジェクトの面積に対する、パターンとオブジェクトとが重なる面積の割合であってよい。   In addition, the degree of matching of the face element is a match between the face pattern including the outline shape of the object such as eyes, mouth, and nose included in the human face and the outline of the object extracted from the frame image by edge extraction or the like. Degrees. The degree of coincidence between the pattern and the contour of the object may be a ratio of the area where the pattern and the object overlap with respect to the area of the pattern or the object when the pattern and the contour of the object are overlapped. .

そして、特徴領域検出部203は、頭部形状一致度が条件格納部850が格納している頭部形状一致度より大きく、顔要素一致度が条件格納部850が格納している顔要素一致度より大きいオブジェクトを、人物を示すオブジェクトとして特定する。そして、特徴領域検出部203は、特定したオブジェクトを含む領域をROIとして決定する。   Then, the feature region detection unit 203 has a head shape matching degree larger than the head shape matching degree stored in the condition storage unit 850 and a face element matching degree stored in the condition storage unit 850. A larger object is identified as an object representing a person. Then, the feature area detection unit 203 determines an area including the identified object as an ROI.

なお、ここでは特徴領域検出部203が条件格納部850が格納している条件に基づいてROIを検出する動作を説明したが、特徴領域特定部810も、特徴領域検出部203と同様にして、条件格納部850が格納している条件に基づいて領域924からROIを検出してよい。   Here, the operation in which the feature region detection unit 203 detects the ROI based on the conditions stored in the condition storage unit 850 has been described, but the feature region specification unit 810 also has the same function as the feature region detection unit 203. The ROI may be detected from the region 924 based on the conditions stored in the condition storage unit 850.

図11は、オブジェクト動き算出部830が算出したオブジェクトの動きの一例を示す。オブジェクト動き算出部830は、複数のフレーム画像のそれぞれが撮像されたタイミング及び複数のフレーム画像におけるROIに含まれるオブジェクトの位置に基づいて、オブジェクトが動く速度を算出する。なお、複数の画像処理装置120のそれぞれのオブジェクト動き算出部830が、それぞれオブジェクトが動く速度を算出する。このようにして、オブジェクト動き算出部830は、速度の時間変化1110及び1120を算出する。なお、時間変化1110は、一の画像処理装置120のオブジェクト動き算出部830が算出した速度の時間変化を示し、時間変化1120は、他の画像処理装置120のオブジェクト動き算出部830が算出した速度の時間変化を示す。   FIG. 11 shows an example of the object motion calculated by the object motion calculation unit 830. The object motion calculation unit 830 calculates the moving speed of the object based on the timing at which each of the plurality of frame images is captured and the position of the object included in the ROI in the plurality of frame images. Note that each object motion calculation unit 830 of each of the plurality of image processing devices 120 calculates the speed at which the object moves. In this way, the object motion calculation unit 830 calculates the temporal changes 1110 and 1120 of the speed. The time change 1110 indicates the time change of the speed calculated by the object motion calculation unit 830 of one image processing apparatus 120, and the time change 1120 indicates the speed calculated by the object motion calculation unit 830 of another image processing apparatus 120. The time change of is shown.

そして、圧縮制御部860は、オブジェクト動き算出部830が算出した速度の時間変化と、他の画像処理装置120のオブジェクト動き算出部830が算出した速度の時間変化とを比較して、他の画像処理装置120のオブジェクト動き算出部830が算出した速度の時間変化と予め定められた一致度より大きい一致度で一致する速度の時間変化で動くオブジェクトを特定する。具体的には、圧縮制御部860は、それぞれの速度の時間変化に基づいて速度が変化するタイミングを特定して、特定したタイミングの差が小さいほど、より大きい一致度を算出してよい。なお、以下の説明では、当該オブジェクトを一致オブジェクトと呼ぶ。また、他の画像処理装置120において抽出された、速度の時間変化が一致オブジェクトの速度の時間変化と予め定められた一致度より大きい一致度で一致するオブジェクトを、対応オブジェクトと呼ぶ。   Then, the compression control unit 860 compares the time change of the speed calculated by the object motion calculation unit 830 with the time change of the speed calculated by the object motion calculation unit 830 of the other image processing device 120 to obtain another image. An object that moves with a temporal change in speed that matches with a temporal change in speed that is calculated by the object motion calculation unit 830 of the processing device 120 and a degree of coincidence greater than a predetermined degree of coincidence is specified. Specifically, the compression control unit 860 may specify the timing at which the speed changes based on the time change of each speed, and may calculate a greater degree of coincidence as the specified timing difference is smaller. In the following description, the object is referred to as a matching object. In addition, an object that is extracted in another image processing apparatus 120 and whose time change in speed matches with a time change in speed of the matching object with a degree of coincidence larger than a predetermined degree of coincidence is referred to as a corresponding object.

そして、圧縮制御部860は、適合度算出部840が算出した適合度が、他の画像処理装置120の適合度算出部840が対応オブジェクトを含むROIに対して算出した適合度より大きい場合に、一致オブジェクトを含むROIを圧縮する圧縮強度としてより小さい圧縮強度を決定する。具体的には、圧縮制御部860は、一致オブジェクトを含むROIを圧縮する圧縮強度として、他の画像処理装置120の圧縮部240が対応オブジェクトを含むROIを圧縮する圧縮強度よりも小さい圧縮強度を決定する。そして、圧縮制御部860は、決定した圧縮強度で圧縮部240に圧縮させる。   Then, the compression controller 860 determines that the fitness calculated by the fitness calculator 840 is greater than the fitness calculated by the fitness calculator 840 of the other image processing device 120 for the ROI including the corresponding object. A smaller compression strength is determined as the compression strength for compressing the ROI including the matching object. Specifically, the compression control unit 860 compresses the ROI that includes the matching object as a compression strength that is smaller than the compression strength that the compression unit 240 of the other image processing apparatus 120 compresses the ROI that includes the corresponding object. decide. Then, the compression control unit 860 causes the compression unit 240 to compress the determined compression strength.

なお、圧縮制御部860は、他の画像処理装置120から、他の画像処理装置120の適合度算出部840が算出した適合度及び他の画像処理装置120のオブジェクト動き算出部830が算出した速度を取得することによって、上記処理を行ってよい。また、対応領域特定部820は、オブジェクト動き算出部830が算出した速度の時間変化と、他の画像処理装置120のオブジェクト動き算出部830が算出した速度の時間変化とを比較して、他の画像処理装置120のオブジェクト動き算出部830が算出した速度の時間変化と予め定められた一致度より大きい一致度で一致する速度の時間変化で動くオブジェクトを含む領域を、同じ被写体を含むべきROIとして決定してよい。   Note that the compression control unit 860 determines the fitness calculated by the fitness calculation unit 840 of the other image processing device 120 and the speed calculated by the object motion calculation unit 830 of the other image processing device 120 from the other image processing device 120. The above processing may be performed by acquiring. In addition, the corresponding region specifying unit 820 compares the time change of the speed calculated by the object motion calculation unit 830 with the time change of the speed calculated by the object motion calculation unit 830 of the other image processing device 120, An area including an object moving with a temporal change in velocity that matches with a temporal change in velocity that is calculated by the object motion calculation unit 830 of the image processing apparatus 120 with a degree of coincidence greater than a predetermined coincidence is defined as an ROI that should include the same subject You may decide.

このように、圧縮制御部860は、他の画像処理装置120によって検出されたROIと同じ被写体を含むROIの圧縮強度を、条件格納部850が格納している条件に適合する適合度が高いほど低くし、条件格納部850が格納している条件に適合する適合度が低いほど高くする。このような制御により、画像処理装置120は、他の撮像装置100によって同じ被写体が撮像されている場合に、当該被写体を示すオブジェクトを含むROIを圧縮する圧縮強度を、適合度に応じて動的に増減させることができる。これにより、複数の撮像装置100で同じ被写体が写っているにもかかわらず圧縮強度を変化させない場合に比べて、複数の画像処理装置120から出力される動画データの合計のデータ量を低減しながら、注目すべき被写体のより高画質な画像を提供することができる場合がある。   In this way, the compression control unit 860 increases the conformity that matches the conditions stored in the condition storage unit 850 with the compression strength of the ROI including the same subject as the ROI detected by the other image processing device 120. The value is lowered, and the degree of conformity that matches the condition stored in the condition storage unit 850 is increased as the degree of adaptation is lower. By such control, when the same subject is imaged by another imaging device 100, the image processing device 120 dynamically changes the compression strength for compressing the ROI including the object indicating the subject according to the degree of fitness. Can be increased or decreased. Accordingly, the total data amount of the moving image data output from the plurality of image processing devices 120 is reduced as compared with the case where the compression strength is not changed even though the same subject is captured by the plurality of imaging devices 100. In some cases, it is possible to provide a higher-quality image of a notable subject.

図12は、画像処理装置120のそれぞれが出力する動画データのデータ量の時間発展の一例を示す。既に説明したようにして、複数の画像処理装置120のそれぞれは、被写体の画像内容に応じて動的に圧縮強度を増減させることができる。ここで、複数の画像処理装置120が出力する動画データの合計のデータ量は、予め定められていてよい。例えば、複数の画像処理装置120が出力する動画データの合計の符号量が予め定められてよい。   FIG. 12 shows an example of the time evolution of the data amount of the moving image data output from each of the image processing devices 120. As already described, each of the plurality of image processing devices 120 can dynamically increase or decrease the compression strength according to the image content of the subject. Here, the total amount of moving image data output from the plurality of image processing apparatuses 120 may be determined in advance. For example, the total code amount of the moving image data output from the plurality of image processing apparatuses 120 may be determined in advance.

このような場合、圧縮制御部860は、合計のデータ量を予め定められた量にすべく、特徴領域動画及び背景領域動画を圧縮する圧縮強度を決定する。具体的には、圧縮制御部860は、既に説明した適合度、ROIの種類、検出されたROIの数、検出されたROIの面積、検出されたROIの位置、ROIに含まれる人物の向き、ROIに含まれるオブジェクトの形、ROIに含まれるオブジェクトの種類等に対応づけて予め定められたROIの種類毎の割り当て符合量を、複数の特徴領域動画及び背景領域動画のそれぞれを符号化する場合の割り当て符合量として決定する。   In such a case, the compression control unit 860 determines the compression strength for compressing the feature area moving image and the background area moving image so that the total data amount becomes a predetermined amount. Specifically, the compression control unit 860 determines the degree of fitness already described, the type of ROI, the number of detected ROIs, the area of the detected ROI, the position of the detected ROI, the orientation of the person included in the ROI, When encoding each of a plurality of feature region moving images and background region moving images with an assigned code amount for each type of ROI determined in advance in association with the shape of the object included in the ROI, the type of object included in the ROI, etc. It is determined as the amount of assigned code.

そして、圧縮制御部860は、予め定められた符号量を、決定した割り当て符合量の合計値で除した値を算出する。そして、圧縮制御部860は、算出した値を係数として、複数の特徴領域動画及び背景領域動画のそれぞれを符号化する場合の割り当て符合量に乗じる。圧縮制御部860は、係数を乗ずることにより得られた値を、複数の特徴領域動画及び背景領域動画のそれぞれを符号化する場合の割り当て符合量として決定する。これにより、複数の画像処理装置120が出力する動画データの符号量の合計値を略一定にすることができる。なお、割り当て符号量は、VBVバッファ量を指標とするものであってよい。   Then, the compression control unit 860 calculates a value obtained by dividing a predetermined code amount by the total value of the determined allocation code amounts. Then, the compression control unit 860 uses the calculated value as a coefficient, and multiplies the allocation code amount in the case of encoding each of the plurality of characteristic area moving images and the background area moving image. The compression control unit 860 determines a value obtained by multiplying the coefficient as an allocation code amount when each of the plurality of feature region moving images and the background region moving image is encoded. Thereby, the total value of the code amount of the moving image data output from the plurality of image processing devices 120 can be made substantially constant. Note that the allocated code amount may use the VBV buffer amount as an index.

このように、圧縮部240は、特徴領域検出部203が検出した特徴領域の画像を含む特徴領域動画が持つ符号量及び特徴領域特定部810が特定した特徴領域の画像を含む特徴領域動画が持つ符号量の合計値を予め定められた範囲内にすべく、特徴領域検出部203が検出した特徴領域の画像を含む特徴領域動画及び特徴領域特定部810が特定した特徴領域の画像を含む特徴領域動画のそれぞれを圧縮する強度を調整する。   As described above, the compression unit 240 has the code amount of the feature region moving image including the feature region image detected by the feature region detecting unit 203 and the feature region moving image including the image of the feature region specified by the feature region specifying unit 810. A feature region including a feature region moving image including a feature region image detected by the feature region detecting unit 203 and a feature region image specified by the feature region specifying unit 810 so that the total value of the code amounts falls within a predetermined range. Adjust the compression strength of each video.

図13は、包含領域特定部870が特定する包含領域の一例を示す。ここでは、特徴領域検出部203が検出したROIの輪郭の一部を、符号1370で示す。そして、ROI内部及びROIの輪郭の近辺のマクロブロックを、マクロブロック1301−1304、マクロブロック1311−1315、マクロブロック1321−1326、マクロブロック1331−1337、マクロブロック1341−1347、マクロブロック1351−1357で示す。   FIG. 13 shows an example of the inclusion area specified by the inclusion area specifying unit 870. Here, a part of the contour of the ROI detected by the feature region detection unit 203 is indicated by reference numeral 1370. Then, the macroblocks inside the ROI and in the vicinity of the contour of the ROI are macroblocks 1301-1304, macroblocks 1311-1315, macroblocks 1321-1326, macroblocks 1331-1337, macroblocks 1341-1347, macroblocks 1351-1357. It shows with.

境界領域特定部872は、特徴領域検出部203が検出したROIの輪郭1370を含むマクロブロック1311、1312、1313、1323、1324、1334、1335、1345、及び1355を特定する。なお、周辺領域特定部874は、境界領域特定部872が特定したマクロブロックに隣接する、ROIを含まないマクロブロック1301−1303、1314、1325、1336、1346、及び1356を特定する。そして、包含領域決定部876は、輪郭1370内の領域を少なくとも含むマクロブロックの他に、周辺領域特定部874が特定したマクロブロック1301−1303、1314、1325、1336、1346、及び1356を含む領域を、包含領域として決定する。このようにして、包含領域特定部870は、輪郭1380で示される包含領域の境界を特定する。   The boundary area specifying unit 872 specifies the macroblocks 1311, 1312, 1313, 1323, 1324, 1334, 1335, 1345, and 1355 including the ROI contour 1370 detected by the feature area detecting unit 203. The peripheral area specifying unit 874 specifies macroblocks 1301-1303, 1314, 1325, 1336, 1346, and 1356 that do not include the ROI and are adjacent to the macroblock specified by the boundary area specifying unit 872. Then, the inclusion region determination unit 876 includes the macroblocks 1301-1303, 1314, 1325, 1336, 1346, and 1356 specified by the peripheral region specification unit 874 in addition to the macroblocks including at least the region in the contour 1370. Are determined as inclusion regions. In this way, the inclusion area specifying unit 870 specifies the boundary of the inclusion area indicated by the outline 1380.

このように、包含領域特定部870は、1以上のマクロブロックよりなる周辺領域を、包含領域に含める。そして、固定値化部211は、包含領域以外の領域を固定値化する。これにより、包含領域内のマクロブロックが、固定値化部211によって固定値化された領域との間で差分がとられて符号化される可能性を低減することができる場合がある。したがって、固定値化することで符号化後の動画データのデータ量がかえって増大してしまうことを未然に防ぐことができる場合がある。   As described above, the inclusion region specifying unit 870 includes a peripheral region including one or more macroblocks in the inclusion region. The fixed value unit 211 converts the area other than the inclusion area to a fixed value. Thereby, there is a case where the possibility that the macroblock in the inclusion area is encoded with a difference between the macroblock and the area fixed by the fixed value conversion unit 211 may be reduced. Therefore, there is a case where it is possible to prevent the data amount of the encoded moving image data from increasing due to the fixed value.

なお、固定値化部211は、包含領域内における平均的な輝度値又は平均的な色で、包含領域外の画素値を固定値化してもよい。これにより、包含領域内のマクロブロックを符号化する場合に、包含領域内のマクロブロックの画素値が、固定値化された領域の画素値との間で差分がとられたとしても、差分値の大きさを低減することができる。   Note that the fixed value unit 211 may fix the pixel values outside the inclusion area to a fixed value with an average luminance value or average color within the inclusion area. Thus, when a macroblock in the inclusion area is encoded, even if the pixel value of the macroblock in the inclusion area is different from the pixel value of the fixed area, the difference value Can be reduced in size.

なお、マクロブロックは、この発明における部分領域の一例であってよい。他にも、この発明における部分領域は、ブロック及びスライス等であってよい。また、部分領域がスライスである場合には、包含領域決定部876は、X方向に連続する複数のマクロブロックよりなるスライスのうち、ROIを含むスライスを含む領域を、包含領域として決定してよい。また、包含領域決定部876は、ROIを含むX方向に連続する複数のマクロブロックのうちの一部よりなるスライスのうち、ROIを含むスライスを含む領域を、包含領域として決定してもよい。このように、包含領域決定部876は、ブロック単位、マクロブロック単位、又はスライス単位、並びにその組合せの集合領域を、包含領域として決定してよい。   The macroblock may be an example of a partial area in the present invention. In addition, the partial area in the present invention may be a block, a slice, or the like. When the partial region is a slice, the inclusion region determination unit 876 may determine a region including a slice including the ROI among the slices including a plurality of macroblocks continuous in the X direction as the inclusion region. . Also, the inclusion region determination unit 876 may determine a region including a slice including the ROI among the slices including a part of a plurality of macroblocks continuous in the X direction including the ROI as the inclusion region. As described above, the inclusion region determination unit 876 may determine a block region, a macroblock unit, a slice unit, and a combination region of a combination thereof as the inclusion region.

なお、包含領域決定部876は、例えばMPEG符号化におけるIピクチャ又はPピクチャとして符号化されるフレーム画像に含まれるROIの周辺領域を含む領域を、包含領域として決定してよい。また、包含領域決定部876は、Bピクチャに符号化されるフレーム画像については、ROIにおいて境界領域特定部872が特定した境界領域を含む領域を、包含領域として決定してもよい。   Note that the inclusion region determination unit 876 may determine, for example, a region including a ROI peripheral region included in a frame image encoded as an I picture or a P picture in MPEG encoding as the inclusion region. In addition, for the frame image encoded into the B picture, the inclusion region determination unit 876 may determine the region including the boundary region specified by the boundary region specification unit 872 in the ROI as the inclusion region.

図14は、包含領域特定部870が特定した包含領域の一例を示す。包含領域特定部870は、1GOPとして符号化すべき複数のフレーム画像のそれぞれから特徴領域検出部203が検出した複数のROIを重ね合わせた包含領域を特定する。なお、このとき、包含領域特定部870は、1GOPに含まれる複数のフレーム画像から特徴領域検出部203が検出したROIを重ね合わせる。このように、包含領域特定部870は、GOP毎に固定された包含領域を特定する。なお、包含領域特定部870は、図13に関連して説明したように、周辺領域を含む領域を包含領域として特定してよい。   FIG. 14 shows an example of the inclusion area specified by the inclusion area specifying unit 870. The inclusion area specifying unit 870 specifies an inclusion area obtained by superimposing a plurality of ROIs detected by the feature area detection unit 203 from each of a plurality of frame images to be encoded as 1 GOP. At this time, the inclusion region specifying unit 870 superimposes the ROIs detected by the feature region detection unit 203 from a plurality of frame images included in one GOP. Thus, the inclusion area specifying unit 870 specifies the inclusion area fixed for each GOP. In addition, as described in relation to FIG. 13, the inclusion area specifying unit 870 may specify an area including the peripheral area as the inclusion area.

このように、包含領域特定部870がGOP毎に包含領域を特定して、固定値化部211が包含領域以外の領域を固定値化する。このため、固定値化によるデータ量の低減だけでなく、図13に関連して説明したように符号化後のデータ量を著しく低減することができる場合がある。このため、符号化部231の機能を汎用の符号器で実装したとしても、データ量を効果的に低減することができる場合がある。このため、符号化部231の機能をROI領域を符号化するのに特化した符号器で実装する場合に比べて、画像処理装置120のコストを著しく削減することができる場合がある。   As described above, the inclusion area specifying unit 870 specifies the inclusion area for each GOP, and the fixed value converting unit 211 fixes the areas other than the inclusion area. For this reason, not only the data amount can be reduced by the fixed value, but also the data amount after encoding can be significantly reduced as described with reference to FIG. For this reason, even if the function of the encoding unit 231 is implemented by a general-purpose encoder, the amount of data may be effectively reduced. For this reason, the cost of the image processing apparatus 120 may be significantly reduced as compared with the case where the function of the encoding unit 231 is implemented by an encoder specialized for encoding the ROI region.

図15は、画像処理装置120及び画像処理装置170のハードウェア構成の一例を示す。画像処理装置120及び画像処理装置170は、CPU周辺部と、入出力部と、レガシー入出力部とを備える。CPU周辺部は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示デバイス1580を有する。入出力部は、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する。レガシー入出力部は、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有する。   FIG. 15 shows an example of the hardware configuration of the image processing apparatus 120 and the image processing apparatus 170. The image processing device 120 and the image processing device 170 include a CPU peripheral unit, an input / output unit, and a legacy input / output unit. The CPU peripheral section includes a CPU 1505, a RAM 1520, a graphic controller 1575, and a display device 1580 that are connected to each other by a host controller 1582. The input / output unit includes a communication interface 1530, a hard disk drive 1540, and a CD-ROM drive 1560 that are connected to the host controller 1582 by the input / output controller 1584. The legacy input / output unit includes a ROM 1510, a flexible disk drive 1550, and an input / output chip 1570 connected to the input / output controller 1584.

ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。   The host controller 1582 connects the RAM 1520, the CPU 1505 that accesses the RAM 1520 at a high transfer rate, and the graphic controller 1575. The CPU 1505 operates based on programs stored in the ROM 1510 and the RAM 1520 to control each unit. The graphic controller 1575 acquires image data generated by the CPU 1505 or the like on a frame buffer provided in the RAM 1520 and displays the image data on the display device 1580. Alternatively, the graphic controller 1575 may include a frame buffer that stores image data generated by the CPU 1505 or the like.

入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。   The input / output controller 1584 connects the host controller 1582 to the hard disk drive 1540, the communication interface 1530, and the CD-ROM drive 1560, which are relatively high-speed input / output devices. The hard disk drive 1540 stores programs and data used by the CPU 1505. The communication interface 1530 is connected to the network communication device 1598 to transmit / receive programs or data. The CD-ROM drive 1560 reads a program or data from the CD-ROM 1595 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520.

入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、放射線撮像システムが起動時に実行するブート・プログラム、あるいは放射線撮像システムのハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。   The input / output controller 1584 is connected to the ROM 1510, the flexible disk drive 1550, and the relatively low-speed input / output device of the input / output chip 1570. The ROM 1510 stores a boot program that is executed when the radiation imaging system is started up, a program that depends on the hardware of the radiation imaging system, and the like. The flexible disk drive 1550 reads a program or data from the flexible disk 1590 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520. The input / output chip 1570 connects various input / output devices via the flexible disk drive 1550 or a parallel port, serial port, keyboard port, mouse port, and the like.

CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。CPU1505により実行されるプログラムは、画像処理装置120を、図1から図13に関連して説明した圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、画像生成部205、固定値化部211、画質低減部221、符号化部231、対応付け処理部206、出力部207、**として機能させる。また、CPU1505により実行されるプログラムは、画像処理装置170を、図1から図13に関連して説明した圧縮動画取得部301、対応付け解析部302、圧縮動画伸張部311、合成部303、及び出力部304として機能させる。   A program executed by the CPU 1505 is stored in a recording medium such as the flexible disk 1590, the CD-ROM 1595, or an IC card and provided by the user. The program stored in the recording medium may be compressed or uncompressed. The program is installed in the hard disk drive 1540 from the recording medium, read into the RAM 1520, and executed by the CPU 1505. The program executed by the CPU 1505 causes the image processing apparatus 120 to execute the compressed moving image acquisition unit 201, the compressed moving image decompression unit 202, the feature region detection unit 203, the image division unit 204, and the image generation described with reference to FIGS. Unit 205, fixed value conversion unit 211, image quality reduction unit 221, encoding unit 231, association processing unit 206, output unit 207, and **. Further, the program executed by the CPU 1505 causes the image processing apparatus 170 to execute the compressed moving image acquisition unit 301, the association analysis unit 302, the compressed moving image decompression unit 311, the combining unit 303, and the like described with reference to FIGS. It functions as the output unit 304.

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDまたはPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置120及び画像処理装置170に提供してもよい。   The program shown above may be stored in an external storage medium. As the storage medium, in addition to the flexible disk 1590 and the CD-ROM 1595, an optical recording medium such as a DVD or PD, a magneto-optical recording medium such as an MD, a tape medium, a semiconductor memory such as an IC card, or the like can be used. Further, a storage device such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet is used as a recording medium, and is provided to the image processing device 120 and the image processing device 170 as a program via the network. Also good.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

一実施形態に係る画像処理システム10の一例を示す図である。1 is a diagram illustrating an example of an image processing system 10 according to an embodiment. 画像処理装置120のブロック構成の一例を示す図である。2 is a diagram illustrating an example of a block configuration of an image processing apparatus 120. FIG. 画像処理装置170のブロック構成の一例を示す図である。2 is a diagram illustrating an example of a block configuration of an image processing apparatus 170. FIG. 画像処理装置120の処理フローの一例を示す図である。3 is a diagram illustrating an example of a processing flow of the image processing apparatus 120. FIG. 複数の特徴領域動画および背景領域動画の画質の一例を示す図である。It is a figure which shows an example of the image quality of several characteristic area | region moving image and background area | region moving image. 画像処理装置170の処理フローの一例を示す図である。It is a figure which shows an example of the processing flow of the image processing apparatus. 圧縮部240の構成の一例を示す図である。3 is a diagram illustrating an example of a configuration of a compression unit 240. FIG. 画像処理装置120がさらに有する圧縮制御ユニット800の構成の一例を示す図である。It is a figure which shows an example of a structure of the compression control unit 800 which the image processing apparatus 120 further has. 対応領域特定部820が特定した対応領域の一例を示す図である。It is a figure which shows an example of the corresponding area which the corresponding area specific | specification part 820 specified. 条件格納部850が格納しているデータの一例をテーブル形式で示す図である。It is a figure which shows an example of the data which the condition storage part 850 has stored in the table format. オブジェクト動き算出部830が算出したオブジェクトの動きの一例を示す図である。It is a figure which shows an example of the motion of the object which the object motion calculation part 830 calculated. 画像処理装置120のそれぞれが出力する動画データのデータ量の時間発展の一例を示す図である。It is a figure which shows an example of the time evolution of the data amount of the moving image data which each of the image processing apparatus 120 outputs. 包含領域特定部870が特定する包含領域の一部を示す図である。It is a figure which shows a part of inclusion area which the inclusion area specification part 870 specifies. 包含領域特定部870が特定した包含領域の一例を示す図である。It is a figure which shows an example of the inclusion area which the inclusion area specification part 870 specified. 画像処理装置120及び画像処理装置170のハードウェア構成の一例を示す図である。2 is a diagram illustrating an example of a hardware configuration of an image processing apparatus 120 and an image processing apparatus 170. FIG.

符号の説明Explanation of symbols

10 画像処理システム
100 撮像装置
110 通信ネットワーク
120 画像処理装置
130 人物
140 移動物体
150 監視対象空間
160 空間
170 画像処理装置
180 表示装置
201 圧縮動画取得部
202 圧縮動画伸張部
203 特徴領域検出部
204 画像分割部
205 画像生成部
206 対応付け処理部
207 出力部
210 固定値化ユニット
211 固定値化部
220 低減化ユニット
221 画質低減部
230 符号化ユニット
231 符号化部
231a 背景領域動画符号化部
231b−d 特徴領域動画符号化部
240 圧縮部
301 圧縮動画取得部
302 対応付け解析部
310 圧縮動画伸張ユニット
311 圧縮動画伸張部
303 合成部
304 出力部
730 動画分割ユニット
731 動画分割部
731a 背景領域動画分割部
731b−d 特徴領域動画分割部
740 画像比較ユニット
741 画像比較部
741a 背景領域画像比較部
741b−d 特徴領域画像比較部
800 圧縮制御ユニット
810 特徴領域特定部
820 対応領域特定部
830 オブジェクト動き算出部
840 適合度算出部
850 条件格納部
860 圧縮制御部
870 包含領域特定部
872 境界領域特定部
874 周辺領域特定部
876 包含領域決定部
DESCRIPTION OF SYMBOLS 10 Image processing system 100 Imaging device 110 Communication network 120 Image processing device 130 Person 140 Moving object 150 Monitoring object space 160 Space 170 Image processing device 180 Display device 201 Compressed moving image acquisition unit 202 Compressed moving image decompression unit 203 Feature area detection unit 204 Image division Unit 205 image generation unit 206 association processing unit 207 output unit 210 fixed value unit 211 fixed value unit 220 reduction unit 221 image quality reduction unit 230 encoding unit 231 encoding unit 231a background area moving image encoding unit 231b-d Features Area video encoding unit 240 Compression unit 301 Compressed video acquisition unit 302 Association analysis unit 310 Compressed video expansion unit 311 Compressed video expansion unit 303 Combining unit 304 Output unit 730 Video division unit 731 Video division unit 731a Background region video division unit 731 -D feature region moving image dividing unit 740 image comparison unit 741 image comparison unit 741a background region image comparison unit 741b-d feature region image comparison unit 800 compression control unit 810 feature region specifying unit 820 corresponding region specifying unit 830 object motion calculating unit 840 Degree calculation unit 850 Condition storage unit 860 Compression control unit 870 Inclusion region specifying unit 872 Boundary region specifying unit 874 Surrounding region specifying unit 876 Inclusion region determining unit

Claims (11)

複数の撮像装置のそれぞれにより撮像された複数の画像を取得する画像取得部と、
前記複数の画像のうちの一の画像から、特徴領域を検出する特徴領域検出部と、
前記特徴領域に含まれる被写体と同じ被写体を含むべき対応領域を、前記一の画像の他の画像において特定する対応領域特定部と、
前記対応領域特定部が特定した前記他の画像における前記対応領域から、前記他の画像における特徴領域を特定する特徴領域特定部と
を備える画像処理装置。
An image acquisition unit that acquires a plurality of images captured by each of a plurality of imaging devices;
A feature region detection unit for detecting a feature region from one of the plurality of images;
A corresponding region specifying unit that specifies a corresponding region that should include the same subject as the subject included in the feature region in another image of the one image;
An image processing apparatus comprising: a feature region specifying unit that specifies a feature region in the other image from the corresponding region in the other image specified by the corresponding region specifying unit.
前記画像取得部は、複数の撮像装置のそれぞれにより撮像された複数の動画のそれぞれに含まれる複数の動画構成画像を取得し、
前記特徴領域検出部は、前記複数の動画のうちの一の動画に含まれる複数の動画構成画像から前記特徴領域を検出し、
前記対応領域特定部は、前記特徴領域に含まれる被写体と同じ被写体を含むべき、他の動画に含まれる複数の動画構成画像における前記対応領域を特定し、
前記特徴領域特定部は、前記対応領域特定部が特定した前記他の動画に含まれる動画構成画像における前記対応領域から、前記他の動画に含まれる動画構成画像における特徴領域を特定する
請求項1に記載の画像処理装置。
The image acquisition unit acquires a plurality of moving image constituent images included in each of a plurality of moving images captured by a plurality of imaging devices,
The feature region detection unit detects the feature region from a plurality of moving image constituent images included in one moving image of the plurality of moving images,
The corresponding area specifying unit specifies the corresponding area in a plurality of moving image constituent images included in other moving images that should include the same subject as the subject included in the feature area,
The feature region specifying unit specifies a feature region in a moving image constituent image included in the other moving image from the corresponding region in the moving image constituent image included in the other moving image specified by the corresponding region specifying unit. An image processing apparatus according to 1.
前記対応特徴領域特定部は、前記特徴領域検出部が検出した前記特徴領域の画像における位置と、前記複数の撮像装置が前記複数の画像を撮像したときの撮像範囲のそれぞれとに基づいて、前記対応領域を特定する
請求項2に記載の画像処理装置。
The corresponding feature region specifying unit is based on the position in the image of the feature region detected by the feature region detection unit and each of the imaging ranges when the plurality of imaging devices capture the plurality of images. The image processing apparatus according to claim 2, wherein a corresponding area is specified.
前記特徴領域検出部が検出した前記特徴領域の画像を複数含む特徴領域動画と、前記特徴領域特定部が特定した特徴領域の画像を複数含む特徴領域動画とを、異なる強度で圧縮する圧縮部
をさらに備える請求項3に記載の画像処理装置。
A compression unit that compresses a feature region moving image including a plurality of images of the feature region detected by the feature region detection unit and a feature region moving image including a plurality of images of the feature region specified by the feature region specifying unit with different strengths; The image processing apparatus according to claim 3, further comprising:
前記特徴領域検出部が検出した前記特徴領域の画像の画像内容及び前記特徴領域特定部が特定した特徴領域の画像の画像内容のそれぞれが予め定められた条件に適合する適合度を算出する適合度算出部
をさらに備え、
前記圧縮部は、前記特徴領域検出部が検出した前記特徴領域及び前記特徴領域特定部が特定した前記特徴領域のうち、前記適合度算出部がより大きい適合度を算出した特徴領域の画像を含む特徴領域動画をより小さい強度で圧縮する
請求項4に記載の画像処理装置。
The degree of fitness for calculating the degree of suitability in which the image content of the image of the feature region detected by the feature region detection unit and the image content of the image of the feature region specified by the feature region specification unit meet predetermined conditions, respectively. A calculation unit;
The compression unit includes an image of a feature region that is calculated by the fitness calculation unit with a higher fitness among the feature region detected by the feature region detection unit and the feature region specified by the feature region specification unit. The image processing apparatus according to claim 4, wherein the feature area moving image is compressed with a smaller intensity.
前記圧縮部は、前記特徴領域検出部が検出した前記特徴領域の画像を含む特徴領域動画が持つ符号量及び前記特徴領域特定部が特定した前記特徴領域の画像を含む特徴領域動画が持つ符号量の合計値を予め定められた範囲内にすべく、前記特徴領域検出部が検出した前記特徴領域の画像を含む特徴領域動画及び前記特徴領域特定部が特定した前記特徴領域の画像を含む特徴領域動画のそれぞれを圧縮する強度を調整する
請求項5に記載の画像処理装置。
The compression unit includes a code amount of a feature region moving image including the image of the feature region detected by the feature region detection unit and a code amount of a feature region moving image including the image of the feature region specified by the feature region specifying unit. A feature area moving image including the image of the feature area detected by the feature area detection unit and a feature area including the image of the feature area specified by the feature area specifying unit The image processing apparatus according to claim 5, wherein the strength for compressing each of the moving images is adjusted.
前記特徴領域特定部は、前記対応領域特定部が特定した前記対応領域を、前記他の画像における特徴領域として特定する
請求項6に記載の画像処理装置。
The image processing apparatus according to claim 6, wherein the feature region specifying unit specifies the corresponding region specified by the corresponding region specifying unit as a feature region in the other image.
前記特徴領域特定部は、前記対応領域特定部が特定した前記対応領域から、前記他の画像における特徴領域を抽出する
請求項6に記載の画像処理装置。
The image processing apparatus according to claim 6, wherein the feature region specifying unit extracts a feature region in the other image from the corresponding region specified by the corresponding region specifying unit.
前記特徴領域として特定されるべき領域の画像内容が適合すべき条件を格納する条件格納部
をさらに備え、
前記特徴領域検出部は、前記画像取得部が取得した複数の画像のうちの一の画像の画像内容に基づいて、前記条件格納部が格納している条件に適合する領域を特徴領域として特定し、
前記特徴領域特定部は、前記対応領域特定部が特定した前記対応領域の画像の画像内容に基づいて、前記条件格納部が格納している条件より緩和された条件に適合する領域を、特徴領域として抽出する
請求項6に記載の画像処理装置。
A condition storage unit for storing a condition to which the image content of the area to be specified as the feature area should be adapted;
The feature region detection unit identifies, as a feature region, a region that meets the conditions stored in the condition storage unit based on the image content of one of the plurality of images acquired by the image acquisition unit. ,
The feature region specifying unit, based on the image content of the image of the corresponding region specified by the corresponding region specifying unit, a region that matches a condition relaxed from the condition stored in the condition storage unit, The image processing apparatus according to claim 6, extracted as:
複数の撮像装置のそれぞれにより撮像された複数の画像を取得する画像取得段階と、
前記複数の画像のうちの一の画像から、特徴領域を検出する特徴領域検出段階と、
前記特徴領域に含まれる被写体と同じ被写体を含むべき対応領域を、前記一の画像の他の画像において特定する対応領域特定段階と、
前記対応領域特定段階において特定された前記他の画像における前記対応領域から、前記他の画像における特徴領域を特定する特徴領域特定段階と
を備える画像処理方法。
An image acquisition stage for acquiring a plurality of images captured by each of a plurality of imaging devices;
A feature region detection step of detecting a feature region from one of the plurality of images;
A corresponding area specifying step of specifying a corresponding area that should include the same subject as the subject included in the feature area in another image of the one image;
An image processing method comprising: a feature region specifying step of specifying a feature region in the other image from the corresponding region in the other image specified in the corresponding region specifying step.
画像処理装置用のプログラムであって、前記画像処理装置を、
複数の撮像装置のそれぞれにより撮像された複数の画像を取得する画像取得部、
前記複数の画像のうちの一の画像から、特徴領域を検出する特徴領域検出部、
前記特徴領域に含まれる被写体と同じ被写体を含むべき対応領域を、前記一の画像の他の画像において特定する対応領域特定部、
前記対応領域特定部が特定した前記他の画像における前記対応領域から、前記他の画像における特徴領域を特定する特徴領域特定部
として機能させるプログラム。
A program for an image processing device, wherein the image processing device is
An image acquisition unit that acquires a plurality of images captured by each of a plurality of imaging devices;
A feature region detection unit for detecting a feature region from one of the plurality of images;
A corresponding region specifying unit that specifies a corresponding region that should include the same subject as the subject included in the feature region in another image of the one image;
A program that functions as a feature region specifying unit that specifies a feature region in the other image from the corresponding region in the other image specified by the corresponding region specifying unit.
JP2007188144A 2007-07-19 2007-07-19 Image processing apparatus, image processing method, and program Expired - Fee Related JP5062407B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007188144A JP5062407B2 (en) 2007-07-19 2007-07-19 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007188144A JP5062407B2 (en) 2007-07-19 2007-07-19 Image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2009027426A true JP2009027426A (en) 2009-02-05
JP5062407B2 JP5062407B2 (en) 2012-10-31

Family

ID=40398821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007188144A Expired - Fee Related JP5062407B2 (en) 2007-07-19 2007-07-19 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP5062407B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015211302A (en) * 2014-04-25 2015-11-24 株式会社 日立産業制御ソリューションズ Imaging apparatus and imaging system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1132322A (en) * 1997-07-11 1999-02-02 Hitachi Eng & Services Co Ltd Automatic tracing system for possessor of dangerous weapon
JP2002158992A (en) * 2000-11-22 2002-05-31 Fujitsu Ltd Image distributor, image processor and camera
JP2004200739A (en) * 2002-12-16 2004-07-15 Sanyo Electric Co Ltd Image processor
JP2005353004A (en) * 2004-06-14 2005-12-22 Sumitomo Electric Ind Ltd Vehicle traveling measurement system and vehicle tracking method
JP2006025306A (en) * 2004-07-09 2006-01-26 Matsushita Electric Ind Co Ltd Indexing apparatus for object information in multi-viewpoint video image, and method and program therefor
JP2007174149A (en) * 2005-12-21 2007-07-05 Olympus Corp Imaging system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1132322A (en) * 1997-07-11 1999-02-02 Hitachi Eng & Services Co Ltd Automatic tracing system for possessor of dangerous weapon
JP2002158992A (en) * 2000-11-22 2002-05-31 Fujitsu Ltd Image distributor, image processor and camera
JP2004200739A (en) * 2002-12-16 2004-07-15 Sanyo Electric Co Ltd Image processor
JP2005353004A (en) * 2004-06-14 2005-12-22 Sumitomo Electric Ind Ltd Vehicle traveling measurement system and vehicle tracking method
JP2006025306A (en) * 2004-07-09 2006-01-26 Matsushita Electric Ind Co Ltd Indexing apparatus for object information in multi-viewpoint video image, and method and program therefor
JP2007174149A (en) * 2005-12-21 2007-07-05 Olympus Corp Imaging system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015211302A (en) * 2014-04-25 2015-11-24 株式会社 日立産業制御ソリューションズ Imaging apparatus and imaging system

Also Published As

Publication number Publication date
JP5062407B2 (en) 2012-10-31

Similar Documents

Publication Publication Date Title
JP4895042B2 (en) Image compression apparatus, image compression method, and program
JP2009049979A (en) Image processing device, image processing method, image processing system, and program
US8532394B2 (en) Image processing apparatus, image processing method and computer readable medium
US8498483B2 (en) Image processing apparatus, image processing method, and computer readable medium
JP4897600B2 (en) Image processing apparatus, image processing method, and program
JP2009048620A (en) Image processor, image processing method, and program
JP2009049976A (en) Image processing apparatus, image processing method and program
JP5082134B2 (en) Image processing apparatus, image processing method, and program
JP2012085350A (en) Image processing apparatus, image processing method, and program
JP5531327B2 (en) Image processing apparatus, image processing method, and program
JP4895041B2 (en) Image processing apparatus, image processing method, and program
JP4817260B2 (en) Image processing apparatus, image processing method, and program
JP5062407B2 (en) Image processing apparatus, image processing method, and program
JP5156982B2 (en) Image processing system, image processing method, and program
JP5256496B2 (en) Image processing system, image processing method, and program
JP4873488B2 (en) Image processing apparatus, image processing method, and program
JP2012094985A (en) Image processing device, method, program, and storage medium
JP2011172291A (en) Image processing device, image processing method, and program
JP4817263B2 (en) Image processing apparatus, image processing method, and program
JP4911468B2 (en) Image processing apparatus, image processing method, and program
JP4895044B2 (en) Image processing apparatus, image processing method, and program
JP4817262B2 (en) Image processing apparatus, image processing method, and program
Chen et al. Application of scalable visual sensitivity profile in image and video coding
JP4900602B2 (en) Image processing apparatus, image processing method, program, and image processing system
JP2009253581A (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120724

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150817

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees