JP2009253581A - Image processing apparatus, image processing method, and program - Google Patents

Image processing apparatus, image processing method, and program Download PDF

Info

Publication number
JP2009253581A
JP2009253581A JP2008097972A JP2008097972A JP2009253581A JP 2009253581 A JP2009253581 A JP 2009253581A JP 2008097972 A JP2008097972 A JP 2008097972A JP 2008097972 A JP2008097972 A JP 2008097972A JP 2009253581 A JP2009253581 A JP 2009253581A
Authority
JP
Japan
Prior art keywords
image
region
moving image
feature
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2008097972A
Other languages
Japanese (ja)
Inventor
Yukinori Noguchi
幸典 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008097972A priority Critical patent/JP2009253581A/en
Publication of JP2009253581A publication Critical patent/JP2009253581A/en
Ceased legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To reduce a coding amount while maintaining image quality according to the features of each area. <P>SOLUTION: An image processing apparatus has: a characteristic area detection section for detecting a characteristic area from a moving image including a plurality of moving image configuration images; and a compression section for generating a compressed image, where the moving image is compressed, by expressing the image of an area except the characteristic area rather than the image of the characteristic area in the moving image configuration image by the image information of at least a partial area in at least partial moving image configuration image of the plurality of moving image configuration images in larger moving-image configuration images. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。本発明は、特に、画像を処理する画像処理装置および画像処理方法、ならびに画像処理装置用のプログラムに関する。   The present invention relates to an image processing device, an image processing method, and a program. The present invention particularly relates to an image processing apparatus and an image processing method for processing an image, and a program for the image processing apparatus.

領域ごとに明確に分割されているような動画像に対して、情報的に符号化の要が無い領域を検出して、その領域に対して割り当てる符号化情報量を最小とする動画像符号化装置が知られている（例えば、特許文献１参照。）。
特開２００２−２８１５０８号公報 For moving images that are clearly divided for each region, a region that does not need to be encoded in information is detected, and the moving image encoding that minimizes the amount of encoded information assigned to the region is performed. An apparatus is known (for example, refer to Patent Document 1).
JP 2002-281508 A

しかしながら、上記特許文献１に記載の動画像符号化装置によると、各領域に応じて符号化をスキップすることができない。このため、各領域の特徴に応じて画質を維持しながら符号化情報量を削減することができない。   However, according to the moving picture encoding apparatus described in Patent Document 1, encoding cannot be skipped according to each region. For this reason, the amount of encoded information cannot be reduced while maintaining the image quality according to the characteristics of each region.

上記課題を解決するために、本発明の第１の形態によると、画像処理装置であって、複数の動画構成画像を含む動画から特徴領域を検出する特徴領域検出部と、動画構成画像における特徴領域の画像より特徴領域以外の領域の画像を、より多くの動画構成画像において、複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することより、動画を圧縮した圧縮動画を生成する圧縮部とを備える。   In order to solve the above-described problem, according to a first aspect of the present invention, an image processing apparatus includes a feature region detection unit that detects a feature region from a moving image including a plurality of moving image constituent images, and features in the moving image constituent images By expressing an image of a region other than the feature region than an image of the region using image information of at least some of the regions in at least some of the moving image constituent images in a plurality of moving image constituent images. A compression unit that generates a compressed moving image obtained by compressing the moving image.

本発明の第２の形態によると、画像処理方法であって、複数の動画構成画像を含む動画から特徴領域を検出する特徴領域検出段階と、動画構成画像における特徴領域の画像より特徴領域以外の領域の画像を、より多くの動画構成画像において、複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、動画を圧縮した圧縮動画を生成する圧縮段階とを備える。   According to the second aspect of the present invention, there is provided an image processing method including a feature region detection stage for detecting a feature region from a moving image including a plurality of moving image constituent images, and a feature region other than the feature region from the feature region image in the moving image constituent images. A compressed video obtained by compressing a moving image by expressing the image of the region by using image information of at least a part of the moving image constituting image of at least a part of the moving image constituting images in a larger number of moving image constituting images. Generating a compression stage.

本発明の第３の形態によると、画像処理装置用のプログラムであって、コンピュータを、複数の動画構成画像を含む動画から特徴領域を検出する特徴領域検出部、動画構成画像における特徴領域の画像より特徴領域以外の領域の画像を、より多くの動画構成画像において、複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、動画を圧縮した圧縮動画を生成する圧縮部として機能させる。   According to the third aspect of the present invention, there is provided a program for an image processing apparatus, wherein the computer detects a feature region from a moving image including a plurality of moving image constituting images, and an image of the characteristic region in the moving image constituting image. By expressing an image of a region other than the feature region in a larger number of moving image constituent images using image information of at least some of the moving image constituent images of the plurality of moving image constituent images, It functions as a compression unit that generates a compressed compressed video.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図１は、一実施形態に係わる画像処理システム１０の一例を示す。画像処理システム１０は、画像における特徴的な領域の画質を維持しながら画像の符号量を削減することを目的とする。画像処理システム１０は、以下に説明するように、監視システムとして機能することができる。   FIG. 1 shows an example of an image processing system 10 according to an embodiment. An object of the image processing system 10 is to reduce the amount of code of an image while maintaining the image quality of a characteristic area in the image. The image processing system 10 can function as a monitoring system as described below.

画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｄ（以下、撮像装置１００と総称する。）、撮像装置１００により撮像された画像を処理する複数の画像処理装置１２０ａおよび画像処理装置１２０ｂ（以下、画像処理装置１２０と総称する。）、通信ネットワーク１１０、画像処理装置１７０、画像ＤＢ１７５、および複数の表示装置１８０ａ−ｄ（以下、表示装置１８０と総称する。）を備える。   The image processing system 10 includes a plurality of imaging devices 100a-d (hereinafter collectively referred to as imaging devices 100) that capture the monitoring target space 150, a plurality of image processing devices 120a that process images captured by the imaging device 100, and An image processing apparatus 120b (hereinafter collectively referred to as an image processing apparatus 120), a communication network 110, an image processing apparatus 170, an image DB 175, and a plurality of display apparatuses 180a-d (hereinafter collectively referred to as display apparatuses 180) are provided. .

なお、画像処理装置１２０ａは、撮像装置１００ａおよび撮像装置１００ｂに接続されており、画像処理装置１２０ｂは、撮像装置１００ｃおよび撮像装置１００ｄに接続されている。なお、画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。   The image processing device 120a is connected to the imaging device 100a and the imaging device 100b, and the image processing device 120b is connected to the imaging device 100c and the imaging device 100d. Note that the image processing device 170 and the display device 180 are provided in a space 160 different from the monitoring target space 150.

撮像装置１００ａは、撮像部１０２ａおよび撮像動画圧縮部１０４ａを有している。撮像部１０２ａは、監視対象空間１５０を撮像して撮像動画を生成する。撮像動画圧縮部１０４ａは、撮像部１０２ａにより撮像された撮像動画をＭＰＥＧ符号化等により圧縮して、撮像動画データを生成する。このように、撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画を符号化して撮像動画データを生成する。撮像装置１００ａは、当該撮像動画データを、撮像装置１００ａが接続されている画像処理装置１２０ａに出力する。   The imaging device 100a includes an imaging unit 102a and an imaging moving image compression unit 104a. The imaging unit 102a captures the monitoring target space 150 and generates a captured moving image. The captured moving image compression unit 104a compresses the captured moving image captured by the imaging unit 102a by MPEG encoding or the like, and generates captured moving image data. Thus, the imaging device 100a encodes the captured moving image obtained by capturing the monitoring target space 150 to generate captured moving image data. The imaging device 100a outputs the captured moving image data to the image processing device 120a to which the imaging device 100a is connected.

なお、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄは、それぞれ撮像装置１００ａと同様の構成を有するので、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄの各構成要素の説明を省略する。なお、撮像装置１００ｂは、生成した撮像動画データを撮像装置１００ｂが接続されている画像処理装置１２０ａに出力する。また、撮像装置１００ｃおよび撮像装置１００ｄは、生成した撮像動画データを、画像処理装置１２０ｂに出力する。このようにして、画像処理装置１２０は、撮像装置１００により生成された撮像動画データを、それぞれが接続された撮像装置１００から取得する。   Note that the imaging device 100b, the imaging device 100c, and the imaging device 100d have the same configuration as that of the imaging device 100a, and thus description of each component of the imaging device 100b, the imaging device 100c, and the imaging device 100d is omitted. Note that the imaging device 100b outputs the generated captured moving image data to the image processing device 120a to which the imaging device 100b is connected. In addition, the imaging device 100c and the imaging device 100d output the generated captured moving image data to the image processing device 120b. In this way, the image processing device 120 acquires the captured moving image data generated by the imaging device 100 from the imaging device 100 to which each is connected.

そして、画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から、人物１３０が撮像された領域、車輌等の移動体１４０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０は、撮像動画から、複数の特徴領域のそれぞれが特徴領域以外の領域より高画質な圧縮動画データを生成する。なお、画像処理装置１２０は、特徴領域の画像が特徴領域のそれぞれの重要度に応じた画質の画像に変換されている圧縮動画データを生成する。そして、画像処理装置１２０は、圧縮動画データを、特徴領域を示す情報である特徴領域情報に対応づけて、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。   Then, the image processing device 120 decodes the captured moving image data acquired from the imaging device 100 to generate a captured moving image, and the moving body 140 such as a region or a vehicle in which the person 130 is captured is captured from the generated captured moving image. A plurality of feature regions having different types of features, such as a region that has been recorded, are detected. Then, the image processing apparatus 120 generates compressed moving image data in which each of the plurality of feature areas has a higher image quality than an area other than the feature area from the captured moving image. Note that the image processing apparatus 120 generates compressed moving image data in which the image of the feature area is converted into an image having an image quality corresponding to the importance of each feature area. Then, the image processing apparatus 120 transmits the compressed moving image data to the image processing apparatus 170 through the communication network 110 in association with feature area information that is information indicating the feature area.

画像処理装置１７０は、特徴領域情報が対応づけられた圧縮動画データを画像処理装置１２０から受信する。そして、画像処理装置１７０は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張して表示用動画を生成して、生成した表示用動画を表示装置１８０に供給する。表示装置１８０は、画像処理装置１７０から供給された表示用動画を表示する。   The image processing device 170 receives the compressed moving image data associated with the feature area information from the image processing device 120. Then, the image processing device 170 expands the received compressed moving image data using the associated feature area information to generate a display moving image, and supplies the generated display moving image to the display device 180. The display device 180 displays the moving image for display supplied from the image processing device 170.

また、画像処理装置１７０は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データを画像ＤＢ１７５に記録してもよい。そして、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像ＤＢ１７５から圧縮動画データおよび特徴領域情報を読み出して、読み出した圧縮動画データを特徴領域情報を利用して伸張して表示用動画を生成して、表示装置１８０に供給してもよい。   The image processing apparatus 170 may record the compressed moving image data in the image DB 175 in association with the feature area information associated with the compressed moving image data. Then, in response to a request from the display device 180, the image processing device 170 reads the compressed moving image data and the feature area information from the image DB 175, decompresses the read compressed moving image data using the feature region information, and displays it. A moving image may be generated and supplied to the display device 180.

なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された動画構成画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置１７０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす動画構成画像を特定する。そして、画像処理装置１７０は、特定した動画構成画像を復号して、表示装置１８０に提供してよい。   Note that the feature area information is compressed into text data including the position of the feature area, the size of the feature area, the number of feature areas, identification information for identifying the moving image constituent image in which the feature area is detected, or the like, It may be data that has been subjected to processing such as encryption. Then, the image processing apparatus 170 identifies a moving image constituent image that satisfies various search conditions based on the position of the feature region included in the feature region information, the size of the feature region, the number of feature regions, and the like. Then, the image processing device 170 may decode the identified moving image constituent image and provide it to the display device 180.

このように、画像処理システム１０によると、特徴領域を動画に対応づけて記録しているので、動画における所定の条件に適合する動画構成画像を高速に検索、頭出しをすることができる。また、画像処理システム１０によると、所定の条件に適合する動画構成画像だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。   As described above, according to the image processing system 10, since the feature region is recorded in association with the moving image, it is possible to quickly search and find a moving image constituent image that meets a predetermined condition in the moving image. In addition, according to the image processing system 10, since only moving image constituent images that meet a predetermined condition can be decoded, a partial moving image that conforms to a predetermined condition can be displayed promptly in response to a reproduction instruction.

図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、圧縮動画取得部２０１、圧縮動画伸張部２０２、および画像処理部２００を備える。   FIG. 2 shows an example of a block configuration of the image processing apparatus 120. The image processing apparatus 120 includes a compressed moving image acquisition unit 201, a compressed moving image decompression unit 202, and an image processing unit 200.

圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを伸張して、撮像動画に含まれる複数の動画構成画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した、符号化された撮像動画データを復号して、撮像動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。   The compressed moving image acquisition unit 201 acquires a compressed moving image. Specifically, the compressed moving image acquisition unit 201 acquires encoded captured moving image data generated by the imaging device 100. The compressed video decompression unit 202 decompresses the captured video data acquired by the compressed video acquisition unit 201 and generates a plurality of video constituent images included in the captured video. Specifically, the compressed video decompression unit 202 decodes the encoded captured video data acquired by the compressed video acquisition unit 201, and generates a plurality of video constituent images included in the captured video. The moving image composition image includes a frame image and a field image.

画像処理部２００は、圧縮動画伸張部２０２により生成された複数の動画構成画像を含む撮像動画から特徴領域を検出して、検出した特徴領域の特徴に応じて当該撮像動画に圧縮処理を施して、画像処理装置１７０に出力する。画像処理部２００の動作の一例を以下に説明する。   The image processing unit 200 detects a feature region from a captured moving image including a plurality of moving image constituent images generated by the compressed moving image decompression unit 202, and performs compression processing on the captured moving image according to the feature of the detected feature region. And output to the image processing apparatus 170. An example of the operation of the image processing unit 200 will be described below.

画像処理部２００は、特徴領域検出部２０３、包含領域特定部２１０、圧縮制御部２２０、圧縮部２３０、対応付け処理部２０６、および出力部２０７を有する。特徴領域検出部２０３は、複数の動画構成画像を含む動画から特徴領域を検出する。例えば、特徴領域検出部２０３は、動画において移動するオブジェクトを含む領域を特徴領域として検出してよい。   The image processing unit 200 includes a feature region detection unit 203, an inclusion region specifying unit 210, a compression control unit 220, a compression unit 230, an association processing unit 206, and an output unit 207. The feature area detection unit 203 detects a feature area from a moving image including a plurality of moving image constituent images. For example, the feature region detection unit 203 may detect a region including an object moving in the moving image as the feature region.

なお、撮像装置１００が揺れることによって、画像上のオブジェクト位置がフレーム間で小さくずれてしまう場合がある。このため、画像上の位置のずれが小さいオブジェクトは、移動するオブジェクトとして検出されないことが望ましい。そこで、特徴領域検出部２０３は、動画構成画像として動画に含まれる他の撮像画像との間における位置の差が予め定められた値より大きいオブジェクトを含む領域を、特徴領域として検出してよい。他にも、特徴領域検出部２０３は、他の撮像画像との間における位置の差が、当該他の撮像画像との間における画像全体のずれ量より大きいオブジェクトを含む領域を、特徴領域として検出してもよい。これにより、撮像装置１００の揺れ等を原因として位置がずれているオブジェクトが移動オブジェクトとして検出されてしまうことを未然に防ぐことができる場合がある。   Note that the object position on the image may be slightly shifted between frames due to the shaking of the imaging apparatus 100. For this reason, it is desirable that an object with a small positional shift on the image is not detected as a moving object. Therefore, the feature region detection unit 203 may detect, as the feature region, a region including an object whose positional difference from another captured image included in the moving image as the moving image constituent image is larger than a predetermined value. In addition, the feature region detection unit 203 detects, as a feature region, a region including an object whose positional difference from another captured image is larger than the displacement amount of the entire image from the other captured image. May be. Thereby, it may be possible to prevent an object whose position is shifted due to shaking of the imaging device 100 from being detected as a moving object.

特徴領域検出部２０３は、検出した特徴領域を示す情報を圧縮制御部２２０に供給する。なお、特徴領域を示す情報とは、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報を含む。   The feature region detection unit 203 supplies information indicating the detected feature region to the compression control unit 220. Note that the information indicating the feature region includes coordinate information of the feature region indicating the position of the feature region and type information indicating the type of the feature region.

圧縮制御部２２０は、特徴領域検出部２０３から取得した特徴領域を示す情報に基づいて、特徴領域に応じて圧縮部２３０による動画の圧縮処理を制御する。具体的には、圧縮制御部２２０は、以下に説明する圧縮処理を圧縮部２３０に行わせる。   Based on the information indicating the feature area acquired from the feature area detection unit 203, the compression control unit 220 controls the compression processing of the moving image by the compression unit 230 according to the feature area. Specifically, the compression control unit 220 causes the compression unit 230 to perform a compression process described below.

具体的には、圧縮部２３０は、動画構成画像における特徴領域の画像より特徴領域以外の領域の画像を、より多くの動画構成画像において、複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、動画を圧縮した圧縮動画を生成する。一例として、圧縮部２３０は、特徴領域以外の領域の画像を、少なくとも一部の領域の画像情報を用いて表現することを示す符号により符号化してよい。例えば、圧縮部２３０は、特徴領域以外の領域の画像を、少なくとも一部の領域の画像をコピーすることを示す符号により符号化してよい。   Specifically, the compression unit 230 selects an image of a region other than the feature region than an image of the feature region in the moving image composition image, in more moving image composition images, in at least some of the moving image composition images. By expressing using image information of at least a part of the region, a compressed moving image in which the moving image is compressed is generated. As an example, the compression unit 230 may encode an image of a region other than the feature region with a code indicating that the image information is expressed using image information of at least a part of the region. For example, the compression unit 230 may encode an image in an area other than the feature area with a code indicating that at least a partial area image is copied.

具体的には、圧縮部２３０は、特徴領域以外の領域の画像を、当該特徴領域が検出された動画構成画像以外の動画構成画像における少なくとも一部の領域の画像情報を用いて表現してよい。例えば、圧縮部２３０は、特徴領域以外の領域の画像を、当該特徴領域が検出された動画構成画像以外の動画構成画像における少なくとも一部の領域の画像情報で表現することで、特徴領域以外の領域が特徴領域より低い時間分解で表示される圧縮動画を生成する。他にも、圧縮部２３０は、特徴領域以外の領域の画像を、当該特徴領域が検出された動画構成画像における他の領域の画像情報を用いて表現することにより、圧縮動画を生成してもよい。   Specifically, the compression unit 230 may represent an image of an area other than the feature area using image information of at least a part of the moving image constituent image other than the moving picture constituent image in which the characteristic area is detected. . For example, the compression unit 230 expresses an image of an area other than the feature area by using image information of at least a part of the moving image constituent image other than the moving picture constituent image in which the characteristic area is detected. A compressed moving image is generated in which the area is displayed with a time resolution lower than the characteristic area. In addition, the compression unit 230 may generate a compressed moving image by expressing an image of a region other than the feature region using image information of another region in the moving image configuration image in which the feature region is detected. Good.

例えば、圧縮部２３０は、特徴領域以外の領域の画像を、特徴領域が検出された動画構成画像以外の動画構成画像または当該特徴領域が検出された動画構成画像の少なくとも一部の領域の画像情報で表される旨を示す符号により、特徴領域を符号化してよい。なお、以下の説明においては、このような符号化のことを参照符号化と呼ぶ場合がある。なお、ここでいう参照符号化とは、画像を他の動画構成画像の少なくとも一部の領域の画像情報で表現することによる符号化と、同一の動画構成画像における他の領域の画像情報で表現することによる符号化との双方を含む。また、参照符号化においては、参照符号化の対象となる領域の画像情報は使用されなくてよい。   For example, the compression unit 230 converts the image of the region other than the feature region into image information of at least a part of the moving image constituent image other than the moving image constituent image in which the feature region is detected or the moving image constituent image in which the feature region is detected. The feature region may be encoded by a code indicating that it is represented by. In the following description, such encoding may be referred to as reference encoding. Note that the reference encoding here refers to encoding by expressing an image with image information of at least a partial area of another moving image constituent image, and expressing with image information of another area in the same moving image constituent image. And encoding by both. Further, in reference encoding, image information of a region to be subjected to reference encoding need not be used.

以下に、圧縮部２３０の各構成要素の動作について説明する。圧縮部２３０は、動画構成画像に含まれる予め定められた複数の部分領域毎に画像を圧縮することにより、圧縮動画を生成する。具体的には、圧縮部２３０は、特徴領域以外の領域に含まれる複数の部分領域のそれぞれの画像を、少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、圧縮動画を生成する。このように、圧縮部２３０は、特徴領域以外の領域に含まれる部分領域毎に、参照符号化により符号化する。   Below, operation | movement of each component of the compression part 230 is demonstrated. The compression unit 230 generates a compressed moving image by compressing the image for each of a plurality of predetermined partial areas included in the moving image constituent image. Specifically, the compression unit 230 represents each image of the plurality of partial areas included in the area other than the feature area by using image information of at least some of the areas in at least some of the moving image constituent images. Thus, a compressed moving image is generated. In this way, the compression unit 230 encodes each partial region included in the region other than the feature region by reference encoding.

一例として、圧縮部２３０は、特徴領域以外の領域に含まれる複数の部分領域のそれぞれの画像を、０ベクトルの動きベクトルで表現することにより、圧縮動画を生成してよい。また、圧縮部２３０は、特徴領域以外の領域に含まれる複数の部分領域のそれぞれの画像を、０ベクトルの動きベクトルおよび予測画像との間の差分値として０の差分値で表現することにより、圧縮動画を生成してもよい。他にも、圧縮部２３０は、特徴領域以外の領域に含まれる複数の部分領域の画像を、当該画像を表す領域を示す符号により符号化することで、圧縮動画を生成してもよい。なお、当該部分領域はマクロブロックであってよい。また、圧縮部２３０は、特徴領域以外の領域に含まれる複数のマクロブロックのそれぞれを、スキップドマクロブロック（ｓｋｉｐｐｅｄ ｍａｃｒｏｂｌｏｃｋ）として扱ってよい。   As an example, the compression unit 230 may generate a compressed moving image by expressing each image of a plurality of partial regions included in a region other than the feature region with a motion vector of 0 vector. Further, the compression unit 230 expresses each image of the plurality of partial regions included in the region other than the feature region with a difference value of 0 as a difference value between the motion vector of the 0 vector and the predicted image, A compressed moving image may be generated. In addition, the compression unit 230 may generate a compressed moving image by encoding an image of a plurality of partial regions included in a region other than the feature region with a code indicating a region representing the image. The partial area may be a macro block. In addition, the compression unit 230 may treat each of a plurality of macroblocks included in a region other than the feature region as a skipped macroblock.

なお、特徴領域検出部２０３は、動画から特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。   Note that the feature region detection unit 203 may detect a plurality of feature regions having different types of features from the moving image. Note that the type of feature may be an index of the type of object such as a person and a moving object. The type of the object may be determined based on the degree of coincidence of the shape of the object or the color of the object.

例えば、特徴領域検出部２０３は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の動画構成画像のそれぞれから抽出して、抽出したオブジェクトを含む動画構成画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部２０３は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。   For example, the feature region detection unit 203 extracts an object that matches a predetermined shape pattern with a matching degree equal to or higher than a predetermined matching degree from each of a plurality of moving picture constituent images, and a moving picture configuration including the extracted object A region in the image may be detected as a feature region having the same feature type. Note that a plurality of shape patterns may be determined for each type of feature. As an example of the shape pattern, a shape pattern of a human face can be exemplified. Different face patterns may be determined for each of a plurality of persons. Thereby, the feature region detection unit 203 can detect different regions each including a different person as different feature regions.

特徴領域検出部２０３が動画から特徴の種類が異なる複数の特徴領域を検出した場合には、圧縮部２３０は、特徴の種類に応じて予め定められた数の動画構成画像における複数の特徴領域の画像を、当該特徴領域が検出された動画構成画像以外の動画構成画像における少なくとも一部の領域の画像情報で表現することで、複数の特徴領域のそれぞれが特徴の種類に応じて予め定められた時間分解で表示される圧縮動画を生成してもよい。これにより、圧縮部２３０は、動画における複数の特徴領域がそれぞれの特徴に応じた画質にされた動画を提供することができる。   When the feature region detection unit 203 detects a plurality of feature regions having different feature types from the moving image, the compression unit 230 selects a plurality of feature regions in a predetermined number of moving image constituent images according to the feature types. By representing the image with image information of at least a part of the moving image constituent image other than the moving image constituent image in which the feature area is detected, each of the plurality of characteristic regions is predetermined according to the type of the feature A compressed moving image displayed by time resolution may be generated. Thereby, the compression unit 230 can provide a moving image in which a plurality of feature regions in the moving image have an image quality corresponding to each feature.

なお、包含領域特定部２１０は、特徴領域検出部２０３が検出した連続する複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する包含領域を特定する。包含領域特定部２１０は、当該包含領域を示す情報を圧縮制御部２２０に供給する。圧縮制御部２２０は、当該包含領域を示す情報に基づいて、上述した特徴領域に対する処理と同様の処理を圧縮部２３０に行わせる。すなわち、圧縮部２３０は、連続する複数の動画構成画像における１以上の動画構成画像における包含領域以外の領域に含まれる複数の部分領域のそれぞれの画像を、少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、圧縮動画を生成する。   The inclusion area specifying unit 210 specifies an inclusion area that includes a plurality of feature areas in each of a plurality of continuous moving image constituent images detected by the feature area detection unit 203. The inclusion area specifying unit 210 supplies information indicating the inclusion area to the compression control unit 220. The compression control unit 220 causes the compression unit 230 to perform the same process as the process for the feature area described above based on the information indicating the inclusion area. That is, the compression unit 230 selects at least one image in each of the plurality of partial areas included in the region other than the inclusion area in the one or more moving image constituent images in the plurality of continuous moving image constituent images. A compressed moving image is generated by using the image information of the part area.

なお、包含領域特定部２１０は、複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する部分領域の集合領域を、包含領域として特定する。例えば、包含領域特定部２１０は、複数の動画構成画像のそれぞれにおける複数の特徴領域を包含するマクロブロックの集合領域を、包含領域として特定してよい。なお、圧縮部２３０は、予め定められた数の動画構成画像により形成される部分動画毎に動画を圧縮することにより、圧縮動画を生成する。この場合、連続する複数の動画構成画像は、同一の部分動画に含まれる。例えば、圧縮部２３０は、動画をＧＯＰ単位で圧縮する場合、連続する複数の動画構成画像は、同一のＧＯＰに含まれる。   The inclusion area specifying unit 210 specifies a collection area of partial areas including a plurality of feature areas in each of a plurality of moving image constituent images as an inclusion area. For example, the inclusion area specifying unit 210 may specify a collection area of macroblocks including a plurality of feature areas in each of a plurality of moving image constituent images as an inclusion area. The compression unit 230 generates a compressed moving image by compressing the moving image for each partial moving image formed by a predetermined number of moving image constituent images. In this case, a plurality of continuous moving image constituent images are included in the same partial moving image. For example, when the compression unit 230 compresses a moving image in units of GOPs, a plurality of continuous moving image constituent images are included in the same GOP.

なお、圧縮部２３０は、画素選択部２３２、動画構成画像選択部２３４、および符号化器２４０を含む。そして、動画構成画像選択部２３４は、特徴の種類に応じて、上述して参照符号化をすべき動画構成画像を選択する。例えば、動画構成画像選択部２３４は、複数の動画構成画像の中から、特徴領域の特徴の種類に応じて予め定められた数の動画構成画像を、参照符号化すべき動画構成画像として選択してよい。また、動画構成画像選択部２３４は、特徴の種類毎に参照符号化すべき動画構成画像を選択してよい。また、動画構成画像選択部２３４は、特徴領域以外の領域の画像を参照符号化すべき動画構成画像として、特徴領域の画像を参照符号化すべき動画構成画像より多く選択してよい。   The compression unit 230 includes a pixel selection unit 232, a moving image configuration image selection unit 234, and an encoder 240. Then, the moving image constituent image selection unit 234 selects the moving image constituent image to be subjected to reference encoding as described above according to the type of feature. For example, the moving image constituent image selection unit 234 selects a predetermined number of moving image constituent images as the moving image constituent images to be reference-encoded from the plurality of moving image constituent images according to the feature type of the feature region. Good. The moving image constituent image selection unit 234 may select a moving image constituent image to be reference-coded for each type of feature. In addition, the moving image constituent image selection unit 234 may select, as moving image constituent images to be subjected to reference encoding, images in regions other than the feature region than the moving image constituent images to be reference encoded.

そして、符号化器２４０は、圧縮動画伸張部２０２により伸張されて得られた複数の動画構成画像を符号化する。このとき、符号化器２４０は、動画構成画像選択部２３４により選択された動画構成画像において、複数の特徴領域および特徴領域以外の領域に含まれる部分領域の画像を参照符号化して、動画構成画像選択部２３４により選択されていない動画構成画像を参照符号化以外の符号化方法により符号化する。なお、画素選択部２３２および符号化器２４０が有する構成要素の機能および動作については後に説明する。   Then, the encoder 240 encodes a plurality of moving image constituent images obtained by being expanded by the compressed moving image expansion unit 202. At this time, the encoder 240 performs reference encoding on a plurality of feature regions and partial region images included in regions other than the feature regions in the movie composition image selected by the movie composition image selection unit 234, thereby creating a movie composition image. A moving image constituent image that is not selected by the selection unit 234 is encoded by an encoding method other than reference encoding. Note that functions and operations of components included in the pixel selection unit 232 and the encoder 240 will be described later.

上記の説明においては、圧縮部２３０が参照符号化する場合における圧縮部２３０の動作を説明した。以下に、参照符号化する部分領域以外の部分領域に対する画像処理装置１２０の各構成要素の動作について説明する。上述したように、圧縮部２３０と画像を所定の部分領域毎に圧縮するが、圧縮部２３０は、特徴領域に含まれる部分領域の画像を、特徴領域以外の領域に含まれる部分領域の画像を圧縮する場合に用いる画素数より多い数の画素の画素値を用いて圧縮する。以下に、圧縮部２３０が含む各構成要素の動作を説明する。   In the above description, the operation of the compression unit 230 when the compression unit 230 performs reference encoding has been described. The operation of each component of the image processing apparatus 120 for a partial area other than the partial area to be reference-encoded will be described below. As described above, the compression unit 230 and the image are compressed for each predetermined partial region. The compression unit 230 converts the partial region image included in the feature region into the partial region image included in the region other than the feature region. Compression is performed using pixel values of a larger number of pixels than the number of pixels used for compression. Below, operation | movement of each component which the compression part 230 contains is demonstrated.

圧縮部２３０は、空間周波数成分算出部２４２、量子化部２４４、および符号化部２４６を有する。空間周波数成分算出部２４２は、部分領域毎に空間周波数成分を算出する。なお、空間周波数成分算出部２４２は、各部分領域の画像を離散コサイン変換によってＤＣＴ係数に変換することによって、部分領域毎に空間周波数成分を算出してよい。他にも、空間周波数成分算出部２４２は、各部分領域の画像をウェーブレット変換によってウェーブレット展開係数に変換することによって、空間周波数成分を算出してよい。   The compression unit 230 includes a spatial frequency component calculation unit 242, a quantization unit 244, and an encoding unit 246. The spatial frequency component calculation unit 242 calculates a spatial frequency component for each partial region. The spatial frequency component calculation unit 242 may calculate a spatial frequency component for each partial region by converting the image of each partial region into a DCT coefficient by discrete cosine transform. In addition, the spatial frequency component calculation unit 242 may calculate the spatial frequency component by converting the image of each partial region into a wavelet expansion coefficient by wavelet transformation.

量子化部２４４は、空間周波数成分算出部２４２により算出された空間周波数成分を量子化する。符号化部２４６は、量子化部２４４により量子化された空間周波数成分を、例えば、エントロピー符号化によって符号化する。   The quantization unit 244 quantizes the spatial frequency component calculated by the spatial frequency component calculation unit 242. The encoding unit 246 encodes the spatial frequency component quantized by the quantization unit 244 by, for example, entropy encoding.

空間周波数成分算出部２４２は、特徴領域に含まれる部分領域の空間周波数成分を、特徴領域以外の領域の空間周波数成分を算出する場合に用いる画素数より多い数の画素の画素値を用いて空間周波数成分を算出する。具体的には、空間周波数成分算出部２４２は、特徴領域以外の領域における空間周波数成分を算出する場合に、特徴領域以外の領域における空間周波数成分を算出する場合より、空間周波数成分を算出する算出単位となる画素数を少なくする。言い換えると、空間周波数成分算出部２４２は、特徴領域以外の領域に含まれる部分領域の空間周波数成分を算出する場合に、特徴領域に含まれる部分領域の空間周波数成分を算出する場合より、空間周波数成分を算出する算出単位であるマクロブロックサイズを小さくする。   The spatial frequency component calculation unit 242 uses the pixel values of a larger number of pixels than the number of pixels used when calculating the spatial frequency component of the partial region included in the feature region to calculate the spatial frequency component of the region other than the feature region. Calculate frequency components. Specifically, the spatial frequency component calculation unit 242 calculates the spatial frequency component when calculating the spatial frequency component in the region other than the feature region, when calculating the spatial frequency component in the region other than the feature region. Reduce the number of pixels as a unit. In other words, when calculating the spatial frequency component of the partial region included in the region other than the feature region, the spatial frequency component calculation unit 242 calculates the spatial frequency of the partial region included in the feature region than when calculating the spatial frequency component. The macro block size, which is a calculation unit for calculating the component, is reduced.

このとき、画素選択部２３２は、特徴領域以外の領域に含まれる部分領域に含まれる画素の中から、当該小さくされたマクロブロックサイズの画素数の画素を選択する。そして、空間周波数成分算出部２４２は、画素選択部２３２によって選択された画素から、空間周波数成分を算出する。また、量子化部２４４は、特徴領域に含まれる部分領域において算出された空間周波数成分を、特徴領域に含まれる部分領域より特徴領域以外の領域に含まれる部分領域において、より小さい量子化ステップで量子化する。   At this time, the pixel selection unit 232 selects a pixel having the number of pixels of the reduced macroblock size from the pixels included in the partial region included in the region other than the feature region. Then, the spatial frequency component calculation unit 242 calculates a spatial frequency component from the pixel selected by the pixel selection unit 232. In addition, the quantization unit 244 performs the spatial frequency component calculated in the partial region included in the feature region with a smaller quantization step in the partial region included in the region other than the feature region than in the partial region included in the feature region. Quantize.

なお、画素選択部２３２は、複数の特徴領域のそれぞれに含まれる部分領域に含まれる画素から、特徴領域の特徴の種類に応じて予め定められた数の画素を選択してよい。そして、空間周波数成分算出部２４２は、空間周波数成分を算出する算出単位を、特徴領域の特徴の種類に応じて予め定められた数の画素から形成される大きさのマクロブロックとする。また、量子化部２４４は、複数の特徴領域のそれぞれに含まれる部分領域において算出された空間周波数成分を、特徴の種類に応じて予め定められた量子化ステップで量子化してよい。以上説明したようにして、圧縮部２３０は、特徴領域の特徴の種類に応じた圧縮率で、特徴領域の画像を圧縮することができる。   Note that the pixel selection unit 232 may select a predetermined number of pixels according to the feature type of the feature region from the pixels included in the partial regions included in each of the plurality of feature regions. Then, the spatial frequency component calculation unit 242 sets a calculation unit for calculating the spatial frequency component as a macroblock having a size formed from a predetermined number of pixels according to the feature type of the feature region. Further, the quantization unit 244 may quantize the spatial frequency component calculated in the partial region included in each of the plurality of feature regions in a quantization step determined in advance according to the feature type. As described above, the compression unit 230 can compress the image of the feature region at a compression rate corresponding to the type of feature of the feature region.

圧縮部２３０は、符号化部２４６によって符号化されて得られた圧縮動画を、対応付け処理部２０６に供給する。対応付け処理部２０６は、圧縮部２３０から取得した圧縮動画に、圧縮制御部２２０から取得した特徴領域情報を対応づける。一例として、対応付け処理部２０６は、圧縮動画に含まれる複数の動画構成画像を識別する情報、特徴領域の位置を識別する情報、および特徴領域の特徴の種類を識別する情報を対応づけた特徴領域情報を、圧縮動画に付帯する。そして、出力部２０７は、特徴領域情報が付帯された圧縮動画を画像処理装置１７０に出力する。具体的には、出力部２０７は、当該特徴領域情報が付帯された圧縮動画を、画像処理装置１７０に向けて通信ネットワーク１１０に送出する。   The compression unit 230 supplies the compressed moving image obtained by encoding by the encoding unit 246 to the association processing unit 206. The association processing unit 206 associates the feature area information acquired from the compression control unit 220 with the compressed moving image acquired from the compression unit 230. As an example, the association processing unit 206 associates information for identifying a plurality of moving image constituent images included in the compressed moving image, information for identifying the position of the feature region, and information for identifying the feature type of the feature region. The region information is attached to the compressed moving image. Then, the output unit 207 outputs the compressed moving image with the feature region information attached thereto to the image processing device 170. Specifically, the output unit 207 sends the compressed moving image with the feature region information attached thereto to the image processing apparatus 170 to the communication network 110.

図３は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、圧縮画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、および出力部３０４を備える。圧縮画像取得部３０１は、圧縮部２３０により圧縮された動画構成画像を複数含む圧縮動画を取得する。具体的には、圧縮画像取得部３０１は、特徴領域情報が付帯された圧縮動画を取得する。   FIG. 3 shows an example of a block configuration of the image processing apparatus 170. The image processing apparatus 170 includes a compressed image acquisition unit 301, a correspondence analysis unit 302, a decompression control unit 310, a decompression unit 320, and an output unit 304. The compressed image acquisition unit 301 acquires a compressed moving image including a plurality of moving image constituent images compressed by the compression unit 230. Specifically, the compressed image acquisition unit 301 acquires a compressed moving image with feature area information attached thereto.

そして、対応付け解析部３０２は、圧縮動画と当該圧縮動画に付帯された特徴領域情報とに分離して、圧縮動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部３１０に供給する。伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２３０が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。   Then, the association analysis unit 302 separates the compressed moving image and the feature area information attached to the compressed moving image, and supplies the compressed moving image to the decompressing unit 320. The association analysis unit 302 also analyzes the feature region information and supplies the feature region position and the feature type to the extension control unit 310. The decompression control unit 310 controls the decompression processing by the decompression unit 320 according to the position of the feature region and the feature type acquired from the association analysis unit 302. For example, the decompression control unit 310 decompresses each region of the moving image indicated by the compressed moving image to the decompressing unit 320 according to the compression method in which the compression unit 230 compresses each region of the moving image according to the position of the feature region and the type of feature. Let

以下に、圧縮画像取得部３０１が取得した圧縮された動画構成画像を部分領域毎に復号する伸張部３２０が有する各構成要素の動作を説明する。伸張部３２０は、復号器３３０、部分領域画像拡大部３２２、および合成部３２４を有する。   The operation of each component included in the decompression unit 320 that decodes the compressed moving image constituent image acquired by the compressed image acquisition unit 301 for each partial area will be described below. The decompression unit 320 includes a decoder 330, a partial area image enlargement unit 322, and a synthesis unit 324.

復号器３３０は、符号化された圧縮動画を復号する。例えば、復号器３３０は、圧縮動画に含まれる符号化された動画構成画像のそれぞれの部分領域（例えば、マクロブロック）毎に復号する。具体的には、復号器３３０は、復号部３３２、逆量子化部３３４、および逆変換部３３６を有する。   The decoder 330 decodes the encoded compressed moving image. For example, the decoder 330 decodes each partial region (for example, macroblock) of the encoded moving image constituent image included in the compressed moving image. Specifically, the decoder 330 includes a decoding unit 332, an inverse quantization unit 334, and an inverse transform unit 336.

復号部３３２は、符号化部２４６によって符号化された符号化データを復号して、量子化された空間周波数成分を抽出する。逆量子化部３３４は、量子化された空間周波数成分を逆量子化して、空間周波数成分を抽出する。逆変換部３３６は、空間周波数成分算出部２４２による空間周波数成分への変換の逆変換処理により、画素値を算出する。   The decoding unit 332 decodes the encoded data encoded by the encoding unit 246 and extracts quantized spatial frequency components. The inverse quantization unit 334 performs inverse quantization on the quantized spatial frequency component and extracts the spatial frequency component. The inverse conversion unit 336 calculates the pixel value by the inverse conversion process of the conversion to the spatial frequency component by the spatial frequency component calculation unit 242.

なお、上記のように、部分領域に含まれる複数の画素から選択された画素の画素値が符号化器２４０によって符号化されている領域のデータからは、当該選択された数の画素の画素値が復号器３３０から出力される。そこで、部分領域画像拡大部３２２は、出力された画素値が示す当該領域の画像を、所定サイズの部分領域の画像の大きさに拡大する。このように、部分領域画像拡大部３２２は、伸張部によって復号された部分領域の画像を、圧縮部２３０が圧縮に用いた画素数に応じた拡大率で拡大する。これにより、動画構成画像に含まれる各部分領域の画像が生成される。   As described above, the pixel values of the selected number of pixels are obtained from the data of the region in which the pixel values of the pixels selected from the plurality of pixels included in the partial region are encoded by the encoder 240. Is output from the decoder 330. Therefore, the partial area image enlargement unit 322 enlarges the image of the area indicated by the output pixel value to the size of the image of the partial area having a predetermined size. As described above, the partial region image enlargement unit 322 enlarges the partial region image decoded by the decompression unit at an enlargement rate corresponding to the number of pixels used by the compression unit 230 for compression. Thereby, an image of each partial area included in the moving image constituent image is generated.

そして、合成部３２４は、各部分領域の画像を合成することによって、１の動画構成画像を生成する。なお、合成部３２４は、参照符号化された部分領域の画像については、他の動画構成画像あるいは同じ動画構成画像における他の領域の画像から取得することができる。伸張部３２０は、圧縮動画を伸張することによって生成された動画構成画像を、出力部３０４に出力する。出力部３０４は、対応付け解析部３０２から取得した特徴領域情報および伸張により生成された動画構成画像を、表示装置１８０または画像ＤＢ１７５に出力する。なお、画像ＤＢ１７５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、動画構成画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。   The synthesizing unit 324 generates one moving image constituent image by synthesizing the images of the partial areas. The synthesizing unit 324 can obtain the reference-encoded partial region image from another moving image constituent image or an image of another region in the same moving image constituent image. The expansion unit 320 outputs the moving image constituent image generated by expanding the compressed moving image to the output unit 304. The output unit 304 outputs the feature region information acquired from the association analysis unit 302 and the moving image constituent image generated by the decompression to the display device 180 or the image DB 175. Note that the image DB 175 associates the position of the feature region indicated by the feature region information, the type of feature of the feature region, and the number of feature regions with the information for identifying the moving image constituent image, and stores it on a nonvolatile recording medium such as a hard disk. May be recorded.

以上説明した画像処理システム１０によると、特徴領域の特徴に応じて動画を高効率で圧縮することでデータ量を削減しつつ特徴領域の画質を保つことができる。なお、本実施形態における動画構成画像は、画像処理装置１２０および画像処理装置１７０が扱う画像の一例であってよい。すなわち、画像処理装置１２０は、動画のように複数の動画構成画像単位で圧縮すること以外に、画像を画像単位で圧縮することができる。そして、画像処理装置１７０は、画像単位で圧縮された圧縮画像を復号することができる。言うなれば、画像処理装置１２０および画像処理装置１７０は静止画を処理することができる。   According to the image processing system 10 described above, it is possible to maintain the image quality of the feature region while reducing the data amount by compressing the moving image with high efficiency according to the feature of the feature region. Note that the moving image constituent image in the present embodiment may be an example of an image handled by the image processing device 120 and the image processing device 170. That is, the image processing apparatus 120 can compress an image in units of images in addition to compressing in units of a plurality of moving image constituent images like a moving image. Then, the image processing apparatus 170 can decode the compressed image compressed in units of images. In other words, the image processing device 120 and the image processing device 170 can process a still image.

図４は、圧縮部２３０による圧縮処理の一例を示す。複数の動画構成画像４００ａ−ｉは、圧縮動画伸張部２０２によって伸張された動画構成画像を示す。ここでは、特徴領域検出部２０３は、動画構成画像４００ａ−ｉから、特徴領域として、移動体領域４１０ａ−ｉ、体部領域４２０ａ−ｉ、頭部領域４３０ａ−ｉを検出したとする。一例として、移動体領域４１０ａ−ｉは移動体１４０が撮像された領域を示しており、体部領域４２０ａ−ｉは人物１３０の体部が撮像された領域を示しており、頭部領域４３０ａ−ｉは人物１３０の頭部が撮像された領域を示す。なお、以下の説明では、動画構成画像４００ａ−ｉを動画構成画像４００、移動体領域４１０ａ−ｉを移動体領域４１０、体部領域４２０ａ−ｉを体部領域４２０、頭部領域４３０ａ−ｉを頭部領域４３０と総称する場合がある。   FIG. 4 shows an example of compression processing by the compression unit 230. A plurality of moving image composition images 400a-i indicate moving image composition images expanded by the compressed moving image expansion unit 202. Here, it is assumed that the feature region detection unit 203 detects the moving body region 410a-i, the body region 420a-i, and the head region 430a-i as the feature regions from the moving image configuration image 400a-i. As an example, the moving body area 410a-i indicates an area where the moving body 140 is imaged, the body part area 420a-i indicates an area where the body part of the person 130 is imaged, and the head area 430a- i indicates a region where the head of the person 130 is imaged. In the following description, the moving image composing image 400a-i is the moving image composing image 400, the moving body region 410a-i is the moving body region 410, the body part region 420a-i is the body part region 420, and the head region 430a-i is. The head region 430 may be collectively referred to.

動画構成画像選択部２３４は、移動体領域４１０の領域の画像を参照符号化する動画構成画像４００として、動画構成画像４００ｂ−ｄ、および、動画構成画像４００ｆ−ｈを選択する。また、動画構成画像選択部２３４は、体部領域４２０の領域の画像を参照符号化する動画構成画像４００として１つおきに動画構成画像４００を選択することによって、動画構成画像４００ｂ、動画構成画像４００ｄ、動画構成画像４００ｆ、および動画構成画像４００ｈを選択する。また、動画構成画像選択部２３４は、特徴領域以外の領域、すなわち本図の例において移動体領域４１０、頭部領域４３０、体部領域４２０のいずれにも該当しない領域（以後、当該領域のことを背景領域と総称する場合がある。）を参照符号化する動画構成画像４００として、動画構成画像４００ｂ−ｈを選択する。   The moving image constituent image selection unit 234 selects the moving image constituent images 400b-d and the moving image constituent images 400f-h as the moving image constituent images 400 that reference-encode the image of the moving body region 410. In addition, the moving image composition image selection unit 234 selects every other moving image composition image 400 as the moving image composition image 400 that performs reference encoding on the image of the body region 420, thereby moving the moving image composition image 400b and the moving image composition image. 400d, the moving image composition image 400f, and the moving image composition image 400h are selected. In addition, the moving image constituent image selection unit 234 is a region other than the feature region, that is, a region that does not correspond to any of the moving body region 410, the head region 430, and the body region 420 in the example of this figure (hereinafter, this region Are collectively referred to as a background region.) The moving image constituent images 400b-h are selected as the moving image constituent images 400 for reference encoding.

なお、動画構成画像４００において参照符号化される領域は、本図の斜線で図示されている。このように、圧縮部２３０は頭部領域４３０については参照符号化しない。なお、特徴領域の画像を参照符号化する動画構成画像４００として選択すべき動画構成画像４００の数の割合は、特徴領域の特徴の種類を識別する情報に対応づけて動画構成画像選択部２３４が予め記憶していてよい。また、背景領域の画像を参照符号化する動画構成画像４００として選択すべき動画構成画像４００の数の割合も、背景領域を示す情報に対応づけて動画構成画像選択部２３４が予め記憶してよい。   It should be noted that the region that is reference-coded in the moving image constituent image 400 is indicated by the oblique lines in this figure. Thus, the compression unit 230 does not perform reference encoding for the head region 430. It should be noted that the ratio of the number of moving image constituent images 400 to be selected as the moving image constituent images 400 to be reference-encoded for the feature region images is determined by the moving image constituent image selecting unit 234 in association with the information for identifying the feature type of the feature region. It may be stored in advance. Also, the moving image composition image selection unit 234 may store in advance the ratio of the number of moving image composition images 400 to be selected as the moving image composition image 400 to be reference-encoded for the background area image in association with the information indicating the background area. .

動画構成画像選択部２３４は、特徴領域の特徴の種類を識別する情報または背景領域を示す情報に対応づけて記憶している当該選択すべき動画構成画像４００の割合を取得して、取得した割合に基づいて参照符号化する動画構成画像４００として選択すべき動画構成画像４００の数を算出して、算出した数の動画構成画像４００を選択してよい。なお、上記割合は、動画構成画像４００の数に対する、当該数の動画構成画像４００の中から参照符号化する動画構成画像４００の数の比を示す情報であってよい。   The moving image constituent image selection unit 234 acquires the ratio of the moving image constituent image 400 to be selected that is stored in association with the information that identifies the type of feature in the feature area or the information that indicates the background area, and the acquired ratio The number of moving picture constituent images 400 to be selected as the moving picture constituent images 400 to be subjected to reference encoding may be calculated, and the calculated number of moving picture constituent images 400 may be selected. Note that the ratio may be information indicating the ratio of the number of moving image constituent images 400 to be reference-encoded from the number of moving image constituent images 400 to the number of moving image constituent images 400.

このようにして、動画構成画像選択部２３４は、複数の画像領域のそれぞれの重要度に応じて、異なる数の動画構成画像を参照符号化すべき動画構成画像として選択することができる。したがって、画像処理装置１２０は、複数の画像領域がそれぞれの重要度に応じた時間解像度で表示される１ストリームの圧縮動画を提供することができる。また、圧縮部２３０は、参照符号化する画像領域の動きベクトルを０ベクトルとしたり、当該画像領域に含まれるマクロブロックをスキップドマクロブロックとして扱ったり、参照すべき画像領域を指定する情報等で符号化したりすることによって、複数の画像領域がそれぞれの重要度に応じた時間解像度で表示される１ストリームの圧縮動画を生成するので、圧縮動画の符号量を著しく削減することができる。   In this way, the moving image constituent image selection unit 234 can select different numbers of moving image constituent images as moving image constituent images to be reference-encoded according to the importance of each of the plurality of image regions. Therefore, the image processing apparatus 120 can provide one stream of compressed moving images in which a plurality of image areas are displayed at a time resolution corresponding to each importance level. In addition, the compression unit 230 sets the motion vector of the image area to be encoded as a 0 vector, treats a macroblock included in the image area as a skipped macroblock, or designates an image area to be referred to. By encoding, one stream of compressed moving images in which a plurality of image areas are displayed at a time resolution corresponding to each importance level is generated, so that the code amount of the compressed moving images can be significantly reduced.

図５は、特徴領域近傍の背景領域の一例を示す。図５において、前方領域５１０は、動画構成画像４００ｅ−ｉによって示される部分動画において移動体領域４１０ｅが移動している領域を示す。後方領域５２０は、動画構成画像４００ａ−ｄによって示される部分動画において移動体領域４１０ｅが移動している領域を示す。図４で示されるように、動画構成画像４００ａ−ｉによって示される部分動画では、移動体領域４１０は画像上において左方向に移動している。したがって、移動体領域４１０ｅの移動方向に対して移動体領域４１０ｅの反対側に位置する後方領域５２０の画像は、動画構成画像４００ａに含まれていない。また、移動体領域４１０ｅより当該移動方向の側に位置する前方領域５１０の画像は、動画構成画像４００ｉに含まれていない。   FIG. 5 shows an example of a background area near the feature area. In FIG. 5, a front area 510 indicates an area where the moving body area 410 e is moving in the partial moving image indicated by the moving image composition image 400 e-i. The rear region 520 indicates a region where the moving body region 410e is moving in the partial moving image indicated by the moving image constituent images 400a-d. As shown in FIG. 4, in the partial moving image shown by the moving image constituent images 400a-i, the moving body region 410 moves leftward on the image. Therefore, the image of the rear region 520 located on the opposite side of the moving body region 410e with respect to the moving direction of the moving body region 410e is not included in the moving image constituent image 400a. In addition, the image of the front area 510 located on the moving direction side of the moving body area 410e is not included in the moving image constituent image 400i.

このように、前方領域５１０および後方領域５２０における画像は、参照符号化されない動画構成画像４００ａおよび動画構成画像４００ｉのうちの一方にしか含まれていない。したがって、前方領域５１０および後方領域５２０のように、移動体の背景となる画像領域を参照符号化する場合には、参照すべき動画構成画像４００を適切に選択しなければならない。   In this way, the images in the front area 510 and the rear area 520 are included only in one of the moving image constituent image 400a and the moving image constituent image 400i that are not subjected to reference encoding. Therefore, when the image area that is the background of the moving object, such as the front area 510 and the rear area 520, is to be reference-encoded, the moving image constituent image 400 to be referred to must be appropriately selected.

このような場合、圧縮部２３０は、動画構成画像４００ｉの画像情報を用いて表現する旨を示す符号または動画構成画像４００ｉの画像を用いて後方領域５２０が表現された動画構成画像４００の画像情報を用いて表現する旨を示す符号により、後方領域５２０の画像を符号化する。また、圧縮部２３０は、動画構成画像４００ａの画像を用いて表現する旨を示す符号、または動画構成画像４００ａの画像を用いて前方領域５１０が表現された動画構成画像４００の画像情報を用いて表現する旨を示す符号により、前方領域５１０の画像を符号化する。   In such a case, the compression unit 230 displays the image information of the moving image constituent image 400 in which the rear region 520 is expressed using the code indicating that the moving image constituent image 400i is used for the image information or the image of the moving image constituent image 400i. The image of the rear region 520 is encoded with a code indicating that the image is expressed using. Further, the compression unit 230 uses a code indicating that the moving image constituent image 400a is used for the expression or the image information of the moving image constituent image 400 in which the front area 510 is expressed using the image of the moving image constituent image 400a. The image of the front area 510 is encoded with a code indicating that it is expressed.

なお、圧縮部２３０は、後方領域５３０および前方領域５４０、ならびに、後方領域５５０および前方領域５６０についても、同様に処理することができる。つまり、圧縮部２３０は、後方領域５３０および後方領域５５０の画像を、後に表示される動画構成画像４００の画像情報を用いて表現する旨を示す符号、または、後に表示される動画構成画像４００の画像を用いて後方領域５３０および後方領域５５０が表現された動画構成画像４００の画像情報を用いて表現する旨を示す符号により符号化する。また、圧縮部２３０は、前方領域５４０および前方領域５６０の画像を、前に表示される動画構成画像４００の画像を用いて表現する旨を示す符号、または、前に表示される動画構成画像４００の画像を用いて前方領域５４０および前方領域５６０が表現された動画構成画像４００の画像情報を用いて表現する旨を示す符号により符号化する。   Note that the compression unit 230 can similarly process the rear region 530 and the front region 540 and the rear region 550 and the front region 560. That is, the compression unit 230 has a code indicating that the images of the rear region 530 and the rear region 550 are expressed using image information of the moving image constituent image 400 displayed later, or the moving image constituent image 400 displayed later. It encodes with the code | symbol which shows that it represents using the image information of the moving image structure image 400 by which the back area | region 530 and the back area | region 550 were expressed using the image. In addition, the compression unit 230 has a code indicating that the images of the front area 540 and the front area 560 are expressed using the image of the moving image constituent image 400 displayed before, or the moving image constituent image 400 displayed before. Is encoded with a code indicating that the front area 540 and the front area 560 are expressed using the image information of the moving image constituent image 400.

このように、圧縮部２３０は、特徴領域より移動方向が示す方向の位置にある特徴領域以外の領域に含まれる複数の部分領域の画像を、当該特徴領域が検出された動画構成画像より前に表示される少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現する。また、圧縮部２３０は、特徴領域より移動方向と反対方向の位置にある特徴領域以外の領域に含まれる複数の部分領域の画像を、当該特徴領域が検出された動画構成画像より後に表示される少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現する。なお、上記の前に表示される動画構成画像とは、前に撮像された動画構成画像であってよく、上記の後に表示される動画構成画像とは、後に撮像された動画構成画像であってよい。   As described above, the compression unit 230 displays an image of a plurality of partial regions included in a region other than the feature region located in the direction indicated by the movement direction from the feature region before the moving image constituent image in which the feature region is detected. This is expressed using image information of at least a part of a region of at least a part of the moving image constituent image to be displayed. In addition, the compression unit 230 displays an image of a plurality of partial regions included in a region other than the feature region at a position opposite to the moving direction from the feature region after the moving image constituent image in which the feature region is detected. This is expressed using image information of at least a part of a region of at least a part of the moving image constituent images. The moving image composition image displayed before the above may be a moving image composition image captured before, and the moving image composition image displayed after the above is a moving image composition image captured later. Good.

以上説明したように、圧縮部２３０は、特徴領域以外の領域に含まれる複数の部分領域の画像を、連続する複数の動画構成画像にわたる複数の特徴領域の位置の移動方向に基づいて選択された少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、圧縮動画を生成する。このように、圧縮部２３０は、移動体による移動領域の背景の領域を含む動画構成画像を適切に選択するので、移動体が撮像された動画を適切に符号化することができる。   As described above, the compression unit 230 has selected the images of the plurality of partial regions included in the region other than the feature region based on the moving directions of the positions of the plurality of feature regions over a plurality of continuous moving image constituent images. A compressed moving image is generated by expressing it using image information of at least a part of a region in at least a part of the moving image constituent images. As described above, the compression unit 230 appropriately selects the moving image constituent image including the background region of the moving region by the moving body, and thus can appropriately encode the moving image in which the moving body is imaged.

図６は、包含領域の一例を示す。包含領域特定部２１０は、動画構成画像４００ａ−ｉにおける部分動画において、移動体領域４１０の包含領域６１０、体部領域４２０の包含領域６２０、および頭部領域４３０の包含領域６３０を特定する。このように、包含領域特定部２１０は、複数の動画構成画像を含む部分動画において、特徴領域の特徴の種類毎に包含領域を特定する。なお、包含領域特定部２１０は、特徴領域の特徴の種類毎に、それぞれの特徴領域を含み、１以上のマクロブロックの集合より形成される領域を、包含領域として特定してよい。   FIG. 6 shows an example of the inclusion area. The inclusion region specifying unit 210 specifies the inclusion region 610 of the moving body region 410, the inclusion region 620 of the body region 420, and the inclusion region 630 of the head region 430 in the partial moving image in the moving image composition image 400a-i. As described above, the inclusion area specifying unit 210 specifies an inclusion area for each type of feature in the feature area in a partial movie including a plurality of movie composition images. The inclusion area specifying unit 210 may specify, as the inclusion area, an area formed by a set of one or more macroblocks including each feature area for each feature type of the feature area.

そして、圧縮部２３０は、圧縮制御部２２０による制御によって、動画構成画像４００ａ−ｉのそれぞれの包含領域６１０以外の領域を参照符号化する。なお、圧縮部２３０は、動画構成画像４００ａ−ｉのそれぞれの包含領域６１０については、参照符号化しない。このように、圧縮部２３０は、参照符号化する領域を、部分動画において移動体が移動しない領域に限定することで、参照符号化された領域に他の動画構成画像４００に含まれる移動体を示すオブジェクトが現れてしまうことを未然に防ぐことができる。なお、圧縮部２３０は、特徴領域の特徴の種類毎に特定した包含領域の画像を、特徴の種類に応じて予め定められた強度で圧縮してよい。   Then, under the control of the compression control unit 220, the compression unit 230 performs reference encoding on regions other than the respective inclusion regions 610 of the moving image constituent images 400a-i. Note that the compression unit 230 does not perform reference encoding on each inclusion region 610 of the moving image constituent images 400a-i. In this way, the compression unit 230 limits the area to be encoded to a region where the moving object does not move in the partial moving image, so that the moving object included in the other moving image constituent images 400 can be included in the reference encoded area. It is possible to prevent the object to be shown from appearing. Note that the compression unit 230 may compress the image of the inclusion area specified for each feature type of the feature area with a predetermined strength according to the feature type.

図７は、符号化器２４０が符号化する場合の処理単位である部分領域を示す。符号化器２４０は、１６画素×１６画素から形成される部分領域毎に、動画構成画像を符号化する。   FIG. 7 shows a partial region that is a processing unit when the encoder 240 performs encoding. The encoder 240 encodes a moving image constituent image for each partial region formed of 16 pixels × 16 pixels.

ここで、符号化器２４０が頭部領域４３０の画像を符号化する場合には、符号化器２４０は、圧縮制御部２２０による制御により、１６画素×１６画素のマクロブロックを符号化する動作モードで動作する。具体的には、画素選択部２３２は、頭部領域４３０に含まれる１６画素×１６画素の部分領域から全ての画素を選択して、その画素値を符号化器２４０に供給する。符号化器２４０は、画素選択部２３２から供給された１６画素×１６画素の画素値を用いて符号化する。より具体的には、空間周波数成分算出部２４２は、画素選択部２３２から供給された１６画素×１６画素の画素値を用いて離散コサイン変換する。そして、量子化部２４４は、空間周波数成分算出部２４２により算出された変換係数を量子化する。また、符号化部２４６は、量子化された値を、例えばハフマン符号化、算術符号化等のエントロピー符号化する。   Here, when the encoder 240 encodes the image of the head region 430, the encoder 240 encodes a macroblock of 16 pixels × 16 pixels under the control of the compression control unit 220. Works with. Specifically, the pixel selection unit 232 selects all the pixels from the partial region of 16 pixels × 16 pixels included in the head region 430 and supplies the pixel value to the encoder 240. The encoder 240 performs encoding using the pixel value of 16 pixels × 16 pixels supplied from the pixel selection unit 232. More specifically, the spatial frequency component calculation unit 242 performs discrete cosine transform using the pixel value of 16 pixels × 16 pixels supplied from the pixel selection unit 232. Then, the quantization unit 244 quantizes the transform coefficient calculated by the spatial frequency component calculation unit 242. Also, the encoding unit 246 performs entropy encoding such as Huffman encoding and arithmetic encoding on the quantized value.

一方、符号化器２４０が体部領域４２０の画像を符号化する場合には、符号化器２４０は、圧縮制御部２２０による制御により、８画素×８画素のマクロブロックを符号化する動作モードで動作する。具体的には、画素選択部２３２は、体部領域４２０に含まれる１６画素×１６画素の部分領域から８画素×８画素分の画素を選択して、その画素値を符号化器２４０に供給する。符号化器２４０は、画素選択部２３２から供給された８画素×８画素の画素値を用いて符号化する。   On the other hand, when the encoder 240 encodes the image of the body region 420, the encoder 240 is an operation mode in which a macroblock of 8 pixels × 8 pixels is encoded under the control of the compression control unit 220. Operate. Specifically, the pixel selection unit 232 selects 8 pixels × 8 pixels from the 16 pixels × 16 pixels partial region included in the body region 420 and supplies the pixel value to the encoder 240. To do. The encoder 240 performs encoding using the pixel value of 8 pixels × 8 pixels supplied from the pixel selection unit 232.

より具体的には、空間周波数成分算出部２４２は、画素選択部２３２から供給された８画素×８画素の画素値を用いて離散コサイン変換する。そして、量子化部２４４は、空間周波数成分算出部２４２により算出された変換係数を量子化する。また、符号化部２４６は、量子化された値を、例えばハフマン符号化、算術符号化等によりエントロピー符号化する。なお、符号化器２４０は、体部領域４２０に含まれる１６画素×１６画素の部分領域のうち、画素選択部２３２によって選択された８画素×８画素の画素以外の画素については符号化しない。   More specifically, the spatial frequency component calculation unit 242 performs discrete cosine transform using the pixel value of 8 pixels × 8 pixels supplied from the pixel selection unit 232. Then, the quantization unit 244 quantizes the transform coefficient calculated by the spatial frequency component calculation unit 242. In addition, the encoding unit 246 performs entropy encoding on the quantized value by, for example, Huffman encoding or arithmetic encoding. The encoder 240 does not encode pixels other than the 8 pixels × 8 pixels selected by the pixel selection unit 232 in the 16 pixels × 16 pixels partial region included in the body region 420.

同様に、符号化器２４０が移動体領域４１０の画像を符号化する場合には、符号化器２４０は、圧縮制御部２２０による制御により、４画素×４画素のマクロブロックを符号化する動作モードで動作する。具体的には、画素選択部２３２は、体部領域４２０に含まれる１６画素×１６画素の部分領域から４画素×４画素の画素を選択して、その画素値を符号化器２４０に供給する。符号化器２４０は、画素選択部２３２から供給された４画素×４画素の画素値を用いて符号化する。   Similarly, when the encoder 240 encodes the image of the moving object region 410, the encoder 240 encodes a 4 × 4 pixel macroblock under the control of the compression control unit 220. Works with. Specifically, the pixel selection unit 232 selects a pixel of 4 pixels × 4 pixels from a partial region of 16 pixels × 16 pixels included in the body region 420 and supplies the pixel value to the encoder 240. . The encoder 240 performs encoding using the pixel value of 4 pixels × 4 pixels supplied from the pixel selection unit 232.

より具体的には、空間周波数成分算出部２４２は、画素選択部２３２から供給された４画素×４画素の画素値を用いて離散コサイン変換する。そして、量子化部２４４は、空間周波数成分算出部２４２により算出された変換係数を量子化する。また、符号化部２４６は、量子化された値を、例えばハフマン符号化、算術符号化等によりエントロピー符号化する。なお、符号化器２４０は、移動体領域４１０に含まれる１６画素×１６画素の部分領域のうち、画素選択部２３２によって選択された４画素×４画素の画素以外の画素については符号化しない。   More specifically, the spatial frequency component calculation unit 242 performs discrete cosine transform using the pixel value of 4 pixels × 4 pixels supplied from the pixel selection unit 232. Then, the quantization unit 244 quantizes the transform coefficient calculated by the spatial frequency component calculation unit 242. In addition, the encoding unit 246 performs entropy encoding on the quantized value by, for example, Huffman encoding or arithmetic encoding. The encoder 240 does not encode pixels other than the 4 pixels × 4 pixels selected by the pixel selection unit 232 in the 16 pixels × 16 pixels partial region included in the moving body region 410.

また、符号化器２４０が背景領域の画像を符号化する場合には、符号化器２４０は、圧縮制御部２２０の制御により、２画素×２画素のマクロブロックを符号化する動作モードで動作する。具体的には、画素選択部２３２は、体部領域４２０に含まれる１６画素×１６画素の部分領域から２画素×２画素の画素を選択して、その画素値を符号化器２４０に供給する。符号化器２４０は、画素選択部２３２から供給された２画素×２画素の画素値を用いて符号化する。   When the encoder 240 encodes an image in the background area, the encoder 240 operates in an operation mode for encoding a macroblock of 2 pixels × 2 pixels under the control of the compression control unit 220. . Specifically, the pixel selection unit 232 selects a pixel of 2 pixels × 2 pixels from a partial region of 16 pixels × 16 pixels included in the body region 420 and supplies the pixel value to the encoder 240. . The encoder 240 performs encoding using the pixel value of 2 pixels × 2 pixels supplied from the pixel selection unit 232.

より具体的には、空間周波数成分算出部２４２は、画素選択部２３２から供給された２画素×２画素の画素値を用いて離散コサイン変換する。そして、量子化部２４４は、空間周波数成分算出部２４２により算出された変換係数を量子化する。また、符号化部２４６は、量子化された値を、例えばハフマン符号化、算術符号化等によりエントロピー符号化する。なお、符号化器２４０は、背景領域に含まれる１６画素×１６画素の部分領域のうち、画素選択部２３２によって選択された２画素×２画素の画素以外の画素については符号化しない。   More specifically, the spatial frequency component calculation unit 242 performs discrete cosine transform using the pixel value of 2 pixels × 2 pixels supplied from the pixel selection unit 232. Then, the quantization unit 244 quantizes the transform coefficient calculated by the spatial frequency component calculation unit 242. In addition, the encoding unit 246 performs entropy encoding on the quantized value by, for example, Huffman encoding or arithmetic encoding. The encoder 240 does not encode pixels other than the 2 pixels × 2 pixels selected by the pixel selection unit 232 in the 16 pixels × 16 pixels partial region included in the background region.

このように、圧縮制御部２２０は、特徴領域の特徴の種類または背景領域に応じて予め定められた画素数の画素ブロック（言い換えると、予め定められた大きさの画素ブロック）を符号化する動作モードに符号化器２４０を設定する。そして、画素選択部２３２は、当該予め定められた画素数の画素を、部分領域に含まれる複数の画素の中から選択して、符号化器２４０に供給する。したがって、符号化器２４０は、１の部分領域の画像を符号化する場合に、画素選択部２３２から供給された画素値、例えば画素選択部２３２によって間引かれた画素の画素値を用いて符号化すればよく、部分領域に含まれる他の画素値については符号化の演算対象としない。このため、符号化器２４０における演算量を著しく低減することができ、画像の符号化速度を著しく向上することができる。   In this way, the compression control unit 220 encodes a pixel block having a predetermined number of pixels (in other words, a pixel block having a predetermined size) according to the feature type or background region of the characteristic region. Set the encoder 240 to the mode. Then, the pixel selection unit 232 selects the pixel having the predetermined number of pixels from the plurality of pixels included in the partial region, and supplies the selected pixel to the encoder 240. Therefore, when encoding an image of one partial area, the encoder 240 performs encoding using the pixel value supplied from the pixel selection unit 232, for example, the pixel value of the pixels thinned out by the pixel selection unit 232. The other pixel values included in the partial area are not subject to encoding calculation. For this reason, the amount of calculation in the encoder 240 can be significantly reduced, and the encoding speed of the image can be significantly improved.

なお、画像処理装置１７０では、伸張制御部３１０は、特徴領域の特徴の種類または背景領域に応じて予め定められた画素数の画素ブロックを復号する動作モードに復号器３３０を設定する。そして、部分領域画像拡大部３２２は、復号器３３０から供給された画素値を拡大処理することによって、１の部分領域の画像を得る。このように、画像処理装置１２０および画像処理装置１７０では、特徴領域の特徴の種類または背景領域に応じて予め定められた画素数の画素に対して演算するので、演算量を著しく削減することができ、画像処理速度を著しく向上することができる。   Note that in the image processing apparatus 170, the expansion control unit 310 sets the decoder 330 to an operation mode in which a pixel block having a predetermined number of pixels is decoded according to the feature type of the feature region or the background region. Then, the partial area image enlargement unit 322 obtains an image of one partial area by enlarging the pixel value supplied from the decoder 330. As described above, in the image processing device 120 and the image processing device 170, the calculation amount is remarkably reduced because the calculation is performed on pixels having a predetermined number of pixels according to the feature type or the background region of the feature region. Image processing speed can be significantly improved.

図８は、他の実施形態に係わる画像処理システム２０の一例を示す。本実施形態における画像処理システム２０の構成は、撮像装置１００ａ−ｄがそれぞれ画像処理部８０４ａ−ｄ（以下、画像処理部８０４と総称する。）を有する点を除いて、図１で説明した画像処理システム１０の構成と同じとなっている。   FIG. 8 shows an example of an image processing system 20 according to another embodiment. The configuration of the image processing system 20 in the present embodiment is the image described with reference to FIG. 1 except that the imaging devices 100a-d have image processing units 804a-d (hereinafter collectively referred to as image processing units 804). The configuration of the processing system 10 is the same.

画像処理部８０４は、それぞれ画像処理部２００と同一の構成を有している。そして、画像処理部８０４に含まれる各構成要素の機能および動作は、画像処理部２００に含まれる各構成要素が圧縮動画伸張部２０２による伸張処理によって得られた撮像動画を処理することに替えて、撮像部１０２によって撮像された撮像動画を処理するという点を除いて、画像処理部２００に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム２０においても、図１から図７にかけて画像処理システム１０に関連して説明した効果と略同一の効果が得ることができる。   Each of the image processing units 804 has the same configuration as that of the image processing unit 200. The functions and operations of the constituent elements included in the image processing unit 804 are changed to that the constituent elements included in the image processing unit 200 process the captured moving image obtained by the decompression processing by the compressed moving image decompression unit 202. The functions and operations of each component included in the image processing unit 200 may be substantially the same except that the captured moving image captured by the imaging unit 102 is processed. Also in the image processing system 20 having such a configuration, substantially the same effect as that described in relation to the image processing system 10 from FIGS. 1 to 7 can be obtained.

図９は、画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。画像処理装置１２０および画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。   FIG. 9 shows an example of the hardware configuration of the image processing device 120 and the image processing device 170. The image processing device 120 and the image processing device 170 include a CPU peripheral unit, an input / output unit, and a legacy input / output unit. The CPU peripheral section includes a CPU 1505, a RAM 1520, a graphic controller 1575, and a display device 1580 that are connected to each other by a host controller 1582. The input / output unit includes a communication interface 1530, a hard disk drive 1540, and a CD-ROM drive 1560 that are connected to the host controller 1582 by the input / output controller 1584. The legacy input / output unit includes a ROM 1510, a flexible disk drive 1550, and an input / output chip 1570 connected to the input / output controller 1584.

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。   The host controller 1582 connects the RAM 1520, the CPU 1505 that accesses the RAM 1520 at a higher transfer rate, and the graphic controller 1575. The CPU 1505 operates according to the contents of programs stored in the ROM 1510 and the RAM 1520 to control each unit. The graphic controller 1575 acquires image data generated by the CPU 1505 or the like on a frame buffer provided in the RAM 1520 and displays the image data on the display device 1580. Alternatively, the graphic controller 1575 may include a frame buffer that stores image data generated by the CPU 1505 or the like.

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。   The input / output controller 1584 connects the host controller 1582 to the hard disk drive 1540, the communication interface 1530, and the CD-ROM drive 1560, which are relatively high-speed input / output devices. The hard disk drive 1540 stores programs and data used by the CPU 1505. The communication interface 1530 is connected to the network communication device 1598 to transmit / receive programs or data. The CD-ROM drive 1560 reads a program or data from the CD-ROM 1595 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520.

入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置１２０および画像処理装置１７０が起動するときに実行するブート・プログラム、あるいは画像処理装置１２０および画像処理装置１７０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。   The input / output controller 1584 is connected to the ROM 1510, the flexible disk drive 1550, and the relatively low-speed input / output device of the input / output chip 1570. The ROM 1510 stores a boot program that is executed when the image processing device 120 and the image processing device 170 are started, or a program that depends on the hardware of the image processing device 120 and the image processing device 170. The flexible disk drive 1550 reads a program or data from the flexible disk 1590 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520. The input / output chip 1570 connects various input / output devices via the flexible disk drive 1550 or a parallel port, serial port, keyboard port, mouse port, and the like.

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図７に関連して説明した画像処理装置１２０が有する各構成要素として機能させ、画像処理装置１７０を、図１から図７に関連して説明した、画像処理装置１７０が有する各構成要素として機能させる。   A program executed by the CPU 1505 is stored in a recording medium such as the flexible disk 1590, the CD-ROM 1595, or an IC card and provided by the user. The program stored in the recording medium may be compressed or uncompressed. The program is installed in the hard disk drive 1540 from the recording medium, read into the RAM 1520, and executed by the CPU 1505. The program executed by the CPU 1505 causes the image processing apparatus 120 to function as each component included in the image processing apparatus 120 described with reference to FIGS. 1 to 7, and causes the image processing apparatus 170 to function as illustrated in FIGS. 1 to 7. It is made to function as each component which image processing apparatus 170 which was explained related has.

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１２０および画像処理装置１７０に提供してもよい。このように、プログラムにより制御されるコンピュータが、画像処理装置１２０および画像処理装置１７０として機能する。   The program shown above may be stored in an external storage medium. As the storage medium, in addition to the flexible disk 1590 and the CD-ROM 1595, an optical recording medium such as a DVD or PD, a magneto-optical recording medium such as an MD, a tape medium, a semiconductor memory such as an IC card, or the like can be used. Further, a storage device such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet is used as a recording medium, and is provided to the image processing device 120 and the image processing device 170 as a program via the network. Also good. As described above, the computer controlled by the program functions as the image processing device 120 and the image processing device 170.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

一実施形態に係わる画像処理システム１０の一例を示す図である。1 is a diagram illustrating an example of an image processing system 10 according to an embodiment. 画像処理装置１２０のブロック構成の一例を示す図である。2 is a diagram illustrating an example of a block configuration of an image processing apparatus 120. FIG. 画像処理装置１７０のブロック構成の一例を示す図である。2 is a diagram illustrating an example of a block configuration of an image processing apparatus 170. FIG. 圧縮部２３０による圧縮処理の一例を示す図である。It is a figure which shows an example of the compression process by the compression part 230. FIG. 特徴領域近傍の背景領域の一例を示す図である。It is a figure which shows an example of the background area | region of the feature area vicinity. 包含領域の一例を示す図である。It is a figure which shows an example of an inclusion area | region. 符号化器２４０が符号化する処理単位である部分領域を示す図である。It is a figure which shows the partial area | region which is a process unit encoded by the encoder. 他の実施形態に係わる画像処理システム２０の一例を示す図である。It is a figure which shows an example of the image processing system 20 concerning other embodiment. 画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す図である。2 is a diagram illustrating an example of a hardware configuration of an image processing device 120 and an image processing device 170. FIG.

符号の説明Explanation of symbols

１０ 画像処理システム
２０ 画像処理システム
１００ 撮像装置
１０２ 撮像部
１０４ 撮像動画圧縮部
１１０ 通信ネットワーク
１２０ 画像処理装置
１３０ 人物
１４０ 移動体
１５０ 監視対象空間
１６０ 空間
１７０ 画像処理装置
１７５ 画像ＤＢ
１８０ 表示装置
２００ 画像処理部
２０１ 圧縮動画取得部
２０２ 圧縮動画伸張部
２０３ 特徴領域検出部
２０６ 対応付け処理部
２０７ 出力部
２１０ 包含領域特定部
２２０ 圧縮制御部
２３０ 圧縮部
２３２ 画素選択部
２３４ 動画構成画像選択部
２４０ 符号化器
２４２ 空間周波数成分算出部
２４４ 量子化部
２４６ 符号化部
３０１ 圧縮画像取得部
３０２ 対応付け解析部
３０４ 出力部
３１０ 伸張制御部
３２０ 伸張部
３２２ 部分領域画像拡大部
３２４ 合成部
３３０ 復号器
３３２ 復号部
３３４ 逆量子化部
３３６ 逆変換部
４００ 動画構成画像
４１０ 移動体領域
４２０ 体部領域
４３０ 頭部領域
５１０ 前方領域
５２０ 後方領域
５３０ 後方領域
５４０ 前方領域
５５０ 後方領域
５６０ 前方領域
６１０ 包含領域
６２０ 包含領域
６３０ 包含領域
８０４ 画像処理部
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置 DESCRIPTION OF SYMBOLS 10 Image processing system 20 Image processing system 100 Image pick-up apparatus 102 Image pick-up part 104 Image pick-up moving picture compression part 110 Communication network 120 Image processing apparatus 130 Person 140 Mobile body 150 Monitoring object space 160 Space 170 Image processing apparatus 175 Image DB
180 Display device 200 Image processing unit 201 Compressed moving image acquisition unit 202 Compressed moving image decompression unit 203 Characteristic region detection unit 206 Association processing unit 207 Output unit 210 Inclusion region specifying unit 220 Compression control unit 230 Compression unit 232 Pixel selection unit 234 Video component image Selection unit 240 Encoder 242 Spatial frequency component calculation unit 244 Quantization unit 246 Encoding unit 301 Compressed image acquisition unit 302 Association analysis unit 304 Output unit 310 Decompression control unit 320 Decompression unit 322 Partial region image enlargement unit 324 Synthesis unit 330 Decoder 332 Decoding unit 334 Inverse quantization unit 336 Inverse conversion unit 400 Moving image constituent image 410 Moving body region 420 Body region 430 Head region 510 Front region 520 Rear region 530 Front region 550 Rear region 560 Front region 610 Included Area 620 Inclusion area 630 Inclusion area 80 4 Image processing unit 1505 CPU
1510 ROM
1520 RAM
1530 Communication interface 1540 Hard disk drive 1550 Flexible disk drive 1560 CD-ROM drive 1570 Input / output chip 1575 Graphic controller 1580 Display device 1582 Host controller 1584 Input / output controller 1590 Flexible disk 1595 CD-ROM
1598 Network communication device

Claims (19)

複数の動画構成画像を含む動画から特徴領域を検出する特徴領域検出部と、
前記動画構成画像における前記特徴領域の画像より前記特徴領域以外の領域の画像を、より多くの前記動画構成画像において、前記複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、前記動画を圧縮した圧縮動画を生成する圧縮部と
を備える画像処理装置。 A feature region detection unit for detecting a feature region from a movie including a plurality of movie composition images;
The image of the area other than the feature area than the image of the feature area in the moving picture constituent image, and at least a part of the moving picture constituent image of at least a part of the plurality of moving picture constituent images in the moving picture constituent image An image processing apparatus comprising: a compression unit that generates a compressed moving image obtained by compressing the moving image by expressing the image information. 前記圧縮部は、前記特徴領域以外の領域の画像を、当該特徴領域が検出された動画構成画像以外の動画構成画像における少なくとも一部の領域の画像情報を用いて表現する
請求項１に記載の画像処理装置。 The said compression part expresses the image of the area | regions other than the said characteristic area using the image information of the at least one part area | region in moving image structure images other than the moving image structure image from which the said characteristic area was detected. Image processing device. 前記圧縮部は、前記特徴領域以外の領域の画像を、当該特徴領域が検出された動画構成画像以外の動画構成画像における少なくとも一部の領域の画像情報で表現することで、前記特徴領域以外の領域が前記特徴領域より低い時間分解で表示される前記圧縮動画を生成する
請求項２に記載の画像処理装置。 The compression unit expresses an image of a region other than the feature region with image information of at least a part of the moving image constituent image other than the moving image constituent image in which the characteristic region is detected, thereby The image processing apparatus according to claim 2, wherein the compressed moving image is generated in which a region is displayed with a time resolution lower than that of the feature region. 前記特徴領域検出部は、前記動画において移動するオブジェクトを含む領域を前記特徴領域として検出する
請求項３に記載の画像処理装置。 The image processing apparatus according to claim 3, wherein the feature region detection unit detects a region including an object moving in the moving image as the feature region. 前記特徴領域検出部は、他の動画構成画像との間における位置の差が予め定められた値より大きいオブジェクトを含む領域を、前記特徴領域として検出する
請求項４に記載の画像処理装置。 The image processing apparatus according to claim 4, wherein the feature region detection unit detects, as the feature region, a region including an object whose position difference from another moving image constituent image is larger than a predetermined value. 前記圧縮部は、前記動画構成画像に含まれる予め定められた複数の部分領域毎に画像を圧縮することにより、前記圧縮動画を生成する
請求項５に記載の画像処理装置。 The image processing apparatus according to claim 5, wherein the compression unit generates the compressed moving image by compressing an image for each of a plurality of predetermined partial areas included in the moving image constituent image. 前記圧縮部は、前記特徴領域以外の領域に含まれる複数の前記部分領域のそれぞれの画像を、前記少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、前記圧縮動画を生成する
請求項６に記載の画像処理装置。 The compression unit expresses each image of the plurality of partial regions included in a region other than the feature region by using image information of at least a part of the at least part of the moving image constituent images, The image processing apparatus according to claim 6, wherein the compressed moving image is generated. 前記圧縮部は、前記特徴領域以外の領域に含まれる複数の部分領域のそれぞれの画像を、０ベクトルの動きベクトルで表現することにより、前記圧縮動画を生成する
請求項７に記載の画像処理装置。 The image processing device according to claim 7, wherein the compression unit generates the compressed moving image by expressing each image of a plurality of partial regions included in a region other than the feature region by a motion vector of 0 vector. . 前記圧縮部は、前記特徴領域以外の領域に含まれる複数の前記部分領域のそれぞれの画像を、０ベクトルの動きベクトルおよび予測画像との間の差分値として０の差分値で表現することにより、前記圧縮動画を生成する
請求項８に記載の画像処理装置。 The compression unit expresses each image of the plurality of partial regions included in the region other than the feature region by a difference value of 0 as a difference value between a motion vector of a 0 vector and a predicted image, The image processing apparatus according to claim 8, wherein the compressed moving image is generated. 前記特徴領域検出部は、連続する複数の動画構成画像のそれぞれにおける前記特徴領域を検出し、
前記画像処理装置は、
前記特徴領域検出部が検出した前記連続する複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する包含領域を特定する包含領域特定部
をさらに備え、
前記圧縮部は、前記連続する複数の動画構成画像における１以上の動画構成画像における前記包含領域以外の領域に含まれる複数の前記部分領域のそれぞれの画像を、前記少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、前記圧縮動画を生成する
請求項７に記載の画像処理装置。 The feature region detection unit detects the feature region in each of a plurality of continuous video composition images,
The image processing apparatus includes:
An inclusion region specifying unit for specifying an inclusion region including a plurality of feature regions in each of the plurality of continuous moving image constituent images detected by the feature region detection unit;
The compression unit may include images of the plurality of partial areas included in regions other than the inclusion region in one or more moving image constituent images in the plurality of continuous moving image constituent images in the at least some moving image constituent images. The image processing apparatus according to claim 7, wherein the compressed moving image is generated by expressing using image information of at least a partial region. 前記包含領域特定部は、前記複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する前記部分領域の集合領域を、前記包含領域として特定する
請求項１０に記載の画像処理装置。 The image processing apparatus according to claim 10, wherein the inclusion area specifying unit specifies a collection area of the partial areas including a plurality of feature areas in each of the plurality of moving image constituent images as the inclusion area. 前記圧縮部は、予め定められた数の動画構成画像により形成される部分動画毎に前記動画を圧縮することにより、前記圧縮動画を生成し、
前記連続する複数の動画構成画像は、同一の前記部分動画に含まれる
請求項１１に記載の画像処理装置。 The compression unit generates the compressed moving image by compressing the moving image for each partial moving image formed by a predetermined number of moving image constituent images,
The image processing apparatus according to claim 11, wherein the plurality of continuous moving image constituent images are included in the same partial moving image. 前記圧縮部は、前記特徴領域以外の領域に含まれる複数の前記部分領域の画像を、連続する前記複数の動画構成画像にわたる前記複数の特徴領域の位置の移動方向に基づいて選択された前記少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、前記圧縮動画を生成する
請求項７に記載の画像処理装置。 The compression unit selects at least the images of the plurality of partial regions included in the region other than the feature region based on the moving direction of the positions of the plurality of feature regions over the plurality of continuous moving image constituent images. The image processing apparatus according to claim 7, wherein the compressed moving image is generated by expressing using image information of at least a part of a region of a part of moving image constituent images. 前記圧縮部は、前記特徴領域より前記移動方向が示す方向の位置にある前記特徴領域以外の領域に含まれる複数の前記部分領域の画像を、当該特徴領域が検出された動画構成画像より前に表示される前記少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現する
請求項１３に記載の画像処理装置。 The compression unit includes a plurality of partial region images included in a region other than the feature region at a position in the direction indicated by the moving direction from the feature region before the moving image constituent image in which the feature region is detected. The image processing device according to claim 13, wherein the image processing device is expressed using image information of at least a part of the displayed at least part of the moving image constituent images. 前記圧縮部は、前記特徴領域より前記移動方向と反対方向の位置にある前記特徴領域以外の領域に含まれる複数の前記部分領域の画像を、当該特徴領域が検出された動画構成画像より後に表示される前記少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現する
請求項１３に記載の画像処理装置。 The compression unit displays a plurality of partial region images included in a region other than the feature region at a position opposite to the moving direction from the feature region after the moving image constituent image in which the feature region is detected. The image processing apparatus according to claim 13, wherein the image processing device is expressed using image information of at least a part of the at least part of the moving image constituent images. 前記特徴領域検出部は、前記動画から特徴の種類が異なる前記複数の特徴領域を検出し、
前記圧縮部はさらに、前記特徴の種類に応じて予め定められた数の動画構成画像における前記複数の特徴領域の画像を、当該特徴領域が検出された動画構成画像以外の動画構成画像における少なくとも一部の領域の画像情報で表現することで、前記複数の特徴領域のそれぞれが前記特徴の種類に応じて予め定められた時間分解で表示される前記圧縮動画を生成する
請求項１４に記載の画像処理装置。 The feature region detection unit detects the plurality of feature regions having different types of features from the moving image,
The compression unit further selects at least one of the plurality of feature areas in a predetermined number of the moving picture constituent images according to the type of the feature in the moving picture constituent images other than the moving picture constituent image in which the characteristic region is detected. The image according to claim 14, wherein the compressed moving image is generated in which each of the plurality of feature areas is displayed with a predetermined time resolution according to the type of the feature by expressing the image with image information of a part area. Processing equipment. 前記圧縮部は、前記特徴領域以外の領域の画像を、当該特徴領域が検出された動画構成画像における他の領域の画像情報を用いて表現することにより、前記圧縮動画を生成する
請求項１に記載の画像処理装置。 The said compression part produces | generates the said compressed moving image by expressing the image of area | regions other than the said characteristic area using the image information of the other area | region in the moving image structure image from which the said characteristic area was detected. The image processing apparatus described. 複数の動画構成画像を含む動画から特徴領域を検出する特徴領域検出段階と、
前記動画構成画像における前記特徴領域の画像より前記特徴領域以外の領域の画像を、より多くの前記動画構成画像において、前記複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、前記動画を圧縮した圧縮動画を生成する圧縮段階と
を備える画像処理方法。 A feature region detection stage for detecting a feature region from a movie including a plurality of movie composition images;
The image of the area other than the feature area than the image of the feature area in the moving picture constituent image, and at least a part of the moving picture constituent image of at least a part of the plurality of moving picture constituent images in the moving picture constituent image An image processing method comprising: a compression step of generating a compressed moving image obtained by compressing the moving image by expressing using the image information. 画像処理装置用のプログラムであって、コンピュータを、
複数の動画構成画像を含む動画から特徴領域を検出する特徴領域検出部、
前記動画構成画像における前記特徴領域の画像より前記特徴領域以外の領域の画像を、より多くの前記動画構成画像において、前記複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、前記動画を圧縮した圧縮動画を生成する圧縮部
として機能させるプログラム。 A program for an image processing apparatus, comprising:
A feature region detection unit for detecting a feature region from a movie including a plurality of movie composition images;
The image of the area other than the feature area than the image of the feature area in the moving picture constituent image, and at least a part of the moving picture constituent image of at least a part of the plurality of moving picture constituent images in the moving picture constituent image A program that functions as a compression unit that generates a compressed moving image by compressing the moving image by expressing the image information.
JP2008097972A 2008-04-04 2008-04-04 Image processing apparatus, image processing method, and program Ceased JP2009253581A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008097972A JP2009253581A (en) 2008-04-04 2008-04-04 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008097972A JP2009253581A (en) 2008-04-04 2008-04-04 Image processing apparatus, image processing method, and program

Publications (1)

Publication Number Publication Date
JP2009253581A true JP2009253581A (en) 2009-10-29

Family

ID=41313836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008097972A Ceased JP2009253581A (en) 2008-04-04 2008-04-04 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP2009253581A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011055490A1 (en) 2009-11-05 2011-05-12 日本電気株式会社 Distribution system
JP2016111694A (en) * 2014-12-03 2016-06-20 アクシス アーベー Method and encoder for video encoding of sequence of frames

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0537786A (en) * 1991-07-26 1993-02-12 Sony Corp Picture data encoder and decoder
JPH06197331A (en) * 1992-12-25 1994-07-15 Nec Corp Frame interpolation system for animation picture
JPH07222145A (en) * 1994-01-31 1995-08-18 Mitsubishi Electric Corp Picture encoding device
JP2006101075A (en) * 2004-09-29 2006-04-13 Sanyo Electric Co Ltd Image compression apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0537786A (en) * 1991-07-26 1993-02-12 Sony Corp Picture data encoder and decoder
JPH06197331A (en) * 1992-12-25 1994-07-15 Nec Corp Frame interpolation system for animation picture
JPH07222145A (en) * 1994-01-31 1995-08-18 Mitsubishi Electric Corp Picture encoding device
JP2006101075A (en) * 2004-09-29 2006-04-13 Sanyo Electric Co Ltd Image compression apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011055490A1 (en) 2009-11-05 2011-05-12 日本電気株式会社 Distribution system
JP2016111694A (en) * 2014-12-03 2016-06-20 アクシス アーベー Method and encoder for video encoding of sequence of frames
US9936217B2 (en) 2014-12-03 2018-04-03 Axis Ab Method and encoder for video encoding of a sequence of frames

Similar Documents

Publication Publication Date Title
TWI436286B (en) Method and apparatus for decoding image
JP5181294B2 (en) Imaging system, imaging method, and program
JP2005333622A (en) Predictive reversible encoding of image and video
JP5195032B2 (en) Encoding device / decoding device, encoding method / decoding method, and program
JP5256496B2 (en) Image processing system, image processing method, and program
JP5082134B2 (en) Image processing apparatus, image processing method, and program
JP5156982B2 (en) Image processing system, image processing method, and program
JP2009253581A (en) Image processing apparatus, image processing method, and program
JP4895041B2 (en) Image processing apparatus, image processing method, and program
JP5117424B2 (en) Image processing system, image processing method, and program
JP4817263B2 (en) Image processing apparatus, image processing method, and program
JP2006129248A (en) Image encoding and decoding method and apparatus thereof
JP4749508B2 (en) Image decoding method
JP4817262B2 (en) Image processing apparatus, image processing method, and program
JP4415186B2 (en) Moving picture coding apparatus, moving picture decoding apparatus, codec apparatus, and program
JP4873488B2 (en) Image processing apparatus, image processing method, and program
JP3854717B2 (en) Decoding apparatus and method
JP4667423B2 (en) Image decoding device
JP2009253742A (en) Image processing system, image processing method, and program
JP4667424B2 (en) Image decoding device
JP5082141B2 (en) Image processing system, image processing method, and program
JP4905723B2 (en) Image processing system, image processing method, and program
JP5034116B2 (en) Image processing system, image processing method, and program
JP2001285878A (en) Method and device for analyzing dynamic image
JP2001008039A (en) Image processor and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121015

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A045 Written measure of dismissal of application

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20130730