JP2006115380A - Image processor and processing method - Google Patents
Image processor and processing method Download PDFInfo
- Publication number
- JP2006115380A JP2006115380A JP2004302676A JP2004302676A JP2006115380A JP 2006115380 A JP2006115380 A JP 2006115380A JP 2004302676 A JP2004302676 A JP 2004302676A JP 2004302676 A JP2004302676 A JP 2004302676A JP 2006115380 A JP2006115380 A JP 2006115380A
- Authority
- JP
- Japan
- Prior art keywords
- information
- intensity
- image
- basic pattern
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 239000002245 particle Substances 0.000 claims abstract description 85
- 238000000605 extraction Methods 0.000 claims description 51
- 238000009826 distribution Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 239000006185 dispersion Substances 0.000 description 6
- 238000010606 normalization Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/253—Picture signal generating by scanning motion picture films or slide opaques, e.g. for telecine
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
この発明は、例えばフィルム画像をMPEG-4 AVC(またはH.264)符号化を用いて符号化す
る場合に対して適用される画像処理装置および処理方法に関する。
The present invention relates to an image processing apparatus and a processing method applied to, for example, a case where a film image is encoded using MPEG-4 AVC (or H.264) encoding.
従来の画像伝送受信、または画像記録再生装置（以下、両者を単に画像伝送装置と総称する。）について、図１を参照して説明する。まず、入力画像１１が画像符号化装置１２で符号化され、符号化情報は伝送系に応じて、無線・有線伝送路１３または蓄積メディア１４に送出または記録される。受信再生側では得られたデータが画像復号装置１５によって復号され、復号画像１６が得られる。 A conventional image transmission receiving or image recording / reproducing apparatus (hereinafter, both are simply referred to as an image transmission apparatus) will be described with reference to FIG. First, the input image 11 is encoded by the image encoding device 12, and the encoded information is transmitted or recorded to the wireless / wired transmission path 13 or the storage medium 14 according to the transmission system. On the reception / playback side, the obtained data is decoded by the image decoding device 15 to obtain a decoded image 16.
画像符号化装置１２において、入力画像データが数分の一から数十分の一にそのデータ量を削減された後に送信または記録される。例えばMPEG-4 AVC(またはH.264)符号化によ
って画像データを１．５Ｍbpsの伝送レートまで低くできる。このような符号化を行って
いるために、復号側で得られる復号画像１６と入力画像１１の違いは人間によって劣化として認識される。
In the image encoding device 12, the input image data is transmitted or recorded after the amount of data is reduced to a fraction to a fraction of a tenth. For example, image data can be lowered to a transmission rate of 1.5 Mbps by MPEG-4 AVC (or H.264) encoding. Since such encoding is performed, the difference between the decoded image 16 obtained on the decoding side and the input image 11 is recognized as degradation by humans.
従来の画像伝送装置においては送信または記録時に入力画像データ量の削減を行う。一般的にMPEG-4 AVC(またはH.264)符号化などの画像符号化規格においては人間の視覚にと
って顕著な劣化無しに効率的にデータ量を削減する方式が規定されている。しかしながら、限られた伝送帯域幅や記憶容量の下では画像のディテール情報が大幅に損なわれる。特に映画のようなフィルム画像を伝送または記録する場合は、映画の質感の多くを表現しているフィルム粒子情報が失われるために得られる復号画像の質が著しく劣化する。
In a conventional image transmission apparatus, the amount of input image data is reduced during transmission or recording. In general, an image coding standard such as MPEG-4 AVC (or H.264) coding defines a method for efficiently reducing the amount of data without significant degradation for human vision. However, under limited transmission bandwidth and storage capacity, image detail information is greatly impaired. Especially when a film image such as a movie is transmitted or recorded, the quality of the decoded image obtained is significantly deteriorated because the film grain information expressing much of the texture of the movie is lost.
図２Ａは、入力画像１１として適用されるフィルム画像の一例を示し、図２Ｂは、復号画像１６の一例を示す。図２から分かるように、入力画像２１ではフィルムの質感として検知されるフィルム粒子が知覚できるにも関わらず、復号画像２２ではそのフィルム粒子情報がほとんど失われてのっぺりした画像となっている。このようにフィルム粒子が失われるために、フィルムの質感を感じることができない問題が生じる。 FIG. 2A shows an example of a film image applied as the input image 11, and FIG. 2B shows an example of the decoded image 16. As can be seen from FIG. 2, although the film image detected as the texture of the film can be perceived in the input image 21, the decoded image 22 is a lost image with almost no film particle information lost. Since film particles are lost in this way, there arises a problem that the texture of the film cannot be felt.
従来では、スキャナで取り込んだ画像のノイズを抑制し、シャープネスを強調することが下記の特許文献１に記載されている。 Conventionally, Patent Document 1 below describes that noise in an image captured by a scanner is suppressed and sharpness is enhanced.
かかる特許文献１に記載のものは、フィルム画像に特有の粒状ノイズを抑制するものであり、高能率符号化による符号化のために失われたフィルム画像の質感を復号側で改善するものではない。 The one described in Patent Document 1 suppresses granular noise peculiar to a film image, and does not improve the texture of a film image lost due to encoding by high-efficiency encoding on the decoding side. .
従って、この発明の目的は、復号側においてフィルム粒子情報の喪失がほとんど感知されず、入力画像におけるフィルムの質感は保つことができ、結果として大幅な画質の改善を可能とする画像処理装置および処理方法を提供することにある。 Accordingly, an object of the present invention is to provide an image processing apparatus and a processing which can hardly detect the loss of film grain information on the decoding side, can maintain the texture of the film in the input image, and can greatly improve the image quality as a result. It is to provide a method.
上述した課題を解決するために、この発明の第１の態様は、入力画像信号を高能率符号化する画像処理装置において、
入力画像中で急峻な変化を含まない領域を検出する領域検出手段と、
領域検出手段により検出された領域内の画素値のレベル分布を示す基本パターン情報を抽出する第１の抽出手段と、
付加すべきフィルム粒子の強度を表す強度情報を求める第２の抽出手段と、
符号化データと基本パターン情報と強度情報とを伝送または記録する手段と
からなることを特徴とする画像処理装置である。また、この発明は、上述した符号化側の装置の処理を実現する符号化側の画像処理方法である。
In order to solve the above-described problem, a first aspect of the present invention provides an image processing apparatus that performs high-efficiency encoding of an input image signal.
An area detecting means for detecting an area that does not include a steep change in the input image;
First extraction means for extracting basic pattern information indicating a level distribution of pixel values in an area detected by the area detection means;
A second extraction means for obtaining intensity information representing the intensity of film particles to be added;
An image processing apparatus comprising means for transmitting or recording encoded data, basic pattern information, and intensity information. The present invention also provides an image processing method on the encoding side that realizes the processing of the above-described encoding device.
この発明の第２の態様は、高能率符号化された符号化データと、入力画像中で急峻な変化を含まない領域内の画素値のレベル分布を示す基本パターン情報と、フィルム粒子を付加すべき程度を表す強度情報とを受信または再生する画像処理装置であって、
符号化データを復号する復号手段と、
ランダムノイズのレベル分布を基本パターン情報に示されるレベル分布と同様のものに変換してフィルム粒子画像を再構成する基本パターン生成手段と、
強度情報によってフィルム粒子画像の強度を調整する強度調整手段と、
強度が調整されたフィルム粒子画像を復号手段により得られた復号画像情報に付加する付加手段と
からなる画像処理装置である。また、この発明は、上述した復号側の装置の処理を実現する復号側の画像処理方法である。
According to a second aspect of the present invention, encoded data that has been encoded with high efficiency, basic pattern information indicating a level distribution of pixel values in a region that does not include a steep change in an input image, and film particles are added. An image processing apparatus that receives or reproduces intensity information representing a power level,
Decoding means for decoding the encoded data;
A basic pattern generating means for reconstructing a film grain image by converting the random noise level distribution into the same level distribution as shown in the basic pattern information;
Intensity adjusting means for adjusting the intensity of the film particle image according to the intensity information;
An image processing apparatus comprising: an adding unit that adds a film particle image having an adjusted intensity to decoded image information obtained by the decoding unit. The present invention is also a decoding-side image processing method that realizes the processing of the decoding-side device described above.
この発明は、入力画像信号を高能率符号化し、符号化データを伝送または記録し、受信または再生された符号化データを復号する画像処理装置において、
符号化側に、
入力画像中で急峻な変化を含まない領域を検出する領域検出手段と、
領域検出手段により検出された領域内の画素値のレベル分布を示す基本パターン情報を抽出する第１の抽出手段と、
付加すべきフィルム粒子の強度を表す強度情報を求める第２の抽出手段と、
符号化データと基本パターン情報と強度情報とを伝送または記録する手段と
を設け、
復号側に、
符号化データと、基本パターン情報と、強度情報とを受信または再生する手段と、
ランダムノイズのレベル分布を基本パターン情報に示されるレベル分布と同様のものに変換してフィルム粒子画像を再構成する基本パターン生成手段と、
強度情報によってフィルム粒子画像の強度を調整する強度調整手段と、
強度が調整されたフィルム粒子画像を復号手段により得られた復号画像情報に付加する付加手段と
を設けた画像処理装置である。また、この発明は、上述した符号化側および復号側の装置の処理を実現する符号化側および復号側の画像処理方法である。
The present invention provides an image processing apparatus that performs high-efficiency encoding on an input image signal, transmits or records encoded data, and decodes received or reproduced encoded data.
On the encoding side,
An area detecting means for detecting an area that does not include a steep change in the input image;
First extraction means for extracting basic pattern information indicating a level distribution of pixel values in an area detected by the area detection means;
A second extraction means for obtaining intensity information representing the intensity of film particles to be added;
Means for transmitting or recording encoded data, basic pattern information, and intensity information;
On the decryption side,
Means for receiving or reproducing encoded data, basic pattern information, and intensity information;
A basic pattern generating means for reconstructing a film grain image by converting the random noise level distribution into the same level distribution as shown in the basic pattern information;
Intensity adjusting means for adjusting the intensity of the film particle image according to the intensity information;
An image processing apparatus provided with an adding means for adding the film grain image whose intensity has been adjusted to the decoded image information obtained by the decoding means. The present invention also relates to an encoding-side and decoding-side image processing method that realizes the processing of the encoding-side and decoding-side devices described above.
この発明によれば、復号側で失われるフィルム粒子情報を符号化側で予め効率よく抽出した上で復号側に伝送し、または、記録メディアに対して記録し、復号側では得られた情報から画像に付加するべきフィルム粒子情報を再構成して復号画像に付加することにより、フィルムの質感を復号画像に与え、結果として大幅な画質の改善を行うことを可能とする。 According to the present invention, the film grain information lost on the decoding side is efficiently extracted in advance on the encoding side and then transmitted to the decoding side, or recorded on the recording medium, and the information obtained on the decoding side is obtained. By reconstructing the film grain information to be added to the image and adding it to the decoded image, the texture of the film is given to the decoded image, and as a result, the image quality can be greatly improved.
以下、この発明の一実施形態について図面を参照して説明する。図３は、この発明による画像伝送装置を示す。先ず符号化側について説明する。入力画像３１が画像符号化装置３２で高能率符号化され、データ量が圧縮された符号化情報３４が生成される。符号化情報３４は、伝送系に応じて、無線・有線伝送路３６に送出され、またはＤＶＤ(Digital Versatile Disc)等の蓄積メディア３７に記録される。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 3 shows an image transmission apparatus according to the present invention. First, the encoding side will be described. The input image 31 is high-efficiency encoded by the image encoding device 32, and encoded information 34 in which the data amount is compressed is generated. The encoded information 34 is sent to a wireless / wired transmission path 36 or recorded on a storage medium 37 such as a DVD (Digital Versatile Disc) according to the transmission system.
参照符号３３がフィルム粒子情報抽出装置を示す。フィルム粒子情報抽出装置３３は、入力画像３１からフィルム粒子情報を抽出し、抽出されたフィルム粒子情報３５が符号化情報３４と同様に伝送系に応じて、無線・有線伝送路３６に送出され、または蓄積メディア３７に記録される。 Reference numeral 33 indicates a film grain information extracting device. The film particle information extraction device 33 extracts film particle information from the input image 31, and the extracted film particle information 35 is sent to the wireless / wired transmission path 36 according to the transmission system in the same manner as the encoded information 34. Alternatively, it is recorded on the storage medium 37.
次に復号側について説明する。復号側において、受信符号化情報３８が画像復号装置４０に供給され、画像復号装置４０が受信符号化情報３８から復号画像情報４２を生成する。参照符号４１がフィルム粒子付加装置を示す。フィルム粒子付加装置４１は、受信フィルム粒子情報３９からフィルム粒子情報を再生した後、復号画像情報４２の特性に応じて再構成されたフィルム粒子情報を付加し、復号画像４３として出力する。 Next, the decoding side will be described. On the decoding side, the received encoded information 38 is supplied to the image decoding device 40, and the image decoding device 40 generates decoded image information 42 from the received encoded information 38. Reference numeral 41 indicates a film particle adding device. The film particle adding device 41 reproduces the film particle information from the received film particle information 39, adds the film particle information reconfigured according to the characteristics of the decoded image information 42, and outputs it as a decoded image 43.
上述した画像符号化装置３２および画像復号装置４０は、一例としてMPEG-4 AVC(また
はH.264)符号化規格による処理を行う。この場合では、符号化情報３４が所定長のユニットを単位とするストリームデータの構成を有する。ストリームデータの中で、動画像の復号に必須でない、補足的な付加情報（ＳＥＩ：Supplemental Enhancement Informationと称される）を伝送するためのユニットを使用してフィルム粒子情報３５が伝送または記録される。すなわち、ＳＥＩには、ユーザが独自に定義する情報が存在しているので、このユーザ・データを利用してフィルム粒子情報３５が伝送または記録される。
The image encoding device 32 and the image decoding device 40 described above perform processing according to the MPEG-4 AVC (or H.264) encoding standard as an example. In this case, the encoding information 34 has a stream data configuration in units of a predetermined length. In the stream data, film grain information 35 is transmitted or recorded using a unit for transmitting supplemental additional information (referred to as SEI: Supplemental Enhancement Information) that is not essential for decoding of moving images. . That is, since information uniquely defined by the user exists in the SEI, the film grain information 35 is transmitted or recorded using this user data.
図４は、フィルム粒子抽出装置３３の一例を示す。フィルム粒子抽出装置３３は、基本パターン抽出装置５１および強度抽出装置５２とから構成されている。基本パターン抽出装置５１は、入力画像３１からフィルム粒子を表すための情報を抽出し、フィルム粒子基本パターン情報５３として出力する。強度抽出装置５２は、フレーム毎にある平均値を持つ領域にどの程度の強度のフィルム粒子を付加すべきかという情報を画素値の範囲、例えば、０−２０, ２１−４０,・・・毎に計算し、その情報をフィルム粒子強度情報５４と
して出力する。フィルム粒子情報３５は、フィルム粒子基本パターン情報５３およびフィルム粒子強度情報５４の両者を総称するものである。
FIG. 4 shows an example of the film particle extraction device 33. The film particle extraction device 33 includes a basic pattern extraction device 51 and an intensity extraction device 52. The basic pattern extraction device 51 extracts information for representing film particles from the input image 31 and outputs the information as film particle basic pattern information 53. The intensity extracting device 52 provides information on how much strength film particles should be added to an area having an average value for each frame for each range of pixel values, for example, 0-20, 21-40,. The calculated information is output as film grain strength information 54. The film particle information 35 is a general term for both the film particle basic pattern information 53 and the film particle strength information 54.
図５は、基本パターン抽出装置５１の一例の構成を示す。 基本パターン抽出装置５１
は、均一領域抽出装置６１とフィルタバンク６２とヒストグラム計算装置６３，６４，６５，６６および６７からなる。
FIG. 5 shows an exemplary configuration of the basic pattern extraction device 51. Basic pattern extraction device 51
Consists of a uniform region extraction device 61, a filter bank 62, and histogram calculation devices 63, 64, 65, 66 and 67.
均一領域抽出装置６１は、入力画像３１からフィルム粒子が均一に分布しており、且つ、画像が急峻な変化を含まない所定の大きさの領域（このような領域を均一領域と称する）を抽出し、均一領域データ６８を出力する。均一領域の例は、背景の空の画像のような平坦な画像である。均一領域データ６８は、均一領域内に存在する複数の画素データからなる。なお、均一領域データ６８を得るために、人間が直接指定する方法、または装置が出力した候補の中から一つを指定するといった方法も可能である。 The uniform region extraction device 61 extracts a region having a predetermined size from which the film particles are uniformly distributed from the input image 31 and the image does not include a steep change (such a region is referred to as a uniform region). The uniform area data 68 is output. An example of a uniform region is a flat image, such as a background sky image. The uniform area data 68 includes a plurality of pixel data existing in the uniform area. In order to obtain the uniform region data 68, a method directly designated by a human or a method of designating one of candidates output by the apparatus is also possible.
このように得られた均一領域データ６８が以降の複数のハイパスフィルタ（図中Ｈで表す）と、ローパスフィルタ（図中Ｈで表す）とで構成されるフィルタバンク６２ａおよび６２ｂによって複数のサブバンドに分割される。フィルタバンク６２ａ，６２ｂを構成する各フィルタは、２次元にフィルタ係数が規定されたディジタルフィルタである。 The uniform area data 68 obtained in this way is composed of a plurality of subbands by filter banks 62a and 62b composed of a plurality of subsequent high-pass filters (represented by H in the figure) and low-pass filters (represented by H in the figure). Is divided into Each filter constituting the filter banks 62a and 62b is a digital filter in which filter coefficients are defined two-dimensionally.
なお、図５に示す構成例のように、一つのハイパスバンドと、一つのローパスバンドでフィルタバンク６２ａおよび６２ｂのそれぞれを構成しているが、これに加え、複数のバンドパスフィルタを設けるような構成も可能であり、段数も図５に示した２段ではなく多段の構成が可能である。 As in the configuration example shown in FIG. 5, each of the filter banks 62a and 62b is composed of one high-pass band and one low-pass band. In addition to this, a plurality of band-pass filters are provided. A configuration is also possible, and the number of stages is not limited to the two stages shown in FIG.
ベースバンドと、各サブバンドの出力は、それぞれのバンドに対応したヒストグラム計算装置６３〜６７に供給される。ヒストグラム計算装置６３〜６７によって各バンドの画素値の度数分布情報（以下、ヒストグラムと適宜称する）がそれぞれ抽出され、抽出されたヒストグラム情報がフィルム粒子基本パターン情報５３として出力される。 The output of the baseband and each subband is supplied to the histogram calculation devices 63 to 67 corresponding to the respective bands. The histogram calculation devices 63 to 67 extract frequency distribution information (hereinafter referred to as a histogram as appropriate) of pixel values of each band, and the extracted histogram information is output as film grain basic pattern information 53.
ヒストグラム情報は、予め定められた画素値範囲（以下、分割区間と適宜称する）に含まれる画素の個数を示す頻度情報である。例えば、予め定めた分割区間が−１９〜−１０，−９〜０，１〜＋１０，＋１１〜+２０の４区間であったとし、その時のヒストグラム
計算装置への入力データの各画素の値が例えば〔−１１,−５,−１,＋３，＋８，＋１４
〕であったとすると、出力されるヒストグラム情報は、各範囲に含まれる画素データの度数、すなわち、〔１，２，２，１〕となる。ヒストグラム情報は、それぞれのバンド毎に出力される。
The histogram information is frequency information indicating the number of pixels included in a predetermined pixel value range (hereinafter appropriately referred to as a divided section). For example, assuming that the predetermined divided sections are four sections of −19 to −10, −9 to 0, 1 to +10, and +11 to +20, the value of each pixel of the input data to the histogram calculation device at that time is For example, [-11, -5, -1, +3, +8, +14
], The output histogram information is the frequency of the pixel data included in each range, that is, [1, 2, 2, 1]. The histogram information is output for each band.
図６は、強度抽出装置５２の一例の構成を示す。強度抽出装置５２は、均一領域抽出装置７１と強度計算装置７２とから構成されている。均一領域抽出装置６１と同様の均一領域抽出装置７１によって、入力画像３１から、均一領域が抽出され、均一領域情報７３が出力される。この場合、画像の急峻な領域については、非均一領域として、他の均一領域とは区別された情報が出力される。図６に示すように、入力画像中のａ，ｂ，ｃ，ｄ，ｅ，ｆが均一領域であり、黒くぬりつぶした領域が非均一領域である。 FIG. 6 shows an exemplary configuration of the intensity extraction device 52. The intensity extraction device 52 includes a uniform area extraction device 71 and an intensity calculation device 72. A uniform region extraction device 71 similar to the uniform region extraction device 61 extracts a uniform region from the input image 31 and outputs uniform region information 73. In this case, for the steep region of the image, information that is distinguished from other uniform regions is output as a non-uniform region. As shown in FIG. 6, a, b, c, d, e, and f in the input image are uniform areas, and black areas are non-uniform areas.
均一領域情報７３が強度計算装置７２に供給される。強度計算装置７２では、各均一領域に対して、その領域の平均画素値とフィルム粒子の分散値を算出する。フィルム粒子の分散値の算出には、例えば、均一領域内の画素値の分散値そのものを用いる、といった方法が可能である。そして、平均画素値とフィルム粒子の分散値を使用してフィルム粒子強度情報５４が算出される。フィルム粒子強度情報５４は、予め定められた領域平均値の範囲におけるフィルム粒子の分散の平均値である。 Uniform area information 73 is supplied to the intensity calculator 72. In the intensity calculation device 72, for each uniform region, the average pixel value of the region and the dispersion value of the film grain are calculated. For the calculation of the dispersion value of the film grain, for example, a method of using the dispersion value itself of the pixel value in the uniform region is possible. Then, the film grain strength information 54 is calculated using the average pixel value and the dispersion value of the film grain. The film particle strength information 54 is an average value of dispersion of film particles in a range of a predetermined region average value.
例えば、予め定めた領域例えば（１６×１６）画素の領域の画素値の平均値の範囲を、０〜１５,１６〜３１,・・・，２４０〜２５５とし、入力画像の均一領域における領域平均値と分散値の組が(領域平均値＝２８，分散値＝５００), (３０, １０００), (４４,
４００), (２５０, ２０)であったとすると、出力フィルム粒子強度情報は、〔０, ７５
０（＝（５００＋１０００）／２，４００,・・・，２０〕となる。これらは、画像がＲ
，Ｇ，ＢまたはＹ，Ｃｂ，Ｃｒのコンポーネントで構成されていた際には、各コンポーネント毎に出力される。このフィルム粒子強度情報は、１／１０００にされる等の正規化処理がなされ、復号側で生成されたフィルム粒子基本パターンに乗算されるのに適した値に変換される。
For example, the average value range of pixel values in a predetermined region, for example, a (16 × 16) pixel region is set to 0 to 15, 16 to 31,. A set of value and variance value is (region average value = 28, variance value = 500), (30, 1000), (44,
400), (250, 20), the output film grain strength information is [0, 75
0 (= (500 + 1000) / 2,400,..., 20].
, G, B, or Y, Cb, Cr, it is output for each component. The film grain strength information is subjected to a normalization process such as 1/1000, and is converted into a value suitable for being multiplied by the film grain basic pattern generated on the decoding side.
コンポーネントビデオ信号例えばＹ，Ｃｂ，Ｃｒのコンポーネントからなる場合、輝度信号Ｙのみでフィルム粒子情報を検出し、検出した結果によってＹ，Ｃｂ，Ｃｒの各コンポーネントに生成したフィルム粒子情報を付加する方法と、各コンポーネント毎にフィルム粒子情報を検出し、検出した結果によってＹ，Ｃｂ，Ｃｒの各コンポーネントに生成したフィルム粒子情報を付加する方法とが可能である。 In the case of component video signals such as Y, Cb, and Cr components, the film grain information is detected only by the luminance signal Y, and the generated film grain information is added to each of the Y, Cb, and Cr components according to the detection result; The film particle information is detected for each component, and the generated film particle information is added to each component of Y, Cb, and Cr according to the detected result.
上述した符号化側の処理における基本パターン抽出処理について図７を参照して概略的に説明する。図７Ａに示すように、１フレームの入力画像Ｉから均一領域Ｒが検出される。均一領域Ｒの大きさは、所定の大きさ例えば（６４×６４）画素とされる。均一領域Ｒの画素がフィルタバンク６２ａによって、ベースバンド、低域および高域に分割される。図５の構成では、さらにフィルタバンク６２ｂによって低域を周波数分割しているが、図７では、簡単のために、フィルタバンク６２ａのみを使用した例を示している。 The basic pattern extraction process in the above-described encoding process will be schematically described with reference to FIG. As shown in FIG. 7A, a uniform region R is detected from one frame of the input image I. The size of the uniform region R is a predetermined size, for example, (64 × 64) pixels. The pixels in the uniform region R are divided into a baseband, a low band, and a high band by the filter bank 62a. In the configuration of FIG. 5, the low band is further frequency-divided by the filter bank 62b, but FIG. 7 shows an example in which only the filter bank 62a is used for simplicity.
図７Ｂは、周波数分割の一例を示している。図７Ｂにおいて、横軸が空間水平周波数を示し、縦軸が空間垂直周波数を示す。矩形の領域がベースバンドＢ１であり、水平および垂直の両周波数が高くなる領域が高域Ｂ２であり、水平および垂直の両周波数が低くなる領域が低域Ｂ３である。破線が高域の境界の位置を示し、実線が低域の境界の位置を示している。この例では、低域および高域の周波数領域が中域付近で重なっている。 FIG. 7B shows an example of frequency division. In FIG. 7B, the horizontal axis indicates the spatial horizontal frequency, and the vertical axis indicates the spatial vertical frequency. The rectangular region is the baseband B1, the region where both the horizontal and vertical frequencies are high is the high region B2, and the region where both the horizontal and vertical frequencies are low is the low region B3. The broken line indicates the position of the high band boundary, and the solid line indicates the position of the low band boundary. In this example, the low frequency region and the high frequency region overlap each other in the vicinity of the middle region.
各サブバンドの出力データがヒストグラム計算装置６３，６４および６５にそれぞれ供給される。ヒストグラム計算装置６３が図７Ｃにおいて、Ｆ１で示すようなベースバンドに関するヒストグラムを計算し、ヒストグラム計算装置６３が図７Ｃにおいて、Ｆ１で示すようなベースバンドに関するヒストグラムを計算し、ヒストグラム計算装置６３が図７Ｃにおいて、Ｆ１で示すようなベースバンドに関するヒストグラムを計算する。 The output data of each subband is supplied to the histogram calculators 63, 64 and 65, respectively. In FIG. 7C, the histogram calculation device 63 calculates a histogram relating to the baseband as indicated by F1, in FIG. 7C, the histogram calculation device 63 calculates a histogram relating to the baseband as indicated by F1, and the histogram calculation device 63 is shown in FIG. At 7C, a histogram for the baseband as indicated by F1 is calculated.
図７Ｃにおいて、縦軸が度数であり、横軸が画素値の分割区間であり、各分割区間は、バンド毎に予め定められた画素値の範囲を有している。ヒストグラムＦ１，Ｆ２，Ｆ３がフィルム粒子基本パターン情報である。 In FIG. 7C, the vertical axis represents frequency, the horizontal axis represents pixel value divided sections, and each divided section has a predetermined pixel value range for each band. Histograms F1, F2, and F3 are film grain basic pattern information.
図７では、フィルム粒子強度情報については説明されていないが、上述したように、フィルム粒子強度情報は、（１６×１６）画素のように、予め定められた領域の画素値の平均値の範囲におけるフィルム粒子の分散の平均値であり、必要に応じて正規化処理を受けたものである。 In FIG. 7, the film grain strength information is not described, but as described above, the film grain strength information is a range of average values of pixel values in a predetermined region such as (16 × 16) pixels. Is an average value of the dispersion of film particles, and is subjected to a normalization treatment as necessary.
次に復号側の構成および処理について説明する。図８は、復号側のフィルム粒子付加装置４１の一例を示す。フィルム粒子付加装置４１は、フィルム粒子の基本パターン生成装置８１と、パターン強度計算装置８２と、領域平均値計算装置８３と、乗算器８４と、加算器８５とから構成されている。基本パターン生成装置８１は、フィルム粒子基本パターン情報５３から復号画像情報４２に付加される元となるフィルム粒子のパターンを生成し、フィルム粒子基本パターン８６を出力する。フィルム粒子のパターンは、符号化側で基本パターン抽出のために設定された領域と同一の大きさの領域例えば（６４×６４）画素の領域とされる。 Next, the configuration and processing on the decoding side will be described. FIG. 8 shows an example of the film particle adding device 41 on the decoding side. The film particle adding device 41 includes a film particle basic pattern generating device 81, a pattern intensity calculating device 82, a region average value calculating device 83, a multiplier 84, and an adder 85. The basic pattern generation device 81 generates a pattern of film particles that is a source to be added to the decoded image information 42 from the film particle basic pattern information 53 and outputs a film particle basic pattern 86. The film grain pattern is an area having the same size as the area set for extraction of the basic pattern on the encoding side, for example, an area of (64 × 64) pixels.
領域平均値計算装置８３は、復号画像情報４２の予め決められた領域、例えば（１６×１６）画素の領域の画素値の平均値を求め、領域平均値８７を出力する。領域平均値８７がパターン強度計算装置８２に供給される。パターン強度計算装置８２は、領域平均値８７がフィルム粒子強度情報５４中のどの平均値区間に属するのかを判定し、その区間に対応したフィルム粒子強度をフィルム粒子強度情報８８として出力する。 The area average value calculation device 83 calculates an average value of pixel values of a predetermined area of the decoded image information 42, for example, an area of (16 × 16) pixels, and outputs an area average value 87. The area average value 87 is supplied to the pattern intensity calculation device 82. The pattern intensity calculation device 82 determines which average value section in the film particle intensity information 54 the area average value 87 belongs to, and outputs the film particle intensity corresponding to the section as the film particle intensity information 88.
例えば、予め定めた領域平均値の範囲が０〜１５，１６〜３１，・・・，２４０〜２５５であったとし、その時のフィルム粒子強度情報５４が〔０，７５０，４００，・・・，２０〕の場合、入力された領域平均値が２３であったとすると、その時出力されるフィルム粒子強度が７５０となる。但し、フィルム粒子強度情報は、上述したように、予め符号化側で正規化処理を受けている場合には、そのまま強度調整のための乗算に使用できる値に変換されている。この正規化は、復号側で行うこともできる。 For example, it is assumed that the range of the predetermined region average value is 0 to 15, 16 to 31,..., 240 to 255, and the film particle strength information 54 at that time is [0, 750, 400,. 20], if the input area average value is 23, the film grain strength output at that time is 750. However, as described above, the film grain strength information is converted into a value that can be used for multiplication for strength adjustment as it is when the normalization processing is performed on the encoding side in advance. This normalization can also be performed on the decoding side.
フィルム粒子基本パターン８６は、フィルム粒子強度情報８８と乗算器８４によって乗算される。乗算器８４から再構成されたフィルム粒子画像８９が得られる。フィルム粒子画像８９が加算器８５にて復号画像情報４２に加算される。加算器８５から復号画像４３が出力される。加算器８５では、例えば（１６×１６）画素単位でフィルム粒子画像８９が復号画像情報４２の（１６×１６）画素に対して対応する位置の画素同士が加算される。フィルム粒子画像８９は、基本パターン生成装置８１にて生成された（６４×６４）画素の基本パターンから切り出されたものである。 The film grain basic pattern 86 is multiplied by film grain strength information 88 and a multiplier 84. A reconstructed film grain image 89 is obtained from the multiplier 84. The film grain image 89 is added to the decoded image information 42 by the adder 85. The decoded image 43 is output from the adder 85. In the adder 85, for example, pixels at a position corresponding to the (16 × 16) pixel of the decoded image information 42 are added to each other in the film particle image 89 in units of (16 × 16) pixels. The film grain image 89 is cut out from the basic pattern of (64 × 64) pixels generated by the basic pattern generation device 81.
なお、フィルム粒子基本パターン８６は、画面における均一性を出すために、フィルム粒子パターンを付加する領域単位、例えば１６×１６（画素）毎にそのパターンをシフトして加算することも可能である。例えば、領域のサイズをＨ×Ｖ、パターンの画素値をＧ（ｈ，ｖ）（０≦ｈ≦Ｈ）（０≦ｖ＜Ｖ）とした場合、領域ごとに乱数randh，randv（０≦randh≦Ｈ，０≦randv≦Ｖ）を生成し、実際に付加するパターンＡを以下のように計算することによって乱数でシフトされたパターンを得ることができる。このパターンを、フィルム粒子基本パターン８６としても良い。 Note that the film grain basic pattern 86 can be shifted and added for each region unit to which the film grain pattern is added, for example, 16 × 16 (pixels), in order to obtain uniformity on the screen. For example, if the size of the region is H × V and the pixel value of the pattern is G (h, v) (0 ≦ h ≦ H) (0 ≦ v <V), random numbers randh and randv (0 ≦ randh) are set for each region. ≦ H, 0 ≦ randv ≦ V), and a pattern shifted by random numbers can be obtained by calculating the pattern A to be actually added as follows. This pattern may be the film particle basic pattern 86.
Ａ(h,v)＝Ｇ(mod(h+randh,Ｈ)，mod(v＋+randv,Ｖ)) A (h, v) = G (mod (h + randh, H), mod (v + randv, V))
図９は、フィルム粒子基本パターン生成装置８１の一例の構成を示す。基本パターン生
成装置８１は、ノイズ生成装置９１と、ヒストグラムマッチング装置９２，９３，９４，９５，９６と、ハイパスフィルタ９７，９９と、ローパスフィルタ９８，１００と、合成フィルタバンク１０１とから構成されている。
FIG. 9 shows an example of the configuration of the film particle basic pattern generation device 81. The basic pattern generation device 81 includes a noise generation device 91, histogram matching devices 92, 93, 94, 95, 96, high pass filters 97, 99, low pass filters 98, 100, and a synthesis filter bank 101. Yes.
ノイズ生成装置９１は、フィルム粒子基本パターンと同一サイズ（Ｈ×Ｖ）例えば（６４×６４）画素のノイズ（ガウスノイズ、一様乱数などのランダムノイズ）を生成する。生成されたノイズがヒストグラムマッチング装置９２に供給される。ヒストグラムマッチング装置９２は、フィルム粒子基本パターン情報５３とほぼ同一のヒストグラムを持つようにノイズに対して変換を行う。ヒストグラムマッチング装置９２をソフトウェア処理によって実現した場合の変換アルゴリズムの一例を下記に示す。 The noise generating device 91 generates noise (random noise such as Gaussian noise, uniform random number) having the same size (H × V), for example, (64 × 64) pixels as the film grain basic pattern. The generated noise is supplied to the histogram matching device 92. The histogram matching device 92 converts noise so as to have a histogram that is substantially the same as the film grain basic pattern information 53. An example of a conversion algorithm when the histogram matching device 92 is realized by software processing is shown below.
〔ヒストグラムマッチング装置におけるヒストグラムマッチアルゴリズム〕
１．フィルム粒子基本パターン情報５３におけるマッチさせる対象となるヒストグラムの最小値をCMIN、最大値をCMAX、CMINとCMAXの間のヒストグラムの分割区間の数をnumber of binsとする。binsは、ヒストグラム分割区間の一つを表している。また、符号化側で作成され、受信または再生されたヒストグラムの累積分布関数をCDF ref(bin) (０≦bin＜number of bins-１)とする。
[Histogram match algorithm in histogram matching device]
1. The minimum value of the histogram to be matched in the film grain basic pattern information 53 is CMIN, the maximum value is CMAX, and the number of divided sections of the histogram between CMIN and CMAX is number of bins. bins represents one of the histogram division sections. In addition, the cumulative distribution function of the histogram created and received or reproduced on the encoding side is assumed to be CDF ref (bin) (0 ≦ bin <number of bins−1).
２．入力信号（ノイズ生成装置９１の出力）をval org(h,v)とし、入力信号の累積分布関数をCDF org(bin) (０≦bin＜number of bins-１)とする。 2. Assume that the input signal (output of the noise generator 91) is val org (h, v), and the cumulative distribution function of the input signal is CDF org (bin) (0 ≦ bin <number of bins−1).
３.入力信号val org(h,v)のそれぞれの要素について、以下の擬似コードによってval replを得、val org(h,v)をその値で置き換える。 3. For each element of the input signal val org (h, v), obtain val repl by the following pseudo code, and replace val org (h, v) with that value.
val = CDF org(((val org(h,v)−CMIN)／(CMAX−CMIN)*(number of bins-１)));
for (i = ０; i < number of bins; i++)
if (CDF ref(i) >= val)
break;
if (i == number of bins)i--;
val repl = i / (number of bins−1) * (CMAX − CMIN)＋CMIN;
val = CDF org (((val org (h, v) −CMIN) / (CMAX−CMIN) * (number of bins−1)));
for (i = 0; i <number of bins; i ++)
if (CDF ref (i)> = val)
break;
if (i == number of bins) i--;
val repl = i / (number of bins−1) * (CMAX − CMIN) + CMIN;
他のヒストグラムマッチング装置９３，９４，９５，９６も、上述したアルゴリズムのヒストグラムマッチング機能を有する。ヒストグラムマッチング装置９２の出力信号が分析ハイパスフィルタ９７および分析ローパスフィルタ９８に供給され、分析ハイパスフィルタ９７の出力がヒストグラムマッチング装置９３に供給され、分析ローパスフィルタ９８の出力がヒストグラムマッチング装置９４に供給される。 Other histogram matching devices 93, 94, 95, and 96 also have the histogram matching function of the algorithm described above. The output signal of the histogram matching device 92 is supplied to the analysis high pass filter 97 and the analysis low pass filter 98, the output of the analysis high pass filter 97 is supplied to the histogram matching device 93, and the output of the analysis low pass filter 98 is supplied to the histogram matching device 94. The
さらに、ヒストグラムマッチング装置９４の出力信号が分析ハイパスフィルタ９９および分析ローパスフィルタ１００に供給され、分析ハイパスフィルタ９９の出力がヒストグラムマッチング装置９５に供給され、分析ローパスフィルタ１００の出力がヒストグラムマッチング装置９６に供給される。 Further, the output signal of the histogram matching device 94 is supplied to the analysis high-pass filter 99 and the analysis low-pass filter 100, the output of the analysis high-pass filter 99 is supplied to the histogram matching device 95, and the output of the analysis low-pass filter 100 is supplied to the histogram matching device 96. Supplied.
フィルム粒子基本パターン情報５３は、ヒストグラムマッチング装置９２〜９６のそれぞれに対して異なるヒストグラム情報を与える。図７Ｃにおけるヒストグラム情報Ｆ１がベースバンドに関するものであるので、ヒストグラムマッチング装置９２に対して供給され、ヒストグラム情報Ｆ２が高域に関するものであるので、ヒストグラムマッチング装置９３に対して供給され、ヒストグラムマッチング装置９２に対して供給され、ヒストグラム情報Ｆ３が低域に関するものであるので、ヒストグラムマッチング装置９４に対して供給される。 The film grain basic pattern information 53 gives different histogram information to each of the histogram matching devices 92 to 96. Since the histogram information F1 in FIG. 7C relates to the baseband, it is supplied to the histogram matching device 92, and since the histogram information F2 relates to the high band, it is supplied to the histogram matching device 93, and the histogram matching device 92 is supplied to the histogram matching device 94 because the histogram information F3 relates to the low frequency range.
分析ハイパスフィルタ９７および９９、分析ローパスフィルタ９８および１００によってサブバンド分割が行われ、各サブバンドの成分が合成フィルタバンク１０１に供給される。合成フィルタバンク１０１は、ヒストグラムマッチング装置９３の出力信号が供給される合成ハイパスフィルタ１０２と、ヒストグラムマッチング装置９５の出力信号が供給される合成ハイパスフィルタ１０３と、ヒストグラムマッチング装置９６の出力信号が供給される合成ローパスフィルタ１０４とから構成されている。 The analysis high-pass filters 97 and 99 and the analysis low-pass filters 98 and 100 perform subband division, and components of each subband are supplied to the synthesis filter bank 101. The synthesis filter bank 101 is supplied with the synthesis high-pass filter 102 to which the output signal of the histogram matching device 93 is supplied, the synthesis high-pass filter 103 to which the output signal of the histogram matching device 95 is supplied, and the output signal of the histogram matching device 96. And a synthetic low-pass filter 104.
合成ハイパスフィルタ１０３の出力信号および合成ローパスフィルタ１０４の出力信号が加算器１０５において加算され、合成ハイパスフィルタ１０２の出力信号と加算器１０５の出力信号とが加算器１０６で加算される。加算器１０６の出力にフィルム粒子基本パターン情報８６が取り出される。なお、合成フィルタバンクの構成は、符号化側におけるサブバンドの分割の構成に対応したものとされる。 The output signal of the synthesis high pass filter 103 and the output signal of the synthesis low pass filter 104 are added by the adder 105, and the output signal of the synthesis high pass filter 102 and the output signal of the adder 105 are added by the adder 106. Film grain basic pattern information 86 is extracted from the output of the adder 106. The configuration of the synthesis filter bank corresponds to the configuration of subband division on the encoding side.
フィルム粒子基本パターン情報８６が上述したように、フィルム粒子強度情報８８と乗算器８４によって乗算されることによって、強度が補正または調整される。強度調整されたフィルム粒子画像８９が復号画像情報４２に加算され、高能率符号化および復号化によって失われたフィルム粒子情報が有する高画質の復号画像４３が得られる。 As described above, the film grain basic pattern information 86 is multiplied by the film grain intensity information 88 and the multiplier 84 to correct or adjust the intensity. The intensity-adjusted film particle image 89 is added to the decoded image information 42, and a high-quality decoded image 43 included in the film particle information lost by high-efficiency encoding and decoding is obtained.
図１０は、復号側におけるフィルム粒子画像の再構成処理を概略的に説明するものである。基本パターン生成装置８１によって、ノイズのヒストグラムがフィルム粒子基本パターン情報５３とほぼ同一とされたフィルム粒子基本パターン８６が生成される。フィルム粒子基本パターン８６は、（６４×６４）画素であり、その中の（１６×１６）画素の領域が切り出されて乗算器８４に供給される。 FIG. 10 schematically illustrates a film grain image reconstruction process on the decoding side. The basic pattern generation device 81 generates a film grain basic pattern 86 in which the noise histogram is substantially the same as the film grain basic pattern information 53. The film grain basic pattern 86 is (64 × 64) pixels, and an area of (16 × 16) pixels is cut out and supplied to the multiplier 84.
符号化側で作成され、フィルム粒子強度情報５４が保存され、復号画像情報４２の（１６×１６）画素の領域の画素値の平均値８７に応じて強度情報８８が出力される。この強度情報８８によって基本パターン８６の強度が調整される。強度調整がされたフィルム粒子画像８９が加算器８５にて復号画像情報４２の（１６×１６）画素の領域に対して画素単位で加算される。 Created on the encoding side, the film grain intensity information 54 is stored, and the intensity information 88 is output according to the average value 87 of the pixel values in the (16 × 16) pixel area of the decoded image information 42. The intensity of the basic pattern 86 is adjusted by the intensity information 88. The film grain image 89 whose intensity has been adjusted is added by the adder 85 to the (16 × 16) pixel area of the decoded image information 42 in units of pixels.
次に、フィルム粒子情報の抽出とフィルム粒子画像の再構成の処理のいくつかの方法について、コンポーネントビデオ信号の場合を例に説明する。図１１は、第１の処理方法を示す。第１の処理方法は、コンポーネントＹ，Ｃｒ，Ｃｂのそれぞれで別々にフィルム粒子基本パターン情報とフィルム粒子強度情報とを抽出し、また、各フレームにおいて、これらの情報を抽出するものである。シーンＡとシーンＢとが存在する画像信号が示されている。復号側においても、コンポーネントＹ，Ｃｒ，Ｃｂのそれぞれに関して、フレーム毎のフィルム粒子基本パターン情報とフィルム粒子強度情報とを使用してフィルム粒子が再構成される。 Next, several methods for extracting film grain information and reconstructing film grain images will be described by taking a component video signal as an example. FIG. 11 shows the first processing method. In the first processing method, film grain basic pattern information and film grain strength information are extracted separately for each of the components Y, Cr, and Cb, and these pieces of information are extracted for each frame. An image signal in which scene A and scene B exist is shown. Also on the decoding side, for each of the components Y, Cr, and Cb, the film grain is reconstructed using the film grain basic pattern information and the film grain strength information for each frame.
図１２は、第２の処理方法を示す。第２の処理方法では、コンポーネントＹ，Ｃｒ，Ｃｂのそれぞれで別々にフィルム粒子基本パターン情報とフィルム粒子強度情報とが抽出される。フィルム粒子基本パターン情報は、各シーンの先頭のフレームにおいてのみ抽出される。復号側では、抽出された基本パターン情報が同じシーン内の全フレームに対して共通に使用される。フィルム粒子強度情報は、第１の処理方法と同様に、コンポーネント毎に抽出され、また、各フレームで抽出される。 FIG. 12 shows the second processing method. In the second processing method, the film grain basic pattern information and the film grain strength information are extracted separately for each of the components Y, Cr, and Cb. The film grain basic pattern information is extracted only in the first frame of each scene. On the decoding side, the extracted basic pattern information is commonly used for all frames in the same scene. The film grain strength information is extracted for each component as in the first processing method, and is extracted for each frame.
図１３は、第３の処理方法を示す。第３の処理方法では、コンポーネント中の輝度信号Ｙのみからフィルム粒子基本パターン情報が抽出される。また、フィルム粒子基本パターン情報は、各シーンの先頭のフレームにおいてのみ抽出される。復号側では、抽出された基本パターン情報が同じシーン内の全フレームおよび全コンポーネントに対して共通に使用される。フィルム粒子強度情報は、第１の処理方法と同様に、コンポーネント毎に抽出され、また、各フレームで抽出される。 FIG. 13 shows a third processing method. In the third processing method, film grain basic pattern information is extracted from only the luminance signal Y in the component. The film grain basic pattern information is extracted only in the first frame of each scene. On the decoding side, the extracted basic pattern information is used in common for all frames and all components in the same scene. The film grain strength information is extracted for each component as in the first processing method, and is extracted for each frame.
図１４は、第４の処理方法を示す。第４の処理方法では、コンポーネントＹ，Ｃｒ，Ｃｂのそれぞれで別々にフィルム粒子基本パターン情報とフィルム粒子強度情報とが抽出される。フィルム粒子基本パターン情報およびフィルム粒子強度情報の両者は、各シーンの先頭のフレームにおいてのみ抽出される。復号側では、抽出された基本パターン情報および強度情報が同じシーン内の全フレームに対して共通に使用される。 FIG. 14 shows a fourth processing method. In the fourth processing method, the film grain basic pattern information and the film grain strength information are extracted separately for each of the components Y, Cr, and Cb. Both the film grain basic pattern information and the film grain strength information are extracted only in the first frame of each scene. On the decoding side, the extracted basic pattern information and intensity information are commonly used for all frames in the same scene.
図１５は、第５の処理方法を示す。第５の処理方法では、コンポーネント中の輝度信号Ｙのみからフィルム粒子基本パターン情報が抽出される。また、フィルム粒子基本パターン情報は、各シーンの先頭のフレームにおいてのみ抽出される。復号側では、抽出された基本パターン情報が同じシーン内の全フレームおよび全コンポーネントに対して共通に使用される。フィルム粒子強度情報は、コンポーネントＹ，Ｃｒ，Ｃｂのそれぞれで別々に抽出される。フィルム粒子強度情報は、各シーンの先頭のフレームにおいてのみ抽出される。復号側では、抽出されたフィルム粒子強度情報が同じシーン内の全フレームに対してコンポーネント毎に共通に使用される。 FIG. 15 shows a fifth processing method. In the fifth processing method, film grain basic pattern information is extracted from only the luminance signal Y in the component. The film grain basic pattern information is extracted only in the first frame of each scene. On the decoding side, the extracted basic pattern information is used in common for all frames and all components in the same scene. Film grain strength information is extracted separately for each of components Y, Cr, and Cb. Film grain strength information is extracted only in the first frame of each scene. On the decoding side, the extracted film grain strength information is commonly used for each component for all frames in the same scene.
図１６は、第６の処理方法を示す。第６の処理方法では、フィルム粒子基本パターン情報およびフィルム粒子強度情報の両者がコンポーネント中の輝度信号Ｙのみから抽出される。復号側では、抽出された基本パターン情報および強度情報の両者が同じシーン内の全フレームおよび全コンポーネントに対して共通に使用される。 FIG. 16 shows a sixth processing method. In the sixth processing method, both the film grain basic pattern information and the film grain strength information are extracted only from the luminance signal Y in the component. On the decoding side, both the extracted basic pattern information and intensity information are used in common for all frames and all components in the same scene.
上述した第１乃至第６の処理方法は、フィルム粒子付加による画質改善効果と、伝送するフィルム粒子情報のデータ量との兼ね合いを考慮して適切なものが使用される。また、第１乃至第６の処理方法の２以上の方法を選択可能と構成してユーザの操作で切り替えるようにしても良い。 As the first to sixth processing methods described above, an appropriate one is used in consideration of the balance between the image quality improvement effect due to the addition of film particles and the data amount of film particle information to be transmitted. In addition, two or more of the first to sixth processing methods may be selected and switched by a user operation.
以上、この発明の実施の形態について具体的に説明したが、この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えば、サブバンドの分割方法としては、水平周波数方向および垂直周波数方向のそれぞれを２分割して４個のサブバンドを形成しても良い。また、ノイズ成分をフィルム粒子基本パターン情報にしたがって加工する方法としては、上述したアルゴリズム以外のものを適用できる。さらに、この発明においては、動画の高能率符号化方法としては、MPEG-4 AVC(またはH.264)符号化以外のＭＰＥＧ２等の符号化を使用しても良い。 Although the embodiment of the present invention has been specifically described above, the present invention is not limited to the above-described embodiment, and various modifications based on the technical idea of the present invention are possible. For example, as a subband division method, each of the horizontal frequency direction and the vertical frequency direction may be divided into two to form four subbands. Moreover, as a method of processing the noise component according to the film grain basic pattern information, a method other than the algorithm described above can be applied. Furthermore, in the present invention, encoding such as MPEG2 other than MPEG-4 AVC (or H.264) encoding may be used as a high-efficiency encoding method for moving images.
３１ 入力画像
３２ 画像符号化装置
３３ フィルム粒子情報抽出装置
３４ 符号化情報
３５ フィルム粒子情報
４０ 画像復号装置
４１ フィルム粒子付加装置
４２ 復号画像情報
４３ 復号画像
５１ 基本パターン抽出装置
５２ 強度抽出装置
５３ フィルム粒子基本パターン情報
５４ フィルム粒子強度情報
６１ 均一領域抽出装置
６２ａ，６２ｂ フィルタバンク
６３〜６７ ヒストグラム計算装置
７１ 均一領域抽出装置
７２ 強度計算装置
８１ 基本パターン生成装置
８２ パターン強度計算装置
８３ 領域平均値計算装置
９１ ノイズ生成装置
９２〜９６ ヒストグラムマッチング装置
１０１ 合成フィルタバンク
31 Input Image 32 Image Encoding Device 33 Film Particle Information Extraction Device 34 Encoding Information 35 Film Particle Information 40 Image Decoding Device 41 Film Particle Addition Device 42 Decoded Image Information 43 Decoded Image 51 Basic Pattern Extraction Device 52 Strength Extraction Device 53 Film Particles Basic pattern information 54 Film grain intensity information 61 Uniform area extraction devices 62a and 62b Filter banks 63 to 67 Histogram calculation apparatus 71 Uniform area extraction apparatus 72 Intensity calculation apparatus 81 Basic pattern generation apparatus 82 Pattern intensity calculation apparatus 83 Area average value calculation apparatus 91 Noise generators 92 to 96 Histogram matching device 101 Synthesis filter bank
Claims (15)
入力画像中で急峻な変化を含まない領域を検出する領域検出手段と、
上記領域検出手段により検出された上記領域内の画素値のレベル分布を示す基本パターン情報を抽出する第１の抽出手段と、
付加すべきフィルム粒子の強度を表す強度情報を求める第２の抽出手段と、
符号化データと上記基本パターン情報と上記強度情報とを伝送または記録する手段と
からなることを特徴とする画像処理装置。 In an image processing apparatus that encodes an input image signal with high efficiency,
An area detecting means for detecting an area that does not include a steep change in the input image;
First extraction means for extracting basic pattern information indicating a level distribution of pixel values in the area detected by the area detection means;
A second extraction means for obtaining intensity information representing the intensity of film particles to be added;
An image processing apparatus comprising: means for transmitting or recording encoded data, the basic pattern information, and the intensity information.
上記第１の抽出手段は、上記領域内の画素の値の度数分布を上記基本パターン情報とする画像処理装置。 The image processing apparatus according to claim 1.
The image processing apparatus wherein the first extraction unit uses the frequency distribution of the pixel values in the region as the basic pattern information.
上記第１の抽出手段は、上記領域内の画素を複数の周波数帯域に分割し、各周波数帯域毎に上記基本パターン情報を抽出する画像処理装置。 The image processing apparatus according to claim 1.
The first extraction means is an image processing device that divides pixels in the region into a plurality of frequency bands and extracts the basic pattern information for each frequency band.
上記第２の抽出手段は、領域毎の画素の平均値に応じて上記強度情報を生成する画像処理装置。 The image processing apparatus according to claim 1.
The image processing apparatus, wherein the second extraction unit generates the intensity information according to an average value of pixels for each region.
上記第１および第２の抽出手段が上記基本パターン情報および上記強度情報を上記入力画像中のフレーム毎に検出する画像処理装置。 The image processing apparatus according to claim 1.
An image processing apparatus in which the first and second extraction means detect the basic pattern information and the intensity information for each frame in the input image.
上記第１および第２の抽出手段が上記基本パターン情報および上記強度情報を上記入力画像中のシーン毎に検出する画像処理装置。 The image processing apparatus according to claim 1.
An image processing apparatus in which the first and second extraction means detect the basic pattern information and the intensity information for each scene in the input image.
上記第１および第２の抽出手段の一方が上記基本パターン情報および上記強度情報の一方を上記入力画像のフレーム毎に検出し、上記第１および第２の抽出手段の他方が上記基本パターン情報および上記強度情報の他方を上記入力画像中のシーン毎に検出する画像処理装置。 The image processing apparatus according to claim 1.
One of the first and second extracting means detects one of the basic pattern information and the intensity information for each frame of the input image, and the other of the first and second extracting means is the basic pattern information and An image processing apparatus for detecting the other of the intensity information for each scene in the input image.
符号化データを復号する復号手段と、
ランダムノイズのレベル分布を上記基本パターン情報に示されるレベル分布と同様のものに変換してフィルム粒子画像を再構成する基本パターン生成手段と、
上記強度情報によって上記フィルム粒子画像の強度を調整する強度調整手段と、
強度が調整された上記フィルム粒子画像を上記復号手段により得られた復号画像情報に付加する付加手段と
からなる画像処理装置。 Receives high-efficiency encoded data, basic pattern information indicating the level distribution of pixel values in an area that does not contain a steep change in the input image, and intensity information indicating the degree to which film particles should be added Or an image processing apparatus for reproduction,
Decoding means for decoding the encoded data;
A basic pattern generating means for reconstructing a film grain image by converting the random noise level distribution into the same level distribution as shown in the basic pattern information;
Intensity adjusting means for adjusting the intensity of the film particle image according to the intensity information;
An image processing apparatus comprising: an adding unit that adds the film particle image whose intensity has been adjusted to decoded image information obtained by the decoding unit.
上記基本パターン生成手段により生成された上記フィルム粒子画像内の領域を切り出して上記復号画像情報に付加する画像処理装置。 The image processing apparatus according to claim 8.
An image processing apparatus that cuts out an area in the film particle image generated by the basic pattern generation means and adds the cut out area to the decoded image information.
切り出される上記領域の位置をランダムに変化させる画像処理装置。 The image processing apparatus according to claim 9.
An image processing apparatus that randomly changes the position of the region to be cut out.
上記強度調整手段は、画像の一定領域単位で強度を調整する画像処理装置。 The image processing apparatus according to claim 8.
The intensity adjustment means is an image processing apparatus that adjusts the intensity in units of a certain area of an image.
符号化側に、
入力画像中で急峻な変化を含まない領域を検出する領域検出手段と、
上記領域検出手段により検出された上記領域内の画素値のレベル分布を示す基本パターン情報を抽出する第１の抽出手段と、
付加すべきフィルム粒子の強度を表す強度情報を求める第２の抽出手段と、
符号化データと上記基本パターン情報と上記強度情報とを伝送または記録する手段と
を設け、
復号側に、
上記符号化データと、上記基本パターン情報と、上記強度情報とを受信または再生する手段と、
ランダムノイズのレベル分布を上記基本パターン情報に示されるレベル分布と同様のものに変換してフィルム粒子画像を再構成する基本パターン生成手段と、
上記強度情報によって上記フィルム粒子画像の強度を調整する強度調整手段と、
強度が調整された上記フィルム粒子画像を上記復号手段により得られた復号画像情報に付加する付加手段と
を設けた画像処理装置。 In an image processing apparatus that performs high-efficiency encoding of an input image signal, transmits or records encoded data, and decodes the encoded data received or reproduced,
On the encoding side,
An area detecting means for detecting an area that does not include a steep change in the input image;
First extraction means for extracting basic pattern information indicating a level distribution of pixel values in the area detected by the area detection means;
A second extraction means for obtaining intensity information representing the intensity of film particles to be added;
Means for transmitting or recording the encoded data, the basic pattern information, and the intensity information;
On the decryption side,
Means for receiving or reproducing the encoded data, the basic pattern information, and the intensity information;
A basic pattern generating means for reconstructing a film grain image by converting the random noise level distribution into the same level distribution as shown in the basic pattern information;
Intensity adjusting means for adjusting the intensity of the film particle image according to the intensity information;
An image processing apparatus comprising: an adding unit that adds the film particle image whose intensity is adjusted to the decoded image information obtained by the decoding unit.
入力画像中で急峻な変化を含まない領域を検出する領域検出ステップと、
上記領域検出ステップにより検出された上記領域内の画素値のレベル分布を示す基本パターン情報を抽出する第１の抽出ステップと、
付加すべきフィルム粒子の強度を表す強度情報を求める第２の抽出ステップと、
符号化データと上記基本パターン情報と上記強度情報とを伝送または記録するステップと
からなることを特徴とする画像処理方法。 In an image processing method for efficiently encoding an input image signal,
An area detection step for detecting an area that does not include a steep change in the input image;
A first extraction step of extracting basic pattern information indicating a level distribution of pixel values in the region detected by the region detection step;
A second extraction step for obtaining intensity information representing the intensity of film particles to be added;
An image processing method comprising: transmitting or recording encoded data, the basic pattern information, and the intensity information.
符号化データを復号する復号ステップと、
ランダムノイズのレベル分布を上記基本パターン情報に示されるレベル分布と同様のものに変換してフィルム粒子画像を再構成する基本パターン生成ステップと、
上記強度情報によって上記フィルム粒子画像の強度を調整する強度調整ステップと、
強度が調整された上記フィルム粒子画像を上記復号ステップにより得られた復号画像情報に付加する付加ステップと
からなる画像処理方法。 Receives high-efficiency encoded data, basic pattern information indicating the level distribution of pixel values in a region that does not contain a steep change in the input image, and intensity information indicating the degree to which film particles should be added Or an image processing method for reproduction,
A decoding step of decoding the encoded data;
A basic pattern generation step of reconstructing a film grain image by converting the random noise level distribution into the same level distribution as shown in the basic pattern information;
An intensity adjustment step of adjusting the intensity of the film particle image according to the intensity information;
An image processing method comprising: an adding step of adding the film grain image whose intensity is adjusted to the decoded image information obtained by the decoding step.
符号化側の処理は、
入力画像中で急峻な変化を含まない領域を検出する領域検出ステップと、
上記領域検出ステップにより検出された上記領域内の画素値のレベル分布を示す基本パターン情報を抽出する第１の抽出ステップと、
付加すべきフィルム粒子の強度を表す強度情報を求める第２の抽出ステップと、
符号化データと上記基本パターン情報と上記強度情報とを伝送または記録するステップと
からなり、
復号側の処理は、
上記符号化データと、上記基本パターン情報と、上記強度情報とを受信または再生するステップと、
ランダムノイズのレベル分布を上記基本パターン情報に示されるレベル分布と同様のものに変換してフィルム粒子画像を再構成する基本パターン生成ステップと、
上記強度情報によって上記フィルム粒子画像の強度を調整する強度調整ステップと、
強度が調整された上記フィルム粒子画像を上記復号ステップにより得られた復号画像情報に付加する付加ステップと
からなる画像処理方法。
In an image processing method for encoding an input image signal with high efficiency, transmitting or recording encoded data, and decoding the received or reproduced encoded data,
The processing on the encoding side is
An area detection step for detecting an area that does not include a steep change in the input image;
A first extraction step of extracting basic pattern information indicating a level distribution of pixel values in the region detected by the region detection step;
A second extraction step for obtaining intensity information representing the intensity of film particles to be added;
Transmitting or recording the encoded data, the basic pattern information, and the intensity information, and
The decryption process is
Receiving or reproducing the encoded data, the basic pattern information, and the intensity information;
A basic pattern generation step of reconstructing a film grain image by converting the random noise level distribution into the same level distribution as shown in the basic pattern information;
An intensity adjustment step of adjusting the intensity of the film particle image according to the intensity information;
An image processing method comprising: an adding step of adding the film grain image whose intensity is adjusted to the decoded image information obtained by the decoding step.
Priority Applications (14)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004302676A JP4543873B2 (en) | 2004-10-18 | 2004-10-18 | Image processing apparatus and processing method |
| CN2010106070457A CN102088601B (en) | 2004-10-18 | 2005-09-14 | Image processing device and image processing method |
| US11/665,558 US8139648B2 (en) | 2004-10-18 | 2005-09-14 | Image processing apparatus and image processing method |
| CN2005800434175A CN101080929B (en) | 2004-10-18 | 2005-09-14 | Image processing device and processing method |
| CN2010106065980A CN102088600B (en) | 2004-10-18 | 2005-09-14 | Image processing device and image processing method |
| KR20077008703A KR101193267B1 (en) | 2004-10-18 | 2005-09-14 | Image processing device and processing method |
| CA 2584065 CA2584065A1 (en) | 2004-10-18 | 2005-09-14 | Image processing apparatus and image processing method |
| AU2005297645A AU2005297645B2 (en) | 2004-10-18 | 2005-09-14 | Image processing device and processing method |
| RU2007118502A RU2345417C1 (en) | 2004-10-18 | 2005-09-14 | Device and method of image processing |
| EP20050785876 EP1814333A1 (en) | 2004-10-18 | 2005-09-14 | Image processing device and processing method |
| PCT/JP2005/017327 WO2006043392A1 (en) | 2004-10-18 | 2005-09-14 | Image processing device and processing method |
| MX2007004577A MX2007004577A (en) | 2004-10-18 | 2005-09-14 | Image processing device and processing method. |
| BRPI0516944-5A BRPI0516944A (en) | 2004-10-18 | 2005-09-14 | device and image processing method |
| US13/328,540 US8681878B2 (en) | 2004-10-18 | 2011-12-16 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004302676A JP4543873B2 (en) | 2004-10-18 | 2004-10-18 | Image processing apparatus and processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006115380A true JP2006115380A (en) | 2006-04-27 |
| JP4543873B2 JP4543873B2 (en) | 2010-09-15 |
Family
ID=36202814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004302676A Expired - Fee Related JP4543873B2 (en) | 2004-10-18 | 2004-10-18 | Image processing apparatus and processing method |
Country Status (11)
| Country | Link |
|---|---|
| US (2) | US8139648B2 (en) |
| EP (1) | EP1814333A1 (en) |
| JP (1) | JP4543873B2 (en) |
| KR (1) | KR101193267B1 (en) |
| CN (3) | CN102088601B (en) |
| AU (1) | AU2005297645B2 (en) |
| BR (1) | BRPI0516944A (en) |
| CA (1) | CA2584065A1 (en) |
| MX (1) | MX2007004577A (en) |
| RU (1) | RU2345417C1 (en) |
| WO (1) | WO2006043392A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015507902A (en) * | 2012-01-18 | 2015-03-12 | ロッサト、ルカ | Separate encoding and decoding of stable information and transient / stochastic information |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4543873B2 (en) * | 2004-10-18 | 2010-09-15 | ソニー株式会社 | Image processing apparatus and processing method |
| KR101247826B1 (en) * | 2008-12-26 | 2013-03-26 | 후지쯔 가부시끼가이샤 | Image processing system, image processing device, and image processing method |
| JP5751679B2 (en) * | 2010-01-15 | 2015-07-22 | マーベル ワールド トレード リミテッド | Using film grain to mask compression artifacts |
| US20110249743A1 (en) * | 2010-04-09 | 2011-10-13 | Jie Zhao | Super-block for high performance video coding |
| JP5693089B2 (en) * | 2010-08-20 | 2015-04-01 | キヤノン株式会社 | Image processing apparatus and image processing apparatus control method |
| RU2452025C1 (en) * | 2011-03-02 | 2012-05-27 | Открытое акционерное общество "Государственный Рязанский приборный завод" | Method of enhancing digital images |
| US9451271B2 (en) | 2011-07-21 | 2016-09-20 | Blackberry Limited | Adaptive filtering based on pattern information |
| EP2735144B1 (en) * | 2011-07-21 | 2020-01-08 | BlackBerry Limited | Adaptive filtering based on pattern information |
| US9438821B1 (en) * | 2014-04-11 | 2016-09-06 | Suny Behar Parker | Method for applying multi-layered film grain and texture mapping to a digital video image |
| WO2023211861A1 (en) * | 2022-04-25 | 2023-11-02 | Invizipro Llc | Simulation of analog film characteristics |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03210889A (en) * | 1990-01-16 | 1991-09-13 | Nec Corp | Predictive decoding circuit |
| JPH0497681A (en) * | 1990-08-16 | 1992-03-30 | Nippon Telegr & Teleph Corp <Ntt> | Video encoding and decoding device |
| JPH08149466A (en) * | 1994-09-30 | 1996-06-07 | Sanyo Electric Co Ltd | Moving image processing method and processor therefor |
| JPH08163594A (en) * | 1994-12-12 | 1996-06-21 | Sony Corp | Moving image decoding method and moving image decoder |
| JPH09107549A (en) * | 1995-08-09 | 1997-04-22 | Sony Corp | Dynamic image coding method and device and signal recording medium |
| JP2002359845A (en) * | 2001-05-31 | 2002-12-13 | Matsushita Electric Ind Co Ltd | Dither processor |
| JP2005080301A (en) * | 2003-09-01 | 2005-03-24 | Matsushita Electric Ind Co Ltd | Dynamic image encoding method and dynamic image decoding method |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7720249B2 (en) * | 1993-11-18 | 2010-05-18 | Digimarc Corporation | Watermark embedder and reader |
| US8505108B2 (en) * | 1993-11-18 | 2013-08-06 | Digimarc Corporation | Authentication using a digital watermark |
| US6381365B2 (en) * | 1997-08-22 | 2002-04-30 | Minolta Co., Ltd. | Image data processing apparatus and image data processing method |
| JPH11250246A (en) | 1998-02-27 | 1999-09-17 | Fuji Photo Film Co Ltd | Image processing method and image processor |
| JP3913985B2 (en) * | 1999-04-14 | 2007-05-09 | 富士通株式会社 | Character string extraction apparatus and method based on basic components in document image |
| US6639943B1 (en) * | 1999-11-23 | 2003-10-28 | Koninklijke Philips Electronics N.V. | Hybrid temporal-SNR fine granular scalability video coding |
| US6868190B1 (en) * | 2000-10-19 | 2005-03-15 | Eastman Kodak Company | Methods for automatically and semi-automatically transforming digital image data to provide a desired image look |
| US20020118742A1 (en) * | 2001-02-26 | 2002-08-29 | Philips Electronics North America Corporation. | Prediction structures for enhancement layer in fine granular scalability video coding |
| JP2002315004A (en) * | 2001-04-09 | 2002-10-25 | Ntt Docomo Inc | Image-encoding method and device, image-decoding method and device, and image processing system |
| US7546464B2 (en) * | 2001-06-26 | 2009-06-09 | Canon Kabushiki Kaisha | Network access terminal, network system, method of network system, storage medium, and program code |
| US20030011795A1 (en) * | 2001-06-27 | 2003-01-16 | Bobo Wang | Belt control means for an image forming apparatus |
| JP4273692B2 (en) * | 2002-01-21 | 2009-06-03 | 宇部興産株式会社 | Method for producing thermoelectric conversion material |
| US7218785B2 (en) * | 2002-10-09 | 2007-05-15 | Xerox Corporation | Systems for spectral multiplexing of source images to provide a composite image, for rendering the composite image, and for spectral demultiplexing of the composite image |
| JP2004236251A (en) * | 2003-02-03 | 2004-08-19 | Noritsu Koki Co Ltd | Image processing apparatus, image processing method, image processing program, and recording medium with the image processing program recorded thereon |
| BRPI0408570B1 (en) * | 2003-04-10 | 2018-02-27 | Dolby International Ab | PROCESSES AND APPARATUS FOR SIMULATING FILM GRANULATION IN ONE IMAGE |
| EP1661089B1 (en) * | 2003-08-29 | 2007-12-12 | THOMSON Licensing | Method and apparatus for modeling film grain patterns in the frequency domain |
| RU2342703C2 (en) * | 2003-09-23 | 2008-12-27 | Томсон Лайсенсинг | Method of simulating graininess of film through frequency filtering |
| US7295616B2 (en) * | 2003-11-17 | 2007-11-13 | Eastman Kodak Company | Method and system for video filtering with joint motion and noise estimation |
| JP4543873B2 (en) * | 2004-10-18 | 2010-09-15 | ソニー株式会社 | Image processing apparatus and processing method |
-
2004
- 2004-10-18 JP JP2004302676A patent/JP4543873B2/en not_active Expired - Fee Related
-
2005
- 2005-09-14 US US11/665,558 patent/US8139648B2/en not_active Expired - Fee Related
- 2005-09-14 RU RU2007118502A patent/RU2345417C1/en not_active IP Right Cessation
- 2005-09-14 AU AU2005297645A patent/AU2005297645B2/en not_active Ceased
- 2005-09-14 CN CN2010106070457A patent/CN102088601B/en not_active Expired - Fee Related
- 2005-09-14 MX MX2007004577A patent/MX2007004577A/en active IP Right Grant
- 2005-09-14 WO PCT/JP2005/017327 patent/WO2006043392A1/en active Application Filing
- 2005-09-14 CN CN2010106065980A patent/CN102088600B/en not_active Expired - Fee Related
- 2005-09-14 CN CN2005800434175A patent/CN101080929B/en not_active Expired - Fee Related
- 2005-09-14 KR KR20077008703A patent/KR101193267B1/en not_active IP Right Cessation
- 2005-09-14 BR BRPI0516944-5A patent/BRPI0516944A/en not_active IP Right Cessation
- 2005-09-14 EP EP20050785876 patent/EP1814333A1/en not_active Withdrawn
- 2005-09-14 CA CA 2584065 patent/CA2584065A1/en not_active Abandoned
-
2011
- 2011-12-16 US US13/328,540 patent/US8681878B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03210889A (en) * | 1990-01-16 | 1991-09-13 | Nec Corp | Predictive decoding circuit |
| JPH0497681A (en) * | 1990-08-16 | 1992-03-30 | Nippon Telegr & Teleph Corp <Ntt> | Video encoding and decoding device |
| JPH08149466A (en) * | 1994-09-30 | 1996-06-07 | Sanyo Electric Co Ltd | Moving image processing method and processor therefor |
| JPH08163594A (en) * | 1994-12-12 | 1996-06-21 | Sony Corp | Moving image decoding method and moving image decoder |
| JPH09107549A (en) * | 1995-08-09 | 1997-04-22 | Sony Corp | Dynamic image coding method and device and signal recording medium |
| JP2002359845A (en) * | 2001-05-31 | 2002-12-13 | Matsushita Electric Ind Co Ltd | Dither processor |
| JP2005080301A (en) * | 2003-09-01 | 2005-03-24 | Matsushita Electric Ind Co Ltd | Dynamic image encoding method and dynamic image decoding method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015507902A (en) * | 2012-01-18 | 2015-03-12 | ロッサト、ルカ | Separate encoding and decoding of stable information and transient / stochastic information |
| US10504246B2 (en) | 2012-01-18 | 2019-12-10 | V-Nova International Limited | Distinct encoding and decoding of stable information and transient/stochastic information |
| US11232598B2 (en) | 2012-01-18 | 2022-01-25 | V-Nova International Limited | Distinct encoding and decoding of stable information and transient/stochastic information |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2584065A1 (en) | 2006-04-27 |
| CN102088601A (en) | 2011-06-08 |
| CN102088601B (en) | 2013-07-24 |
| CN102088600A (en) | 2011-06-08 |
| CN101080929B (en) | 2011-03-02 |
| CN101080929A (en) | 2007-11-28 |
| AU2005297645B2 (en) | 2009-12-24 |
| WO2006043392A1 (en) | 2006-04-27 |
| US8681878B2 (en) | 2014-03-25 |
| JP4543873B2 (en) | 2010-09-15 |
| KR20070072523A (en) | 2007-07-04 |
| US8139648B2 (en) | 2012-03-20 |
| EP1814333A1 (en) | 2007-08-01 |
| AU2005297645A1 (en) | 2006-04-27 |
| RU2345417C1 (en) | 2009-01-27 |
| US20120086861A1 (en) | 2012-04-12 |
| KR101193267B1 (en) | 2012-10-19 |
| CN102088600B (en) | 2013-08-21 |
| US20080137727A1 (en) | 2008-06-12 |
| MX2007004577A (en) | 2007-09-11 |
| BRPI0516944A (en) | 2008-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101193267B1 (en) | Image processing device and processing method | |
| JP3943333B2 (en) | Image encoding method, image encoding / decoding method, image encoding apparatus, and image recording / reproducing apparatus | |
| JP5558603B2 (en) | High dynamic range codec | |
| US9317957B2 (en) | Enhancement of stereoscopic effect of an image through use of modified depth information | |
| US7933462B2 (en) | Representing and reconstructing high dynamic range images | |
| US10701359B2 (en) | Real-time content-adaptive perceptual quantizer for high dynamic range images | |
| US8467445B2 (en) | Video watermarking | |
| EP1005724A4 (en) | Post-compression hidden data transport for video | |
| US8145006B2 (en) | Image processing apparatus and image processing method capable of reducing an increase in coding distortion due to sharpening | |
| US11153468B2 (en) | Image processing method and system | |
| JP2558996B2 (en) | Image coding method and image coding apparatus | |
| US20070140343A1 (en) | Image encoding method, and image decoding method | |
| JP3882780B2 (en) | Encryption information embedding device and encryption information reproducing device | |
| JP2005160117A (en) | Image signal decoding apparatus and image signal decoding method | |
| JP2008141436A (en) | Moving image encoding method, device and program | |
| JP2000197011A (en) | Method and device for encoding animation and storage medium with animation encoding program stored therein |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060209 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100608 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100621 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4543873 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |