JP2017098919A - Image encoder, image encoding method, and program - Google Patents
Image encoder, image encoding method, and program Download PDFInfo
- Publication number
- JP2017098919A JP2017098919A JP2015232523A JP2015232523A JP2017098919A JP 2017098919 A JP2017098919 A JP 2017098919A JP 2015232523 A JP2015232523 A JP 2015232523A JP 2015232523 A JP2015232523 A JP 2015232523A JP 2017098919 A JP2017098919 A JP 2017098919A
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- region
- light scattering
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、画像の符号化において符号量を制御する技術に関する。 The present invention relates to a technique for controlling a code amount in image encoding.
撮像装置によって屋外を撮影する場合に、大気中の霧や煙や浮遊物などによって光が散乱する影響で、撮像された画像の明瞭さが損なわれてしまうことがある。特許文献1には、画像内における光の散乱の影響を画像処理によって軽減する技術が記載されている。 When shooting outdoors with an imaging device, the clarity of captured images may be impaired due to the effect of light scattering due to fog, smoke, or floating substances in the atmosphere. Patent Document 1 describes a technique for reducing the influence of light scattering in an image by image processing.
一方、動画像の圧縮記録やネットワークを介した配信に用いられる符号化方式として、H.264/MPEG−4 AVC(以下H.264)が知られている。H.264においては、画像をマクロブロックと呼ばれるブロック単位で符号化するが、そのマクロブロック毎に量子化パラメータが可変であり、量子化パラメータを変更することで量子化ステップサイズを制御できる。特許文献2には、量子化ステップサイズを制御することによって、マクロブロックに割り当てる符号量を変えて画質を制御することが記載されている。 On the other hand, as an encoding method used for compressed recording of moving images and distribution via a network, H.264 is used. H.264 / MPEG-4 AVC (hereinafter referred to as H.264) is known. H. In H.264, an image is encoded in units of blocks called macroblocks. The quantization parameter is variable for each macroblock, and the quantization step size can be controlled by changing the quantization parameter. Patent Document 2 describes that the image quality is controlled by changing the code amount allocated to the macroblock by controlling the quantization step size.
具体的には、特許文献2に記載の符号化制御方法では、符号化する画像の各マクロブロックの輝度平均値、色差の平均値、輝度の分散値、及び動きベクトル量の平均値等の評価値を乗算して符号化難易度を計算し、各マクロブロックに符号量を割り当てる。そしてその割り当てた符号量に応じて量子化ステップサイズを制御し、非可逆符号化を行う。この方法では、色差の平均値、輝度の分散値、及び動きベクトル量の平均値が仮に同じだとすると、輝度平均値が高いマクロブロックほど割り当てる符号量を少なくする。これは、人間の目が高輝度領域での符号化ノイズを認識しにくいためである。よって、例えば画像内に霧や煙や浮遊物などによる光の散乱の影響を受けた高輝度の光散乱領域が存在する場合、これらの領域に割り当てられる符号量は少なくなる。 Specifically, in the encoding control method described in Patent Document 2, evaluation of the luminance average value, the color difference average value, the luminance variance value, the motion vector amount average value, and the like of each macroblock of the image to be encoded is performed. The encoding difficulty level is calculated by multiplying the values, and a code amount is assigned to each macroblock. The quantization step size is controlled according to the allocated code amount, and lossy encoding is performed. In this method, assuming that the average value of color differences, the variance value of luminance, and the average value of motion vector amounts are the same, the code amount to be allocated is reduced as the macroblock has a higher luminance average value. This is because it is difficult for human eyes to recognize encoding noise in a high luminance region. Therefore, for example, when there are high-intensity light scattering regions in the image affected by light scattering due to fog, smoke, floating objects, etc., the amount of code assigned to these regions is reduced.
しかしながら、非可逆符号化された画像を復号化した後に光の散乱の影響を軽減する画像処理を行った場合に、処理画像内の光散乱領域において十分な画質が得られない場合がある。例えば、特許文献2に記載の方法で非可逆符号化された画像を復号化し、特許文献1に記載の画像処理を行った場合に、処理画像内の光散乱領域において非可逆符号化によるブロックノイズや偽色が目立ってしまうことがある。 However, when image processing that reduces the influence of light scattering after decoding an irreversible encoded image is performed, sufficient image quality may not be obtained in the light scattering region in the processed image. For example, when an image that has been irreversibly encoded by the method described in Patent Document 2 is decoded and image processing described in Patent Document 1 is performed, block noise due to irreversible encoding in a light scattering region in the processed image And false colors may be noticeable.
本発明は上記課題に鑑みてなされたものであり、復号化後の画像に対して光の散乱の影響を軽減する画像処理を行った処理画像における光散乱領域の画質が向上されるような、非可逆符号化を行うための技術を提供することを目的とする。 The present invention has been made in view of the above problems, and the image quality of the light scattering region in the processed image in which the image processing for reducing the influence of light scattering on the image after decoding is improved is improved. An object of the present invention is to provide a technique for performing lossy encoding.
上記課題を解決するため、本発明の画像符号化装置は、例えば以下の構成を備える。すなわち、画像を取得する取得手段と、前記取得手段が取得した画像内の光散乱領域を特定する特定手段と、前記特定手段が特定した領域の符号量が、前記特定手段により特定されない場合の当該領域の符号量よりも多くなるように、非可逆符号化に用いるパラメータを決定する決定手段と、前記決定手段が決定したパラメータを用いて、前記取得手段が取得した画像を非可逆符号化する符号化手段とを有する。 In order to solve the above problems, an image encoding apparatus according to the present invention has, for example, the following configuration. That is, an acquisition unit that acquires an image, a specifying unit that specifies a light scattering region in the image acquired by the acquiring unit, and a code amount of the region specified by the specifying unit is not specified by the specifying unit. A determination unit that determines a parameter used for lossy encoding so that the code amount of the region is larger, and a code that performs lossy encoding of the image acquired by the acquisition unit using the parameter determined by the determination unit Means.
本発明によれば、復号化後の画像に対して光の散乱の影響を軽減する画像処理を行った処理画像における光散乱領域の画質が向上されるような、非可逆符号化を行うことができる。 According to the present invention, it is possible to perform lossy encoding so that the image quality of a light scattering region in a processed image obtained by performing image processing for reducing the influence of light scattering on a decoded image is improved. it can.
以下、図面を参照して、本発明をその実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る本発明を限定するものではなく、また、以下の実施形態で説明する特徴の組み合わせの全てが本発明に必須のものとは限らない。 Hereinafter, the present invention will be described in detail based on the embodiments with reference to the drawings. The following embodiments do not limit the present invention according to the scope of claims, and all combinations of features described in the following embodiments are not necessarily essential to the present invention.
図1は、本実施形態に係る、画像符号化装置100の構成を示すブロック図である。図1に示すように画像符号化装置100は、撮像部101、参照画像生成部102(以下、生成部102)、符号化制御部103、符号化部104、及びビットレート設定部105を備える。図1の各処理部は1つの物理的な回路によって構成されていてもよいし、複数の回路で構成されていてもよい。なお、画像符号化装置100が上記の構成要素の全てを備えることは必須でない。
FIG. 1 is a block diagram illustrating a configuration of an
撮像部101によって撮像された画像は生成部102及び符号化部104に入力される。生成部102は撮像部101で撮像された画像を元に符号化制御用の参照画像を生成し、符号化制御部103に出力する。生成部102が生成する参照画像は、例えば霧や煙や浮遊物の濃度を示す画像といった、光の散乱の度合いを表す画像などである。符号化制御部103は入力された参照画像を参照し、量子化パラメータを決定する。符号化部104は符号化制御部103が決定した量子化パラメータに基づいて、撮像部101から入力された画像を非可逆符号化する。符号化部104から出力される符号化済み画像データ(符号化ストリーム)はネットワークを介して送信されるか又は種々の記憶媒体に記憶される。ビットレート設定部105は、ネットワークもしくはビットレート設定部105が備えるユーザーインタフェースを介して、符号化部104から出力される符号化ストリームのビットレートの上限を設定する。ビットレート設定部105は設定した上限ビットレートを符号化制御部103に通知し、符号化制御部103は通知された上限ビットレートに応じて符号化部104を制御する。
An image captured by the
本実施形態における画像符号化装置100は、ネットワークカメラとして構成される。ここで、画像符号化装置100が撮像した画像に光散乱領域が含まれる場合を考える。本実施形態における光散乱領域は、大気中の霧や煙や浮遊物などによる光の散乱の影響、又は水中における光の散乱の影響が表れている領域である。画像内の光散乱領域には、例えばコントラストの低下や解像感の減少などの画質の劣化が生じる。このような画像内における光の散乱の影響を軽減する画像処理を、本実施形態では光散乱除去と呼ぶ。
The
仮に画像符号化装置100が撮像画像に対して光散乱除去を行ってから符号化し、符号化された画像を他の受信装置に送信することができれば、受信装置は受信した画像を復号化することで、光の散乱の影響が軽減された画像を取得することができる。しかしながら、画像の撮像、光散乱除去、符号化及び送信処理の全てを画像符号化装置100が行うと、画像符号化装置100の処理量が多くなってしまう。また、画像符号化装置100が光散乱除去の機能を備えていない場合もある。
If the
一方、画像符号化装置100が撮像画像をそのまま非可逆符号化して送信し、受信装置がそれを受信して復号化した後に光散乱除去を行う場合、光散乱領域におけるブロックノイズや偽色が目立ってしまい十分な画質を得られない場合がある。そこで本実施形態の画像符号化装置100は、受信装置が復号化後の画像に対して光散乱除去を行った場合の光散乱領域の画質が向上されるように、撮像画像を十分な符号量で符号化して受信装置に送信する。ただし、画像符号化装置100はネットワークカメラに限定されるものではない。例えば、画像符号化装置100は撮像部101を備えず、外部の装置からネットワークを介して取得した画像に対して符号化処理を行ってもよい。
On the other hand, when the
以下、本実施形態の画像符号化装置100の動作を詳細に説明する。図2は、画像符号化装置100の動作を説明するためのフローチャートである。図2の処理は、画像符号化装置100に対して撮像を開始するための指示が行われたタイミングで開始される。ただし、図2の処理の開始タイミングは上記タイミングに限定されない。
Hereinafter, the operation of the
S201では、撮像部101が撮像により画像を取得する。本実施形態において撮像部101は動画を撮像するものとし、以後、撮像部101で撮像された動画の各フレームを入力画像と呼ぶ。ただしこれに限らず、撮像部101は静止画を撮像するものとしてもよく、その場合は撮像部101が撮像した静止画が入力画像となる。撮像により取得される入力画像は、例えばRGBやYUVなどの形式のカラー画像でもよいし、モノクロームの画像でもよい。
In S201, the
S202では、生成部102が、撮像部101が取得した入力画像から参照画像を生成する。本実施形態において生成部102は、撮像部101が取得した入力画像内の複数の処理対象画素それぞれに対して、その処理対象画素における複数の色成分の値とその処理対象画素の明るさとの少なくとも何れに基づく評価値を決定する。そして生成部102は、決定した評価値を画素値とする参照画像を生成する。
In S <b> 202, the
例えば、生成部102は、入力画像内の処理対象画素の評価値を、その処理対象画素から所定範囲内に存在する画素におけるR値、G値及びB値のうちの最小値に応じて決定する。この方法で決定された評価値を画素値とする参照画像を、ダークチャネル画像と呼ぶ。ダークチャネル画像内の画素値が大きい画素に対応する入力画像内の画素(評価値が大きい画素)は、近傍画素におけるR値、G値及びB値の全てが大きく、光の散乱の影響が表れている可能性が高い。また例えば、生成部102は、入力画像内の処理対象画素の評価値を、その処理対象画素から所定範囲内に存在する画素の輝度に応じて決定する。この方法で決定された評価値を画素値とする参照画像を、輝度画像と呼ぶ。輝度画像内の画素値が大きい画素に対応する入力画像内の画素は、近傍画素における輝度が大きく、光の散乱の影響が表れている可能性が高い。上記の所定範囲は、1辺が複数の画素で構成される矩形の範囲であってもよいし、その他の形状であってもよい。例えば、処理対象画素から所定範囲内に存在する画素が、処理対象画素のみであってもよい。
For example, the
なお、参照画像はこれらに限らず、例えばダークチャネル画像の画素値と環境光の強度とに基づいて定まる画素値を有する、透過画像と呼ばれる画像であってもよいし、R値、G値及びB値の差など他の評価値に基づく画素値を有する画像であってもよい。また、本実施形態において参照画像はモノクローム画像であるものとするが、これに限定されない。例えば、参照画像の各画素が、ダークチャネル画像に対応する成分と環境光の強度に対応する成分との両方を含んでいてもよい。また、本実施形態において参照画像は入力画像と同じ解像度であるものとして説明するが、入力画像と参照画像の解像度が異なっていてもよい。 The reference image is not limited to these, and may be an image called a transmission image having a pixel value determined based on, for example, the pixel value of the dark channel image and the intensity of the ambient light, and may be an R value, a G value, and It may be an image having pixel values based on other evaluation values such as a difference in B values. In the present embodiment, the reference image is a monochrome image, but is not limited thereto. For example, each pixel of the reference image may include both a component corresponding to the dark channel image and a component corresponding to the intensity of the ambient light. In the present embodiment, the reference image is described as having the same resolution as the input image, but the resolution of the input image and the reference image may be different.
S203では、符号化制御部103が、生成部102が決定した評価値に基づく参照画像をもとに、撮像部101が取得した入力画像内の光散乱領域を特定する。本実施形態において画像符号化装置100は、撮像部101が取得した入力画像を複数の分割領域(マクロブロック)に分割し、分割領域毎に符号化を行う。そのため光散乱領域の特定には、入力画像内の各マクロブロックの位置に対応する、参照画像内の16×16画素の画素値を利用する。なお、本実施形態では各分割領域を16×16画素のマクロブロックとするが、分割領域のサイズはこれに限定されるものではなく、例えば8×8画素や32×32画素でもよく、32×16画素のように非対称でもよい。また参照画像が入力画像より小さい解像度の場合は適宜対応をとる。例えば、参照画像が入力画像の1/2の解像度の場合は、参照画像内の8×8画素が入力画像内の16×16画素のマクロブロックに対応する。
In S <b> 203, the
符号化制御部103は、入力画像の処理対象マクロブロックに対応する参照画像の16×16画素の一つ一つの画素値を閾値T1と大小比較し、比較結果が条件を満たす画素の数をカウントする。条件の内容は参照画像の生成方法によって異なる。16×16画素の全ての画素において閾値T1との比較が完了した時点でのカウント値を値S1とする。さらに符号化制御部103は、値S1と閾値T2との大小比較を行う。閾値T2との比較結果が条件を満たす場合、当該マクロブロックは光散乱領域に含まれると判定される。
The
例えば参照画像がダークチャネル画像又は輝度画像である場合を考える。このとき符号化制御部103は、撮像部101が取得した入力画像を分割した複数の分割領域(マクロブロック)のうち、生成部102が決定した評価値が閾値T1以上である画素を所定数(閾値T2)以上含む分割領域を、光散乱領域と特定する。すなわち、ダークチャネル画像又は輝度画像において画素値が閾値以上の画素には光の散乱の影響が表れている可能性が高いため、このような画素を所定数以上含む16×16画素に対応するマクロブロックを光散乱領域とする。ただしこれに限らず、評価値の決定方法によっては、参照画像において画素値が閾値T1以下であるような画素の数を値S1としてもよいし、値S1が閾値T2以下であるようなマクロブロックを光散乱領域としてもよい。
For example, consider a case where the reference image is a dark channel image or a luminance image. At this time, the
なお、光散乱領域の特定方法はこれに限定されるものではない。例えば符号化制御部103は、分割領域内(マクロブロック内)の画素における評価値の平均や分散などの統計値を、その分割領域に対応する値S1としてもよい。そして例えばS1を平均値とした場合、S1が所定値以上(閾値T2以上)である分割領域を、光散乱領域と特定してもよい。この方法によれば、局所的に光の散乱の影響が強く表れている領域も特定することができる。また、参照画像の画素値と閾値T1との大小比較の結果に上記の統計値を組み合わせた値や、複数の統計値から求めた値を、値S1としてもよい。その他にも、符号化制御部103は、上記の参照画像を用いずに、入力画像の周波数特性などに基づいて光散乱領域を特定してもよい。
The method for specifying the light scattering region is not limited to this. For example, the
S204では、符号化制御部103が、光散乱領域の特定結果に基づいて、マクロブロックの非可逆符号化に用いる量子化パラメータを決定する。ここで符号化制御部103は、光散乱領域であると特定された領域の符号化における量子化ステップサイズが、光散乱領域であると特定されない場合の同一領域の符号化における量子化ステップサイズよりも小さくなるように、量子化パラメータを決定する。これにより、光散乱領域であると特定された領域の符号量は、光散乱領域であると特定されない場合の同一領域の符号量よりも多くなる。符号量が多く割り当てられた領域の画像は、非可逆符号化による情報の欠落が少ないため、復号化された場合に符号化ノイズの少ない高品質な画像となる。
In S204, the
具体的な量子化パラメータの決定方法としては、例えば符号化制御部103が、光散乱領域である場合と違う場合のそれぞれに対応する値をルックアップテーブルに保存しておき、マクロブロックごとにテーブルを参照して量子化パラメータを決定してもよい。また、マクロブロックが光散乱領域に含まれるか否かの二値判定に基づいて量子化パラメータを決定する方法に限らず、ルックアップテーブルに複数の値を保存しておき、S203で求めた値S1に応じてそのテーブルを参照し量子化パラメータを決定してもよい。この方法によって、光散乱の影響の大きさを複数段階に区分けして量子化パラメータを決定することで、より詳細に符号量を制御することができる。さらに、ルックアップテーブルを用いずに量子化パラメータを算出する方法など、その他の方法により量子化パラメータが決定されてもよい。なお、本実施形態では符号化制御部103がマクロブロック単位で量子化パラメータを制御する場合を中心に説明するが、符号化制御部103は複数のマクロブロックをまとめたブロックに対する量子化パラメータを制御してもよい。
また、符号化制御部103が決定するパラメータは量子化パラメータに限らず、非可逆符号化に用いられて符号量を制御できるパラメータであればよい。例えば、符号化制御部103は、量子化テーブルの値を光散乱領域の特定結果に基づいて決定してもよい。また例えば、符号化制御部103は周波数の範囲に関するパラメータを決定し、符号化部104は画像の持つ情報のうちそのパラメータが示す範囲内の周波数成分に関する情報を除去して符号化を行ってもよい。
As a specific quantization parameter determination method, for example, the
Also, the parameters determined by the
S205では、符号化部104が、符号化制御部103が決定した量子化パラメータを用いて、撮像部101が取得した入力画像を非可逆符号化する。そして符号化部104は、符号化した画像(符号化ストリーム)を外部の装置又は記憶媒体に送信する。本実施形態において符号化部104は符号化方式としてH.264を使用するものとするが、符号化方式はこれに限らず、非可逆符号化が行える方式であればよい。
In S <b> 205, the
なお、ビットレート設定部105から符号化制御部103に上限ビットレートの通知があってもよい。このとき符号化制御部103は、符号化部104が出力する符号化ストリームのビットレートが通知された上限ビットレート内に収まるように符号化部104を制御する。この制御は、S204において決定される量子化パラメータをマクロブロックごとに調整することによって行われる。ただしこれに限らず、量子化パラメータの決定に用いるルックアップテーブルを上限ビットレートに応じて動画のフレームごとに再計算することによって、制御が行われてもよい。
The bit
以上説明したように、本実施形態における画像符号化装置100は、画像を取得し、取得した画像内の光散乱領域を特定する。さらに画像符号化装置100は、光散乱領域として特定した領域の符号量が、光散乱領域として特定されない場合の同一領域の符号量よりも多くなるように、非可逆符号化に用いるパラメータを決定する。そして画像符号化装置100は、決定したパラメータを用いて、取得した画像を非可逆符号化する。これにより、霧領域や煙領域などの光散乱領域に対して非可逆符号化時に多くの符号量が割り当てられる。その結果、画像の復号化後に光の散乱の影響を軽減する画像処理を行った処理画像における光散乱領域の画質が向上される。
As described above, the
なお、画像符号化装置100は入力画像内の重要領域を特定し、その特定結果に基づいて符号化における符号量を制御してもよい。以下、この場合の画像符号化装置100の構成及び動作について説明する。図3は、本実施形態に係る、重要領域を特定する場合の画像符号化装置100の構成を示すブロック図である。図1と同様の機能を持つブロックには同一の符号を付している。図1との違いは、画像符号化装置100が重要領域特定部301(以下、特定部301)を備えることである。
Note that the
特定部301は、撮像部101が取得する入力画像内の重要領域を特定する。重要領域は、例えば注目領域(ROI:Region of Interest)や、画像内の位置毎の重要度を表すマップによって定まる領域などである。以下では、特定部301が入力画像内の注目領域を特定するものとして説明をする。
The specifying
注目領域は、例えば特定部301が入力画像に対して行う分析の結果に基づいて特定される。この分析の結果の内容は、例えば入力画像内の動体や人物などの所定のオブジェクトを検知する検知処理の結果である。動体や人物などの所定のオブジェクトが検知された領域は、復号化及び光散乱除去後に高画質であることが望まれる場合がある。そのため特定部301は、これらの領域を注目領域と特定する。ただし、分析結果の内容はこれらに限らない。また、特定部301は、画像符号化装置100上の設定機能を介したユーザーによる入力や、ネットワークを介した外部の装置からの入力に基づいて注目領域を特定してもよい。
The attention area is specified based on the result of analysis performed on the input image by the specifying
次に図4のフローチャートを用いて、重要領域を特定する場合の画像符号化装置100の動作を説明する。図4の処理の開始タイミングは図2の処理と同様である。図2と同様の処理を行うステップには同一の符号を付している。以下、図2の処理との差異を中心に説明する。
Next, the operation of the
S201では撮像部101が入力画像を取得する。S202では生成部102が参照画像を生成し、S203では符号化制御部103が入力画像内の光散乱領域を特定する。S401では、特定部301が入力画像内の注目領域を特定する。そして符号化制御部103が、特定部が特定した注目領域に基づいて、S203での光散乱領域の特定結果を補正する。なお、注目領域の特定は光散乱領域の特定よりも前に行われてもよいし、並行して行われてもよい。
In S201, the
特定結果の補正方法について図5を用いて説明する。図5では、符号化対象の入力画像500の内部に、複数のマクロブロック501と、注目領域502が示されている。符号化制御部103は、特定部301が特定した注目領域に基づいて、各マクロブロックが注目領域内に位置するかどうかを判定する。このとき符号化制御部103は、注目領域502内に位置するマクロブロックに関してはS203での特定結果を変更しない。一方、注目領域502内に位置しないマクロブロックに関しては、そのマクロブロックがS203で特定された光散乱領域に含まれていた場合、特定結果を補正し、そのマクロブロックは光散乱領域に含まれないものとして扱う。つまり、特定結果の補正を行った結果、符号化制御部103は、特定部301が特定した注目領域内の光散乱領域を特定することとなる。
A method of correcting the specific result will be described with reference to FIG. In FIG. 5, a plurality of
なお、特定結果の補正方法はこれに限らない。例えば、符号化制御部103は、マクロブロックが注目領域502内か否かに応じてそれぞれ異なる係数W1とW2の何れかを選択し、S203で求めた値S1をその係数を用いて補正してもよい。この場合符号化制御部103は、補正した値S1を用いてそのマクロブロックが光散乱領域に含まれるか否かを判定し直す。図5では注目領域が一つの場合を図示しているが、注目領域は複数でもよく、その場合は注目領域ごとに異なる係数を補正に用いてもよい。
The correction method for the specific result is not limited to this. For example, the
また、符号化制御部103は、光散乱領域を特定した結果を後で補正するのではなく、注目領域内のマクロブロックに対してだけS203の処理を行って、注目領域内の光散乱領域を特定してもよい。なお本実施形態においては、マクロブロック内の全ての画素が注目領域内に位置する場合にそのマクロブロックが注目領域内に位置すると判定するが、これに限らない。例えば、マクロブロック内の所定数の画素が注目領域内に位置する場合にそのマクロブロックが注目領域内に位置すると判定してもよい。
In addition, the
S204では符号化制御部103が、S401で補正された光散乱領域の特定結果に基づいてマクロブロックの量子化パラメータを生成する。S205では符号化部104が、入力画像のマクロブロックの符号化を行い、符号化ストリームを送信する。
In S204, the
以上説明したように、本実施形態における画像符号化装置100は、入力画像内の所定領域(注目領域)を特定し、その所定領域内の光散乱領域の符号量が多くなるように非可逆符号化に用いるパラメータを決定し、符号化を行ってもよい。これにより、画像全体の符号量が増大するのを抑制しつつ、重要な領域内の光散乱領域には符号量を多く割り当てて、復号化後の画像に光散乱の影響を軽減する画像処理を行った処理画像における重要領域の高画質化を実現することができる。
As described above, the
なお本実施形態では、入力画像内の各マクロブロックに対応する量子化パラメータを符号化制御部103が全て決定した後に、符号化部104が入力画像の符号化を始める場合を中心に説明したが、これに限らない。例えば、符号化制御部103は参照画像に基づいて、一つの処理対象マクロブロックが光散乱領域に該当するか否かを判定し、その判定結果に基づいて量子化パラメータを決定する。符号化部104はその量子化パラメータを用いて処理対象マクロブロックを符号化する。そして画像符号化装置100は、処理対象マクロブロックを変えながら上記の処理を繰り返すという方法をとってもよい。この方法によれば、符号化制御部103と符号化部104とが並行して処理を行うことができる場合、符号化に係る遅延を短縮することができる。
In the present embodiment, the description has focused on the case where the
また本実施形態では、符号化制御部103がマクロブロック内の全ての画素の評価値に基づいて、そのマクロブロックが光散乱領域に含まれるか否かを判定したが、これに限らず、マクロブロック内の特定の画素の評価値に基づいて判定を行ってもよい。また、符号化制御部103は、入力画像内の全てのマクロブロックではなく、特定のマクロブロックについて光散乱領域に含まれるか否かを判定してもよい。また本実施形態では、撮像部が撮像した動画の各フレームに対して図2又は図4の処理を行う場合を中心に説明したが、これに限らない。例えば、画像符号化装置100は所定数のフレームごとに量子化パラメータを決定し、その間の所定数のフレームは全て同じ量子化パラメータを使用して符号化してもよい。これらにより、画像符号化装置100の処理負荷を低減することができる。
In this embodiment, the
上述の実施形態において、図1及び図3に示した各処理部は、ハードウェアで構成されているものとして説明した。しかし画像符号化装置100は、これらの図に示した一部または全部の処理部で行う図2及び図4に示した処理を、コンピュータプログラムを実行することで実現しても良い。以下、この場合の画像符号化装置100のハードウェアの構成例を、図6を用いて説明する。
In the above-described embodiment, each processing unit illustrated in FIGS. 1 and 3 has been described as being configured by hardware. However, the
CPU601は、RAM602やROM603に格納されているコンピュータプログラムやデータを用いて装置全体の制御を行うと共に、上述の実施形態における画像符号化装置100が行う各処理を実行する。即ち、CPU601は、図1及び図3に示した各処理部として機能する。
The
RAM602は、外部記憶装置606からロードされたコンピュータプログラムやデータ、及びI/F(インターフェース)607を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、RAM602は、CPU601が各種の処理を実行する際に用いるワークエリアを有する。例えば、RAM602は、画像を保存するピクチャメモリとして用いられる。
The
ROM603には、画像符号化装置100の設定データや、ブートプログラムなどが格納されている。操作部604は、キーボードやマウスなどにより構成されており、ユーザーによる操作を受けて、各種の指示をCPU601に対して入力する。出力部605は、CPU601による処理結果を出力表示する。なお、出力部605は、例えば液晶ディスプレイ等の表示部で構成される。
The
外部記憶装置606に保存されているコンピュータプログラムやデータは、CPU601による制御に従って、適宜RAM602にロードされ、CPU601による処理対象となる。I/F607には、LANやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、画像符号化装置100はこのI/F607を介して様々な情報を取得したり、送出したりすることができる。バス608は、上述の各部を繋いで情報を伝達する。
Computer programs and data stored in the
画像符号化装置100が図6のように構成されている場合、図2及び図4で説明した処理は、CPU601がROM603に記憶されている制御プログラムを実行し、情報の演算及び加工、並びに各ハードウェアの制御を実行することにより実現される。
When the
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC等)によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions. Further, the program may be provided by being recorded on a computer-readable recording medium.
100 画像符号化装置
101 撮像部
103 符号化制御部
104 符号化部
DESCRIPTION OF
Claims (14)
前記取得手段が取得した画像内の光散乱領域を特定する特定手段と、
前記特定手段が特定した領域の符号量が、前記特定手段により特定されない場合の当該領域の符号量よりも多くなるように、非可逆符号化に用いるパラメータを決定する決定手段と、
前記決定手段が決定したパラメータを用いて、前記取得手段が取得した画像を非可逆符号化する符号化手段とを有することを特徴とする画像符号化装置。 An acquisition means for acquiring an image;
Specifying means for specifying a light scattering region in the image acquired by the acquiring means;
A determining unit that determines a parameter used for lossy encoding so that a code amount of the region specified by the specifying unit is larger than a code amount of the region not specified by the specifying unit;
An image encoding apparatus comprising: encoding means for irreversibly encoding the image acquired by the acquisition means using the parameter determined by the determination means.
前記特定手段は、前記第2決定手段が決定した評価値に基づいて前記光散乱領域を特定することを特徴とする請求項1に記載の画像符号化装置。 For each of a plurality of processing target pixels in the image acquired by the acquisition unit, an evaluation value based on at least one of a plurality of color component values in the processing target pixel and brightness of the processing target pixel is determined. 2 determination means,
The image coding apparatus according to claim 1, wherein the specifying unit specifies the light scattering region based on the evaluation value determined by the second determining unit.
前記特定手段は、前記第2特定手段が特定した前記所定領域内の前記光散乱領域を特定することを特徴とする請求項1乃至8の何れか1項に記載の画像符号化装置。 Second specifying means for specifying a predetermined area in the image acquired by the acquiring means based on at least one of an input by a user, an input from an external device, and an analysis result on the image acquired by the acquiring means Have
9. The image encoding device according to claim 1, wherein the specifying unit specifies the light scattering region in the predetermined region specified by the second specifying unit. 10.
前記符号化手段が符号化した画像を外部の装置に送信する送信手段とを有し、
前記取得手段は、前記撮像手段が撮像した画像を取得することを特徴とする請求項1乃至10の何れか1項に記載の画像符号化装置。 An imaging means for capturing an image;
Transmission means for transmitting the image encoded by the encoding means to an external device,
The image encoding apparatus according to claim 1, wherein the acquisition unit acquires an image captured by the imaging unit.
前記取得工程において取得された画像内の光散乱領域を特定する特定工程と、
前記特定工程において特定された領域の符号量が、前記特定工程において特定されない場合の当該領域の符号量よりも多くなるように、非可逆符号化に用いるパラメータを決定する決定工程と、
前記決定工程において決定されたパラメータを用いて、前記取得工程において取得された画像を非可逆符号化する符号化工程とを有することを特徴とする画像符号化方法。 An acquisition process for acquiring images;
A specific step of identifying a light scattering region in the image acquired in the acquisition step;
A determining step for determining parameters used for lossy encoding so that the code amount of the region specified in the specifying step is larger than the code amount of the region not specified in the specifying step;
An image encoding method comprising: an encoding step of irreversibly encoding the image acquired in the acquisition step using the parameter determined in the determination step.
前記特定工程は、前記第2決定工程において決定された評価値に基づいて前記光散乱領域を特定することを特徴とする請求項12に記載の画像符号化方法。 For each of a plurality of processing target pixels in the image acquired in the acquisition step, an evaluation value based on at least one of a plurality of color component values in the processing target pixel and a brightness of the processing target pixel is determined. Having a second determination step;
13. The image encoding method according to claim 12, wherein the specifying step specifies the light scattering region based on the evaluation value determined in the second determination step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015232523A JP2017098919A (en) | 2015-11-28 | 2015-11-28 | Image encoder, image encoding method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015232523A JP2017098919A (en) | 2015-11-28 | 2015-11-28 | Image encoder, image encoding method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017098919A true JP2017098919A (en) | 2017-06-01 |
Family
ID=58817383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015232523A Pending JP2017098919A (en) | 2015-11-28 | 2015-11-28 | Image encoder, image encoding method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017098919A (en) |
-
2015
- 2015-11-28 JP JP2015232523A patent/JP2017098919A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10638160B2 (en) | Method and apparatus for a low complexity transform unit partitioning structure for HEVC | |
TWI519136B (en) | A method, a data processing device and a system for adaptive filtering mechanism to remove encoding artifacts in video data | |
EP3014880B1 (en) | Encoding video captured in low light | |
US20130169834A1 (en) | Photo extraction from video | |
JP6300565B2 (en) | Moving picture coding apparatus, program, and integrated circuit | |
US9854167B2 (en) | Signal processing device and moving image capturing device | |
US8493499B2 (en) | Compression-quality driven image acquisition and processing system | |
US20150382016A1 (en) | Method for Processing Multi-Component Video and Images | |
WO2014139396A1 (en) | Video coding method using at least evaluated visual quality and related video coding apparatus | |
JP2006338170A (en) | Information processor, dynamic image encoding method, information processing method and information processing program | |
TW201828708A (en) | Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel | |
WO2008047865A1 (en) | Image quality evaluation method, image quality evaluation system and image quality evaluation program | |
JP2015050661A (en) | Encoding apparatus, control method for encoding apparatus, and computer program | |
JP2013168739A (en) | Image processing system and image processing method | |
CN108632527B (en) | Controller, camera and method for controlling camera | |
CN107409223B (en) | Video coding and decoding method and video coder-decoder | |
EA201270693A1 (en) | DIGITAL VIDEO SIGNAL, METHOD FOR DIGITAL VIDEO SIGNAL ENCODING AND DIGITAL VIDEO Coding DEVICE | |
JP2018137542A (en) | Coding device, coding method, and program | |
JP2017098919A (en) | Image encoder, image encoding method, and program | |
JP2020005228A (en) | Loop filter controller, image encoder, image decoder, and program | |
JP2015115901A (en) | Encoding apparatus, encoding apparatus control method, and computer program | |
US9860567B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6200220B2 (en) | Image processing apparatus, encoding apparatus, decoding apparatus, and program | |
JP2011193391A (en) | Apparatus and method for processing image | |
JP2011254393A (en) | Encoding apparatus, encoding method and program |