JP2020028111A - 画像処理方法、画像処理装置、画像処理システム、およびプログラム - Google Patents

画像処理方法、画像処理装置、画像処理システム、およびプログラム Download PDF

Info

Publication number
JP2020028111A
JP2020028111A JP2019109207A JP2019109207A JP2020028111A JP 2020028111 A JP2020028111 A JP 2020028111A JP 2019109207 A JP2019109207 A JP 2019109207A JP 2019109207 A JP2019109207 A JP 2019109207A JP 2020028111 A JP2020028111 A JP 2020028111A
Authority
JP
Japan
Prior art keywords
image
image processing
noise component
compression
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019109207A
Other languages
English (en)
Other versions
JP7467034B2 (ja
Inventor
良範 木村
Yoshinori Kimura
良範 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to PCT/JP2019/027333 priority Critical patent/WO2020031601A1/ja
Publication of JP2020028111A publication Critical patent/JP2020028111A/ja
Application granted granted Critical
Publication of JP7467034B2 publication Critical patent/JP7467034B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】画像圧縮に伴う画質劣化を低減可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供すること。【解決手段】画像処理方法は、入力画像にノイズ成分を加えて第1の画像を生成する第1のステップと、第1の画像を画像圧縮して第2の画像を生成する第2のステップと、第2の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部に第2の画像を送信する第3のステップと、を有する。【選択図】図1

Description

本発明は、画像圧縮に伴う弊害(疑似輪郭)を除去するための画像処理方法、画像処理装置、画像処理システム、およびプログラムに関する。
データ量を削減するためにデジタル画像を圧縮する画像圧縮を実行する場合、データ圧縮率を高めると、ブロックごとに処理することで生じるブロックノイズや高周波成分を削減することで生じるリンギングなどの弊害が生じる。近年、人工知能の1つである深層学習(Deep Learning;DL)を用いた画像処理方法が提案されている。非特許文献1では、畳み込みニューラルネットワーク(Convolutional Neural Network;CNN)により、JPEG(Joint Photographic Experts Group)による画像圧縮で生じる弊害を除去する方法が開示されている。
Char Dong、Yubin Deng、Chen Change Loy、Xiaoou Tang、「Compression Artifacts Reduction by a Deep Convolutional Network」、IEEE International Conference on Computer Vision、pp.576−584、2015年 Lukas Cavigelli、Pascal Hager、Luca Benini、「CAS−CNN: A Deep Convolutional Neural Network for Image Compression Artifact Suppression」、IEEE International Joint Conference on Nueral Networks、2017年
画像圧縮に伴う弊害(劣化)の1つとして、疑似輪郭が知られている。疑似輪郭とは、圧縮画像において本来滑らかに濃淡が変化すべき部分で、急激に濃淡変化が生じ、疑似的な境界線として見られる弊害のことである。例えば、朝焼けや夕日などグラデーションがなだらかに変化する画像を、データ圧縮率を高めてJPEGにより画像圧縮した場合、疑似輪郭は頻繁に見られる。ブロックノイズやリンギングなどの弊害とは異なり、疑似輪郭は広範囲に渡って発生する。そのため、ガウシアンフィルタなど局所的な領域しか考慮できない古典的な画像処理方法では、疑似輪郭には対応できない。また、非特許文献1の画像処理方法では、広範囲の相関を考慮することができるが、そのためにはCNNを多層化する必要があり、学習と画像処理に時間がかかるため現実的でない。
本発明は、画像圧縮に伴う画質劣化を低減可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供することを目的とする。
本発明の一側面としての画像処理方法は、入力画像にノイズ成分を加えて第1の画像を生成する第1のステップと、第1の画像を画像圧縮して第2の画像を生成する第2のステップと、第2の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部に第2の画像を送信する第3のステップと、を有することを特徴とする。
また、本発明の他の側面としてのプログラムは、入力画像にノイズ成分を加えて第1の画像を生成する第1のステップと、第1の画像を画像圧縮して第2の画像を生成する第2のステップと、第2の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部に第2の画像を送信する第3のステップと、を有する画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明の他の側面としての画像処理装置は、入力画像にノイズ成分を加えて第1の画像を生成する付加部と、第1の画像を画像圧縮して第2の画像を生成する圧縮部と、第2の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部に第2の画像を送信する送信部と、を有することを特徴とする。
また、本発明の他の側面としての画像処理装置は、入力画像にノイズ成分が加えられた第1の画像を画像圧縮して生成された第2の画像を受信する受信部と、第2の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部と、を有することを特徴とする。
また、本発明の他の側面としての画像処理方法は、入力画像にノイズ成分を加えて第1の画像を生成する第1のステップと、第1の画像を画像圧縮して第2の画像を生成する第2のステップと、第2の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する第3のステップと、を有することを特徴とする。
また、本発明の他の側面としての画像処理システムは、第1の画像処理装置と第2の画像処理装置を含む画像処理システムであって、第1の画像処理装置は、第1の画像処理装置に送信された画像を受信する受信部と、受信部によって受信された画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部と、を有し、第2の画像処理装置は、入力画像にノイズ成分を加えて第1の画像を生成する付加部と、第1の画像を画像圧縮して第2の画像を生成する圧縮部と、第2の画像を第1の画像処理装置に送信する送信部と、を有することを特徴とする。
本発明によれば、画像圧縮に伴う画質劣化を低減可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供することができる。
画像処理システムの概略図である。 画像処理システムのブロック図である。 画像処理方法を示すフローチャートである。 画像処理による効果を説明するための図である。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
図1は、本発明の実施形態に係る画像処理システム100の概略図である。画像処理システム100は、第1の画像処理装置200および第2の画像処理装置300を有する。第2の画像処理装置300は例えばスマートフォン等のユーザ端末である。第1の画像処理装置200は第2の画像処理装置300と有線または無線により接続されたサーバ等である。
図2は、本実施形態の画像処理システム100のブロック図である。
第1の画像処理装置200は、画像処理部201、通信部(受信部)202、記憶部203を有する。第2の画像処理装置300は、画像処理部301、記憶部302、通信部(送信部)303を有する。
本実施形態の画像処理システム100は、第1の画像処理装置200と第2の画像処理装置300が一連の画像処理を行うことで機能を発現するように構成されたものである。以下に述べる一連の画像処理は、第2の画像処理装置300からの指示を契機として行われるものである。第2の画像処理装置300からの指示は例えば第2の画像処理装置300のユーザの意思により行われる。
第2の画像処理装置300の画像処理部301は、ノイズ付加部301aと画像圧縮部301bを有する。ノイズ付加部301aは、画像処理部301aが取得した画像の各画素値にノイズ成分を付加(加算)する機能を有する。画像圧縮部301bは所定の圧縮率でノイズが付加された画像を圧縮する機能を有する。画像処理部301は、例えば、CPUやGPU、またはその両方から構成される。
また、第2の画像処理装置300の記憶部302は、ノイズ付加部301aにより付加されるノイズ成分に関する情報を記憶している。記憶部302には、ノイズ成分に関する情報のほかに、処理対象である画像を記憶していても良い。
また、第2の画像処理装置300の通信部303は、第1の画像処理装置200に対して画像を送信する機能を有する。
第1の画像処理装置200の画像処理部201は、再構成部201aを有する。再構成部201aは、後述のように、圧縮された画像に対して画像圧縮により生じた画質劣化を低減させる処理(再構成処理)を行う機能を有する。画像処理部201は、例えば、CPUやGPU、またはその両方から構成される。
また、第1の画像処理装置200の通信部202は、第2の画像処理装置300から送信された画像を受信する機能を有する。
また、第1の画像処理装置200の記憶部203は、再構成部201aにおける再構成処理に用いられる情報を記憶している。再構成処理に用いられる情報とは、後述のように、予め学習された畳み込みニューラルネットワークに関する情報(例えば各層の重みやバイアス)であり得る。
次に、本実施形態の画像処理システム100で行われる画像処理について説明する。
本実施形態では、第2の画像処理装置300の画像処理部301は、記憶部302に記憶されたデジタル画像データである入力画像を取得する。入力画像は、カラー画像でもモノクロ画像でもよい。そして、ノイズ付加部301aは、ノイズ成分を入力画像の各画素値に加えることで第1の画像を生成する。すなわち第1の画像は入力画像の画素値をランダムに変動させることで生成される。
ノイズ成分は、高周波成分を含むノイズ成分であり、入力画像に元々含まれているノイズ成分とは異なる成分である。ノイズ成分は、例えば、それぞれが異なる正弦波の重ね合わせでもよい。それぞれが異なるとは、水平・垂直周波数、振幅および位相の少なくとも1つが異なることをいう。また、ノイズ成分は、加法性白色ガウスノイズや輝度値に応じたショットノイズでもよい。ノイズ成分の強度分布はガウス分布やポアソン分布とすることができる。特に、加法性白色ガウスノイズは、簡易に生成可能であるため、ノイズ成分として使用することが望ましい。
また、加えるノイズ成分の量は、入力画像に元々含まれているノイズの量や入力画像が撮影されたときのISO感度から決定してもよい。加えるノイズ成分の量とは、例えば、加法性白色ガウスノイズの分散や標準偏差である。加えるノイズ成分の量は、例えば、入力画像に含まれるノイズの量を決定する要因の1つである、カメラのイメージセンサ感度(ISO感度)に基づいて決定してもよい。また、画像圧縮部301bで行われる画像圧縮処理におけるデータ圧縮率に基づいて決定してもよい。
なお、ノイズ付加部301aが入力画像に対してノイズ成分を加える範囲は、入力画像全域でもよいし、一部でもよい。入力画像の一部にノイズ成分を加える場合、加える範囲はユーザが指定してもよいし、入力画像に含まれているノイズの量に基づいてノイズ付加部301aが自動的に決定してもよい。
ノイズ成分は、ノイズ付加部301aにより生成される。このとき、記憶部302に二次元データとしてのノイズデータ(二次元ノイズデータ。例えばノイズを画像化したもの。)を記憶させておき、ノイズ付加部301aは記憶部302に記憶された二次元ノイズデータの一部を切り出すことによってノイズ成分を生成しても良い。
このとき、記憶部302に記憶される二次元ノイズデータは、入力画像のサイズより大きなサイズを有することが好ましい。また、ノイズ付加部301aは入力画像の大きさや入力画像に含まれるノイズの量に応じてノイズ成分の全てを使用するか、一部を使用するかを決定してもよい。さらに、大きさや成分が異なる複数の二次元ノイズデータを記憶部302に記憶させておき、ノイズ付加部301aは、入力画像の大きさや入力画像に含まれるノイズの量に応じて使用する二次元ノイズデータを選択し、さらに選択された二次元ノイズデータの全てを使用するか、一部を使用するかを決定するようにしても良い。このように、二次元ノイズデータをあらかじめ生成して記憶させておくことで、本実施形態の画像処理を行うたびにノイズ成分を生成する処理を行う必要がなくなる。また、その場合、ノイズ成分を入力画像よりも大きなサイズとし、一部を切り抜いて使用することで、常にノイズ成分が一定になることを防ぐことができ、疑似的にランダムなノイズ成分を付加することが可能となる。
続いて、画像圧縮部301bは、ノイズ付加部301aにより生成された第1の画像を画像圧縮して第2の画像を生成する。画像圧縮は、JPEGであってもよい。JPEGでは、画像の高周波成分を削減することで、データ量を削減する。具体的には、まず画像を8×8画素のブロックに分割した後、ブロックごとに離散コサイン(DCT)変換する。次に、DCT係数の高周波成分を削減(量子化)した後、ハフマン符号によるエントロピー符号化がなされ画像圧縮される。なお、デジタル画像を圧縮しデータ量を削減することは、符号化(encoding)とも呼ばれる。また、画像圧縮は、MPEG(Moving Picture Experts Group)、AVI(Audio Video Interleave)またはMOVであってもよい。また、画像圧縮は、PNG(Portable Network Graphics)またはGIF(Graphics Interchange Format)であってもよい。
そして、通信部303は、画像圧縮部301bにより生成された第2の画像を第1の画像処理装置200に送信する。
第1の画像処理装置200の再構成部201aは、通信部202によって受信された第2の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する。画像圧縮のデータ圧縮率を高めると、ブロックノイズ、リンギングおよび疑似輪郭などの弊害が生じる。そのため、再構成部201aは第2の画像からこれらの画像圧縮に伴う劣化を除去することで第2の画像に対して画質が向上した出力画像を生成する。このような弊害を除去するために、従来から様々な画像処理方法が提案されている。例えば、ガウシアンフィルタ(加重平均フィルタ)などを適用してブロックノイズを平滑化する方法や、自然画像の自己相似性を用いたノイズ除去フィルタなどでリンギングを除去する方法(Non−Local Means)などが提案されている。本実施例では、これらの方法を用いても良い。
ただし、これらの古典的な画像処理方法では、圧縮された画像における被写体と劣化(ノイズやアーティファクト)とを見分けることが難しい場合がある。そのため、近年では、例えば、非特許文献1に開示されているように、DLを用いた画像処理方法が提案されている。好ましくは、本実施例では再構成部201aはDLを用いた処理を行う。
非特許文献1に開示された方法では、まず多くの画像とそれらをJPEGによる画像圧縮により劣化させた圧縮画像の組からなる訓練データセットを用意する。次に、訓練データセットを用いて、圧縮画像とそこに生じた弊害を見分けるようにCNNのネットワークパラメータを生成(学習)する。最後に、学習により生成したネットワークパラメータを用いて、CNNにより圧縮画像を画像処理することで、JPEGによる画像圧縮に伴う弊害を除去した画像を得ることができる。また、非特許文献2では、JPEGによる画像圧縮に伴う弊害を回復する方法(CAS−CNN)が開示されている。非特許文献2の方法では、非特許文献1よりも多層のCNNを用いることで、画像とそれらをJPEGによる画像圧縮により劣化させた圧縮画像との、高度に非線形な関係が学習できる。これにより、非特許文献2によれば非特許文献1より、JPEGによる画像圧縮に伴う弊害を高精度に除去することができる。DLを用いた画像処理方法によれば、古典的な画像処理方法より、画像圧縮に伴う弊害を高精度に除去することができる。
本実施形態では、再構成部201aは、非特許文献2で開示されたCAS−CNNを使用して出力画像を生成するが、本発明はこれに限定されない。ガウシアンフィルタ(加重平均フィルタ)や自然画像の自己相似性を用いたノイズ除去フィルタなどを用いる古典的な画像処理方法を使用してもよい。
一般に、画像圧縮では高周波成分を削減することでデータ量を削減するものであるため、入力画像中に含まれる被写体の高周波成分が少なかった場合、入力画像内の低周波成分が削減されてしまう場合がある。その結果、画質に大きな影響を与えるおそれがある。これは人間が持つ視覚的な特性によるものである。
これに対し、本実施形態では第2の画像処理装置300のノイズ付加部301aにおいて、入力画像に、ノイズ成分(高周波成分)を加えている。これにより、画像圧縮部301bの画像圧縮での低周波成分の削減が緩和され、画像圧縮が画質に影響を与える影響を低減させることができる。入力画像に対してノイズ成分を加える操作は、画像の画素値方向(深さ方向)へランダムな変動を加えてぼかしている操作であるいうこともできる。これにより、画像圧縮により生じる疑似輪郭の輪郭線はぼけて視覚的に見えづらくなる。すなわち、ノイズ付加部301aによって付加されるノイズ成分は、画像圧縮に伴う画質劣化を軽減するように機能するものである。
そして本実施形態では、圧縮された第2の画像を第1の画像処理装置200側で再構成処理することで、画像圧縮に伴う画質劣化を効果的に低減させている。
さらに、本実施形態では、第2の画像処理装置300側でノイズ付加と画像圧縮を行い、第1の画像処理装置200側で再構成処理を行う構成をとっている。このため、第2の画像処理装置300が第1の画像処理装置200側へ画像を送信する際の送信時間を短縮しつつ、第1の画像処理装置200に高品位な画像を取得させることが可能となる。
なお、本実施形態では、画像処理システム100は、2つの装置から構成されているが、システム全体として少なくともノイズ付加部301a、画像圧縮部301bおよび再構成部201aを有していれば、本発明の効果を得ることが可能である。したがって、画像処理システム100は、1つの装置から構成されていてもよいし、3つ以上の装置から構成されていてもよい。また、本実施形態では、第2の画像処理装置300はスマートフォンであり、第1の画像処理装置200はスマートフォンと有線または無線で接続されたサーバであるが、本発明はこれに限定されない。例えば、第2の画像処理装置300は、入力画像を取得し、ノイズ成分を付加する機能を有する監視カメラであってもよい。この場合、第1の画像処理装置200は、サーバであってもよいし、監視カメラを制御する制御装置であってもよい。
また、本実施例では第1の画像を生成する際に入力画像に付加される成分をノイズ成分と称しているが、入力画像に対して高周波成分を付加することができ、画像圧縮が画質に影響を与える影響を低減させることのできる成分であれば、ノイズとして識別されない成分でもよい。
次に、図3を参照して、本実施形態の画像処理方法について説明する。図3は、本発明の実施形態に係る画像処理方法を示すフローチャートである。図3に示すフローチャートは第2の画像処理装置300からの指示を契機として行われる。
ステップS401では、第2の画像処理装置300の画像処理部301は、記憶部302から入力画像を取得する。
ステップS402では、ノイズ付加部301aは、入力画像に画像圧縮に伴う弊害(疑似輪郭)の発生を軽減するためのノイズ成分を加えて第1の画像を生成する。
ステップS403では、画像圧縮部301bは、第1の画像を画像圧縮して第2の画像を生成する。
ステップS404では、第2の画像処理装置300の通信部303は、画像圧縮部301bにより生成された第2の画像を第1の画像処理装置200に送信する。
ステップS501では、第1の画像処理装置200の通信部202は、第2の画像処理装置300から送信された第2の画像を受信する。
ステップS203では、再構成部201aは、第2の画像から画像圧縮に伴う弊害を除去する再構成処理を行い、出力画像を生成する。
以上の処理により、画像圧縮によりデータの送信速度を高めつつ、画像圧縮による画質劣化を低減させた高品位な画像を第1の画像処理装置200に取得させることが可能となる。第1の画像処理装置200により再構成処理がなされた出力画像は、例えばWebサービスに使用されたり、プリントされてユーザに配送されたりしても良い。
なお、本実施形態では入力画像にノイズ成分を加えているため、ステップS502の再構成処理でノイズ成分が除去されることが好ましい。すなわち、ステップS401により画像圧縮による画質劣化が小さくなるようにしつつ、ステップS502で画像圧縮に伴う画質劣化とともにノイズ低減処理が行われるとよい。
次に、本実施形態の画像処理システム100の画像処理による効果について述べる図4は、本実施形態の効果を説明するための数値計算結果を示す図である。
図4の例では、ノイズ成分として、入力画像の画素値に対して2%の標準偏差を有する加法性白色ガウスノイズを用いた。なお、入力画像の画素値は[0 1]の範囲に規格化し、ノイズ成分を加えることで取得される第1の画像の画素値も、この範囲内に収まるように規格化した。第1の画像の画素値が負値をとる場合は0にした。
画像圧縮として、JPEGを行った。JPEGのデータ圧縮率を規定する値QF(Quality Factor)として65を用いた。QFは一般に1〜100の値を取り、100に近いほどデータ圧縮率が小さいことを表している。
第2の画像から画像圧縮に伴う劣化を除去する画像処理方法として、非特許文献2で開示されているCAS−CNNを用いた。
図4(a)は、本実施形態による画像処理結果を示している。図4(b)は、図3(a)の黒実線で示される対角断面図である。図4(c)は、従来技術による画像処理結果を示している。図4(d)は、図4(c)の黒実線で示される対角断面図である。なお、図4(c)に示す画像を得る際、ステップS402に相当する処理は行っていないがステップS403およびステップS502に相当する処理を実行した。すなわち、入力画像をQF65でJPEGにより画像圧縮し、取得される画像に生じる画像圧縮に伴う劣化をCAS−CNNで除去した。図4に示されるように、本実施形態によれば、従来技術では除去できていない疑似輪郭を除去することが可能である。
[その他の実施例]
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
201a 再構成部

Claims (20)

  1. 入力画像にノイズ成分を加えて第1の画像を生成する第1のステップと、
    前記第1の画像を画像圧縮して第2の画像を生成する第2のステップと、
    前記第2の画像に対して前記画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部に前記第2の画像を送信する第3のステップと、を有することを特徴とする画像処理方法。
  2. 前記ノイズ成分は、前記入力画像の画素値に対するノイズ成分であることを特徴とする請求項1に記載の画像処理方法。
  3. 前記第1のステップにおいて、前記入力画像に前記ノイズ成分が加えられて前記入力画像の画素値がランダムに変動することで前記第2の画像が生成されることを特徴とする請求項2に記載の画像処理方法。
  4. 前記ノイズ成分の分布は、前記入力画像のISO感度に基づいて決定されることを特徴とする請求項1から3のいずれか一項に記載の画像処理方法。
  5. 前記ノイズ成分の分布は、前記第2のステップにおいて行われる画像圧縮の圧縮率に応じて決定されることを特徴とする請求項1から4のいずれか一項に記載の画像処理方法。
  6. 前記ノイズは、複数の正弦波を重ね合わせた成分であることを特徴とする請求項1から5のいずれか一項に記載の画像処理方法。
  7. 前記ノイズ成分は、加法性白色ガウスノイズであることを特徴とする請求項1から5のいずれか一項に記載の画像処理方法。
  8. 前記ノイズ成分は、ショットノイズであることを特徴とする請求項1から5のいずれか一項に記載の画像処理方法。
  9. 前記ノイズ成分の分布は、ガウス分布またはポアソン分布であることを特徴とする請求項1から5のいずれか一項に記載の画像処理方法。
  10. 前記ノイズ成分は、前記入力画像に含まれるノイズ成分とは異なる成分であることを特徴とする請求項1から9のいずれか1項に記載の画像処理方法。
  11. 前記ノイズ成分は、予め記憶された二次元のノイズデータの一部を切り出すことによって取得されることを特徴とする請求項1から10のいずれか一項に記載の画像処理方法。
  12. 前記画像圧縮は、JPEG、MPEG、AVI、MOV、PNGおよびGIFの少なくとも1つであることを特徴とする請求項1から11のいずれか1項に記載の画像処理方法。
  13. 入力画像にノイズ成分を加えて第1の画像を生成する第1のステップと、
    前記第1の画像を画像圧縮して第2の画像を生成する第2のステップと、
    前記第2の画像に対して前記画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部に前記第2の画像を送信する第3のステップと、を有する画像処理方法をコンピュータに実行させることを特徴とするプログラム。
  14. 入力画像にノイズ成分を加えて第1の画像を生成する付加部と、
    前記第1の画像を画像圧縮して第2の画像を生成する圧縮部と、
    前記第2の画像に対して前記画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部に前記第2の画像を送信する送信部と、を有することを特徴とする画像処理装置。
  15. 二次元のノイズデータを記憶する記憶部を更に有し、
    前記付加部は、前記二次元のノイズデータの一部を切り出すことにより前記ノイズ成分を取得することを特徴とする請求項14に記載の画像処理装置。
  16. 入力画像にノイズ成分が加えられた第1の画像を画像圧縮して生成された第2の画像を受信する受信部と、
    前記第2の画像に対して前記画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部と、を有することを特徴とする画像処理装置。
  17. 入力画像にノイズ成分を加えて第1の画像を生成する第1のステップと、
    前記第1の画像を画像圧縮して第2の画像を生成する第2のステップと、
    前記第2の画像に対して前記画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する第3のステップと、を有することを特徴とする画像処理方法。
  18. 前記第3のステップにおいて、前記画像圧縮に伴う画質劣化を低減する畳み込みニューラルネットワークに前記第2の画像を入力することで前記出力画像が生成されることを特徴とする請求項17に記載の画像処理方法。
  19. 前記第3のステップにおいて、加重平均フィルタを前記第2の画像に適用することで前記出力画像が生成されることを特徴とする17に記載の画像処理方法。
  20. 第1の画像処理装置と第2の画像処理装置を含む画像処理システムであって、
    前記第1の画像処理装置は、
    前記第1の画像処理装置に送信された画像を受信する受信部と、
    前記受信部によって受信された画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部と、を有し、
    前記第2の画像処理装置は、
    入力画像にノイズ成分を加えて第1の画像を生成する付加部と、
    前記第1の画像を画像圧縮して第2の画像を生成する圧縮部と、
    前記第2の画像を前記第1の画像処理装置に送信する送信部と、を有することを特徴とする画像処理システム。
JP2019109207A 2018-08-10 2019-06-12 画像処理方法、画像処理装置、画像処理システム、およびプログラム Active JP7467034B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/027333 WO2020031601A1 (ja) 2018-08-10 2019-07-10 画像処理方法、画像処理装置、画像処理システム、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018152003 2018-08-10
JP2018152003 2018-08-10

Publications (2)

Publication Number Publication Date
JP2020028111A true JP2020028111A (ja) 2020-02-20
JP7467034B2 JP7467034B2 (ja) 2024-04-15

Family

ID=69620443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019109207A Active JP7467034B2 (ja) 2018-08-10 2019-06-12 画像処理方法、画像処理装置、画像処理システム、およびプログラム

Country Status (1)

Country Link
JP (1) JP7467034B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112020006771T5 (de) 2020-02-21 2022-12-15 Honda Motor Co., Ltd. Fahrzeug vom Sattelaufsitz-Typ
JP2023521318A (ja) * 2021-01-19 2023-05-24 テンセント・アメリカ・エルエルシー ニューラル画像圧縮のためのタスク適応型前処理のための方法、装置およびコンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118462A (ja) * 2006-11-06 2008-05-22 Nikon Corp 画像処理装置、撮像装置、及び画像処理プログラム
JP2013258465A (ja) * 2012-06-11 2013-12-26 Nippon Hoso Kyokai <Nhk> 処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム
JP2014053857A (ja) * 2012-09-10 2014-03-20 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム
US20160301934A1 (en) * 2013-11-12 2016-10-13 Dolby Laboratories Licensing Corporation Pre-Dithering in High Dynamic Range Video Coding
JP2017169233A (ja) * 2017-05-25 2017-09-21 株式会社ニコン 画像処理装置
JP2018082299A (ja) * 2016-11-16 2018-05-24 日本放送協会 映像符号化装置、映像復号装置、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118462A (ja) * 2006-11-06 2008-05-22 Nikon Corp 画像処理装置、撮像装置、及び画像処理プログラム
JP2013258465A (ja) * 2012-06-11 2013-12-26 Nippon Hoso Kyokai <Nhk> 処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム
JP2014053857A (ja) * 2012-09-10 2014-03-20 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム
US20160301934A1 (en) * 2013-11-12 2016-10-13 Dolby Laboratories Licensing Corporation Pre-Dithering in High Dynamic Range Video Coding
JP2018082299A (ja) * 2016-11-16 2018-05-24 日本放送協会 映像符号化装置、映像復号装置、及びプログラム
JP2017169233A (ja) * 2017-05-25 2017-09-21 株式会社ニコン 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CAVIGELLI, LUKAS ET AL.: "CAS-CNN: A Deep Convolutional Neural Networkfor Image Compression Artifact Suppression", 2017 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN), JPN6019037703, 3 July 2017 (2017-07-03), pages 752 - 759, ISSN: 0005070024 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112020006771T5 (de) 2020-02-21 2022-12-15 Honda Motor Co., Ltd. Fahrzeug vom Sattelaufsitz-Typ
JP2023521318A (ja) * 2021-01-19 2023-05-24 テンセント・アメリカ・エルエルシー ニューラル画像圧縮のためのタスク適応型前処理のための方法、装置およびコンピュータプログラム
JP7374340B2 (ja) 2021-01-19 2023-11-06 テンセント・アメリカ・エルエルシー ニューラル画像圧縮のためのタスク適応型前処理のための方法、装置およびコンピュータプログラム

Also Published As

Publication number Publication date
JP7467034B2 (ja) 2024-04-15

Similar Documents

Publication Publication Date Title
CN103281526B (zh) 网络图像/视频处理系统
EP1611740B1 (en) Technique for simulating film grain on encoded video
US20190294931A1 (en) Systems and Methods for Generative Ensemble Networks
CN103227775B (zh) 用于处理图像或视频数据的方法和系统
WO2021169408A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN108235037B (zh) 对图像数据进行编码和解码
CN112419219A (zh) 图像增强模型训练方法、图像增强方法以及相关装置
JP2006081156A (ja) 画像処理装置および方法並びにプログラム
US11928843B2 (en) Signal processing apparatus and signal processing method
WO2020248294A1 (zh) 一种逆色调映射方法、装置及电子设备
JP7467034B2 (ja) 画像処理方法、画像処理装置、画像処理システム、およびプログラム
WO2021112852A1 (en) Watermark-based image reconstruction
JP2005167520A (ja) 圧縮復元画像におけるモスキート・ノイズの削減方法及び装置
US20240080495A1 (en) Iteratively updating a filtering model
CN116847087A (zh) 视频处理方法、装置、存储介质及电子设备
CN111065000B (zh) 视频水印处理方法、装置及存储介质
WO2020031601A1 (ja) 画像処理方法、画像処理装置、画像処理システム、およびプログラム
Najgebauer et al. Fully convolutional network for removing dct artefacts from images
CN108933945B (zh) 一种gif图片的压缩方法、装置及存储介质
JP2919236B2 (ja) 画像符号化装置
US10015507B2 (en) Transform system and method in video and image compression
JP4957572B2 (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
CN115147314B (zh) 图像处理方法、装置、设备以及存储介质
JPH10336658A (ja) 画像処理装置
KR20220076178A (ko) 영상의 ai 복호화를 위한 장치, 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240403

R150 Certificate of patent or registration of utility model

Ref document number: 7467034

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150