JP2016127475A - 画像処理システム、画像処理方法、及びプログラム - Google Patents
画像処理システム、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2016127475A JP2016127475A JP2015000716A JP2015000716A JP2016127475A JP 2016127475 A JP2016127475 A JP 2016127475A JP 2015000716 A JP2015000716 A JP 2015000716A JP 2015000716 A JP2015000716 A JP 2015000716A JP 2016127475 A JP2016127475 A JP 2016127475A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dictionary
- low
- quality
- entry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 35
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000005540 biological transmission Effects 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 238000010276 construction Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 18
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000255925 Diptera Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000009411 base construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
- H04N1/00236—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server using an image reading or reproducing device, e.g. a facsimile reader or printer, as a local input to or local output from a computer
- H04N1/00241—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server using an image reading or reproducing device, e.g. a facsimile reader or printer, as a local input to or local output from a computer using an image reading device as a local input to a computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
- H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/36—Level of detail
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Facsimiles In General (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】高品質な入力画像を、ネットワーク伝送又はデータベースに蓄積する際に低品質化し、画像出力装置において学習型超解像用の辞書を用いて高品質化する場合に、画像出力装置における辞書の構築を容易にし、当該辞書に格納する画像パッチの対であるエントリの数を最小限に抑えることでメモリ使用量や計算時間を削減するとともに、復元した画像をより高品質化させる技術を提供する。
【解決手段】画像読取装置2は、所定の画像を低品質化して低品質画像を作成する画像変換手段23と、低品質画像を所定の画像に復元するための辞書を作成する辞書作成手段24と、低品質画像と辞書または辞書に関連する情報を送信する送信手段25とを備える。画像出力装置3は、低品質画像と辞書又は辞書に関連する情報を受信する受信手段31と、辞書又は辞書に関連する情報を用い低品質画像を所定の画像に復元する画像復元手段33とを備える。
【選択図】図1
【解決手段】画像読取装置2は、所定の画像を低品質化して低品質画像を作成する画像変換手段23と、低品質画像を所定の画像に復元するための辞書を作成する辞書作成手段24と、低品質画像と辞書または辞書に関連する情報を送信する送信手段25とを備える。画像出力装置3は、低品質画像と辞書又は辞書に関連する情報を受信する受信手段31と、辞書又は辞書に関連する情報を用い低品質画像を所定の画像に復元する画像復元手段33とを備える。
【選択図】図1
Description
本発明は、画像処理システム、画像処理方法、及びプログラムに関する。
画像データは通常二次元の多値データであることから、テキストデータと比較してデータ容量が膨大である。画像データをデータベースに保存したりネットワーク伝送したりケースでは、限りある資源(記憶容量やネットワーク帯域)を効率的に利用する観点から、データ容量の削減が望まれる。そのため、一般的に画素の間引きを初めとする解像度変換(低解像度化)や、JPEG(Joint Photographic Experts Group)圧縮を初めとする非可逆圧縮など画像データの低品質化が行われる。
一方で、低品質化に伴う課題もある。解像度変換では、画素の間引きに伴う画素数の減少に伴い解像感が低下し、全体的にぼやけた印象を与える画像となってしまう。非可逆圧縮は画像サイズを変えずに効果的にデータ容量を削減できることから広く利用されているが、圧縮効率と画質とがトレードオフ関係にある。特にJPEG圧縮では、モスキートノイズやブロックノイズと呼ばれる意図しないパターンが発生することで、画像の見た目を損なってしまう。画像に生じたノイズを緩和する方法としては、ノイズが生じやすい高周波成分を抑制する平滑化処理が例示できるが、元の画像に存在していた高周波成分まで抑制されてしまうため解像感の低下に繋がりやすい。
解像度変換や平滑化処理による解像感の低下を改善する方法としては、輪郭を強調する鮮鋭化処理や、輪郭部やテクスチャ部に情報を補う超解像処理などが存在する。一般に前者よりも後者のほうが解像感の向上効果が高いことが知られている。
超解像処理の手法の一つに学習型超解像と呼ばれるものがある。学習型超解像は学習過程と超解像過程とに大別できる。学習過程では、予め用意した多数の訓練画像を用いて画像の劣化過程を学習し、劣化前と劣化後のパターンとを格納した辞書を構築する。超解像過程では、解像度の低下した画像に対して学習過程で構築した辞書を参照しながら高周波成分を補っていくことで解像感を向上させる。
また、学習過程において、訓練画像と、それを低解像度化した低解像画像とから、対応する小領域(パッチ)をそれぞれ切り出した画像である画像パッチのペア(対)を複数、辞書に登録し、超解像過程において前記辞書を用いて入力画像に対して高周波成分を補う学習型超解像技術が従来から知られている(特許文献1、非特許文献1参照)。
また、学習過程において、画像パッチの対を多数用い、画像パッチを基底と呼ばれる基本的な構造要素に分解して辞書を構築する技術も従来から知られている(非特許文献2参照)。
従来技術は、低品質な入力画像のみが得られる条件下において、いかに高品質に元画像を復元するか、という観点で提案されており(そもそも入力画像として高品質のものが得られていれば、入力画像を復元する必要性がない)、別途用意した多数の高品質な訓練画像を用いて辞書を構築している。そのため、任意の低品質画像に対応できるよう辞書を構築すると辞書サイズが巨大化して学習過程や超解像過程における計算時間の増大に繋がってしまうという問題があった。
また、従来技術では、入力された低品質な画像をネットワーク等で伝送する際の課題が考慮されていない。[0]ネットワーク伝送またはデータベースに蓄積する都合から低品質の画像を送り、受信先で学習型超解像を用いて復元する場合、受信先で予め辞書を用意する必要があるが、任意の画像に対応するよう訓練画像を用意することは困難であった。
そこで、高品質な入力画像を、ネットワーク伝送またはデータベースに蓄積する際に低品質化し、画像出力装置において学習型超解像用の辞書を用いて高品質化する場合に、画像出力装置における辞書の構築を容易にし、当該辞書に格納する画像パッチの対であるエントリの数を最小限に抑えることでメモリ使用量や計算時間を削減するとともに、復元した画像をより高品質化させる技術を提供することを目的とする。
画像読取装置及び画像出力装置を有する画像処理システムを提供する。
この画像処理システムにおいて、前記画像読取装置は、所定の画像を低品質化して低品質画像を作成する画像変換手段と、前記所定の画像と前記低品質画像とを用い、前記低品質画像を前記所定の画像に復元するための辞書を作成する辞書作成手段と、前記低品質画像と、前記辞書または前記辞書に関連する情報を送信する送信手段と、を備え、前記画像出力装置は、前記低品質画像と、前記辞書または前記辞書に関連する情報を受信する受信手段と、前記辞書または前記辞書に関連する情報を用い、前記低品質画像を前記所定の画像に復元する画像復元手段と、を備える。
開示の技術によれば、多数の訓練画像を用意する必要がなく、また、汎用的な辞書よりも少ないエントリ数で高い復元性能を実現することが可能となる。
<第1の実施形態>
以下、図1乃至図2を用いて、本発明の実施形態の一例について説明する。
以下、図1乃至図2を用いて、本発明の実施形態の一例について説明する。
図1は、第1の実施形態に係る画像処理システム1の概略図である。
第1の実施形態に係る画像処理システム1では、画像読取装置2及び画像出力装置3を備える。画像読取装置2と画像出力装置3との間は、ネットワークバス4で接続されている。
画像読取装置2は、画像入力部21、画像変換部23、辞書作成部24、記憶部22、送信部25、及びそれらを接続するネットワークバス26を有する。
画像入力部21は、CD(Compact Disc)、DVD(Digital Versatile Disc)、HDD(Hard Disk Drive)等の記録メディアやネットワーク・ストレージから読み出した画像、あるいは図示しないスキャナ、カメラ等の画像読み取り部を用いて作成した画像を入力する。
画像変換部23は、特定の周波数帯域のみを抽出するバンドパスフィルタ処理、JPEG圧縮を初めとする非可逆圧縮処理、あるいは画素を間引く解像度変換等の任意の手法を用いて画像を低品質化する。
辞書作成部24は、入力された入力画像と低品質画像とから対応する領域を切り出し、画像パッチ対を得る。画像パッチ対は入力画像から切り出された高品質パッチと低品質画像から切り出された低品質パッチとから構成される。これを複数の領域に対して繰り返した上で、複数の画像パッチ対を得る。そして、複数の画像パッチ対を束ねることにより超解像用の辞書を作成する。なお、画像パッチ対は画像から切り出して得られた画素値をそのままエントリとして辞書に登録しても良いし、画素値の最大値、最小値、平均、分散など各種統計量が所定の範囲に収まるように値を補正した上でエントリとして登録しても良い。また、各エントリは画像の画素値そのものを格納している必要はない。例えば、低品質パッチ側は画素値を一次微分や二次微分した値を用いたり、SIFT(Scale Invariant Feature Transform)やSURF(Speeded Up Robust Features)を初めとする局所特徴量を導出して用いたりしても良い。一方、高品質パッチ側は例えば入力された入力画像と低品質画像との差分値を用いても良い。あらゆる画像パッチ対を辞書に含めるとエントリ数が膨大になるため、他の画像パッチ対との間の類似度が、予め設定された類似度よりも高い画像パッチ対は、辞書から削除するようにしてもよい。
記憶部22は、画像入力部21から入力された入力画像、画像変換部23にて処理を加えた低品質画像、及び辞書作成部24にて作成した辞書等を記憶する。
送信部25は、記憶部22に記憶されている低品質画像と超解像用の辞書とをネットワークバス4を介して画像出力装置3に送信する。
画像出力装置3は、受信部31、記憶部32、画像復元部33、画像出力部34、およびそれらを接続するネットワークバス35を有する。
受信部31は、ネットワークバス4を介して画像読取装置2から、低品質画像と超解像用の辞書とを受信する。
画像復元部33は、低品質画像と辞書とを用いて、次の手順で入力された低品質画像を超解像処理した復元画像を作成する。まず、低品質画像からある領域(注目領域)を切り出した画像パッチと、辞書の各エントリの低品質パッチ側とを比較し、画像の類似度の高いエントリを一つ以上取得する。なお、類似度の判断は、ユークリッド距離の大きさを判断するなど、画像の類似度を判断するための任意の方法を用いればよい。次に、取得した一つ以上のエントリにおける高品質パッチ側を読み出し、所定の基準に従って合成して合成パッチを作成する。合成する基準は、単純平均、類似度に応じた加重平均などが例示できる。最後に低品質画像の注目領域に対して合成パッチを重畳する。合成パッチの重畳に際しては、元の画素値を全て置き換えても良いし、元の画素値に加算しても良い。これを低品質画像の全ての領域に対して繰り返す。なお、低品質画像の各注目領域は重ならないように切り出しても良いし、重なりを持たせて切り出しても良い。重なりを持たせる場合には、合成パッチを重畳する際に重なりを考慮して加重平均することが望ましい。
記憶部32は、受信部31にて受信された低品質画像及び超解像用の辞書、画像復元部33で作成された復元画像を記憶する。
画像出力部34は、図示しないディスプレイ、HDDなどの記憶媒体、プリンタ等に対し、記憶部32に記憶されている復元画像を出力する。
図2は、第1の実施形態のシーケンス図である。
まず、画像入力部21により入力画像を読み込む(ステップS1−1)。次に、画像変換部23により入力画像を低品質化してデータ量を削減し、低品質画像を作成する(ステップS1−2)。次に、辞書作成部24が、入力画像と低品質画像から画像パッチを得る(ステップS1−3)。次に、辞書作成部24が、画像パッチ対から辞書を作成する(ステップS1−4)。そして、低品質画像と辞書とを、送信部25からネットワークバス4を通じて、画像出力装置3へ伝送する(ステップS1−5)。
画像出力装置3は、受信部31で低品質画像と辞書とを受信する(ステップS1−6)。次に、画像復元部33が、低品質画像と辞書とを用いて復元画像を作成する(ステップS1−7)。そして、画像出力部34が、復元画像を出力する(ステップS1−8)。
なお、ステップS1−3、ステップS1−4、ステップS1−7の処理は、特許文献1に開示されている技術をそのまま適用してもよい。
第1の実施形態によれば、低品質画像を超解像する際に、当該画像の元となった入力画像から辞書を作成するため、当該低品質画像に最適な辞書が得られる。この辞書を用いて当該低品質画像に対して超解像を行うことにより、従来の汎用的な辞書を用いた場合よりも高精度に入力画像を復元できる。
<第2の実施形態>
第2の実施形態は、第1の実施形態と比較し、以下の点が異なる。
・辞書作成部24が、入力画像と低品質画像とから切り出した画像パッチから基底を作成して辞書化する点。
・画像復元部33が超解像処理を行うために使用する辞書が、入力画像と低品質画像とから切り出した画像パッチから作成された基底である点。
第2の実施形態は、第1の実施形態と比較し、以下の点が異なる。
・辞書作成部24が、入力画像と低品質画像とから切り出した画像パッチから基底を作成して辞書化する点。
・画像復元部33が超解像処理を行うために使用する辞書が、入力画像と低品質画像とから切り出した画像パッチから作成された基底である点。
第2の実施形態に係る画像処理システム1の概略図は、図1に示す第2の実施形態のものと同様である。
第2の実施形態の辞書作成部24は、入力された入力画像と低品質画像とから対応する領域を切り出し、画像パッチ対を得る。画像パッチ対は入力画像から切り出された高品質パッチと低品質画像から切り出された低品質パッチとから構成される。これを複数の領域に対して繰り返した上で、複数の画像パッチ対を得る。そして、複数の画像パッチ対から共通する構造である基底を抽出し、抽出された基底を用いて辞書を作成する。基底の構築方法は、非特許文献1に記載されているように従来から広く知られているため、ここでは詳述しない。
第2の実施形態の画像復元部33は、低品質画像と、基底を用いて作成された辞書とを用いて、復元画像を作成する。
図3は、第2の実施形態のフローチャートである。図2に示す第1の実施形態のフローチャートと比較し、ステップS1−4の代わりに、ステップS2−4にて、画像パッチ対から基底を作成して辞書を作成する点が異なる。それ以外の処理については図2と同様である。
画像パッチそのものを辞書エントリとして利用する場合、個々の画像パッチの構造が複雑であることから、目的の構造を復元するためには、多数の辞書エントリを要する。一方基底を用いることで個々の辞書エントリの構造が単純となるため、比較的少数の辞書エントリの組み合わせで目的の構造を効率良く復元できる。そのため、第2の実施形態によれば、第1の実施形態と比較し、辞書のサイズを小規模に抑えられることから、記憶容量やネットワーク伝送量を削減したり、辞書の照合にかかる処理時間をより低減することができる。
<第3の実施形態>
第3の実施形態は、第1の実施形態及び第2の実施形態と比較し、辞書をデータベースであるサーバ装置5に登録して、サーバ装置5から当該辞書を検索するための辞書のIDを伝送する点が異なる。
第3の実施形態は、第1の実施形態及び第2の実施形態と比較し、辞書をデータベースであるサーバ装置5に登録して、サーバ装置5から当該辞書を検索するための辞書のIDを伝送する点が異なる。
図4は、第3の実施形態に係る画像処理システム1の概略図である。第1の実施形態及び第2の実施形態と比較し、サーバ装置5を有する点で異なる。
また、第3の実施形態の送信部25は、記憶部22から読み出した辞書を、ネットワークバス4を通じて、辞書を識別するための辞書IDと共にサーバ装置5に格納する。固有IDは画像読取装置2が割り振っても良いし、サーバ装置5が割り振っても良い。そして、低品質画像を記憶部22から読み出し、辞書のIDと共にネットワークバス4を通じて、画像出力装置3へ送信する。
また、第3の実施形態の受信部31は、低品質画像と辞書のIDとを受信し、固有IDに基づいてサーバ装置5から辞書を読み出す。
図5は、第3の実施形態のフローチャートである。図2、図3に示す第1、第2の実施形態のフローチャートと比較し、ステップS1−5の代わりに、ステップS3−5−1にて、辞書をサーバ装置5に送信し、ステップS3−5−2にて、サーバ装置5が辞書を格納し、ステップS3−5−3にて、低品質画像と共に辞書のIDを送信する点が異なる。また、ステップS1−6の代わりに、ステップS3−6−1にて、画像出力装置3が、低品質画像と辞書のIDとを受信し、ステップS3−6−2にて、受信した辞書のIDに対応する辞書をサーバ装置に要求し、ステップS3−6−3にて、サーバ装置が、辞書のIDに対応する辞書を送信し、ステップS3−6−4にて、画像出力装置3が辞書を受信する。それ以外の処理については図2、図3と同様である。
なお、画像読取装置2が、宛先の画像出力装置3を指定して、低品質画像と辞書をサーバ装置5に送付すると、サーバ装置5が、当該辞書を格納するとともに、宛先の画像出力装置3に対し、低品質画像及び当該辞書の辞書IDを通知する構成としてもよい。
第3の実施形態によれば、辞書を一旦サーバ装置5に格納し、必要に応じて受信側がサーバ装置5から取得することで、低品質画像と辞書との伝送タイミングをずらしネットワーク負荷を低減できる。また、受信側が低品質画像に対して即時に超解像を行うとは限らないことから、辞書が必要になった際に取得することはネットワーク負荷だけでなく記憶部32に格納されるデータ量の削減にも繋がる。
<第4の実施形態>
第4の実施形態は、第3の実施形態と比較し、辞書をサーバ装置5に登録して、サーバ装置5から当該辞書を検索するための辞書のIDを伝送する代わりに、サーバ装置5に既に登録されている辞書のエントリの中から、辞書作成部24により作成した辞書のエントリと最も近いエントリを選択して、サーバ装置5から当該エントリを検索するためのエントリのIDを伝送する点が異なる。
第4の実施形態は、第3の実施形態と比較し、辞書をサーバ装置5に登録して、サーバ装置5から当該辞書を検索するための辞書のIDを伝送する代わりに、サーバ装置5に既に登録されている辞書のエントリの中から、辞書作成部24により作成した辞書のエントリと最も近いエントリを選択して、サーバ装置5から当該エントリを検索するためのエントリのIDを伝送する点が異なる。
図6は、第4の実施形態に係る画像処理システム1の概略図である。第3の実施形態と比較し、画像読取装置2がエントリ選択部を有する点で異なる。
エントリ選択部は、記憶部22に格納されている辞書(ローカル辞書)を読み出すと共に、サーバ装置5から、サーバ装置5に格納されている辞書(ネットワーク辞書)を読み出す。そして、ローカル辞書のエントリとネットワーク辞書のエントリとを比較する。エントリ間の類似度が高いものが見つかれば、そのネットワーク辞書のID(辞書ID)並びにエントリのID(エントリID)を取得する。エントリIDは最も類似度の高いものを採用しても良いし、所定の基準を満たすもののみに限定しても良い。所定の基準を満たすエントリが見つからなければ、ローカル辞書のエントリをネットワーク辞書に追加し、新たにエントリIDを割り振ってそのエントリIDを取得しても良い。この処理をローカル辞書の全てのエントリに対して行う。
第4の実施形態の送信部25は、低品質画像を記憶部22から読み出し、辞書ID及びエントリIDと共にネットワークバス4を通じて、画像出力装置3へ送信する。
第4の実施形態の受信部31は、低品質画像、辞書ID、及びエントリIDを受信し、辞書IDとエントリIDに基づいて辞書エントリをサーバ装置5から読み出し、記憶部32に格納する。辞書エントリを束ねて辞書を再構築する。
図7は、第4の実施形態のフローチャートである。図2、図3に示す第1、2の実施形態のフローチャートと比較し、ステップS1−5、ステップS1−6、ステップS1−7の代わりに、ステップS4−5−1からステップS4−5−4、ステップS4−6−1からステップS4−6−4、ステップS4−7の処理をそれぞれ行う点が異なる。
ステップS4−5−1にて、画像読取装置2が、サーバ装置5に対し、サーバ装置5に格納されている辞書の送信を要求し、ステップS4−5−2にて、サーバ装置5が、画像読取装置2に対し辞書を送信する。ステップS4−5−3にて、画像読取装置2が、サーバ装置5から受信した辞書から、必要な辞書のIDとエントリのIDを取得し、ステップS4−5−4にて、低品質画像と共に辞書ID及びエントリIDを送信する。
ステップS4−6−1にて、画像出力装置3が、低品質画像と辞書のID及びエントリのIDとを受信し、ステップS4−6−2にて、辞書ID及びエントリIDに対応するエントリをサーバ装置5に対して要求する。ステップS4−6−3にて、サーバ装置が、辞書ID及びエントリIDに対応するエントリを送信し、ステップS4−6−4にて、画像出力装置3がエントリを受信する。
ステップS4−7にて、画像復元部33が、低品質画像と、受信した複数のエントリからなる辞書とを用いて復元画像を作成する。それ以外の処理については図2、図3と同様である。
なお、エントリ選択部は、画像読取装置2ではなく、サーバ装置5側に設けてもよい。その場合の動作は、以下のようになる。画像読取装置2が、宛先の画像出力装置3を指定して、低品質画像とローカル辞書をサーバ装置5に送付する。サーバ装置5が、当該辞書に含まれるエントリと、サーバ装置5に既に格納されているネットワーク辞書のエントリとを比較し、エントリ間の類似度が所定の基準を満たすものが見つかれば、画像読取装置2または、画像読取装置2に指定された宛先の画像出力装置3に対し、ネットワーク辞書の辞書ID並びにエントリIDを通知する。所定の基準を満たすエントリが見つからなければ、ローカル辞書のエントリをネットワーク辞書に追加し、新たにエントリIDを割り振ってそのエントリIDを通知しても良い。この処理をローカル辞書の全てのエントリに対して行う。
第4の実施形態によれば、画像読取装置2が作成したローカル辞書を全てサーバ装置5に登録する必要がないため、第3の実施形態よりもサーバ装置5に格納するデータの容量を削減できる。
<<変形例>>
画像読取装置2、画像出力装置3、サーバ装置5は、それぞれが別の装置として設けてもよいし、一部乃至全部を一体の装置内に設けてもよい。
画像読取装置2、画像出力装置3、サーバ装置5は、それぞれが別の装置として設けてもよいし、一部乃至全部を一体の装置内に設けてもよい。
画像読取装置2、画像出力装置3の各処理部は、一体の装置内に設けてもよいし、一部の処理部をネットワーク等で接続した別の装置内に設けてもよい。
1 アクセス制御システム
2 画像読取装置
21 画像入力部
23 画像変換部(「画像変換手段」の一例)
24 辞書作成部(「辞書作成手段」の一例)
22 記憶部
25 送信部(「送信手段」の一例)
26 エントリ選択部(「エントリ選択手段」の一例)
3 画像出力装置
31 受信部(「受信手段」の一例)
32 記憶部
33 画像復元部(「画像復元手段」の一例)
34 画像出力部
5 サーバ装置
2 画像読取装置
21 画像入力部
23 画像変換部(「画像変換手段」の一例)
24 辞書作成部(「辞書作成手段」の一例)
22 記憶部
25 送信部(「送信手段」の一例)
26 エントリ選択部(「エントリ選択手段」の一例)
3 画像出力装置
31 受信部(「受信手段」の一例)
32 記憶部
33 画像復元部(「画像復元手段」の一例)
34 画像出力部
5 サーバ装置
仙田, 他, "高倍率・高精細を実現する事例ベースの学習型超解像方式," NEC技報, Vol.65, No.2 (2012)
J. Tang, et.al, "Image Super-Resolution Via Sparse Representation," IEEE Transactions on Image Processing, Vol.19, Issue 11, pp.2861-2873 (2010)
Claims (10)
- 画像読取装置及び画像出力装置を有する画像処理システムであって、
前記画像読取装置は、
所定の画像を低品質化して低品質画像を作成する画像変換手段と、
前記所定の画像と前記低品質画像とを用い、前記低品質画像を前記所定の画像に復元するための辞書を作成する辞書作成手段と、
前記低品質画像と、前記辞書または前記辞書に関連する情報を送信する送信手段と、
を備え、
前記画像出力装置は、
前記低品質画像と、前記辞書または前記辞書に関連する情報を受信する受信手段と、
前記辞書または前記辞書に関連する情報を用い、前記低品質画像を前記所定の画像に復元する画像復元手段と、
を備える画像処理システム。 - 前記送信手段は、
前記低品質画像と前記辞書とを前記画像出力装置に対して送信し、
前記受信手段は、
前記低品質画像と前記辞書とを受信し、
前記画像復元手段は、前記辞書を用い、前記低品質画像を前記所定の画像に復元する、
請求項1記載の画像処理システム。 - 前記送信手段は、
前記辞書をサーバ装置に送信し、
前記受信手段は、
前記送信手段または前記サーバ装置から、前記辞書に関連する情報である前記辞書の識別情報を受信し、前記識別情報に基づいて、前記サーバ装置から前記辞書を取得し、
前記画像復元手段は、前記辞書を用い、前記低品質画像を前記所定の画像に復元する、
請求項1記載の画像処理システム。 - 前記画像読取装置は、
サーバ装置に記憶されているネットワーク辞書を受信し、前記ネットワーク辞書のエントリの中から、前記辞書作成手段により作成された辞書に含まれるエントリと類似しているエントリを選択するエントリ選択手段を備え、
前記送信手段は、
前記低品質画像と、前記エントリ選択手段により選択したエントリの識別情報を送信し、
前記受信手段は、
前記低品質画像と、前記辞書に関連する情報である前記識別情報を受信し、前記識別情報に基づいて、前記サーバ装置からエントリを取得し、
前記画像復元手段は、
前記エントリを用い、前記低品質画像を前記所定の画像に復元する、請求項1記載の画像処理システム。 - 前記エントリ選択手段は、
前記辞書作成手段で作成された辞書のエントリに対し、前記ネットワーク辞書のエントリの中から、類似しているエントリが見つからない場合、前記辞書作成手段で作成された辞書のエントリを前記サーバ装置に格納させる、
請求項4記載の画像処理システム。 - 前記送信手段は、
前記辞書をサーバ装置に送信し、
前記受信手段は、
前記送信手段またはサーバ装置から受信した、前記サーバ装置に記憶されている辞書のエントリであって、前記辞書作成手段により作成された辞書に含まれるエントリと類似しているエントリの識別情報を受信し、前記辞書に関連する情報である前記識別情報に基づいて、前記サーバ装置から当該エントリを取得し、
前記画像復元手段は、
前記低品質画像と当該エントリとを用い、前記低品質画像を前記所定の画像に復元する、請求項1記載の画像処理システム。 - 所定の画像を低品質化して低品質画像を作成する画像変換手段と、
前記所定の画像と前記低品質画像とを用い、前記低品質画像を前記所定の画像に復元するための辞書を作成する辞書作成手段と、
前記低品質画像と、前記辞書または前記辞書に関連する情報を送信する送信手段と、
を備える画像読取装置。 - 所定の画像が低品質化された低品質画像と、前記低品質画像を前記所定の画像に復元するための辞書または前記辞書に関連する情報を受信する受信手段と、
前記低品質画像と、前記辞書または前記辞書に関連する情報とを用い、前記低品質画像を前記所定の画像に復元する画像復元手段と、
を備える画像出力装置。 - 画像読取装置及び画像出力装置を有する画像処理システムが実行する画像処理方法であって、
前記画像読取装置が、
所定の画像を低品質化して低品質画像を作成する画像変換ステップと、
前記所定の画像と前記低品質画像とを用い、前記低品質画像に超解像処理を行うための辞書を作成する辞書作成ステップと、
を実行し、
前記画像出力装置が、
前記低品質画像と前記辞書とを用い、前記低品質画像に超解像処理を行う画像復元ステップを実行する画像処理方法。 - 前記画像読取装置または前記画像出力装置に、請求項1乃至6の何れか一項に記載の各手段を実現させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015000716A JP2016127475A (ja) | 2015-01-06 | 2015-01-06 | 画像処理システム、画像処理方法、及びプログラム |
US14/975,985 US9509862B2 (en) | 2015-01-06 | 2015-12-21 | Image processing system, image output device, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015000716A JP2016127475A (ja) | 2015-01-06 | 2015-01-06 | 画像処理システム、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016127475A true JP2016127475A (ja) | 2016-07-11 |
Family
ID=56287178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015000716A Pending JP2016127475A (ja) | 2015-01-06 | 2015-01-06 | 画像処理システム、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9509862B2 (ja) |
JP (1) | JP2016127475A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021068377A (ja) * | 2019-10-28 | 2021-04-30 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置、画像形成装置および画像形成システム |
US11272074B2 (en) | 2019-02-28 | 2022-03-08 | Canon Kabushiki Kaisha | System, method, and storage medium for converting low-resolution image data into high-resolution image data using neural network |
US11436762B2 (en) | 2019-03-27 | 2022-09-06 | Canon Kabushiki Kaisha | Image processing system, image processing method, and image processing apparatus |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10296605B2 (en) * | 2015-12-14 | 2019-05-21 | Intel Corporation | Dictionary generation for example based image processing |
CN111640061B (zh) * | 2020-05-12 | 2021-05-07 | 哈尔滨工业大学 | 一种自适应图像超分辨率系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005253000A (ja) * | 2004-03-08 | 2005-09-15 | Mitsubishi Electric Corp | 画像処理装置 |
JP2007012027A (ja) * | 2005-05-31 | 2007-01-18 | Canon Inc | 情報処理装置、プリンタドライバ、データ転送システム、電子機器 |
JP2012523765A (ja) * | 2009-04-08 | 2012-10-04 | ウォッチイットゥー インコーポレイテッド | 画像圧縮のためのシステム及び方法 |
JP2013518464A (ja) * | 2010-01-22 | 2013-05-20 | トムソン ライセンシング | Example−based超解像を用いたビデオ圧縮のためのデータプルーニング |
WO2014087652A1 (ja) * | 2012-12-06 | 2014-06-12 | 日本電気株式会社 | 画像処理装置及び画像処理方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5946457A (en) * | 1995-12-25 | 1999-08-31 | Sharp Kabushiki Kaisha | Image forming system having transfer device for communicating between image forming apparatus and image processing apparatus |
US5909602A (en) * | 1996-09-30 | 1999-06-01 | Sharp Kabushiki Kaisha | Image forming apparatus having a specimen image judging section and an image information suitability judging section |
US6766067B2 (en) | 2001-04-20 | 2004-07-20 | Mitsubishi Electric Research Laboratories, Inc. | One-pass super-resolution images |
US9373029B2 (en) * | 2007-07-11 | 2016-06-21 | Ricoh Co., Ltd. | Invisible junction feature recognition for document security or annotation |
JP2007166594A (ja) * | 2005-11-17 | 2007-06-28 | Fujifilm Corp | アルバム作成システム、アルバム作成方法、およびアルバム作成プログラム |
US20080002225A1 (en) * | 2006-06-27 | 2008-01-03 | Masajiro Iwasaki | Printing control method, printing control device, printing sytem, terminal device, program, and recording medium |
US7970213B1 (en) * | 2007-05-21 | 2011-06-28 | A9.Com, Inc. | Method and system for improving the recognition of text in an image |
US9176986B2 (en) * | 2009-12-02 | 2015-11-03 | Google Inc. | Generating a combination of a visual query and matching canonical document |
WO2011155031A1 (ja) * | 2010-06-08 | 2011-12-15 | トヨタ自動車株式会社 | 車両のステアリングコラム支持構造 |
JP5615088B2 (ja) * | 2010-08-18 | 2014-10-29 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム、並びに撮像装置 |
TWI513291B (zh) * | 2013-12-12 | 2015-12-11 | Ind Tech Res Inst | 影像處理的方法、裝置及電腦可讀取媒體 |
JP2015232869A (ja) | 2014-05-16 | 2015-12-24 | 株式会社リコー | 画像処理装置、画像処理方法及び画像処理プログラム |
US9396409B2 (en) * | 2014-09-29 | 2016-07-19 | At&T Intellectual Property I, L.P. | Object based image processing |
-
2015
- 2015-01-06 JP JP2015000716A patent/JP2016127475A/ja active Pending
- 2015-12-21 US US14/975,985 patent/US9509862B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005253000A (ja) * | 2004-03-08 | 2005-09-15 | Mitsubishi Electric Corp | 画像処理装置 |
JP2007012027A (ja) * | 2005-05-31 | 2007-01-18 | Canon Inc | 情報処理装置、プリンタドライバ、データ転送システム、電子機器 |
JP2012523765A (ja) * | 2009-04-08 | 2012-10-04 | ウォッチイットゥー インコーポレイテッド | 画像圧縮のためのシステム及び方法 |
JP2013518464A (ja) * | 2010-01-22 | 2013-05-20 | トムソン ライセンシング | Example−based超解像を用いたビデオ圧縮のためのデータプルーニング |
WO2014087652A1 (ja) * | 2012-12-06 | 2014-06-12 | 日本電気株式会社 | 画像処理装置及び画像処理方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11272074B2 (en) | 2019-02-28 | 2022-03-08 | Canon Kabushiki Kaisha | System, method, and storage medium for converting low-resolution image data into high-resolution image data using neural network |
US11436762B2 (en) | 2019-03-27 | 2022-09-06 | Canon Kabushiki Kaisha | Image processing system, image processing method, and image processing apparatus |
JP2021068377A (ja) * | 2019-10-28 | 2021-04-30 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置、画像形成装置および画像形成システム |
JP7367459B2 (ja) | 2019-10-28 | 2023-10-24 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置 |
Also Published As
Publication number | Publication date |
---|---|
US9509862B2 (en) | 2016-11-29 |
US20160198051A1 (en) | 2016-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sun et al. | Spatially-adaptive feature modulation for efficient image super-resolution | |
US9509862B2 (en) | Image processing system, image output device, and image processing method | |
US20080069442A1 (en) | Image processing apparatus, image processing method, and computer readable medium and computer data signal for processing image | |
JP2009200642A (ja) | 画像符号化装置及びその制御方法 | |
JP6554253B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
US8768051B2 (en) | Image processing method, image processing apparatus, and computer-readable medium | |
DE112012003572T5 (de) | Videokompressionssystem und -verfahren mittels differenzierung und clustering | |
JP5759128B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
JP6102938B2 (ja) | 画像処理装置、及び、画像処理方法 | |
US20130120802A1 (en) | Image processing apparatus and image processing method | |
RU2408076C1 (ru) | Способ сжатия изображения | |
Zhou et al. | Efficient image compression based on side match vector quantization and digital inpainting | |
CN110677676B (zh) | 视频编码方法和装置、视频解码方法和装置及存储介质 | |
CN102663715A (zh) | 超分辨率方法和装置 | |
JP2004186985A (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
JP5884597B2 (ja) | 帳票画像管理システム、帳票画像管理方法、及びプログラム | |
CN104462159A (zh) | 基于文档页面内容的图像转换方法及系统 | |
Singh et al. | A content adaptive method of de-blocking and super-resolution of compressed images | |
US8369637B2 (en) | Image processing apparatus, image processing method, and program | |
US20110235903A1 (en) | Image processing method, image processing apparatus and program storage medium | |
KR20050088674A (ko) | 예제 기반 초해상도 기법을 이용한 고품질 영상 획득 방법 | |
CN110662060B (zh) | 视频编码方法和装置、视频解码方法和装置及存储介质 | |
KR102715174B1 (ko) | 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법 | |
CN110572676B (zh) | 视频编码方法和装置、视频解码方法和装置及存储介质 | |
JP5175796B2 (ja) | 符号化・前処理装置、復号化・後処理装置、符号化装置、復号装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180807 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190219 |