JP2017049686A

JP2017049686A - 画像処理装置

Info

Publication number: JP2017049686A
Application number: JP2015170996A
Authority: JP
Inventors: 北　耕次; Koji Kita; 耕次北
Original assignee: Noritsu Prec Co Ltd; Noritsu Precision Co Ltd
Current assignee: Noritsu Prec Co Ltd; Noritsu Precision Co Ltd
Priority date: 2015-08-31
Filing date: 2015-08-31
Publication date: 2017-03-09
Anticipated expiration: 2035-08-31
Also published as: JP6645076B2

Abstract

【課題】より高画質の画像を復元することができる学習型超解像のための画像処理装置を提供する。【解決手段】画像処理装置は、学習型超解像のための画像処理装置であって、第１微小画像及び第２微小画像の対を多数記憶した記憶部と、前記記憶部を参照することにより、前記第１微小画像及び前記第２微小画像の前記対に基づいて、入力画像に対し超解像処理を実行する超解像部とを備える。前記対を成す前記第１微小画像及び前記第２微小画像は、それぞれ学習画像の同じ局所領域に由来する高解像度画像及び劣化画像である。前記学習画像は、図形画像を含む。【選択図】図７

Description

本発明は、学習型超解像のための画像処理装置、辞書データベース及び学習方法に関する。

近年、低画質の画像から高画質の画像を復元する超解像技術が注目されている。超解像の中にも様々な類型があるが、その１つに学習型超解像がある。学習型超解像とは、一般に、学習過程及び復元過程により実現される。学習過程では、同じ学習画像の同じ局所領域に由来する微小サイズの高解像度画像及び劣化画像の対が作成される。そして、復元過程において、復元対象となる低画質の画像からパッチ画像が切り出され、当該パッチ画像に類似する学習済みの微小サイズの劣化画像が特定され、当該劣化画像に対応する微小サイズの高解像度画像に基づいて画像が高画質に復元される。

このような学習型超解像においては、復元画像の画質は学習画像に依存すると言える。また、一般に、学習画像は、復元対象となる画像と同種の画像であることが望ましいと考えられている。例えば、風景や人物の画像を復元したいのであれば、学習画像も同じくそれぞれ風景や人物の画像であることが望ましいと考えられている。復元対象となる画像が備える特徴を、学習することができるからである。特許文献１では、人物の顔の画像を復元するための学習画像として、人物の顔の画像が採用されている。

特開２０１１−０３５６５８号公報

上記のとおり、学習画像は、復元画像の画質を決定する重要なファクターとなる。そこで、本発明者は、より高画質の画像を復元することができる学習画像について検討を行った。

本発明は、より高画質の画像を復元することができる学習型超解像のための画像処理装置、辞書データベース及び学習方法を提供することを目的とする。

本発明の第１観点に係る画像処理装置は、学習型超解像のための画像処理装置であって、第１微小画像及び第２微小画像の対を多数記憶した記憶部と、前記記憶部を参照することにより、前記第１微小画像及び前記第２微小画像の前記対に基づいて、入力画像に対し超解像処理を実行する超解像部とを備える。前記対を成す前記第１微小画像及び前記第２微小画像は、それぞれ学習画像の同じ局所領域に由来する高解像度画像及び劣化画像である。前記学習画像は、図形画像を含む。

なお、ここでいう「図形」とは、一定の法則に従って定められる幾何学的形状であり、典型的には、点、直線、円、楕円及び多角形等の基本形状、あるいはこれらの一部から作図される形状である。

本発明者による鋭意検討の結果、学習型超解像においては、図形画像を学習した場合には、風景や人物等の非図形画像を学習した場合よりも、高画質の画像が復元されることが分かった。そのため、ここでは、学習型超解像のための学習画像として、図形画像が用いられる。従って、より高画質の画像を復元することができる。

本発明の第２観点に係る画像処理装置は、第１観点に係る画像処理装置であって、前記超解像部は、前記入力画像から多数のパッチ画像を切り出す切出部と、前記記憶部を参照することにより、前記パッチ画像に類似する前記第２微小画像を検索する検索部と、前記検索された第２微小画像と前記対を成す前記第１微小画像に基づいて、前記入力画像を復元した復元画像を生成する復元部とを含む。

本発明の第３観点に係る画像処理装置は、第１観点又は第２観点に係る画像処理装置であって、前記図形画像は、非写真画像である。

本発明の第４観点に係る画像処理装置は、第１観点から第３観点のいずれかに係る画像処理装置であって、前記図形画像は、円、楕円及び多角形の中から選択される少なくとも１つの図形を表す図形画像である。

本発明の第５観点に係る画像処理装置は、第１観点から第４観点のいずれかに係る画像処理装置であって、前記図形画像は、スムージング処理が施された画像である。

本発明の第６観点に係る辞書データベースは、学習型超解像のための辞書データベースであって、第１微小画像及び第２微小画像の多数の対を含む。前記対を成す前記第１微小画像及び前記第２微小画像は、それぞれ学習画像の同じ局所領域に由来する高解像度画像及び劣化画像である。前記学習画像は、図形画像を含む。

本発明の第７観点に係る学習方法は、学習型超解像のための学習方法であって、以下の（１）及び（２）のステップを含む。
（１）学習画像として、図形画像を用意するステップ。
（２）前記図形画像から、前記図形画像の同じ局所領域に由来する高解像度画像及び前記劣化画像の対を生成するステップ。

本発明によれば、学習型超解像のための学習画像として、図形画像が用いられる。従って、より高画質の画像を復元することができる。

本発明の一実施形態に係る画像処理装置のブロック図。画像データが取り込まれる前の基本画面の図。画像データが取り込まれた後の基本画面の図。１のタイムラインに属する静止画群を示す図。学習型の超解像処理の流れを示す図。学習過程の流れを示すフローチャート。学習過程の流れを説明するための概念図。本発明の一実施形態に係る学習画像を示す図。復元過程の流れを示すフローチャート。復元過程の流れを説明するための概念図。検証に用いられた評価画像の一覧を示す図。実施例１，２に係る図形画像の一部を示す図。実施例２及び比較例による復元画像を示す図。

以下、図面を参照しつつ、本発明の一実施形態に係る画像処理装置、辞書データベース及び学習方法について説明する。

＜１．画像処理装置の構成＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、ハードウェアとしては、汎用のパーソナルコンピュータである。画像処理装置１には、ＣＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体６０等から画像処理プログラム２が提供され、インストールされている。本実施形態に係る画像処理プログラム２は、動画及び静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。

画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０及び制御部４０を有する。これらの部１０〜４０は、互いにバス線やケーブル等の通信線５を介して接続されており、適宜、通信可能である。ディスプレイ１０は、液晶ディスプレイ等から構成され、後述する画面等をユーザに対し表示する。入力部２０は、マウスやキーボート、タッチパネル等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。記憶部３０は、ハードディスクやフラッシュメモリ等から構成される不揮発性の記憶領域である。制御部４０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成される。

画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１及び加工ファイル領域５２が確保されている。各領域５１，５２の役割については、後述する。また、記憶部３０内には、後述される辞書データベース３１が構築されている。

制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に表示制御部４１及び画像処理部４２として動作する。表示制御部４１は、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示を制御する。画像処理部４２は、様々な種類の画像処理を実行する。画像処理部４２は、後述する超解像処理の実行中、仮想的に学習部４２ａ、切出部４２ｂ、検索部４２ｃ及び復元部４２ｄとして動作する。各部４１，４２，４２ａ〜４２ｄの動作の詳細は、後述する。

＜２．画像処理装置の動作＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検出すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。

＜２−１．画像データの取込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する再生処理及び画像処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。

静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパス及びファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパス及びフォルダ名をユーザに入力させる。その後、制御部４０は、指定された静止画ファイル又は指定されたフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。

一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパス及びファイル名を入力する。表示制御部４１は、ユーザが動画ファイルを指定したことを検出すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルのタイムラインの全区間うち、任意の区間の選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して特定の区間を選択したことを検出すると、選択された区間に含まれるフレーム群に１対１で対応する静止画ファイル群を生成する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。従って、本実施形態では、後述する再生処理及び画像処理の対象となる画像データは、動画ファイルではなく、静止画ファイルである。

なお、制御部４０は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群をタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に判断される。

＜２−２．再生処理＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、表示制御部４１は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１へ取り込まれた静止画ファイル群のタイムラインの数だけ作成される。

表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームに対応する静止画ファイル）が表示される。その後、後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。

図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４及びタイムラインバーＴ５が配置されている。

表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応するタイムラインを、アクティブタイムラインと呼び、アクティブタイムラインに属するフレーム群を、アクティブフレーム群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブフレームと呼ぶ。

表示制御部４１は、アクティブな表示ウィンドウＷ２内で、アクティブフレーム群を動画として再生可能である。再生ボタンＴ２は、アクティブフレーム群の動画としての再生の命令をユーザから受け付ける。表示制御部４１は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検出すると、アクティブな表示ウィンドウＷ２内に、アクティブフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブフレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。表示制御部４１は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検出すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブフレームに固定する。

コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブフレームを、アクティブタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。

タイムラインバーＴ５は、アクティブタイムラインを図式的に示すオブジェクトである。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブフレーム群に含まれるフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。

図３に示すように、表示制御部４１は、タイムラインバーＴ５上において、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを、異なる表示形式で表示する。選択フレーム群とは、アクティブタイムライン上で現在選択されている区間に属するフレーム群である。非選択フレーム群とは、アクティブタイムライン上で現在選択されていない区間に属するフレーム群である。

タイムラインバーＴ５は、アクティブタイムライン上の任意の区間の選択をユーザから受け付ける。このとき選択される区間は、連続区間であってもよいし、図３に示すように、不連続区間であってもよい。具体的には、ユーザは、入力部２０を介してタイムラインバーＴ５上の分割領域を操作することにより、アクティブフレーム群の中から、任意のフレームを任意の数だけ選択することができる。分割領域は、同時に複数選択が可能である。表示制御部４１は、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブフレームを最新に選択された分割領域に対応するフレームに直ちに切り替える。画像処理部４２は、選択フレーム群を後述される画像処理の対象として認識する。

＜２−３．画像処理＞
画像処理部４２は、選択フレーム群に対し、ノイズ除去、シャープネス、拡大／縮小、超解像、明るさ／コントラスト／彩度調整、文字／矢印／モザイクの付加などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。

ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。画像処理部４２は、ユーザが画像処理モジュールを選択したことを検出する度に、その時点の選択フレーム群に対しその画像処理モジュールを実行する。また、選択フレーム群に対し画像処理モジュールを実行するとは、選択フレーム群に含まれる各フレームに対しその画像処理モジュールを実行することである。

フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｍ＋１）次フレームは、第ｍ次フレームの静止画ファイルに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｍは、０以上の整数）。画像処理部４２は、第１次以降のフレームに対応する静止画ファイルを順次生成し、これらの静止画ファイルを加工ファイル領域５２内にそれぞれ別個に保存する。

図４は、１のタイムラインに属する画像群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図４において、横軸のＮ軸は、タイムライン上のフレームの順番を示しており、縦軸のＭ軸は、加工の順番を示している。図４のＮ−Ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、画像Ｉ（ｎ，ｍ）を表している。画像Ｉ（ｎ，ｍ）は、タイムライン上でｎ番目のフレームの第ｍ次の画像である（ｎは、自然数であり、ｍは、０以上の整数である）。

制御部４０は、各フレームについて、現在選択されている座標ｍの値をパラメータｍ_sとして管理する。オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、座標ｍ_sは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍ_sは１ずつインクリメントされる。また、ユーザは、入力部２０を介して所定の操作を行うことにより、任意のフレームの座標ｍ_sを自在に変更することができる。なお、フレームに対し画像処理モジュールを実行するとは、そのフレームの第ｍ_s次の画像に対し画像処理モジュールを実行することである。従って、座標ｍ_sを変更することには、画像処理モジュールの実行の対象を変更するという意味がある。また、フレームを表示するとは、そのフレームの座標ｍ_sの画像を表示することである。従って、座標ｍ_sを変更することには、アクティブな表示ウィンドウＷ２内に表示される対象を変更するという意味もある。

＜３．超解像処理＞
以下、画像処理プログラム２に実装されている画像処理の１つである、学習型の超解像処理について説明する。超解像処理とは、低画質の画像を高画質の画像に復元する処理である。

学習型の超解像処理は、図５に示すとおり、学習過程及び復元過程により実現される。学習過程は、復元過程に先立ち、復元過程で使用される辞書データベース３１を学習により構築する過程である。復元過程は、辞書データベース３１を使用して、低画質の画像を高画質の画像に復元する過程である。以下、学習過程及び復元過程について順に説明する。

＜３−１．学習過程＞
図６は、学習過程の流れを示すフローチャートであり、図７は、学習過程の流れを示す概念図である。図６の処理は、基本画面Ｗ１上でユーザが所定の操作を行ったことが検出されたときに開始される。

まず、ステップＳ１では、学習画像群が用意される。本実施形態では、学習画像群に含まれる学習画像は、全て図形画像である。しかしながら、他の実施形態では、学習画像群に図形画像以外の画像、例えば、風景や人物等の写真画像を含ませることも可能である。

本実施形態に係る学習画像は、図８に示すような単純な基本図形を表す図形画像であり、より具体的には、単一の円を表す画像である。本実施形態では、灰色の背景に対して円を黒色及び白色で描画した２種類の画像が用意される。また、白色円及び黒色円の各々に対し、大小様々なサイズ、本実施形態では２４段階に円の半径を変化させた画像が用意される。また、色及びサイズの組み合わせの各パターンに対し、異なる太さ、本実施形態では６画素及び１０画素の太さで線を描画した２種類の画像が用意される。

また、本実施形態に係る学習画像は、非写真画像であり、学習部４２ａにより自動的に作成される。まず、学習部４２ａは、円と背景との境界部分で画素値が急峻に切り替わる、言い換えると、円部分及び背景部分で２種類の画素値しか持たない円画像を作成する。続いて、学習部４２ａは、作成された各円画像に対し、円と背景との境界部分において、アンチエイリアス処理を施す。これにより、境界部分において画素値が滑らかに変化し、円の輪郭が背景と融合する。さらに、学習部４２ａは、画像全体にσ＝０．３のガウスぼかしを施す。なお、学習画像として、予めこのようなスムージング処理が施された画像が用意されるのは、復元対象となる画像には、被写体にフォーカスが合致していた場合でさえも、鋭い輪郭線を有する画像は余りないと考えられるためである。すなわち、学習画像にスムージング処理を施すことにより、学習画像に復元対象となる画像の性質を持たせることができる。従って、より高画質の画像を復元する観点からは、スムージング処理の施された学習画像を用いて学習することが好ましい。

続くステップＳ２では、ステップＳ１で用意された各学習画像から劣化画像を生成する。具体的には、本実施形態では、学習部４２ａは、学習画像にσ＝１．０のガウスぼかしを施す。続いて、所定の倍率、本実施形態では１／１６の縮小率で学習画像を縮小し、その後、１６倍の拡大率で元のサイズに戻す。このときの拡大縮小のアルゴリズムとしては、公知の様々なものを用いることができるが、本実施形態では、バイキュービック法が用いられる。

続くステップＳ３では、学習部４２ａは、各劣化画像から多数の微小画像を切り出す。本実施形態では、この切り出しは、１画素ずつ左右に移動させたラスタスキャンによって実行される。以下、ここで切り出された微小画像を、劣化微小画像と呼ぶ。本実施形態に係る劣化微小画像のサイズは、９ピクセル×９ピクセルである。その後、学習部４２ａは、各劣化微小画像の画素値（輝度）を０〜１に正規化する（ステップＳ４）。本実施形態では、正規化は、以下の式に従って実行される。

ただし、LNorm_nは、劣化微小画像の正規化された画素値であり、Ldat_nは、劣化微小画像の画素値であり、LAveは、劣化微小画像の画素値の平均値であり、LContは、劣化微小画像のコントラスト値である。nは、画素番号である。コントラスト値LContは、以下の式に従って算出される。ただし、pixは、劣化微小画像のピクセル数である。

すなわち、ステップＳ４では、各劣化微小画像に対し、画素値の平均値LAve及びコントラスト値LContが算出される。そして、これらの値LAve，LContを用いて、数１の式に従って、各画素値の正規化が行われる。

続くステップＳ５では、学習部４２ａは、ステップＳ３で切り出された各劣化微小画像のエッジ方向を決定する。具体的には、本実施形態では、プレウィットフィルターで輪郭の抽出を行い、当該輪郭の方向を１６方向のエッジ方向のいずれかに分類する。

続くステップＳ６では、学習部４２ａは、各学習画像から、当該学習画像に対応する劣化画像を減算した高解像成分画像を生成する。高解像成分画像は、学習画像に含まれる高周波成分、言い換えると、画像の緻密な成分を表す画像である。

続くステップＳ７では、学習部４２ａは、各高解像成分画像から多数の微小画像を切り出す。本実施形態では、この切り出しは、１画素ずつ左右に移動させたラスタスキャンによって実行される。以下、ここで切り出された微小画像を、高解像度微小画像と呼ぶ。本実施形態に係る高解像度微小画像のサイズは、劣化微小画像の場合と同じく、９ピクセル×９ピクセルである。その後、学習部４２ａは、各高解像度微小画像の輝度を０〜１に正規化する（ステップＳ８）。本実施形態では、この正規化は、学習画像の同じ局所領域に由来する劣化微小画像のコントラスト値LContを用いて、以下の式に従って実行される。

ただし、HNorm_nは、高解像度微小画像の正規化された画素値であり、Hdif_nは、高解像度微小画像の画素値である。nは、画素番号である。

続くステップＳ９では、学習部４２ａは、辞書データベース３１に多数の微小画像の対を登録する。具体的には、ステップＳ８で正規化された高解像度微小画像（以下、第１微小画像という）と、ステップＳ４で正規化された劣化微小画像（以下、第２微小画像という）との対を生成し、辞書データベース３１に記憶させる。対を成す第１微小画像及び第２微小画像は、同じ学習画像の同じ局所領域に由来する画像であり、第１微小画像は、高解像成分画像の微小画像であり、第２微小画像は、劣化画像の微小画像である。また、学習部４２ａは、微小画像の各対に、当該微小画像に対応する劣化微小画像に対しステップＳ５で特定されたエッジ方向を関連付けて登録する。なお、ステップＳ５でエッジ方向が抽出できなかった劣化微小画像に対応する対については、登録を省略し、エッジ方向が特定された劣化微小画像に対応する対のみ、登録を行う。以上により、学習過程が終了する。

＜３−２．復元過程＞
次に、図９及び図１０を参照しつつ、復元過程について説明する。図９は、復元過程の流れを示すフローチャートであり、図１０は、復元過程の流れを示す概念図である。図９の処理（以下、復元処理という）は、基本画面Ｗ１上でユーザが所定の操作を行ったことが検出されたときに開始される。復元処理を実行するための画像処理プログラムは、上述した画像処理モジュールの１つとして実装されている。図９に示す処理は、１枚の画像に対する処理であるが、復元処理は、選択フレーム群に含まれる各フレームに対し実行される。

復元対象となる画像（以下、対象画像という）は、低画質の画像である。一般に、画像が低画質化する理由は様々考えられ、例えば、被写体を捉えた画像領域のサイズが小さいことや、撮影時のフォーカスが合致していないことが考えられる。しかしながら、ここでの復元処理では、低画質化の理由を問わず、高画質の画像を復元することができる。

まずステップＳ２１では、復元部４２ｄは、対象画像を拡大する。拡大率は、適宜設定することができ、ユーザからの入力を受け付けることもできるし、予め定めておくこともできる。このときの拡大のアルゴリズムとしては、公知の様々なものを用いることができるが、学習時と同様のアルゴリズムが用いられることが好ましいため、本実施形態では、バイキュービック法が用いられる。なお、ステップＳ２において様々なアルゴリズムで拡縮を行った学習データを用意することもできる。この場合、辞書データベース３１内に、拡縮のアルゴリズムを示す情報を学習データに関連付けて格納しておくことができる。そして、復元時の拡大のアルゴリズムに応じて、復元に使用する学習データを選択することができる。

続くステップＳ２２では、切出部４２ｂは、拡大された対象画像から多数の微小サイズのパッチ画像を切り出す。本実施形態では、この切り出しは、１画素ずつ左右に移動させたラスタスキャンによって実行される。また、本実施形態では、パッチ画像のサイズは、上述の微小画像と同じく、９ピクセル×９ピクセルである。

続くステップＳ２３では、復元部４２ｄは、ステップＳ２２で切り出された各パッチ画像のエッジ方向を決定する。このとき、本実施形態では、ステップＳ５と同じアルゴリズムが用いられる。すなわち、各パッチ画像は、１６方向のエッジ方向のいずれかに分類される。

続くステップＳ２４では、検索部４２ｃは、辞書データベース３１内から、ステップＳ２２で切り出された各パッチ画像に類似する第２微小画像を検索する。本実施形態では、効率的な検索のために、まず各パッチ画像に対し、ステップＳ２３で特定されたエッジ方向と同じ方向に関連付けられている第２微小画像を抽出する。そして、抽出された全ての第２微小画像に対し、総当たりでパッチ画像との類似度を計算し、類似度の最も高い第２微小画像を特定する。なお、類似度の計算は様々なアルゴリズムで行うことができるが、本実施形態では、ＳＳＤ（各画素値の差の二乗和）が用いられる。また、類似度の計算に当たり、パッチ画像は予め正規化される。正規化のアルゴリズムは、ステップＳ４と同じである。すなわち、正規化されたパッチ画像と、辞書データベース３１に登録されている第２微小画像との類似度が計算される。

続くステップＳ２５では、復元部４２ｄは、辞書データベース３１を参照することにより、ステップＳ２４で検索された各第２微小画像と対を成す第１微小画像を特定する。

続くステップＳ２６では、ステップＳ２５で特定された各第１微小画像に対し、画像の復元を行う。これにより、ステップＳ２２で切り出された各パッチ画像を復元した復元パッチ画像が生成される。具体的には、本実施形態では、この復元に、パッチ画像の画素値及びコントラスト値が用いられる。具体的には、以下の式に従って、復元パッチ画像が生成される。

ただし、Himg_nは、復元パッチ画像の画素値であり、H_nは、ステップＳ２５で特定された第１微小画像の画素値である。QContは、パッチ画像のコントラスト値であり、Limg_nは、パッチ画像の画素値である。nは、画素番号である。コントラスト値の算出のアルゴリズムは、ステップＳ４と同じである。

続くステップＳ２７では、復元部４２ｄは、ステップＳ２６で生成された全ての復元パッチ画像を用いて、対象画像を復元した復元画像を生成する。具体的には、復元パッチ画像を、それぞれの位置情報に応じて画像平面内に貼り付ける。なお、本実施形態では、上述したとおり、パッチ画像はラスタスキャンにより切り出されている。そのため、復元パッチ画像を画像平面内に貼り付けたとき、画像平面内の各画素には複数の画像が張り付けられる。従って、本実施形態では、画像平面内の各画素に対応する複数の画素値が平均され、当該平均値が復元画像の画素値とされる。

以上により、復元処理が終了する。復元画像は、表示制御部４１により、表示ウィンドウＷ２内に表示される。これにより、ユーザは、高画質に復元された復元画像を確認することができる。

＜４．用途＞
画像処理プログラム２は、多種多様な画像に対する画像処理を取り扱うことができ、例えば、警察等の機関が事件の捜査のために防犯カメラの監視映像を解析する場面で利用することができる。この場合、防犯カメラに小さく写り込んだ人物の顔や、自動車のナンバー等の像を超解像処理により高画質化し、確認することができる。

＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。

＜５−１＞
上記実施形態では、学習画像は円画像とされたが、楕円や多角形を表す図形画像とすることもできる。また、異なる種類の図形画像を組み合わせて、学習画像群を構成することもできる。

＜５−２＞
上記実施形態では、学習過程は、ユーザが基本画面Ｗ１上で所定の操作を行ったときにより実行されるようになっていた。しかしながら、既に作成されている辞書データベース３１が、画像処理プログラム２のインストール時に画像処理装置１にセットされるようにしてもよい。この場合、一般のユーザではなく、ソフトウェアの提供者が、学習過程に係る上記処理を別のコンピュータを用いて実行し、辞書データベース３１を構築することになる。

＜５−３＞
上記実施形態では、ステップＳ４，Ｓ８により、第１及び第２微小画像が正規化されているが、このような正規化を省略することもできる。ただし、上記正規化を行うことにより、辞書データベース３１に登録しておくべき学習データの量を大きく低減することができる。なお、ステップＳ４，Ｓ８の正規化を省略した場合には、復元過程においてもステップＳ２４の正規化は省略される。

以下、本発明の実施例について説明する。ただし、本発明は、以下の実施例に限定されない。

本発明者は、図１１に示すような２９枚の評価画像を用意し、これらを劣化させて２９枚の劣化評価画像を生成した。そして、これらの劣化評価画像に対し、後述する実施例１，２及び比較例に係る学習データを用いて、上記実施形態に係る学習型の超解像処理を施し、それぞれ２９枚の復元画像を得た。なお、劣化評価画像は、ステップＳ２と同様の方法により生成した。

＜実施例１，２＞
上記実施形態と同様の学習画像が用意された。具体的には、９６枚の円画像（白黒２色×円の半径の段階２４×線の太さ２種）が用意された。そして、これらの学習画像に対し上記実施形態に係る学習を行い、実施例１の学習データを得た。また、実施例１の学習画像の円にさらに強いグラデーションをつけ、かかる学習画像に対し上記実施形態に係る学習を行い、実施例２の学習データを得た。なお、図１２に示すように、線に強いグラデーションがついていない円画像の学習データが実施例１であり、強いグラデーションがついている円画像の学習データが実施例２である。

＜比較例＞
一方、比較例に係る学習画像として、人物、動物、植物、自然風景、建物等の人工物を被写体とする計１４９枚の写真画像を用意した。そして、これらの写真画像に対し、上記実施形態に係る学習を行い、学習データを得た。なお、比較例に係る学習データのデータ量は、実施例１，２の場合と概ね同じであった。

＜検証＞
実施例１の学習データを用いた復元画像と評価画像との間のピーク信号対雑音比（ＰＳＮＲ：Peak signal-to-noise ratio）を算出した。ＰＳＮＲとは、２つの画像間の差を評価する際に用いられる指標であり、値が大きい程２つの画像が類似していることを表す。同様に、実施例２の学習データを用いた復元画像と評価画像との間のＰＳＮＲを算出するとともに、比較例の学習データを用いた復元画像と評価画像との間のＰＳＮＲを算出した。

さらに、評価画像と復元画像との間のＰＳＮＲから、評価画像と劣化評価画像との間のＰＳＮＲを引いた値（以下、正規化ＰＳＮＲという）を算出した。表１に、実施例１，２及び比較例に対する、２９個の正規化ＰＳＮＲの平均値、最大値、最小値及び標準偏差を示す。

表１に示すとおり、正規化ＰＳＮＲの平均値、最大値及び最小値の全てにおいて、比較例よりも実施例１，２の方が値が大きくなった。すなわち、実施例１，２に係る学習データを用いた方が、より元の評価画像に類似する画像を復元できていることが分かる。また、正規化ＰＳＮＲの標準偏差は、比較例よりも実施例１，２の方が値が小さくなった。すなわち、実施例１，２では、人物画像や風景画像といった評価画像の種類に応じてＰＳＮＲの値のばらつくことが少なく、安定した精度で画像を復元できていることが分かる。さらに、図形画像の線にグラデーションを付した場合には、平均的に見て、より元の復元画像に類似する画像を復元でき、画像の種類によらずより安定した精度で画像を復元できることが分かる。ただし、復元したい被写体が車両ナンバー等、図形的である場合には、実施例１の図形画像の方が優れている場合もある。

また、図１３に、実施例２及び比較例に係る学習データを用いた場合の復元画像の例を示す。同図に示すように、見た目にも、比較例よりも実施例２の方が、少なくとも局所領域に注目したときにおいて、高画質に画像が復元されていることが分かる。特に、直線が明確に復元されているのが分かる。なお、実施例１，２に係る学習データは円画像に由来するが、微小画像においては、特にサイズの大きな円の線は直線的である。従って、円画像であっても、実施例１，２に係る学習データは直線の復元に適している。

１画像処理装置
２画像処理プログラム
４２ａ学習部
４２ｂ切出部
４２ｃ検索部
４２ｄ復元部

Claims

学習型超解像のための画像処理装置であって、
第１微小画像及び第２微小画像の対を多数記憶した記憶部と、
前記記憶部を参照することにより、前記第１微小画像及び前記第２微小画像の前記対に基づいて、入力画像に対し超解像処理を実行する超解像部と
を備え、
前記対を成す前記第１微小画像及び前記第２微小画像は、それぞれ学習画像の同じ局所領域に由来する高解像度画像及び劣化画像であり、
前記学習画像は、図形画像を含む、
画像処理装置。
前記超解像部は、
前記入力画像から多数のパッチ画像を切り出す切出部と、
前記記憶部を参照することにより、前記パッチ画像に類似する前記第２微小画像を検索する検索部と、
前記検索された第２微小画像と前記対を成す前記第１微小画像に基づいて、前記入力画像を復元した復元画像を生成する復元部と
を含む、
請求項１に記載の画像処理装置。
前記図形画像は、非写真画像である、
請求項１又は２に記載の画像処理装置。
前記図形画像は、円、楕円及び多角形の中から選択される少なくとも１つの図形を表す図形画像である、
請求項１から３のいずれかに記載の画像処理装置。
前記図形画像は、スムージング処理が施された画像である、
請求項１から４のいずれかに記載の画像処理装置。
学習型超解像のための辞書データベースであって、
第１微小画像及び第２微小画像の多数の対
を含み、
前記対を成す前記第１微小画像及び前記第２微小画像は、それぞれ学習画像の同じ局所領域に由来する高解像度画像及び劣化画像であり、
前記学習画像は、図形画像を含む、
辞書データベース。
学習型超解像のための学習方法であって、
学習画像として、図形画像を用意するステップと、
前記図形画像から、前記図形画像の同じ局所領域に由来する高解像度画像及び前記劣化画像の対を生成するステップと
を含む、
学習方法。