JP2015232765A - 画像生成装置、コンピュータプログラム及び画像生成方法 - Google Patents

Abstract

【課題】高解像度の撮像装置を用いることなく高解像度画像を生成する画像生成装置、コンピュータプログラム及び画像生成方法を提供する。【解決手段】画像生成装置は、画像の一部を抽出した部分画像及び画像を縮小した縮小画像の部分画像の位置に対応し、部分画像より小さい縮小部分画像を対応付けた組を複数記憶する記憶部と、入力画像を取得する取得部と、取得した入力画像上で縮小部分画像と同等の大きさの入力部分画像を特定する特定部と、特定した入力部分画像の特徴量及び記憶した複数組の縮小部分画像それぞれの特徴量に基づいて記憶した縮小部分画像の中から一の縮小部分画像を選択する選択部と、選択した縮小部分画像に対応付けられた部分画像を、入力画像の大きさを所要の倍率で拡大した拡大領域の入力部分画像に対応する位置に配置して入力画像を拡大した高解像度画像を生成する生成部とを備える。【選択図】図１

Description

本発明は、入力画像を拡大した高解像度画像を生成する画像生成装置、該画像生成装置を実現するためのコンピュータプログラム及び画像生成方法に関する。

近年、交通監視などの分野において、特定の車両を抽出する技術の１つとして車両のナンバープレートを読み取る文字認識技術が開発されている。このような文字認識技術は、高速道路における料金収受システム、交通流の計測システム、駐車場等の入出車両管理システムなどに利用することができる。

文字認識技術として、例えば、ナンバープレートに使用される文字について、低解像度のカメラで撮像したときの画像と、同じ文字を高解像度のカメラで撮像したときの画像とをお互いに関連付けてデータベースに記憶しておき、入力された画像の特徴量とデータベースに記憶された低解像度の画像の特徴量とを比較してマッチングし、マッチング度の最も高い低解像度の画像に関連付けられている高解像度の画像をデータベースから読み出し、読み出した高解像度の画像に基づいて文字認識する文字認識装置が開示されている（特許文献１参照）。

特許第４２６４３３２号公報

しかし、特許文献１の技術にあっては、予めデータベースを作成するためには、ナンバープレートに使用される文字を高解像度の撮像装置（カメラ）で撮像した画像が必要であるため、高解像度の撮像装置が必要である。また、高解像度の画像は得られないことが多いため、低解像度の画像と高解像度の画像とを関連付けたデータベースを作成することは困難である。

本発明は、斯かる事情に鑑みてなされたものであり、高解像度の撮像装置を用いることなく高解像度画像を生成する画像生成装置、該画像生成装置を実現するためのコンピュータプログラム及び画像生成方法を提供することを目的とする。

本発明の実施の形態に係る画像生成装置は、画像の一部を抽出した部分画像及び前記画像を縮小した縮小画像の前記部分画像の位置に対応する縮小部分画像を対応付けた組を複数記憶する記憶部と、入力画像を取得する取得部と、該取得部で取得した入力画像上で前記縮小部分画像と同等の大きさの入力部分画像を特定する特定部と、該特定部で特定した入力部分画像の所定の特徴量及び前記記憶部に記憶した複数組の縮小部分画像それぞれの前記特徴量に基づいて前記記憶部に記憶した縮小部分画像の中から一の縮小部分画像を選択する選択部と、該選択部で選択した縮小部分画像に対応付けられた部分画像を前記入力部分画像に対応する位置に配置して前記入力画像を拡大した出力画像を生成する生成部とを備える。

本発明の実施の形態に係るコンピュータプログラムは、入力画像を拡大した出力画像を生成するためのコンピュータプログラムであって、コンピュータを、前記入力画像の一部である入力部分画像を特定する特定手段と、特定した入力部分画像の所定の特徴量、並びに画像の前記入力部分画像と同等の大きさの部分画像及び前記画像を縮小した縮小画像の前記部分画像の位置に対応する縮小部分画像を対応付けた組を複数記憶する記憶手段に記憶した複数組の縮小部分画像それぞれの前記特徴量に基づいて前記記憶手段に記憶した縮小部分画像の中から一の縮小部分画像を選択する選択手段と、選択した縮小部分画像に対応付けられた部分画像を前記入力部分画像に対応する位置に配置して前記入力画像を拡大した出力画像を生成する生成手段として機能させる。

本発明の実施の形態に係る画像生成方法は、画像の一部を抽出した部分画像及び前記画像を縮小した縮小画像の前記部分画像の位置に対応する縮小部分画像を対応付けた組を記憶部に複数記憶しておき、入力画像を取得部が取得するステップと、取得された入力画像上で前記縮小部分画像と同等の大きさの入力部分画像を特定部が特定するステップと、特定された入力部分画像の所定の特徴量及び前記記憶部に記憶した複数組の縮小部分画像それぞれの前記特徴量に基づいて前記記憶部に記憶した縮小部分画像の中から一の縮小部分画像を選択部が選択するステップと、選択された縮小部分画像に対応付けられた部分画像を前記入力部分画像に対応する位置に配置して前記入力画像を拡大した出力画像を生成部が生成するステップとを含む。

本発明によれば、高解像度の撮像装置を用いることなく高解像度画像を生成することができる。

本実施の形態の画像生成装置の構成の一例を示すブロック図である。 プレート画像と縮小画像との関係を示す模式図である。 部分画像と縮小部分画像との関係を示す模式図である。 画像ペアの一例を示す模式図である。 記憶部に記憶した画像ペアの一例を示す模式図である。 入力画像の一例を示す模式図である。 入力部分画像の一例を示す模式図である。 記憶部に記憶した画像ペアのうち入力部分画像の特徴量に最も近い縮小部分画像が選択された状態を示す模式図である。 拡大領域に部分画像を配置する状態の一例を示す模式図である。 超解像処理により拡大された高解像度画像の一例を示す模式図である。 入力画像の一部に対して超解像処理を行う一例を示す模式図である。 本実施の形態の画像生成装置の処理手順の一例を示すフローチャートである。

［本願発明の実施形態の説明］
（１）本発明の実施の形態に係る画像生成装置は、画像の一部を抽出した部分画像及び前記画像を縮小した縮小画像の前記部分画像の位置に対応する縮小部分画像を対応付けた組を複数記憶する記憶部と、入力画像を取得する取得部と、該取得部で取得した入力画像上で前記縮小部分画像と同等の大きさの入力部分画像を特定する特定部と、該特定部で特定した入力部分画像の所定の特徴量及び前記記憶部に記憶した複数組の縮小部分画像それぞれの前記特徴量に基づいて前記記憶部に記憶した縮小部分画像の中から一の縮小部分画像を選択する選択部と、該選択部で選択した縮小部分画像に対応付けられた部分画像を前記入力部分画像に対応する位置に配置して前記入力画像を拡大した出力画像を生成する生成部とを備える。

（５）本発明の実施の形態に係るコンピュータプログラムは、入力画像を拡大した出力画像を生成するためのコンピュータプログラムであって、コンピュータを、前記入力画像の一部である入力部分画像を特定する特定手段と、特定した入力部分画像の所定の特徴量、並びに画像の前記入力部分画像と同等の大きさの部分画像及び前記画像を縮小した縮小画像の前記部分画像の位置に対応する縮小部分画像を対応付けた組を複数記憶する記憶手段に記憶した複数組の縮小部分画像それぞれの前記特徴量に基づいて前記記憶手段に記憶した縮小部分画像の中から一の縮小部分画像を選択する選択手段と、選択した縮小部分画像に対応付けられた部分画像を前記入力部分画像に対応する位置に配置して前記入力画像を拡大した出力画像を生成する生成手段として機能させる。

（６）本発明の実施の形態に係る画像生成方法は、画像の一部を抽出した部分画像及び前記画像を縮小した縮小画像の前記部分画像の位置に対応する縮小部分画像を対応付けた組を記憶部に複数記憶しておき、入力画像を取得部が取得するステップと、取得された入力画像上で前記縮小部分画像と同等の大きさの入力部分画像を特定部が特定するステップと、特定された入力部分画像の所定の特徴量及び前記記憶部に記憶した複数組の縮小部分画像それぞれの前記特徴量に基づいて前記記憶部に記憶した縮小部分画像の中から一の縮小部分画像を選択部が選択するステップと、選択された縮小部分画像に対応付けられた部分画像を前記入力部分画像に対応する位置に配置して前記入力画像を拡大した出力画像を生成部が生成するステップとを含む。

記憶部は、画像の一部を抽出した部分画像及び当該画像を縮小した縮小画像の当該部分画像の位置に対応する縮小部分画像を対応付けた組を複数記憶する。画像は、予め比較的解像度の低い（高解像度ではない）撮像装置で撮像した画像である。なお、画像には、ナンバープレートが撮像されているが、ナンバープレートが撮像されていない画像であってもよい。縮小画像は、例えば、画像を倍率１／２で縮小することにより得ることができるが、倍率は１／２に限定されるものではない。部分画像は、例えば、４×４画素の画素領域とし、縮小部分画像は、２×２画素の画素領域とすることができるが、これらの大きさの画素領域に限定されるものではない。記憶部には、部分画像と縮小部分画像とを対応付けた１組の画像ペアを複数組記憶してある。

取得部は、入力画像を取得する。入力画像は、例えば、比較的解像度の低い（高解像度ではない）撮像装置で撮像して得られた画像である。特定部は、取得した入力画像上で縮小部分画像と同等の大きさの入力部分画像を特定する。例えば、入力画像での座標を（ｘ、ｙ）とすると、ｘ軸、ｙ軸それぞれ２画素おきに２×２画素の領域を切り出すことにより、入力部分画像を特定することができる。すなわち、縮小部分画像が、２×２画素である場合、入力部分画像も２×２画素で構成される画像となる。

選択部は、特定部で特定した入力部分画像の所定の特徴量及び記憶部に記憶した複数組の縮小部分画像それぞれの所定の特徴量に基づいて記憶部に記憶した縮小部分画像の中から一の縮小部分画像を選択する。所定の特徴量は、例えば、局所領域の輝度の勾配方向をヒストグラム化したＨＯＧ（Histograms of Oriented Gradients）特徴量を用いることができるが、他の特徴量を用いてもよい。すなわち、入力部分画像の特徴量と記憶部に記憶した複数の縮小部分画像それぞれの特徴量とを比較し、特徴量の差が最も小さい縮小部分画像を選択する。これにより、入力画像の入力部分画像の特徴量に最も近い縮小部分画像を選択することができる。

生成部は、選択部で選択した縮小部分画像に対応付けられた部分画像を入力部分画像に対応する位置に配置して入力画像を拡大した出力画像を生成する。生成部による出力画像の生成処理を超解像処理とも称する。所要の倍率は、例えば、倍率２とすることができる。すなわち、選択した縮小部分画像に対応付けられた部分画像を、入力画像の２倍の大きさの拡大領域に配置する。配置する際の位置は、入力画像での入力部分画像の位置に対応させる。例えば、拡大領域が入力画像の大きさの２倍である場合に、入力画像での入力部分画像の位置（例えば、左上の座標）が、（ｘ、ｙ）であるときは、部分画像の位置（左上の座標）が拡大領域上の（２ｘ、２ｙ）の位置になるように配置すればよい。

入力画像を単に拡大する場合には、文字認識で重要な細かい部分の情報（画素の情報など）を復元することができない。しかし、予め部分画像と縮小部分画像とを対応付けておき、入力画像の入力部分画像と最も近似する縮小部分画像を選択し、選択した縮小部分画像に対応付けられた部分画像を用いて入力画像を拡大するので、細かい部分の情報（画素の情報）を復元しながら拡大処理を行うことができる。これにより、高解像度の撮像装置を用いることなく、比較的低解像度の撮像装置で撮像して得られた入力画像の高解像度画像を生成することができる。

（２）本発明の実施の形態に係る画像生成装置は、前記縮小画像の縮小倍率は、前記入力画像を拡大する際の倍率の逆数である。

縮小画像の縮小倍率（縮小画像を得るための画像の縮小倍率）は、入力画像を拡大領域に拡大する倍率（入力画像を拡大する際の倍率）の逆数である。これにより、画像と縮小画像との大小関係と、拡大領域と入力画像との大小関係とを一致させることができ、拡大処理を簡単に行うことができる。

（３）本発明の実施の形態に係る画像生成装置は、前記記憶部は、ナンバープレートが撮像されたプレート画像の部分画像及び前記プレート画像を縮小した縮小画像の前記部分画像の位置に対応する縮小部分画像を対応付けた組を複数記憶してあり、前記取得部は、ナンバープレートが撮像された入力画像を取得するようにしてあり、前記取得部で取得した入力画像のうちナンバープレートの漢字部分又は平仮名部分を抽出する抽出部と、前記入力画像の前記漢字部分又は平仮名部分以外の部分を前記倍率で拡大した拡大画像を生成する拡大画像生成部とを備え、前記特定部は、前記抽出部で抽出した漢字部分又は平仮名部分上で前記入力部分画像を特定するようにしてあり、前記選択部は、前記漢字部分又は平仮名部分上の前記入力部分画像を用いて一の縮小部分画像を選択するようにしてあり、前記生成部は、前記拡大画像生成部で生成した拡大画像、及び前記漢字部分又は平仮名部分上で前記選択部が選択した縮小部分画像に対応付けられた部分画像を前記入力部分画像に対応する位置に配置した画像に基づいて前記出力画像を生成するようにしてある。

記憶部は、ナンバープレートが撮像されたプレート画像の部分画像及び当該プレート画像を縮小した縮小画像の前記部分画像の位置に対応する縮小部分画像を対応付けた組を複数記憶してある。取得部は、ナンバープレートが撮像された入力画像を取得するようにしてある。抽出部は、取得部で取得した入力画像のうちナンバープレートの漢字部分又は平仮名部分を抽出する。漢字部分又は平仮名部分は、例えば、陸運支局名や自治体名など、文字認識する際に比較的複雑な部分である。なお、漢字部分又は平仮名部分以外の部分は、例えば、番号などの数字部分であり、文字認識する際に比較的単純な部分である。拡大画像生成部は、入力画像の漢字部分又は平仮名部分以外の部分を当該倍率で拡大した拡大画像を生成する。すなわち、拡大画像生成部は、漢字部分又は平仮名部分以外の部分を単純な拡大処理により拡大する。

特定部は、抽出部で抽出した漢字部分又は平仮名部分上で入力部分画像を特定する。選択部は、漢字部分又は平仮名部分上の入力部分画像を用いて一の縮小部分画像を選択する。生成部は、拡大画像生成部で生成した拡大画像、及び漢字部分又は平仮名部分上で選択部が選択した縮小部分画像に対応付けられた部分画像を拡大領域の入力部分画像に対応する位置に配置した画像に基づいて出力画像を生成する。すなわち、生成部は、漢字部分又は平仮名部分以外の部分に対しては単純な拡大処理による拡大画像を用い、漢字部分又は平仮名部分に対しては、記憶部に記憶した、部分画像及び縮小部分画像を対応付けた画像ペアを用いて超解像処理した出力画像を用いる。これにより、ナンバープレートの数字部分は通常の拡大処理を適用し、漢字部分又は平仮名部分は超解像処理を適用するので、全体としての画像処理の計算コストを低減することができる。

（４）本発明の実施の形態に係る画像生成装置は、前記生成部が生成した出力画像を前記入力画像の大きさに縮小する縮小部と、該縮小部で縮小した縮小出力画像の画素値及び前記入力画像の画素値の差分を所定の大きさの領域毎に算出する算出部と、該算出部で算出した前記領域の差分が所定の閾値以上である場合、該領域に対して前記選択部が選択した縮小部分画像を変更する変更部とを備え、前記生成部は、前記変更部で変更した縮小部分画像を用いて前記出力画像を生成するようにしてある。

縮小部は、生成部が生成した出力画像を入力画像の大きさに縮小する。算出部は、縮小部で縮小した縮小出力画像の画素値及び入力画像の画素値の差分を所定の大きさの領域毎に算出する。変更部は、算出部で算出した当該領域の差分が所定の閾値以上である場合、当該領域に対して選択部が選択した縮小部分画像を変更する。算出部で算出した差分が所定の閾値以上である場合、選択部で選択した縮小部分画像と該縮小部分画像に対応付けた部分画像との組が最適ではないと考えられるので、再度画像ペアを選択し直す。生成部は、変更部で変更した縮小部分画像を用いて出力画像を生成する。これにより、入力画像の各画素の情報を復元しつつ拡大した高解像度画像を生成することができる。

［本願発明の実施形態の詳細］
以下、本発明に係る画像生成装置の実施の形態を示す図面に基づいて説明する。なお、以下に記載する実施の形態の少なくとも一部を任意に組み合わせることができる。図１は本実施の形態の画像生成装置１００の構成の一例を示すブロック図である。画像生成装置１００は、装置全体を制御する制御部１０、取得部１１、特定部１２、選択部１３、生成部１４、記憶部１５、出力部１６、抽出部１７、拡大画像生成部１８、縮小部１９、算出部２０などを備える。また、画像生成装置１００には、比較的低解像度（例えば、２４０×３２０、４８０×６４０など）の（高解像度ではない）撮像装置（不図示）を接続することができる。

記憶部１５は、画像の一部を抽出した部分画像及び当該画像を縮小した縮小画像の当該部分画像の位置に対応し、当該部分画像より小さい縮小部分画像を対応付けた組を複数記憶する。画像は、ナンバープレートが撮像されたプレート画像でもよく、ナンバープレートが撮像されていない画像であってもよい。

図２はプレート画像と縮小画像との関係を示す模式図である。図２において、左側がプレート画像であり、右側が縮小画像である。プレート画像は、予め比較的解像度の低い（高解像度ではない）撮像装置で撮像した画像である。また、縮小画像は、例えば、プレート画像を倍率１／２で縮小することにより得ることができるが、倍率は１／２に限定されるものではない。本実施形態では、縮小画像はプレート画像を倍率１／２で縮小したものとする。

図３は部分画像と縮小部分画像との関係を示す模式図である。図３に示すように、部分画像は、プレート画像の一部を抽出した画像である。部分画像は、例えば、４×４画素の画素領域とすることができるが、かかる大きさに限定されるものではない。また、縮小部分画像は、縮小画像の部分画像の位置に対応し、当該部分画像より小さい画像である。縮小部分画像は、例えば、２×２画素の画素領域とすることができるが、かかる大きさの画素領域に限定されるものではない。部分画像及び縮小部分画像の各画素の模様は、例えば、各画素の輝度値の高低（濃淡）を表す。

図４は画像ペアの一例を示す模式図である。図４に示すように、画像ペアは、プレート画像の部分画像と、プレート画像を縮小した縮小画像上の対応する位置の縮小部分画像とをペアとして対応付けたものである。

図５は記憶部１５に記憶した画像ペアの一例を示す模式図である。図５に示すように、記憶部１５には、部分画像と縮小部分画像とを対応付けた１組の画像ペアを複数組記憶してある。複数組の画像ペアを画像ペア集合とも称する。記憶部１５に記憶した画像ペア集合は、いわゆる学習結果として記憶されたものである。なお、画像ペアは、１つのプレート画像の異なる複数の箇所から抽出した部分画像を用いたものでもよく、あるいは異なるプレートが撮像された複数のプレート画像から抽出した部分画像を用いたものでもよい。

取得部１１は、入力画像を取得する。入力画像は、例えば、比較的解像度の低い（高解像度ではない）撮像装置で撮像して得られた画像である。

図６は入力画像の一例を示す模式図である。図６に示すように、入力画像は、比較的低解像であるため、ナンバープレートの漢字部部分又は平仮名部分は認識しづらい状態となっている。一方、数字部分は、比較的認識しやすい。

特定部１２は、取得部１１で取得した入力画像上で縮小部分画像と同等の大きさの入力部分画像を特定する。例えば、入力画像での座標を（ｘ、ｙ）とすると、ｘ軸、ｙ軸それぞれ２画素おきに２×２画素の領域を切り出すことにより、入力部分画像を特定することができる。すなわち、図３に示すように、縮小部分画像が２×２画素である場合、入力部分画像も２×２画素で構成される画像となる。

図７は入力部分画像の一例を示す模式図である。図７に示すように、入力部分画像は、図３に例示した縮小部分画像と同様の２×２画素で構成されている。

選択部１３は、特定部１２で特定した入力部分画像の所定の特徴量及び記憶部１５に記憶した複数組の縮小部分画像それぞれの所定の特徴量に基づいて記憶部１５に記憶した縮小部分画像の中から一の縮小部分画像を選択する。所定の特徴量は、例えば、局所領域の輝度の勾配方向をヒストグラム化したＨＯＧ（Histograms of Oriented Gradients）特徴量を用いることができるが、他の特徴量を用いてもよい。すなわち、選択部１３は、入力部分画像の特徴量と記憶部１５に記憶した複数の縮小部分画像それぞれの特徴量とを比較し、特徴量の差が最も小さい縮小部分画像を選択する。

図８は記憶部１５に記憶した画像ペアのうち入力部分画像の特徴量に最も近い縮小部分画像が選択された状態を示す模式図である。画像ペアは、縮小部分画像と部分画像とのペアである。図８において、左側は入力部分画像と特徴量の差が最も小さい縮小部分画像が選択されており、右側は選択した縮小部分画像に対応付けられた部分画像を示す。

選択部１３により、入力画像の入力部分画像の特徴量に最も近い縮小部分画像を選択することができる。

生成部１４は、選択部１３で選択した縮小部分画像に対応付けられた部分画像を、入力画像の大きさを所要の倍率で拡大した仮想の拡大領域の入力部分画像に対応する位置に配置して入力画像を拡大した出力画像を生成する。生成部１４による出力画像の生成処理を超解像処理とも称する。なお、本実施の形態では、生成部１４が生成する出力画像を、高解像度画像とも称する。

図９は拡大領域に部分画像を配置する状態の一例を示す模式図である。入力画像を拡大する所要の倍率は、例えば、倍率２とすることができる。すなわち、図９に示すように、選択された縮小部分画像に対応付けられた部分画像を、入力画像の２倍の大きさの拡大領域に配置する。配置する際の位置は、入力画像での入力部分画像の位置に対応させる。例えば、拡大領域が入力画像の大きさの２倍である場合に、入力画像での入力部分画像の位置（例えば、左上の座標）が、（ｘ、ｙ）であるときは、部分画像の位置（左上の座標）が拡大領域上の（２ｘ、２ｙ）の位置になるように配置すればよい。

図１０は超解像処理により拡大された高解像度画像の一例を示す模式図である。図１０の例は、図６に例示した入力画像を超解像処理により拡大したものである。入力画像を単に拡大する場合には、文字認識で重要な細かい部分の情報（画素の情報など）を復元することができない。しかし、予め部分画像と縮小部分画像とを対応付けておき、入力画像の入力部分画像と最も近似する縮小部分画像を選択し、選択した縮小部分画像に対応付けられた部分画像を用いて入力画像を拡大するので、細かい部分の情報（画素の情報）を復元しながら拡大処理を行うことができる。

例えば、図１０の例では、例えば、平仮名部分の「あ」という文字が、図６の例よりも認識しやすい状態となっている。これにより、高解像度の撮像装置を用いることなく、比較的低解像度の撮像装置で撮像して得られた入力画像の高解像度画像を生成することができる。

出力部１６は、生成部１４で生成した高解像度画像を、外部の文字認識装置（不図示）又は画像生成装置１００に内蔵された文字認識部（不図示）などへ出力する。

また、上述のとおり、縮小画像の縮小倍率（縮小画像を得るための画像の縮小倍率）は、入力画像を拡大領域に拡大する倍率（入力画像を拡大する際の倍率）の逆数である。これにより、画像と縮小画像との大小関係と、拡大領域と入力画像との大小関係とを一致させることができ、拡大処理を簡単に行うことができる。

また、上述のとおり、記憶部１５は、ナンバープレートが撮像されたプレート画像の部分画像及び当該プレート画像を縮小した縮小画像の部分画像の位置に対応する縮小部分画像を対応付けた組を複数記憶してある。そして、取得部１１は、ナンバープレートが撮像された入力画像を取得するようにしてある。

抽出部１７は、取得部１１で取得した入力画像のうちナンバープレートの漢字部分又は平仮名部分を抽出する。漢字部分又は平仮名部分は、例えば、陸運支局名や自治体名など、文字認識する際に比較的複雑な部分である。なお、漢字部分又は平仮名部分以外の部分は、例えば、番号などの数字部分であり、文字認識する際に比較的単純な部分である。

拡大画像生成部１８は、入力画像の漢字部分又は平仮名部分以外の部分を当該倍率で拡大した拡大画像を生成する。すなわち、拡大画像生成部１８は、漢字部分又は平仮名部分以外の部分を単純な拡大処理により拡大する。

特定部１２は、抽出部１７で抽出した漢字部分又は平仮名部分上で入力部分画像を特定する。選択部１３は、漢字部分又は平仮名部分上の入力部分画像を用いて一の縮小部分画像を選択する。

生成部１４は、拡大画像生成部１８で生成した拡大画像、及び漢字部分又は平仮名部分上で選択部１３が選択した縮小部分画像に対応付けられた部分画像を拡大領域の入力部分画像に対応する位置に配置した画像に基づいて高解像度画像（出力画像）を生成する。

図１１は入力画像の一部に対して超解像処理を行う一例を示す模式図である。図１１に示すように、生成部１４は、図１１中枠で囲んだ漢字部分又は平仮名部分に対しては、記憶部１５に記憶した、部分画像及び縮小部分画像を対応付けた画像ペアを用いて超解像処理した高解像度画像を用いる。また、生成部１４は、漢字部分又は平仮名部分以外の部分に対しては単純な拡大処理による拡大画像を用いる。

これにより、ナンバープレートの数字部分は通常の拡大処理を適用し、漢字部分又は平仮名部分は超解像処理を適用するので、比較的計算コストが高い超解像処理を入力画像全体に施す必要がなく、超解像処理を施す領域を最小限とすることで全体としての画像処理の計算コストを低減することができる。

なお、ナンバープレート上の数字部分、漢字部分及び平仮名部分の位置及び大きさは、ある程度フォーマット化されているので、認識処理を行う前に、数字部分、漢字部分及び平仮名部分の位置及び大きさは推定することができる。また、図５に例示した画像ペアを作成（事前学習）する際に、数字部分と、漢字部分及び平仮名部分とで別々に事前学習するようにしてもよい。また、事前学習の際に、お互いに似ている複数の画像ペアがある場合には、複数の画像ペアに対して平均処理などを行って１つの画像ペアに纏めることもできる。これにより、記憶部１５の記憶容量を小さくすることができる。

縮小部１９は、生成部１４が生成した高解像度画像（出力画像）を入力画像の大きさに縮小する。算出部２０は、縮小部１９で縮小した縮小高解像度画像（縮小出力画像）の画素値及び入力画像の画素値の差分を所定の大きさの領域毎に算出する。

制御部１０は、変更部としての機能を有し、算出部２０で算出した当該領域の差分が所定の閾値以上である場合、当該領域に対して選択部１３が選択した縮小部分画像を変更する。算出部２０で算出した差分が所定の閾値以上である場合、選択部１３で選択した縮小部分画像と該縮小部分画像に対応付けた部分画像との組が最適ではないと考えられるので、再度画像ペアを選択し直す。再度の選択方法は、例えば、未選択の画像ペアの中から、入力部分画像の特徴量に最も近い縮小部分画像を選択し、選択した縮小部分画像と部分画像とのペアを選択するようにすればよい。

生成部１４は、制御部１０で変更した縮小部分画像を用いて高解像度画像（出力画像）を生成する。これにより、入力画像の各画素の情報を復元しつつ拡大した高解像度画像を生成することができる。

図１２は本実施の形態の画像生成装置１００の処理手順の一例を示すフローチャートである。以下では便宜上、制御部１０を処理の主体として説明する。制御部１０は、入力画像を取得し（Ｓ１１）、取得した入力画像上で入力部分画像を特定する（Ｓ１２）。

制御部１０は、特定した入力部分画像の特徴量に基づいて、縮小部分画像を選択し（Ｓ１３）、選択した縮小部分画像に対応付けられた部分画像を拡大領域の当該入力部分画像（特定した入力部分画像）に対応する位置に配置する（Ｓ１４）。

制御部１０は、入力画像のすべての入力部分画像について処理が終了したか否かを判定し（Ｓ１５）、処理が終了していない場合（Ｓ１５でＮＯ）、ステップＳ１２以降の処理を続ける。これにより、入力画像のすべての領域に対して入力部分画像を特定することができる。なお、入力画像の一部の所要の領域に対して入力部分画像を特定するようにしてもよい。処理が終了した場合（Ｓ１５でＹＥＳ）、制御部１０は、高解像度画像を生成し（Ｓ１６）、処理を終了する。

本実施の形態の画像生成装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図１２に示すような、各処理手順を定めたコンピュータプログラムを記録媒体に記録しておき、当該記録媒体に記録されたコンピュータプログラムをコンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上で画像生成装置１００を実現することができる。なお、図１２に示すような、各処理手順を定めたコンピュータプログラムは、記録媒体に代えて、インターネットなどのネットワークを介してダウンロードすることもできる。

開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１０ 制御部
１１ 取得部
１２ 特定部
１３ 選択部
１４ 生成部
１５ 記憶部
１６ 出力部
１７ 抽出部
１８ 拡大画像生成部
１９ 縮小部
２０ 算出部

Claims (6)

1. 画像の一部を抽出した部分画像及び前記画像を縮小した縮小画像の前記部分画像の位置に対応する縮小部分画像を対応付けた組を複数記憶する記憶部と、
   入力画像を取得する取得部と、
   該取得部で取得した入力画像上で前記縮小部分画像と同等の大きさの入力部分画像を特定する特定部と、
   該特定部で特定した入力部分画像の所定の特徴量及び前記記憶部に記憶した複数組の縮小部分画像それぞれの前記特徴量に基づいて前記記憶部に記憶した縮小部分画像の中から一の縮小部分画像を選択する選択部と、
   該選択部で選択した縮小部分画像に対応付けられた部分画像を前記入力部分画像に対応する位置に配置して前記入力画像を拡大した出力画像を生成する生成部と
   を備える画像生成装置。
2. 前記縮小画像の縮小倍率は、前記入力画像を拡大する際の倍率の逆数である請求項１に記載の画像生成装置。
3. 前記記憶部は、
   ナンバープレートが撮像されたプレート画像の部分画像及び前記プレート画像を縮小した縮小画像の前記部分画像の位置に対応する縮小部分画像を対応付けた組を複数記憶してあり、
   前記取得部は、
   ナンバープレートが撮像された入力画像を取得するようにしてあり、
   前記取得部で取得した入力画像のうちナンバープレートの漢字部分又は平仮名部分を抽出する抽出部と、
   前記入力画像の前記漢字部分又は平仮名部分以外の部分を前記倍率で拡大した拡大画像を生成する拡大画像生成部と
   を備え、
   前記特定部は、
   前記抽出部で抽出した漢字部分又は平仮名部分上で前記入力部分画像を特定するようにしてあり、
   前記選択部は、
   前記漢字部分又は平仮名部分上の前記入力部分画像を用いて一の縮小部分画像を選択するようにしてあり、
   前記生成部は、
   前記拡大画像生成部で生成した拡大画像、及び前記漢字部分又は平仮名部分上で前記選択部が選択した縮小部分画像に対応付けられた部分画像を前記入力部分画像に対応する位置に配置した画像に基づいて前記出力画像を生成するようにしてある請求項１又は請求項２に記載の画像生成装置。
4. 前記生成部が生成した出力画像を前記入力画像の大きさに縮小する縮小部と、
   該縮小部で縮小した縮小出力画像の画素値及び前記入力画像の画素値の差分を所定の大きさの領域毎に算出する算出部と、
   該算出部で算出した前記領域の差分が所定の閾値以上である場合、該領域に対して前記選択部が選択した縮小部分画像を変更する変更部と
   を備え、
   前記生成部は、
   前記変更部で変更した縮小部分画像を用いて前記出力画像を生成するようにしてある請求項１から請求項３までのいずれか１項に記載の画像生成装置。
5. 入力画像を拡大した出力画像を生成するためのコンピュータプログラムであって、
   コンピュータを、
   前記入力画像の一部である入力部分画像を特定する特定手段と、
   特定した入力部分画像の所定の特徴量、並びに画像の前記入力部分画像と同等の大きさの部分画像及び前記画像を縮小した縮小画像の前記部分画像の位置に対応する縮小部分画像を対応付けた組を複数記憶する記憶手段に記憶した複数組の縮小部分画像それぞれの前記特徴量に基づいて前記記憶手段に記憶した縮小部分画像の中から一の縮小部分画像を選択する選択手段と、
   選択した縮小部分画像に対応付けられた部分画像を前記入力部分画像に対応する位置に配置して前記入力画像を拡大した出力画像を生成する生成手段と
   して機能させるコンピュータプログラム。
6. 画像の一部を抽出した部分画像及び前記画像を縮小した縮小画像の前記部分画像の位置に対応する縮小部分画像を対応付けた組を記憶部に複数記憶しておき、
   入力画像を取得部が取得するステップと、
   取得された入力画像上で前記縮小部分画像と同等の大きさの入力部分画像を特定部が特定するステップと、
   特定された入力部分画像の所定の特徴量及び前記記憶部に記憶した複数組の縮小部分画像それぞれの前記特徴量に基づいて前記記憶部に記憶した縮小部分画像の中から一の縮小部分画像を選択部が選択するステップと、
   選択された縮小部分画像に対応付けられた部分画像を前記入力部分画像に対応する位置に配置して前記入力画像を拡大した出力画像を生成部が生成するステップと
   を含む画像生成方法。

Images